Новая технология основана на захвате движений вибрируемых объектов. Разработкой на протяжении нескольких лет занимались ученые из CSAIL (Computer Science and Artificial Intelligence Laboratory) — подразделения MIT, ответственного за разработки в сфере компьютерных технологий и искусственного интеллекта.
Изобретение MIT основано на анализе вибраций, проходящих через объект во время съемки. Для записи подойдет практически любая видеокамера. Анализ видеофрагмента занимает несколько секунд, после чего на основе отснятого материала формируются интерактивные объекты, которые можно изменять с сохранением всех физических свойств. То есть растянуть руку вашего друга на 2 метра не получится, а вот отвести руку в сторону, поднять, согнуть или вовсе полностью убрать человека из кадра можно с легкостью. Более того, не всем объектам необходимо вибрировать для того, чтобы алгоритм сработал. Для кустов и деревьев, например, достаточно дуновения ветра, которое будет изменять положение листьев и ветвей подобно вибрации.
Сами разработчики находят массу применений новой технологии. От съемки простых видео до создания спецэффектов в фильмах и видеоиграх. Большой потенциал ученые из MIT видят и в использовании технологии вместе с виртуальной и дополненной реальностью. «Если нам удастся улучшить алгоритм так, чтобы он смог обрабатывать объекты на лету — это откроет огромный простор для творчества. Возьмем, к примеру, популярную нынче Pokemon Go. Если все объекты вокруг покемона просчитываются в реальном времени, карманный монстр сможет всячески с ними взаимодействовать: прятаться за лавкой или взбираться на дерево.»
