Исследователи реконструируют 3D-среду по отражениям из глаз
Исследователи из Мэрилендского университета превратили отражение в глазах в относительно большие 3D-сцены. Захватывающая технология в перспективе позволит реконструировать окружающую среду из серии простых портретных фотографий.
08.07.2023 / 18:44
Файл: Мэрилендский университет
Работа основана на полях нейронного излучения (Neural Radiance Fields или NeRF) — технологии искусственного интеллекта, которая может реконструировать среду из 2D-фотографий. Об исследовании рассказывает Engaget.
Ученые использовали тонкие отражения света, зафиксированные в человеческих глазах (с использованием последовательных изображений), чтобы попытаться распознать непосредственное окружение, в котором находился человек во время съемки. Команда начала с нескольких снимков высокого качества, сделанных зафиксированной камерой. Человек при этом двигался, глядя в сторону камеры. Затем они увеличили отражение в глазах и вычислили, куда смотрят глаза на фотографиях.
Результаты показывают относительно качественную реконструкцию окружающей среды: вы можете увидеть все анимированные результаты здесь. Сцена, сделанная с помощью искусственного (синтетического) глаза создает большую сцену, которая завораживает, так как чем-то похожа на сон.
Реконструкция с использованием синтетического глаза выглядит как сцена из сна / изображение: Университет Мэриленда
Команда преодолела значительные препятствия, чтобы восстановить даже грубые и нечеткие сцены. Например, роговица вводит «собственный шум», затрудняя отделение отраженного света от сложной структуры радужной оболочки глаза человека. В результате у исследователей все же удалось сначала изолировать, а затем улучшить отраженный пейзаж.
Однако попытка смоделировать отражение с глаз поп-звезд — например, из музыкальных клипов Майли Сайрус и Леди Гаги — породила лишь расплывчатые пятна, по которым исследователи могли только догадываться, что это светодиодная сетка или камера на штативе. Это иллюстрирует, насколько эта технология пока далека от практического применения.
Актуальные реальные результаты получили в лабораторных условиях и благодаря таким хитростям, как увеличенный захват лица человека, специальное освещение и преднамеренное движение человека. Более неограниченные настройки остаются сложными для осуществления (например, видеоконференции с естественным движением головы) из-за более низкого разрешения датчика, динамического диапазона и размытия движения.
Однако команда видит свой прогресс как веху, которая может подтолкнуть будущие прорывы. Исследователи говорят, что этой работой надеются вдохновить будущие исследования, использующие неожиданные, случайные визуальные сигналы для раскрытия информации о мире вокруг нас, расширяя горизонты реконструкции 3D-сцен.
Очевидно при этом, что более зрелые версии этой технологии могут породить некоторые ужасные и нежелательные последствия вроде вторжения в частную жизнь. Пока, однако, вы можете быть спокойны, зная, что сегодняшняя версия может только смутно различить предметы даже в самых идеальных условиях.
Читайте также:
Искусственный интеллект в офисе не добавляет работникам счастья
Истинная взаимосвязь между телефоном, книгами и развитием близорукости
Во время военно-исторической реконструкции нервы у одного из зрителей не выдержали: он сам бросился в бой и избил «фашиста» ногами