Даследчыкі рэканструююць 3D-асяроддзе па адлюстраваннях з вачэй
Даследчыкі з Мэрылендскага ўніверсітэта ператварылі адлюстраванне ў вачах у адносна вялікія 3D-сцэны. Захапляльная тэхналогія ў перспектыве дазволіць рэканструяваць навакольнае асяроддзе з серыі простых партрэтных фатаграфій.
Праца заснаваная на палях нейронавага выпраменьвання (Neural Radiance Fields або NeRF) — тэхналогіі штучнага інтэлекту, якая можа рэканструяваць асяроддзе з 2D-фатаграфій. Пра даследаванне расказвае Engaget.
Навукоўцы выкарысталі тонкія адлюстраванні святла, зафіксаваныя ў чалавечых вачах (з выкарыстаннем паслядоўных выяў), каб паспрабаваць распазнаць непасрэднае асяроддзе, у якім знаходзіўся чалавек падчас здымкі. Каманда пачала з некалькіх здымкаў высокай якасці, зробленых зафіксаванай камерай. Чалавек пры гэтым рухаўся, гледзячы ў бок камеры. Затым яны павялічылі адлюстраванне ў вачах і вылічылі, куды глядзяць вочы на фотаздымках.
Вынікі паказваюць адносна якасную рэканструкцыю навакольнага асяроддзя: вы можаце пабачыць усе анімаваныя вынікі тут. Сцэна, зробленая з дапамогай штучнага (сінтэтычнага) вока стварае большую сцэну, якая заварожвае, бо нечым падобная да сну.
Каманда пераадолела значныя перашкоды, каб аднавіць нават грубыя і невыразныя сцэны. Напрыклад, рагавіца ўводзіць «уласны шум», які робіць цяжкім аддзяленне адлюстраванага святла ад складанай структуры вясёлкавай абалонкі вока чалавека. У выніку ў даследчыкаў усё ж атрымалася спачатку ізаляваць, а затым палепшыць адлюстраваны пейзаж.
Аднак спроба змадэляваць адлюстраванне з вачэй поп-зорак — напрыклад, з музычных кліпаў Майлі Сайрус і Лэдзі Гагі — спарадзіла толькі расплывістыя плямы, па якіх даследчыкі маглі толькі здагадвацца, што гэта святлодыёдная сетка ці камера на штатыве. Гэта ілюструе, наколькі гэтая тэхналогія пакуль далёкая ад практычнага ўжывання.
Актуальныя рэальныя вынікі атрымалі ў лабараторных умовах і дзякуючы такім хітрыкам, як павялічаны захоп твару чалавека, спецыяльнае асвятленне і наўмысны рух чалавека. Больш неабмежаваныя налады застаюцца складанымі для ажыццяўлення (напрыклад, відэаканферэнцыі з натуральным рухам галавы) праз больш нізкае разрозненне датчыка, дынамічны дыяпазон і размыццё руху.
Тым не менш, каманда бачыць свой прагрэс як вяху, якая можа падштурхнуць будучыя прарывы. Даследчыкі кажуць, што гэтай працай спадзяюцца натхніць будучыя даследаванні, якія выкарыстоўваюць нечаканыя, выпадковыя візуальныя сігналы для раскрыцця інфармацыі пра свет вакол нас, пашыраючы гарызонты рэканструкцыі 3D-сцэн.
Відавочна пры гэтым, што больш сталыя версіі гэтай тэхналогіі могуць спарадзіць некаторыя жудасныя і непажаданыя наступствы кшталту ўварвання ў прыватнае жыццё. Пакуль, аднак, вы можаце быць спакойныя, ведаючы, што сённяшняя версія можа толькі цьмяна адрозніць прадметы нават у самых ідэальных умовах.
Чытайце таксама:
Штучны інтэлект у офісе не дадае работнікам шчасця
Сапраўдная ўзаемасувязь паміж тэлефонам, кнігамі і развіццём блізарукасці
Каментары