Kľúčové poznatky
- Nvidia nedávno predviedla techniku, ktorá premení 2D fotografie na 3D scény za pár sekúnd.
- Metóda využíva výkon počítača na približné správanie svetla v reálnom svete.
- Metaverza je jednou z oblastí, kde sú 3D scény užitočné, pretože sa dajú prezerať z akejkoľvek perspektívy fotoaparátu.
Nová technológia umelej inteligencie (AI) od Nvidie by mohla čoskoro premeniť 2D fotografie na 3D scény v priebehu niekoľkých sekúnd, vďaka čomu je vytváranie pohlcujúcich virtuálnych priestorov, ako je metaverza, rovnako triviálne ako spracovanie textu.
Nvidia nedávno demonštrovala fotografickú metódu s názvom Instant NeRF, ktorá využíva výpočtový výkon na priblíženie toho, ako sa svetlo správa v reálnom svete. Mohlo by to premeniť vaše staré fotografie na scénu z videohier alebo sa dá použiť na trénovanie robotov a samoriadiacich áut, aby pochopili veľkosť a tvar predmetov v skutočnom svete.
„3D zobrazovanie prináša nový svet transformácie,“povedal pre Lifewire v e-mailovom rozhovore Oren Debbi, generálny riaditeľ spoločnosti Visionary.ai, spoločnosti zaoberajúcej sa počítačovým videním, ktorá prevádzkuje svoje 3D algoritmy na platforme Nvidia. "Pomocou 3D napodobňujete hĺbku skutočného sveta do scény a robíte obraz živším a realistickejším. Okrem AR/VR a priemyselných kamier, kde je 3D veľmi bežné, sme teraz svedkami toho, že sa používa takmer na každom smartfóne bez používateľ dokonca vie."
Pridanie dimenzií
Prvá okamžitá fotografia urobená pred 75 rokmi fotoaparátom Polaroid s cieľom rýchlo zachytiť 3D svet v 2D obraze. Teraz výskumníci AI pracujú na opaku: premenou zbierku statických obrázkov na digitálnu 3D scénu v priebehu niekoľkých sekúnd.
Tento proces, známy ako inverzné vykresľovanie, využíva AI na priblíženie toho, ako sa svetlo správa v skutočnom svete, čo umožňuje výskumníkom rekonštruovať 3D scénu z niekoľkých 2D obrázkov nasnímaných z rôznych uhlov. Nvidia tvrdí, že vyvinula prístup, ktorý túto úlohu zvládne takmer okamžite.
Nvidia použila tento prístup s novou technológiou nazývanou polia neurálneho žiarenia alebo NeRF. Spoločnosť tvrdí, že výsledok s názvom Instant NeRF je doteraz najrýchlejšou technikou NeRF. Model potrebuje len niekoľko sekúnd na trénovanie na niekoľkých desiatkach statických fotografií a potom dokáže vykresliť výslednú 3D scénu v priebehu desiatok milisekúnd.
„Ak sú tradičné 3D reprezentácie ako polygonálne siete podobné vektorovým obrázkom, NeRF sú ako bitmapové obrázky: husto zachytávajú spôsob, akým svetlo vyžaruje z objektu alebo v rámci scény,“David Luebke, viceprezident pre grafický výskum v Nvidia v tlačovej správe uviedla: „V tomto zmysle môže byť Instant NeRF pre 3D rovnako dôležité, ako boli digitálne fotoaparáty a kompresia JPEG pre 2D fotografiu – čo výrazne zvyšuje rýchlosť, jednoduchosť a dosah 3D snímania a zdieľania.”
Zhromažďovanie údajov na napájanie NeRF vyžaduje, aby neurónová sieť zachytila niekoľko desiatok obrázkov nasnímaných z viacerých pozícií okolo scény, ako aj polohu kamery každého z týchto záberov.
NeRF trénuje malú neurónovú sieť na rekonštrukciu scény predpovedaním farby svetla vyžarujúceho v akomkoľvek smere, z akéhokoľvek bodu v 3D priestore.
The Appeal of 3D
Metaverza je jednou z oblastí, kde sú 3D scény užitočné, pretože ich možno sledovať z akejkoľvek perspektívy kamery, povedal Brad Quinton, zakladateľ platformy Perceptus pre rozšírenú realitu (AR), Lifewire v e-mailovom rozhovore. Rovnako ako môžeme prechádzať miestnosťou v reálnom živote a vidieť jej obsah z mnohých rôznych uhlov, pomocou zrekonštruovanej 3D scény sa môžeme virtuálne pohybovať priestorom a pozerať sa naň z akejkoľvek perspektívy.
"Toto môže byť obzvlášť užitočné pri vytváraní prostredí na použitie vo virtuálnej realite," povedal Quinton.
Programy ako Object Capture od spoločnosti Apple používajú na vytváranie virtuálnych 3D objektov zo série 2D obrázkov techniku nazývanú fotogrammetria. Quinton predpovedal, že 3D modely sa budú vo veľkej miere využívať vo virtuálnej realite a aplikáciách AR. Napríklad niektoré AI, ako napríklad tá v Perceptus AR Platform, používajú 3D modely na vytvorenie pochopenia skutočného sveta, čo umožňuje aplikácie AR v reálnom čase.
Používanie 3D obrázkov tiež napodobňuje hĺbku skutočného sveta v scéne a robí obraz živším a realistickejším, povedala Debbi. Na vytvorenie efektu bokeh (známy ako režim na výšku alebo filmový režim) je potrebné 3D mapovanie hĺbky. Táto technika sa používa takmer na každom smartfóne.
„Toto je už štandard pre profesionálnych kameramanov, ktorí natáčajú filmy, a stáva sa štandardom pre každého spotrebiteľa,“dodala Debbi.
