A Washingtoni Egyetem kutatói kifejlesztettek egy mélytanulási módszert, amely állóképeket képes úgy átalakítani, hogy azok megmozdítsák a pillanatba merevedett jelenetet. Ha a rendszer egyetlen fényképet kap egy vízesésről, akkor létrehoz egy videót, amelyen a víz lezúdul. Már csak a víz morajlása és a vízpermet érzése hiányzik a tökéletes élményhez.
A csapat módszere bármilyen áramló anyagot képes animálni, beleértve a füstöt és a felhőket is. Ez a technika egy rövid videót eredményez, amely zökkenőmentesen loopolással a végtelen mozgás benyomását kelti. A szakmai közönség az eljárással a Computer Vision and Pattern Recognition konferencián találkozhat először.
"A módszerünk különlegessége, hogy nem kíván semmilyen felhasználói inputot vagy extra információt. Mindössze egy képre van szükség. Kimenetként pedig egy nagy felbontású, zökkenőmentesen loopolt videót állít elő, amely eléggé úgy néz ki, mint egy valódi videó" - mindta Aleksander Hołyński, a Paul G. Allen School of Computer Science & Engineering doktori iskola kutatója, a tanulmány vezető szerzője.
Egy olyan módszer kifejlesztése, amely egyetlen fotóból hihető videót készít, kihívást jelentett a szakterület számára. Hołyński szerint ehhez gyakorlatilag meg kell jósolni a jövőt, de a való világban szinte végtelen sok lehetőség van arra, hogy mi történhet ezután.
A csapat rendszere két részből áll. Először is megjósolja, hogy a dolgok hogyan mozogtak a fénykép készítésekor, majd ezt az információt használja fel az animáció létrehozásához. A mozgás becsléséhez a csapat egy neurális hálózatot képzett ki több ezer vízesésekről, folyókról, óceánokról és más, folyékony mozgású anyagokról készült videóval. A betanítási folyamat abból állt, hogy a hálózatot arra kérték, találja ki a videó mozgását, amikor csak az első képkockát kapta meg. Miután összehasonlította a jóslatát a tényleges videóval, a hálózat megtanulta azonosítani a nyomokat - például egy patak hullámzását -, hogy segítsen megjósolni, mi történik ezután. Majd a rendszer ezeket az információkat felhasználva határozta meg, hogy az egyes pixeleknek mozogniuk kell-e és hogyan.
A kutatók a "splatting" nevű technikával próbálták animálni a képet. Ez a módszer minden egyes pixelt a megjósolt mozgás szerint mozgat. Ez azonban problémát okozott. "Gondoljunk csak egy folyó vízesésre. Ha a pixeleket csak lefelé mozgatjuk a vízesésen, néhány képkocka után a videó tetején már nem lesznek pixelek!" - mondta Hołyński. Ezért a csapat létrehozta a "szimmetrikus spattingot". Lényegében a módszer előre jelzi egy kép jövőjét és múltját is, majd ezeket egyetlen animációban egyesíti.
"Ha visszatekintünk a vízeséses példára, ha a múltba megyünk, a pixelek felfelé fognak mozogni a vízesésen. Így a vízesés alja közelében egy lyukat fogunk látni. Mindkét animációból származó információt integráljuk, így soha nem lesznek kirívóan nagy lyukak a torzított képeinken" - világított rá a megoldásra a kutató.
Végül a szakemberek azt akarták, hogy az animációjuk zökkenőmentes hurokba kerüljön, hogy a folyamatos mozgás látszatát keltse. Az animációs hálózat néhány trükköt követ a tisztaság érdekében, beleértve a képkocka különböző részeinek különböző időpontokban történő átmenetét, és annak eldöntését, hogy az egyes pixeleket a környezetüktől függően milyen gyorsan vagy lassan vegyítse.
A csapat módszere a legjobban a kiszámítható, folyékony mozgású tárgyak esetében működik. Jelenleg a technológia nehezen tudja megjósolni, hogyan mozogjanak a tükröződések, vagy hogyan torzítja a víz az alatta lévő tárgyak megjelenését.
"Amikor egy vízesést látunk, tudjuk, hogyan kell viselkednie a víznek. Ugyanez igaz a tűzre vagy a füstre is. Az ilyen típusú mozgások ugyanolyan fizikai törvényeknek engedelmeskednek, és általában vannak olyan jelek a képen, amelyek megmondják, hogyan kellene mozogniuk a dolgoknak. Szívesen kiterjesztenénk a munkánkat, hogy a tárgyak szélesebb körével működjön, például animáljuk egy ember haját, amelyet fúj a szél. Remélem, hogy végül a képek, amelyeket megosztunk a barátainkkal és a családunkkal, nem statikus képek lesznek. Ehelyett mind olyan dinamikus animációk lesznek, mint amilyeneket a mi módszerünk produkál" - mondta Aleksander Hołyński.
