Beszéltünk már mi is az Ar-ről, a VR-ről, az AI-ról, a FB-ról meg még többet, hogy most az eddigi kétbetűs rövidítések közé bejöjjön egy újabb: itt a CA, azaz Codec Avatar. De mi a fene ez már megint?

Forrás: Facebook Reality Labs

Újra belevetettem magam ebbe a futurisztikus kütyük témába, mert egyrészt marhára izgalmas, másrészt érdekel is, mit tudnak és akarnak kihozni ezekből. A legutóbb ugye a Hololensről beszéltünk, amit a Google tervez és az amerikai hadsereg már le is rendelt belőle egy csomót, mondván jól jön majd nekik a harctéren. Na ez a felhasználás annyira nem aratott osztatlan sikert a Google dolgozói körében, de a Facebook laborjában kifejlesztett technológia sem tűnik éppen ártatlannak. 

Facebook Reality Labs

A Facebook egy szeparált divíziója a Facebook Reality Labs, vagyis a Facebook Valóság Labor a központja mindennek, ami a Facebook és a mesterséges valóság témaköre köré épül. Terveik szerint egy többrészes blog cikksorozatban fejtik majd ki, pontosan mivel foglalkoznak, s ennek az első részét osztották meg a múlt héten, s ezen cikk alapján dolgoztam most én is fel a témakört.

A FRL-t 2014-be alapították Pittsburgh-ben, ahol is mérnökök arra tették fel az életüket, hogy egy olyan jövőt építsenek, amiben a virtuális- és kiterjesztett valóság a mindennapok része. Az irodáik több nagyvárosban is megtalálhatók, s mindegyik helyszín más és más feladatokkal foglalkozik. Így képben vannak többek között az AR, VR, a gépi tanulás, az optika és tapintás területén is. a pittsburgh-i részleg az, amelyik a fent említett virtuális avatarunk fejlesztésével foglalkozik.

A kiindulópontja a Codec Avatarnak az a felvetés, hogy az emberek nagy része felnőtt élete során nem ott él, ahol gyerekként. Tehát a probléma adott: ha valaki távol van a szeretteitől, miképp tudnánk őket közelebb hozni egymáshoz? Nem elég a konstans kapcsolattartás, a telefon, a videóhívás, a fényképküldés, a folyamatos chat? Mi kell még? Hát egy virtuális én!

Ezek akkor most karakterek vagy emberek?

Egy teljesen újfajta 3D technológiát és AI rendszerre alapulva egy teljesen élethű, mesterséges avatart hozhatunk létre magunkról – legalábbis ezt ígérik a jövőre vonatkozóan. Ez azért kísértetiesen emlékeztet arra, ahogy az ember karaktert választ magának egy játékban – ott egyébként sokan épp a saját ellentétüket vagy legalábbis olyasvalakit választanak, akit izgalmasnak és újnak tekintenek, tehát nem feltétlenül arra hajtanak, hogy minél élethűbben hasonlítson saját magukra. Mindenesetre ez lenne az első lépés: létrehozni magunkról egy olyan lenyomatot, ami képes létezni a virtuális térben.

Azt a cikk is kihangsúlyozza, hogy a CA technológia egy jelenleg is kutatási és fejlesztési fázisban lévő technológia, tehát messze vagyunk még a tényleges használattól.

Ez nem az ultramodern grafikáról vagy a fejlett mozgáskövetésről szól. Sokkal inkább arról, hogy ugyanolyan természetesen és könnyen tudjunk kapcsolódni másokhoz a virtuális térben, mint mikor ott állunk egymással szemben. A kihívás abban rejlik, hogy mesterséges környezetben hiteles reakciókat váltsunk ki.

Hologramok helyett Codec Avatarok

Ki ne emlékezne a kissé vibráló hologram Leiára a Star Warsból, vagy a szintén kékes aurával bíró Sith nagyúrra, aki időről-időre megjelent ott, ahol valójában semmi dolga nem lett volna? Az ötlet nem új, miszerint tudjunk úgy másokkal valós időben kommunikálni, hogy valójában nem vagyunk ott, hát épp ez vezetett a telefon feltalálásához is. Kis túlzással akkor még az embernek kellett átkiabálnia a távolságot, annyira rossz volt a minőség, de ugorjunk ~150 évet az időben, és eljutunk oda, hogy nemhogy halljuk, de látjuk egymást, sőt: a másik képes lesz ugyanabban a virtuális térben megjelenni, ahol mi magunk is vagyunk teljesen életszerűvé téve a kettőnk közötti interakciót.

Természetesen a társalgás és a kapcsolat nem korlátozódik két emberre, csoportos találkozókat szervezhetünk otthon a kanapéról, közösséget építhetünk, közelebb hozhatjuk egymáshoz azokat az embereket, akik fizikailag távol kerültek egymástól – az már más kérdés, hogy mit tesz ez majd az ember azon kapcsolataival, amiket a fizikailag a közelében lévőkkel épít vagy kellene építenie.

Ahogy arról már korábban a DeepFace-es cikkünkben beszámoltunk, a minél élethűbb hatás eléréséhez a gépi tanulást kell alkalmazni lehetőleg minél több mintát adva. A gyakorlatban ez annyit tesz, hogy beszkennelnek mindent, amire csak gondolni tudnak, hétköznapi tárgyaktól testrészekig, tényleg mindent. Minél több adat áll a gépek rendelkezésére, annál könnyebb tanul és annál könnyebben rak össze mondjuk egy arcot is és alkot hozzá arckifejezéseket.

Persze a filmes alkotók már évek óta finomítják és javítják a vizuális effektek skáláját, amiket a filmvásznakon is láthatunk, de ezeket minden esetben művészek, kifejezetten ehhez értő személyek végzik, nem egy automatizmus eredménye. Arról nem is beszélve, hogy míg a filmesek hónapokat, néha akár egy évet is dolgoznak egy film utómunkáin, addig a FRL által megálmodott kiterjesztett valóságban történő kommunikáció egy valósidejű interakció.

Az első variációját egyébként ezeknek a virtuális avataroknak még 2016-ban mutatták be, nyilván azóta még kifinomultabb technikát használva készülnek ezek a fotó realisztikus hasonmások. Ezen a videón tökéletesn látszik, mennyit javultak az évek során. A haj, az arc, a bőr részletessége sokkal élesebb, sokkal élethűbb, mint a korábbinál. 

Természetesen nem akarnak csak a személyek virtualizációjánál megállni: a FRL egy másik részlege azon dolgozik, hogy a megalkotott avatarok hogyan tudnának a jövőben kölcsönhatásba lépni azzal a virtuális környezettel, amiben vannak.

Átültetni a valóságot

A szakértők szerint a kutatás lényegét az adja, hogy megtalálják a megfelelő mértéket mindenben, amit fizikailag a testünkkel végzünk. Tehát pontos számokkal le tudják képezni a legegyszerűbb mozgást is, mondjuk azt, ahogy felhúzzuk a szemöldökünk, mert csak így fogják tudni a gépek is a saját nyelvükön megérteni a folyamatokat, majd később visszaadni úgy, hogy lehetőleg ne lehessen megkülönböztetni azt a valóságtól.

Ehhez viszont hihetetlen nagy mennyiségű adat kell. Csak hogy a számokkal is alátámasszam: a FRL rögzítési rendszere másodpercenként 180 gigabájt(!) adatot gyűjt össze, s ezt az adatmonstrumot használja fel az algoritmusuk az egyedi avatar elkészítéséhez. Az emberi mimikát egy kódoló és egy dekóder segítségével képezik le. Első körben a kódoló lép életbe: kamerák és mikrofonok segítségével begyűjt minden adatot, hogy miképp mozgott a tesztalany és hol tette azt. Aztán az így begyűjtött adatokat a dekódoló átalakítja egy olyan számokból álló adathalmazzá, ami képes leírni a mozgást és a környező tárgyakhoz viszonyított helyzetét, majd felkészül a továbbküldésre. Aztán a dekódoló lefordítja az egészet audiovizuális jelekké, amit mi már a másik ember tökéletes másaként fogunk látni.

A csapat azt próbálja elérni, hogy ez a folyamat egyrészt egyszerűbb, másrészt gyorsabb legyen, tehát hogy bárki képes legyen néhány fénykép alapján egy saját avatart elkészíteni, és nekünk már ne legyen szükségünk olyan technológiára, mint nekik. Például ne kelljen olyan kamerákat installálni otthon, amik képesek 1GB adatot feldolgozni másodpercenként, meg ne kelljen 1700 mikrofonnal dolgoznunk.

Kamerák és mikrofonok ezrei gyűjtik az adatokat. 

Örök kérdés: az adatok biztonsága

A korábban már általunk is taglalt Deepfake feltehetően csak az előfutára annak, hogy miképp tudják csalók vagy rossz szándékú személyek kihasználni a fejlett technológia nyújtotta előnyöket és a maguk javára fordítani. Ezért a fejlesztők – állításuk szerint – mindent megtesznek annak érdekében, hogy biztosítsák majd számunkra adataink biztonságát. Chuck Hoover, a FRL Pittsburgh igazgatója így fogalmazott:

– Ezen technológia minden felhasználási módját figyelembe vettük. Tisztában vagyunk a velejáró kockázattal, s rendszeresen beszélünk arról, milyen negatív és pozitív hozadékai lehetnek. Fejlesztőként izgatottan veszünk részt a technológia megalkotásában, de csak akkor, ha ennek a módja helyes. Mindenki tudja, mennyire fontos ez a kutatás és hogy mennyire fontos az is, hogy az emberek bízzanak bennünk.