A beszélgetéshez használható AI egy ideje már foglalkoztatja a piacot, elvégre annyit már elértek a nagyobb vállalatok, hogy hang alapján is lehet utasítani az adott eszközt, illetve bizonyos kérdésekre válaszolnak is a személyi asszisztensek. Valahol ezt is hívhatjuk beszélgetésnek, hiszen maga a kommunikáció megvalósul ember és gép között, de azért igazán mély társalgásra még nincs lehetőség.
Pedig valójában nincs igazán nagy különbség az alaptechnológia tekintetében a beszélgetéshez használható AI, illetve a mai digitális asszisztensek között. Ugyanúgy a Google BERT (Bidirectional Encoder Representations from Transformers) nyelvmodellje lehetne az alap, vagyis a működés nem módosul, de a valós beszélgetés nagyobb teljesítményt követel. Ebből pedig nincs sok, ugyanis a digitális asszisztenseknél is kevés idő áll rendelkezésre a felhasználó kérdésének megválaszolására, vagyis nem mindegy, hogy az adott eszközzel összekötött szerver mennyire gyorsan oldja meg a dedukciót az adott neuronhálón, a folyamatos tréningről nem is beszélve. Effektíve tehát hiába lenne kvázi jó a meglévő technológia a beszélgető AI-hoz, a teljesítmény még nincs meg hozzá.
Az NVIDIA most bejelentett pár nyílt forráskódú technológiát, amelyek lényegében a fenti problémát próbálják orvosolni. A tréning szakasz felgyorsítása alap, noha meglévő neuronhálók is használhatók egy beszélgető AI-hoz, azért a legjobb eredményt mégis az adott feladathoz kialakított megoldás jelenti, vagyis a folyamatos tréning nehezen úszható meg. Ez viszont teljesítményigényes, ráadásul nem kicsit, hanem nagyon. Az NVIDIA szerint 92 darab DGX-2H szerver akár egy órán belül jó eredményt ad. Ebben az a trükk, hogy a vállalt kidolgozott egy újszerű több GPU-s megközelítést a nyelvmodellek tréningjére. Ez leginkább abban lesz fontos, hogy a mostaninál nagyobb modellekkel lehessen dolgozni, ugyanis a GPU-k tipikus problémája, hogy nincs annyi fedélzeti memóriájuk, hogy egy nagyon sok paraméterrel rendelkező nyelvmodellt le tudjanak kezelni. Ezekre egyszerűen CPU-t szokás használni, hiszen így sokkal nagyobb memória érhető el, viszont ez eléggé lassú is. Az NVIDIA újításával azonban párhuzamosíthatók a nyelvmodellezési feladatok, és tulajdonképpen ez gyorsítja be igazán a tréning szakaszt. Persze az említett rendszer tekintetében így is 1 megawatt fölötti fogyasztású konfigurációról beszélünk. Itt nagy csodát nem lehet várni a jövőben sem, de nyilván a különböző szolgáltatásokban gondolkodó cégek tisztában vannak vele, hogy a tréninghez szükséges hardverigény eléggé extrém, és persze ennek megfelelően drága.
Sokkal inkább érdekes a problémához tartozó másik fázis, vagyis a dedukció, ugyanis erős gépeket tréningre eddig is lehetett építeni, az igazán nagy gondot a beszélgetések folyamatossága jelenti. Egy ilyen AI-nak az iparági normák szerint nagyjából 10 ezredmásodperce van feldolgozni a feladatokat a tréningelt neuronháló alapján, ugyanis ha a munkafolyamat ennél tovább tart, akkor az megakaszthatja a beszélgetést. Egyszerűbben fogalmazva a gép nem válaszol eléggé gyorsan, és ez emberi léptékkel kellemetlen lehet. Az NVIDIA a gyorsabb feldolgozás érdekében optimalizálta a BERT-et a TensorRT 5.1-gyel, így a Tesla T4 gyorsítókkal szerelt rendszer akár 2,2 ezredmásodperc alatt is képes végezni.
A fentiek egyébként nem csak beszélgetéshez való AI-hoz lehetnek jók, akár a keresők hatékonysága is javítható, a vállalat be is jelentette, hogy a Microsoft beveti a fejlesztést a Binghez.
