Anima Anandkumar, Bren számítástechnikai professzor a California Institute of Technology-n és az Nvidia gépi tanulási kutatásokért felelős vezető igazgatója, nincs mit tenni a mátrixon. Aggodalmai nem a sci-fi filmekkel, hanem matematikai mátrixokkal kapcsolatosak – számrácsok vagy változók, amelyeket a számítástechnikában használnak. Míg a kutatók általában mátrixokat használnak a nagy adathalmazokon belüli kapcsolatok és minták tanulmányozására, ezek az eszközök a legalkalmasabbak a kétirányú kapcsolatokhoz. Az olyan bonyolult folyamatok, mint a társadalmi dinamika viszont magasabb rendű interakciókat foglalnak magukban.
Szerencsére Anandkumar régóta élvezi az ilyen kihívásokat. Amikor felidézi az Ugadit, az újévi fesztivált, amelyet gyermekkorában az indiai Mysore-ban (ma Mysuru) ünnepelt, két íz tűnik ki: a jaggery, egy finomítatlan cukor, amely az élet édességét jelképezi, és a neem, a keserű virágok, amelyek az élet kudarcait és nehézségeit jelképezik. „Ez az egyik legkeserűbb dolog, amelyre gondolhat” – mondta.
Általában a neemre rakott, mondta. – Kihívásokat akarok.
Ez az erőfeszítés étvágya késztette arra, hogy villamosmérnököt tanuljon a Madras-i Indiai Technológiai Intézetben. Doktori fokozatát a Cornell Egyetemen szerezte, és a Massachusetts Institute of Technology posztdoktora volt. Ezután a Kaliforniai Egyetemen (Irvine) saját csoportot alapított adjunktusként, a gépi tanulásra összpontosítva, a mesterséges intelligencia azon részhalmazára, amelyben a számítógép explicit programozás nélkül is képes tudást szerezni. Az Irvine-ben Anandkumar belemerült a „témamodellezés” világába, a gépi tanulás egy olyan típusába, ahol a számítógép megpróbálja kiszűrni a fontos témákat az adatokból; az egyik példa egy algoritmus a Twitteren, amely azonosítja a rejtett trendeket. De a szavak közötti kapcsolat egyike azoknak a magasabb rendű interakcióknak, amelyek túl finomak a mátrixkapcsolatokhoz: a szavaknak többféle jelentése is lehet, több szó utalhat ugyanarra a témára, és a nyelv olyan gyorsan fejlődik, hogy semmi sem marad sokáig állandóan.
Ez arra késztette Anandkumart, hogy megkérdőjelezze a mesterséges intelligencia mátrix módszerekre való támaszkodását. Arra a következtetésre jutott, hogy ahhoz, hogy egy algoritmus elég figyelmes legyen ahhoz, hogy megtanuljon egy ilyen káosz közepette, a kutatóknak úgy kell megtervezniük, hogy megragadják a magasabb dimenziók algebráját. Ezért a tenzornak nevezett eszközhöz fordult, amely az algebrában régóta nem használt eszköz volt. A tenzorok olyanok, mint a mátrixok, de bármely dimenzióra kiterjedhetnek, túlmutatva a mátrix két dimenzióján, sorokon és oszlopokon. Ennek eredményeként a tenzorok általánosabb eszközök, így kevésbé érzékenyek a „túlillesztésre” – amikor a modellek szorosan illeszkednek a képzési adatokhoz, de nem képesek új adatok befogadására. Például, ha számos zenei műfajt élvez, de csak jazz dalokat streamel, a streamelési platform mesterséges intelligencia képes megjósolni, hogy mely jazz dalokat élvezné, de az R&B előrejelzései alaptalanok lennének. Anandkumar úgy véli, hogy a tenzorok alkalmazkodóbbá teszik a gépi tanulást.
Nem ez az egyetlen kihívás, amelyet elfogad. Anandkumar mentor és szószólója azoknak a rendszereknek a megváltoztatásának, amelyek kiszorítják a marginalizált csoportokat a mezőnyből. 2018-ban petíciót szervezett a szakterülete éves Neurális Információfeldolgozási Rendszerek Konferenciájának nevének megváltoztatása érdekében, egy közvetlen mozaikszóról „NeurIPS”-re. A konferencia testülete októberben elutasította a petíciót. Ám Anandkumar és társai nem voltak hajlandók feladni, és hetekkel később a tábla megfordította az irányt.
Quanta beszélt Anandkumarral pasadenai irodájában a neveltetéséről, a tenzorokról és az AI előtt álló etikai kihívásokról. Az interjút az egyértelműség kedvéért sűrítettük és szerkesztettük.
Hogyan befolyásolták szüleid a gépekről alkotott képedet?
Az 1990-es évek elején ők voltak az elsők, akik programozható gyártógépeket vittek be Mysore-ba. Akkoriban valami furcsának tartották: „Emberi kezelőket alkalmazhatunk erre, akkor mi szükség van az automatizálásra?” A szüleim látták, hogy óriási hatékonyságot lehet elérni, és sokkal gyorsabban megteszik az ember által működtetett gépekhez képest.
Ez volt a bevezetés az automatizálásba?
Igen. És programozás. Látnám a zöld képernyőt, ahol apám írja a programot, és ez mozgatná a tornyot és a szerszámokat. Nagyon lenyűgöző volt látni – megérteni a geometriát, megérteni, hogyan kell a szerszámnak mozognia. Látod a mérnöki oldalát annak, hogy egy ilyen masszív gép hogyan képes erre.
Anyukád milyen tapasztalatokkal rendelkezik a mérnöki területen?
Anyám bizonyos értelemben úttörő volt. Közösségi és családi hátterében az elsők között vállalkozott a mérnöki munkára. Sok más rokon azt tanácsolta a nagyapámnak, hogy ne küldje el, mondván, lehet, hogy nem megy könnyen férjhez. Nagyapám habozott. Ekkor éhségsztrájkolt anyám három napig.
Ebből kifolyólag soha nem láttam furcsa dolognak, hogy a nők érdeklődnek a mérnöki tudományok iránt. Édesanyám korán belénk nevelte a matematika és a természettudományok iránti megbecsülését. Az, hogy ez csak egy természetes velejárója annak, aki kora gyermekkorom óta vagyok, hosszú utat járt be. Ha anyám valaha is látott szexizmust, rámutatna, és azt mondta: „Nem, ne fogadd el ezt.” Ez tényleg segített.
Volt még valami, ami fellelkesítette a matematikát és a természettudományokat?
A középiskola előtt minden matematika, amit tanítanak, determinisztikus. Összeadás, szorzás, minden, amit csinál – egy válasz van. Középiskolás koromban elkezdtem tanulni a valószínűségről és arról, hogy véletlenszerűen tudunk érvelni a dolgokon. Számomra ez értelmesebb, mert a természetben sokkal több van. Van véletlenszerűség, sőt káosz is.
Annyi minden van az életünkben, amit nem tudunk megjósolni. De nem szabad „túlilleszkednünk” a korábbi tapasztalatokhoz, amelyek nem engedik meg, hogy alkalmazkodjunk életünk új körülményeihez. Rájöttem, hogy az AI-val rugalmasan kell általánosítani az új dolgokat, új készségeket tanulni.
És ezért kezdted megkérdőjelezni a mátrixműveleteket a gépi tanulásban?
A gyakorlatban a gépi tanulás mátrixos módszerei nem képesek hatékonyan rögzíteni a magasabb rendű kapcsolatokat. Lényegében egyáltalán nem lehet tanulni. Ezért megkérdeztük: Mi lenne, ha a magasabb rendű [műveleteket] néznénk meg? Ezzel eljutottunk a tenzoralgebrához.
Több dimenziójuknak és rugalmasságuknak köszönhetően a tenzorok természetes módon illeszkednek a mesterséges intelligencia magasabb rendű problémáihoz. Miért nem használta korábban senki?
Biztos voltam benne, hogy az emberek elgondolkodtak volna ezen. Miután kitaláltunk egy módszert, visszamentünk irodalomkutatást végezni és megnézni. Valójában 1927-ben volt egy pszichometriai tanulmány, amely azt javasolta, hogy az intelligencia különböző formáinak elemzéséhez ezeket a tenzorműveleteket kell elvégezni. Tehát az emberek már egy ideje javasolják ezeket az ötleteket.
De az akkori számítások nem tudták kezelni ezeket a magasabb rendű [műveleteket], ami általában legalább három fél közötti korrelációt jelent. Nem is volt elég adatunk. Fontos volt az időzítés. A legújabb hardver, több adat birtokában most már áttérhetünk a magasabb rendű módszerekre.
Ha sikerül rugalmasabbá tennie az AI-t, mi történik akkor?
Magának az AI alapjainak újragondolása.
Például sok tudományos területen nem tudom rákényszeríteni az adataimat, hogy rögzített rácson legyenek. A numerikus megoldók rugalmasak: Ha hagyományos megoldót használ, könnyen megtalálhatja a megoldást a tér bármely pontján. De a szabványos gépi tanulási modellek nem így épülnek fel. Az ImageNet [az AI képfelismerésére szolgáló adatbázis] rögzített képmérettel vagy felbontással rendelkezik. Egy hálózatot ezen a felbontáson tanít meg, tehát ugyanazzal a felbontással teszteli. Ha most ezt a hálózatot használja, de megváltoztatja a felbontást, akkor teljesen meghiúsul. Valódi alkalmazásokban nem hasznos. A tudósok rugalmasságot akarnak.
Neurális operátorokat fejlesztettünk ki, amelyek nem rendelkeznek ezzel a hiányossággal. Ez jelentős gyorsulásokhoz vezetett, miközben megőrizte a pontosságot. Például pontosan megjósolhatjuk a folyadékdinamikát valós időben, és azt tervezzük, hogy ezt olyan drónokon alkalmazzuk, amelyek erős szélviszonyok között is repülhetnek a Caltech drónok széltesztelő létesítményében.
Diákként az IBM-nél gyakornokoskodott, most pedig a Caltechnél végzett munkája mellett az Nvidiával dolgozik. Miért kevered az akadémiai elméletet és az ipari alkalmazást?
A szüleim vállalkozó szelleműek. De a dédnagyapám apám oldalán volt az a tudós, aki újra felfedezte ezt az ősi szöveget, az úgynevezett Arthashastra. Ez volt az első ismert közgazdasági könyv, ie 300-ból. Felnőtt koromban mindig is azon töprengtem: Hogyan juthatok el e két világ között?
Azt hiszem, ez az a hely, ahol ez a jelenlegi korszak olyan nagyszerű. Sok nyitottságot látunk abban, ahogy az Nvidia-hoz hasonló vállalatok fektetnek be a nyílt kutatásba.
Említetted, hogy egyfajta hippokratészi esküt szeretnél az AI-kutatáshoz. Miért?
Mindig fontos megkérdőjelezni, hogy munkánk milyen hatással lesz a világra. Kihívást jelenthet, különösen egy nagy cégnél, mert ennek a hatalmas rendszernek az egyik részét építed fel. De az egyetemi tanítási módok nagy része a katonai iskolából származik. A mérnöki munka ebből a háttérből származott, és egy része megmarad. Mint azt gondolná, hogy a tudósoknak és mérnököknek a technikai dolgokra kell összpontosítaniuk, és hagyni kell, hogy mások gondoskodjanak a többiről. Ez rossz. Mindannyiunknak szüksége van humánus gondolkodásra.
Hogyan járulnak hozzá ezekhez az etikai problémákhoz a mai rugalmatlan algoritmusok?
Az embereket arra kondicionálták, hogy azt gondolják, megbízhat a gépekben. Korábban, ha egy gépet megkértél, hogy szorozzon, mindig helyes volt. Míg az emberek tévedhetnek, és az adataink is. Most, amikor egy mesterséges intelligencia képzési adatai fajilag elfogultak, igazodunk a képzési adatok feltételezéseihez. Nemcsak rossz válaszokat kaphatunk, hanem rossz válaszokat is nagy magabiztossággal. Ez veszélyes.
Akkor hogyan haladjunk előre?
A jobb algoritmusok felépítése szempontjából legalább a kérdést fel kell tennünk: Meg tudjuk-e adni a megfelelő megbízhatósági szintet? Ha egy másik ember azt mondja: „Talán 60%-ig biztos vagyok benne, hogy ez a helyes válasz”, akkor ezt figyelembe kell venni.
Tehát ha kinézek az ablakomon, és egy épület méretű macskaszerű állatot látok, azt gondolhatom: „Igen, úgy néz ki, mint egy macska, de még nem vagyok benne biztos, hogy valójában mi is az.”
Pontosan. Mert ezeknél a modelleknél ilyenkor van a túlzott önbizalom problémája. A szokásos képzésben arra ösztönzi őket, hogy legyenek nagyon magabiztosak.
számára mentoráltál A Caltech WAVE Fellows programja, amely alulreprezentált hátterű diákokat vonz kutatásba. Ön szerint mi a mentorálás szerepe az AI-ban?
Egyszer az egyik idősebb nő a mezőnyben arról panaszkodott nekem, hogy a nők úgy érzik, olyanok vagyunk, mint a szigetek. Annyira elszakadunk egymástól. Nem tudjuk, mi van másokkal. Nem tudunk fizetési táblákról, vagy ilyesmiről. Ez az elszakadtság érzése – hogy nem vagy a rendszer része. Nem érzed úgy, hogy ide tartozol. Azt hiszem, ezt nagyon fontos megjavítani, megmutatva, hogy nem csak affinitási csoportok léteznek, mint pl WIML és a Fekete az AI-ben. A mentorok és az emberek szélesebb köre fektet be ezekbe az erőfeszítésekbe.
Ez összefügg a NeurIPS névváltoztatással kapcsolatos tapasztalataival? Miért volt olyan fontos neked ez a harc?
Sok ember számára ez így hangzott: „Ó, ostoba névváltoztatás.” De mérgezést hozott. Nem számítottam rá, hogy hosszú Reddit-szálak fognak gúnyolódni rajtunk és a megjelenésünkön, és mindenféle fenyegetés, mindenféle próbálkozás az emberek doxolására. Ennek nagy része a föld alatt volt. És ez feltárta az embereket annak, amivel a nők szembesülnek ezeken a konferenciákon.
Végső soron azt mondanám, hogy összehozta a közösséget. A nem tudatos emberek mérsékelt csoportját hozta be a társaságba. És ez valóban hozzájárult sokszínűségünk és befogadásunk fokozásához.
Annak ellenére, hogy hozzászokott ahhoz, hogy kihívja az embereket, úgy gondolom, még mindig nehéz volt megszólalnia.
Nagyon nehéz volt. Magánszemély vagyok, de amikor elkezdtem megszólalni a közösségi médiában, akár csak közzétettem a munkánkat, vagy valami nagyon jóindulatú dolgot, a megjegyzések szűretlenek voltak. Ott volt az egész természete a „Ne beszéljünk negatív dolgokról. Temessük el.” De én azon a véleményen vagyok, hogy ezt a nyilvánosság elé kell hoznunk, és felelősségre kell vonnunk magunkat.
Hogy az embereknek meg kell enniük a neemüket?
Pontosan, pontosan. El kell fogadnod a keserű igazságot.
