Cercetătorii meta construiesc o IA care învață la fel de bine din materiale vizuale, scrise sau vorbite

Progresele în domeniul AI apar în mod constant, dar tind să fie limitate la un singur domeniu: de exemplu, o nouă metodă grozavă de producere a vorbirii sintetice nu este de asemenea o modalitate de a recunoaște expresiile de pe fețele umane. Cercetătorii Meta (AKA Facebook) lucrează la ceva mai versatil: un AI care poate învăța singur, indiferent dacă face acest lucru în materiale vorbite, scrise sau vizuale.

Modul tradițional de a antrena un model AI pentru a interpreta corect ceva este de a-i oferi o mulțime (ca milioane) de exemple etichetate. O imagine a unei pisici cu partea de pisică etichetată, o conversație cu vorbitorii și cuvintele transcrise etc. Dar această abordare nu mai este în vogă, deoarece cercetătorii au descoperit că nu mai era fezabilă să se creeze manual baze de date cu dimensiunile necesare pentru a se antrena în continuare. -gen AI. Cine vrea să eticheteze 50 de milioane de poze cu pisici? Bine, probabil câțiva oameni - dar cine vrea să eticheteze 50 de milioane de imagini cu fructe și legume comune?

În prezent, unele dintre cele mai promițătoare sisteme de inteligență artificială sunt ceea ce se numesc auto-supravegheate: modele care pot funcționa din cantități mari de date neetichetate, cum ar fi cărți sau videoclipuri cu oameni care interacționează, și își pot construi propria înțelegere structurată a regulilor sistemului. De exemplu, citind o mie de cărți, va învăța pozițiile relative ale cuvintelor și ideilor despre structura gramaticală fără ca nimeni să-i spună ce sunt obiectele, articolele sau virgulele - a obținut-o făcând concluzii din o mulțime de exemple.

Acest lucru se simte intuitiv mai mult ca modul în care oamenii învață, ceea ce face parte din motivul pentru care cercetătorilor le place. Dar modelele tind să fie în continuare monomodale, iar toată munca pe care o faci pentru a configura un sistem de învățare semi-supravegheat pentru recunoașterea vorbirii nu se va aplica deloc analizei imaginilor - sunt pur și simplu prea diferite. Acolo sunt cele mai recente cercetări ale Facebook/Meta, numitul atrăgător data2vec, intră.

Ideea pentru data2vec a fost de a construi un cadru AI care să învețe într-un mod mai abstract, ceea ce înseamnă că, pornind de la zero, i-ai putea oferi cărți de citit sau imagini de scanat sau vorbire pentru a suna, iar după un pic de antrenament învață oricare dintre aceste lucruri. Este un pic ca și cum ai începe cu o singură sămânță, dar în funcție de ce hrană vegetală îi dai, crește într-o narcise, panseluță sau lalea.

Testarea data2vec după ce l-a lăsat să se antreneze pe diferite corpuri de date a arătat că a fost competitiv și chiar a depășit modelele dedicate de dimensiuni similare pentru această modalitate. (Adică, dacă toate modelele sunt limitate la 100 de megaocteți, data2vec s-a descurcat mai bine - modelele specializate ar depăși probabil în continuare performanțe pe măsură ce cresc.)

„Ideea de bază a acestei abordări este de a învăța în general: AI ar trebui să poată învăța să facă multe sarcini diferite, inclusiv cele care sunt complet nefamiliare.” a scris echipa într-o postare pe blog. „Sperăm, de asemenea, că data2vec ne va aduce mai aproape de o lume în care computerele au nevoie de foarte puține date etichetate pentru a îndeplini sarcini.”

„Oamenii experimentează lumea printr-o combinație de vedere, sunet și cuvinte, iar sistemele ca acesta ar putea într-o zi să înțeleagă lumea așa cum o facem noi”, a comentat CEO-ul Mark Zuckerberg despre cercetare.

Aceasta este încă o cercetare în stadiu incipient, așa că nu vă așteptați ca legendara „IA generală” să apară dintr-o dată – dar a avea o IA care are o structură de învățare generalizată care funcționează cu o varietate de domenii și tipuri de date pare mai bine. soluție mai elegantă decât setul fragmentat de micro-inteligențe cu care ne descurcăm astăzi.

Codul pentru data2vec este open source; acesta și câteva modele pregătite sunt disponibile aici.

Sursa: https://techcrunch.com/2022/01/20/meta-researchers-build-an-ai-that-learns-equally-well-from-visual-written-or-spoken-materials/