Oxford Researchers Train AI Two Times Faster With A Simple Mathematical Trick

Republicat de Platon

Urmaritori: 0

AI viteză de propagare în spate a fasciculelor de lumină rapide

Pe măsură ce modelele AI devin din ce în ce mai mari, suma de bani și energie necesar pentru a-i instrui a devenit o problemă fierbinte. O nouă abordare care rescrie unul dintre elementele fundamentale ale disciplinei ar putea oferi o posibilă soluție.

De atunci GPT-3 a demonstrat salturile semnificative de performanta realizabile prin simpla crestereCântă dimensiunea modelului, liderii din industria AI au acumulat resurse în formare rețele neuronale din ce în ce mai masive.

Dar acest lucru costă sume uriașe de bani, necesită resurse de calcul masive și utilizează cantități enorme de energie. Acest lucru este văzut din ce în ce mai mult ca o problemă, nu numai din cauza implicațiilor de mediu, ci și pentru că face dificilă concurența pentru echipamentele AI mai mici și, ca rezultat, concentrează puterea în mâinile liderilor din industrie.

Acum însă, cercetătorii de la Universitatea Oxford au subliniat o nouă abordare care ar putea avea potențialully reduceți timpii de antrenament la jumătate. Ei fac acest lucru prin rescrierea unuia dintre cele mai fundamentale ingrediente din sistemele AI bazate pe rețele neuronale de astăzi: propagarea inversă.

Modul în care o rețea neuronală procesează datele este guvernat de puterea conexiunilor dintre diferiții săi neuroni. Așadar, pentru a-i determina să facă o muncă utilă, mai întâi trebuie să ajustați aceste conexiuni până când procesează datele așa cum doriți. Faceți acest lucru antrenând rețeaua cu privire la datele relevante pentru problemă, folosind un proces numit backpropagation, care este împărțit în două faze.

Executarea înainte implică alimentarea datelor prin rețea și determinarea acesteia să facă predicții. În trecerea înapoi, măsurătorile acurateței acestor predicții sunt folosite pentru a trece înapoi prin rețea și a afla cum ar trebui ajustată puterea diferitelor conexiuni pentru a îmbunătăți performanța. Repetând acest proces de multe ori folosind o mulțime de date, rețeaua lucrează treptat către o configurație optimă a conexiunilor care rezolvă problema în cauză.

Acest proces repetitiv este motivul pentru care antrenarea AI durează atât de mult, dar cercetătorii de la Oxford s-ar putea să fi găsit o modalitate de a simplifica lucrurile. euna pre-print postat pe arXiv, ei deScrieți o nouă abordare de antrenament care elimină complet trecerea înapoi. În schimb, algoritmul lor face estimări ale modului în care ponderile vor avea nevoie be modificat la trecerea înainte și se dovedește că aceste aproximări sunt suficient de apropiate pentru a obține performanțe comparabile cu propagarea înapoi.

Cercetătorii au arătat că abordarea poate fi folosită pentru a antrena o varietate de algoritmi diferiți de învățare automată, dar, deoarece implică doar o trecere înainte, a reușit să reducă timpii de antrenament cu până la jumătate.

Este un simplu truc matematic, Andrew Corbett de la Universitatea din Exeter din Marea Britanie a spus New Scientist, dar coAr putea ajuta la abordarea uneia dintre cele mai presante provocări cu care se confruntă AI astăzi. „Este un lucru foarte, foarte important de rezolvat, pentru că este blocajul algoritmilor de învățare automată”, a spus el.

Cât de larg aplicabilă este abordarea rămâne totuși de văzut. În lucrarea lor, cercetătorii arată că diferența dintre costurile de rulare se micșorează pe măsură ce numărul de straturi dintr-o rețea neuronală crește, sugerând că tehnica poate avea randamente în scădere cu modele mai mari.

Cu toate acestea, cercetătorii observă, de asemenea, că au identificat o serie de oportunități de a modifica modul în care funcționează algoritmii standard de învățare automată pentru a se potrivi mai bine cu metoda lor, ceea ce ar putea duce la câștiguri suplimentare de performanță.

De asemenea, cercetarea ar putea contribui la un mister în curs de desfășurare în inteligența umană. Rețelele neuronale artificiale rămân unul dintre cele mai bune instrumente ale noastre pentru a investiga modul în care creierul învață, dar acesta haSe știe de mult timp că retropropagarea nu este plauzibilă din punct de vedere biologic din cauza lipsei oricărei conectivitati inverse între neuroni. O abordare a învățării care necesită doar o trecere înainte poate ajuta la luminarea modului în care creierul nostru rezolvă problema de învățare.

Credit imagine: Pexels / 9144 imagini

Timestamp-ul: Martie 21, 2022