Oxford-forskere træner AI to gange hurtigere med et simpelt matematisk trick

Genudgivet af Platon

Abonnenter: 0

AI backpropagation hastighed hurtige lysstråler

Efterhånden som AI-modeller bliver stadig større, bliver mængden af penge og energi kræves for at træne dem er blevet et hot-button-problem. En ny tilgang, der omskriver en af de grundlæggende byggesten i disciplinen, kunne give en potentiel løsning.

Lige siden GPT-3 demonstreret de betydelige spring i ydeevne, der kan opnås ved blot at øgeaf modelstørrelse, har ledere i AI-industrien samlet ressourcer i træning stadig mere massive neurale netværk.

Men dette koster enorme mængder penge, kræver massive computerressourcer og bruger enorme mængder strøm. Det ses i stigende grad som et problem, ikke kun på grund af de miljømæssige konsekvenser, men også fordi det gør det vanskeligt for mindre AI-udstyr at konkurrere, og som et resultat koncentrerer magten i hænderne på industriledere.

Men nu har forskere fra Oxford University skitseret en ny tilgang, der kunne have potentialely halvere træningstiderne. Det gør de ved at omskrive en af de mest fundamentale ingredienser i nutidens neurale netværksbaserede AI-systemer: backpropagation.

Hvordan et neuralt netværk behandler data er styret af styrken af forbindelserne mellem dets forskellige neuroner. Så for at få dem til at udføre nyttigt arbejde, skal du først justere disse forbindelser, indtil de behandler dataene, som du vil have dem til. Det gør du ved at træne netværket i data, der er relevante for problemet, ved hjælp af en proces kaldet backpropagation, som er opdelt i to faser.

Fremadkørslen involverer at føre data gennem netværket og få det til at lave forudsigelser. I tilbageløbet bruges målinger af nøjagtigheden af disse forudsigelser til at gå tilbage gennem netværket og finde ud af, hvordan styrken af forskellige forbindelser skal justeres for at forbedre ydeevnen. Ved at gentage denne proces mange gange med masser af data, arbejder netværket gradvist hen imod en optimal konfiguration af forbindelser, der løser det aktuelle problem.

Denne gentagne proces er grunden til, at det tager så lang tid at træne AI, men Oxford-forskerne har muligvis fundet en måde at forenkle tingene på. jegna fortryk lagt på arXiv, de deskrive en ny træningstilgang, der fjerner den baglæns aflevering fuldstændigt. I stedet laver deres algoritme skøn over, hvordan vægte skal be ændret på den fremadgående passage, og det viser sig, at disse tilnærmelser er tæt nok til at opnå sammenlignelig ydeevne med tilbageudbredelse.

Forskerne viste, at tilgangen kan bruges til at træne en række forskellige maskinlæringsalgoritmer, men fordi den kun involverer et fremadgående aflevering, var det i stand til at skære træningstiden ned med så meget som det halve.

Det er et simpelt matematisk trick, Andrew Corbett fra University of Exeter i Storbritannien fortalt New Scientist, men cokan hjælpe med at tackle en af de mest presserende udfordringer, som AI står over for i dag. "Det er en meget, meget vigtig ting at løse, fordi det er flaskehalsen ved maskinlæringsalgoritmer," sagde han.

Hvor bredt anvendelig tilgangen er, skal dog ses. I deres papir viser forskerne, at forskellen i driftsomkostninger skrumper, efterhånden som antallet af lag i et neuralt netværk stiger, hvilket tyder på, at teknikken kan have et faldende udbytte med større modeller.

Forskerne bemærker dog også, at de har identificeret en række muligheder for at justere den måde, standard maskinlæringsalgoritmer fungerer på, så de passer bedre til deres metode, hvilket kan føre til yderligere præstationsgevinster.

Forskningen kan også potentielt bidrage til et igangværende mysterium inden for menneskelig intelligens. Kunstige neurale netværk forbliver et af vores bedste værktøjer til at undersøge, hvordan hjernen lærer, men det haDet har længe været kendt, at backpropagation ikke er biologisk plausibel på grund af manglen på nogen baglæns forbindelse mellem neuroner. En læringstilgang, der kun kræver et fremadgående pass, kan være med til at kaste lys over, hvordan vores hjerne løser læringsproblemet.

Billede Credit: Pexels / 9144 billeder

Tidsstempel: Marts 21, 2022