Oxford Researchers Train AI Two Times Faster With A Simple Mathematical Trick

Ponovno objavil Platon

Spremljevalci: 0

AI povratna hitrost širjenja hitrih svetlobnih žarkov

Ker modeli AI postajajo vedno večji, se količina denarja in energija ki jih je treba usposobiti, je postala pereča težava. Nov pristop, ki na novo napiše enega od temeljnih gradnikov discipline, bi lahko zagotovil potencialno rešitev.

Odkar GPT-3 dokazal znatne skoke v uspešnosti, ki jih je mogoče doseči s preprostim povečanjemGlede na velikost modela so vodilni v industriji umetne inteligence vložili sredstva v usposabljanje vedno bolj množične nevronske mreže.

Toda to stane ogromne količine denarja, zahteva ogromne računalniške vire in porabi ogromno energije. To se vedno bolj obravnava kot težava, ne le zaradi okoljskih posledic, ampak tudi zato, ker otežuje tekmovanje manjšim podjetjem za umetno inteligenco in posledično koncentracijo moči v rokah vodilnih v industriji.

Zdaj pa so raziskovalci z univerze v Oxfordu orisali nov pristop, ki bi lahko bil potencialenly prepolovite čas treninga. To storijo tako, da prepišejo eno najbolj temeljnih sestavin današnjih sistemov umetne inteligence, ki temeljijo na nevronskih mrežah: širjenje nazaj.

Kako nevronska mreža obdeluje podatke, je odvisno od moči povezav med različnimi nevroni. Da bi jih spodbudili k koristnemu delu, morate najprej prilagoditi te povezave, dokler ne obdelajo podatkov tako, kot želite. To storite tako, da usposobite omrežje za podatke, ki so pomembni za težavo, z uporabo procesa, imenovanega širjenje nazaj, ki je razdeljen na dve fazi.

Naprej vključuje podajanje podatkov prek omrežja in njihovo pripravo za napovedovanje. V povratnem prehodu se meritve točnosti teh napovedi uporabijo za vrnitev skozi omrežje in ugotavljanje, kako je treba prilagoditi moč različnih povezav za izboljšanje učinkovitosti. Z večkratnim ponavljanjem tega postopka z uporabo velike količine podatkov omrežje postopoma deluje v smeri optimalne konfiguracije povezav, ki rešuje trenutno težavo.

Zaradi tega ponavljajočega se procesa traja tako dolgo, da usposobimo umetno inteligenco, vendar so oxfordski raziskovalci morda našli način, kako stvari poenostaviti. jazna predtisk objavljen dne arXiv, oni denapišite nov pristop k treningu, ki v celoti odpravi podajo nazaj. Namesto tega njihov algoritem naredi ocene o tem, kako bodo potrebne uteži be spremenjen pri prehodu naprej in izkazalo se je, da so ti približki dovolj blizu, da dosežejo primerljivo zmogljivost s širjenjem nazaj.

Raziskovalci so pokazali, da je pristop mogoče uporabiti za usposabljanje različnih algoritmov strojnega učenja, a ker vključuje le prehod naprej, je lahko čas usposabljanja skrajšal za kar polovico.

Gre za preprost matematični trik, Andrew Corbett z univerze Exeter v Veliki Britaniji Rekel New Scientist, ampak could pomaga pri spopadanju z enim najbolj perečih izzivov, s katerimi se sooča umetna inteligenca danes. "To je zelo, zelo pomembna stvar za rešitev, ker je ozko grlo algoritmov strojnega učenja," je dejal.

Kako široko uporaben je pristop, bomo še videli. Raziskovalci v svojem prispevku kažejo, da se razlika v stroških izvajanja zmanjšuje, ko se število plasti v nevronski mreži povečuje, kar nakazuje, da ima tehnika lahko manjše donose z večjimi modeli.

Vendar pa raziskovalci tudi ugotavljajo, da so odkrili številne priložnosti za prilagajanje načina delovanja standardnih algoritmov strojnega učenja, da bi bolje ustrezali njihovi metodi, kar bi lahko privedlo do nadaljnjega povečanja zmogljivosti.

Raziskava bi lahko tudi potencialno prispevala k še vedno skrivnostni človeški inteligenci. Umetne nevronske mreže ostajajo eno naših najboljših orodij za raziskovanje, kako se možgani učijo, vendar haŽe dolgo je znano, da širjenje nazaj ni biološko verjetno zaradi pomanjkanja povratne povezave med nevroni. Učni pristop, ki zahteva samo prehod naprej, lahko pomaga osvetliti, kako naši možgani rešujejo učni problem.

Kreditno slike: Pexels / 9144 slik

Časovni žig: Marec 21, 2022