Oxfordi teadlased treenivad tehisintellekti kaks korda kiiremini lihtsa matemaatilise trikiga

Kuna AI mudelid muutuvad üha suuremaks, rahasumma ja energia on muutunud kuuma nupuga probleemiks. Uus lähenemisviis, mis kirjutab ümber distsipliini ühe põhilise ehitusploki, võib pakkuda potentsiaalset lahendust.

Sellest ajast GPT-3 demonstreerisid märkimisväärseid hüppeid jõudluses, mis on saavutatav lihtsalt suurendamisegaSing mudeli suurust, on tehisintellekti tööstuse juhid kogunud ressursse koolitusse üha massiivsemad närvivõrgud.

Kuid see maksab tohutult raha, nõuab tohutuid arvutusressursse ja kasutab tohutult energiat. Seda peetakse üha enam probleemiks, mitte ainult keskkonnamõjude tõttu, vaid ka seetõttu, et see raskendab väiksemate tehisintellekti rõivaste konkureerimist ja selle tulemusel võimu koondamist tööstusharu liidrite kätte.

Kuid nüüd on Oxfordi ülikooli teadlased visandanud uue lähenemisviisi, mis võiks olla potentsiaalnely kaldkriipsuga treeninguajad pooleks. Nad teevad seda, kirjutades ümber tänapäeva närvivõrgupõhiste tehisintellektisüsteemide ühe põhilisema koostisosa: tagasilevi.

Seda, kuidas närvivõrk andmeid töötleb, määrab selle erinevate neuronite vaheliste ühenduste tugevus. Seega, et panna nad kasulikku tööd tegema, peate esmalt neid ühendusi kohandama, kuni nad töötlevad andmeid nii, nagu soovite. Seda saate teha, koolitades võrku probleemiga seotud andmetega, kasutades protsessi, mida nimetatakse tagasilevitamiseks ja mis on jagatud kaheks faasiks.

Edasiminek hõlmab andmete edastamist võrgu kaudu ja nende ennustuste tegemiseks. Tagasikäigus kasutatakse nende ennustuste täpsuse mõõtmisi, et minna tagasi võrgu kaudu ja välja selgitada, kuidas tuleks jõudluse parandamiseks kohandada erinevate ühenduste tugevust. Korrates seda protsessi mitu korda, kasutades palju andmeid, töötab võrk järk-järgult ühenduste optimaalse konfiguratsiooni poole, mis lahendab probleemi.

See korduv protsess on põhjus, miks AI koolitamine võtab nii kaua aega, kuid Oxfordi teadlased võisid leida viisi asjade lihtsustamiseks. mana eeltrükk postitatud arXiv, nad dekirjutage välja uus koolitusviis, mis kaotab tagurpidi liikumise täielikult. Selle asemel hindab nende algoritm kaalude vajadust be edasipääsul muudetud ja selgub, et need ligikaudsed väärtused on piisavalt lähedased, et saavutada tagasilevimisega võrreldav jõudlus.

Teadlased näitasid, et seda lähenemisviisi saab kasutada mitmesuguste erinevate masinõppe algoritmide koolitamiseks, kuid kuna see hõlmab ainult edasipääsu, suutis see treeninguaegu poole võrra lühendada.

See on lihtne matemaatiline trikk, Andrew Corbett Ühendkuningriigi Exeteri ülikoolist ütles New Scientist, aga kaasaitab toime tulla ühe pakilisema väljakutsega, millega tehisintellekt tänapäeval silmitsi seisab. "See on väga-väga oluline lahendus, sest see on masinõppe algoritmide kitsaskoht," ütles ta.

Kui laialdaselt seda lähenemisviisi rakendatakse, tuleb siiski näha. Uurijad näitavad oma artiklis, et käitusaja kulude erinevus väheneb, kui närvivõrgu kihtide arv suureneb, mis viitab sellele, et tehnika võib suuremate mudelite puhul vähendada tulu.

Kuid teadlased märgivad ka, et nad on tuvastanud mitmeid võimalusi standardsete masinõppe algoritmide tööviisi kohandamiseks, et need sobiksid paremini nende meetodiga, mis võib kaasa tuua täiendava jõudluse kasvu.

Uuring võib potentsiaalselt kaasa aidata ka inimese intelligentsuse käimasolevale mõistatusele. Kunstlikud närvivõrgud jäävad üheks meie parimaks vahendiks aju õppimise uurimisel, kuid see on nii haOn juba ammu teada, et tagasipaljunemine ei ole bioloogiliselt usutav, kuna neuronite vahel puudub igasugune tagurpidi ühenduvus. Õppimisviis, mis nõuab ainult edasipääsu, võib aidata selgitada, kuidas meie aju õpiprobleeme lahendab.

Image Credit: Pexels / 9144 pilti

• Münditark. Euroopa parim Bitcoini ja krüptobörs.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
• CryptoHawk. Altcoini radar. Tasuta prooviversioon.
• Allikas: https://singularityhub.com/2022/03/21/a-simplified-ai-training-scheme-could-cut-development-time-by-half/