Oxford-forskare tränar AI två gånger snabbare med ett enkelt matematiskt trick

Återutgiven av Platon

anhängare: 0

AI backpropagation hastighet snabba ljusstrålar

I takt med att AI-modellerna blir allt större kommer mängden pengar och energi som krävs för att utbilda dem har blivit ett hot-button-problem. Ett nytt tillvägagångssätt som skriver om en av de grundläggande byggstenarna i disciplinen skulle kunna ge en möjlig lösning.

Alltsedan GPT-3 visade de betydande hopp i prestanda som kan uppnås genom att helt enkelt ökaMed tanke på modellstorlek har ledare inom AI-branschen samlat resurser på utbildning alltmer massiva neurala nätverk.

Men detta kostar enorma summor pengar, kräver enorma datorresurser och använder enorma mängder ström. Det ses alltmer som ett problem, inte bara på grund av miljökonsekvenserna, utan också för att det gör det svårt för mindre AI-utrustningar att konkurrera och som ett resultat koncentrerar makten i händerna på industriledare.

Men nu har forskare från Oxford University skisserat ett nytt tillvägagångssätt som kan ha potentially halvera träningstiderna. De gör det genom att skriva om en av de mest grundläggande ingredienserna i dagens neurala nätverksbaserade AI-system: backpropagation.

Hur ett neuralt nätverk bearbetar data styrs av styrkan i sambanden mellan dess olika neuroner. Så för att få dem att göra användbart arbete måste du först justera dessa anslutningar tills de behandlar data som du vill att de ska göra. Du gör detta genom att träna nätverket på data som är relevant för problemet med hjälp av en process som kallas backpropagation, som är uppdelad i två faser.

Framåtkörningen innebär att mata data genom nätverket och få det att göra förutsägelser. I bakåtpasset används mätningar av noggrannheten i dessa förutsägelser för att gå tillbaka genom nätverket och räkna ut hur styrkan på olika anslutningar ska justeras för att förbättra prestandan. Genom att upprepa denna process många gånger med mycket data, arbetar nätverket gradvis mot en optimal konfiguration av anslutningar som löser problemet.

Denna repetitiva process är anledningen till att det tar så lång tid att träna AI, men Oxford-forskarna kan ha hittat ett sätt att förenkla saker och ting. jagna förtryck publicerat på arXiv, de deskriva en ny träningsmetod som helt tar bort baklängespassningen. Istället gör deras algoritm uppskattningar av hur vikter kommer att behöva be ändrats på det framåtgående passet, och det visar sig att dessa approximationer är tillräckligt nära för att uppnå jämförbar prestanda med backpropagation.

Forskarna visade att tillvägagångssättet kan användas för att träna en mängd olika maskininlärningsalgoritmer, men eftersom det bara innebär en framåtpassning kunde den minska träningstiderna med så mycket som hälften.

Det är ett enkelt matematiskt trick, Andrew Corbett från University of Exeter i Storbritannien berättade New Scientist, men cokan hjälpa till att tackla en av de mest pressande utmaningarna som AI står inför idag. "Det är en väldigt, väldigt viktig sak att lösa, eftersom det är flaskhalsen för maskininlärningsalgoritmer," sa han.

Hur brett tillämpligt tillvägagångssättet är återstår dock att se. I sin uppsats visar forskarna att skillnaden i körtidskostnader minskar när antalet lager i ett neuralt nätverk ökar, vilket tyder på att tekniken kan ha minskande avkastning med större modeller.

Men forskarna noterar också att de har identifierat ett antal möjligheter att justera hur vanliga maskininlärningsalgoritmer fungerar för att bättre passa deras metod, vilket kan leda till ytterligare prestandavinster.

Forskningen kan också potentiellt bidra till ett pågående mysterium inom mänsklig intelligens. Artificiella neurala nätverk är fortfarande ett av våra bästa verktyg för att undersöka hur hjärnan lär sig, men det haDet har länge varit känt att backpropagation inte är biologiskt rimligt på grund av bristen på bakåtkoppling mellan neuroner. En inlärningsmetod som bara kräver ett framåtpass kan hjälpa till att belysa hur vår hjärna löser inlärningsproblemet.

Image Credit: Pexels / 9144 bilder

Tidsstämpel: Mars 21, 2022