I ricercatori di Oxford addestrano l'IA due volte più velocemente con un semplice trucco matematico

Timestamp: 21 marzo 2022 10:00
Nodo di origine: 1225402
La retropropagazione dell'IA accelera i raggi di luce veloci

Man mano che i modelli di IA diventano sempre più grandi, la quantità di denaro e energia necessario per addestrarli è diventato un problema urgente. Un nuovo approccio che riscrive uno degli elementi costitutivi fondamentali della disciplina potrebbe fornire una potenziale soluzione alternativa.

Da allora GPT-3 ha dimostrato i significativi salti di prestazioni ottenibili semplicemente aumentandocantando le dimensioni del modello, i leader del settore dell'IA hanno accumulato risorse nella formazione reti neurali sempre più massicce.

Ma questo costa enormi quantità di denaro, richiede enormi risorse di elaborazione e utilizza enormi quantità di energia. Questo è sempre più visto come un problema, non solo a causa delle implicazioni ambientali, ma anche perché sta rendendo difficile la competizione per le squadre di IA più piccole e, di conseguenza, concentrando il potere nelle mani dei leader del settore.

Ora, però, i ricercatori dell'Università di Oxford hanno delineato un nuovo approccio che potrebbe potenzialmentely dimezza i tempi di allenamento. Lo fanno riscrivendo uno degli ingredienti più fondamentali negli odierni sistemi di intelligenza artificiale basati su reti neurali: la backpropagation.

Il modo in cui una rete neurale elabora i dati è governato dalla forza delle connessioni tra i suoi vari neuroni. Quindi, per convincerli a svolgere un lavoro utile, devi prima regolare queste connessioni finché non elaboreranno i dati nel modo desiderato. A tal fine, addestra la rete sui dati rilevanti per il problema utilizzando un processo chiamato backpropagation, che è suddiviso in due fasi.

La corsa in avanti prevede l'alimentazione dei dati attraverso la rete e la capacità di fare previsioni. Nel passaggio a ritroso, le misurazioni dell'accuratezza di queste previsioni vengono utilizzate per tornare indietro attraverso la rete e capire come regolare la forza delle varie connessioni per migliorare le prestazioni. Ripetendo questo processo molte volte utilizzando molti dati, la rete lavora gradualmente verso una configurazione ottimale delle connessioni che risolve il problema in questione.

Questo processo ripetitivo è il motivo per cui ci vuole così tanto tempo per addestrare l'IA, ma i ricercatori di Oxford potrebbero aver trovato un modo per semplificare le cose. ion / a prestampa pubblicata su arXiv, loro descrivi un nuovo approccio di allenamento che elimina completamente il passaggio all'indietro. Invece, il loro algoritmo effettua stime di come dovranno essere i pesi be alterato sul passaggio in avanti, e risulta che queste approssimazioni sono abbastanza vicine da ottenere prestazioni paragonabili alla backpropagation.

I ricercatori hanno dimostrato che l'approccio può essere utilizzato per addestrare una varietà di diversi algoritmi di apprendimento automatico, ma poiché prevede solo un passaggio in avanti, è stato in grado di ridurre i tempi di allenamento fino alla metà.

È un semplice trucco matematico, Andrew Corbett dell'Università di Exeter nel Regno Unito detto New Scientist, ma coAiuta ad affrontare una delle sfide più urgenti che l'IA deve affrontare oggi. "È una cosa molto, molto importante da risolvere, perché è il collo di bottiglia degli algoritmi di apprendimento automatico", ha affermato.

Tuttavia, resta da vedere quanto sia ampiamente applicabile l'approccio. Nel loro articolo, i ricercatori mostrano che la differenza nei costi di runtime si riduce all'aumentare del numero di strati in una rete neurale, suggerendo che la tecnica potrebbe avere rendimenti decrescenti con modelli più grandi.

Tuttavia, i ricercatori notano anche di aver identificato una serie di opportunità per modificare il modo in cui gli algoritmi di apprendimento automatico standard funzionano per adattarsi meglio al loro metodo, il che potrebbe portare a ulteriori miglioramenti delle prestazioni.

La ricerca potrebbe anche potenzialmente contribuire a un mistero in corso nell'intelligenza umana. Le reti neurali artificiali rimangono uno dei nostri migliori strumenti per indagare su come il cervello apprende, ma lo è haÈ noto da tempo che la backpropagation non è biologicamente plausibile a causa della mancanza di qualsiasi connettività all'indietro tra i neuroni. Un approccio di apprendimento che richiede solo un passaggio in avanti può aiutare a far luce su come il nostro cervello risolve il problema di apprendimento.

Immagine di credito: Pexel / 9144 immagini

Timestamp:

Di più da Hub di singolarità