Naukowcy z Oxfordu trenują sztuczną inteligencję dwa razy szybciej za pomocą prostej matematycznej sztuczki

Opublikowane ponownie przez Plato

Obserwuje: 0

Szybkość wstecznej propagacji AI z szybkimi wiązkami światła

Ponieważ modele AI stają się coraz większe, ilość pieniędzy i energia wymagane do ich szkolenia stało się gorącym tematem. Nowe podejście, które zmienia jeden z podstawowych elementów składowych tej dyscypliny, może stanowić potencjalne obejście.

Odkąd GPT-3 wykazali znaczące skoki wydajności, które można osiągnąć poprzez zwykłe zwiększenierozmiar modelu, liderzy branży AI gromadzą zasoby w szkoleniach coraz bardziej masywne sieci neuronowe.

Ale to kosztuje ogromne pieniądze, wymaga ogromnych zasobów obliczeniowych i zużywa ogromne ilości energii. Jest to coraz częściej postrzegane jako problem, nie tylko ze względu na konsekwencje środowiskowe, ale także dlatego, że utrudnia konkurowanie mniejszym firmom AI, a w rezultacie koncentrację władzy w rękach liderów branży.

Teraz jednak naukowcy z Uniwersytetu Oksfordzkiego przedstawili nowe podejście, które może potencjalniely skrócić czas treningu o połowę. Robią to, przepisując jeden z najbardziej podstawowych składników dzisiejszych systemów sztucznej inteligencji opartych na sieciach neuronowych: propagację wsteczną.

Sposób przetwarzania danych przez sieć neuronową zależy od siły połączeń między jej różnymi neuronami. Aby więc zmusić ich do użytecznej pracy, najpierw musisz dostosować te połączenia, dopóki nie przetworzą danych tak, jak chcesz. Robisz to, szkoląc sieć na danych istotnych dla problemu za pomocą procesu zwanego wsteczną propagacją, który jest podzielony na dwie fazy.

Przebieg do przodu polega na przesyłaniu danych przez sieć i uzyskiwaniu ich do prognozowania. W przejściu wstecznym pomiary dokładności tych prognoz są wykorzystywane do cofania się przez sieć i obliczania, w jaki sposób należy dostosować siłę różnych połączeń, aby poprawić wydajność. Wielokrotne powtarzanie tego procesu przy użyciu dużej ilości danych powoduje, że sieć stopniowo dąży do optymalnej konfiguracji połączeń, która rozwiązuje dany problem.

Ten powtarzalny proces jest powodem, dla którego trenowanie sztucznej inteligencji trwa tak długo, ale naukowcy z Oksfordu mogli znaleźć sposób na uproszczenie rzeczy. ind pre-print wysłano dnia arXiv, oni deopisać nowe podejście do treningu, które całkowicie eliminuje cofanie się. Zamiast tego ich algorytm szacuje, jak wagi będą musiały be zmieniony przy przejściu do przodu i okazuje się, że te przybliżenia są wystarczająco bliskie, aby osiągnąć porównywalne osiągi do propagacji wstecznej.

Naukowcy wykazali, że podejście to można wykorzystać do trenowania różnych algorytmów uczenia maszynowego, ale ponieważ obejmuje tylko podanie do przodu, udało się skrócić czas uczenia nawet o połowę.

To prosta sztuczka matematyczna, Andrew Corbett z University of Exeter w Wielkiej Brytanii powiedział New Scientist, ale comoże pomóc w rozwiązaniu jednego z najpilniejszych wyzwań stojących dziś przed sztuczną inteligencją. „To bardzo, bardzo ważna sprawa do rozwiązania, ponieważ jest to wąskie gardło algorytmów uczenia maszynowego” – powiedział.

Jednak, jak szerokie zastosowanie ma to podejście, dopiero się okaże. W swoim artykule naukowcy wykazali, że różnica w kosztach czasu pracy maleje wraz ze wzrostem liczby warstw w sieci neuronowej, co sugeruje, że ta technika może przynosić coraz mniejsze zyski w przypadku większych modeli.

Jednak naukowcy zauważają również, że zidentyfikowali szereg możliwości ulepszenia sposobu działania standardowych algorytmów uczenia maszynowego, aby lepiej pasowały do ich metody, co może prowadzić do dalszego wzrostu wydajności.

Badania mogą również potencjalnie przyczynić się do zagadki ludzkiej inteligencji. Sztuczne sieci neuronowe pozostają jednym z naszych najlepszych narzędzi do badania procesu uczenia się mózgu, ale haOd dawna wiadomo, że wsteczna propagacja nie jest biologicznie wiarygodna z powodu braku jakiejkolwiek wstecznej łączności między neuronami. Podejście do uczenia się, które wymaga tylko podania do przodu, może pomóc rzucić światło na to, jak nasz mózg rozwiązuje problem z uczeniem się.

Kredytowych Image: Pexels / 9144 zdjęć

Znak czasu: 21 marca 2022 r.