Nauka uczenia się poprzez schodzenie gradientem schodzenie z gradientem
Autorzy: Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew Hoffman, David Pfau, Tom Schaul, Nando De Freitas
Dzisiejsze algorytmy optymalizacji są zazwyczaj projektowane ręcznie; projektanci algorytmów, dokładnie myśląc o każdym problemie, są w stanie zaprojektować algorytmy wykorzystujące strukturę, którą potrafią precyzyjnie scharakteryzować. Ten proces projektowania odzwierciedla wysiłki komputerowego widzenia na początku 2000 roku, aby ręcznie scharakteryzować i zlokalizować elementy, takie jak krawędzie i rogi na obrazach z ręcznie zaprojektowanymi funkcjami. Największym przełomem we współczesnej wizji komputerowej było zamiast tego uczenie się tych funkcji bezpośrednio z danych, usuwając z pętli inżynierię ręczną. Ten artykuł pokazuje, jak możemy rozszerzyć te techniki na projektowanie algorytmów, poznając nie tylko cechy, ale także sam proces uczenia się.
Pokazujemy, w jaki sposób projekt algorytmu optymalizacyjnego może być oddany jako problem uczący, pozwalając algorytmowi nauczyć się wykorzystywać strukturę w interesujących go problemach w sposób automatyczny. Nasze wyuczone algorytmy przewyższają standardowych, ręcznie zaprojektowanych konkurentów w zadaniach, do których zostali przeszkoleni, a także dobrze uogólniają nowe zadania o podobnej strukturze. Pokazujemy to na wielu zadaniach, w tym treningu sieci neuronowych i stylizacji obrazów za pomocą sztuki neuronowej.
Więcej informacji i powiązanych prac można znaleźć w artykule https://arxiv.org/abs/1606.04474
Sprawdź to na NIPS:
6 grudnia 06:00 – 09:30 @ Area 5+6+7+8 #9
Czwartek 8 grudnia 02:00 – 9:30 @ Area 1+2 (Sympozjum Deep Learning – plakat)
Piątek 9 grudnia 08:00-06:30 w Strefie 1 (Warsztaty DeepRL – wykład Nando De Freitas)
Piątek 9 grudnia 08:00 – 06:30 w Strefie 5+6 (Niewypukła optymalizacja dla uczenia maszynowego: teoria i praktyka – wykład Nando De Freitas)
Sobota 10 grudnia 08:00 – 6:30 w Strefie 2 (Optymalizacja optymalizatorów – wykład Matthew W. Hoffmana)
Źródło: https://deepmind.com/blog/article/deepmind-papers-nips-part-2