Вчимося вчитися градієнтним спуском градієнтним спуском
автори: Марчін Андричович, Міша Деніл, Серхіо Гомес, Метью Хоффман, Девід Пфау, Том Шаул, Нандо Де Фрейтас
Алгоритми оптимізації сьогодні зазвичай розробляються вручну; Розробники алгоритмів, ретельно продумуючи кожну проблему, можуть розробляти алгоритми, які використовують структуру, яку вони можуть точно охарактеризувати. Цей процес проектування відображає зусилля комп’ютерного зору на початку 2000-х років, щоб вручну охарактеризувати та знайти такі елементи, як краї та кути на зображеннях, за допомогою функцій, розроблених вручну. Найбільший прорив сучасного комп’ютерного зору полягав у тому, щоб натомість вивчати ці функції безпосередньо з даних, усунувши ручне проектування з циклу. У цьому документі показано, як ми можемо поширити ці методи на проектування алгоритмів, вивчаючи не лише особливості, але й вивчаючи сам процес навчання.
Ми показуємо, як розробку алгоритму оптимізації можна перетворити на навчальну задачу, дозволяючи алгоритму навчитися автоматично використовувати структуру в завданнях, що цікавлять. Наші навчені алгоритми перевершують стандартних конкурентів, розроблених вручну, у завданнях, для яких вони навчені, а також добре узагальнюються для нових завдань із подібною структурою. Ми демонструємо це на низці завдань, включаючи навчання нейронної мережі та стилізацію зображень за допомогою нейронного мистецтва.
Щоб отримати додаткові відомості та пов’язану роботу, перегляньте документ https://arxiv.org/abs/1606.04474
Перевірте це на NIPS:
Вівторок, 6 грудня, 06:00 – 09:30 @ зона 5+6+7+8 №9
Четвер, 8 грудня, 02:00 – 9:30 @ Зона 1+2 (Симпозіум із глибокого навчання – плакат)
П’ятниця, 9 грудня, 08:00 – 06:30 @ Зона 1 (семінар DeepRL – виступ Нандо Де Фрейтаса)
П’ятниця, 9 грудня, 08:00 – 06:30 @ Область 5+6 (Невипукла оптимізація для машинного навчання: теорія та практика – виступ Нандо Де Фрейтаса)
Субота, 10 грудня, 08:00 – 6:30 @ Зона 2 (оптимізація оптимізаторів – виступ Метью В. Хоффмана)
Джерело: https://deepmind.com/blog/article/deepmind-papers-nips-part-2