Belajar belajar dengan gradient descent gradient descent
Penulis: Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew Hoffman, David Pfau, Tom Schaul, Nando De Freitas
Algoritme pengoptimalan saat ini biasanya dirancang dengan tangan; perancang algoritma, dengan memikirkan setiap masalah dengan hati-hati, mampu merancang algoritma yang mengeksploitasi struktur yang dapat mereka ciri secara tepat. Proses desain ini mencerminkan upaya computer vision di awal tahun 2000-an untuk secara manual mengkarakterisasi dan menemukan fitur-fitur seperti tepi dan sudut pada gambar dengan fitur yang dirancang dengan tangan. Terobosan terbesar dari visi komputer modern adalah mempelajari fitur-fitur ini langsung dari data, menghilangkan rekayasa manual dari loop. Makalah ini menunjukkan bagaimana kita dapat memperluas teknik ini ke desain algoritma, mempelajari tidak hanya fitur tetapi juga belajar tentang proses pembelajaran itu sendiri.
Kami menunjukkan bagaimana desain algoritme pengoptimalan dapat digunakan sebagai masalah pembelajaran, memungkinkan algoritme untuk belajar mengeksploitasi struktur dalam masalah yang diminati secara otomatis. Algoritme yang dipelajari kami mengungguli pesaing yang dirancang tangan standar pada tugas-tugas yang mereka latih, dan juga menggeneralisasi dengan baik untuk tugas-tugas baru dengan struktur yang sama. Kami mendemonstrasikan ini pada sejumlah tugas, termasuk pelatihan jaringan saraf, dan menata gambar dengan seni saraf.
Untuk perincian lebih lanjut dan pekerjaan terkait, silakan lihat makalahnya https://arxiv.org/abs/1606.04474
Lihat di NIPS:
Sel 6 Des 06:00 - 09:30 @ Area 5 + 6 + 7 + 8 # 9
Kamis, 8 Des 02:00 - 9:30 @ Area 1 + 2 (Simposium Pembelajaran Mendalam - Poster)
Jumat 9 Des 08:00 - 06:30 @ Area 1 (Workshop DeepRL - Talk oleh Nando De Freitas)
Jumat, 9 Des 08:00 - 06:30 @ Area 5 + 6 (Optimasi Nonconvex untuk Pembelajaran Mesin: Teori dan Praktek - Pembicaraan oleh Nando De Freitas)
Sabtu 10 Des 08:00 - 6:30 @ Area 2 (Mengoptimalkan Pengoptimal - Pembicaraan oleh Matthew W. Hoffman)
Sumber: https://deepmind.com/blog/article/deepmind-papers-nips-part-2