Učenje učenja z gradientnim spuščanjem gradientnim spuščanjem
Avtorji: Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew Hoffman, David Pfau, Tom Schaul, Nando De Freitas
Optimizacijski algoritmi so danes običajno oblikovani ročno; oblikovalci algoritmov, ki skrbno premislijo o vsakem problemu, lahko oblikujejo algoritme, ki izkoriščajo strukturo, ki jo lahko natančno opredelijo. Ta proces oblikovanja odraža prizadevanja računalniškega vida v zgodnjih 2000-ih, da bi z ročno oblikovanimi značilnostmi ročno opredelili in locirali funkcije, kot so robovi in vogali. Največji preboj sodobnega računalniškega vida je bil učenje teh funkcij neposredno iz podatkov, s čimer se ročno inženirstvo odstrani iz zanke. Ta članek prikazuje, kako lahko te tehnike razširimo na načrtovanje algoritmov, pri čemer se ne učimo samo funkcij, temveč tudi spoznavamo sam proces učenja.
Pokažemo, kako je mogoče zasnovo optimizacijskega algoritma oblikovati kot učni problem, ki omogoča algoritmu, da se samodejno nauči izkoriščati strukturo v problemih, ki nas zanimajo. Naši naučeni algoritmi prekašajo standardne ročno oblikovane konkurente pri nalogah, za katere so usposobljeni, in se tudi dobro posplošujejo na nove naloge s podobno strukturo. To prikazujemo pri številnih nalogah, vključno z usposabljanjem nevronske mreže in oblikovanjem slik z nevronsko umetnostjo.
Za nadaljnje podrobnosti in povezano delo si oglejte dokument https://arxiv.org/abs/1606.04474
Preverite na NIPS:
Torek, 6. december 06:00 – 09:30 PM @ Območje 5+6+7+8 #9
Četrtek, 8. december, 02 – 00 @ Območje 9+30 (Simpozij o poglobljenem učenju – plakat)
Petek, 9. december, 08:00 – 06:30 @ Območje 1 (DeepRL delavnica – pogovor Nando De Freitas)
Petek, 9. december, 08 – 00 @ Območje 06+30 (nekonveksna optimizacija za strojno učenje: teorija in praksa – govor Nando De Freitas)
Sobota, 10. december, 08:00 – 6:30 @ Območje 2 (Optimiziranje optimizatorjev – pogovor Matthewa W. Hoffmana)
Vir: https://deepmind.com/blog/article/deepmind-papers-nips-part-2