Μαθαίνω να μαθαίνω με gradient descent gradient descent
Συγγραφείς: Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew Hoffman, David Pfau, Tom Schaul, Nando De Freitas
Οι αλγόριθμοι βελτιστοποίησης σήμερα σχεδιάζονται συνήθως με το χέρι. Οι σχεδιαστές αλγορίθμων, σκεπτόμενοι προσεκτικά κάθε πρόβλημα, είναι σε θέση να σχεδιάσουν αλγόριθμους που εκμεταλλεύονται τη δομή που μπορούν να χαρακτηρίσουν με ακρίβεια. Αυτή η διαδικασία σχεδίασης αντικατοπτρίζει τις προσπάθειες της όρασης υπολογιστών στις αρχές της δεκαετίας του 2000 για τον χειροκίνητο χαρακτηρισμό και τον εντοπισμό χαρακτηριστικών όπως άκρες και γωνίες σε εικόνες με χαρακτηριστικά σχεδιασμένα στο χέρι. Η μεγαλύτερη ανακάλυψη της σύγχρονης όρασης υπολογιστών ήταν η εκμάθηση αυτών των χαρακτηριστικών απευθείας από δεδομένα, αφαιρώντας τη χειροκίνητη μηχανική από τον βρόχο. Αυτό το άρθρο δείχνει πώς μπορούμε να επεκτείνουμε αυτές τις τεχνικές στο σχεδιασμό αλγορίθμων, μαθαίνοντας όχι μόνο χαρακτηριστικά αλλά και μαθαίνοντας για την ίδια τη διαδικασία μάθησης.
Δείχνουμε πώς ο σχεδιασμός ενός αλγορίθμου βελτιστοποίησης μπορεί να μετατραπεί ως μαθησιακό πρόβλημα, επιτρέποντας στον αλγόριθμο να μάθει να εκμεταλλεύεται τη δομή στα προβλήματα που μας ενδιαφέρουν με αυτόματο τρόπο. Οι μαθημένοι αλγόριθμοί μας ξεπερνούν τους τυπικούς ανταγωνιστές που έχουν σχεδιαστεί με το χέρι στις εργασίες για τις οποίες έχουν εκπαιδευτεί και γενικεύονται επίσης καλά σε νέες εργασίες με παρόμοια δομή. Το αποδεικνύουμε αυτό σε μια σειρά εργασιών, συμπεριλαμβανομένης της εκπαίδευσης σε νευρωνικά δίκτυα και του styling εικόνων με νευρωνική τέχνη.
Για περισσότερες λεπτομέρειες και σχετική εργασία, ανατρέξτε στο έγγραφο https://arxiv.org/abs/1606.04474
Ελέγξτε το στο NIPS:
Τρ. 6 Δεκεμβρίου 06:00 – 09:30 @ Περιοχή 5+6+7+8 #9
Πέμπτη 8 Δεκεμβρίου 02:00 – 9:30 @ Περιοχή 1+2 (Συμπόσιο Deep Learning – Αφίσα)
Παρασκευή 9 Δεκεμβρίου 08:00 π.μ. – 06:30 μ.μ. @ Περιοχή 1 (Εργαστήριο DeepRL – Ομιλία του Nando De Freitas)
Παρασκευή 9 Δεκεμβρίου 08:00 π.μ. – 06:30 μ.μ. @ Περιοχή 5+6 (Μη κυρτή Βελτιστοποίηση για Μηχανική Μάθηση: Θεωρία και Πράξη – Ομιλία του Nando De Freitas)
Σάββατο 10 Δεκεμβρίου 08:00 π.μ. – 6:30 μ.μ. @ Περιοχή 2 (Βελτιστοποίηση των Optimizers – Ομιλία Matthew W. Hoffman)
Πηγή: https://deepmind.com/blog/article/deepmind-papers-nips-part-2