Học cách học bằng cách giảm độ dốc giảm dần độ dốc
tác giả: Marcin Andrychowicz,Misha Denil,Sergio Gomez,Matthew Hoffman,David Pfau,Tom Schaul,Nando De Freitas
Các thuật toán tối ưu hóa ngày nay thường được thiết kế bằng tay; các nhà thiết kế thuật toán, suy nghĩ cẩn thận về từng vấn đề, có thể thiết kế các thuật toán khai thác cấu trúc mà họ có thể mô tả một cách chính xác. Quá trình thiết kế này phản ánh những nỗ lực của thị giác máy tính vào đầu những năm 2000 để mô tả và định vị các đặc điểm theo cách thủ công như các cạnh và góc trong hình ảnh với các đặc điểm được thiết kế bằng tay. Thay vào đó, bước đột phá lớn nhất của thị giác máy tính hiện đại là tìm hiểu các tính năng này trực tiếp từ dữ liệu, loại bỏ kỹ thuật thủ công khỏi vòng lặp. Bài viết này cho thấy cách chúng ta có thể mở rộng các kỹ thuật này sang thiết kế thuật toán, không chỉ học các tính năng mà còn tìm hiểu về chính quá trình học tập.
Chúng tôi chỉ ra cách thiết kế một thuật toán tối ưu hóa có thể được coi là một vấn đề học tập, cho phép thuật toán học cách khai thác cấu trúc trong các vấn đề quan tâm một cách tự động. Các thuật toán đã học của chúng tôi vượt trội so với các đối thủ cạnh tranh tiêu chuẩn được thiết kế thủ công trong các nhiệm vụ mà họ được đào tạo và cũng khái quát tốt cho các nhiệm vụ mới có cấu trúc tương tự. Chúng tôi chứng minh điều này trong một số nhiệm vụ, bao gồm đào tạo mạng lưới thần kinh và tạo kiểu cho hình ảnh bằng nghệ thuật thần kinh.
Để biết thêm chi tiết và công việc liên quan, vui lòng xem bài báo https://arxiv.org/abs/1606.04474
Kiểm tra nó tại NIPS:
Thứ 6 ngày 06/00 09:30 – 5:6 PM @ Khu 7+8+9+XNUMX #XNUMX
Thứ Năm, ngày 8 tháng 02, 00:9 – 30:1 PM @ Khu vực 2+XNUMX (Hội nghị chuyên đề về Deep Learning – Poster)
Thứ Sáu, ngày 9 tháng 08, 00:06 sáng – 30:1 chiều @ Khu vực XNUMX (Hội thảo DeepRL – Trò chuyện của Nando De Freitas)
Thứ Sáu, ngày 9 tháng 08, 00:06 sáng – 30:5 chiều @ Khu vực 6+XNUMX (Tối ưu hóa không lồi cho học máy: Lý thuyết và thực hành – Trò chuyện của Nando De Freitas)
Thứ Bảy, ngày 10 tháng 08, 00:6 sáng – 30:2 chiều @ Khu vực XNUMX (Tối ưu hóa Trình tối ưu hóa – Trò chuyện của Matthew W. Hoffman)
Nguồn: https://deepmind.com/blog/article/deepmind-papers-nips-part-2