Peneliti meta membangun AI yang belajar sama baiknya dari materi visual, tertulis, atau lisan

Kemajuan dalam bidang AI terus bermunculan, namun cenderung terbatas pada satu domain: Misalnya, metode baru yang keren untuk menghasilkan ucapan sintetik tidaklah mudah. juga cara mengenali ekspresi wajah manusia. Peneliti Meta (AKA Facebook) sedang mengerjakan sesuatu yang lebih serbaguna: AI yang mampu belajar sendiri baik dalam materi lisan, tertulis, atau visual.

Cara tradisional melatih model AI untuk menafsirkan sesuatu dengan benar adalah dengan memberikan banyak (seperti jutaan) contoh berlabel. Gambar kucing dengan label bagian kucingnya, percakapan dengan pembicara dan transkripsi kata-kata, dll. Namun pendekatan tersebut tidak lagi populer karena para peneliti menemukan bahwa tidak mungkin lagi membuat database secara manual dengan ukuran yang diperlukan untuk pelatihan selanjutnya. -gen AI. Siapa yang mau memberi label pada 50 juta gambar kucing? Oke, mungkin beberapa orang — tetapi siapa yang ingin memberi label pada 50 juta gambar buah dan sayuran yang umum?

Saat ini beberapa sistem AI yang paling menjanjikan adalah apa yang disebut dengan pengawasan mandiri (self-supervised): model yang dapat bekerja dari data tak berlabel dalam jumlah besar, seperti buku atau video orang-orang yang berinteraksi, dan membangun pemahaman terstruktur mereka sendiri tentang aturan-aturan sistem. Misalnya, dengan membaca ribuan buku, ia akan mempelajari posisi relatif kata dan gagasan tentang struktur tata bahasa tanpa ada yang memberi tahu apa itu objek, artikel, atau koma — ia mendapatkannya dengan menarik kesimpulan dari banyak contoh.

Secara intuitif, hal ini lebih mirip dengan cara orang belajar, dan itulah alasan para peneliti menyukainya. Namun modelnya masih cenderung bermodal tunggal, dan semua upaya yang Anda lakukan untuk menyiapkan sistem pembelajaran semi-supervisi untuk pengenalan suara tidak akan berlaku sama sekali untuk analisis gambar — modelnya terlalu berbeda. Disitulah penelitian terbaru Facebook/Meta, data2vec yang diberi nama menarik, masuk.

Ide dari data2vec adalah untuk membangun kerangka kerja AI yang akan belajar dengan cara yang lebih abstrak, artinya mulai dari awal, Anda dapat memberinya buku untuk dibaca atau gambar untuk dipindai atau ucapan untuk diucapkan, dan setelah sedikit pelatihan, dataXNUMXvec akan melakukannya. pelajari semua hal itu. Ini seperti memulai dengan satu biji, tetapi bergantung pada makanan nabati apa yang Anda berikan, biji tersebut akan tumbuh menjadi bunga bakung, banci, atau tulip.

Menguji data2vec setelah membiarkannya dilatih pada berbagai data corpi menunjukkan bahwa data tersebut kompetitif dan bahkan mengungguli model khusus berukuran serupa untuk modalitas tersebut. (Artinya, jika semua model dibatasi hingga 100 megabyte, data2vec akan bekerja lebih baik — model khusus mungkin akan tetap mengunggulinya seiring pertumbuhannya.)

“Ide inti dari pendekatan ini adalah untuk belajar secara lebih umum: AI harus mampu belajar melakukan banyak tugas yang berbeda, termasuk tugas-tugas yang sama sekali asing,” tulis tim dalam postingan blog. “Kami juga berharap data2vec akan membawa kita lebih dekat ke dunia di mana komputer hanya membutuhkan sedikit data berlabel untuk menyelesaikan tugas.”

“Orang-orang mengalami dunia melalui kombinasi penglihatan, suara, dan kata-kata, dan sistem seperti ini suatu hari nanti dapat memahami dunia seperti yang kita lakukan,” komentar CEO Mark Zuckerberg tentang penelitian tersebut.

Ini masih merupakan penelitian tahap awal, jadi jangan berharap “AI umum” yang terkenal akan muncul secara tiba-tiba — tetapi memiliki AI yang memiliki struktur pembelajaran umum yang bekerja dengan berbagai domain dan tipe data sepertinya lebih baik. solusi yang lebih elegan dibandingkan kumpulan kecerdasan mikro yang kita gunakan saat ini.

Kode untuk data2vec adalah sumber terbuka; itu dan beberapa model terlatih tersedia di sini.

Sumber: https://techcrunch.com/2022/01/20/meta-researchers-build-an-ai-that-learns-equally-well-from-visual-write-or-spoken-materials/