Bisakah Anda mengajarkan akal sehat AI?

Bahkan sebelum mereka mengucapkan kata-kata pertama mereka, bayi manusia mengembangkan model mental tentang benda dan orang. Ini adalah salah satu kemampuan utama yang memungkinkan kita manusia untuk belajar hidup secara sosial dan bekerja sama (atau bersaing) satu sama lain. Tetapi untuk kecerdasan buatan, bahkan tugas penalaran perilaku paling dasar tetap menjadi tantangan.

Model pembelajaran mendalam lanjutan dapat melakukan tugas rumit seperti mendeteksi orang dan objek dalam gambar, terkadang bahkan lebih baik daripada manusia. Tapi mereka berjuang untuk melampaui fitur visual gambar dan membuat kesimpulan tentang apa yang dilakukan atau ingin dicapai oleh agen lain.

Untuk membantu mengisi celah ini, para ilmuwan di IBM, Institut Teknologi Massachusetts, dan Universitas Harvard telah mengembangkan serangkaian tes yang akan membantu mengevaluasi kapasitas model AI untuk berpikir seperti anak-anak, dengan mengamati dan memahami dunia.

"Seperti bayi manusia, sangat penting bagi agen mesin untuk mengembangkan kapasitas yang memadai dalam memahami pikiran manusia, agar berhasil terlibat dalam interaksi sosial," tulis para peneliti AI dalam sebuah artikel. kertas baru yang memperkenalkan kumpulan data, yang disebut AGEN.

Dipresentasikan pada International Conference on Machine Learning (ICML) tahun ini, AGENT memberikan tolok ukur penting untuk mengukur kemampuan penalaran sistem AI.

Mengamati dan memprediksi perilaku agen

Ada banyak pekerjaan untuk menguji akal sehat dan penalaran dalam sistem AI. Banyak dari mereka yang fokus pada pemahaman bahasa alami, termasuk yang terkenal Uji Turing dan Skema Winograd. Sebaliknya, proyek AGENT berfokus pada jenis kemampuan penalaran yang dipelajari manusia sebelum dapat berbicara.

“Tujuan kami, mengikuti literatur dalam psikologi perkembangan, adalah untuk membuat tolok ukur untuk mengevaluasi kemampuan akal sehat tertentu yang terkait dengan psikologi intuitif yang dipelajari bayi selama tahap pra-bahasa (dalam 18 bulan pertama kehidupan mereka),” Dan Gutfreund, kepala sekolah penyelidik di MIT-IBM Watson AI Lab, memberi tahu Pembicaraan Teknologi.

Sebagai anak-anak, kita belajar membedakan antara objek dan agen dengan mengamati lingkungan kita. Saat kita menyaksikan peristiwa terungkap, kita mengembangkan keterampilan psikologis intuitif, memprediksi tujuan orang lain dengan mengamati tindakan mereka, dan terus memperbaiki dan memperbarui mental kita. Kami mempelajari semua ini dengan sedikit atau tanpa instruksi.

Gagasan di balik tes AGEN (Action, Goal, Efficiency, constraint, uTility) adalah untuk menilai seberapa baik Sistem AI dapat meniru keterampilan dasar ini, apa yang dapat mereka kembangkan kemampuan penalaran psikologis, dan seberapa baik representasi yang mereka pelajari digeneralisasikan ke situasi baru. Kumpulan data terdiri dari urutan pendek yang menunjukkan agen menavigasi jalannya menuju salah satu dari beberapa objek. Urutan telah diproduksi di ThreeDWorld, lingkungan 3D virtual yang dirancang untuk melatih agen AI.

Tes AGEN berlangsung dalam dua fase. Pertama, AI disajikan dengan satu atau dua urutan yang menggambarkan perilaku agen. Contoh-contoh ini harus membiasakan AI dengan preferensi agen virtual. Misalnya, seorang agen mungkin selalu memilih satu jenis objek terlepas dari hambatan yang menghalangi jalannya, atau mungkin memilih objek terdekat dan paling mudah diakses terlepas dari jenisnya.

Setelah fase sosialisasi, AI diperlihatkan urutan pengujian dan harus menentukan apakah agen bertindak dengan cara yang diharapkan atau mengejutkan.

Tes, total 3,360, mencakup empat jenis skenario, dimulai dengan perilaku yang sangat sederhana (agen lebih memilih satu jenis objek terlepas dari lingkungannya) hingga tantangan yang lebih rumit (agen memanifestasikan perkiraan biaya-hadiah, menimbang kesulitan pencapaian tujuan melawan hadiah yang akan diterimanya). AI juga harus mempertimbangkan efisiensi aksi dari agen pelaksana (misalnya, tidak boleh melakukan lompatan yang tidak perlu saat tidak ada halangan). Dan di beberapa tantangan, adegan sebagian ditutup untuk mempersulit penalaran tentang lingkungan.

Skenario realistis dalam lingkungan buatan

Perancang tes telah memasukkan bias induktif manusia, yang berarti agen dan lingkungan diatur oleh aturan yang rasional bagi manusia (misalnya, biaya untuk melompat atau memanjat rintangan tumbuh seiring tingginya). Keputusan ini membantu membuat tantangan lebih realistis dan lebih mudah untuk dievaluasi. Para peneliti juga mencatat bahwa bias semacam ini juga penting untuk membantu menciptakan sistem AI yang lebih selaras dan kompatibel dengan perilaku manusia dan dapat bekerja sama dengan rekan manusia.

Para peneliti AI menguji tantangan pada sukarelawan manusia melalui Amazon Mechanical Turk. Temuan mereka menunjukkan bahwa rata-rata, manusia dapat menyelesaikan 91 persen tantangan dengan mengamati urutan pengenalan dan menilai contoh uji. Ini menyiratkan bahwa manusia menggunakan pengetahuan mereka sebelumnya tentang dunia dan perilaku manusia/hewan untuk memahami bagaimana agen membuat keputusan (misalnya, semua hal dianggap sama, agen akan memilih objek dengan imbalan yang lebih tinggi).

Peneliti AI sengaja membatasi ukuran dataset untuk mencegah jalan pintas yang tidak cerdas untuk memecahkan masalah. Dengan kumpulan data yang sangat besar, model pembelajaran mesin mungkin belajar membuat prediksi yang benar tanpa memperoleh pengetahuan dasar tentang perilaku agen. “Pelatihan dari awal hanya pada kumpulan data kami tidak akan berhasil. Sebagai gantinya, kami menyarankan agar lulus tes, perlu memperoleh pengetahuan tambahan baik melalui bias induktif dalam arsitektur, atau dari pelatihan tentang data tambahan, ”tulis para peneliti.

Namun, para peneliti telah menerapkan beberapa jalan pintas dalam pengujian. Dataset AGENT mencakup peta kedalaman, peta segmentasi, dan kotak pembatas objek dan rintangan untuk setiap bingkai pemandangan. Pemandangannya juga sangat sederhana dalam detail visual dan terdiri dari delapan warna berbeda. Semua ini memudahkan sistem AI untuk memproses informasi di tempat kejadian dan fokus pada bagian penalaran dari tantangan.

Apakah AI saat ini menyelesaikan tantangan AGEN?

Para peneliti menguji tantangan AGEN pada dua model AI awal. Yang pertama, Bayesian Inverse Planning and Core Knowledge (BIPaCK), adalah model generatif yang mengintegrasikan simulasi dan perencanaan fisika.

Atas: Model BIPaCK menggunakan mesin perencana dan fisika untuk memprediksi lintasan agen

Model ini menggunakan informasi kebenaran dasar lengkap yang disediakan oleh kumpulan data dan memasukkannya ke dalam mesin fisika dan perencanaannya untuk memprediksi lintasan agen. Eksperimen para peneliti menunjukkan bahwa BIPaCK mampu bekerja setara atau bahkan lebih baik daripada manusia ketika memiliki informasi lengkap tentang pemandangan tersebut.

Namun, di dunia nyata, sistem AI tidak memiliki akses ke informasi ground truth yang dianotasi dengan tepat dan harus melakukan tugas rumit untuk mendeteksi objek dengan latar belakang dan kondisi pencahayaan yang berbeda, masalah yang mudah dipecahkan oleh manusia dan hewan tetapi tetap menjadi tantangan bagi komputer. sistem penglihatan.

Dalam makalah mereka, para peneliti mengakui bahwa BIPaCK “memerlukan rekonstruksi yang akurat dari keadaan 3D dan model dinamika fisik bawaan, yang belum tentu tersedia dalam pemandangan dunia nyata.”

Model kedua yang diuji para peneliti, dengan nama kode ToMnet-G, adalah versi lanjutan dari Theory of Mind Neural Network (UntukMnet), diusulkan oleh para ilmuwan di DeepMind pada tahun 2018. ToMnet-G menggunakan jaringan saraf grafik untuk menyandikan keadaan adegan, termasuk objek, rintangan, dan lokasi agen. Itu kemudian memasukkan pengkodean itu ke dalam jaringan memori jangka pendek yang panjang (LSTM) untuk melacak lintasan agen melintasi urutan bingkai. Model menggunakan representasi yang diekstraksi dari video pengenalan untuk memprediksi perilaku agen dalam video pengujian dan menilainya seperti yang diharapkan atau mengejutkan.

Keuntungan dari ToMnet-G adalah tidak memerlukan fisika pra-rekayasa dan pengetahuan BIPaCK yang masuk akal. Itu mempelajari segalanya dari video dan pelatihan sebelumnya pada kumpulan data lain. Di sisi lain, ToMnet-G sering mempelajari representasi yang salah dan tidak dapat menggeneralisasi perilakunya ke skenario baru atau ketika memiliki informasi keakraban yang terbatas.

“Tanpa banyak built-in prior, ToMnet-G menunjukkan hasil yang menjanjikan saat dilatih dan diuji pada skenario serupa, tetapi masih kekurangan kapasitas generalisasi yang kuat baik di dalam skenario maupun di seluruh skenario,” para peneliti mengamati dalam makalah mereka.

Kontras antara kedua model menyoroti tantangan tugas paling sederhana yang dipelajari manusia tanpa instruksi apa pun.

“Kita harus ingat bahwa tolok ukur kita, dengan desain, menggambarkan skenario sintetik yang sangat sederhana yang setiap kali menangani satu aspek tertentu dari akal sehat,” kata Gutfreund. “Di dunia nyata, manusia dapat dengan sangat cepat mengurai adegan kompleks di mana secara bersamaan banyak aspek akal sehat yang berkaitan dengan fisika, psikologi, bahasa, dan lainnya berperan. Model AI masih jauh dari mampu melakukan sesuatu yang mendekati itu.”

Akal sehat dan masa depan AI

“Kami percaya bahwa jalan dari AI sempit ke luas harus menyertakan model yang masuk akal,” kata Gutfreund. “Kemampuan akal sehat adalah blok bangunan penting dalam memahami dan berinteraksi di dunia dan dapat memfasilitasi perolehan kemampuan baru.”

Banyak ilmuwan percaya bahwa akal sehat dan penalaran dapat memecahkan banyak masalah yang dihadapi sistem AI saat ini, seperti kebutuhan mereka akan data pelatihan dalam jumlah besar, perjuangan mereka dengan kausalitas, dan kerapuhan mereka dalam menghadapi situasi baru. Akal sehat dan penalaran adalah bidang penelitian penting bagi komunitas AI, dan mereka telah menjadi fokus dari beberapa pemikir paling cerdas di lapangan, termasuk pelopor pembelajaran mendalam.

Memecahkan AGEN bisa menjadi langkah kecil namun penting untuk menciptakan agen AI yang berperilaku kuat di dunia manusia yang tidak dapat diprediksi.

“Akan sulit meyakinkan orang untuk mempercayai agen otonom yang mana jangan berperilaku dengan cara yang masuk akal, ”kata Gutfreund. “Pertimbangkan, misalnya, robot untuk membantu orang tua. Jika robot itu tidak mengikuti prinsip akal sehat bahwa agen mengejar tujuan mereka secara efisien dan akan bergerak secara zig zag daripada dalam garis lurus ketika diminta untuk mengambil susu dari lemari es, itu tidak akan praktis dan tidak dapat dipercaya.

AGEN adalah bagian dari Mesin Akal Sehat (MCS) dari Defense Advanced Research Projects Agency (DARPA). MCS mengikuti dua tujuan luas. Yang pertama adalah membuat mesin yang dapat belajar seperti anak-anak untuk bernalar tentang objek, agen, dan ruang. AGEN termasuk dalam kategori ini. Tujuan kedua adalah mengembangkan sistem yang dapat dipelajari dengan membaca pengetahuan terstruktur dan tidak terstruktur dari web, seperti yang dilakukan oleh peneliti manusia. Ini berbeda dari pendekatan saat ini untuk pemahaman bahasa alami, yang hanya berfokus pada menangkap korelasi statistik antara kata dan urutan kata dalam kumpulan teks yang sangat besar.

“Kami sekarang berupaya menggunakan AGENT sebagai lingkungan pengujian untuk bayi. Bersama dengan penampil program DARPA MCS lainnya, kami berencana untuk mengeksplorasi skenario yang lebih kompleks dari akal sehat terkait dengan banyak agen (misalnya, membantu atau menghalangi satu sama lain) dan penggunaan alat untuk mencapai tujuan (misalnya, kunci untuk membuka pintu) . Kami juga mengerjakan domain inti pengetahuan lainnya yang terkait dengan fisika intuitif dan pemahaman spasial, ”kata Gutfreund.

Ben Dickson adalah seorang insinyur perangkat lunak dan pendiri Pembicaraan Teknologi, sebuah blog yang membahas cara-cara teknologi memecahkan dan menciptakan masalah.

Cerita ini awalnya muncul Bdtechtalks.com. Hak cipta 2021