Kan du lära ut AI sunt förnuft?

Redan innan de säger sina första ord utvecklar mänskliga barn mentala modeller om föremål och människor. Detta är en av nyckelförmågorna som gör att vi människor kan lära oss att leva socialt och samarbeta (eller konkurrera) med varandra. Men för artificiell intelligens förblir även de mest grundläggande beteenderesonemangsuppgifterna en utmaning.

Avancerade modeller för djupinlärning kan göra komplicerade uppgifter som att upptäcka människor och föremål i bilder, ibland till och med bättre än människor. Men de kämpar för att gå bortom bildernas visuella egenskaper och dra slutsatser om vad andra agenter gör eller vill åstadkomma.

För att fylla denna lucka har forskare vid IBM, Massachusetts Institute of Technology och Harvard University utvecklat en serie tester som kommer att hjälpa till att utvärdera förmågan hos AI-modeller att resonera som barn, genom att observera och förstå världen.

"Precis som mänskliga spädbarn är det avgörande för maskinagenter att utveckla en adekvat förmåga att förstå mänskliga sinnen, för att framgångsrikt kunna engagera sig i sociala interaktioner", skriver AI-forskarna i en nytt papper som introducerar datasetet, kallat AGENT.

Presenterad vid årets internationella konferens om maskininlärning (ICML), ger AGENT ett viktigt riktmärke för att mäta resonemangsförmågan hos AI-system.

Att observera och förutsäga agentbeteende

Det finns ett stort arbete med att testa sunt förnuft och resonemang i AI-system. Många av dem fokuserar på naturlig språkförståelse, inklusive de berömda Turingtestet och Winograd scheman. Däremot fokuserar AGENT-projektet på de typer av resonemangsförmåga som människor lär sig innan de kan tala.

"Vårt mål, efter litteraturen inom utvecklingspsykologi, är att skapa ett riktmärke för att utvärdera specifika sunt förnuft relaterade till intuitiv psykologi som spädbarn lär sig under det pre-linguala stadiet (under de första 18 månaderna av sina liv)," Dan Gutfreund, rektor utredare vid MIT-IBM Watson AI Lab, berättade TechTalks.

Som barn lär vi oss att se skillnad på föremål och agenter genom att observera våra miljöer. När vi ser händelser utvecklas utvecklar vi intuitiva psykologiska färdigheter, förutsäger andra människors mål genom att observera deras handlingar och fortsätter att korrigera och uppdatera vårt mentala. Vi lär oss allt detta med få eller inga instruktioner.

Tanken bakom AGENT-testet (Action, Goal, Efficiency, Constraint, UTility) är att bedöma hur väl AI-system kan härma denna grundläggande färdighet, vad de kan utveckla psykologiska resonemangsförmåga och hur väl de representationer de lär sig generaliseras till nya situationer. Datauppsättningen består av korta sekvenser som visar en agent som navigerar mot ett av flera objekt. Sekvenserna har producerats i ThreeDWorld, en virtuell 3D-miljö designad för att träna AI-agenter.

AGENT-testet sker i två faser. Först presenteras AI:n med en eller två sekvenser som skildrar agentens beteende. Dessa exempel bör göra AI:n bekant med den virtuella agentens preferenser. Till exempel kan en agent alltid välja en typ av objekt oavsett vilka hinder som står i vägen, eller så kan den välja det närmaste och mest tillgängliga objektet oavsett typ.

Efter bekantskapsfasen visas AI:n en testsekvens och den måste avgöra om agenten agerar på ett förväntat eller överraskande sätt.

Testerna, totalt 3,360 XNUMX, spänner över fyra typer av scenarier, som börjar med mycket enkelt beteende (agenten föredrar en typ av objekt oavsett miljö) till mer komplicerade utmaningar (agenten visar uppskattning av kostnad och belöning, väger svårigheten att uppnå ett mål mot belöningen det kommer att få). AI:n måste också ta hänsyn till handlingseffektiviteten hos den agerande agenten (t.ex. bör den inte göra onödiga hopp när det inte finns några hinder). Och i vissa av utmaningarna är scenen delvis tilltäppt för att göra det svårare att resonera om miljön.

Realistiska scenarier i en konstgjord miljö

Utformarna av testerna har inkluderat mänskliga induktiva fördomar, vilket innebär att agenterna och miljön styrs av regler som skulle vara rationella för människor (t.ex. kostnaderna för att hoppa eller klättra på ett hinder ökar med dess höjd). Detta beslut hjälper till att göra utmaningarna mer realistiska och lättare att utvärdera. Forskarna noterar också att dessa typer av fördomar också är viktiga för att hjälpa till att skapa AI-system som är bättre anpassade och kompatibla med mänskligt beteende och som kan samarbeta med mänskliga motsvarigheter.

AI-forskarna testade utmaningarna på mänskliga volontärer genom Amazon Mechanical Turk. Deras resultat visar att människor i genomsnitt kan lösa 91 procent av utmaningarna genom att observera bekantskapssekvenserna och bedöma testexemplen. Detta innebär att människor använder sina förkunskaper om världen och människors/djurens beteende för att förstå hur agenterna fattar beslut (t.ex. kommer en agent att, allt annat lika, att välja objektet med högre belöning).

AI-forskarna begränsade avsiktligt storleken på datasetet för att förhindra ointelligenta genvägar för att lösa problemen. Med en mycket stor datamängd kan en maskininlärningsmodell lära sig att göra korrekta förutsägelser utan att få den underliggande kunskapen om agentbeteende. "Att träna från grunden på bara vår datauppsättning kommer inte att fungera. Istället föreslår vi att för att klara testerna är det nödvändigt att skaffa ytterligare kunskap antingen via induktiva fördomar i arkitekturerna eller genom att träna på ytterligare data”, skriver forskarna.

Forskarna har dock implementerat några genvägar i testerna. AGENT-dataset innehåller djupkartor, segmenteringskartor och begränsningsrutor med objekt och hinder för varje bildruta i scenen. Scenerna är också extremt enkla i visuella detaljer och består av åtta distinkta färger. Allt detta gör det lättare för AI-system att bearbeta informationen i scenen och fokusera på resonemangsdelen av utmaningen.

Löser nuvarande AI AGENT-utmaningar?

Forskarna testade AGENT-utmaningen på två baslinje AI-modeller. Den första, Bayesian Inverse Planning and Core Knowledge (BIPaCK), är en generativ modell som integrerar fysiksimulering och planering.

Ovan: BIPaCK-modellen använder planerare och fysikmotorer för att förutsäga agentens bana

Denna modell använder den fullständiga sanningsinformationen från datamängden och matar in den i dess fysik- och planeringsmotor för att förutsäga agentens bana. Forskarnas experiment visar att BIPaCK kan prestera i paritet eller till och med bättre än människor när den har full information om scenen.

Men i den verkliga världen har AI-system inte tillgång till exakt kommenterad marksanningsinformation och måste utföra den komplicerade uppgiften att upptäcka objekt mot olika bakgrunder och ljusförhållanden, ett problem som människor och djur löser enkelt men som fortfarande är en utmaning för datorer. vision system.

I sin uppsats erkänner forskarna att BIPaCK "kräver en exakt rekonstruktion av 3D-tillståndet och en inbyggd modell av den fysiska dynamiken, som inte nödvändigtvis kommer att vara tillgänglig i verkliga scener."

Den andra modellen som forskarna testade, med kodnamnet ToMnet-G, är en utökad version av Theory of Mind Neural Network (ToMnet), föreslagen av forskare vid Deepmind år 2018. ToMnet-G använder grafiska neurala nätverk för att koda scenernas tillstånd, inklusive objekten, hindren och agentens plats. Den matar sedan in dessa kodningar långtidsminnesnätverk (LSTM) för att spåra agentens bana över sekvensen av ramar. Modellen använder representationerna den extraherar från bekantskapsvideorna för att förutsäga agentens beteende i testvideorna och betygsätta dem som förväntat eller överraskande.

Fördelen med ToMnet-G är att det inte kräver förkonstruerad fysik och sunt förnuft kunskap om BIPaCK. Den lär sig allt från videorna och tidigare utbildning på andra datamängder. Å andra sidan lär sig ToMnet-G ofta fel representationer och kan inte generalisera sitt beteende till nya scenarier eller när den har begränsad bekanthetsinformation.

"Utan många inbyggda prioriteringar visar ToMnet-G lovande resultat när den tränas och testas på liknande scenarier, men det saknar fortfarande en stark generaliseringskapacitet både inom scenarier och över dem", konstaterar forskarna i sin artikel.

Kontrasten mellan de två modellerna belyser utmaningarna med de enklaste uppgifterna som människor lär sig utan några instruktioner.

"Vi måste komma ihåg att vårt riktmärke, genom design, skildrar mycket enkla syntetiska scenarier som varje gång tar upp en specifik aspekt av sunt förnuft," sa Gutfreund. "I den verkliga världen kan människor mycket snabbt analysera komplexa scener där många aspekter av sunt förnuft relaterade till fysik, psykologi, språk och mer är på samma gång. AI-modeller är fortfarande långt ifrån att kunna göra något i närheten av det."

Sunt förnuft och framtiden för AI

"Vi tror att vägen från smal till bred AI måste inkludera modeller som har sunt förnuft," sa Gutfreund. "Sunt förnuft är viktiga byggstenar för att förstå och interagera i världen och kan underlätta förvärvet av nya förmågor."

Många forskare tror att sunt förnuft och resonemang kan lösa många av de problem som nuvarande AI-system står inför, såsom deras behov av omfattande mängder träningsdata, deras kamp med kausalitet och deras bräcklighet när det gäller att hantera nya situationer. Sunt förnuft och resonemang är viktiga forskningsområden för AI-gemenskapen, och de har blivit fokus för några av de smartaste hjärnorna på området, inklusive pionjärerna inom djupinlärning.

Att lösa AGENT kan vara ett litet men viktigt steg mot att skapa AI-agenter som beter sig robust i människors oförutsägbara värld.

"Det kommer att bli svårt att övertyga människor att lita på autonoma agenter som inte beter sig på ett vanligt förnuftigt sätt", sa Gutfreund. ”Tänk till exempel på en robot för att hjälpa äldre. Om den roboten inte kommer att följa sunt förnuftsprincipen att agenter eftersträvar sina mål effektivt och kommer att röra sig i sicksack snarare än i en rak linje när de ombeds hämta mjölk från kylen, kommer det inte att vara särskilt praktiskt eller pålitligt."

AGENT är en del av Maskinens sunt förnuft (MCS) program för Defense Advanced Research Projects Agency (DARPA). MCS följer två breda mål. Den första är att skapa maskiner som kan lära sig som barn att resonera om objekt, agenter och rymden. AGENT tillhör denna kategori. Det andra målet är att utveckla system som kan lära sig genom att läsa strukturerad och ostrukturerad kunskap från webben, som en mänsklig forskare skulle göra. Detta skiljer sig från nuvarande tillvägagångssätt för förståelse av naturligt språk, som endast fokuserar på att fånga statistiska samband mellan ord och ordsekvenser i mycket stora textkorpor.

"Vi arbetar nu med att använda AGENT som en testmiljö för spädbarn. Tillsammans med resten av DARPA MCS-programutövarna planerar vi att utforska mer komplexa scenarier av sunt förnuft relaterade till flera agenter (t.ex. att hjälpa eller hindra varandra) och användningen av verktyg för att uppnå mål (t.ex. nycklar till öppna dörrar) . Vi arbetar också med andra kärnområden av kunskap relaterade till intuitiv fysik och rumslig förståelse, säger Gutfreund.

Ben Dickson är mjukvaruutvecklare och grundare av TechTalks, en blogg som undersöker hur tekniken löser och skapar problem.

Denna berättelse uppträdde ursprungligen på Bdtechtalks.com. Upphovsrätt 2021