I likhet med mennesker lager denne banebrytende AI konsepter ut av ord den lærer

Publisert av Platon

Følgere: 0

Præriehunder er alt annet enn hunder. Med en kropp som ligner et Hershey's Kiss og en svært sofistikert kvitre for kommunikasjon er de mer hamster enn golden retriever.

Mennesker forstår umiddelbart at præriehunder ikke er hunder i vanlig forstand. AI sliter.

Selv som småbarn har vi en uhyggelig evne til å gjøre det vi lærer om verden til konsepter. Med bare noen få eksempler danner vi oss en idé om hva som gjør en "hund" eller hva det betyr å "hoppe" eller "hoppe over". Disse konseptene er uanstrengt blandet og matchet inne i hodet vårt, noe som resulterer i at en pjokk peker på en præriehund og skriker: "Men det er ikke en hund!"

Forrige uke, et team fra New York University laget en AI-modell som etterligner et barns evne til å generalisere språklæring. I et nøtteskall er generalisering en slags fleksibel tenkning som lar oss bruke nylærte ord i nye sammenhenger – som en eldre tusenåring som sliter med å ta igjen Gen Z-lingo.

Når den ble stilt mot voksne mennesker i en språkoppgave for generalisering, samsvarte modellen med ytelsen deres. Den slo også GPT-4, AI-algoritmen bak ChatGPT.

Den hemmelige sausen var overraskende menneskelig. Det nye nevrale nettverket ble opplært til å reprodusere feil fra menneskelige testresultater og lære av dem.

"I 35 år har forskere innen kognitiv vitenskap, kunstig intelligens, lingvistikk og filosofi diskutert om nevrale nettverk kan oppnå menneskelignende systematisk generalisering." sa studieforfatter Dr. Brenden Lake. "Vi har vist, for første gang, at et generisk nevralt nettverk kan etterligne eller overgå menneskelig systematisk generalisering i en head-to-head sammenligning."

En brainy feide

De fleste AI-modeller er avhengige av dyp læring, en metode som er løst basert på hjernen.

Ideen er enkel. Kunstige nevroner kobles sammen for å danne nevrale nettverk. Ved å endre styrken til forbindelsene mellom kunstige nevroner, kan nevrale nettverk lære mange oppgaver, for eksempel å kjøre autonome drosjer eller screene kjemikalier for oppdagelse av medikamenter.

Imidlertid er nevrale nettverk enda kraftigere i hjernen. Forbindelsene tilpasser seg raskt til stadig skiftende miljøer og syr sammen konsepter fra individuelle opplevelser og minner. Som et eksempel kan vi enkelt identifisere et villesel som krysser veien og vite når vi skal trykke på bremsen. En robotbil kan vakle uten vill-esel-spesifikk trening.

Smertepunktet er generalisering. For eksempel: Hva er en vei? Er det en asfaltert motorvei, ulendt grussti eller tursti omgitt av busker?

Tilbake på 1980-tallet foreslo kognitive forskere Jerry Fodor og Zenon Pylyshyn berømt at kunstige nevrale nettverk ikke er i stand til å forstå konsepter – for eksempel en «vei» – mye mindre fleksibelt å bruke dem til å navigere i nye scenarier.

Forskerne bak den nye studien tok utfordringen på strak arm. Løsningen deres? Et kunstig nevralt nettverk som er finjustert på menneskelige reaksjoner.

Mann med maskin

Som utgangspunkt ba teamet først 25 personer om å lære et nytt oppfunnet språk. Sammenlignet med å bruke et eksisterende, forhindrer et fantasispråk skjevhet når man tester menneskelige deltakere.

Forskningen gikk "utover klassisk arbeid som hovedsakelig var avhengig av tankeeksperimenter" for å utnytte menneskelige språklige evner, forklarte forfatterne i sin studie. Testen skilte seg fra tidligere oppsett som stort sett fokuserte på grammatikk. I stedet var poenget at deltakerne skulle forstå og generalisere i det oppdiktede språket fra ord alene.

Som om de lærte et nytt språk, startet teamet med en haug med enkle tullord: «dax», «lug», «wif» eller «zup». Disse oversettes som grunnleggende handlinger som å hoppe eller hoppe.

Teamet introduserte deretter mer komplekse ord, "blicket" eller "kiki", som kan brukes til å sette sammen de forrige ordene til setninger - og i sin tur konsepter og forestillinger. Disse abstrakte ordene, når de brukes med de enkle ordene, kan bety "hopp bakover" eller "hopp tre ganger."

De frivillige ble opplært til å assosiere hvert ord med en farge. For eksempel, "dax" var rød, "lug" var blå. Fargene hjalp de frivillige med å lære regler for det nye språket. En ordkombinasjon resulterte i tre røde sirkler, en annen blinket blått. Men viktigere er det at noen ord, for eksempel «fep», lyste opp uavhengig av andre ord paret med det – noe som tyder på et grammatisk grunnlag i fantasispråket.

Etter 14 læringsrunder ble de frivillige utfordret med 10 spørsmål om betydningen av de oppdiktede ordene og bedt om å generalisere til mer komplekse spørsmål. For hver oppgave måtte deltakerne velge de tilsvarende fargesirklene og plassere dem i riktig rekkefølge for å danne en frase.

De utmerket seg. Menneskene valgte de riktige fargene omtrent 80 prosent av tiden. Mange av feilene var "en-til-en" oversettelsesproblemer, som oversatte et ord til dets grunnleggende betydning uten å ta hensyn til den større konteksten.

Et andre team på 29 flere mennesker lærte også raskt fantasispråket, og oversatte kombinasjoner som «fep fep» uten problemer.

Språk lært

For å bygge AI-modellen fokuserte teamet på flere kriterier.

En, den måtte generalisere fra bare noen få tilfeller av læring. For det andre trengte den å reagere som mennesker på feil når den ble utfordret med lignende oppgaver. Til slutt måtte modellen lære og enkelt inkorporere ord i vokabularet, og danne et slags "konsept" for hvert ord.

For å gjøre dette brukte teamet metalæring for komposisjonalitet. Ja, det høres ut som en skurkes superkraft. Men det den gjør er relativt enkelt.

Teamet ga et kunstig nevralt nettverk oppgaver som de som ble gitt til de menneskelige frivillige. Nettverket er optimalisert ettersom dynamiske "svingninger" endrer dens overordnede funksjon, slik at det kan lære bedre på farten sammenlignet med standard AI-tilnærminger, som er avhengige av statiske datasett. Vanligvis behandler disse maskinene et problem ved å bruke et sett med studieeksempler. Tenk på det som å tyde morsekode. De mottar en melding – prikker og streker – og oversetter sekvensen til vanlig engelsk.

Men hva om språket ikke er engelsk, og det har sine egne konsepter og regler? Et statisk treningssett ville sviktet AI-ordsmeden.

Her ledet teamet AI gjennom en "dynamisk strøm" av oppgaver som krevde at maskinen mikse-og-matche konsepter. I ett eksempel ble det bedt om å hoppe over to ganger. AI-modellen lærte uavhengig begrepet "hopp" - i motsetning til "hopp" - og det betyr to ganger "to ganger." Disse læringene ble deretter matet gjennom det nevrale nettverket, og den resulterende oppførselen ble sammenlignet med instruksjonen. Hvis for eksempel AI-modellen hoppet over tre ganger, ga resultatene tilbakemelding for å hjelpe til med å dytte AI-modellen mot riktig respons. Gjennom repetisjon lærte den seg etter hvert å assosiere ulike konsepter.

Så kom det andre trinnet. Teamet la til et nytt ord, si «tåtå», inn i en kontekst AI-modellen allerede hadde lært, som bevegelse, og ba den deretter om å «tappe bakover». Modellen måtte nå lære å kombinere "tå" i sitt eksisterende vokabular og bevegelsesbegreper.

For å videreutdanne AI, matet teamet den med data fra de menneskelige deltakerne, slik at den kunne lære av menneskelige feil. Når de ble utfordret med nye gåter, etterlignet AI menneskelige reaksjoner i 65 prosent av forsøkene, og utkonkurrerte lignende AI-modeller – og i noen tilfeller slo menneskelige deltakere.

Modellen reiser naturlige spørsmål for fremtiden til språk-AI, skrev teamet. I stedet for å lære AI-modeller grammatikk med eksempler, kan det å gi dem et bredere omfang hjelpe dem å etterligne barns evne til å forstå språk ved å kombinere forskjellige språklige komponenter.

Å bruke AI kan hjelpe oss å forstå hvordan mennesker har lært å kombinere ord til fraser, setninger, poesi og essays. Systemene kan også føre til innsikt i hvordan barn bygger vokabularet sitt, og i sin tur danne en mageforståelse av begreper og kunnskap om verden. Bortsett fra språk, kan den nye AI-modellen også hjelpe maskiner med å analysere andre felt, som matematikk, logikk og til og med, i en hel sirkel, dataprogrammering.

«Det er ikke magi, det er øvelse. Akkurat som et barn også får øvelse når de lærer morsmålet sitt, forbedrer modellene komposisjonsferdighetene sine gjennom en rekke komposisjonslæringsoppgaver," Lake fortalte Natur.

Bilde Credit: Andreas Fickl / Unsplash