Exploring Tree of Thought Spørring: Hvordan AI kan lære å resonnere gjennom søk

Publisert av Platon

Følgere: 0

Bilde laget av forfatter med Midjourney

Et nytt papir foreslår et "Tree of Thoughts"-rammeverk for å tillate mer bevisst problemløsning
Representer resonnementprosessen som søk over et tre av mulige "tanker"
Bruk selve LLM til å generere og evaluere disse tankene
Bruk klassiske søkealgoritmer for å veilede utforskningen

Nylig har store språkmodeller (LLM) som GPT-3 vist imponerende evner på områder som matematisk resonnement og kunnskap om sunn fornuft. Imidlertid kan deres grunnleggende tekstgenereringsmetode - venstre-til-høyre, token-by-token - begrense strategisk planlegging og utforskning. Oppgaven viser at denne tilnærmingen betydelig forbedrer LLM-problemløsningsevner på utfordringer som matematikkoppgaver og kreativ skriving.

Et nylig papir, Tankenes tre: Bevisst problemløsning med store språkmodeller — av Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan — foreslår et nytt rammeverk kalt "Tree of Thoughts" (ToT) for å forbedre problemløsningsevnen til store språkmodeller ( LLM) som GPT-3 og GPT-4. Foreløpig er LLM-er begrenset til å ta beslutninger på tokennivå fra venstre til høyre ved generering av tekst, noe som kan komme til kort i oppgaver som krever mer strategisk planlegging og utforskning.

ToT representerer problemløsningsprosessen som søk over et tre, der hver node er en "tanke" - en sammenhengende tekstbit som representerer et mellomliggende resonnementtrinn. Dette lar LLM utforske flere resonneringsveier og evaluere fremdriften til forskjellige tanker mot å løse problemet. Konkret innebærer rammeverket:

Dekomponere problemet i sammenhengende tanketrinn basert på oppgavestrukturen.
Bruke LLM til å generere flere tankekandidater på hvert trinn, enten uavhengig eller sekvensielt betinget av tidligere tanker.
Å få LLM til å evaluere løftene til forskjellige stater (delløsninger) gjennom verdiestimeringsoppfordringer som vurderer fremgang så langt.
Ved å bruke klassiske søkealgoritmer som bredde-først-søk eller dybde-først-søk over treet, ved å bruke LLMs verdianslag for å veilede utforskning og beskjæring.

Dette bevisste søket lar LLM se fremover, gå tilbake og ta flere globale valg når det er nødvendig. Det modulære rammeverket er modellagnostisk og kan fleksibelt tilpasse komponentene som tankestørrelse, generering, evaluering og søk til problemstrukturen.

Forfatterne demonstrerer ToT på tre nye oppgaver - Game of 24, Creative Writing og Mini Crosswords. I alle tilfeller øker ToT problemløsningsytelsen til GPT-4 betydelig i forhold til standard forespørsler. For eksempel, i Game of 24 økte suksessraten fra 4 % med tankekjede til 74 % med ToT.

Totalt sett tilbyr ToT en måte å integrere symbolsk planlegging og søkemetoder fra klassisk AI med moderne LLM-er. Tolkbarheten av dens språkbaserte tanker og overveielser gir også muligheter for bedre menneskelig tilpasning. Forfatterne foreslår det som en spennende ny retning for å utvikle mer generelle problemløsningsevner i LLM-er.

Hvordan sammenligner Tree of Thoughts-tilnærmingen med andre metoder som inkluderer symbolsk planlegging eller søk med nevrale modeller, for eksempel NeuroLogic-dekoding eller LLM+P-rammeverket?

ToT-rammeverket er forskjellig ved at det bruker selve LLM for å gi heuristisk veiledning under søk, i stedet for å stole på en separat klassisk planlegger (LLM+P) eller hardkodet heuristikk (NeuroLogic). Den språkbaserte tankerepresentasjonen er også mer fleksibel enn symbolske planleggingsspråk. Imidlertid oppnår ToT ennå ikke nivået av tett integrasjon og toveiskommunikasjon mellom LLM og planleggerkomponentene som LLM+P demonstrerer.

Kan tankens tre-tilnærming brukes på naturlige språkoppgaver som samtaledialog eller historiegenerering, i stedet for bare begrensede resonneringsoppgaver?

Mens den nåværende artikkelen fokuserer på resonneringsoppgaver, virker det generelle rammeverket for å representere mulige fortsettelser som tanker som kan diskuteres anvendbart for mindre begrensede generasjonsproblemer. For dialog kan tanker være kandidatytringer å si neste gang, mens for historier kan de være plottpunkter eller karakterhandlinger. De viktigste utfordringene vil være å definere sammenhengende tanketrinn og utvikle effektive evalueringsoppfordringer.

Hva er nyskapende med denne forskningen?

Nøkkelinnovasjonen er å utforme språkmodellslutninger som søk over et tre av tanker i stedet for bare generering av symboler fra venstre til høyre. Dette tillater mer bevisst planlegging, utforskning av alternativer og globalt blikk fremover/tilbakesporing. Å representere tanker som sammenhengende semantiske enheter er også nyskapende sammenlignet med tidligere søkemetoder.

Hva er de bredere implikasjonene av denne forskningen?

Denne forskningen kan i betydelig grad forbedre problemløsnings- og resonneringsevnen til LLM-er, slik at de kan brukes i mer komplekse virkelige applikasjoner som koding, dataanalyse, robotikk, etc. Det gjør også modellbeslutninger mer tolkbare. Integreringen av klassiske søkemetoder med nevrale modeller er en spennende retning.

Hva er noen potensielle problemer eller forglemmelser med denne forskningen slik den er presentert, hvis noen?

Oppgavene som utforskes er fortsatt relativt enkle. Det gjenstår å se om tilnærmingen skaleres til mer åpne problemer. Søkeprosessen medfører sannsynligvis høyere beregningskostnader enn standard prøvetaking. Heuristikken for beskjæring av suboptimale grener er for tiden ufullkommen.

Hva er de logiske neste forskningstrinnene fra denne forskningen?

Viktige neste skritt er å utforske ToT på mer komplekse planleggings- og beslutningsoppgaver, integrere det med ekstern kunnskapsinnhenting, og studere om varianter kan læres mer sample-effektivt via meta-læring eller forsterkende læring i stedet for å stole utelukkende på en forhåndstrent LLM . Å analysere samspillet mellom tankestørrelse, søkebudsjett og ytelse er også et åpent spørsmål.

The Tree of Thoughts-paradigmet demonstrerer hvordan klassiske søketeknikker kan integreres med moderne nevrale nettverksmodeller.
Å tillate LLM-er å utforske alternative resonneringsveier gjør beslutningstakingen deres mer tolkbar.
Denne forskningsretningen kan forbedre LLMs anvendbarhet på komplekse planleggings- og analyseoppgaver i den virkelige verden.
De viktigste neste trinnene er å utvide tilnærmingen til mindre begrensede problemer, forbedre søkeeffektiviteten og studere hvordan slike ferdigheter kan læres.
Totalt sett tilbyr den bevisste og semantiske resonnementet til Tree of Thoughts en spennende ny funksjon for kunstige agenter.

Matthew Mayo (@mattmayo13) er en dataforsker og sjefredaktør for KDnuggets, den banebrytende online ressursen for datavitenskap og maskinlæring. Hans interesser ligger i naturlig språkbehandling, algoritmedesign og -optimalisering, uovervåket læring, nevrale nettverk og automatiserte tilnærminger til maskinlæring. Matthew har en mastergrad i informatikk og et diplom i data mining. Han kan nås på editor1 på kdnuggets[dot]com.