Null-shot Learning, Explained

Taasavaldanud Platon

järgijaid: 0

Null-shot Learning, Explained
Bruce Warrington Unsplashi kaudu

Põhjus, miks masinõppemudelid üldiselt muutuvad targemaks, on tingitud nende sõltuvusest märgistatud andmete kasutamisest, et aidata neil kahe sarnase objekti vahel eristada.

Kuid ilma nende märgistatud andmekogumiteta on kõige tõhusama ja usaldusväärsema masinõppemudeli loomisel suured takistused. Märgistatud andmekogumid mudeli koolitusfaasis on olulised.

Süvaõpet on laialdaselt kasutatud selliste ülesannete lahendamiseks nagu arvutinägemine juhendatud õppe abil. Kuid nagu paljude asjadega elus, kaasnevad sellega piirangud. Järelevalvega klassifitseerimine nõuab tugeva mudeli loomiseks märgistatud koolitusandmete suurt hulka ja kvaliteeti. See tähendab, et klassifitseerimismudel ei saa hakkama nähtamatute klassidega.

Ja me kõik teame, kui palju arvutusvõimsust, ümberõpet, aega ja raha kulub sügava õppimismudeli väljaõpetamiseks.

Kuid kas mudel suudab siiski eristada kahte objekti ilma koolitusandmeid kasutamata? Jah, seda nimetatakse null-shot-õppeks. Null-shot-õpe on mudeli võime täita ülesannet ilma koolitusnäiteid saanud või kasutamata.

Inimesed on loomulikult võimelised null-shot-õppeks, ilma et nad peaksid palju pingutama. Meie aju salvestab juba sõnastikke ja võimaldab meil eristada objekte nende füüsikaliste omaduste põhjal, lähtudes meie praegusest teadmistebaasist. Seda teadmistebaasi saame kasutada objektide sarnasuste ja erinevuste nägemiseks ning nendevahelise seose leidmiseks.

Näiteks oletame, et püüame luua loomaliikidele klassifitseerimismudeli. Vastavalt Meie maailmAndmed, oli 2.13. aastal arvutatud 2021 miljonit liiki. Seega, kui soovime luua loomaliikidele kõige tõhusama klassifikatsioonimudeli, vajaksime 2.13 miljonit erinevat klassi. Samuti on vaja palju andmeid. Suurt kogust ja kvaliteetseid andmeid on raske leida.

Kuidas siis null-shot-õpe selle probleemi lahendab?

Kuna null-shot-õpe ei nõua, et mudel oleks õppinud koolitusandmeid ja klasside klassifitseerimist, võimaldab see meil vähem tugineda mudeli vajadusele märgistatud andmete järele.

Järgmine on see, millest peavad teie andmed koosnema, et jätkata null-võttega õppimist.

Nähtud klassid

See koosneb andmeklassidest, mida on varem mudeli koolitamiseks kasutatud.

Nägematud klassid

See koosneb andmeklassidest, mida EI OLE mudeli koolitamiseks kasutatud, ja uus nullkaadri õppimismudel üldistab.

Abiteave

Kuna nähtamatute klasside andmed ei ole märgistatud, vajab null-shot-õpe õppimiseks ning korrelatsioonide, linkide ja omaduste leidmiseks lisateavet. See võib olla sõnade manustamise, kirjelduste ja semantilise teabe kujul.

Null-shot õppemeetodid

Null-shot-õpet kasutatakse tavaliselt:

Klassifikaatoril põhinevad meetodid
Eksemplaripõhised meetodid

Praktika

Nullõpet kasutatakse mudelite koostamiseks klassidele, mis ei treeni märgistatud andmetega, seetõttu on selleks vaja kahte etappi:

1. Koolitus

Koolitusetapp on õppemeetodi protsess, mille käigus püütakse koguda võimalikult palju teadmisi andmete omaduste kohta. Võime seda vaadelda kui õppimisetappi.

2. Järeldus

Järelduste tegemise etapis rakendatakse ja kasutatakse kõiki koolitusetapist õpitud teadmisi, et liigitada näited uude klassikomplekti. Võime seda vaadelda kui ennustamise etappi.

Kuidas see toimib?

Nähtud klassidest saadud teadmised kantakse kõrgmõõtmelises vektorruumis üle nähtamatutesse klassidesse; seda nimetatakse semantiliseks ruumiks. Näiteks piltide klassifitseerimisel läbib semantiline ruum koos pildiga kaks etappi:

1. Liigeste kinnitusruum

Siia projitseeritakse semantilised vektorid ja visuaalse tunnuse vektorid.

2. Suurim sarnasus

See on koht, kus funktsioone võrreldakse nähtamatu klassi funktsioonidega.

Et aidata mõista protsessi kahe etapiga (koolitus ja järeldus), rakendame neid kujutiste klassifitseerimise kasutamisel.

koolitus

Null-shot Learning, Explained
Jari Hytönen Unsplashi kaudu

Inimesena, kui loeksite ülaltoodud pildi parempoolset teksti, eeldaksite kohe, et pruunis korvis on 4 kassipoega. Kuid oletame, et teil pole õrna aimugi, mis on "kassipoeg". Oletame, et seal on pruun korv, mille sees on 4 asja, mida nimetatakse "kassipoegadeks". Kui leiate rohkem pilte, mis sisaldavad midagi, mis näeb välja nagu "kassipoeg", saate "kassipoega" teistest loomadest eristada.

See juhtub siis, kui kasutate Kontrastiivne keele-kujundi eelkoolitus (CLIP) OpenAI poolt piltide klassifitseerimise nullkaadri õppimiseks. Seda tuntakse abiteabena.

Võib-olla mõtlete, et need on lihtsalt märgistatud andmed. Ma saan aru, miks sa nii arvad, aga nad ei ole. Abiteave ei ole andmete sildid, need on järelevalve vorm, mis aitab mudelil koolitusetapis õppida.

Kui nullkaadri õppemudel näeb piisaval hulgal kujutise-teksti seoseid, suudab ta eristada ja mõista fraase ning seda, kuidas need korreleeruvad piltide teatud mustritega. Kasutades CLIP-tehnikat "kontrastiivne õppimine", on nullkaadri õppimismudel suutnud koguda hea teadmistebaasi, et oleks võimalik teha ennustusi klassifitseerimisülesannete kohta.

See on kokkuvõte CLIP-meetodist, kus nad koolitavad koos pildikodeerijat ja tekstikodeerijat, et ennustada (pilt, tekst) koolitusnäidete komplekti õigeid sidumisi. Palun vaadake allolevat pilti:

Null-shot Learning, Explained
Ülekantavate visuaalsete mudelite õppimine loomuliku keele järelevalvest

Järeldus

Kui mudel on koolitusetapi läbinud, on sellel pildi-teksti sidumise kohta hea teadmistebaas ja seda saab nüüd kasutada ennustuste tegemiseks. Kuid enne, kui hakkame ennustusi tegema, peame seadistama klassifitseerimisülesande, luues loendi kõigist võimalikest siltidest, mida mudel võib väljastada.

Näiteks loomaliikide kujutiste klassifitseerimise ülesande juurde jäädes vajame kõigi loomaliikide loendit. Kõik need sildid on kodeeritud, T? T-le? kasutades eelkoolitatud tekstikodeerijat, mis toimus koolitusetapil.

Kui sildid on kodeeritud, saame pilte sisestada eelkoolitatud pildikodeerija kaudu. Kujutise kodeeringu ja iga tekstisildi kodeeringu sarnasuste arvutamiseks kasutame kaugusmeetri koosinussarnasust.

Pildi klassifitseerimine toimub pildiga suurima sarnasusega sildi alusel. Ja nii saavutatakse nullkaadri õppimine, eriti piltide klassifitseerimisel.

Andmete nappus

Nagu varem mainitud, on suurt hulka ja kvaliteetseid andmeid raske kätte saada. Erinevalt inimestest, kellel on juba null-shot õppimisvõime, vajavad masinad õppimiseks sisendmärgistatud andmeid ja seejärel suutma kohaneda looduslikult tekkida võivate erinevustega.

Kui vaatame loomaliikide näidet, siis neid oli nii palju. Ja kuna kategooriate arv erinevates valdkondades kasvab, nõuab märkustega andmete kogumisega sammu pidamine palju tööd.

Tänu sellele on null-shot-õpe muutunud meie jaoks väärtuslikumaks. Üha rohkem teadlasi on huvitatud automaatsest atribuutide tuvastamisest, et kompenseerida olemasolevate andmete puudumist.

Andmete märgistamine

Teine null-shot-õppe eelis on selle andmete märgistamise omadused. Andmete märgistamine võib olla töömahukas ja väga tüütu ning seetõttu võib protsessi käigus tekkida vigu. Andmete märgistamiseks on vaja eksperte, näiteks meditsiinitöötajaid, kes töötavad biomeditsiinilise andmekogumi kallal, mis on väga kallis ja aeganõudev.

Null-shot õpe on muutumas populaarsemaks tänu ülaltoodud andmete piirangutele. Soovitan teil lugeda, kui olete selle võimetest huvitatud, mõned paberid:

Nisha Arya on andmeteadlane ja vabakutseline tehniline kirjanik. Ta on eriti huvitatud andmeteaduse karjäärinõustamise või õpetuste ja teooriapõhiste teadmiste pakkumisest andmeteaduse kohta. Samuti soovib ta uurida erinevaid viise, kuidas tehisintellekt on/võib aidata kaasa inimelu pikaealisusele. Innukas õppija, kes soovib laiendada oma tehnilisi teadmisi ja kirjutamisoskusi, aidates samal ajal teisi juhendada.