Brezhibno učenje, razloženo

Ponovno objavil Platon

Spremljevalci: 0

Brezhibno učenje, razloženo
Bruce Warrington prek Unsplash

Razlog, zakaj modeli strojnega učenja na splošno postajajo pametnejši, je njihova odvisnost od uporabe označenih podatkov, ki jim pomagajo pri razlikovanju med dvema podobnima objektoma.

Vendar pa boste brez teh označenih naborov podatkov naleteli na velike ovire pri ustvarjanju najbolj učinkovitega in zaupanja vrednega modela strojnega učenja. Označeni nizi podatkov v fazi usposabljanja modela so pomembni.

Globoko učenje se pogosto uporablja za reševanje nalog, kot je računalniški vid, z uporabo nadzorovanega učenja. Vendar, kot pri mnogih stvareh v življenju, prihaja tudi z omejitvami. Nadzorovana klasifikacija zahteva visoko količino in kakovost označenih podatkov o usposabljanju, da se ustvari robusten model. To pomeni, da klasifikacijski model ne more obravnavati nevidnih razredov.

In vsi vemo, koliko računalniške moči, ponovnega usposabljanja, časa in denarja je potrebnih za usposabljanje modela globokega učenja.

Toda ali je model še vedno sposoben razlikovati med dvema objektoma, ne da bi uporabil podatke za usposabljanje? Da, temu se reče učenje brez strela. Zero-shot učenje je sposobnost modela, da je sposoben dokončati nalogo, ne da bi prejel ali uporabil kakršne koli primere za usposabljanje.

Ljudje smo po naravi sposobni brezhibnega učenja, ne da bi morali vložiti veliko truda. Naši možgani že shranjujejo slovarje in nam zaradi naše trenutne baze znanja omogočajo razlikovanje predmetov z opazovanjem njihovih fizičnih lastnosti. To bazo znanja lahko uporabimo, da vidimo podobnosti in razlike med predmeti ter poiščemo povezavo med njimi.

Na primer, recimo, da poskušamo zgraditi model klasifikacije živalskih vrst. Po navedbah OurWorldInData, je bilo leta 2.13 izračunanih 2021 milijona vrst. Če torej želimo ustvariti najučinkovitejši model klasifikacije živalskih vrst, bi potrebovali 2.13 milijona različnih razredov. Potrebnih bo tudi veliko podatkov. Podatke z veliko količino in kakovostjo je težko dobiti.

Torej, kako zero-shot učenje rešuje ta problem?

Ker zero-shot učenje ne zahteva, da se model nauči podatkov o usposabljanju in kako razvrstiti razrede, nam omogoča, da se manj zanašamo na potrebo modela po označenih podatkih.

Sledi, kaj bodo morali vsebovati vaši podatki, da lahko nadaljujete z učenjem brez strela.

Videni razredi

To je sestavljeno iz podatkovnih razredov, ki so bili predhodno uporabljeni za usposabljanje modela.

Nevideni razredi

To je sestavljeno iz podatkovnih razredov, ki NISO bili uporabljeni za usposabljanje modela, novi učni model z ničelnim strelom pa bo posploševal.

Pomožne informacije

Ker podatki v nevidnih razredih niso označeni, bo zero-shot učenje zahtevalo pomožne informacije za učenje in iskanje korelacije, povezav in lastnosti. To je lahko v obliki besednih vdelav, opisov in semantičnih informacij.

Brezhibne učne metode

Zero-shot učenje se običajno uporablja v:

Metode, ki temeljijo na klasifikatorjih
Metode, ki temeljijo na primerkih

Pripravništva

Zero-shot učenje se uporablja za izdelavo modelov za razrede, ki se ne usposabljajo z uporabo označenih podatkov, zato zahteva ti dve stopnji:

1. Usposabljanje

Faza usposabljanja je proces učne metode, ki poskuša zajeti čim več znanja o kakovosti podatkov. Na to lahko gledamo kot na fazo učenja.

2. Sklepanje

Med fazo sklepanja se vse naučeno znanje iz faze usposabljanja uporabi in uporabi za razvrščanje primerov v nov sklop razredov. Na to lahko gledamo kot na fazo napovedovanja.

Kako deluje?

Znanje iz vidnih razredov bo preneseno v nevidne razrede v visokodimenzionalnem vektorskem prostoru; to se imenuje semantični prostor. Na primer, pri klasifikaciji slik bo semantični prostor skupaj s sliko podvržen dvema korakoma:

1. Spojni vgradni prostor

Sem se projicirajo semantični vektorji in vektorji vizualne značilnosti.

2. Največja podobnost

Tu se značilnosti primerjajo s tistimi iz nevidnega razreda.

Za lažje razumevanje postopka z dvema stopnjama (usposabljanje in sklepanje) ju uporabimo pri uporabi klasifikacije slik.

usposabljanje

Brezhibno učenje, razloženo
Jari Hytönen prek Unsplash

Kot človeško bitje, če bi prebrali besedilo na desni na zgornji sliki, bi takoj domnevali, da so v rjavi košari 4 mucke. Ampak recimo, da nimate pojma, kaj je 'mucka'. Predvidevali boste, da je v njej rjava košara s 4 stvarmi, ki se imenujejo 'mucke'. Ko boste naleteli na več slik, ki vsebujejo nekaj, kar je videti kot 'mucka', boste lahko 'mucka' razlikovali od drugih živali.

To se zgodi, ko uporabljate Predusposabljanje kontrastne jezikovne slike (CLIP) OpenAI za učenje brez posnetka pri klasifikaciji slik. Znana je kot pomožna informacija.

Morda mislite, "no, to so samo označeni podatki". Razumem, zakaj bi tako mislili, vendar niso. Pomožne informacije niso oznake podatkov, so oblika nadzora, ki pomaga modelu pri učenju med fazo usposabljanja.

Ko učni model z ničelnim strelom vidi zadostno količino parov slike in besedila, bo lahko razlikoval in razumel besedne zveze ter kako so povezani z določenimi vzorci na slikah. Z uporabo tehnike CLIP 'kontrastivnega učenja' je model zero-shot učenja uspel zbrati dobro bazo znanja, da je lahko napovedoval naloge klasifikacije.

To je povzetek pristopa CLIP, kjer skupaj usposabljata kodirnik slike in kodirnik besedila, da napovejo pravilne pare serije primerov usposabljanja (slike, besedilo). Oglejte si spodnjo sliko:

Brezhibno učenje, razloženo
Učenje prenosljivih vizualnih modelov iz nadzora naravnega jezika

Sklepanje

Ko je model šel skozi stopnjo usposabljanja, ima dobro bazo znanja o združevanju slike in besedila in ga je zdaj mogoče uporabiti za napovedovanje. Preden pa se lahko lotimo predvidevanja, moramo nastaviti nalogo klasifikacije tako, da ustvarimo seznam vseh možnih oznak, ki bi jih lahko izpisal model.

Če na primer ostanemo pri nalogi razvrščanja slik o živalskih vrstah, bomo potrebovali seznam vseh vrst živali. Vsaka od teh oznak bo kodirana, T? na T? z uporabo predhodno usposobljenega kodirnika besedila, ki se je pojavil v fazi usposabljanja.

Ko so oznake kodirane, lahko vnašamo slike prek predhodno usposobljenega kodirnika slik. Za izračun podobnosti med kodiranjem slike in posameznim kodiranjem besedilne oznake bomo uporabili metrično kosinusno podobnost razdalje.

Razvrstitev slike se opravi na podlagi oznake, ki je najbolj podobna sliki. In tako je doseženo učenje brez posnetka, zlasti pri klasifikaciji slik.

Pomanjkanje podatkov

Kot smo že omenili, je težko dobiti visoko količino in kakovost podatkov. Za razliko od ljudi, ki že imajo zero-shot sposobnost učenja, stroji potrebujejo vhodne označene podatke, da se učijo in se nato lahko prilagodijo odstopanjom, ki se lahko naravno pojavijo.

Če pogledamo primer živalske vrste, jih je bilo zelo veliko. In ker število kategorij na različnih področjih še naprej narašča, bo potrebno veliko dela, da bomo sledili zbiranju označenih podatkov.

Zaradi tega je zero-shot učenje za nas postalo bolj dragoceno. Vedno več raziskovalcev se zanima za samodejno prepoznavanje atributov, da bi nadomestili pomanjkanje razpoložljivih podatkov.

Označevanje podatkov

Druga prednost zero-shot učenja so njegove lastnosti označevanja podatkov. Označevanje podatkov je lahko delovno intenzivno in zelo dolgočasno, zaradi tega pa lahko povzroči napake med postopkom. Označevanje podatkov zahteva strokovnjake, kot so zdravstveni delavci, ki delajo na nizu biomedicinskih podatkov, kar je zelo drago in dolgotrajno.

Zero-shot učenje postaja vse bolj priljubljeno zaradi zgornjih omejitev podatkov. Obstaja nekaj člankov, ki bi jih priporočal, da jih preberete, če vas zanimajo njegove sposobnosti:

Nisha Arya je podatkovni znanstvenik in samostojni tehnični pisec. Še posebej jo zanima zagotavljanje kariernih nasvetov ali vadnic o podatkovni znanosti in na teoriji temelječega znanja o podatkovni znanosti. Prav tako želi raziskati različne načine, na katere umetna inteligenca koristi/lahko prispeva k dolgoživosti človeškega življenja. Zavzeta učenka, ki želi razširiti svoje tehnično znanje in pisne sposobnosti, hkrati pa pomaga usmerjati druge.