OpenAI Scholars 2021: lõplikud projektid

Allikasõlm: 847334

mänguring

Keelesiirdeõppe mastaabiseadused
Christina kim

Varem olin ettevõtte Sourceress asutajainsener, kus ehitasin meie masinõppe torujuhtme ja silmuses inimese sildistamise süsteemi infrastruktuuri. Minu taust on tarkvaratehnika ja masinõppe tootmine. Toetudes OpenAI hiljutisele tööle skaleerimisseaduste alal, uurib minu projekt, kui palju aitab inglise keele eelkoolitus erinevatesse keeltesse ülekandmisel, kuna muudame mudeli suurust ja andmestiku suurust. Leidsin, et a) eelkoolitatud inglise keele mudelid aitavad kõige rohkem saksa, seejärel hispaania ja lõpuks hiina keele õppimisel ning b) inglise keelest hiina, saksa ja hispaania skaaladele üleviimine parameetrite, andmete ja arvutuste osas etteaimatavalt.

Minu nõuanne neile, kes alustavad süvaõppe uurimisega, on võtta aega, et mõista fundamentaalsete paberite teadmisi ja meeles pidada, et valdkond on veel suhteliselt uus. Üksikisikutel on palju ruumi mõju avaldamiseks.

Blogi

mänguring

Tagasiside ahelad arvamuste modelleerimisel
Danielle lipnik

Mul on tarkvaraarenduse, AI õigluse ja VR-mängude arendamise taust. Mind huvitas programm Scholars kui viis oma uurimisoskuste tugevdamiseks, teistelt selle valdkonna andekatelt inimestelt õppimiseks ja tööstuse uurimis- või inseneritöökohtadele liikumiseks. Minu projekt on uurimuslik, uurides varasemat tööd arvamuse modelleerimisel sügava õppimise kontekstis. Kuna need mudelid loovad üha rohkem teksti, on oluline mõista nende mõju arvamuste ja tulevikumudelite ökosüsteemile. Lisaks uurisin, mis juhtub, kui mudeleid koolitatakse iteratiivselt eelmiste mudelite väljunditel.

Kui saate, võtke paar kuud, et 2019. aasta hoolikalt läbi töötada fast.ai kursus (1. ja 2. osa), Andrew Ngi süvaõppe kursus Coursera kohta, David Silveri RL kursusja Spinning Up in Deep RL. Kui sul pole statistikaalast tausta, oleks kasulik ka sellele kindlama vundamendi loomine. See annab teile edumaa produktiivse uurimistöö õppimisel, kuna peate kulutama vähem aega põhikontseptsioonide õppimisele. Lisaks, kui te pole seda veel teinud, proovige mõned paberid pytorchis nullist juurutada. Valige vanad dokumendid, millel on olemasolevad rakendused, et saaksite nendele rakendustele viidata, kui jänni jääte. Vaadake, kas saate paberit täiustada, rakendades mõne hilisema paberi ideed. See protsess annab teile parema ülevaate DL-uuringute tegemisest.

BlogiTehtud tööd

mänguring

Kontrastne keelekodeering
Ellie Kitanidis

Olen füüsika taustaga teadlane, kes keskendub tumeenergiale, tumeainele ja universumi suuremahulisele struktuurile. Oma projekti jaoks õpetasin eelnevalt välja keele esitusmudeli, kasutades puhtalt kontrastiivset eesmärki. Mind huvitab selliste mudelite üldistus ja skaleeritavus võrreldes traditsioonilisemate keelemudelite eesmärkidega eelkoolitatud mudelitega. Mind huvitab ka see, millised tegurid mõjutavad kontrastiivsete keelekodeerijate jõudlust. Selles kõnes tutvustan meie metoodikat ja mõningaid esialgseid tulemusi.

COVID-19 ajal karjäärimuutuses navigeerimine oli hirmutav, kuid see programm lõi mulle ideaalse keskkonna õppimiseks, praktiliste kogemuste saamiseks ja valdkonnas orienteerumiseks. Arutelud oma mentori ja teistega OpenAI-s paljastasid mulle asjatundlikke arusaamu ja intuitsiooni, mida õpikust ei leia. Kõige olulisem asi, mille ma avastasin, oli aga see, kui väga ma armastan tehisintellektiuuringuid teha. Plaanin oma karjääri selles suunas jätkata.

BlogiväljaandedVäitekiri

mänguring

Suuremahuline tasu modelleerimine
Jonathan Ward

Liitusin programmiga Scholars, et luua arvutisüsteeme, mis mõistaksid paremini, mida inimesed tegelikult väärtustavad. Ma elan Washingtonis ja viimasel ajal on mulle väga meeldinud K'nexiga fantastilisi vahendeid ehitada. Minu hiljutine töö OpenAI-s on näidanud, et inimeste tagasiside põhjal koolitatud premeerimismudelid võivad toetada tugevdavat õppimist. Minu projekt näitab, et tasumudeleid saab koolitada veebisaitidelt saadud suuremahulise struktureeritud tagasiside põhjal.

Minu nõuanne inimestele, kes soovivad liituda: tehke avatud lähtekoodiga projekte! Leidke kõige lihtsam huvitav idee, mida saate välja mõelda, ja ehitage see üles!

Blogi

mänguring

Graafiku struktureeritud probleemide testiaja arvutamine
Kudzo Ahegbebu

Olen rakendusfüüsika ja kosmosealase taustaga tarkvarainsener. Minu ettekanne uurib katseaja arvutamist kasutavate mudelite üldistavust paljudes valdkondades, sealhulgas autoregressiivsed trafod, sügava tasakaalu mudelid ja graafiku närvivõrgud. Selles ma küsin: arvestades piiratud koolituseelarve piiranguid, kas väikesed adaptiivsed mudelid võivad selle asemel kasutada testiaja arvutamist, et ületada väiksema arvu õpitavate parameetrite olemasolu? Lõpuks tutvustame mehhanisme, mis näitavad lubadust vähendada arvutuskulusid ja parandada graafiku närvivõrkude jõudlust.

Programm Scholars on andnud mulle kindlustunde sügava õppimise huvi ja uurimistöö uute teede poole püüdlemiseks ning pädevuse suurendamiseks, et saaksin tegutseda suurema selguse, tõhususe ja eetilise küpsusega. Samuti on see taaskäivitanud varjatud uurimishuvi, mida loodan ka tulevikus kasvatada.

Blogi

mänguring

Kontrastsete mudelite purustamine kaardimänguga SET
Legg Yeung

Olin ametlikult koolitatud andmeteadlaseks ja arhitektiks, kuid tegin oma karjääri pöördeliseks, kuna tehisintellektil on meie keskkonnale palju suurem mõju kui tavatööstusele ja selles valdkonnas on palju huvitavaid uurimisprobleeme. Oma projektis laiendasin tuntud kaardimängu “SET”, et uurida seost vektoresitusdimensiooni ja ülesande koostamise vahel. Leidsin mängude lahendamiseks X parameetrite mittekontrastiivsed mudelid, mida 2X+ parameetrite kontrastsed mudelid ei suuda. Mida saab kontrastiivne mudel õppida vektorkujutistega suurusega 16/32/64/128/256/512? Ja mida mitte?

Tulin programmi väheste huvidega (arutlusvõime, kompositsioonilisus, multimodaalne). Minu mentor aitas mind palju nende huvide kristalliseerimisel konkreetseteks uurimisküsimusteks ja ettepanekuteks. Uurisime mitut suunda ja jätkasime kordamist, kuni nägime midagi paljulubavat. Protsess oli intensiivne, kuid õppetunnid olid seda pingutust väärt.

BlogiTehtud tööd

mänguring

Sõnad baitideni: Keelemärgistuste uurimine
Sam Gbafa

Mind tõmbas Scholari programm, sest olin näinud mõnda seda, mida OpenAI mudelid suudavad, ja tahtsin mõista, mida on vaja selliste võimsate mudelite loomiseks ja itereerimiseks. Pühendatud aeg süvaõppe uurimiseks koos suurepärase mentorlusega on muutnud minu võimet mõista valdkonda ja sellesse panustada! Kui ma ei tööta, nokitsen tavaliselt vidinatega või otsin sõpradega adrenaliini. Minu projekt uurib kompromisse nende teiste tokeniseerimisskeemide kasutamisel ja seda, kuidas need erinevad märgistused ulatuvad. Samuti kaalun lähenemist jada segmenteerimise õppimisele eelmääratletud segmenteerimise asemel.

Programm Scholars andis mulle võimaluse uurida palju erinevaid ideid ML ja süvaõppe vallas, alates "klassikalistest" asjadest, nagu CNN-id ja RNN-id, kuni uuemate trafovariantide kompromisside mõistmiseni. Võimalus OpenAI teadlastega vestelda pani mind mõistma, et tehisintellekti uurimise eesliinid on väga kättesaadavad. Algselt tahtsin teada saada praegusest tehnikatasemest, kuid viimastel kuudel siin viibimine on andnud mulle mõista, et saan anda tähendusrikka panuse süvaõppe ja tehisintellekti olukorra edendamisse. OpenAI-s viibimine on pannud mind palju mõtlema meie loodud mudelite mõjule ja viisidele, kuidas selliseid mudeleid maailmale pakkuda, minimeerides samal ajal võimalikku kahju.

Blogi

mänguring

Trafoarhitektuuri variantide skaleerimisseaduste uurimine
Shola Oyedele

Lõpetasin ülikoolis peaaegu prantsuse keele, sest mulle on alati meeldinud keel. Vaatan sageli filme ja telesaateid teistes keeltes (jah – kdramad on selle loendi ülaosas), kuid ma ei kujutanud kunagi ette, et minu armastus keele vastu väljendub minus NLP-alase uurimistöö tegemises. Uurin oma uurimistöös mudeli jõudluse ja koolituskulude vahelisi kompromisse ning uurin erinevate trafoarhitektuuride skaleerimisseadusi, et mõista trafo arhitektuuri mõju mudeli jõudlusele.

Pärast programmiga liitumist on minu vaatenurgast kõik muutunud. Maailmas on väga vähe ettevõtteid ja asutusi, mis kasutavad masinõpet ulatuslikult ja omavad nägemust, kuhu ML/AI valdkond liigub. Veelgi vähem on võimalusi neile, kellel pole teadustöö kogemust ja kõrgharidust, rääkimata alaesindatud rühmadele keskendunud programmist. Ainuüksi selle programmiga liitumise tähtsus ajal, mil tööstus avastab GPT3 potentsiaali, on muutnud minu nägemust sellest, mida tehnoloogia tulevik pakub ja milline võiks olla minu koht selles. Ma arvan, et inimesed eeldavad, et teil on tehisintellekti õppimiseks vaja tehnilist kraadi, kuid ma olin lihtsalt tuleviku suhtes uudishimulik ja tahtsin selle ehitamises osaleda.

Blogi

mänguring

Mitme käitumisviisi õppimine pidevas kontrollikeskkonnas
Firenze (Tyna) Eloundou

Kandideerisin OpenAI-sse, sest soovisin sügavat privileegi maadelda küsimustega, mis kujundavad üha keerukamaid tehisintellektisüsteeme. USA-s üles kasvanud Kameruni põliselanikuna on mul palju erinevaid vaatenurki (õppeliselt, kultuuriliselt ja keeleliselt) ning mul oli huvi õppida, kuidas tehisintellekt õpib inimeste ühistest ja erinevustest. Raske tasu ja piirangute inseneriprotsess võib mõnikord põhjustada disaineri edu idee ja selle analüütilise spetsifikatsiooni vahelise vastuolu. Lisaks sisaldavad paljud reaalse maailma ülesanded mitut eesmärki ja praegused lähenemisviisid tugevdavas õppes ei paku otsest hooba Pareto-võrdsete strateegiate vahel valimiseks. Nende probleemide lahendamiseks selgitan oma projektis, kuidas me kasutame "mitme ekspertide, mitu eesmärki" (MEMO), et uurida agendi võimet kasutada mitme erineva eesmärgiga eksperdi edu näiteid ja õppida ühtset tingimuslikku poliitikat, mida saab orienteeritud juhendaja äranägemisel.

Valdkonna uustulnukatel soovitaksin aeglaselt läbi astuda tuntud algoritmide puhtast avatud lähtekoodiga teostusest, lugedes samal ajal nende teoreetilist alust. Proovige kujundusega sageli katsetada. Fast.ai ja Andrew Ngi kursused on reisi jaoks suurepärased vahendid.

Blogi

Allikas: https://openai.com/blog/openai-scholars-2021-final-projects/

Ajatempel:

Veel alates OpenAI