OpenAI Scholars 2021: Avsluttende prosjekter

Mitt råd til noen som begynner med dyplæringsforskning er å ta deg tid til å forstå innsikt fra grunnleggende artikler og huske at feltet fortsatt er relativt nytt. Det er mye rom for enkeltpersoner å ha en overdreven innvirkning.

Hvis du kan, kan du ta noen måneder på å jobbe nøye gjennom 2019 raskt. bra kurs (del 1 og 2), Andrew Ngs dype læringskurs om Coursera, David Silver RL-kursog Spinning Up i Deep RL. Hvis du ikke har bakgrunn i statistikk, vil det også være nyttig å bygge et mer solid fundament. Dette vil gi deg et forsprang i å lære å gjøre produktiv forskning ettersom du trenger å bruke mindre tid på å lære kjernekonseptene. I tillegg, hvis du ikke har gjort det ennå, kan du prøve å implementere noen papirer fra bunnen av i pytorch. Velg gamle papirer som har eksisterende implementeringer, slik at du kan referere til implementeringene hvis du blir sittende fast. Se om du kan forbedre papiret ved å bruke en idé fra et senere papir. Denne prosessen vil gi deg en bedre ide om hvordan DL-forskning er.

Å navigere i en karriereendring under COVID-19 var skremmende, men dette programmet skapte det perfekte miljøet for meg å lære, få praktisk erfaring og orientere meg i feltet. Diskusjoner med mentoren min og andre på OpenAI utsatte meg for ekspertinnsikt og intuisjoner som ikke finnes i en lærebok. Det viktigste jeg oppdaget var imidlertid hvor mye jeg elsker å gjøre AI-forskning. Jeg planlegger å fortsette å utvide karrieren min i denne retningen.

Mitt råd til folk som ønsker å bli med: lage open source-prosjekter! Finn den enkleste interessante ideen du kan tenke deg, og bygg den!

Scholars-programmet har gitt meg tillit til å arbeide med nye veier med dyp læringsinteresse og forskning, samt et økt mål for kompetanse slik at jeg kan operere med større klarhet, effektivitet og etisk modenhet. Det har også gjenopprettet en latent forskningsinteresse som jeg håper å fortsette å gi næring til fremtiden.

Jeg kom til programmet med noen få interesser (resonnement, komposisjonalitet, multimodal). Mentoren min hjalp meg mye når det gjelder å krystallisere disse interessene til konkrete forskningsspørsmål og forslag. Vi utforsket flere retninger og fortsatte å itere til vi så noe lovende. Prosessen var intens, men leksjonene var verdt innsatsen.

Scholars-programmet ga meg muligheten til å utforske mange forskjellige ideer i ML og dyp læring, fra “klassiske” ting som CNN og RNN til forståelse av kompromissene med nyere transformatorvarianter. Å kunne ha samtaler med forskerne ved OpenAI fikk meg til å innse at grensen for AI-forskning er veldig tilgjengelig. Jeg ønsket opprinnelig å lære om den nåværende teknologien, men å være her de siste månedene har gitt meg forståelse for at jeg kan bidra meningsfullt til å fremme tilstanden til dyp læring og AI. Å være på OpenAI har også fått meg til å tenke mye på implikasjonene av modellene vi lager og måter å tilby slike modeller til verden samtidig som jeg minimerer potensiell skade.

Alt om perspektivet mitt har endret seg siden jeg ble med i programmet. Det er svært få selskaper og institusjoner i verden som bruker maskinlæring i stor skala og har en visjon om hvor ML / AI-feltet er på vei. Enda færre er muligheter for de som ikke har forskningserfaring og en avansert grad, enn si et program fokusert på underrepresenterte grupper. Bare betydningen av å bli med på dette programmet i en tid da bransjen oppdager potensialet i GPT3, har endret visjonen min om hva fremtiden for teknologi tilbyr og hva min plass i det kan være. Jeg tror folk antar at du trenger en teknisk grad for å studere AI, men jeg var bare nysgjerrig på fremtiden og ønsket en del i å bygge den.

For nykommere i feltet vil jeg anbefale å gå sakte gjennom rene open source-implementeringer av kjente algoritmer mens du leser deres teoretiske forankring. Prøv å eksperimentere med designene ofte. Kursene til Fast.ai og Andrew Ng er gode ressurser for reisen.