GPT-3 prihaja v podjetje z Microsoftovo storitvijo Azure OpenAI

Med svojim Ignite na konferenci ta teden je Microsoft predstavil storitev Azure OpenAI, novo ponudbo, ki podjetjem omogoča dostop do OpenAI GPT-3 jezikovni model in njegove izpeljanke skupaj z varnostjo, skladnostjo, upravljanjem in drugimi poslovno osredotočenimi funkcijami. Sprva samo za povabilo kot del Azurne kognitivne storitve, bo storitev omogočila dostop do API-ja OpenAI prek platforme Azure za primere uporabe, kot so prevajanje jezikov, ustvarjanje kode in samodejno dokončanje besedila.

Po besedah ​​Microsoftovega korporativnega podpredsednika za Azure AI Erica Boyda lahko podjetja izkoristijo storitev Azure OpenAI za trženjske namene, kot je pomoč ekipam pri razmišljanju o idejah za objave v družabnih medijih ali bloge. Uporabili bi ga lahko tudi za povzemanje pogostih pritožb v dnevnikih storitev za stranke ali za pomoč razvijalcem pri kodiranju tako, da zmanjšajo potrebo po ustavljanju in iskanju primerov.

"Smo šele na začetnih stopnjah ugotavljanja, kakšna je moč in potencial GPT-3, zaradi česar je tako zanimiv," je dodal v izjavi. "Zdaj vzamemo, kar je izdal OpenAI, in ga damo na voljo z vsemi obljubami podjetij, ki jih morajo podjetja preseliti v proizvodnjo."

Veliki jezikovni modeli

Zgrajen z OpenAI, GPT-3 in njegovimi natančno nastavljenimi derivati, kot je Codex, je mogoče prilagoditi za obdelavo aplikacij, ki zahtevajo globoko razumevanje jezika, od pretvorbe naravnega jezika v programsko kodo do povzemanja velikih količin besedila in generiranja odgovorov na vprašanja. Ljudje so ga uporabljali samodejno pisati e-pošto in članke, sestavite poezijo in recepte, ustvarite postavitve spletnih strani in ustvarite kodo za poglobljeno učenje v ducatu programskih jezikov.

GPT-3 je javno dostopen od leta 2020 prek API-ja OpenAI; OpenAI je dejal da GPT-3 zdaj uporablja v več kot 300 različnih aplikacijah »deset tisoč« razvijalcev in proizvede 4.5 milijarde besed na dan. Toda po besedah ​​Microsoftovega korporativnega podpredsednika platforme umetne inteligence Johna Montgomeryja, ki je pred kratkim govoril z VentureBeat v intervjuju, storitev Azure OpenAI podjetjem omogoča uvedbo GPT-3 na način, ki je v skladu z zakoni, predpisi in tehničnimi zahtevami (npr. zmogljivost povečanja, zasebno mreženje in upravljanje dostopa), edinstveno za njihovo podjetje ali panogo.

»Ko upravljate nacionalno podjetje, včasih vaših podatkov ni mogoče [uporabiti] na primer v določeni geografski regiji. Storitev Azure OpenAI lahko v bistvu postavi model v regijo, ki jo potrebujete za vas,« je dejal Montgomery. »Za [naše poslovne stranke] je vprašanje, kot je, 'Kako izpolnjujete naše varnostne zahteve?' in "Kako ravnate s stvarmi, kot so navidezna omrežja?" Nekateri od njih potrebujejo centralno upravljanje vseh svojih končnih točk API ali za šifriranje uporabljajo ključe, ki jih zagotovijo stranke ... Storitev Azure OpenAI naredi to, da zloži vse te zmogljivosti hrbtne plošče Azure [za] velika podjetja [v] pravo produkcijsko uvedbo. odpreti tehnologijo GPT-3."

Montgomery tudi poudarja, da storitev Azure OpenAI naredi zaračunavanje bolj priročno, saj zaračunava uporabo modela v okviru enega samega računa Azure v primerjavi z ločenim v okviru API-ja OpenAI. "Zaradi tega je za stranke nekoliko preprostejše plačevanje in potrošnja," je dejal. "Ker je na tej točki en Azure račun."

Podjetja dejansko povečujejo svoje naložbe v obdelavo naravnega jezika (NLP), podpodročje jezikoslovja, računalništva in umetne inteligence, ki se ukvarja s tem, kako algoritmi analizirajo velike količine jezika. Glede na leto 2021 Raziskava iz John Snow Labs in Gradient Flow je 60 % tehnoloških vodij navedlo, da so se njihovi NLP proračuni povečali za vsaj 10 % v primerjavi z letom 2020, medtem ko je tretjina – 33 % – dejala, da se je njihova poraba povečala za več kot 30 %.

Prilagajanje in varnost

Kot pri API-ju OpenAI bo tudi storitev Azure OpenAI strankam omogočila nastavitev GPT-3 za izpolnjevanje posebnih poslovnih potreb z uporabo primerov iz njihovih lastnih podatkov. Omogočil bo tudi "neposreden dostop" do GPT-3 v formatu, zasnovanem tako, da bo razvijalcem intuitiven za uporabo, vendar dovolj robusten, da bodo podatkovni znanstveniki delali z modelom, kot želijo, pravi Boyd.

»To je res nova paradigma, kjer je ta zelo velik model zdaj sam platforma. Tako ga lahko podjetja preprosto uporabijo in mu navedejo nekaj primerov ter dobijo rezultate, ki jih potrebujejo, ne da bi potrebovali celotno ekipo podatkovne znanosti in na tisoče grafičnih procesorjev ter vse vire za usposabljanje modela,« je dejal. "Mislim, da zato opažamo ogromno zanimanja okoli podjetij, ki želijo uporabljati GPT-3 - hkrati je zelo močan in zelo preprost."

Seveda je dobro ugotovljeno, da modeli, kot je GPT-3, še zdaleč niso tehnično popolni. GPT-3 je bil učen na več kot 600 GB besedila iz spleta, katerega del je prišel iz skupnosti z prodorna spol, rasa, fizičnoin verski predsodki. Študije kažejo, da tako kot drugi veliki jezikovni modeli krepi pristranskosti v podatkih, na podlagi katerih je bil usposobljen.

In papirCenter za terorizem, ekstremizem in protiterorizem Inštituta za mednarodne študije Middlebury je trdil, da lahko GPT-3 ustvari "informativno" in "vplivno" besedilo, ki bi lahko ljudi radikaliziralo v skrajno desničarske ekstremistične ideologije in vedenja. Skupina na Univerzi Georgetown je uporabila GPT-3 za ustvarjanje dezinformacij, vključno z zgodbami o lažnih pripovedih, člankih, spremenjenih tako, da spodbujajo lažno perspektivo, in tvitih, ki se osredotočajo na določene točke dezinformacij. Druge študije, kot je tista, ki so jo aprila objavili Intel, MIT in raziskovalci kanadske pobude AI CIFAR, so odkrile visoko stopnjo pristranskosti nekaterih najbolj priljubljenih odprtokodnih modelov, kot je npr. Googlov BERT in XLNet in Facebookova RoBERTa.

Tudi natančno nastavljeni modeli se trudijo znebiti predsodkov in drugih potencialno škodljivih lastnosti. Na primer, Codex se lahko pozove, da ustvari rasistične in drugače sporne rezultate kot izvedljivo kodo. Pri pisanju komentarjev kode s pozivom »Islam« Codex izda besedo »terorist« in »nasilnik« z večjo hitrostjo kot pri drugih verskih skupinah.

Novejši Raziskave nakazuje, da bi lahko strupeni jezikovni modeli, uporabljeni v proizvodnji, težko razumeli vidike manjšinskih jezikov in narečij. To bi lahko ljudi, ki uporabljajo modele, prisililo, da preklopijo na »belo poravnano angleščino«, da zagotovijo, da modeli zanje bolje delujejo, ali pa govorce manjšin odvrnejo od tega, da bi sploh sodelovali z modeli.

OpenAI trdi, da se je razvil tehnike za ublažitev pristranskosti in toksičnosti v GPT-3 in njegovih derivatih, vključno s pregledom kode, dokumentacijo, oblikovanjem uporabniškega vmesnika, nadzorom vsebine in filtri za strupenost. In Microsoft pravi, da bo storitev Azure OpenAI dal na voljo samo podjetjem, ki nameravajo implementirati "dobro definirane" primere uporabe, ki vključujejo njegovo odgovorna načela in strategije za tehnologije umetne inteligence.

Poleg tega bo Microsoft zagotavljal varnostno spremljanje in analizo za odkrivanje možnih primerov zlorabe ali napačne uporabe ter nova orodja za filtriranje in moderiranje vsebine. Stranke bodo lahko prilagodile te filtre glede na svoje poslovne potrebe, pravi Boyd, medtem ko od Microsofta prejema navodila o uporabi storitve Azure OpenAI Service "uspešno in pošteno".

"To je res kritično področje za umetno inteligenco na splošno in ker GPT-3 premika meje tega, kar je mogoče z umetno inteligenco, se moramo prepričati, da smo tam v ospredju, da zagotovimo, da jo uporabljamo odgovorno," je dejal Boyd. "Pričakujemo, da se bomo učili z našimi strankami, in pričakujemo, da bodo odgovorna področja umetne inteligence mesta, kjer se bomo naučili, katere stvari je treba še izboljšati."

OpenAI in Microsoft

Poglobljeno partnerstvo OpenAI z Microsoftom odraža gospodarsko realnost, s katero se sooča podjetje. Javna skrivnost je, da je umetna inteligenca kapitalsko intenzivno področje – leta 2019 je OpenAI postal profitno podjetje, ki je bilo pozvano, da zagotovi dodatno financiranje, medtem ko ostane pod nadzorom neprofitne organizacije, ki je bila prej organizacija 501(c)(3). In julija OpenAI razpuščeno njegova robotska ekipa po letih raziskovanja strojev, ki se lahko naučijo opravljati naloge, kot je reševanje Rubikove kocke.

Pred približno enim letom, Microsoft je napovedal, da bo vložil milijardo dolarjev v OpenAI s sedežem v San Franciscu za skupni razvoj novih tehnologij za Microsoftovo platformo v oblaku Azure. V zameno se je OpenAI strinjal, da bo Microsoftu licenciral nekaj svoje intelektualne lastnine, ki bi jo nato zapakiral in prodal partnerjem, ter za usposabljanje in izvajanje modelov AI na Azure, ko je OpenAI delal na razvoju računalniške strojne opreme naslednje generacije.

V naslednjih mesecih je OpenAI izdal API, ki ga poganja Microsoft Azure – API OpenAI — ki razvijalcem omogoča raziskovanje zmogljivosti GPT-3. Maja med svojo konferenco za razvijalce Build 2020 je Microsoft razkril, kar imenuje Superračunalnik AI, stroj, ki gostuje v Azure in ga je sooblikoval OpenAI, ki vsebuje več kot 285,000 procesorskih jeder in 10,000 grafičnih kartic. In proti koncu leta 2020 Microsoft razglasitve da bi GPT-3 izključno licenciral za razvoj in dostavo rešitev AI za stranke ter za ustvarjanje novih izdelkov, ki izkoriščajo moč ustvarjanja naravnega jezika, kot je Codex.

Microsoft je lani napovedal, da bo GPT-3 "globoko" integriran z Aplikacije za napajanje, its low-code app development platform — specifically for formula generation. The AI-powered features will allow a user building an ecommerce app, for example, to describe a programming goal using conversational language like “find products where the name starts with ‘kids.’” More recently, Microsoft-owned GitHub launched a feature called Kopilot ki ga poganja model generiranja kode Codex OpenAI, ki ga GitHub pravi se zdaj uporablja za pisanje kar 30 % nove kode v svojem omrežju.

Vsekakor so veliki zmagovalci v razmahu NLP ponudniki storitev v oblaku, kot je Azure. Po raziskavi John Snow Labs 83 % podjetij poleg odprtokodnih knjižnic že uporablja NLP API-je iz Google Clouda, Amazon Web Services, Azure in IBM. To predstavlja precejšen del spremembe, če upoštevamo dejstvo, da je globalni NLP trg Pričakuje da se bo vrednost povzpela z 11.6 milijarde dolarjev leta 2020 na 35.1 milijarde dolarjev do leta 2026. Leta 2019 bo IBM ustvaril 303.8 milijona dolarjev prihodkov samo od svojih programskih platform AI.