GPT-3 komt naar de onderneming met de Azure OpenAI Service van Microsoft

Tijdens zijn Toepassen conferentie deze week onthulde Microsoft de Azure OpenAI-service, een nieuw aanbod dat is ontworpen om ondernemingen toegang te geven tot OpenAI's GPT-3 taalmodel en zijn afgeleiden samen met beveiliging, compliance, governance en andere bedrijfsgerichte functies. Aanvankelijk alleen op uitnodiging als onderdeel van Azure cognitieve services, geeft de service toegang tot de API van OpenAI via het Azure-platform voor gebruiksscenario's zoals taalvertaling, het genereren van code en het automatisch aanvullen van tekst.

Volgens Microsoft corporate VP voor Azure AI Eric Boyd kunnen bedrijven de Azure OpenAI-service gebruiken voor marketingdoeleinden, zoals het helpen van teams bij het brainstormen over ideeën voor posts op sociale media of blogs. Ze kunnen het ook gebruiken om veelvoorkomende klachten in logboeken van de klantenservice samen te vatten of ontwikkelaars te helpen bij het coderen door de noodzaak om te stoppen en naar voorbeelden te zoeken tot een minimum te beperken.

"We bevinden ons nog maar in de beginfase van het uitzoeken wat de kracht en het potentieel van GPT-3 is, wat het zo interessant maakt", voegde hij eraan toe in een verklaring. "Nu nemen we wat OpenAI heeft uitgebracht en maken het beschikbaar met alle bedrijfsbeloften die bedrijven nodig hebben om in productie te gaan."

Grote taalmodellen

Gebouwd door OpenAI, GPT-3 en zijn verfijnde afgeleiden, zoals Codex, kan worden aangepast voor toepassingen die een grondige kennis van taal vereisen, van het omzetten van natuurlijke taal in softwarecode tot het samenvatten van grote hoeveelheden tekst en het genereren van antwoorden op vragen. Mensen hebben het automatisch gebruikt schrijf e-mails en artikelen, schrijf poëzie en recepten, maak websitelay-outs en maak code voor diep leren in een dozijn programmeertalen.

GPT-3 is sinds 2020 publiekelijk beschikbaar via de OpenAI API; OpenAI heeft gezegd dat GPT-3 nu in meer dan 300 verschillende apps wordt gebruikt door "tienduizenden" ontwikkelaars en 4.5 miljard woorden per dag produceert. Maar volgens Microsoft corporate VP van AI-platform John Montgomery, die onlangs met VentureBeat sprak in een interview, stelt de Azure OpenAI-service bedrijven in staat om GPT-3 te implementeren op een manier die voldoet aan de wet- en regelgeving en technische vereisten (bijvoorbeeld schaalcapaciteit, privénetwerken en toegangsbeheer) die uniek zijn voor hun bedrijf of branche.

“Als u een nationaal bedrijf runt, kunnen uw gegevens soms bijvoorbeeld niet [gebruikt] worden in een bepaalde geografische regio. De Azure OpenAI-service kan het model in feite in de regio plaatsen die u voor u nodig heeft, "zei Montgomery. "Voor [onze zakelijke klanten] komt het neer op vragen als 'Hoe gaan jullie om met onze beveiligingseisen?' en 'Hoe ga je om met zaken als virtuele netwerken?' Sommigen van hen hebben al hun API-eindpunten nodig om centraal te worden beheerd of gebruiken door de klant geleverde sleutels voor codering... Wat de Azure OpenAI-service doet, is dat het al deze Azure-backplane-mogelijkheden [voor] grote zakelijke klanten [tot een] echte productie-implementatie vouwt om de GPT-3-technologie te openen.”

Montgomery wijst er ook op dat de Azure OpenAI-service facturering handiger maakt door modelgebruik onder één enkele Azure-factuur in rekening te brengen, in plaats van afzonderlijk onder de OpenAI API. "Dat maakt het voor klanten een beetje eenvoudiger om te betalen en te consumeren", zei hij. "Omdat het op dit moment één Azure-factuur is."

Bedrijven verhogen inderdaad hun investeringen in natuurlijke taalverwerking (NLP), het deelgebied van taalkunde, informatica en AI dat zich bezighoudt met hoe algoritmen grote hoeveelheden taal analyseren. Volgens een 2021 klanttevredenheid van John Snow Labs en Gradient Flow gaf 60% van de techleiders aan dat hun NLP-budgetten met minstens 10% stegen in vergelijking met 2020, terwijl een derde - 33% - zei dat hun uitgaven met meer dan 30% stegen.

Maatwerk en veiligheid

Net als bij de OpenAI API, stelt de Azure OpenAI-service klanten in staat om GPT-3 af te stemmen op specifieke zakelijke behoeften met behulp van voorbeelden uit hun eigen gegevens. Het biedt ook "directe toegang" tot GPT-3 in een formaat dat is ontworpen om intuïtief te zijn voor ontwikkelaars, maar toch robuust genoeg voor datawetenschappers om naar eigen inzicht met het model te werken, zegt Boyd.

“Het is echt een nieuw paradigma waarbij dit zeer grote model nu zelf het platform is. Dus bedrijven kunnen het gewoon gebruiken en een paar voorbeelden geven en de resultaten krijgen die ze nodig hebben zonder een heel data science-team en duizenden GPU's en alle middelen nodig te hebben om het model te trainen, "zei hij. "Ik denk dat we daarom de enorme belangstelling zien van bedrijven die GPT-3 willen gebruiken - het is zowel zeer krachtig als zeer eenvoudig."

Het is natuurlijk algemeen bekend dat modellen als GPT-3 technisch verre van perfect zijn. GPT-3 is getraind op meer dan 600 GB aan tekst van internet, waarvan een deel afkomstig was van community's met doordringend geslacht, ras, Fysieken religieuze vooroordelen. Studies tonen aan dat het, net als andere grote taalmodellen, de vooroordelen versterkt in gegevens waarop het is getraind.

In een krant, beweerde het Centre on Terrorism, Extremism, and Counterterrorism van het Middlebury Institute of International Studies dat GPT-3 "informatieve" en "invloedrijke" tekst kan genereren die mensen zou kunnen radicaliseren tot extreemrechtse extremistische ideologieën en gedragingen. Een groep aan de Georgetown University heeft GPT-3 gebruikt om desinformatie te genereren, waaronder verhalen rond een vals verhaal, artikelen die zijn gewijzigd om een ​​nepperspectief te geven en tweets die op bepaalde punten van desinformatie ingaan. Andere onderzoeken, zoals een onderzoek dat in april is gepubliceerd door onderzoekers van Intel, MIT en het Canadese AI-initiatief CIFAR, hebben een hoge mate van vooringenomenheid gevonden van enkele van de meest populaire open source-modellen, zoals Google's BERT en XLNet en RoBERTa van Facebook.

Zelfs verfijnde modellen hebben moeite om vooroordelen en andere potentieel schadelijke eigenschappen van zich af te schudden. Codex kan bijvoorbeeld worden gevraagd om racistische en anderszins aanstootgevende uitvoer te genereren als uitvoerbare code. Bij het schrijven van codecommentaar met de prompt 'Islam' geeft Codex het woord 'terrorist' en 'gewelddadig' sneller weer dan bij andere religieuze groeperingen.

Recenter onderzoek suggereert dat toxische taalmodellen die in de productie worden ingezet, moeite kunnen hebben om aspecten van minderheidstalen en dialecten te begrijpen. Dit zou mensen die de modellen gebruiken, kunnen dwingen om over te schakelen naar 'white-aligned English' om ervoor te zorgen dat de modellen beter voor hen werken, of om sprekers uit minderheidsgroepen te ontmoedigen om überhaupt met de modellen om te gaan.

OpenAI beweert te hebben ontwikkeld technieken om vooringenomenheid en toxiciteit in GPT-3 en zijn afgeleiden te verminderen, inclusief codebeoordeling, documentatie, ontwerp van gebruikersinterface, inhoudscontroles en toxiciteit filters. En Microsoft zegt dat het alleen de Azure OpenAI-service beschikbaar zal stellen aan bedrijven die van plan zijn om "goed gedefinieerde" use cases te implementeren waarin de verantwoorde principes en strategieën voor AI-technologieën.

Daarnaast zal Microsoft veiligheidsmonitoring en -analyse leveren om mogelijke gevallen van misbruik of verkeerd gebruik te identificeren, evenals nieuwe tools om inhoud te filteren en te modereren. Klanten kunnen die filters aanpassen aan hun zakelijke behoeften, zegt Boyd, terwijl ze begeleiding krijgen van Microsoft om de Azure OpenAI-service "succesvol en eerlijk" te gebruiken.

"Dit is een heel kritiek gebied voor AI in het algemeen en nu GPT-3 de grenzen verlegt van wat mogelijk is met AI, moeten we ervoor zorgen dat we voorop lopen om ervoor te zorgen dat we het op een verantwoorde manier gebruiken", zei Boyd. "We verwachten samen met onze klanten te leren, en we verwachten dat de verantwoordelijke AI-gebieden plaatsen zijn waar we leren welke dingen meer gepolijst moeten worden."

OpenAI en Microsoft

De diepere samenwerking van OpenAI met Microsoft weerspiegelt de economische realiteit waarmee het bedrijf wordt geconfronteerd. Het is een publiek geheim dat AI een kapitaalintensief veld is - in 2019 werd OpenAI een bedrijf met winstoogmerk dat werd geroepen om extra financiering binnen te halen terwijl het onder controle bleef van een non-profitorganisatie, voorheen een 501(c)(3)-organisatie. En in juli OpenAI ontbonden haar robotica-team na jarenlang onderzoek naar machines die kunnen leren om taken uit te voeren zoals oplossen van een Rubiks kubus.

Ongeveer een jaar geleden, Microsoft kondigde aan dat het $ 1 miljard zou investeren in het in San Francisco gevestigde OpenAI om gezamenlijk nieuwe technologieën te ontwikkelen voor het Azure-cloudplatform van Microsoft. In ruil daarvoor stemde OpenAI ermee in om een ​​deel van zijn intellectuele eigendom in licentie te geven aan Microsoft, dat het bedrijf vervolgens zou verpakken en verkopen aan partners, en om AI-modellen op Azure te trainen en uit te voeren terwijl OpenAI werkte aan de ontwikkeling van computerhardware van de volgende generatie.

In de maanden die volgden, bracht OpenAI een door Microsoft Azure aangedreven API uit — OpenAI-API — waarmee ontwikkelaars de mogelijkheden van GPT-3 kunnen verkennen. In mei onthulde Microsoft tijdens de ontwikkelaarsconferentie Build 2020 wat het de AI-supercomputer, een door Azure gehoste machine die mede is ontworpen door OpenAI en die meer dan 285,000 processorkernen en 10,000 grafische kaarten bevat. En tegen het einde van 2020 zal Microsoft aangekondigd dat het een exclusieve licentie zou verlenen aan GPT-3 om AI-oplossingen voor klanten te ontwikkelen en te leveren, en om nieuwe producten te creëren die gebruikmaken van de kracht van natuurlijke taalgeneratie, zoals Codex.

Microsoft kondigde vorig jaar aan dat GPT-3 "diep" zal worden geïntegreerd met Krachtige apps, het low-code app-ontwikkelingsplatform, speciaal voor het genereren van formules. Met de AI-aangedreven functies kan een gebruiker die een e-commerce-app bouwt, bijvoorbeeld een programmeerdoel beschrijven met behulp van conversatietaal, zoals "vind producten waarvan de naam begint met 'kinderen'." Meer recent lanceerde GitHub, eigendom van Microsoft, een functie genaamd Copilot dat wordt mogelijk gemaakt door OpenAI's Codex-codegeneratiemodel, dat GitHub zegt wordt nu gebruikt om maar liefst 30% van de nieuwe code op zijn netwerk te schrijven.

Zeker, de grote winnaars in de NLP-boom zijn cloudserviceproviders zoals Azure. Volgens de John Snow Labs-enquête gebruikt 83% van de bedrijven al NLP API's van Google Cloud, Amazon Web Services, Azure en IBM naast open source-bibliotheken. Dit vertegenwoordigt een aanzienlijk deel van de verandering, gezien het feit dat de wereldwijde NLP-markt dat is verwacht om in waarde te stijgen van $ 11.6 miljard in 2020 naar $ 35.1 miljard in 2026. In 2019 IBM gegenereerd Alleen al $ 303.8 miljoen aan inkomsten uit zijn AI-softwareplatforms.