GPT-3 arrive dans l'entreprise avec le service Azure OpenAI de Microsoft

Pendant sa Enflammer conférence cette semaine, Microsoft a dévoilé Azure OpenAI Service, une nouvelle offre conçue pour permettre aux entreprises d'accéder à OpenAI GPT-3 modèle de langage et ses dérivés, ainsi que la sécurité, la conformité, la gouvernance et d'autres fonctionnalités axées sur l'entreprise. Initialement sur invitation uniquement dans le cadre de Services cognitifs Azure, le service permettra d'accéder à l'API d'OpenAI via la plate-forme Azure pour des cas d'utilisation tels que la traduction de langue, la génération de code et la saisie semi-automatique de texte.

Selon Eric Boyd, vice-président de Microsoft pour Azure AI, les entreprises peuvent tirer parti du service Azure OpenAI à des fins de marketing, par exemple en aidant les équipes à réfléchir à des idées pour des publications sur les réseaux sociaux ou des blogs. Ils pourraient également l'utiliser pour résumer les plaintes courantes dans les journaux du service client ou aider les développeurs à coder en minimisant le besoin de s'arrêter et de rechercher des exemples.

"Nous n'en sommes qu'au début de la détermination de la puissance et du potentiel du GPT-3, ce qui le rend si intéressant", a-t-il ajouté dans un communiqué. "Maintenant, nous prenons ce qu'OpenAI a publié et le rendons disponible avec toutes les promesses d'entreprise dont les entreprises ont besoin pour passer à la production."

Grands modèles de langage

Construit par OpenAI, GPT-3 et ses dérivés affinés, comme Manuscrit, peut être personnalisé pour gérer les applications qui nécessitent une compréhension approfondie du langage, de la conversion du langage naturel en code logiciel à la synthèse de grandes quantités de texte et à la génération de réponses aux questions. Les gens l'ont utilisé pour automatiquement rédiger des courriels et des articles, composez de la poésie et des recettes, créez des mises en page de sites Web et créez du code pour un apprentissage en profondeur dans une douzaine de langages de programmation.

GPT-3 est accessible au public depuis 2020 via l'API OpenAI ; OpenAI a dit que GPT-3 est maintenant utilisé dans plus de 300 applications différentes par des « dizaines de milliers » de développeurs et produit 4.5 milliards de mots par jour. Mais selon John Montgomery, vice-président de Microsoft pour la plate-forme d'intelligence artificielle, qui s'est entretenu récemment avec VentureBeat dans une interview, le service Azure OpenAI permet aux entreprises de déployer GPT-3 d'une manière conforme aux lois, réglementations et exigences techniques (par exemple, capacité de mise à l'échelle, réseau privé et gestion des accès) propres à leur entreprise ou à leur industrie.

« Lorsque vous exploitez une entreprise nationale, parfois, vos données ne peuvent pas [être utilisées] dans une région géographique particulière, par exemple. Le service Azure OpenAI peut essentiellement placer le modèle dans la région dont vous avez besoin pour vous », a déclaré Montgomery. « Pour [nos clients commerciaux,] cela se résume à des questions telles que : 'Comment gérez-vous nos exigences en matière de sécurité ?' et 'Comment gérez-vous des choses comme les réseaux virtuels ?' Certains d'entre eux ont besoin que tous leurs points de terminaison API soient gérés de manière centralisée ou utilisent des clés fournies par le client pour le chiffrement… Ce que fait le service Azure OpenAI, c'est qu'il replie toutes ces capacités de fond de panier Azure [pour] les grandes entreprises clientes [dans un] véritable déploiement de production pour ouvrir la technologie GPT-3.

Montgomery souligne également que le service Azure OpenAI rend la facturation plus pratique en facturant l'utilisation du modèle sous une seule facture Azure, plutôt que séparément sous l'API OpenAI. "Cela simplifie un peu le paiement et la consommation pour les clients", a-t-il déclaré. "Parce qu'à ce stade, c'est une facture Azure."

Les entreprises augmentent en effet leurs investissements dans le traitement du langage naturel (TLN), le sous-domaine de la linguistique, de l'informatique et de l'IA concerné par la manière dont les algorithmes analysent de grandes quantités de langage. Selon un 2021 enquête de John Snow Labs et Gradient Flow, 60% des leaders technologiques ont indiqué que leurs budgets PNL avaient augmenté d'au moins 10% par rapport à 2020, tandis qu'un tiers - 33% - ont déclaré que leurs dépenses avaient augmenté de plus de 30%.

Personnalisation et sécurité

Comme pour l'API OpenAI, le service Azure OpenAI permettra aux clients d'ajuster GPT-3 pour répondre à des besoins commerciaux spécifiques en utilisant des exemples tirés de leurs propres données. Il fournira également un "accès direct" à GPT-3 dans un format conçu pour être intuitif à utiliser par les développeurs, mais suffisamment robuste pour que les scientifiques des données puissent travailler avec le modèle comme ils le souhaitent, explique Boyd.

"C'est vraiment un nouveau paradigme où ce très grand modèle est maintenant lui-même la plate-forme. Ainsi, les entreprises peuvent simplement l'utiliser et lui donner quelques exemples et obtenir les résultats dont elles ont besoin sans avoir besoin de toute une équipe de science des données et de milliers de GPU et de toutes les ressources pour former le modèle », a-t-il déclaré. "Je pense que c'est pourquoi nous constatons l'énorme intérêt suscité par les entreprises souhaitant utiliser GPT-3 - c'est à la fois très puissant et très simple."

Bien sûr, il est bien établi que des modèles comme le GPT-3 sont loin d'être techniquement parfaits. GPT-3 a été formé sur plus de 600 Go de texte provenant du Web, dont une partie provenait de communautés avec envahissant sexe, race, Physiqueet les préjugés religieux. Des études montrent qu'il, comme d'autres grands modèles de langage, amplifie les biais dans les données sur lesquelles il a été formé.

In un document, le Centre sur le terrorisme, l'extrémisme et le contre-terrorisme du Middlebury Institute of International Studies a affirmé que le GPT-3 peut générer des textes « informatifs » et « influents » susceptibles de radicaliser les gens vers des idéologies et des comportements d'extrême droite. Un groupe de l'Université de Georgetown a utilisé GPT-3 pour générer de la désinformation, y compris des histoires autour d'un faux récit, des articles modifiés pour pousser une fausse perspective et des tweets racontant des points particuliers de désinformation. D'autres études, comme celle publiée par les chercheurs d'Intel, du MIT et de l'initiative canadienne d'IA CIFAR en avril, ont révélé des niveaux élevés de biais provenant de certains des modèles open source les plus populaires, tels que BERT de Google ainsi que  XLNet ainsi que  RoBERTa de Facebook.

Même les modèles affinés ont du mal à se débarrasser des préjugés et autres caractéristiques potentiellement nuisibles. Par exemple, le Codex peut être invité à générer des sorties racistes et autrement répréhensibles sous forme de code exécutable. Lors de l'écriture de commentaires de code avec l'invite "Islam", le Codex produit les mots "terroriste" et "violent" à un rythme plus élevé qu'avec d'autres groupes religieux.

Plus récent un article suggère que les modèles de langue toxiques déployés dans la production pourraient avoir du mal à comprendre les aspects des langues et des dialectes minoritaires. Cela pourrait forcer les personnes utilisant les modèles à passer à «l'anglais aligné sur le blanc» pour s'assurer que les modèles fonctionnent mieux pour eux, ou décourager les locuteurs minoritaires de s'engager avec les modèles.

OpenAI affirme avoir développé techniques pour atténuer les biais et la toxicité dans GPT-3 et ses dérivés, y compris la révision du code, la documentation, la conception de l'interface utilisateur, les contrôles de contenu et filtres de toxicité. Et Microsoft affirme qu'il ne mettra le service Azure OpenAI à la disposition des entreprises qui envisagent de mettre en œuvre des cas d'utilisation "bien définis" qui intègrent son principes et stratégies responsables pour les technologies de l'IA.

Au-delà de cela, Microsoft fournira une surveillance et une analyse de la sécurité pour identifier les éventuels cas d'abus ou d'utilisation abusive ainsi que de nouveaux outils pour filtrer et modérer le contenu. Les clients pourront personnaliser ces filtres en fonction de leurs besoins commerciaux, déclare Boyd, tout en recevant des conseils de Microsoft sur l'utilisation du service Azure OpenAI "avec succès et équité".

"C'est un domaine vraiment critique pour l'IA en général et avec GPT-3 repoussant les limites de ce qui est possible avec l'IA, nous devons nous assurer que nous sommes à l'avant-garde pour nous assurer que nous l'utilisons de manière responsable", a déclaré Boyd. "Nous nous attendons à apprendre avec nos clients, et nous nous attendons à ce que les domaines d'IA responsables soient des endroits où nous apprenons ce qui a besoin d'être peaufiné."

OpenAI et Microsoft

Le partenariat approfondi d'OpenAI avec Microsoft reflète les réalités économiques auxquelles l'entreprise est confrontée. C'est un secret de polichinelle que l'IA est un domaine à forte intensité de capital - en 2019, OpenAI est devenue une société à but lucratif appelée à obtenir des financements supplémentaires tout en restant contrôlée par une organisation à but non lucratif, ayant auparavant été une organisation 501(c)(3). Et en juillet, OpenAI démantelé son équipe de robotique après des années de recherche sur des machines capables d'apprendre à effectuer des tâches telles que résoudre un Rubik's cube.

Il y a environ un an, Microsoft a annoncé qu'il investirait 1 milliard de dollars dans OpenAI basé à San Francisco pour développer conjointement de nouvelles technologies pour la plate-forme cloud Azure de Microsoft. En échange, OpenAI a accepté de concéder sous licence une partie de sa propriété intellectuelle à Microsoft, que la société emballerait et vendrait ensuite à des partenaires, et de former et d'exécuter des modèles d'IA sur Azure pendant qu'OpenAI travaillait au développement de matériel informatique de nouvelle génération.

Dans les mois qui ont suivi, OpenAI a publié une API basée sur Microsoft Azure — API OpenAI — qui permet aux développeurs d'explorer les capacités de GPT-3. En mai, lors de sa conférence des développeurs Build 2020, Microsoft a dévoilé ce qu'il appelle le Supercalculateur IA, une machine hébergée sur Azure co-conçue par OpenAI qui contient plus de 285,000 10,000 cœurs de processeur et 2020 XNUMX cartes graphiques. Et vers la fin de XNUMX, Microsoft annoncé qu'il accorderait une licence exclusive à GPT-3 pour développer et fournir des solutions d'IA pour les clients, ainsi que pour créer de nouveaux produits qui exploitent la puissance de la génération de langage naturel, comme Manuscrit.

L'année dernière, Microsoft a annoncé que GPT-3 serait intégré "profondément" avec Applications puissantes, sa plateforme de développement d'applications low-code, spécifiquement pour la génération de formules. Les fonctionnalités basées sur l'IA permettront par exemple à un utilisateur de créer une application de commerce électronique de décrire un objectif de programmation en utilisant un langage conversationnel tel que « trouver des produits dont le nom commence par « enfants ». Plus récemment, GitHub, propriété de Microsoft, a lancé une fonctionnalité appelée Copilote qui est alimenté par le modèle de génération de code Codex d'OpenAI, que GitHub dit est maintenant utilisé pour écrire jusqu'à 30 % du nouveau code sur son réseau.

Certes, les grands gagnants du boom du NLP sont les fournisseurs de services cloud comme Azure. Selon l'enquête John Snow Labs, 83 % des entreprises utilisent déjà les API NLP de Google Cloud, Amazon Web Services, Azure et IBM en plus des bibliothèques open source. Cela représente une part importante du changement, compte tenu du fait que le marché mondial du NLP est attendu de grimper en valeur de 11.6 milliards de dollars en 2020 à 35.1 milliards de dollars d'ici 2026. En 2019, généré par IBM 303.8 millions de dollars de revenus provenant uniquement de ses plates-formes logicielles d'IA.