Microsoft acquiert la plate-forme de modération basée sur l'IA Two Hat

Microsoft a annoncé aujourd'hui qu'il a acquise Deux chapeau, un AI-plate-forme de modération de contenu alimentée, pour un montant non divulgué. Selon Dave McCarthy, vice-président des services produits Xbox, l'achat combinera la technologie, les capacités de recherche, les équipes et l'infrastructure cloud des deux sociétés pour servir les clients existants et nouveaux de Two Hat et «de multiples expériences de produits et de services: chez Microsoft.

"En travaillant avec l'équipe diversifiée et expérimentée de Two Hat au fil des ans, il est devenu clair que nous sommes pleinement alignés sur les valeurs fondamentales inspirées par la vision du fondateur, Chris c, pour offrir une approche holistique pour des communautés en ligne positives et prospères, », a déclaré McCarthy dans un article de blog. "Au cours des dernières années, Microsoft et Two Hat ont travaillé ensemble pour mettre en œuvre une technologie de modération proactive dans les expériences de jeu et non liées au jeu afin de détecter et de supprimer le contenu préjudiciable avant qu'il n'atteigne les membres de nos communautés."

Modération

Selon le Pew Research Center, 4 Américains sur 10 ont personnellement été victimes d'une forme de harcèlement en ligne. De plus, 37 % des internautes basés aux États-Unis les utilisateurs disent ils ont été la cible d'attaques graves - y compris le harcèlement sexuel et le harcèlement criminel - en raison de leur orientation sexuelle, de leur religion, de leur race, de leur origine ethnique, de leur identité de genre ou de leur handicap. Les enfants, en particulier, font l'objet d'abus en ligne, l'un enquête constatant une augmentation de 70 % de la cyberintimidation sur les réseaux sociaux et les plateformes de jeux pendant la pandémie.

Priebe a fondé Two Hat en 2012 lorsqu'il a quitté son poste de spécialiste principal de la sécurité des applications chez Disney Interactive, la division de développement de jeux de Disney. Ancien développeur principal de l'équipe de sûreté et de sécurité de Club Penguin, Priebe était motivé par le désir de s'attaquer aux problèmes de cyberintimidation et de harcèlement sur le Web social.

Aujourd'hui, Two Hat revendique sa plate-forme de modération de contenu - qui combine l'IA, la linguistique et les «meilleures pratiques de gestion de pointe» - classe, filtre et intensifie plus d'un billion d'interactions humaines, y compris des messages, des noms d'utilisateur, des images et des vidéos par mois. L'entreprise travaille également avec les forces de l'ordre canadiennes pour former l'IA à la détection de nouveaux contenus exploitant des enfants, tels que des contenus susceptibles d'être pornographiques.

"En mettant l'accent sur la mise en évidence des méfaits en ligne, notamment la cyberintimidation, les abus, les discours de haine, les menaces violentes et l'exploitation des enfants, nous permettons aux clients de divers réseaux sociaux à travers le monde de favoriser des expériences utilisateur sûres et saines pour tous les âges", écrit Two Hat. sur son site Internet.

Partenariat Microsoft

Il y a plusieurs années, Two Hat s'est associé à l'équipe Xbox de Microsoft pour appliquer sa technologie de modération aux communautés Xbox, Minecraft et MSN. La plate-forme de Two Hat permet aux utilisateurs de décider du contenu qu'ils sont à l'aise de voir - et de ce qu'ils ne sont pas - ce qui, selon Priebe, est un différenciateur clé par rapport aux solutions de modération alimentées par l'IA comme Sentropy et l'API Perspective de Jigsaw Labs.

"Nous avons créé l'une des solutions de gestion de communauté les plus adaptatives, réactives et complètes disponibles et avons trouvé des moyens passionnants de combiner la meilleure technologie avec des informations uniques", a déclaré Priebe dans un communiqué. communiqué de presse. "En conséquence, nous sommes désormais chargés de faciliter les interactions en ligne pour bon nombre des plus grandes communautés du monde."

Il convient de noter que la modération semi-automatisée reste un défi non résolu. L'année dernière, chercheurs a montré que Perceive, un outil développé par Google et sa filiale Jigsaw, classait souvent les commentaires en ligne écrits dans la langue vernaculaire afro-américaine comme toxiques. Une étude distincte a révélé qu'une mauvaise grammaire et une orthographe maladroite - comme "Je te déteste", au lieu de "Je te déteste", - rendent le contenu toxique beaucoup plus difficile à repérer pour l'IA et les détecteurs de machines.

Comme en témoignent des concours comme le Fake News Challenge et celui de Facebook Défi des mèmes haineux, les algorithmes d'apprentissage automatique ont encore du mal à acquérir une compréhension holistique des mots dans leur contexte. De manière révélatrice, Facebook a admis qu'il n'a pas été en mesure de former un modèle pour trouver de nouveaux cas d'une catégorie spécifique de désinformation : les informations trompeuses sur le COVID-19. Et le système de modération automatisé d'Instagram a autrefois désactivé les membres noirs 50 % plus souvent que les utilisateurs blancs.

Mais McCarthy a exprimé sa confiance dans la puissance du produit de Two Hat, qui comprend un système de réputation des utilisateurs, prend en charge 20 langues et peut automatiquement suspendre, interdire et désactiver les membres potentiellement abusifs des communautés.

« Nous comprenons les défis complexes auxquels les organisations sont confrontées aujourd'hui lorsqu'elles s'efforcent de modérer efficacement les communautés en ligne. Dans notre monde numérique en constante évolution, il existe un besoin urgent de solutions de modération capables de gérer le contenu en ligne de manière efficace et évolutive », a-t-il déclaré. "Nous avons été témoins de l'impact qu'ils ont eu au sein de Xbox, et nous sommes ravis que cette acquisition accélère encore nos solutions de modération de contenu de première partie dans les jeux, au sein d'une large gamme de services grand public Microsoft, et crée de plus grandes opportunités pour notre les partenaires tiers et l'utilisation de ces solutions par les clients existants de Two Hat.