Microsoft køber AI-drevet moderationsplatform Two Hat

Microsoft meddelte i dag, at det erhvervede To hatte, en AI-drevet indholdsmodereringsplatform, for et ikke oplyst beløb. Ifølge Xbox-produkttjenestens CVP Dave McCarthy vil købet kombinere teknologien, forskningskapaciteten, teams og cloud-infrastrukturen fra begge virksomheder for at betjene Two Hats eksisterende og nye kunder og "flere produkt- og serviceoplevelser: hos Microsoft.

"Ved at arbejde med det mangfoldige og erfarne team hos Two Hat gennem årene er det blevet klart, at vi er fuldt ud på linje med kerneværdierne inspireret af grundlæggeren Chris c's vision om at levere en holistisk tilgang til positive og blomstrende online fællesskaber, " sagde McCarthy i et blogindlæg. "I de sidste par år har Microsoft og Two Hat arbejdet sammen om at implementere proaktiv modereringsteknologi i spil- og ikke-spiloplevelser for at opdage og fjerne skadeligt indhold, før det nogensinde når medlemmer af vores fællesskaber."

Moderation

Ifølge Pew Research Center4 ud af 10 amerikanere har personligt oplevet en form for onlinechikane. Desuden 37% af USA-baserede internet siger brugerne de har været mål for alvorlige angreb - herunder seksuel chikane og stalking - baseret på deres seksuelle orientering, religion, race, etnicitet, kønsidentitet eller handicap. Børn, især, er genstand for online misbrug, med en undersøgelse at finde en stigning på 70 % i cybermobning på sociale medier og spilplatforme under pandemien.

Priebe grundlagde Two Hat i 2012, da han forlod sin stilling som senior app-sikkerhedsspecialist hos Disney Interactive, Disneys spiludviklingsafdeling. En tidligere hovedudvikler på sikkerheds- og sikkerhedsteamet for Club Penguin, Priebe var drevet af et ønske om at tackle problemerne med cybermobning og chikane på det sociale web.

I dag hævder Two Hat, at deres indholdsmodereringsplatform - som kombinerer kunstig intelligens, lingvistik og "brancheførende bedste praksis for ledelse" - klassificerer, filtrerer og eskalerer mere end en billion menneskelige interaktioner, herunder beskeder, brugernavne, billeder og videoer om måneden. Virksomheden samarbejder også med canadisk retshåndhævelse for at træne kunstig intelligens til at opdage nyt materiale, der udnytter børn, såsom indhold, der sandsynligvis er pornografisk.

"Med vægt på at synliggøre online skader, herunder cybermobning, misbrug, hadefulde ytringer, voldelige trusler og udnyttelse af børn, gør vi det muligt for kunder på tværs af en række sociale netværk over hele kloden at fremme sikre og sunde brugeroplevelser for alle aldre," skriver Two Hat. på sin hjemmeside.

Microsoft partnerskab

For flere år siden samarbejdede Two Hat med Microsofts Xbox-team for at anvende deres modereringsteknologi til fællesskaber i Xbox, Minecraft og MSN. Two Hats platform giver brugerne mulighed for at bestemme det indhold, de er komfortable med at se - og hvad de ikke er - hvilket Priebe mener er en vigtig differentiator sammenlignet med AI-drevne modereringsløsninger som Sentropy og Jigsaw Labs' Perspective API.

"Vi skabte en af ​​de mest adaptive, lydhøre, omfattende fællesskabsstyringsløsninger, der er tilgængelige og fandt spændende måder at kombinere den bedste teknologi med unik indsigt," sagde Priebe i en pressemeddelelse. "Som et resultat er vi nu betroet med at hjælpe online-interaktioner for mange af verdens største samfund."

Det er værd at bemærke, at semi-automatiseret moderering forbliver en uløst udfordring. Sidste år, forskere viste, at Perceive, et værktøj udviklet af Google og dets datterselskab Jigsaw, ofte klassificerede onlinekommentarer skrevet i det afroamerikanske sprog som giftige. En separat undersøgelse afslørede, at dårlig grammatik og akavet stavning - som "Ihateyou love" i stedet for "Jeg hader dig," - gør giftigt indhold langt sværere for kunstig intelligens og maskindetektorer at få øje på.

Som det fremgår af konkurrencer som Fake News Challenge og Facebooks Hateful Memes Challenge, kæmper maskinlæringsalgoritmer også stadig for at få en holistisk forståelse af ord i kontekst. Afslørende indrømmede Facebook, at det ikke har været i stand til at træne en model til at finde nye tilfælde af en bestemt kategori af desinformation: vildledende nyheder om COVID-19. Og Instagrams automatiserede moderationssystem deaktiverede engang sorte medlemmer 50 % oftere end hvide brugere.

Men McCarthy udtrykte tillid til kraften i Two Hats produkt, som inkluderer et brugeromdømmesystem, understøtter 20 sprog og kan automatisk suspendere, forbyde og mute potentielt misbrugende medlemmer af fællesskaber.

"Vi forstår de komplekse udfordringer, organisationer står over for i dag, når de stræber efter effektivt at moderere online-fællesskaber. I vores evigt foranderlige digitale verden er der et presserende behov for moderationsløsninger, der kan administrere onlineindhold på en effektiv og skalerbar måde,” sagde han. "Vi har set den indflydelse, de har haft inden for Xbox, og vi er begejstrede for, at dette opkøb yderligere vil fremskynde vores førsteparts løsninger til moderering af indhold på tværs af spil, inden for en bred vifte af Microsoft-forbrugertjenester og skabe større muligheder for vores tredjepartspartnere og Two Hats eksisterende kunders brug af disse løsninger.”