Microsoft kjøper AI-drevet moderasjonsplattform Two Hat

Microsoft kunngjorde i dag at det ervervet To luer, En AI-drevet innholdsmodereringsplattform, for et ikke avslørt beløp. I følge Xbox-produkttjenestens CVP Dave McCarthy, vil kjøpet kombinere teknologien, forskningsmulighetene, teamene og skyinfrastrukturen til begge selskapene for å betjene Two Hats eksisterende og nye kunder og «flere produkt- og tjenesteopplevelser: hos Microsoft.

"Ved å jobbe med det mangfoldige og erfarne teamet på Two Hat gjennom årene, har det blitt klart at vi er helt på linje med kjerneverdiene inspirert av visjonen til grunnlegger, Chris c, om å levere en helhetlig tilnærming for positive og blomstrende nettsamfunn, " sa McCarthy i et blogginnlegg. "I de siste årene har Microsoft og Two Hat jobbet sammen for å implementere proaktiv modereringsteknologi i spill- og ikke-spillopplevelser for å oppdage og fjerne skadelig innhold før det noen gang når medlemmer av fellesskapene våre."

Moderasjon

Ifølge Pew Research Center4 av 10 amerikanere har personlig opplevd en eller annen form for trakassering på nettet. Dessuten, 37% av USA-basert internett sier brukerne de har vært målet for alvorlige angrep – inkludert seksuell trakassering og forfølgelse – basert på deres seksuelle legning, religion, rase, etnisitet, kjønnsidentitet eller funksjonshemming. Barn, spesielt, er gjenstand for overgrep på nett, med en Undersøkelsen finne en 70 % økning i nettmobbing på sosiale medier og spillplattformer under pandemien.

Priebe grunnla Two Hat i 2012 da han forlot stillingen som senior appsikkerhetsspesialist hos Disney Interactive, Disneys spillutviklingsavdeling. En tidligere hovedutvikler i sikkerhets- og sikkerhetsteamet for Club Penguin, Priebe ble drevet av et ønske om å takle problemene med nettmobbing og trakassering på det sosiale nettet.

I dag hevder Two Hat sin innholdsmodereringsplattform – som kombinerer AI, lingvistikk og «bransjeledende beste praksiser for ledelse» – klassifiserer, filtrerer og eskalerer mer enn en billion menneskelige interaksjoner, inkludert meldinger, brukernavn, bilder og videoer i måneden. Selskapet samarbeider også med kanadisk rettshåndhevelse for å trene kunstig intelligens til å oppdage nytt materiale som utnytter barn, for eksempel innhold som sannsynligvis er pornografisk.

«Med vekt på å synliggjøre skader på nettet, inkludert nettmobbing, overgrep, hatytringer, voldelige trusler og utnyttelse av barn, gjør vi det mulig for kunder på tvers av en rekke sosiale nettverk over hele verden å fremme trygge og sunne brukeropplevelser for alle aldre», skriver Two Hat. på sin hjemmeside.

Microsoft-partnerskap

For flere år siden inngikk Two Hat et samarbeid med Microsofts Xbox-team for å bruke modereringsteknologien til fellesskap i Xbox, Minecraft og MSN. Two Hats plattform lar brukere bestemme innholdet de er komfortable med å se - og hva de ikke er - som Priebe mener er en nøkkeldifferensiator sammenlignet med AI-drevne moderasjonsløsninger som Sentropy og Jigsaw Labs' Perspective API.

"Vi skapte en av de mest adaptive, responsive, omfattende løsningene for fellesskapsadministrasjon som er tilgjengelige og fant spennende måter å kombinere den beste teknologien med unik innsikt," sa Priebe i en pressemelding. "Som et resultat er vi nå betrodd å hjelpe online interaksjoner for mange av verdens største samfunn."

Det er verdt å merke seg at halvautomatisk moderering fortsatt er en uløst utfordring. I fjor, forskere viste at Perceive, et verktøy utviklet av Google og dets datterselskap Jigsaw, ofte klassifiserte nettkommentarer skrevet på det afroamerikanske språket som giftige. En egen studie avslørte at dårlig grammatikk og vanskelig stavemåte – som «Ihateyou love» i stedet for «Jeg hater deg» – gjør giftig innhold langt vanskeligere for AI og maskindetektorer å oppdage.

Som det fremgår av konkurranser som Fake News Challenge og Facebooks Hatefull Memes Challenge, sliter også maskinlæringsalgoritmer fortsatt med å få en helhetlig forståelse av ord i kontekst. Avslørende nok innrømmet Facebook at de ikke har vært i stand til å trene en modell for å finne nye tilfeller av en bestemt kategori av desinformasjon: villedende nyheter om COVID-19. Og Instagrams automatiserte modereringssystem deaktiverte en gang svarte medlemmer 50 % oftere enn hvite brukere.

Men McCarthy uttrykte tillit til kraften til Two Hats produkt, som inkluderer et brukeromdømmesystem, støtter 20 språk, og kan automatisk suspendere, utestenge og dempe potensielt voldelige medlemmer av fellesskap.

"Vi forstår de komplekse utfordringene organisasjoner står overfor i dag når de streber etter å effektivt moderere nettsamfunn. I vår stadig skiftende digitale verden er det et presserende behov for moderasjonsløsninger som kan administrere nettinnhold på en effektiv og skalerbar måte, sa han. "Vi har vært vitne til virkningen de har hatt på Xbox, og vi er begeistret for at dette oppkjøpet vil ytterligere akselerere våre førsteparts løsninger for moderering av innhold på tvers av spill, innenfor et bredt spekter av Microsoft-forbrukertjenester, og for å bygge større muligheter for våre tredjepartspartnere og Two Hats eksisterende kunders bruk av disse løsningene."