Microsoft nabywa platformę moderacyjną Two Hat opartą na sztucznej inteligencji

Microsoft ogłosił dzisiaj, że tak nabyty Dwa kapelusze, AI- zasilana platforma moderacji treści, za nieujawnioną kwotę. Według CVP ds. usług produktowych Xbox, Dave'a McCarthy'ego, zakup połączy technologię, możliwości badawcze, zespoły i infrastrukturę chmurową obu firm, aby służyć obecnym i nowym klientom Two Hat oraz „wielu produktom i usługom: w firmie Microsoft.

„Pracując przez lata z różnorodnym i doświadczonym zespołem Two Hat, stało się jasne, że jesteśmy w pełni zgodni z podstawowymi wartościami zainspirowanymi wizją założyciela, Chrisa C, aby zapewnić holistyczne podejście do pozytywnych i dobrze prosperujących społeczności internetowych, – napisał McCarthy w poście na blogu. „Przez kilka ostatnich lat Microsoft i Two Hat współpracowały nad wdrożeniem technologii proaktywnej moderacji w grach i poza grami, aby wykrywać i usuwać szkodliwe treści, zanim dotrą one do członków naszych społeczności”.

Umiar

Według Pew Research Center, 4 na 10 Amerykanów osobiście doświadczyło jakiejś formy nękania w Internecie. Ponadto 37% internetu w USA użytkownicy mówią były celem poważnych ataków — w tym molestowania seksualnego i prześladowania — ze względu na ich orientację seksualną, religię, rasę, pochodzenie etniczne, tożsamość płciową lub niepełnosprawność. W szczególności dzieci są przedmiotem nadużyć w Internecie, z jednym badanie znalezienie 70% wzrostu cybernękania w mediach społecznościowych i platformach do gier podczas pandemii.

Priebe założył Two Hat w 2012 roku, kiedy odszedł ze stanowiska starszego specjalisty ds. Bezpieczeństwa aplikacji w Disney Interactive, dziale rozwoju gier Disneya. Były główny programista w zespole ds. bezpieczeństwa i ochrony w Club Penguin, Priebe kierował się chęcią zajęcia się kwestiami cyberprzemocy i nękania w sieci społecznościowej.

Dziś Two Hat twierdzi, że jego platforma moderowania treści — która łączy sztuczną inteligencję, lingwistykę i „najlepsze w branży najlepsze praktyki zarządzania” — klasyfikuje, filtruje i eskaluje ponad bilion interakcji międzyludzkich, w tym wiadomości, nazwy użytkowników, obrazy i filmy miesięcznie. Firma współpracuje również z kanadyjskimi organami ścigania, aby szkolić sztuczną inteligencję w wykrywaniu nowych materiałów wykorzystujących dzieci, takich jak treści, które mogą mieć charakter pornograficzny.

„Kładąc nacisk na ujawnianie szkód online, w tym cybernękania, nadużyć, mowy nienawiści, gróźb przemocy i wykorzystywania dzieci, umożliwiamy klientom w różnych sieciach społecznościowych na całym świecie promowanie bezpiecznych i zdrowych doświadczeń użytkowników w każdym wieku” — pisze Two Hat na swojej stronie internetowej.

Partnerstwo Microsoft

Kilka lat temu firma Two Hat nawiązała współpracę z zespołem Xbox Microsoftu, aby zastosować swoją technologię moderacji w społecznościach Xbox, Minecraft i MSN. Platforma Two Hat pozwala użytkownikom decydować, jakie treści chcą oglądać — a jakich nie — co zdaniem Priebe jest kluczowym wyróżnikiem w porównaniu z rozwiązaniami do moderacji opartymi na sztucznej inteligencji, takimi jak Sentropy i Jigsaw Labs Perspective API.

„Stworzyliśmy jedno z najbardziej adaptacyjnych, responsywnych, kompleksowych rozwiązań do zarządzania społecznością i znaleźliśmy ekscytujące sposoby łączenia najlepszej technologii z unikalnymi spostrzeżeniami” — powiedział Priebe w komunikat prasowy. „W rezultacie powierzono nam teraz pomoc w interakcjach online dla wielu największych społeczności na świecie”.

Warto zauważyć, że półautomatyczna moderacja pozostaje nierozwiązanym wyzwaniem. Ostatni rok, Badacze wykazało, że Perceive, narzędzie opracowane przez Google i jego spółkę zależną Jigsaw, często klasyfikuje komentarze internetowe napisane w języku afroamerykańskim jako toksyczne. Oddzielne badanie wykazało, że zła gramatyka i niezręczna pisownia — na przykład „Nienawidzę cię, kochanie” zamiast „Nienawidzę cię” — sprawiają, że toksyczne treści są znacznie trudniejsze do wykrycia przez sztuczną inteligencję i wykrywacze maszyn.

Dowodem na to są takie konkursy jak Fake News Challenge czy Facebook's Wyzwanie Nienawistnych Memy, algorytmy uczenia maszynowego nadal mają trudności z holistycznym zrozumieniem słów w kontekście. Co ciekawe, Facebook przyznał, że nie był w stanie wyszkolić modelu w znajdowaniu nowych przypadków określonej kategorii dezinformacji: wprowadzających w błąd wiadomości o COVID-19. Zautomatyzowany system moderacji Instagrama kiedyś wyłączał czarnych członków o 50% częściej niż białych użytkowników.

Ale McCarthy wyraził zaufanie do mocy produktu Two Hat, który obejmuje system reputacji użytkowników, obsługuje 20 języków i może automatycznie zawieszać, blokować i wyciszać potencjalnie agresywnych członków społeczności.

„Rozumiemy złożone wyzwania, przed którymi stają dziś organizacje, które starają się skutecznie moderować społeczności internetowe. W naszym ciągle zmieniającym się cyfrowym świecie istnieje pilna potrzeba rozwiązań moderacyjnych, które mogą zarządzać treściami online w efektywny i skalowalny sposób” – powiedział. „Byliśmy świadkami wpływu, jaki wywarli na Xboksa i cieszymy się, że to przejęcie jeszcze bardziej przyspieszy nasze własne rozwiązania do moderowania treści w grach, w szerokim zakresie usług konsumenckich firmy Microsoft, oraz stworzy większe możliwości dla naszych partnerzy zewnętrzni i obecni klienci Two Hat korzystają z tych rozwiązań”.