Microsoft adquire plataforma de moderação com tecnologia de IA Two Hat

A Microsoft anunciou hoje que adquirido Dois Chapéu, um AIplataforma de moderação de conteúdo, por um valor não revelado. De acordo com Dave McCarthy, vice-presidente de serviços de produtos do Xbox, a compra combinará a tecnologia, recursos de pesquisa, equipes e infraestrutura em nuvem de ambas as empresas para atender aos clientes novos e existentes da Two Hat e “múltiplas experiências de produtos e serviços: na Microsoft.

“Trabalhando com a equipe diversificada e experiente da Two Hat ao longo dos anos, ficou claro que estamos totalmente alinhados com os valores fundamentais inspirados na visão do fundador, Chris c, para fornecer uma abordagem holística para comunidades online positivas e prósperas, ” McCarthy disse em uma postagem no blog. “Nos últimos anos, a Microsoft e a Two Hat trabalharam juntas para implementar tecnologia de moderação proativa em experiências de jogos e não jogos para detectar e remover conteúdo prejudicial antes que ele chegue aos membros de nossas comunidades.”

Moderação

De acordo com Pew Research Center, 4 em cada 10 americanos sofreram pessoalmente alguma forma de assédio online. Além disso, 37% da Internet baseada nos EUA os usuários dizem foram alvo de ataques graves — incluindo assédio sexual e perseguição — com base na sua orientação sexual, religião, raça, etnia, identidade de género ou deficiência. As crianças, em particular, são alvo de abusos online, com um vistoria constatando um aumento de 70% no cyberbullying nas redes sociais e plataformas de jogos durante a pandemia.

Priebe fundou a Two Hat em 2012, quando deixou seu cargo como especialista sênior em segurança de aplicativos na Disney Interactive, divisão de desenvolvimento de jogos da Disney. Ex-desenvolvedor líder da equipe de segurança do Club Penguin, Priebe foi movido pelo desejo de enfrentar os problemas de cyberbullying e assédio nas redes sociais.

Hoje, a Two Hat afirma que sua plataforma de moderação de conteúdo – que combina IA, linguística e “melhores práticas de gerenciamento líderes do setor” – classifica, filtra e escala mais de um trilhão de interações humanas, incluindo mensagens, nomes de usuário, imagens e vídeos por mês. A empresa também trabalha com as autoridades canadenses para treinar a IA para detectar novos materiais de exploração infantil, como conteúdo provavelmente pornográfico.

“Com ênfase em revelar danos online, incluindo cyberbullying, abuso, discurso de ódio, ameaças violentas e exploração infantil, permitimos que clientes em uma variedade de redes sociais em todo o mundo promovam experiências de usuário seguras e saudáveis ​​para todas as idades”, escreve Two Hat. em seu site.

Parceria Microsoft

Vários anos atrás, a Two Hat fez parceria com a equipe Xbox da Microsoft para aplicar sua tecnologia de moderação às comunidades Xbox, Minecraft e MSN. A plataforma da Two Hat permite que os usuários decidam o conteúdo que se sentem confortáveis ​​​​em ver - e o que não são - o que Priebe acredita ser um diferencial importante em comparação com soluções de moderação alimentadas por IA, como Sentropy e Jigsaw Labs' Perspective API.

“Criamos uma das soluções de gerenciamento de comunidade mais adaptáveis, responsivas e abrangentes disponíveis e encontramos maneiras interessantes de combinar a melhor tecnologia com insights exclusivos”, disse Priebe em um comunicado. comunicados à CMVM. “Como resultado, agora estamos encarregados de ajudar nas interações on-line de muitas das maiores comunidades do mundo.”

Vale a pena notar que a moderação semi-automatizada continua sendo um desafio não resolvido. Ano passado, pesquisadores mostraram que o Perceive, uma ferramenta desenvolvida pelo Google e sua subsidiária Jigsaw, frequentemente classificava comentários online escritos no vernáculo afro-americano como tóxicos. Um estudo separado revelou que a gramática incorreta e a ortografia inadequada – como “Eu odeio você, amor”, em vez de “Eu te odeio” – tornam o conteúdo tóxico muito mais difícil de ser detectado pela IA e pelos detectores de máquinas.

Como evidenciado por competições como o Fake News Challenge e o Facebook's Desafio de Memes Hateful, os algoritmos de aprendizado de máquina também ainda lutam para obter uma compreensão holística das palavras no contexto. É revelador que o Facebook admitiu que não foi capaz de treinar um modelo para encontrar novos casos de uma categoria específica de desinformação: notícias enganosas sobre a COVID-19. E o sistema de moderação automatizado do Instagram já desativou os membros negros com 50% mais frequência do que os usuários brancos.

Mas McCarthy expressou confiança no poder do produto Two Hat, que inclui um sistema de reputação do usuário, suporta 20 idiomas e pode suspender, banir e silenciar automaticamente membros potencialmente abusivos das comunidades.

“Compreendemos os desafios complexos que as organizações enfrentam hoje quando se esforçam para moderar eficazmente as comunidades online. No nosso mundo digital em constante mudança, há uma necessidade urgente de soluções de moderação que possam gerir o conteúdo online de uma forma eficaz e escalável”, disse ele. “Testemunhamos o impacto que eles tiveram no Xbox e estamos entusiasmados com o fato de que esta aquisição irá acelerar ainda mais nossas soluções de moderação de conteúdo original em jogos, dentro de uma ampla gama de serviços ao consumidor da Microsoft, e criar maiores oportunidades para nossos parceiros terceirizados e uso dessas soluções pelos clientes existentes da Two Hat.”