Roblox lança reformulação de chat de IA em tempo real para filtrar linguagem banida

Roblox está introduzindo um recurso de reformulação de bate-papo em tempo real com tecnologia de IA que substitui automaticamente palavras proibidas por uma linguagem mais respeitosa, disse a empresa anunciado na quinta-feira.

O novo recurso vai além do filtro de texto atual do Roblox, que simplesmente substitui palavras e frases proibidas pelo símbolo “#”. Mas Roblox diz que quando os usuários encontram sequências de “####”, as conversas podem ser interrompidas e difíceis de acompanhar.

Agora, em vez de simplesmente exibir marcas de hash, o texto filtrado será reformulado em uma linguagem mais respeitosa e próxima da intenção original do usuário.

Por exemplo, uma mensagem que diz “Depressa, TF!” anteriormente teria aparecido como “####”, mas agora será reformulado para “Depressa!” Todos no bate-papo são notificados de que a mensagem foi reformulada para manter a conversa civilizada, diz Roblox.

“O bate-papo é fundamental para como as pessoas se conectam, coordenam e jogam no Roblox”, disse Rajiv Bhatia, vice-presidente de usuário e produto de descoberta da Roblox, em um Comunicado de imprensa. “A reformulação da frase em tempo real ajuda a manter o jogo e as conversas no caminho certo, ao mesmo tempo que orienta a linguagem para o que é apropriado. Essa abordagem reduz o atrito no bate-papo, ao mesmo tempo que mantém os padrões que ajudam a manter nossa comunidade civilizada.”

Roblox observa que, embora a reformulação reduza algumas das interrupções no bate-papo, seu sistema de segurança permanece em vigor para comportamentos mais sérios.

O novo recurso é compatível com todos os idiomas disponíveis atualmente por meio das ferramentas de tradução automática do Roblox.

A empresa também está atualizando o sistema de filtragem de texto para detectar mais variações de idiomas proibidos. Roblox diz que os primeiros resultados mostram que o sistema está melhorando na detecção leetspeake tentativas mais sofisticadas de contornar filtros. Isso permitiu à empresa reduzir em 20 vezes a prevalência de falsos negativos ao compartilhar ou solicitar informações pessoais.

O anúncio de quinta-feira ocorre logo depois que Roblox introduziu a verificação facial obrigatória para acesso a bate-papos em sua plataforma, após uma onda de ações judiciais sobre segurança infantil por parte dos procuradores-gerais do Texas, Kentuckye Louisiana, entre outros. As ações foram ajuizadas em resposta a relatórios que Roblox estava expondo usuários jovens a riscos perigosos, como aliciamento e conteúdo explícito.