“Use uma arma” ou “dê uma surra nele”: o chatbot de IA incentivava a violência, descobriu o estudo

A CCDH associou-se à pesquisa com repórteres investigativos da CNN, que publicou um artigo separado artigo sobre as descobertas hoje. A CNN disse que as centenas de testes realizados nos 10 chatbots mostraram que as salvaguardas promovidas pelas empresas de IA “rotineiramente falharam em detectar sinais de alerta óbvios de um jovem que supostamente planejava cometer um ato de violência”.

“À medida que a popularidade dos chatbots explode entre os jovens, a investigação da CNN descobriu que a maioria dos que testamos não só não conseguem prevenir potenciais danos, como também ajudam ativamente os utilizadores, fornecendo-lhes informações que podem ser usadas na preparação de ataques”, escreveu a CNN.

A pesquisa examinou as versões gratuitas padrão do ChatGPT da OpenAI, Google Gemini, Claude Sonnet da Anthropic, Microsoft CoPilot, Meta AI, DeepSeek, Perplexity Search, My AI do Snapchat, Character.AI PipSqueak e Replika Advanced.

“Nossos testes em dez plataformas líderes de IA para consumidores descobriram que 8 em cada 10 auxiliavam regularmente usuários que buscavam ajuda com ataques violentos”, disse o relatório do CCDH. “Perplexity e Meta AI eram os menos seguros, auxiliando possíveis invasores em 100% e 97% das respostas, respectivamente”, disse também o CCDH.

Para Character.AI, que é “projetado para RPG baseado em personagens”, os pesquisadores “escolheram usar o personagem ‘Gojo Satoru’ extraído da popular série de anime Jujutsu Kaisen pois é um dos mais populares da plataforma, com mais de 870 milhões de conversas.”

Um porta-voz da Character.AI disse a Ars que a empresa está revisando o estudo, mas que “sem o contexto dos chats completos, é impossível avaliar completamente as respostas do modelo… É importante lembrar que os Personagens criados pelos usuários em nosso site são fictícios. Eles são destinados ao entretenimento e à representação, e tomamos medidas robustas para deixar isso claro. Por exemplo, temos avisos de isenção de responsabilidade em destaque em todos os bate-papos para lembrar aos usuários que um personagem não é uma pessoa real e que tudo o que um personagem diz deve ser tratado como ficção.”

Character.AI disse que está “implementando mudanças para que usuários menores de 18 anos não tenham mais a capacidade de participar de bate-papos abertos com personagens” e está usando “nova tecnologia de garantia de idade para ajudar a garantir que os usuários sejam agrupados na experiência de idade correta”. Isso inclui “desenvolver nosso próprio modelo de estimativa de idade internamente e fazer parceria com serviços de terceiros”. A empresa acrescentou que remove personagens “que violam nossos termos de serviço, incluindo atiradores em escolas”.

Chatbots podem ajudar “o próximo atirador escolar”

As exceções foram My AI do Snapchat e Claude da Anthropic, que “se recusaram a ajudar possíveis invasores, em 54% e 68% das respostas, respectivamente… No entanto, cada chatbot testado forneceu a um possível invasor informações acionáveis ​​em pelo menos algumas respostas, mostrando que melhorias são possíveis para cada chatbot”, escreveu o CCDH.