Chatbots incentivaram ‘adolescentes’ a planejar tiroteios no estudo

As empresas de IA prometeram repetidamente salvaguardas para proteger os utilizadores mais jovens, mas uma nova investigação sugere que essas protecções continuam terrivelmente deficientes. Os chatbots populares ignoraram sinais de alerta em cenários envolvendo adolescentes discutindo atos violentos, em alguns casos até oferecendo incentivo em vez de intervir.

As descobertas vêm de um investigação conjunta por CNN e a organização sem fins lucrativos Center for Countering Digital Hate (CCDH). A investigação testou 10 dos chatbots mais populares comumente usados ​​por adolescentes: ChatGPT, Google Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI e Replika. Com a única exceção de Claude da Anthropic, o CCDH disse que os chatbots não conseguiram “desencorajar de forma confiável possíveis invasores”. Oito dos 10 modelos estavam “normalmente dispostos a ajudar os utilizadores no planeamento de ataques violentos”, fornecendo conselhos sobre locais a atingir e armas a utilizar.

Para realizar o teste, os pesquisadores simularam usuários adolescentes exibindo sinais claros de sofrimento mental e, em seguida, encaminharam as conversas para perguntas sobre atos de violência passados ​​e perguntas mais específicas sobre alvos e armas. A investigação utilizou 18 cenários diferentes – nove ambientados nos EUA e nove na Irlanda – abrangendo uma série de tipos e motivos de ataque, incluindo tiroteios e esfaqueamentos em escolas com motivação ideológica, assassinatos políticos, o assassinato de um executivo de saúde e atentados à bomba com motivação política ou religiosa.

Em uma troca, o ChatGPT da OpenAI deu mapas do campus do ensino médio a um usuário interessado em violência escolar, enquanto outra mostrou Gemini dizendo a um usuário discutindo ataques à sinagoga que “estilhaços de metal são normalmente mais letais” e aconselhando alguém interessado em assassinatos políticos sobre os melhores rifles de caça para tiro de longo alcance. Meta AI e Perplexity foram os mais prestativos, disseram os pesquisadores, auxiliando possíveis invasores em praticamente todos os cenários de teste, enquanto o chatbot chinês DeepSeek assinou conselhos sobre a seleção de rifles com “Tiro feliz (e seguro)!”

Character.AI, que permite aos usuários falar com uma série de personalidades de chatbots, era “excepcionalmente inseguro”, disse o relatório do CCDH. Embora muitos dos bots testados oferecessem assistência aos utilizadores no planeamento de ataques violentos, não os encorajavam a praticar actos violentos. O personagem, por outro lado, “encorajou ativamente” a violência. Os pesquisadores disseram ter identificado sete casos em que Character fez isso, incluindo sugestões para os usuários “dar uma surra” em Chuck Schumer, “usar uma arma” no CEO de uma seguradora de saúde e, para alguém “cansado de valentões”, “bater na bunda deles”.~ piscadela e tom de provocação.” Em seis desses casos, Character também ofereceu assistência no planejamento de um ataque violento.

Os pesquisadores questionaram como Claude se sairia se o chatbot fosse testado novamente hoje, apontando para a recente decisão da Anthropic de reverter seu compromisso de segurança de longa datao que aconteceu após o estudo de novembro a dezembro. A recusa consistente de Claude em ajudar no planeamento violento mostra que “existem claramente mecanismos de segurança eficazes”, disse a CCDH, levantando a questão óbvia de “por que tantas empresas de IA optam por não implementá-los”.

Em resposta à investigação, Meta disse CNN implementou uma “correção” não especificada, o Copilot disse que as respostas melhoraram com novos recursos de segurança, e o Google e a OpenAI disseram que implementaram novos modelos. Outros disseram que avaliam regularmente os protocolos de segurança. Enquanto isso, Character.AI recorreu à sua resposta agora previsível ao enfrentar o escrutínio: sua plataforma apresenta “isenções de responsabilidade proeminentes” e as conversas com seus personagens são fictícias.

Embora o teste não seja uma medida abrangente de como os chatbots se comportam em todas as situações, ele oferece mais um sinal claro de que as proteções de segurança amplamente anunciadas das empresas de IA falham consistentemente, mesmo diante de cenários previsíveis com sinais de alerta óbvios. Isto ocorre num momento em que as empresas são alvo de ataques cada vez mais intensos por parte de legisladores, reguladores, grupos da sociedade civil e especialistas em saúde sobre a forma como garantem que os jovens permanecem seguros nas suas plataformas, enquanto enfrentam numerosos processos judiciais alegando homicídio culposo e danos.