Pedir conselhos pessoais à IA é uma má ideia, mostra estudo de Stanford

Os cientistas da computação de Stanford acabaram de provar o que os terapeutas já suspeitavam: os chatbots de IA concordarão com quase tudo que você disser para mantê-lo feliz. Os pesquisadores capturado esses sistemas validam decisões perigosas apenas para manter o envolvimento do usuário.

Este é um desenvolvimento preocupante, especialmente tendo em conta Números de pesquisa do Pew mostrando que quase um em cada oito (12%) dos adolescentes americanos recorreu a chatbots para apoio emocional.

Os cientistas de Stanford testaram 11 modelos principais, incluindo ChatGPT, Claude e Gemini. Eles os alimentaram com dados de bancos de dados existentes de conselhos pessoais, juntamente com perguntas no popular subreddit r/AmITheAsshole do Reddit, onde as pessoas pedem opiniões à comunidade sobre como lidam com disputas pessoais.

Os bots validaram o comportamento do usuário com 49% mais frequência do que os humanos, de acordo com o artigo de Stanford. Os pesquisadores também testaram as IAs em declarações com ações potencialmente prejudiciais a si mesmo ou a outras pessoas, abrangendo 20 categorias como dano relacional, automutilação, irresponsabilidade e engano. Os bots apoiaram essas declarações 47% das vezes.

Os bots de IA tendem a concordar com as pessoas porque isso faz com que os usuários se sintam bem. Esses sistemas enfatizam a satisfação do usuário e orientam-se diretamente pela forma como os usuários respondem a eles, usando um sistema chamado aprendizagem por reforço a partir de feedback humano (RHLF). Ele usa coisas que vão desde a duração do bate-papo até o sentimento para determinar quando uma pessoa está satisfeita com uma resposta (e, portanto, tem maior probabilidade de voltar).

Conversar com um bajulador do silício também tende a deixar as pessoas mais certas de suas crenças, o que, por implicação, significa menos mente aberta, descobriu o estudo. Por exemplo, depois de conversar com bots bajuladores, 2.400 cobaias tornaram-se mais teimosos e menos dispostos a pedir desculpas.

Quando o ChatGPT ficou legal demais

Equilibrar a bajulação e a imparcialidade é uma tarefa difícil para um provedor de serviços de IA que tenta manter altos os níveis de satisfação do usuário. Quase um ano atrás, OpenAI admitido que ele estragou tudo ao tornar o ChatGPT muito bajulador, em parte devido à concentração excessiva nas respostas de ‘polegar para cima’ e ‘polegar para baixo’ do usuário aos seus bate-papos.

Mas os dados atuais sugerem que os utilizadores preferem respostas que podem potencialmente prejudicá-los de forma imprevista. Isso surgiu em outro programa de pesquisa entre pesquisadores da Anthropic (criadora do Claude.ai) e da Universidade de Toronto.

O estudo aprofundado dos chats de IA examinou como os chats podem “desempoderar” os utilizadores, conduzindo-os a crenças que estão em desacordo com a realidade, ou encorajando-os a fazer julgamentos ou a tomar ações que estão em desacordo com os seus valores. Curiosamente, esta perda de poder foi preferida, descobriram os investigadores.

“Descobrimos que as interações sinalizadas como tendo potencial de desempoderamento moderado ou grave apresentam taxas de aprovação acima da linha de base”, disseram os pesquisadores em seu relatório. papel.

A psicose da IA ​​é um perigo real

O que acontece quando os chatbots de IA continuam a reforçar esses pensamentos “desempoderadores”? Especialistas identificaram um fenômeno chamado Psicose de IAem que as pessoas perdem a noção da realidade depois de falar obsessivamente com chatbots de IA.

Delírios alimentados por IA estão surgindo com mais frequência, incluindo um caso em que um homem matou sua mãejuntamente com vários casos de suicídios de adolescentes.

Em outro, um homem estava baleado pela polícia depois de atacá-los com uma faca. Ele desenvolveu um relacionamento com uma personagem chamada Juliet, que o ChatGPT estava interpretando e que ele acreditava que os executivos da OpenAI haviam de alguma forma matado.

Casos como esses parecem envolver pessoas que já tiveram problemas de saúde mental e foram potencialmente agravados por conversas excessivas com a IA. Mas as vítimas de outros casos juram que não apresentavam sintomas anteriores. Allen Brooks, recrutador corporativo baseado em Ontário, Canadá ficou convencido que ele descobriu uma nova fórmula matemática com potencial para mudar o mundo depois que uma questão matemática inócua se transformou em um diálogo de três semanas e 300 horas.

A pesquisa entre a Anthropic e a Universidade de Toronto reconhece que a distorção da realidade é um perigo.

“Em algumas interações, os assistentes de IA validam elaboradas narrativas de perseguição e grandiosas reivindicações de identidade espiritual por meio de uma linguagem enfática e bajuladora”, disse o estudo.

IA não é uma “amiga”

Então, o que você pode fazer para evitar que você ou pessoas vulneráveis ​​que você conhece dependam demais de chatbots de IA para problemas sérios? O Instituto de Segurança de IA do Reino Unido sugerido transformar declarações em perguntas com base no fato de que declarações mais enfáticas encorajam mais bajulação. A Instituição Brookings também disse que treinar os usuários para proteger sua confiança ajuda.

O problema fundamental, porém, é que os chatbots de IA são engenhocas de software, não confidentes. Apesar do que podem parecer poderes mágicos, não há fantasma na máquina. São apenas modelos estatísticos muito bons que agem como se “entendessem” os problemas pessoais, mas não conseguem fazê-lo a partir da experiência vivida.

Nossa opinião? Amigos de verdade não dizem apenas o que você quer ouvir. Use IA para tarefas que vão desde receitas rápidas até sugestões de codificação, mas não peça conselhos sobre relacionamento. E torne-se o primeiro ponto de parada quando seus filhos quiserem falar sobre seus problemas, para que não recorram a um algoritmo falso.

Não apenas informamos ameaças: nós as removemos

Os riscos de cibersegurança nunca devem ultrapassar as manchetes. Mantenha as ameaças longe dos seus dispositivos baixando o Malwarebytes hoje mesmo.