Uma IA desonesta levou a um sério incidente de segurança na Meta

Por quase duas horas na semana passada, os funcionários da Meta tiveram acesso não autorizado aos dados da empresa e dos usuários, graças a um agente de IA que deu conselhos técnicos imprecisos a um funcionário, conforme relatado anteriormente por A informação. A porta-voz da Meta, Tracy Clayton, disse em um comunicado ao A beira que “nenhum dado do usuário foi maltratado” durante o incidente.

Um meta-engenheiro estava usando um agente interno de IA, que Clayton descreveu como “de natureza semelhante ao OpenClaw dentro de um ambiente de desenvolvimento seguro”, para analisar uma questão técnica que outro funcionário postou em um fórum interno da empresa. Mas o agente também respondeu publicamente à pergunta de forma independente depois de analisá-la, sem obter aprovação prévia. A resposta deveria ser mostrada apenas ao funcionário que a solicitou, e não divulgada publicamente.

Um funcionário então agiu de acordo com o conselho da IA, que “forneceu informações imprecisas” que levaram a um incidente de segurança de nível “SEV1”, a segunda classificação de gravidade mais alta que o Meta usa. O incidente permitiu temporariamente que os funcionários acessassem dados confidenciais que não estavam autorizados a visualizar, mas o problema já foi resolvido.

De acordo com Clayton, o agente de IA envolvido não tomou nenhuma ação técnica, além de postar conselhos técnicos imprecisos, algo que um humano também poderia ter feito. Um ser humano, no entanto, poderia ter feito mais testes e feito um julgamento mais completo antes de compartilhar as informações – e não está claro se o funcionário que originalmente solicitou a resposta planejava publicá-la.

“O funcionário que interagiu com o sistema estava plenamente consciente de que estava se comunicando com um bot automatizado. Isso foi indicado por um aviso de isenção de responsabilidade anotado no rodapé e pela resposta do próprio funcionário nesse tópico”, comentou Clayton ao A beira. “O agente não tomou nenhuma ação além de responder a uma pergunta. Se o engenheiro que agiu sobre isso soubesse melhor ou tivesse feito outras verificações, isso teria sido evitado.”

No mês passado, um agente de IA da plataforma de código aberto OpenClaw foi mais diretamente desonesto na Meta quando um funcionário pediu que ela classificasse os e-mails em sua caixa de entrada, excluindo-os sem permissão. A ideia por trás de agentes como o OpenClaw é que eles podem agir por conta própria, mas como qualquer outro modelo de IA, eles nem sempre interpretam avisos e instruções corretamente ou dão respostas precisas, um fato que os funcionários da Meta já descobriram duas vezes.