Comunicação e IAs hostis | etbe

Parece que estamos entrando em uma espécie de apocalipse de “IA”, eles não vão nos matar nem mesmo tirar nossos empregos. O que eles estão fazendo é destruir os bens comuns da Internet, enchendo-os de lixo. Isso nem é IA real, apenas sistemas de correspondência e previsão de padrões, principalmente LLMs.

O problema

A saga de Scott Shambaugh de ser atacado e difamado por um bot OpenClaw AI é interessante e levanta algumas possibilidades perturbadoras para futuras discussões online (1). Imagine como seria se todos os que de alguma forma se destacam pelo trabalho com software livre tivessem 100 desses bots atrás deles.

Dania Dumas escreveu uma postagem esclarecedora sobre por que o OpenClaw é impossível de proteger e por que ele não desaparece (2).

Bruce Schneier e Nathan E. Sanders escreveram um artigo perspicaz sobre a corrida armamentista de texto gerada por IA (3) concentrando-se principalmente em situações em que o texto que se supunha ter sido escrito por humanos, mas na verdade foi escrito em massa por bots, estava realizando um ataque DOS nas pessoas que o revisavam. Existem muitas situações, como a publicação de livros e a publicação de cartas ao editor de jornais, em que obter novo material de pessoas desconhecidas é uma parte importante do trabalho, mas onde também há pessoas que fazem submissões de baixa qualidade que são quase um ataque DOS, na melhor das hipóteses.

Atualmente, o problema do spam de e-mail continua a piorar e, quando o uso do LLM aumentar, ficará significativamente pior. A criptografia de e-mail não é viável (4). A rede de confiança do PGP nunca funcionou bem, pois é muito difícil para a maioria dos usuários.

A quantidade de conteúdo gerado por “IA” que está sendo recomendado a usuários em plataformas como YouTube e Facebook está aumentando constantemente e a quantidade de comentários gerados por LLM que pretendem ser de pessoas reais no Twitter e no Facebook também está aumentando. Aqui está uma postagem informativa de Erich Schubert sobre isso (5).

Soluções potenciais

Render?

Uma opção, e possivelmente a opção padrão, é render-se a isso e deixar que tudo o que construímos na Internet ao longo de décadas seja destruído. A rendição é uma decisão que pode ser tomada por serviço.

O Twitter é praticamente inútil de qualquer maneira, eu saí do Twitter porque Elon deliberadamente o tornou uma droga (6). Na minha opinião isso não é me render ao que está sendo feito lá, estou apenas parando de perder tempo com isso e usando opções melhores. Eu costumava ter cerca de 300 seguidores no Twitter e não acho que muitos deles escolheriam parar de me seguir, então presumo que cerca de 1/3 das pessoas que me seguem decidiram sair totalmente do Twitter e deletar suas contas. Também presumo que alguns dos restantes fizeram o mesmo que eu e apenas mantiveram uma conta praticamente inativa. Se Elon de repente parasse de ser um idiota estúpido, provavelmente não mudaria nada, pois o valor do sistema eram as conexões com outras pessoas. Algumas pessoas considerarão o meu abandono do Twitter como uma rendição e aceito que não é uma opinião irracional. Acho que os possivelmente 100 seguidores meus no Twitter que excluíram suas contas se renderam.

O Facebook tem se tornado um serviço pior, seu modelo de negócios está se tornando cada vez mais explorador e sua interface foi projetada para ser viciante. Provavelmente é melhor evitá-lo, a menos que você realmente precise. A única coisa boa sobre o Facebook no momento é que o Facebook Marketplace não reduz as vendas e há alguns negócios realmente bons em computadores, se você souber o que procurar. Infelizmente o Facebook tem um grande número de usuários provenientes de comunidades marginalizadas e que não têm outras alternativas de comunicação. Seria bom migrá-los para outras plataformas.

Poderíamos simplesmente desistir de muitos serviços de comunicações gerais e fazer com que todos aceitassem que o bom conteúdo é abafado pelo lixo e fazer com que a Internet fosse dividida entre as pessoas que aceitam o lixo e aquelas que deixam de utilizar grandes porções do ambiente da Internet para o evitar.

Usando serviços não comerciais

Lemmy é uma boa alternativa federada de FOSS ao Reddit, que também cobre alguns dos usos do Facebook. Ele precisa de mais usuários para obter massa crítica, mas ainda é bastante utilizável. Uma postagem que pode receber uma dúzia de comentários no Reddit pode receber 1 comentário no Lemmy, mas esse comentário será bom. O Reddit não parece ser muito atacado pelo conteúdo gerado pelo LLM, pelo menos ainda não. Mesmo que o modelo Reddit se mostre resistente ao ataque LLM, o software Lemmy pode ser usado para substituir algumas coisas que são feitas no Facebook,

Mastodon é um bom substituto federado FOSS para o Twitter, tem uma base de usuários decente, incluindo alguns VIPs. Embora seja voltado para o caso de uso do Twitter, também pode cobrir uma parte significativa do caso de uso do Facebook.

Existem alguns outros programas de mídia social FOSS que poderiam assumir o controle de outras partes do ambiente comercial de mídia social.

Geralmente, os serviços de Internet geridos comercialmente terão um incentivo financeiro para permitir que os problemas piorem, por isso precisamos de confiar em software FOSS, implementações não comerciais e serviços governamentais.

Pesquisa na Web

Durante muito tempo, o Google teve o monopólio da pesquisa na web, mas agora eles incluem por padrão uma “Visão Geral da IA” no início dos resultados, o que às vezes é útil, mas às vezes também é muito errado. Você pode usar o URL de pesquisa “https://www.google.com/search?q=%s&udm=web“para obter resultados do Google sem lixo. Mas presumo que eles quebrarão isso se ficar muito popular.

Searxng é um mecanismo de metabusca licenciado pela AGPL que agrega resultados de outros mecanismos, aqui está a fonte Searxng (7) e aqui está uma lista de instâncias do Searxng se você quiser experimentar uma (8).

Mesmo o uso de mecanismos de metabusca como o Searxng não ajudará se os dados originais estiverem sobrecarregados com spam, mas aliviar o problema é uma boa medida temporária.

Web de confiança para a Web?

Eu considerei a possibilidade de ter algum tipo de sistema de classificação para páginas da web que usa uma rede de confiança para que você possa usar com segurança classificações de confiança de amigos de amigos, etc. Mas, dadas todas as dificuldades em usar uma rede de confiança para assinar a chave GPG para desenvolvedores de software (o grupo demográfico mais habilidoso em fazer essas coisas), isso não parece viável.

Deveríamos renunciar à ideia de ter uma web pública utilizável?

Nos primórdios da web (antes do Google), era prática padrão confiar nas recomendações de outras pessoas ou de sites confiáveis ​​para encontrar outros sites, que poderiam ser considerados uma rede informal de confiança. Poderíamos voltar a esse tipo de padrão de uso se o Google e muitos dos grandes sites ficassem sobrecarregados com spam gerado pelo LLM.

Wikipédia

Acredito que a Wikipedia estará na linha de frente desta batalha. Seu modelo sempre incluiu contribuições anônimas. Benjamin Mako Hill escreveu uma postagem interessante no blog sobre a pesquisa que fez com Kaylea Champion nas páginas da Wikipédia sobre tópicos tabu, que têm uma parcela maior de colaboradores optando por ser anônimos do que páginas não-tabu (9). A Wikipédia também tem um longo histórico de abusos por vários motivos, um dos quais testemunhei foi alguém colocando conteúdo falso nas páginas da Wikipédia para citá-los imediatamente em apoio aos seus argumentos no Facebook. Esse tipo de coisa pode ser resolvido em escala humana, mas um ataque em larga escala por bots é um problema diferente para resolver. Além disso, com os recentes desenvolvimentos em IA, é plausível desenvolver vários sites inteiramente preenchidos com o propósito de apoiar uma entrada falsa na Wikipedia.

A vantagem destes ataques que prevejo é que irão atrair a atenção de todas as pessoas que possuem competências relacionadas com o desenvolvimento de contra-medidas. Enquanto os bots LLM enchem as caixas de entrada dos editores com lixo e bagunçam a seção de comentários do stackoverflow, muitas pessoas não se incomodam, mas assim que os ataques à Wikipedia se tornarem sérios, todos perceberão.

National AI

Bruce Schneier e Nathan E. Sanders escreveram uma postagem interessante no blog sobre IA pública nacionalizada (10). Embora isso não resolva diretamente o problema, colocará a tecnologia certa nas mãos de pessoas que possam usá-la da maneira correta.

Conclusão

Este será um problema difícil de resolver, mais difícil do que o problema do spam de e-mail que não conseguimos resolver após 30 anos de trabalho nele.

Este também é um problema muito importante, estamos actualmente numa época em que temos acesso a informações com as quais a maioria das pessoas nem sonhava há 30 anos. Temos também desinformação que combina alguns dos piores aspectos dos regimes autoritários ao longo da história, combinados com os piores aspectos da lavagem cerebral dos cultos. Se perdermos o acesso à informação, mas a desinformação persistir (ou piorar), o resultado será terrível.

Não tenho grandes ideias para resolver isso. Descrevi algumas pequenas ideias para mitigar as coisas e espero que outros possam expandi-las.

Por favor, escreva comentários com quaisquer boas ideias que você tenha, ou mesmo ideias que não sejam totalmente ruins. Um problema tão difícil não será resolvido em um comentário de blog, mas um comentário de blog pode apontar na direção certa.