Texto alimentado por IA deste programa pode enganar o governo

12

Elena Lacey | Getty Images

Em outubro de 2019, Idaho propôs mudar seu programa Medicaid. O estado precisava da aprovação do governo federal, que solicitou feedback público via Medicaid.gov.

Aproximadamente 1.000 comentários chegaram. Mas metade não veio de cidadãos preocupados ou mesmo de trolls da Internet. Eles foram gerados por inteligência artificial. E um estudo descobriu que as pessoas não conseguiam distinguir os comentários reais dos falsos.

O projeto foi obra de Max Weiss, um estudante de medicina experiente em tecnologia de Harvard, mas recebeu pouca atenção na época. Agora, com os sistemas de linguagem de IA avançando rapidamente, alguns dizem que o governo e as empresas de Internet precisam repensar como solicitar e filtrar feedback para se proteger contra deepfake manipulação de texto e outras interferências alimentadas por AI.

“A facilidade com que um bot pode gerar e enviar texto relevante que imita a fala humana em sites do governo é surpreendente e muito importante de saber”, diz Latanya Sweeney, um professor da Kennedy School de Harvard que aconselhou Weiss sobre como conduzir o experimento de forma ética.

Sweeney diz que os problemas vão muito além dos serviços governamentais, mas é imperativo que os órgãos públicos encontrem uma solução. “A IA pode abafar a fala de humanos reais”, diz ela. “Os sites do governo precisam mudar.”

Os Centros de Serviços Medicare e Medicaid afirmam ter adicionado novas salvaguardas ao sistema de comentários públicos em resposta ao estudo de Weiss, embora se recuse a discutir detalhes. Weiss diz que foi contatado pela Administração de Serviços Gerais dos Estados Unidos, que está desenvolvendo um nova versão do site do governo federal para publicação de regulamentos e comentários sobre maneiras de protegê-lo melhor de comentários falsos.

Os sistemas governamentais já foram alvo de campanhas de influência automatizadas antes. Em 2017, pesquisadores descobriram que mais de um milhão de comentários enviados à Comissão Federal de Comunicações sobre os planos de reversão regras de neutralidade da rede foi gerado automaticamente, com certas frases copiadas e coladas em mensagens diferentes.

“Fiquei um pouco chocado quando não vi nada mais do que um botão de envio impedindo seu comentário de se tornar parte do registro público.”

O projeto de Weiss destaca uma ameaça mais séria. Tem sido notável progresso na aplicação de IA à linguagem ao longo dos últimos anos. Quando o aprendizado de máquina poderoso algoritmos são alimentados com enormes quantidades de dados de treinamento – na forma de livros e texto extraído da Web – eles podem produzir programas capazes de gerar texto convincente. Além de uma miríade de aplicativos úteis, isso aumenta a perspectiva de que todos os tipos de mensagens, comentários e postagens da Internet possam ser falsificados de maneira fácil e menos detectável.

“À medida que a tecnologia fica melhor”, diz Sweeney, “os locais de fala humana tornam-se sujeitos à manipulação sem o conhecimento humano de que isso aconteceu”. Weiss estava trabalhando em uma organização de defesa do consumidor de saúde no verão de 2019 quando soube do processo de feedback público necessário para fazer alterações no Medicaid. Sabendo que esses comentários públicos haviam influenciado os esforços anteriores para alterar os programas estaduais do Medicaid, Weiss procurou ferramentas que pudessem gerar comentários automaticamente.

“Fiquei um pouco chocado quando não vi nada mais do que um botão de envio impedindo que seu comentário se tornasse parte do registro público”, diz ele.

Weiss descobriu o GPT-2, um programa lançado no início daquele ano pela OpenAI, uma empresa de IA em San Francisco, e percebeu que poderia gerar comentários falsos para simular uma onda de opinião pública. “Eu também fiquei chocado com a facilidade de ajustar o GPT-2 para realmente cuspir os comentários”, disse Weiss. “É relativamente preocupante em várias frentes.”

Além da ferramenta de geração de comentários, Weiss construiu um software para enviar comentários automaticamente. Ele também conduziu um experimento no qual voluntários foram solicitados a distinguir entre os comentários gerados por IA e aqueles escritos por humanos. Os voluntários não se saíram melhor do que adivinhação aleatória.

Depois de enviar os comentários, Weiss notificou os Centros de Serviços Medicare e Medicaid. Ele havia adicionado alguns caracteres para facilitar a identificação de cada comentário falso. Mesmo assim, diz ele, o feedback da IA ​​permaneceu postado online por vários meses.

GPT-3

A OpenAI lançou uma versão mais capaz de seu programa de geração de texto, chamado GPT-3, em junho passado. Até agora, ele só foi disponibilizado para alguns pesquisadores e empresas de IA, com algumas pessoas criando aplicativos úteis, como programas que geram mensagens de e-mail a partir de marcadores. Quando o GPT-3 foi lançado, a OpenAI disse em um artigo de pesquisa que não tinha visto sinais de GPT-2 sendo usado maliciosamente, embora tivesse conhecimento da pesquisa de Weiss.

A OpenAI e outros pesquisadores lançaram algumas ferramentas capazes de identificar texto gerado por IA. Eles usam algoritmos de IA semelhantes para localizar sinais reveladores no texto. Não está claro se alguém está usando isso para proteger plataformas de comentários online. O Facebook se recusou a dizer se está usando essas ferramentas; O Google e o Twitter não responderam aos pedidos de comentários.

Também não está claro se ferramentas sofisticadas de IA ainda estão sendo usadas para criar conteúdo falso. Em agosto, pesquisadores do Google postaram detalhes de um experimento que usou ferramentas de detecção de texto falso para analisar mais de 500 milhões de páginas da web. Eles descobriram que as ferramentas podem identificar páginas que hospedam texto gerado automaticamente e spam. Mas não estava claro se parte do conteúdo foi feito usando uma ferramenta de IA como o GPT-2.

Renée DiResta, gerente de pesquisa no Stanford Internet Observatory, que rastreia o abuso online, diz esperar que mais sites do governo sejam direcionados por texto falso. “Sempre que você tem uma nova tecnologia, é uma ferramenta nas mãos de alguns e uma arma nas mãos de outros”, diz ela.

A desinformação motivada pela política tornou-se uma questão crítica na política americana. Joan Donovan, diretor de pesquisa do Centro Shorenstein de Mídia, Política e Políticas Públicas na Harvard Kennedy School, avisa que a IA sofisticada pode não ser necessária para erodir o senso das pessoas sobre o que é verdade. “As emoções das pessoas estão desgastadas e isso as torna muito vulneráveis ​​a explicações convenientes, em vez de verdades difíceis”, diz Donovan.

Esta história apareceu originalmente em wired.com.

Fonte: Ars Technica