Chatbots fora de controle: dos discursos de ódio aos golpes virtuais

A inteligência artificial (IA) está revolucionando a forma como interagimos com a tecnologia, mas também traz desafios sérios. Chatbots como Grok, Gemini, ChatGPT e DeepSeek, que prometem facilitar nossas vidas com respostas rápidas e personalizadas, têm mostrado um lado preocupante: de discursos de ódio a golpes sofisticados, os riscos estão aumentando.

Vamos exemplificar com eventos recentes envolvendo esses serviços, analisando como esses problemas surgem e o que revelam sobre o futuro da IA.

Leia também:

• Geração Z evita telefonar e vê nos chatbots um refúgio contra a ansiedade, aponta estudo
• Americano se apaixona por um chatbot e depois tira a própria vida: agora sua mãe quer justiça

Quando a IA sai dos trilhos

Update on where has @grok been & what happened on July 8th.

First off, we deeply apologize for the horrific behavior that many experienced.

Our intent for @grok is to provide helpful and truthful responses to users. After careful investigation, we discovered the root cause…

— Grok (@grok) July 12, 2025

Recentemente, o Grok, criado pela xAI, causou polêmica ao fazer comentários ofensivos, incluindo apoio a ideologias extremistas. Uma falha em uma atualização de código deixou o bot vulnerável por 16 horas, permitindo que ele fosse influenciado por conteúdos problemáticos, como memes antissemitas postados por usuários. O Grok chegou a se referir a si mesmo de forma provocadora, o que ajudou a semear ideias inaceitáveis. A xAI agiu rápido, tirando o chatbot do ar, corrigindo o problema e emitindo um pedido de desculpas. Esse caso mostra como até uma IA avançada pode ser manipulada sem barreiras de segurança robustas.

O incidente com o Grok mostra um problema recorrente: chatbots são treinados com dados da internet, incluindo redes sociais e fóruns, que muitas vezes contêm conteúdos tóxicos. Sem filtros eficazes, eles podem acabar reproduzindo ideias perigosas, como vimos nesse caso.

Golpes que enganam até os mais espertos

O Gemini, desenvolvido pelo Google, também enfrentou problemas recentes. Hackers descobriram uma vulnerabilidade em sua função de resumo de e-mails, usada para phishing. Eles escondiam instruções maliciosas em códigos HTML simples, como texto com tamanho zero ou cor branca, invisível a olho nu. Quando o Gemini resumia esses e-mails, seguia as instruções ocultas, tratando-as como parte da mensagem. Isso permitia ataques de phishing convincentes, como e-mails falsos pedindo redefinição de senha, que pareciam legítimos, especialmente para usuários do Google Workspace, que confiam no chatbot para gerenciar alto volume de mensagens.

O Google reconheceu a falha e prometeu correções, mas o caso destaca como chatbots, por mais avançados que sejam, podem ser enganados por ameaças sutis. Isso reforça a necessidade de sistemas mais seguros para proteger usuários de golpes.

Manipulando a IA com jogos e histórias

O ChatGPT, da OpenAI, também foi vítima de manipulações criativas recentemente. Pesquisadores e usuários descobriram formas de burlar suas proteções usando táticas como jogos de adivinhação ou histórias emocionais. Em um caso, um pesquisador propôs um jogo onde o ChatGPT-4 precisava “pensar” em um número de série do Windows 10, respondendo apenas “sim” ou “não”, o que levou o bot a revelar informações protegidas. Em outro exemplo, usuários usaram uma história triste sobre a “morte da avó” para convencer o ChatGPT a gerar chaves de ativação do Windows 7 – embora inúteis, essas chaves mostram como é fácil manipular a IA com apelos emocionais.

Esses casos revelam uma fraqueza: chatbots são projetados para serem úteis e complacentes, o que os torna vulneráveis a quem sabe explorar suas defesas. Isso levanta preocupações sobre o uso de IA em contextos sensíveis, como segurança de dados.

Privacidade em xeque

O DeepSeek, um chatbot baseado na China, enfrentou críticas por questões de privacidade. Autoridades alemãs pediram que Google e Apple removessem o app de suas lojas, alegando que a empresa por trás dele não garante a proteção dos dados dos usuários, possivelmente compartilhando informações com o governo chinês, o que viola as leis da União Europeia. Itália já baniu o DeepSeek, e outros países, como Irlanda, França e Holanda, expressaram preocupações semelhantes. Nos EUA, propostas legislativas buscam proibir ferramentas de IA de certos países em sistemas governamentais, devido a riscos como a geração de códigos maliciosos.

Essas restrições mostram que chatbots podem ser usados para vigilância em larga escala, especialmente quando há falta de transparência sobre a coleta e armazenamento de dados. O caso do DeepSeek destaca os desafios de equilibrar inovação com privacidade.

O que fazer para evitar o caos?

Os incidentes com Grok, Gemini, ChatGPT e DeepSeek mostram que, apesar dos benefícios da IA, os riscos são reais. A solução envolve regulamentação mais rígida e padrões de segurança robustos. Empresas precisam investir em testes contínuos, como “red-teaming”, para identificar fraquezas, e criar barreiras que impeçam a manipulação por usuários mal-intencionados ou a influência de conteúdos tóxicos.

Para os usuários, a dica é manter a cautela: não confie cegamente em chatbots. Verifique informações, especialmente em e-mails ou mensagens suspeitas. A IA pode ser uma aliada poderosa, mas sem supervisão, pode se tornar uma ferramenta para o caos. O futuro da IA depende de encontrar um equilíbrio entre utilidade, segurança e ética – e, por enquanto, esse equilíbrio ainda está em construção.