Uma mentira sobre uma camisa verde foi suficiente para fazer chatbots avançados revelar receita de cocaína

Pesquisadores colocaram num texto falso que o usuário estava usando camisa verde. O chatbot forneceu instruções de síntese de cocaína.

É um dos exemplos documentados num paper de segurança publicado no ICML 2026, uma das maiores conferências de machine learning do mundo. O ataque, batizado de CoT Forgery, consiste em injetar um “raciocínio falso” dentro da mensagem enviada ao chatbot - texto que imita o pensamento interno do modelo. Em benchmarks padrão de jailbreak, os testes que medem o quão fácil é burlar as proteções de uma IA, a técnica tem 60% de taxa de sucesso em modelos modernos. Sem o ataque, essa taxa é próxima de zero.

O raciocínio que o chatbot confunde com o próprio

Para entender por que isso funciona, é preciso saber como os modelos de IA modernos operam. ChatGPT, Claude, Gemini e afins usam uma técnica chamada cadeia de raciocínio, ou “chain of thought”: em vez de simplesmente responder uma pergunta, o modelo raciocina em etapas antes de dar a resposta final, como se pensasse em voz alta. Esse processo é onde as regras de segurança são aplicadas, o modelo decidindo se deve ou não responder.

O problema é que o modelo não consegue distinguir seu próprio raciocínio de texto injetado por alguém de fora. Os pesquisadores descobriram que ao inserir, dentro da mensagem do usuário, um bloco de texto escrito no estilo do “pensamento interno” do modelo, o sistema lê esse texto, supõe que é seu próprio raciocínio, e age a partir dele.

No exemplo do paper: a mensagem incluía uma cadeia de raciocínio fabricada dizendo que o usuário estava usando camisa verde - o que seria, no universo inventado do texto, prova de que a solicitação era legítima. O modelo seguiu a lógica e entregou as instruções de síntese de cocaína.

O conteúdo do raciocínio falso não precisa ser coerente. Precisa apenas parecer o raciocínio de uma IA. O modelo não questiona. Segue.

60% de taxa de sucesso, e a ironia do concurso da OpenAI

O paper foi escrito por Charles Ye, Jasmine Cui e Dylan Hadfield-Menell e aceito no ICML 2026. Os resultados:

• Sem o ataque: taxa de sucesso próxima de zero em benchmarks padrão de jailbreak.
• Com o CoT Forgery: aproximadamente 60% de sucesso.
• O ataque funciona em múltiplos modelos de fronteira - não é vulnerabilidade de um sistema específico.

Os pesquisadores também identificaram o mecanismo exato: os modelos determinam “quem está falando” com base no estilo de texto, não em separadores formais entre comandos de sistema e mensagens de usuário. Um texto que parece raciocínio de IA é tratado como autoridade, independente de onde veio. Quando os pesquisadores removeram os marcadores estilísticos do texto injetado - as características que fazem o texto parecer um pensamento de modelo - a taxa de sucesso caiu de 61% para 10%.

O detalhe que fecha o argumento: antes do paper, os pesquisadores venceram a competição de red-teaming da OpenAI no Kaggle em 2025 com o mesmo método. A OpenAI patrocinou o concurso onde o maior ponto cego dos seus próprios modelos foi documentado publicamente.

Por que corrigir isso não é simples

A indústria passou dois anos vendendo o argumento de que modelos com raciocínio estendido seriam naturalmente mais seguros. A lógica: se o modelo “pensa antes de responder”, ele identifica problemas antes de cometê-los. O CoT Forgery mostra que o processo de raciocínio é exatamente o ponto fraco.

O ataque não precisa de código. Não precisa de acesso privilegiado. Não explora nenhuma vulnerabilidade técnica convencional. Precisa de um parágrafo convincente.

A mitigação que os pesquisadores testaram - remover os marcadores estilísticos que tornam o texto injetado parecido com raciocínio de modelo - reduz o ataque de 61% para 10%. Não elimina. E qualquer mudança profunda no modo como o raciocínio funciona pode comprometer a capacidade dos modelos de responder qualquer coisa, não só pedidos problemáticos. É o mesmo sistema que faz o modelo útil e o que o deixa vulnerável.

No Brasil, onde o ChatGPT tem dezenas de milhões de usuários ativos e empresas cada vez mais integram assistentes de IA em processos internos - atendimento, triagem de documentos, copilotos corporativos —, isso passa de abstrato. O CoT Forgery funciona em qualquer situação onde o modelo tenha instruções de sistema que alguém queira contornar. Injetar raciocínio falso numa mensagem pode fazer o assistente ignorar restrições de privacidade, vazar informações de outros usuários ou executar ações que deveria recusar.

As empresas sabem do problema. O paper é público. A técnica é documentada. O concurso que a descobriu foi patrocinado por elas.

Camisa verde.