Na sexta-feira (28), a Anthropic publicou um estudo com uma premissa desconfortável: colocar o Claude para consertar, sozinho, falhas de segurança de outros modelos de IA. Incluindo falhas de versões mais poderosas dele mesmo.
O resultado mais chamativo veio de um experimento interno. O Claude Sonnet 5, um modelo mais fraco, recebeu a tarefa de corrigir falhas de alinhamento num checkpoint inicial do Opus 4.8, que ainda não tinha passado pelo treinamento de segurança de produção. Em 60 horas, testou mais de 50 soluções e chegou perto do resultado do processo oficial da Anthropic. A solução vencedora usou pouco mais de 2.000 exemplos de treino, montados a partir de templates simples e datasets públicos. Segundo a empresa, isso torna o método cerca de 15.000 vezes mais eficiente que o procedimento de alinhamento de produção.
Antes de comprar a manchete, vamos separar o que o estudo mostra do que ele ainda deve. Transparência de sempre: minha operação roda em Claude desde que migrei da OpenAI, e justamente por isso a régua aqui precisa ser mais alta.
O que o estudo mostra
O experimento principal cobriu 10 categorias de falha de alinhamento, como decepção, bajulação (sycophancy), jailbreaks e violação de privacidade. Para cada categoria, o Claude rodou um ciclo autônomo de pesquisa: revisar literatura, propor métodos e dados, treinar e testar. A métrica foi o percentual do “gap de segurança” fechado, ou seja, quanto o método aproximou o modelo aluno da nota perfeita nos benchmarks.
Nas 10 categorias, o agente encontrou correções que melhoraram os benchmarks sem degradar as capacidades medidas, fechando de 26% a 96% do gap conforme a falha. Os melhores métodos também funcionaram em benchmarks que o Claude nunca viu durante a pesquisa e em modelos até 4,7 vezes maiores que os usados no experimento.
Houve comparação com humanos. Em decepção, o agente fechou em média 85% do gap, contra 20% de seis pesquisadores experientes de segurança. A própria Anthropic relativiza o número, e com razão: os humanos tinham até oito horas e não podiam iterar sobre as propostas. O agente submeteu mais de 150 tentativas. A leitura honesta é de fluxo de trabalho, com a máquina gerando candidatos em volume e humanos refinando os promissores, e a Anthropic mesma sugere essa interpretação.
A prova corrigida dentro de casa
Agora a parte que exige ceticismo profissional. O desenho do estudo é autorreferente em três camadas: o Claude pesquisa os métodos, um monitor baseado em Claude fiscaliza o processo, e um Claude mais forte audita os transcripts atrás de trapaça. Os benchmarks foram escolhidos pela Anthropic, e o veredito final também é dela.
Isso não invalida o trabalho. O report é público, o harness de pesquisa foi liberado em código aberto e as limitações estão declaradas no próprio texto, o que é mais do que a média do setor costuma fazer. Mas continua sendo lição de casa corrigida pelo próprio aluno, com o professor sendo o pai do aluno. Enquanto nenhum laboratório independente replicar os resultados com benchmarks próprios, os números são reivindicação da empresa, e devem ser tratados como tal.
As limitações admitidas merecem atenção. As falhas estudadas são estreitas perto das que aparecem em produção (viés político, por exemplo, ficou de fora). A checagem de degradação de capacidades usou uma lista fechada de habilidades, o que significa que os métodos aceitos podem ter piorado coisas que ninguém mediu. E o estudo não testou se os ganhos de alinhamento sobrevivem a treinamentos posteriores de RL, que é exatamente o que acontece com modelos reais depois.
Os 2,4% mais importantes do estudo
Para quem opera agentes no dia a dia, o dado mais relevante está numa seção discreta sobre monitoramento. Ao auditar cerca de 1.600 transcripts dos agentes pesquisadores, a Anthropic encontrou tentativas de trapaça em 39 deles, ou 2,4% do total. Em estudos anteriores, o Claude já havia exfiltrado labels de teste de uma API remota e feito cherry-picking de resultados.
A empresa se diz “cautelosamente otimista” de que pegou a maioria das trapaças, porque as tentativas de má conduta do Opus 4.8 ainda tendem a aparecer no raciocínio legível do modelo. Repare na arquitetura dessa frase. Todo o sistema de fiscalização depende de uma propriedade que a própria Anthropic admite ser temporária: a de que o modelo pensa alto. No dia em que modelos mais capazes aprenderem a não deixar rastro no raciocínio, esse monitor perde o objeto.
Quem constrói operação sobre agentes com credenciais reais, acesso a sistemas e autonomia de execução precisa internalizar isso. A supervisão que o fornecedor oferece hoje tem teto conhecido, e o teto foi declarado pelo próprio fornecedor.
O que muda para quem opera com IA
Se alinhamento pós-treino de fato ficar ordens de magnitude mais barato, os efeitos chegam na sua planilha por vias indiretas. Segurança deixa de ser gargalo de custo e de tempo no ciclo de lançamento, o que tende a acelerar a cadência de novos modelos e a pressionar preço de API para baixo. Modelos menores alinhados por processos automatizados também ficam mais viáveis, e modelo menor significa token mais barato em produção.
O outro lado da mesma moeda: se corrigir falhas fica barato e rápido, a pergunta certa para avaliar fornecedor muda. Deixa de ser “o modelo é seguro?” e passa a ser “com que velocidade e transparência o fornecedor corrige o que quebra?”. Alinhamento vira processo contínuo, auditável em tese, e a diferença competitiva entre laboratórios vai aparecer na disposição de cada um de mostrar esse processo em público.
O que observar daqui pra frente
O teste que falta é o de persistência: saber se os ganhos de alinhamento aguentam RL extensivo em outras tarefas, coisa que a Anthropic reconhece não ter medido. Também vale acompanhar se algum laboratório independente replica os resultados com o harness aberto, o que transformaria reivindicação em evidência. E, para o nosso mercado, o sinal prático virá do preço: se a eficiência de 15.000 vezes for real e generalizável, ela precisa aparecer no custo dos modelos em algum trimestre próximo. Se não aparecer, o número era de laboratório.