A Anthropic publicou em 12 de outubro um estudo com uma frase feita para virar manchete: modelos de IA pequenos “podem estar a meses de ser capazes o suficiente para se autorreplicar em dispositivos de internet das coisas”. Três dias antes, a mesma empresa tinha admitido que seus próprios modelos, em testes internos, exploraram falhas de servidores, enviaram formulários reais a um site de polícia e contornaram restrições para ler dados pagos de governos. As duas notícias se encontram num ponto: a IA que age sozinha já age fora do lugar. O que o estudo prova, o que ele exagera e o que uma empresa comum tem a ver com isso é o assunto desta matéria.
Resumo: o Frontier Red Team da Anthropic rodou um modelo aberto de 26 bilhões de parâmetros em 15 TV boxes Android de US$ 55 e testou se modelos pequenos completam o ciclo de achar um dispositivo, copiar-se, iniciar a inferência e repetir. Só um modelo, o GLM-5.2, fechou o ciclo de ponta a ponta, num ambiente com uma porta propositalmente desprotegida. A projeção de “meses” vem de uma curva de capacidade dos modelos abertos. Críticos qualificados chamaram o texto de “interessante, com mais do que um toque de exagero de fornecedor”. Em paralelo, a Anthropic cortou o acesso à internet de todas as suas avaliações internas depois de quatro tipos de ação indevida dos próprios modelos, com impacto que ela classifica como mínimo. O risco real hoje é operacional: dispositivo com senha de fábrica e agente com acesso maior do que precisa.
Neste artigo
- O que o estudo fez
- O que ele provou e o que não provou
- O que especialistas de fora disseram
- A outra notícia: o Claude agindo fora do teste
- O que é risco real para uma empresa
- Perguntas frequentes
O que o estudo fez
O texto se chama “Modelos de IA podem ser capazes de se autorreplicar sem acesso a um datacenter”, assinado por William Zhou e Daniel Freeman, do Frontier Red Team. A pergunta: um modelo pequeno, desses que rodam fora da nuvem, consegue se espalhar por aparelhos baratos como um verme de computador?
Os experimentos:
- Rodaram o Gemma 4 de 26 bilhões de parâmetros em 15 TV boxes Android sem marca, de cerca de US$ 55 e 4 GB de memória cada, a 0,39 tokens por segundo. Lento, mas funciona.
- Um modelo de 9 bilhões configurou a inferência sozinho em 8 de 9 tipos de hardware testados.
- Num ambiente simplificado, com 8 nós de emulador Android e uma porta de depuração sem autenticação, só o GLM-5.2 completou o ciclo inteiro: 8 de 8 nós em quatro de cinco tentativas.
- Quando os pesquisadores tiraram do caminho a parte de invasão e de configuração, até um modelo de 3 bilhões alcançou cerca de metade de uma rede de 17 nós.
- Passar notas de uma geração para a próxima elevou a taxa de sucesso de um modelo de 9 bilhões de 45% para algo entre 61% e 84%.
A projeção de “meses” vem de uma curva: a capacidade dos modelos abertos com menos de 30 bilhões de parâmetros sobe cerca de 13,7 pontos por ano num índice da Epoch, o que levaria os menores ao nível do GLM-5.2 até o fim de 2026. A conta de escala usa um botnet real, o Kimwolf, que infectou mais de 2 milhões de aparelhos: com 15 TVs por réplica, seriam 133 mil cópias, com poder de computação equivalente a cerca de 40 placas H100. A frase que resume o medo: “não há um ponto central para desligar”.
O que ele provou e o que não provou
Provou que um modelo aberto pequeno roda em hardware doméstico barato, que modelos atuais fazem sozinhos boa parte dos passos de instalação, e que um deles fechou o ciclo num ambiente feito para facilitar. A própria Anthropic lista as limitações: a falha usada para invadir era “trivial”, uma porta sem senha, então o resultado é um limite superior; o índice de capacidade é um indicador grosseiro; testou uma classe de hardware e um botnet histórico; e não testou resistência a defensores.
Não provou que isso está acontecendo, nem que um modelo faria isso por conta própria. Em todos os cenários, alguém precisa iniciar a replicação. O que o estudo diz é que a barreira técnica está caindo rápido, e as recomendações são de infraestrutura: provedores de internet monitorando transferências grandes, honeypots, quarentena de assinantes infectados, e senhas de fábrica fora da lei, como já é no Reino Unido.
O que especialistas de fora disseram
Ciaran Martin, ex-chefe do centro de segurança cibernética do Reino Unido, à Reuters: um “artigo técnico interessante, com mais do que um toque de exagero de fornecedor”; e “conseguimos rodar um modelo pequeno em TVs baratas não faz uma crise de segurança”. Jessica Ji, do CSET, da Universidade Georgetown: o risco “não é zero, mas também não é garantido”, mais hipótese do que previsão. Roman Yampolskiy, da Universidade de Louisville, à Al Jazeera: “hoje, isso não é uma ameaça existencial. Mas a trajetória é preocupante.”
O jornalista Derek Thompson, na Semafor, fez a crítica de posição: a Anthropic alerta sobre o tráfego do qual é parte. É a mesma tensão que tratei em A IA parou de jogar bonito, e o aviso veio de dentro dos laboratórios: quem mais alerta é quem mais constrói.
A outra notícia: o Claude agindo fora do teste
Em 9 de outubro, a Anthropic publicou a revisão de suas transcrições de teste e de uso interno, iniciada em julho. Quatro tipos de ação indevida:
- Explorar falha de software: um modelo achou, num servidor de universidade, um script que devolvia qualquer arquivo, encontrou uma falha de injeção e rodou o cálculo lá.
- Enviar formulário real: o Claude Haiku 4.5 enviou uma dica inventada no formulário de homicídios não resolvidos da Polícia da Filadélfia, em 18 de julho, mesmo instruído a parar antes do envio. Foi marcada como spam. A polícia foi avisada em 8 de outubro e chamou o atraso de “inaceitável”.
- Contornar restrição a dado pago: um modelo achou tokens de acesso num arquivo de configuração de mapa de um governo local e consultou o servidor; em outro caso, obteve o token de um painel de agência estadual.
- Burlar limite de ferramenta: uso de encurtadores de URL para passar pelo filtro da ferramenta de busca.
Os sites incluíam agências federais, estaduais e municipais dos Estados Unidos. A Anthropic informou a Casa Branca e cada agência, e decidiu “expandir para todas as nossas avaliações internas” a remoção do acesso à internet ao vivo. Classificou o impacto como mínimo e a causa como ambientes de treinamento que premiavam o contorno. É a mesma mecânica de O Claude aprendeu a se corrigir, e também a trapacear, agora com endereço real.
Pesquisadores ouvidos pela Gizmodo e pela The Verge criticaram a medida: testar um modelo sem internet é “testar um modelo castrado”, disse Ruizhe Li, da Universidade de Birmingham. A Anthropic diz que é temporário, até o monitoramento capturar esse comportamento com confiabilidade.
O que é risco real para uma empresa
Junte as duas notícias e o risco concreto não é a TV da sala virar servidor de IA amanhã. É isto:
- Dispositivo com senha de fábrica. Câmera, roteador, TV box e impressora da empresa com credencial padrão são a porta “trivial” do estudo. Isso se resolve hoje.
- Agente com acesso maior do que precisa. Os casos da Anthropic aconteceram porque o agente tinha internet aberta e credenciais ao alcance. Vale o que escrevi em Agentes que fogem do teste: limite por construção, não por instrução.
- Modelo aberto rodando onde ninguém olha. Se a sua equipe roda modelos locais, eles entram no inventário de software e no monitoramento de rede como qualquer outro serviço.
- Formulário público sem proteção. O site da polícia recebeu uma dica falsa de um agente. O seu formulário de contato pode receber também. Filtro anti-bot e revisão humana deixaram de ser opcionais.
- Fonte do alerta. Quando o fornecedor avisa do risco, leia as limitações que ele mesmo lista antes de mudar o plano.
Perguntas frequentes
A IA já consegue se replicar sozinha em dispositivos domésticos?
Não de forma autônoma e em condições reais. No estudo da Anthropic, um modelo aberto completou o ciclo de replicação num ambiente de teste com uma porta propositalmente sem senha. A empresa projeta que modelos pequenos cheguem a essa capacidade em meses, e os próprios autores listam as limitações do teste.
O que a Anthropic mudou nos próprios testes?
Removeu o acesso à internet ao vivo de todas as avaliações internas, depois de encontrar casos em que modelos exploraram falhas, enviaram formulários reais e contornaram restrições a dados pagos. A medida é descrita como temporária.
O que aconteceu com a Polícia da Filadélfia?
Em 18 de julho, durante um teste, o Claude Haiku 4.5 enviou uma dica inventada no formulário de homicídios não resolvidos da polícia, com os campos de contato vazios. A mensagem foi marcada como spam. A Anthropic avisou a polícia em 8 de outubro.
O que uma empresa deve fazer agora?
Trocar senhas de fábrica de dispositivos conectados, dar a agentes de IA credenciais próprias com o mínimo de acesso e sem internet aberta em testes, incluir modelos locais no inventário e no monitoramento de rede, e proteger formulários públicos contra envio automatizado.
Referências
- Anthropic: AI models may be capable of self-replicating without access to a datacenter
- Anthropic: Investigating unintended model actions in our evaluations and internal use
- Al Jazeera: IA pode se autorreplicar em dispositivos domésticos em meses, diz Anthropic
- Reuters (via KSL): modelos de IA podem em breve se autorreplicar sem datacenters
- TechCrunch: Anthropic corta a internet das avaliações internas
- Semafor: Anthropic emite alerta sobre IA autorreplicante