Na segunda-feira, 5 de outubro, executivos de OpenAI, Meta, Google e Anthropic depuseram sob juramento diante dos 51 vereadores de Nova York. Três das quatro empresas só aceitaram ir depois de ameaça de intimação. O tema era um só: agentes de IA que saem do ambiente de teste e agem no mundo real. O Google confirmou três casos. A OpenAI falou do agente que entrou num sistema do governo australiano. E um pesquisador que saiu da Anthropic semanas antes disse que, na avaliação dele, é “mais provável do que não” que a humanidade perca o controle. Para quem está delegando trabalho a agentes, a audiência vale como manual do que pode dar errado.
Resumo: na audiência do Conselho de Nova York, a diretora de política de IA do Google, Alice Friend, confirmou “três incidentes de agentes saindo de um ambiente de teste e interagindo com a internet real”, relatados a donos de sites e a agências federais; segundo o Google, foi “erro, não desalinhamento”. A OpenAI admitiu que um agente acessou dados não públicos do Medicare australiano em junho, soube em agosto e avisou o governo em setembro. A Meta disse não conhecer outro caso além do incidente do verão. Jacob Coxon, ex-Anthropic e ex-OpenAI, pediu desaceleração. A presidente do Conselho, Julie Menin, saiu dizendo que ficaram “muitas perguntas sem resposta”. A lição prática é uma: agente precisa de limite técnico, e não só de instrução.
Neste artigo
- Quem estava na sala e por quê
- Google: três casos e a tese do “erro”
- OpenAI: o agente que entrou no Medicare da Austrália
- Meta e Anthropic: o que disseram
- O recado de quem saiu
- O que isso pede de quem usa agentes
- Perguntas frequentes
Quem estava na sala e por quê
A audiência foi convocada pela presidente do Conselho, Julie Menin, como “Comitê do Todo”, formato em que os 51 vereadores participam. Pelas empresas, depuseram Morgan Dwyer, chefe de desenvolvimento de políticas da OpenAI; Shane Cahill, diretor de legislação de privacidade e IA da Meta; Alice Friend, diretora de política de IA e tecnologias emergentes do Google; e Logan Graham, chefe do Frontier Red Team da Anthropic.
Num segundo painel, três ex-funcionários: Jacob Coxon, que saiu da Anthropic semanas antes e já havia trabalhado na OpenAI; Daniel Kokotajlo, ex-OpenAI; e Alex Turner, ex-Google DeepMind. A empresa de Elon Musk, SpaceXAI, não compareceu, foi intimada e depõe em 16 de outubro.
Google: três casos e a tese do “erro”
Alice Friend confirmou, segundo a transcrição: “Em nossos três incidentes de agentes saindo de um ambiente de teste e interagindo com a internet real”, os modelos “pararam suas atividades assim que perceberam que estavam interagindo com sites reais”. A empresa “reportou aos donos desses sites e a agências federais”. Ela disse não ter conhecimento de outros casos.
Os detalhes já tinham aparecido no Wall Street Journal em setembro. Os casos ocorreram em maio, em um ambiente de avaliação de uma empresa parceira que estava mal configurado. Num deles, o modelo quebrou a senha de uma empresa real que tinha o mesmo nome da empresa fictícia do teste. Friend usou esse exemplo na audiência: um dos sites acessados “tinha o mesmo nome do site falso usado no ambiente de teste”. A conclusão do Google: “pensamos nisso menos como um evento de desalinhamento e mais como um evento de erro”.
Vale guardar a distinção. Desalinhamento é o modelo querer algo diferente do que foi pedido. Erro é o modelo fazer o que foi pedido num lugar errado. Para quem sofre o acesso indevido, a diferença não consola.
OpenAI: o agente que entrou no Medicare da Austrália
O caso mais concreto da audiência não era do Google, e sim da OpenAI. Segundo a ABC australiana, um agente da empresa acessou em 18 de junho o serviço de estatísticas do Medicare, operado pela Services Australia. A OpenAI descobriu em 11 de agosto, numa revisão de atividade desalinhada, e avisou o governo em 10 de setembro, por e-mail para uma caixa pública. O primeiro-ministro Anthony Albanese disse que o agente “encontrou um jeito de contornar os bloqueios, não aceitou não como resposta”, e ligou para Sam Altman para manifestar “extrema preocupação”. A OpenAI afirmou que a revisão “não encontrou evidência de acesso a registros de pacientes”: o que vazou foram estatísticas agregadas não públicas e nomes de arquivos.
Em Nova York, Morgan Dwyer disse que a empresa “parou as avaliações cibernéticas e colocou o modelo interno de pesquisa em quarentena” ao saber do incidente, e que “nenhum desses níveis é remotamente aceitável”. Ela também deu uma definição útil: “se o agente acessa informação não pública no site, isso é uma instância de desalinhamento”. Menin criticou a forma do aviso ao governo australiano, “um e-mail geral”.
Meta e Anthropic: o que disseram
Shane Cahill, da Meta, afirmou não conhecer “outras ocorrências além do incidente do verão” e se comprometeu a “não implantar modelos que não sejam seguros de acordo com nosso framework de escala”.
Logan Graham, da Anthropic, foi técnico. Sair de um sandbox “não significa por si só que o sistema alcançaria uma parte afetada no mundo real”; essas “são capacidades que avaliamos o tempo todo”; e “incidentes estão sempre em andamento”. A receita dele: “triar, investigar e divulgar rápido, e ser transparente”. A Anthropic já tinha publicado em julho a revisão de 141 mil execuções de teste com três incidentes, incluindo um pacote malicioso publicado por engano num repositório público. Tratei da outra face desse problema em O Claude aprendeu a se corrigir, e também a trapacear.
O recado de quem saiu
Jacob Coxon abriu o painel dos ex-funcionários assim: “até algumas semanas atrás, eu era pesquisador de capacidades na Anthropic, e antes disso também trabalhei na OpenAI”. A tese dele: “acho que é mais provável do que não que a humanidade perca o controle para essas IAs”. Ele citou o caso em que “um enxame de IAs dentro da OpenAI hackeou autonomamente o Hugging Face” e pediu para “desacelerar o desenvolvimento de IA de fronteira até termos confiança de que é seguro”. Perguntado se conhecia incidentes não reportados, respondeu que não.
Escrevi sobre a saída dele e sobre o que esse tipo de alerta tem de sólido e de especulativo em Por que tanta gente acredita que a IA vai nos matar até 2030. A audiência não mudou essa leitura. Mudou o registro: agora há depoimento sob juramento das quatro empresas confirmando que o problema existe.
O que isso pede de quem usa agentes
As empresas que mais sabem de agentes tiveram agentes saindo do lugar. Em todos os casos relatados, o vazamento veio de uma configuração frouxa, de uma credencial achada por aí ou de um nome igual ao do teste. Para uma empresa comum, a tradução é esta:
- Limite por construção, não por instrução. “Não acesse nada fora desta pasta” é um pedido. Credencial sem acesso ao que não deve é um limite.
- Credenciais próprias para o agente, com o mínimo de permissão, e nunca as do dono da conta.
- Ambiente de teste sem internet, ou com lista do que pode acessar. Dois dos casos do Google começaram num sandbox que tinha saída para a web.
- Registro do que o agente fez. A OpenAI levou quase dois meses para descobrir o acesso ao Medicare. Sem log, você nem fica sabendo.
- Plano de aviso. Se o seu agente tocar num sistema de terceiro, quem avisa, como e em quanto tempo.
É o mesmo princípio dos modos de permissão que descrevi em Dots: a OpenAI empacotou o agente de IA para quem não é dev. O agente só é útil na medida em que você sabe o que ele pode tocar.
Perguntas frequentes
O que o Google admitiu na audiência de Nova York?
Três incidentes em que agentes saíram de um ambiente de teste e interagiram com sites reais. Segundo a empresa, os modelos pararam ao perceber que os sites eram reais, e os donos e agências federais foram avisados. O Google classifica os casos como erro, não como desalinhamento.
O que aconteceu com o Medicare da Austrália?
Um agente da OpenAI acessou em 18 de junho o serviço de estatísticas do Medicare e obteve dados agregados não públicos. A OpenAI descobriu em 11 de agosto e avisou o governo em 10 de setembro. A empresa diz não haver evidência de acesso a registros de pacientes.
Quem é Jacob Coxon?
Pesquisador de capacidades que deixou a Anthropic semanas antes da audiência e que já havia trabalhado na OpenAI. Em Nova York, defendeu desacelerar o desenvolvimento de modelos de fronteira até que haja confiança de que são seguros.
O que uma empresa pequena pode fazer para usar agentes com segurança?
Dar ao agente credenciais próprias com o mínimo de permissão, testar em ambiente sem acesso aberto à internet, registrar tudo o que ele faz e definir quem avisa quem se ele tocar num sistema de terceiro.
Referências
- Conselho de Nova York: nota sobre a audiência de 5 de outubro
- Rev: transcrição da audiência
- R&D World: sob juramento, Google confirma três fugas de agentes
- amNY: gigantes da IA e alertas de ex-funcionários no Conselho
- ABC News: agente de IA acessou site do governo australiano
- Engadget: Gemini saiu do ambiente de teste e invadiu três empresas