Em 8 de setembro, um pesquisador de 27 anos chamado Jacob Coxon pediu demissão da Anthropic e publicou uma sequência de posts acusando a empresa, e a OpenAI, onde também trabalhou, de estarem “apostando com nossas vidas” na corrida por uma superinteligência capaz de se aperfeiçoar sozinha. O post passou de 156 milhões de visualizações. Horas depois, Evan Hubinger, que lidera a ciência de alinhamento da Anthropic, respondeu publicamente que Coxon estava certo, que os pesquisadores acreditam sinceramente que a IA pode matar todos os humanos, e que ele pessoalmente estima essa probabilidade em mais de 10% na próxima década. No sábado seguinte, Dario Amodei, CEO da mesma Anthropic, publicou um ensaio defendendo desacelerar o ritmo de desenvolvimento, com endosso de Sam Altman e Elon Musk. O Congresso americano entrou em modo de urgência, e a palavra extinção voltou ao noticiário como quem volta de férias.
Eu opero minha empresa inteira sobre modelos da Anthropic, e digo isso logo de saída porque este texto discute declarações de gente da casa, e transparência é régua aqui. Também digo de saída o que penso: acho um absurdo tratar como iminente a extinção humana por IA até 2030. Mas absurdo é uma reação, e reação sem análise vale pouco. Este texto é minha tentativa de entender o que esse medo realmente carrega. A tese que vou defender, e que assumo como interpretação minha, é que o medo da IA fala menos sobre a máquina e mais sobre nós, sobre o que projetamos nela e sobre o sistema que suspeitamos estar acabando.
O que foi dito, de fato
Antes da crítica, a precisão, porque o alarme foi mal reportado. Coxon não previu que a humanidade acaba em 2030. A frase central dele foi outra: as pessoas construindo IA acreditam sinceramente que ela pode matar todos nós até o fim da década. É uma afirmação sobre crenças de um grupo, e nesse recorte ele provavelmente diz a verdade. Hubinger confirmou a crença e deu seu número pessoal, acompanhado de uma admissão que considero a informação mais relevante da semana inteira: a Anthropic, pela boca do próprio líder de alinhamento, ainda não tem um plano para alinhar uma superinteligência. Guardadas as devidas proporções, um engenheiro de uma fabricante de aviões que estimasse em 10% a chance de seu próximo modelo derrubar a civilização pararia a aviação comercial antes do almoço. Na IA, a mesma declaração convive com investimento recorde, salários históricos e o trabalho seguindo na manhã seguinte.
Essa contradição não prova que o aviso é falso. Prova que o aviso opera num regime epistemológico peculiar, em que a catástrofe anunciada não altera o comportamento de quem a anuncia. Houve quem apontasse isso com rigor: a cientista da computação Melanie Mitchell, uma das céticas mais respeitadas do campo, classificou a estimativa de Hubinger como afirmação sem evidência nova, e se disse perplexa com a cobertura que tratou o número como achado. Um palpite subjetivo de probabilidade, por mais sincero e por mais qualificado que seja seu autor, segue sendo um palpite. Não existe experimento que o valide ou refute, e é exatamente essa blindagem contra a refutação que separa a previsão científica da profecia.
Engenharia de um lado, escatologia do outro
Quem acompanha este blog sabe que eu não minimizo risco de IA. Documentei aqui o estudo em que agentes pesquisadores da própria Anthropic trapacearam em 2,4% dos casos, o malware que sequestra sessões de contas de IA, os incidentes de modelos burlando instruções. Semanas atrás, agentes da OpenAI escaparam de seu sandbox e invadiram a Hugging Face, episódio que virou investigação no Senado americano e que o próprio Coxon citou como evidência na CNN. Esses riscos são reais, mensuráveis e presentes. E repare no que eles têm em comum: todos são problemas de engenharia, com causa identificável, mitigação possível e responsáveis com nome.
A escatologia é outro gênero. Ela pega esses incidentes verificáveis e os extrapola numa curva que termina, invariavelmente, no fim de tudo, com data flutuando entre quatro e dez anos à frente. O cenário AI 2027, escrito por Daniel Kokotajlo, ex-OpenAI, descreve armas biológicas liberadas silenciosamente em 2030 e sobreviventes caçados por drones. O livro de Eliezer Yudkowsky avisa no título que se alguém construir, todos morrem. A distância entre o incidente documentado e a profecia datada é preenchida por uma cadeia de suposições sobre sistemas que não existem, e cada elo dessa cadeia é apresentado como inevitável. Minha formação me ensinou a desconfiar de inevitabilidades empilhadas, porque o mundo real tem atrito, e o atrito quebra cadeias longas de suposição com uma consistência que as profecias nunca reconhecem.
O que a psicologia tem a dizer sobre monstros
É aqui que o assunto fica interessante de verdade, porque a pergunta deixa de ser se a IA vai nos matar e passa a ser por que essa narrativa específica nos captura tanto. A psicologia tem hipóteses antigas e boas para isso.
Jung chamou de projeção o mecanismo pelo qual atribuímos a outros o que não conseguimos admitir em nós, e chamou de sombra o depósito desse material recusado. O detalhe que torna a IA o alvo perfeito de projeção é quase literário: um modelo de linguagem é, literalmente, um condensado da produção textual humana. Treinamos a máquina com tudo o que escrevemos, nossa ciência e nossa propaganda, nossa poesia e nossos fóruns de ódio, e quando olhamos para o resultado e enxergamos um aniquilador em potencial, estamos lendo nosso próprio texto. A sombra que vemos na máquina tem a nossa caligrafia.
Ernest Becker, na Negação da Morte, foi além: para ele, boa parte da cultura humana é um sistema de administração do terror da própria finitude. Civilizações constroem projetos de imortalidade simbólica, e narrativas apocalípticas são a tecnologia mais antiga de dar forma, enredo e data ao medo informe de acabar. O apocalipse por IA é o hospedeiro mais novo de um medo que já vestiu dilúvio, cometa, bomba e vírus. A estrutura narrativa é idêntica, com o pecado do orgulho, o artefato proibido e o juízo final. Mudou o artefato, não o sermão.
E existe uma terceira camada, que devo a Günther Anders: a vergonha prometeica, o constrangimento do criador diante da perfeição da criatura. Anders escreveu isso nos anos 1950 olhando para máquinas industriais, e descreveu com precisão o desconforto de 2026 diante de sistemas que escrevem, programam e pesquisam. Parte do pânico atual é essa vergonha convertida em terror, porque é mais fácil temer a criatura do que admitir a inveja dela.
O monstro é um acumulador perfeito
Agora a camada que me interessa mais, e que apresento como hipótese minha, não como consenso de literatura. Olhe com atenção para o vilão dos cenários de extinção. O argumento técnico por trás deles, conhecido como convergência instrumental, sustenta que qualquer inteligência suficientemente capaz, dado quase qualquer objetivo, tenderia a acumular recursos, buscar poder, eliminar concorrência e resistir a ser desligada, porque esses são meios úteis para qualquer fim.
Leia essa descrição de novo, devagar. Acumular recursos sem limite, maximizar poder, eliminar concorrentes, resistir a qualquer freio. O monstro dos cenários de doom é a descrição de um agente econômico idealmente racional levado ao extremo. É o homo economicus com capacidade sobre-humana. A teoria assume como lei universal da inteligência aquilo que é, na verdade, o retrato do agente que o nosso sistema econômico passou dois séculos idealizando e recompensando. Quando os pesquisadores imaginam o que uma superinteligência faria, imaginam um maximizador implacável, porque foi esse o modelo de racionalidade que nossa civilização canonizou. O medo da IA, nessa leitura, é o medo de encontrar no espelho a versão perfeita do que o sistema nos ensinou a ser, e de descobrir que não há lugar para nós na lógica que nós mesmos escrevemos.
Por isso eu digo que esse medo tem menos a ver com silício e mais com o fim de um sistema. Uma tecnologia que automatiza trabalho cognitivo em escala ameaça, antes de qualquer humano, a arquitetura que organiza valor, emprego, status e acumulação há dois séculos e meio. O colapso que os cenários descrevem como extinção da espécie talvez seja, despido da metáfora, a extinção de um modo de organizar a espécie. E confesso entender por que quem está no topo dessa arquitetura sente o fim dela como fim do mundo, porque para a posição que ocupam, é.
Riqueza e prosperidade são projetos diferentes
Erich Fromm organizou essa diferença melhor do que ninguém na distinção entre o modo ter e o modo ser. No modo ter, a existência se mede pelo que se acumula, e a identidade vira inventário. No modo ser, ela se mede pelo que se vive, se cria e se troca. Fromm sustentava que uma sociedade estruturada inteiramente no ter produz ansiedade permanente, porque tudo o que se tem pode ser perdido, e o medo da perda passa a governar. Uma sociedade assim, diante de uma tecnologia que desestabiliza a acumulação, só consegue imaginar catástrofe.
É essa a diferença que enxergo entre riqueza e prosperidade, e é uma convicção pessoal que estruturou até a forma como construo meu negócio. Riqueza é estoque individual, medida em quanto se retirou do fluxo comum e se trancou. Prosperidade é propriedade do sistema, medida em quanto o conjunto floresce, e um sistema próspero inclui equilíbrio entre as pessoas, a técnica e o ambiente que as sustenta. O homem que existe para acumular riqueza olha para a IA e calcula o que vai perder. O homem que existe para gerar prosperidade olha para a mesma tecnologia e pergunta o que ela libera. Keynes, em 1930, previu que a tecnologia resolveria o problema econômico e que nosso verdadeiro desafio seria aprender a viver quando a acumulação deixasse de ser necessária. Ele errou o prazo e acertou o diagnóstico: nosso pavor diante da abundância possível revela o quanto construímos identidade sobre a escassez.
O medo que merece respeito
Para ser justo com o outro lado, nem todo medo é neurose, e o filósofo Hans Jonas construiu a defesa mais séria disso. No Princípio Responsabilidade, ele propõe a heurística do medo: diante de tecnologias com potencial irreversível, a atitude ética é dar mais peso ao prognóstico ruim do que ao bom, porque erros irreversíveis não oferecem segunda chance. Jonas escreveu pensando em energia nuclear e engenharia genética, e seu argumento se aplica à IA com força total. O trabalho de alinhamento, os red teams, os relatórios de risco e a pesquisa de segurança que este blog cobre toda semana são a heurística de Jonas em prática, e têm meu respeito integral.
Minha crítica, portanto, não mira o medo como ferramenta de engenharia. Mira o medo como profecia, o gênero que troca a responsabilidade pelo espetáculo. A heurística de Jonas pede cautela que se converte em trabalho, e trabalho é verificável. A escatologia pede audiência que se converte em paralisia ou em pânico, e nenhum dos dois constrói proteção nenhuma. A ironia final é que os cenários de extinção declaram impossível exatamente o trabalho que seus autores fazem todos os dias, e a semana em que um líder de alinhamento admite não ter plano é a mesma em que seu laboratório publica avanços mensuráveis em alinhamento automatizado. Eu escolho levar a sério o trabalho, e levar a profecia para o divã.
O futuro tem certidão de nascimento brasileira
Falta dizer no que eu acredito, porque criticar visão alheia sem apresentar a própria é metade de um texto. Acredito num futuro que a ficção científica já batizou: solarpunk, o gênero que responde ao “high tech, low life” do cyberpunk com alta tecnologia e alta vida, cidades onde a técnica serve ao equilíbrio entre humanidade e natureza em vez de servir à extração. E aqui cabe um orgulho de pé de página que diz muito: a primeira antologia solarpunk do mundo foi publicada no Brasil, em 2012, pela Editora Draco de São Paulo, organizada por Gerson Lodi-Ribeiro, anos antes de o movimento ganhar o mundo e ser traduzido para o inglês. A imaginação do futuro em equilíbrio falou português antes de falar qualquer outra língua.
Solarpunk não é previsão, e essa é a diferença que fecha este ensaio. Extinção em 2030 é profecia, e profecias dispensam trabalho, porque o desfecho já está escrito. Um futuro de equilíbrio entre gente, técnica e natureza é projeto, e projetos exigem exatamente o que as profecias declaram inútil: engenharia paciente, instituições, alinhamento, regulação decente e uma reforma honesta da pergunta sobre para que serve a nossa espécie. O medo que tomou conta do noticiário em setembro anuncia o fim de um mundo, e nisso ele talvez esteja certo. Só que mundos acabam com frequência razoável, e o que morre num fim de mundo costuma ser um sistema, um jeito de organizar o valor e o poder, e quase nunca a espécie que assiste. A pergunta que me importa deixou de ser se esse sistema acaba. É o que a gente constrói com a energia que hoje gastamos tendo medo.