Pesquisador deixa empresa de IA alertando que tecnologia pode matar toda a humanidade até 2030

Um pesquisador da Anthropic que também trabalhou na OpenAI deixou a empresa de inteligência artificial e fez um alerta público sobre os riscos da tecnologia.Jacob Coxon afirmou que pessoas envolvidas no desenvolvimento da tecnologia acreditam, de forma sincera, que sistemas avançados de IA podem levar à extinção da humanidade ainda nesta década - e mesmo diante disso, agem sem a responsabilidade que o tema exige.

Coxon disse ter passado os últimos três anos trabalhando com pesquisa de pré-treinamento, etapa em que modelos de inteligência artificial são preparados a partir de grandes volumes de dados. Em publicação no X, ele criticou a conduta das empresas que lideram a corrida pelo setor.

“Nem uma das duas empresas está agindo com responsabilidade”, escreveu. “Elas estão correndo diretamente em direção à superinteligência capaz de se aprimorar sozinha e apostando com as nossas vidas.”

A chamada superinteligência é uma fase hipotética da IA em que máquinas passariam a superar o desempenho humano em todas as áreas. Um dos principais receios é o chamado problema de alinhamento: a possibilidade de um sistema tão avançado não compartilhar valores, objetivos ou limites estabelecidos por seres humanos.

A manifestação de Coxon recebeu apoio de Evan Hubinger, chefe de Ciência de Alinhamento da Anthropic. Também no X, ele afirmou que o ex-colega estava correto ao apontar o risco.

“Nós realmente acreditamos, sinceramente, que a IA poderia matar todos os humanos. Pessoalmente, acho que a chance é superior a 10% na próxima década”, escreveu Hubinger. “Acredito que a Anthropic está fazendo o melhor que pode, mas ainda não temos um plano para resolver o alinhamento de uma superinteligência e não está claro que estamos no caminho para isso.”

Ele ainda acrescentou: “Para deixar claro, como afirmamos em nosso mais recente Relatório de Risco, acredito que o risco dos modelos atuais é baixo. O que me preocupa é o surgimento de uma superinteligência a partir do autoaperfeiçoamento recursivo, algo que, como já dissemos, está acontecendo mais rápido do que imaginávamos.”

Coxon integra um grupo crescente de especialistas que defende uma desaceleração no desenvolvimento de sistemas de IA de fronteira. Em julho, mais de 1.300 funcionários de empresas do setor assinaram um documento alertando para o “risco real de que o desenvolvimento de capacidades acelere rapidamente além da nossa capacidade de compreender ou controlar os sistemas resultantes”.

A iniciativa, chamada Pacing the Frontier - ou “Ritmo da Fronteira”, em tradução livre - pediu que o governo dos Estados Unidos apoiasse um esforço internacional para criar ferramentas capazes de frear deliberadamente o avanço automatizado da IA.

Na ocasião, a Anthropic declarou que suas pesquisas sobre autoaperfeiçoamento recursivo indicavam a necessidade de instrumentos que permitam controlar o ritmo da evolução da tecnologia, para que a sociedade tenha tempo de se preparar. A OpenAI afirmou que poderá haver um ponto no futuro em que a aceleração dos modelos de fronteira exigirá que o mundo limite a velocidade desse avanço.

O alerta também foi feito pelo alto comissário das Nações Unidas para os Direitos Humanos, Volker Türk. Em discurso em Genebra, na segunda-feira, ele disse compartilhar as preocupações de profissionais da própria indústria e defendeu regras rígidas para reduzir os riscos.

“Compartilho as preocupações de pessoas de dentro da indústria de que a IA avançada possa representar um risco existencial para a humanidade”, afirmou Türk. “Peço aqui, hoje, um esforço total para estabelecer garantias inabaláveis em torno da segurança e da proteção da IA antes que seja tarde demais.”

Segundo o escritório da ONU, os riscos incluem possíveis impactos sobre serviços, comunicações e sistemas democráticos.