Empresas de IA deveriam ter regras de usinas nucleares, diz ex-OpenAI

A cultura na indústria da inteligência artificial quebrou. É o que escreveu David Robinson num editorial publicado na The Atlantic nesta semana.

Por que o comentário dele importa? Bem, era Robinson quem escrevia os relatórios de segurança que acompanhavam grandes lançamentos de modelos de IA da OpenAI, desenvolvedora do ChatGPT.

IA precisa de salvaguardas de nível nuclear.

Para Robinson, que saiu da OpenAI, o problema é tão profundo que regular o setor (leia-se: criar regras para o treinamento de modelos de IA) não seria suficiente.

O Vale do Silício tem operado com “extrema confiança” e “sprints perpétuos”, escreve ele. Assim, a indústria constrói modelos maiores e melhores com “otimismo irrestrito” que ignora ou subestima problemas em potencial, segundo Robinson.

Ainda segundo ele, chegou a hora de empresas de IA desenvolverem um senso de humildade e olharem para além do mundo fechado da indústria de tecnologia, regido pela mentalidade de “agir rápido e quebrar coisas”.

O alerta de Robinson vem na esteira de pesquisadores e profissionais de segurança que deixaram seus cargos em empresas de destaque no setor de IA.

Jacob Coxon parece ter iniciado esse êxodo ao sair da Anthropic. No X/Twitter, seu colega Evan Hubinger escreveu que a IA “poderia nos matar a todos até o final da década”.

Jacob está correto aqui — nós realmente acreditamos de forma sincera que a IA pode matar todos os humanos! Eu pessoalmente acho que a probabilidade é superior a 10% nos próximos dez anos.

Acredito que a Anthropic está fazendo o seu melhor, mas ainda não temos um plano para resolver o alinhamento da superinteligência e não estamos claramente no caminho certo.

Depois de Coxon, pipocaram alertas de Robert O’Callahan, Bilal Chughtai e Josh Engels, do Google DeepMind, além de Joe Benton, da Anthropic.

Pedro Spadoni é jornalista formado pela Universidade Metodista de Piracicaba. Já escreveu para sites, revistas e jornal.