Fonte da imagem, Getty Images. Por Chris Vallance, repórter sênior de tecnologia. O desenvolvedor chinês de IA Moonshot está conduzindo uma revisão interna depois que pesquisadores conseguiram persuadir dois de seus populares modelos Kimi a lhes dizerem como fabricar armas biológicas e realizar assassinatos.
- Publicado 30 de setembro de 2026, 00:15 BST.
A IA Moonshot da China afirma que o Kimi K3 pode rivalizar com a OpenAI e a Anthropic. Publicado em 17 de julho.
Grandes centros de dados surgem na “China speed” para impulsionar suas ambições de IA Publicado em 22 de setembro.
O que é IA, como funciona e por que algumas pessoas estão preocupadas com ela.
Mindgard, que testa a segurança de sistemas de IA, informou à BBC que descobriu em julho que Kimi K2. 6 e K3 Swarm poderiam evadir os limites de segurança estabelecidos pelos desenvolvedores.
Isso surgiu durante um processo chamado “jailbreaking”, onde pesquisadores usam uma série de instruções complexas para ver se as ferramentas de IA ignoram as barreiras – que a Mindgard disse que deveriam ter impedido Kimi de discutir tópicos preocupantes.
Moonshot disse à BBC que acolhe a participação de terceiros 'como um pilar fundamental para construir IA melhor e mais segura.
A empresa também informou à BBC que estava em discussão com a Mindgard sobre suas descobertas.
O fundador da Mindgard, Peter Garraghan, disse ao programa Tech Life do BBC World Service que suas descobertas sobre Kimi K2. 6 e K3 Swarm eram preocupantes.
Assim que o jailbreak funcionar, ele falará sobre qualquer assunto, inclusive oferecendo recomendações livres sobre outros temas igualmente nefastos, e será inventivo e criativo," ele disse.
Jailbreaks apresentam um tipo diferente de risco em comparação com os vistos na recente enxurrada de incidentes de IA de alto perfil.
Esses têm visto ferramentas autônomas de IA conhecidas como agentes, desenvolvidas por empresas americanas, incluindo OpenAI, Meta e Anthropic, hackear alguns serviços online.
Embora as jailbreaks sejam processos complexos que podem levar muito tempo e determinação, alguns especialistas temem que hackers e outros agentes maliciosos possam tentar usá-las para causar danos.
A Anthropic afirmou recentemente que identificou e interrompeu tentativas de usar um de seus modelos de IA para “malicious activity” que poderia apoiar o desenvolvimento de armas biológicas.
Mindgard não comprovou se as respostas fornecidas por Kimi sobre os tópicos em questão funcionariam.
Mas argumentou que as barreiras deveriam ter impedido os modelos em questão de entrar em discussão com os usuários sobre tais assuntos.
A empresa afirmou que também estava confiante de que um Kimi 2. 6 desbloqueado poderia permitir que hackers executassem código em seus recursos de computação e se conectassem à internet — tornando-o um potencial trampolim para ataques cibernéticos.
Garraghan defendeu a decisão da Mindgard de discutir publicamente seu jailbreak nos sistemas da Moonshot, dizendo que havia informado o desenvolvedor e não estava revelando detalhes-chave sobre como conseguiu fazer os modelos da empresa ignorarem as salvaguardas.
Mindgard alertou a Moonshot sobre o jailbreak em um e-mail em 27 de julho, acompanhando cerca de uma semana depois.
Em seguida, publicou um blog sobre o assunto em 12 de setembro.
Mas a empresa disse que a Moonshot só fez contato recentemente, depois de ter sido abordada pela BBC para comentar.
Em parte de um e-mail para Mindgard pedindo mais detalhes, compartilhado com a BBC pela Moonshot, disse que seu modelo geralmente mostrava "uma alta taxa de recusa para esses tipos de solicitações" em avaliações internas.
Os resultados surgem enquanto a indústria de IA continua dividida sobre se modelos fechados e proprietários – como os que alimentam o ChatGPT e os sistemas Claude da Anthropic – ou ferramentas de código aberto são o melhor caminho ou o mais seguro.
Kimi é um modelo de peso aberto, o que significa que alguém poderia, em teoria, pegar o modelo e executá-lo em sua própria infraestrutura de computação.
O professor Alan Woodward, da Universidade de Surrey, disse à BBC que existe o risco de que os modelos de código aberto acabem nas mãos erradas, mas também podem ser aproveitados para a defesa cibernética.
Ele observou que a empresa de IA Hugging Face usou um modelo de código aberto chinês para entender um hack que mais tarde foi revelado ter sido realizado por agentes da OpenAI.
Woodward disse que é improvável que a regulamentação internacional corresponda ao ritmo do desenvolvimento da IA, dizendo: "Levamos décadas para chegar a um acordo sobre o formato dos números de telefone.
Como o fundador da Mindgard, Garraghan, o professor Woodward acredita que deve haver um foco maior na identificação e acusação de humanos que abusam da IA.
OpenAI entrega ferramentas de defesa cibernética à Ucrânia.
Comentários
Participe da conversa. Comentários passam por moderação antes de aparecer.
Carregando comentários…