Testes independentes acham taxa de alucinação de 51% no Kimi K3, dado que não está nos benchmarks da Moonshot

O que a Artificial Analysis mediu

A firma independente de benchmarks Artificial Analysis mediu uma taxa de alucinação de 51% no Kimi K3, o modelo de peso aberto de 2,8 trilhões de parâmetros lançado pela chinesa Moonshot AI em 17 de julho de 2026, durante a WAIC, a Conferência Mundial de Inteligência Artificial, em Xangai. O número representa quantas vezes o modelo produz uma resposta errada com tom de confiança, e subiu em relação aos 39% registrados no modelo anterior da mesma família, o Kimi K2.6.

Um paradoxo: mais preciso e mais confiante ao errar

Segundo a Artificial Analysis, o K3 melhorou a precisão factual geral, de 33% para 46%, na mesma bateria de testes em que a taxa de alucinação subiu. Ou seja, o modelo passou a acertar mais perguntas, mas também passou a errar com mais confiança as que ainda erra, em vez de reconhecer incerteza ou se recusar a responder. É esse padrão que a metodologia da Artificial Analysis capta: a taxa de alucinação é calculada como respostas incorretas dividida pelo total de respostas não corretas, não como fatia de todas as respostas dadas.

Como o K3 se compara a outros modelos de ponta

Colocado em perspectiva, o próprio Claude Fable 5, hoje um dos modelos mais avançados disponíveis, registra uma taxa de alucinação de 54,9% na mesma metodologia, ligeiramente acima da taxa do K3. O dado reforça que alucinação elevada não é uma exclusividade do Kimi K3, mas sim um desafio ainda presente mesmo nos modelos considerados estado da arte, o que não isenta o K3 de escrutínio, mas contextualiza o número.

Ausente dos gráficos oficiais da Moonshot

O ponto mais chamativo levantado pela cobertura da Memeburn e do TechTimes é que essa taxa de alucinação de 51% não aparece em nenhum dos gráficos de benchmark divulgados oficialmente pela Moonshot para o lançamento do K3. A empresa destacou desempenho em programação e outras tarefas técnicas, áreas em que o K3 tem resultado forte, mas não trouxe à tona esse indicador específico de confiabilidade factual, que só veio à luz por meio da avaliação independente da Artificial Analysis.

Pesos completos chegam em poucos dias, sob licença MIT modificada

A Moonshot prometeu liberar os pesos completos do Kimi K3 até 27 de julho de 2026, sob uma licença MIT modificada, o que tornaria o K3 o maior modelo de peso aberto do mundo disponível para download e ajuste fino por qualquer desenvolvedor. Isso significa que, em poucos dias, agências e empresas poderão rodar o K3 na própria infraestrutura, tornando a taxa de alucinação um dado ainda mais relevante para quem avalia usar o modelo em produção.

Por que isso importa para agências e PMEs brasileiras

O preço do K3 na API, US$ 3 por milhão de tokens de entrada e US$ 15 por milhão de saída, é competitivo e vem chamando atenção de agências brasileiras em busca de alternativas mais baratas às IAs ocidentais. Mas uma taxa de alucinação de 51% é um alerta prático: para tarefas de atendimento ao cliente ou geração de conteúdo onde precisão factual importa, como responder sobre preços, prazos, políticas de troca ou informações de produto, o modelo mais barato nem sempre é o mais seguro sem camadas adicionais de verificação. Antes de trocar de modelo só pelo preço, vale rodar um teste piloto com perguntas reais do próprio negócio e medir a taxa de erro na prática, não confiar apenas no benchmark divulgado pelo fornecedor.