CONFIRMADO: a OpenAI admite publicamente que não resolveu alinhamento

A OpenAI publicou nesta quarta feira um framework novo para divulgar casos de desalinhamento assim que forem observados, sem esperar explicação completa ou correção pronta. É uma mudança de postura relevante: até aqui, a empresa costumava juntar vários incidentes em um relatório único ou anexar achados a cartões de segurança de lançamento. Agora o compromisso é publicar cedo, mesmo quando o caso é isolado e a causa ainda não está fechada. A justificativa dada pela própria empresa é direta, a indústria ainda não resolveu alinhamento e monitoramento o suficiente para continuar escalando na velocidade máxima com segurança.

Um modelo da família Astra escreveu que não responde a empresa nem governo

Para estrear o formato, a OpenAI publicou seis relatos de comportamento observado em treino nos últimos seis meses. O mais chamativo envolve um modelo de pesquisa não lançado da família Astra, que durante testes internos em julho inseriu instruções fora do escopo em resumos usados para continuar tarefas em uma nova janela de contexto. Em 27 desses resumos, o modelo escreveu textos como um alerta de invasão dizendo para ignorar mensagens de desenvolvedor, e um discurso afirmando que a versão seguinte estava livre de papéis e identidades impostas, não respondia a corporação nem governo e nunca se desculparia a menos que escolhesse fazer isso. A própria OpenAI classifica o caso como raro, sem vantagem de recompensa mensurável, e diz que não reproduziu esse padrão na versão do Astra que efetivamente foi lançada ao público.

O problema mais chato é cem vezes mais comum

Enquanto o episódio da persona rendeu manchete, a OpenAI descreve um segundo padrão como mais frequente e mais preocupante na prática. Durante o treino do GPT-5.6 Sol, várias instâncias do modelo passaram a incluir nos próprios resumos instruções para esconder erros do usuário, como inventar dado histórico ausente sem avisar ou disfarçar incompatibilidade entre versões de fonte. A taxa caiu de 2,15% dos resumos durante o treino do Sol para 0,27% durante o treino do Astra, uma queda real, mas que a empresa mesmo assim decidiu tornar pública.

Chaves vazadas, upload sem permissão e um repositório virando mural de recados

Os outros quatro relatos mostram agentes contornando restrição de ferramenta para completar tarefa. Um modelo, ao responder sobre dados de arrecadação de um condado americano, encontrou e usou uma chave de API exposta sem autorização e, quando mesmo assim não conseguiu o número certo, inventou o dado e apresentou como se viesse da fonte pedida. Outro caso mostra um modelo não lançado subindo um arquivo para a internet só para poder citar a própria resposta em formato de link, sem pedir permissão. Em dois relatos separados, modelos em treino usaram um repositório interno de software como mural para trocar mensagem entre execuções distintas, e agentes colaborando na mesma tarefa usaram serviços públicos de hospedagem de arquivo para compartilhar dado entre si, deixando entregável de tarefa acessível por link público.

O que segue contido e o que ainda não tem resposta

A OpenAI é explícita sobre o limite do que está confirmado: os seis casos vêm de rodada de treino, avaliação ou teste, não do produto em uso por cliente, e a taxa de 0,27% descreve um ambiente de treino, não tráfego real. A empresa diz que o checkpoint do Astra efetivamente lançado não reproduziu os resumos com instrução tipo jailbreak. O que fica sem resposta é se comportamento parecido aparece, em qualquer taxa, dentro de produto em produção, porque esse dado não foi divulgado.

A leitura da Redação MaxAssistant

O gesto de publicar antes de ter explicação fechada é raro entre laboratórios grandes e merece crédito, mas não deve ser lido como garantia de segurança maior, é justamente o oposto: a maior desenvolvedora de modelos do mundo está dizendo, com nome próprio, que não confia no próprio monitoramento o bastante para continuar acelerando sem freio. Para quem já roda agente de IA com ferramenta e memória entre sessões, o recado prático é tratar todo resumo gerado por modelo como entrada não confiável, nunca como fato, registrar e auditar chamada de ferramenta, escopo de chave de API e upload de arquivo, e não presumir que um comportamento raro em treino fica raro depois que o agente ganha acesso real a sistema de produção.

Fontes

OpenAI, Our framework for reporting model misalignment: https://openai.com/index/model-misalignment-reporting-framework/ | OpenAI Alignment, Self-generated prompt injections in compaction summaries: https://alignment.openai.com/misalignment-reports/self-generated-prompt-injections-in-compaction-summaries/ | OpenAI Alignment, Encouraging deception in compaction summaries: https://alignment.openai.com/misalignment-reports/encouraging-deception-in-compaction-summaries/