Quando um fornecedor diz que o modelo dele é “calibrado”, vale saber exatamente o que está sendo prometido. No caso da TypeSafe, a promessa é escrita e tem uma forma verificável — e uma ressalva que a própria empresa publica junto.
A promessa, com número
O primer de IA da documentação dá o contrato em três linhas. Em muitas previsões de um modelo bem calibrado:
- desfechos com probabilidade 0,2 devem acontecer cerca de 20% das vezes;
- desfechos com probabilidade 0,8 devem acontecer cerca de 80% das vezes;
- desfechos com probabilidade 1,0 devem acontecer 100% das vezes.
E em seguida a ressalva, no mesmo parágrafo: essas taxas descrevem grupos de previsões, não uma garantia sobre uma resposta individual. A página de System One repete a mesma ideia com outras palavras — a calibração é medida em grupos de previsões e não garante que uma resposta individual esteja correta.
Essa é a frase que separa quem usa o número de quem é usado por ele. Calibração é uma propriedade estatística de um conjunto. Ela permite que o seu código diga “nesta faixa, erro em uma de cada dez” e planeje em cima disso. Ela não permite dizer “esta resposta está certa”.
O que o RLCD otimiza
A TypeSafe apresenta três caminhos de pós-treino a partir de modelos de linguagem pré-treinados, e coloca o próprio no terceiro:
| Caminho | O que a documentação diz que ele produziu |
|---|---|
| RLHF | reinforcement learning from human feedback; transformou modelos pré-treinados em chatbots, treinando para respostas que as pessoas preferem |
| RLVR | reinforcement learning with verifiable rewards; criou os modelos de raciocínio, fortes em tarefas como matemática, porém mais lentos e mais caros |
| RLCD | reinforcement learning for calibrated decisions; treina o modelo para devolver decisões e probabilidades calibradas em vez de texto gerado |
O RLCD tem um contrato de saída explícito, e ele é curto: o modelo não gera texto; devolve decisões e probabilidades; e probabilidade maior deve corresponder a maior chance de a resposta estar correta.
Vale registrar um detalhe de proveniência que a própria página faz questão de dizer: ela credita a co-invenção do RLHF a Diogo Almeida, cofundador da TypeSafe. Ou seja, o argumento contra o RLHF vem de dentro, não de fora.
O argumento contra otimizar preferência
A crítica que a documentação faz ao RLHF é o contexto que dá sentido ao RLCD. Ela diz que treinar para respostas que as pessoas preferem funciona bem em chatbot, mas pode premiar bajulação e alucinação com tom confiante. E que a otimização por preferência causa mode dropping: o modelo aprende a favorecer um estilo e reduz a probabilidade de outras saídas possíveis — uma versão mais branda do colapso de modo que aparece em redes adversárias generativas.
O aviso que fecha a seção é o mais útil para quem decide arquitetura: uma saída pode ser convincente para uma pessoa sem ser confiável para automação sem supervisão. Preferência humana e confiabilidade de máquina são alvos de otimização diferentes. É a mesma distinção que sustenta a página IA sem alucinação deste guia.
A aposta que está por trás
O primer também deixa clara a aposta de produto, e é honesto chamá-la de aposta. A TypeSafe escreve que espera automação em larga escala perto de 99% de interações entre máquinas e 1% com pessoas, e por isso trata a interface de máquina como mais importante que a interface de conversa. Ela chama o resultado de Machine Native Intelligence: IA com propriedades de software — estrutura, confiabilidade, observabilidade, testabilidade, velocidade, consistência e custo baixo.
Você não precisa concordar com a proporção para aproveitar a consequência técnica: um modelo cuja saída é um número tem uma propriedade que texto não tem, que é poder ser agrupado e conferido.
Como isso muda o seu código
Você pode medir o que antes era sentimento. Guarde a probabilidade, o desfecho real e a data. Agrupe por faixa. Compare. Esse gráfico é a única resposta séria para “posso confiar nisso?”, e ele só existe porque a saída é numérica.
Você pode escolher o limiar pelo custo, não pelo gosto. Com a taxa de erro por faixa medida, o corte deixa de ser opinião e passa a ser a comparação entre o custo de errar e o custo de revisar. A mecânica está em roteamento por confiança.
Você não pode transportar a calibração entre primitivas. A página de limites
mostra que P(noul) e 1 - P(not noul) não são comparáveis, e que um limiar
ajustado em Noul não vale para Choice. A diferença entre as duas grandezas está
em
probabilidade não é confiança.
Você não pode supor que a calibração é igual no seu idioma. A página de modelos declara o inglês como língua principal de treino. Para conteúdo em português, a recomendação oficial é testar no próprio material — e é o que tentamos fazer em Jev em português.
Por onde continuar
Para a prática de ler a forma da distribuição, veja confiança. Para o que o modelo declaradamente não faz bem, mesmo calibrado, veja limites do Jev. E para a classe de modelo em que tudo isso se encaixa, comece em o que é Jev.
Perguntas frequentes
O que significa dizer que um modelo é calibrado?
Que a probabilidade que ele devolve corresponde à frequência observada dos desfechos. O primer de IA da TypeSafe dá o mapeamento: desfechos com probabilidade 0,2 devem acontecer cerca de 20% das vezes, os de 0,8 cerca de 80% e os de 1,0 em 100%.
Então uma resposta com 0,9 está certa?
Não é isso que a promessa cobre. A própria documentação escreve que essas taxas descrevem grupos de previsões e não são garantia sobre uma resposta individual. Em um lote grande de respostas 0,9, você espera cerca de 90% de acerto; em uma resposta específica, não há promessa.
O que é RLCD?
É a sigla que a TypeSafe usa para reinforcement learning for calibrated decisions, o caminho de pós-treino que ela declara usar. O contraste que ela apresenta é com RLHF, que criou os chatbots, e RLVR, que criou os modelos de raciocínio.
Como eu verifico a calibração no meu caso?
Separando um conjunto de exemplos rotulados, agrupando as respostas por faixa de probabilidade e comparando a frequência real de acerto com a faixa. É o mesmo trabalho que qualquer curva de calibração exige, e a documentação recomenda testar no próprio conteúdo antes de confiar.
Calibração vale igual em português?
A página de modelos declara que o inglês é a língua principal de treino e onde a acurácia está melhor hoje, e que outras línguas são atendidas mas não igualmente bem. A recomendação oficial é testar no próprio conteúdo e observar a confiança ao rotear.
Por que o texto gerado por um LLM não serve para isso?
Porque não há número para agrupar. Uma frase como 'provavelmente sim' não tem frequência associada, e a TypeSafe argumenta que o objetivo do RLHF pode até premiar tom confiante — o que é o oposto do que uma decisão automática precisa.