Confiança: o número que diz não sei

Todo sistema automático encontra o caso que não se encaixa. A diferença entre um sistema em que se pode confiar e um que só parece funcionar está no que acontece nesse caso. No Jev, o mecanismo para isso é a confiança: um número de 0 a 1 que vem junto com a resposta e resume o quanto o modelo está dividido.

A documentação tem uma frase que resume a filosofia: se um sistema inteligente, humano ou máquina, não consegue expressar incerteza honesta, não se pode confiar nele.

De onde sai o número

Choice e Score devolvem probabilities: a distribuição completa entre as opções ou os níveis, somando 1. A forma dessa distribuição é o que informa certeza. Concentrada em um resultado, resposta segura. Espalhada, resposta insegura.

O campo confidence comprime essa forma em um número só, para você poder aplicar um limiar sem fazer a conta. E a documentação deixa a porta aberta: a medida oferecida é um padrão conveniente para a maioria dos casos, não uma prisão — a distribuição inteira vem na resposta exatamente para quem precisar de outra medida.

Vale saber ler o que a confiança baixa costuma indicar em cada primitiva:

• Em um Choice, que nenhuma opção venceu com folga. Muitas vezes é sinal de que duas opções se sobrepõem e os critérios precisam separar melhor.
• Em um Score, que os níveis estão ambíguos para aquele caso, que a pergunta está medindo mais de uma coisa ao mesmo tempo, ou que o state não traz informação suficiente.

Onde ela não existe

Noul não tem confidence. E isso não é esquecimento: o valor do Noul já é a probabilidade de a resposta ser sim, então perto de 1 é sim forte, perto de 0 é não forte e perto de 0,5 é indecisão declarada.

Um erro comum é tratar 0,5 como “meio”. Num Noul sobre “o candidato é forte em Python?”, 0,5 não significa habilidade média: significa que o modelo dá chance parecida para sim e não. Quando você quer medir grau, o tipo certo é Score, com níveis descritos. A escolha entre os três tipos tem página própria em qual primitiva usar.

Três faixas, três comportamentos

A documentação sugere partir de três faixas, cada uma com um comportamento diferente no seu código:

Onde ficam as fronteiras depende do que está em jogo. E aqui está o ponto que a documentação repete e que quase todo projeto erra na primeira versão: o limiar não é um número do sistema, é um número por ação.

resposta = cliente.system_one(state=mensagem, questions=PERGUNTAS)
acao = resposta.answers["acao"]

if acao.confidence < 0.5:
    # O modelo está genuinamente em dúvida. Não adivinhe.
    encaminhar_para_humano(mensagem)
elif acao.choice == "ver_saldo":
    # Risco baixo: mostrar a tela errada é reversível.
    mostrar_saldo(conta_id)
elif acao.choice == "aprovar_transferencia":
    if acao.confidence > 0.9:
        confirmar_e_executar(conta_id)
    else:
        # Risco alto com confiança mediana: verificar antes.
        pedir_confirmacao(conta_id)

Leia o que esse código diz sobre o negócio, não sobre o modelo: consultar saldo errado é recuperável, transferência errada não é. O limiar mais alto na segunda ação é a sua política de risco escrita em Python. Esse desenho é o padrão de roteamento por confiança, um dos quatro que a documentação nomeia e que estão reunidos em padrões.

O que vimos em português

Confiança fica abstrata até aparecer num caso real. Nas cinco chamadas que rodamos em 18 de setembro de 2026 contra a API oficial, com seis perguntas por chamada, o modelo jev-1.13.0 respondendo e o tempo medido por quem chamou (rede incluída), dois casos mostram o mecanismo funcionando:

• Elogio espontâneo. A urgência saiu 0,00 de 5 com confiança 1,00. É o tipo de mensagem que um sistema arquiva sem fila e sem revisão.
• Cobrança com ameaça de Procon. A urgência saiu 2,62 de 5 com confiança 0,63. Isto é, o modelo avisou que estava dividido — e um caso desses merece regra própria em vez de automação silenciosa.
• Ironia brasileira. A categoria caiu para “outro” com 79% de probabilidade e confiança 0,72, enquanto o sentimento negativo saiu com 0,98. A confiança apontou onde o desenho da pergunta ainda não cobre bem o nosso jeito de escrever.

Nenhum desses números é benchmark: são cinco chamadas, com método declarado, e servem para mostrar comportamento, não para medir qualidade geral do modelo.

O que a confiança não resolve

Ela não transforma o modelo em oráculo. Confiança alta significa distribuição concentrada, não verdade — e a documentação reforça que a calibração é medida em grupos de previsões, sem garantia individual. Ela também não dispensa registro: guardar probabilidade e confiança junto com a decisão é o que permite auditar depois e, no contexto brasileiro, o que sustenta a revisão prevista no artigo 20 da Lei 13.709/2018.

O caminho recomendado é começar conservador, medir com os seus próprios dados e ajustar. Para entender a classe de modelo por trás disso, vá para o que é um modelo System One; o índice do vocabulário está em conceitos.