Revisão humana no lugar certo do circuito

“A gente coloca revisão humana” é uma das frases mais tranquilizadoras e menos informativas de um projeto com IA. Ela não diz qual caso vai para a pessoa, o que a pessoa vê, quanto tempo tem, o que acontece se ela discordar e o que fica registrado no fim.

Este padrão é sobre transformar a frase em desenho. E sobre um ponto que fica invisível quando a revisão é tratada como detalhe operacional: a faixa de revisão é uma decisão de arquitetura, tomada antes do código.

Ele é leitura nossa. A documentação oficial nomeia quatro padrões, e este não está entre eles. Ele sai da página de confiança e dos dois cookbooks de autoconsistência, onde a incerteza virando fila humana aparece com números.

A faixa, antes da fila

A página oficial de confiança propõe três comportamentos: agir automaticamente, seguir com cautela e não agir. O padrão começa exatamente aí — decidir, para cada ação do sistema, onde essas três faixas caem.

Os cookbooks oficiais mostram duas formas de recortar:

Com Noul, uma banda central. O cookbook de autoconsistência com Noul avalia um sinistro de seguro em JSON contra uma régua de 14 perguntas. A aplicação devolve não abaixo de 0,30, incerto de 0,30 a 0,70 inclusive e sim acima de 0,70. O incerto vai para uma pessoa. Não há segunda chamada nem pergunta nova: é lógica de aplicação sobre a probabilidade que já voltou.

Com Choice, um piso na maior probabilidade. O cookbook de autoconsistência com Choice avalia um post no limite da regra de moderação com 8 perguntas, e devolve incerto quando a maior probabilidade fica abaixo de 0,60, escolhendo o rótulo do topo exatamente em 0,60.

As duas receitas dizem a mesma coisa sobre os números: são ilustrações, não garantias calibradas nem limiares otimizados, e os cortes de produção saem de exemplos rotulados e do custo de decidir errado comparado ao custo de revisar.

Por que a banda existe

Com um corte único em 0,5, as probabilidades 0,49 e 0,51 produzem ações opostas enquanto expressam praticamente a mesma dúvida. A banda absorve essa flutuação sem emitir ações automáticas contrárias.

O cookbook é honesto sobre o limite do próprio remédio: um valor perto da borda ainda pode pular entre incerto e sim; o modelo não fica mais determinístico por causa da banda; e uma decisão automática que passou da banda não foi demonstrada correta. Isso não enfraquece o desenho, calibra a expectativa.

O experimento também dá uma noção de volume. Com a regra de 0,60 sobre as 8 perguntas de moderação, o Jev devolveu incerto em 25,8% das respostas e agiu sozinho nos outros 74,2%, com 99,2% de concordância de decisão entre 15 repetições e nenhuma pergunta com ações concretas conflitantes. O próprio cookbook anota que isso mede repetibilidade, não acurácia.

O que o padrão obriga a arquitetura a ter

Um destino real, com capacidade conhecida. Se 25% dos casos podem cair na fila, alguém precisa ter dito que a fila aguenta 25%. Faixa de incerteza sem capacidade é backlog.

O contexto da decisão na tela do revisor. O revisor precisa ver o state, a pergunta, a distribuição e a ação proposta. Sem isso, ele refaz o trabalho do zero e a revisão perde a vantagem de custo.

Registro da distribuição junto com a decisão. Aqui entra o motivo brasileiro. O artigo 20 da Lei 13.709/2018 dá ao titular o direito de solicitar revisão de decisões tomadas unicamente por tratamento automatizado que afetem seus interesses. Este site não dá orientação jurídica e não inventa obrigação nenhuma além do que a lei diz. O que a arquitetura consegue fazer é guardar as probabilidades e a confiança junto da ação, para que uma revisão posterior tenha material.

Um caminho de volta. A discordância do revisor é dado. Guardar a decisão humana ao lado da distribuição do modelo é o que permite recalibrar o corte depois — e é o insumo de qualquer melhoria de pergunta.

Faixa por ação, não por sistema. A ação irreversível merece faixa de revisão mais larga que a reversível, pela mesma lógica de roteamento por confiança.

Quando não usar

Quando a ação é trivialmente reversível e de alto volume. Se desfazer custa um clique e o erro não machuca ninguém, revisão humana é despesa que só atrasa. Meça o erro por amostragem e siga automático.

Quando a revisão não muda nada. Se o revisor não tem poder para reverter a decisão, a fila é teatro de controle. Pior: cria a impressão de supervisão sem a supervisão.

Quando a faixa foi desenhada para esconder pergunta ruim. Confiança baixa generalizada é sintoma. Antes de alargar a banda, releia as opções com critérios que separam e verifique se o state não está grande demais, como descrito em context rot.

Quando o revisor vê menos que o modelo. Se a pessoa recebe só o resumo e o modelo recebeu o documento inteiro, a revisão é um palpite com autoridade.

Por onde continuar

Para a leitura de probabilidade versus confiança que sustenta a escolha da banda, veja probabilidade não é confiança. Para a versão da mesma ideia aplicada a pares de registros, a receita de alinhar entidades usa um Score cujos três níveis são exatamente juntar, deixar separado ou mandar para curador. O índice dos padrões está em padrões.