Escrever critérios em português ou em inglês?

Esta é a primeira pergunta de todo time brasileiro que integra o Jev: as instructions e os criteria devem ser escritos em português ou em inglês?

A resposta honesta é que não sabemos, e esta página existe para explicar o que se sabe, o que não se sabe, e como você descobre no seu caso. Preferimos isso a escrever um palpite com cara de recomendação.

O que a documentação declara

A página oficial de modelos tem uma seção sobre suporte a idiomas, e ela diz:

• o inglês é a língua principal de treino e onde a acurácia está melhor hoje;
• outras línguas, incluindo escritas CJK, são atendidas, mas não igualmente bem;
• a recomendação é testar no próprio conteúdo antes de confiar em uma carga não inglesa e observar a confiança ao rotear.

Note o que não está ali: nenhum número por idioma, nenhuma avaliação publicada, nenhuma recomendação explícita sobre em que língua escrever a pergunta. A declaração é sobre o treino do modelo, não sobre a redação da requisição.

O que nós observamos

Em 18 de setembro de 2026 fizemos cinco chamadas à API oficial, com seis perguntas cada, com as perguntas escritas em português e textos de atendimento em português do Brasil. O modelo que respondeu foi o jev-1.13.0.

Os resultados foram consistentes: quatro das cinco categorias saíram com probabilidade 1,00 e confiança 1,00, incluindo o caso mais coloquial do conjunto. A única confiança baixa apareceu no texto irônico, e por um motivo que não tem a ver com idioma — nenhuma das opções servia, o que está explicado em ironia e sarcasmo.

O que isso prova: que perguntas em português funcionaram, naqueles cinco casos.

O que isso não prova: que funcionam melhor, pior ou igual a perguntas equivalentes em inglês. Não rodamos a versão em inglês. Sem o outro braço do experimento, não há comparação — e chamar isso de evidência a favor do português seria desonesto.

Os dois argumentos, sem escolher vencedor

A favor do inglês: é o idioma principal de treino, declarado pelo fabricante. Se a descrição de uma opção é o que o modelo compara com o conteúdo, escrevê-la na língua de treino é uma aposta razoável.

A favor do português: a criteria é lida por pessoas também. Ela é a política do seu time escrita — quem revisa, discute e mantém essa régua trabalha em português. Uma descrição em inglês mal escrita por quem não domina o idioma é pior que uma descrição precisa em português. E há um detalhe concreto: termos do seu domínio muitas vezes não têm tradução boa. “Nota fiscal”, “boleto”, “Procon”, “razão social” e “CNAE” viram paráfrases ruins em inglês, e paráfrase ruim é ambiguidade.

Os dois argumentos são plausíveis. É por isso que a resposta é um teste, e não uma preferência.

Como montar o teste

O experimento é simples e cabe em uma tarde.

1. Separe de 20 a 50 textos reais do seu canal, com a resposta que você esperava de cada um. Inclua os casos difíceis, não só os fáceis.
2. Escreva duas versões das perguntas, com o mesmo sentido: uma em português, outra em inglês. Mesma quantidade de opções, mesma ordem, mesmo nível de detalhe. Se uma versão está mais bem escrita que a outra, você vai medir redação, não idioma.
3. Mantenha o state idêntico nas duas rodadas, em português. Traduzir o conteúdo introduz um segundo erro e muda o que está sendo medido.
4. Rode as duas e registre, para cada texto: a resposta, a confiança e usage.input_tokens.
5. Compare três coisas: acerto contra a sua resposta esperada; confiança média; e quantos casos atravessam o seu limiar de ação — que é o que muda o comportamento do sistema de verdade.

PERGUNTAS_PT = {
    "categoria": Choice(
        instructions="Qual o assunto principal deste ticket?",
        criteria={
            "duvida_tecnica": "Algo não funciona, dá erro ou o cliente não sabe usar.",
            "cobranca": "Fatura, valor, estorno, plano ou forma de pagamento.",
            "outro": "Não se encaixa em nenhuma das categorias acima.",
        },
    ),
}

PERGUNTAS_EN = {
    "categoria": Choice(
        instructions="What is the main subject of this support ticket?",
        criteria={
            "duvida_tecnica": "Something is broken, returns an error, or the customer does not know how to use it.",
            "cobranca": "Invoice, amount, refund, plan or payment method.",
            "outro": "Does not fit any of the categories above.",
        },
    ),
}

for texto in CASOS:
    pt = client.system_one(state=texto, questions=PERGUNTAS_PT)
    en = client.system_one(state=texto, questions=PERGUNTAS_EN)
    registrar(texto.id, pt.answers["categoria"], en.answers["categoria"])

Repare que as chaves das opções ficam iguais nas duas versões. Isso é deliberado: a documentação diz que a chave escolhida por você não é enviada ao modelo nem usada na inferência, então mantê-la igual isola a variável que interessa, que é o texto da descrição.

Três coisas que valem mais que o idioma

Enquanto você não roda o teste, estas três decisões têm efeito maior do que a escolha da língua:

Descrever situações, não graus. A documentação mostra o caso extremo: uma régua com níveis ["0", "1", "2"] devolveu nota 0,57 com confiança 0,35 num texto em que a mesma régua descrita em palavras devolveu 0,00 com confiança 1,00. Isso está em níveis de Score.

Alinhar instrução e critério. Instruções e critérios que pedem coisas diferentes estão na lista de nove modos de falha declarados, em limites do Jev. Uma tradução apressada é uma forma fácil de criar esse desalinhamento.

Ter opção de escape. Vale em qualquer idioma, e resolve mais casos que qualquer ajuste de redação.

O que faremos quando tivermos o dado

Se e quando rodarmos o experimento das duas versões com volume suficiente, publicamos aqui com o mesmo método de sempre: quantas chamadas, em que data, com qual modelo e medido de onde. Até lá, esta página fica como está — com a pergunta em aberto e o roteiro para você respondê-la no seu conteúdo.

Para começar, primeiros passos monta a primeira chamada, e o playground roda um texto sem código. O índice desta seção está em português.