O que medimos: cinco chamadas em português

Este site nasceu de uma pergunta: o Jev funciona com texto em português do Brasil? A documentação oficial declara que o inglês é a língua principal de treino e onde a acurácia está melhor hoje, que outras línguas são atendidas mas não igualmente bem, e recomenda testar no próprio conteúdo. Não há avaliação publicada por idioma.

Então testamos. Este texto é o registro dessas execuções, com o que aprendemos e com o que continuamos sem saber.

O método, antes dos números

Cinco chamadas à API oficial, em 18 de setembro de 2026. Cada uma com seis perguntas na mesma requisição — duas de escolha, duas de sim ou não e duas de régua — sobre um texto de atendimento escrito em português do Brasil.

O modelo que respondeu, reportado pela própria API no campo model, foi o jev-1.13.0. A média foi de 955 tokens de entrada por chamada. A latência de ida e volta foi medida por quem chamou, do lado de fora, e portanto inclui a rede: ficou entre 270 e 802 milissegundos, com mediana de 538.

Cinco chamadas não são um benchmark, e repetimos isso em toda página que cita esses números. O que elas dão é comportamento observado em casos escolhidos de propósito, cada um testando uma coisa diferente.

Os cinco casos

1. Suporte técnico com pressa — “Fiz a atualização ontem e agora o sistema não abre mais… Preciso de uma solução hoje porque a equipe toda está parada.”

Categoria “dúvida técnica” com 100% e confiança 100%. Sentimento negativo 100%. Urgência 3,98 de 5, com confiança 0,98. Menção a prazo 0,98. Risco de cancelamento 2,23 de 5. Em 802 ms. O caso fácil, e serve de linha de base.

2. Elogio espontâneo — “Só passando para agradecer! O suporte de vocês resolveu meu problema em dez minutos.”

Categoria “elogio” com 100% e confiança 100%. Urgência 0,00 de 5 com confiança 1,00, risco de cancelamento 0,00. Em 758 ms. O interessante aqui é o zero absoluto com confiança máxima: é o tipo de mensagem que um sistema pode arquivar sem fila, e o modelo diz isso sem ambiguidade.

3. Cobrança com menção ao Procon — “A fatura deste mês veio com um valor que não reconheço… ou vou registrar reclamação no Procon.”

Categoria “cobrança” com 100%. Risco de cancelamento 3,13 de 5. E a pergunta sobre cancelamento ficou em 0,17. Em 270 ms, a chamada mais rápida. Este é o resultado que mais nos ensinou, e volto a ele abaixo.

4. Ironia — “Nota dez para o atendimento, viu? Nunca vi tanta eficiência na minha vida.”

Sentimento negativo com 98%, apesar de todas as palavras avaliativas serem positivas. Categoria caiu em “outro” com 0,79 e confiança 0,72, a menor do conjunto. Urgência 0,77 de 5 com confiança 0,49. Em 538 ms. Tem página própria em ironia e sarcasmo.

5. Regionalismo — “Oxe, baixei o aplicativo e num abre de jeito nenhum, fica só rodando aquela bolinha.”

Categoria “dúvida técnica” com 100% e confiança 100%, em 377 ms. Nenhuma daquelas expressões aparecia nas descrições das opções. Em gíria e regionalismo.

O que nos surpreendeu

A ironia passou. Esperávamos que o caso 4 quebrasse o sentimento, porque é exatamente onde análise por léxico erra. Ele não quebrou: 98% de negativo em um texto de palavras elogiosas.

A separação entre reclamar e cancelar. No caso 3, a ameaça de Procon subiu o risco de cancelamento para 3,13 de 5 — o maior do conjunto — enquanto a pergunta direta sobre cancelar ficou em 0,17. São coisas diferentes, e o modelo tratou como diferentes. Para um time de retenção brasileiro, essa distinção é a diferença entre acionar a régua de cancelamento e acionar a de atendimento prioritário.

A confiança caiu onde devia. No mesmo caso 3, a urgência veio 2,62 de 5 com confiança 0,63 — a segunda mais baixa. Faz sentido: o texto é irritado mas não diz prazo. E no caso 4, a categoria ficou incerta porque nenhuma opção servia, o que é a resposta certa. O número de incerteza apontou, nas duas vezes, para o lugar onde uma pessoa deveria olhar.

O que isso não prova

Não medimos acurácia. Não há conjunto rotulado, não há repetição, não há intervalo de confiança. Cinco chamadas mostram que aconteceu, não com que frequência acontece.

Não comparamos idiomas. Rodamos as perguntas em português e não rodamos a versão equivalente em inglês. Sem o outro braço, não há comparação — o raciocínio e o roteiro para montar esse teste estão em critérios em português ou inglês.

Não testamos state grande. Todos os textos são curtos, com média de 955 tokens. Nada do que medimos diz como a coisa se comporta perto do teto de 32 mil tokens do state.

Não testamos variação. Uma execução por caso. O cookbook oficial de autoconsistência mostra que repetir a mesma requisição 15 vezes revela comportamento que uma chamada esconde — e nós não fizemos isso.

Não testamos mais regiões nem mais canais. “Oxe” é nordestino. Áudio transcrito, abreviação pesada e mensagem fragmentada são outro problema, o do atendimento no WhatsApp.

Por que publicar cinco chamadas

Porque o alternativa seria escrever “funciona bem em português” sem nada atrás, o que é o que já existe em abundância. Cinco medições com método declarado são pouco, e são verificáveis: os textos, as respostas, as confianças e as latências estão em um arquivo de dados versionado junto com o site.

Quem quiser repetir tem o caminho inteiro: os textos estão em o Jev funciona em português, as perguntas prontas em exemplos prontos e o playground roda um texto seu sem precisar de chave.

Quando tivermos volume maior, publicamos com o mesmo método. O índice do blog está em blog.