“Oxe, baixei o aplicativo e num abre de jeito nenhum, fica só rodando aquela bolinha. Meu celular é simples mas os outros apps abrem tudo direitinho. Dá uma força aí, por favor.”
Essa é uma mensagem de suporte plausível em qualquer canal brasileiro. Ela tem interjeição regional, negação coloquial, um substantivo inventado para o indicador de carregamento e um pedido de ajuda informal. É exatamente o tipo de texto que costuma quebrar classificador treinado em inglês.
Mandamos para o Jev.
O resultado
| Pergunta | Resposta | Confiança |
|---|---|---|
| Categoria | Dúvida técnica, probabilidade 1,00 | 1,00 |
| Sentimento | Negativo, 100% | — |
| Urgência | 2,38 de 5 | 0,70 |
| Risco de cancelamento | 2,08 de 5 | — |
| Menciona prazo | 0,14 | — |
A chamada levou 377 milissegundos de ida e volta, medidos por quem chamou e incluindo a rede.
Método, porque número sem método não vale nada: uma chamada, feita em 18 de
setembro de 2026 contra a API oficial, com seis perguntas na mesma requisição.
O modelo que respondeu, reportado pela própria API, foi o jev-1.13.0. Faz
parte de um conjunto de cinco chamadas, com média de 955 tokens de entrada. Os
cinco casos completos estão em
o Jev funciona em português.
O detalhe que importa
Nenhuma das expressões do texto aparecia nas descrições das opções. O
criteria da categoria dizia coisas como “algo não funciona, dá erro ou o
cliente não sabe usar um recurso” — nada sobre “oxe”, “num abre” ou “bolinha”.
Ou seja: o modelo não casou palavra-chave. Ele leu a situação descrita e a
colocou na categoria cuja descrição correspondia. Isso é o comportamento que
a documentação promete ao dizer que cada nível ou opção é julgado contra o
state pelo que a descrição diz, e é o motivo de a disciplina de
critérios que separam valer mais que
qualquer lista de sinônimos.
O que este teste não prova
Vale ser explícito, porque é fácil ler demais em um resultado bonito.
Uma chamada não é um benchmark. Não medimos taxa de acerto em gíria brasileira: medimos que, neste texto, a classificação saiu correta e com confiança máxima.
Não testamos todas as regiões. “Oxe” é nordestino. Não testamos gaúcho, mineiro, paraense nem a fala de periferia urbana de nenhuma capital. Cada uma dessas tem vocabulário próprio.
Não testamos o limite. Um texto com abreviação pesada, sem acento, com “vc”, “pq”, “blz” e áudio transcrito sem pontuação é outro problema — e é o caso comum em atendimento no WhatsApp.
A própria TypeSafe é cautelosa. A página oficial de modelos declara que o inglês é a língua principal de treino e onde a acurácia está melhor hoje, que outras línguas são atendidas mas não igualmente bem, e recomenda testar no próprio conteúdo antes de confiar em carga não inglesa. Um resultado bom em cinco chamadas não revoga esse aviso.
Como escrever critérios para um público que fala assim
Três recomendações que seguem do que observamos e do que a documentação diz.
Descreva a situação, não o vocabulário. “O aplicativo não abre, trava ou dá erro” cobre “num abre”, “não abre”, “fica rodando” e o que vier depois. Listar gírias cria uma régua que envelhece e que precisa de manutenção regional.
Use exemplos quando a fronteira é sutil. A descrição de uma opção aceita objeto com exemplos, e não apenas texto corrido — o formato está em estrutura avançada. Um ou dois exemplos reais do seu canal ancoram melhor que um adjetivo.
Deixe uma opção de escape. No nosso conjunto, o texto que não cabia em nenhuma categoria caiu em “outro” com confiança 0,72 — e essa foi a resposta certa. Sem escape, ele teria sido empurrado para a categoria mais parecida com confiança artificialmente alta. Esse caso tem página própria em ironia e sarcasmo.
O teste que você deve fazer
O nosso resultado serve de indício; o seu serve de decisão. O experimento mínimo cabe numa tarde:
- separe vinte mensagens reais do seu canal, com a resposta que você esperava de cada uma;
- rode as suas perguntas contra elas, em uma chamada por mensagem;
- registre acerto, confiança e
usage.input_tokens; - olhe primeiro os erros com confiança alta — são os que mais custam, e quase sempre apontam uma descrição de opção mal escrita;
- olhe depois os acertos com confiança baixa: eles dizem onde a sua régua tem sobreposição.
Para montar a primeira chamada, veja primeiros passos. Para experimentar um texto agora, sem escrever código, use o playground. O índice desta seção está em português.
Perguntas frequentes
O Jev entende gíria brasileira?
No nosso teste de 18/09/2026, entendeu. Um texto com 'oxe', 'num abre de jeito nenhum' e 'aquela bolinha' foi classificado como dúvida técnica com probabilidade 1,00 e confiança 1,00, em 377 milissegundos, pelo jev-1.13.0. Foi uma chamada, não um benchmark.
Preciso listar as gírias nas descrições das opções?
No caso que medimos, não foi preciso: nenhuma daquelas expressões aparecia nos criteria, e a classificação saiu no máximo. A regra prática continua sendo descrever a situação, não o vocabulário — vocabulário envelhece e muda de região.
E se o meu público usa gíria muito específica?
Teste. A documentação oficial declara que o inglês é a língua principal de treino e recomenda testar no próprio conteúdo. Vinte mensagens reais do seu canal, com a resposta que você esperava, dizem mais do que qualquer página.
Devo normalizar o texto antes de enviar?
Normalizar erro de digitação evidente pode ajudar; apagar a fala regional não. O jeito como a pessoa escreve carrega informação — urgência, irritação, familiaridade — e essa informação é parte do que você está pedindo ao modelo para ler.
Gíria derruba a confiança?
Não necessariamente, e foi o que vimos: confiança 1,00 no caso mais coloquial dos cinco. O que derrubou a confiança no nosso conjunto foi outra coisa: um texto cujo enquadramento não cabia em nenhuma categoria da lista.