Pare de escolher modelo pela posição no ranking
Os testes comparam tarefas médias. Na prática, o que importa é combinar cada modelo com o tipo de trabalho.
Quem começa a escolher modelos de IA (programas que respondem a pedidos) para tarefas diferentes costuma cair na mesma tentação. Abre uma tabela, pega o primeiro do ranking e chama isso de decisão técnica. Parece objetivo, mas costuma custar caro numa tarefa comum.
O problema é que um benchmark (teste que compara modelos em tarefas definidas) mede uma média. Sua tarefa não é uma média. Ela pode envolver arquivos ou não, precisar de ferramentas ou não, rodar uma vez por dia ou o dia inteiro. Talvez aceite uma resposta demorada, ou precise responder enquanto a pessoa ainda olha para a tela.
Hoje, em vez de perguntar "qual é o melhor modelo?", pergunto "que tipo de trabalho quero fazer?". Só essa troca já tira quase toda a confusão.
Tipos de trabalho
Escrever e editar código num repositório grande (conjunto de arquivos de um projeto) é um tipo de trabalho próprio. Não basta devolver um bom texto. O modelo precisa lidar com muitas informações, entender vários arquivos e usar ferramentas para gravar mudanças. Se não consegue escrever no arquivo, só descreve o trabalho.
Raciocínio difícil e decisões sobre a estrutura do sistema ficam em outro tipo. São poucas chamadas, mas cada decisão vale muito. Um modelo caro pode compensar, porque um erro muda a direção de todo o sistema. Economizar em cada chamada custa caro se for preciso decidir tudo outra vez.
Classificar, resumir e extrair informações é o oposto: muitas tarefas, cada uma estreita e com resposta curta. Um modelo barato compensa quando acerta com frequência suficiente, porque o custo está em repetir a tarefa muitas vezes.
Embedding é uma forma de transformar texto em números para comparar conteúdos. Fica fora da conversa. Para conteúdo em português, quero um modelo próprio que funcione bem com vários idiomas. O rerank vem depois: a busca por vetores (listas de números que representam textos) aproxima os resultados. O reordenador escolhe quais ajudam mais a responder à pergunta.
Interpretar imagens é outro tipo de trabalho. Ler uma captura de tela ou um documento escaneado é diferente de conversar sobre texto limpo. Atendimento por chat, WhatsApp e secretária virtual também não pedem o modelo mais inteligente por padrão. Pedem tempo de resposta previsível e um custo por mensagem que aguente o volume.
Arquivo ou texto
A diferença que organiza minhas escolhas é simples: a tarefa grava um arquivo ou devolve texto?
Quando a resposta é texto, pode bastar um modelo bem mais barato. Uma classificação, uma resposta curta, um resumo interno ou uma extração controlada podem ser menos precisos. Isso só funciona se o critério de aceitação estiver claro. Se errar, você tenta de novo ou pede uma revisão.
Para gravar um arquivo, o modelo precisa de uma ferramenta. Também precisa de permissão, acesso aos arquivos do projeto e um jeito de confirmar o que mudou. Mandar esse trabalho para um modelo que só responde com texto não torna o resultado mais lento. Cria um impasse. O modelo devolve algo que parece certo, talvez até um diff que mostra as mudanças. Mas nada muda no disco.
Essa diferença explica por que trocar de modelo, sozinho, não melhora um assistente pessoal. Também não melhora o trabalho de marketing ou vendas. O que falta são as informações do seu negócio. Sem seus arquivos, decisões, tom de voz e histórico, até o melhor modelo devolve texto genérico. Pode escrever melhor, mas não sabe mais.
Como escolho
Primeiro separo pelo tipo de trabalho, não pela posição no ranking:
- mexer em arquivos: modelo com ferramentas e espaço para considerar muitas informações;
- decidir a estrutura do sistema: modelo forte, com poucas chamadas;
- processar muito volume: modelo barato que atende ao critério;
- buscar conhecimento: embedding e rerank antes de gerar a resposta;
- atender conversas repetitivas: tempo de resposta e custo por mensagem.
Depois disso, o benchmark vira um dado secundário. Ajuda a comparar modelos do mesmo tipo, mas não decide entre tipos diferentes. Um modelo ótimo em raciocínio pode ser desperdício para classificar mensagens. Um bom modelo de conversa pode ser inútil para editar um projeto.
O critério que dura é o encaixe entre a capacidade do modelo e a tarefa. A tabela, o preço e o nome mudam. A pergunta continua: esta chamada consegue fazer o trabalho que peço? E consegue fazê-lo com um custo e um tipo de falha que aceito?
Onde isso falha
Toda tabela de modelos é uma fotografia de um momento. Se você transforma essa fotografia numa regra fixa, o sistema envelhece sem que ninguém perceba. O critério continua útil, mas a posição no ranking não.
Também existe uma falsa economia. O modelo mais barato que erra custa mais do que a chamada. Você repete a tarefa, revisa de novo, carrega as informações outra vez e espera. O preço baixo se mede pelo resultado, não por uma linha da fatura.