INTELIGÊNCIA ARTIFICIAL & OPERAÇÃO

A Amazon cortou 98% do custo de uma tarefa de IA. Ela trocou a pergunta, não o modelo.

Riano Sistemas ·

A Amazon cortou 98% do custo de uma tarefa de IA. Ela trocou a pergunta, não o modelo.

Em 10/11/2026 a Amazon publicou um caso de produção que vale a leitura de quem opera IA no dia a dia. Eles tiraram o Claude Sonnet 4.6 de uma tarefa e puseram no lugar um modelo de decisão. O custo caiu 98%. A qualidade não caiu.

O que me interessa aqui não é o preço. É o que o preço revela sobre onde o dinheiro de IA realmente vai.

A tarefa

Rotular tickets de um dos maiores sistemas internos de ticketing do mundo, em 20 categorias. É o tipo de trabalho que existe em toda operação: chega uma coisa, alguém decide para onde ela vai.

Eles faziam isso com o Sonnet 4.6. Passaram a fazer com o Strands Decider, num build E4B do Gemma 4. Num conjunto separado de tickets, o E4B bateu a produção do Sonnet.

O que é um modelo de decisão

Um modelo de linguagem comum recebe um texto e escreve outro texto. Um modelo de decisão recebe um estado e uma pergunta com opções fechadas. Devolve a probabilidade de cada opção e o quanto confia nela. Não gera texto.

Por baixo, segundo o projeto, é um Qwen3.5-2B sem a cabeça de geração, com uma cabeça de ponteiro de cerca de 1 milhão de parâmetros e ajuste LoRA de rank 16. É código aberto, tem pesos no Hugging Face e roda local: numa RTX 3090 a mediana é de cerca de 115 ms.

Rotular um ticket é escolher entre 20 opções. Fazer um modelo escrever um parágrafo para chegar em "categoria 7" é gastar o modelo errado.

Os números

Por chamada, antes e depois, no caso da Amazon:

MedidaSonnet 4.6Strands Decider
Latência4.215 ms897 ms (78% menos)
Tokens por ticket6.7242.010 (70% menos)
Tokens de saída1701
Custo por ticketUS$ 0,0222cerca de US$ 0,0005
Custo por milhão de ticketscerca de US$ 22.200cerca de US$ 500 (44 vezes menos)

A infraestrutura: uma instância SageMaker ml.g5.xlarge (uma GPU A10G de 24 GB), com o modelo ocupando 19 GiB, cerca de 640 ms por requisição e cerca de 5.600 tickets por hora, em rede isolada sem saída.

O método vale mais que o preço

Eles não trocaram de uma vez. Antes de desligar o Sonnet, montaram um switch de 3 estados via AppConfig: só o Bedrock, os dois juntos, ou só o decisor.

No estado "dual", os dois modelos rodavam no tráfego real, e cada divergência entre eles era julgada à mão. Voltar atrás era uma mudança de configuração de 45 segundos. O time concluiu que isso ensinou mais que qualquer avaliação offline.

É a parte que mais se copia. Trocar um modelo por outro sem rodar os dois em paralelo é apostar. Com o switch, é medir.

Duas armadilhas que eles contaram

  1. A ordem das chaves do JSON mudou a resposta. As probabilidades variaram até 0,19. Passaram a enviar sempre com as chaves ordenadas.
  2. Rótulo que precisa de explicação não cabe. A janela do modelo é de 4.096 tokens. Reescreveram os 20 rótulos como critérios de uma ou duas frases.

Quando não serve

Os próprios engenheiros dizem:

O que medimos na nossa operação

Fui olhar o nosso uso. Aqui roda um agente secretário sobre o DeepSeek v4 flash, pelo provedor direto e com cache. Nos 30 dias de 11/10 a 10/11/2026, segundo o registro do próprio agente:

O custo por chamada é baixo porque o modelo é barato e porque o cache devolve quase tudo que reenviamos. Mesmo assim, são cerca de 106 mil tokens de entrada por chamada. Quase tudo é contexto, não pergunta.

E essa conta já saiu cara por um motivo que não era o modelo. Em agosto, um elo pago da nossa cadeia de provedores respondia por 47% da fatura movendo 1,4% dos tokens. Em outra frente, uma sessão de 11 dias reenviava 339 mil tokens de histórico a cada mensagem. Rotacionar a sessão derrubou o contexto por turno para 52 mil, 84,5% a menos. Esses dois números são de agosto, medidos na época, e não foram refeitos agora.

A lição é a mesma da Amazon vista de outro lado: o gasto de IA em operação raramente está no modelo escolhido. Está no que se manda para ele e em usar um modelo que escreve para responder escolha fechada.

Onde isso encaixa numa operação pequena

Triagem de e-mail, classificação de relatório, roteamento de pedido, guardrail antes de uma ação. Todo lugar onde um modelo de linguagem hoje responde "A, B ou C".

Ainda não trocamos nenhum desses por um modelo de decisão. Ele é o próximo teste, e o switch de 3 estados da Amazon é o método que vamos usar.

A régua

Três perguntas antes de pensar em modelo de decisão:

  1. A resposta é uma escolha fechada entre poucas opções?
  2. O volume é alto?
  3. O contexto útil cabe em poucos milhares de tokens?

Se as três forem sim, a pergunta certa não é qual modelo é mais barato. É se você precisa de um modelo que escreva.

Qual decisão repetitiva da sua operação hoje roda num modelo que escreve texto, quando bastava um que escolhesse?

Quer conversar sobre isso?

Fale com a gente pelo WhatsApp ou por e-mail.

💬 Falar no WhatsApp agora

Ou escreva para [email protected]