Token efficiency: Building AI that spends intelligence wisely
Last year, my company decided to rebuild our enterprise AI platform, which our customers had been using for over a decade. But instead of simply updating it, we started over with a different ambition: to build an AI-native platform using AI.
Last year, my company decided to rebuild our enterprise AI platform, which our customers had been using for over a decade. But instead of simply updating it, we started over with a different ambition: to build an AI-native platform using AI.
Using AI to rebuild a platform of that size gave us first-hand experience with AI economics. We employed AI throughout the entire engineering process to write code, review changes, generate tests and accelerate development. It helped us reduce years of engineering to just a few months but also forced us to keep close watch over every single token we consumed and truly consider why we were consuming it.
This experience challenged one of our key assumptions: It turns out that token consumption is influenced as much by architectural decisions as by choice of model.
Indeed, we found that most of the token consumption waste wasn’t due to complex engineering tasks, but the architecture around them; this is something that is referred to as the architecture tax in enterprise AI.
Recursive agents kept spawning subtasks and subagents, and although they technically completed every task, each handoff introduced new prompts and context. Furthermore, frontier reasoning models were being wasted on routine classification tasks that deterministic code could have completed at a fraction of the cost. And, because we hadn’t clearly defined ‘success,’ retry loops continued firing and burning tokens to chase marginal gains, instead of improving business outcomes. Finally, we experienced context inflation, with workflows carrying information from earlier steps long after they had stopped contributing to the decision being made.
In context
- Topic: Estrategia y Gobierno de TI — Decisiones de portafolio, costo total, gobierno y marcos de referencia.
- Source: CIO
- Published: 15/10/2026
Continue reading at the original source →
Excerpt published automatically by the site radar. The full text belongs to its publisher and is linked above.
Por que importa
Há uma diferença enorme entre uma empresa que tem projetos de tecnologia e uma que tem estratégia de tecnologia. A primeira acumula iniciativas; a segunda decide o que não vai fazer. Movimentos assim costumam ser o momento em que alguém, lá em cima, finalmente escreveu a lista do que fica de fora.
Meu filtro é sempre o mesmo: isto muda uma decisão ou muda só uma ferramenta? Se no fim do trimestre as mesmas pessoas continuam aprovando as mesmas coisas com os mesmos critérios, não houve transformação, houve compra. A diferença aparece na ata do comitê, não no comunicado.
O que costuma dar errado
O que costuma dar errado é a parte que não foi conversada com as áreas que vão carregar o trabalho. Decide-se em cima, comunica-se para baixo, e a resistência não aparece como oposição, e sim como lentidão. Ninguém diz não; simplesmente tudo demora o dobro e ninguém sabe explicar por quê.
O que observar
- Como fica a relação com os fornecedores atuais, que é onde costuma estar a dependência que ninguém mediu.
- Quem fica como dono da decisão e com qual orçamento próprio, não emprestado.
- Se aparecem métricas de negócio ou apenas métricas de entrega — custo por transação manda sobre percentual de avanço.
Como leio esta publicação
Se isto chegasse à minha mesa, a primeira coisa que eu pediria não é um plano: é o inventário honesto do que já está rodando e quanto custa sustentar. Quase sempre aparece que o orçamento do novo sai de desligar algo velho que ninguém quer nomear, e essa conversa é a que decide se o projeto vive.
A notícia original está publicada em outro idioma; o trecho é citado como o veículo o entrega e o comentário é escrito em português.
Comentários
Ainda não há comentários. O primeiro pode ser o seu.
Está vivendo isso na sua equipe?
Abra o chat e me conte como estão lidando com isso. Tenho interesse em comparar notas.
