A inteligência artificial generativa vem se disseminando nas empresas com a promessa de elevar a produtividade. No entanto, à medida que essa tecnologia avança, um aspecto negativo se torna evidente: o aumento no consumo de tokens, que resulta em custos crescentes para as organizações.

A Revisão dos Gastos com IA

Empresas estão começando a reavaliar seus gastos com inteligência artificial. A mudança de modelo de cobrança, que antes era fixa e mensal, agora se baseia no uso, gerando preocupação entre os líderes. Ferramentas como programação, atendimento ao cliente e análise de documentos têm demonstrado um aumento significativo no consumo de créditos.

Casos de Empresas que Mudaram sua Abordagem

Recentemente, o GitHub implementou uma nova política de cobrança para seu Copilot, o que resultou em queixas de usuários que viram seus créditos se esgotarem rapidamente. A Uber também tomou medidas para limitar o consumo de tokens, estabelecendo um teto mensal por funcionário, após ter utilizado todo seu orçamento de IA em apenas quatro meses. A Cisco, por sua vez, alertou sobre o alto consumo de tokens em sua plataforma de chatbot, evidenciando que o uso estava se tornando excessivo.

Entendendo o Consumo de Tokens

O token, que representa a unidade de dados processada pelos modelos de IA, se tornou uma medida importante do uso da tecnologia. O custo varia conforme a complexidade das interações; uma simples consulta em um chatbot consome menos recursos do que uma sequência de programação autônoma. Essa diferença se torna evidente com a adoção de agentes de IA, que são capazes de realizar tarefas complexas e interagir em ciclos, aumentando o consumo.

Desafios do Modelo de Cobrança por Uso

Embora o custo unitário da IA esteja em queda, como aponta uma projeção da Gartner, o modelo de cobrança por uso ainda não é uma solução completa para o aumento das contas. A falta de controle e otimização dos gastos pode levar a um consumo descontrolado. Especialistas sugerem que as empresas implementem estratégias de governança e renegociem contratos para gerenciar melhor os custos.

A Governança e Sua Importância

Para lidar com o aumento nos gastos com IA, a governança precisa ser incorporada na arquitetura dos sistemas. É essencial definir quais tarefas podem utilizar recursos mais caros e quando acionar alternativas mais econômicas. O acompanhamento do uso e a transparência nos relatórios são fundamentais para evitar surpresas nos gastos ao final do mês. Essa abordagem se assemelha à gestão de custos na computação em nuvem, onde o consumo é monitorado por serviços e aplicações.