Um estudo recente da consultoria Gartner indica que 40% das empresas poderão limitar ou desativar seus agentes de inteligência artificial autônomos até 2027, devido a falhas na governança. A pesquisa ressalta a crescente preocupação com a segurança e a responsabilidade operacional no uso desses sistemas.
Desafios na Governança de Agentes de IA
Um dos principais desafios identificados é a aplicação de modelos de controle que tratam todos os agentes de IA de maneira uniforme. Essa abordagem ignora as diferenças nos níveis de autonomia e acesso aos sistemas corporativos, o que pode prejudicar tanto a eficiência quanto a segurança das operações.
Shiva Varma, Diretor Analista Sênior do Gartner, afirma que as organizações têm tratado a governança de forma binária, alternando entre restrições totais e confiança absoluta. Essa estratégia pode levar a duas falhas comuns: a restrição excessiva de agentes menos complexos, atrasando entregas, ou a falta de controle sobre agentes mais autônomos, aumentando os riscos operacionais.
Modelo de Governança Proporcional
Para minimizar esses riscos, o Gartner sugere a adoção de uma estrutura de governança que considere os diferentes níveis de autonomia dos agentes de IA. Cada categoria deve ter limites de confiança e mecanismos de supervisão adequados ao grau de atuação do sistema.
Níveis de Autonomia dos Agentes de IA
O modelo proposto divide os agentes em quatro níveis de autonomia. No primeiro nível, estão os agentes de observação, que apenas leem informações e fornecem resultados ao usuário. A governança aqui deve focar em controles básicos, como acesso restrito a dados e autenticação de usuários.
O segundo nível abrange agentes de aconselhamento, que geram recomendações e relatórios que serão avaliados por humanos. A governança deve incluir testes de precisão e qualidade dos resultados.
No terceiro nível, estão os agentes que executam ações com aprovação humana. É crucial manter uma revisão significativa e implementar testes de segurança robustos para evitar falhas. Por fim, o quarto nível é composto por agentes totalmente autônomos, que operam sem validação individual das suas decisões, exigindo uma governança rigorosa e monitoramento constante.