Agente de IA errou. Quem responde por isso na sua empresa?

Há um ano, a conversa nas reuniões de diretoria era “vamos usar IA?”. Hoje, em muita empresa, a pergunta mudou sem que ninguém percebesse: “a IA fez uma coisa errada. E agora, de quem é a culpa?”

Essa mudança aparece com clareza num estudo que a IBM divulgou na semana passada. E ela importa para quem está no Brasil, mesmo que o estudo não tenha ouvido empresas brasileiras. Explico por quê.

O que o estudo da IBM mostrou

A IBM encomendou à Censuswide uma pesquisa com 3.221 executivos de empresas com mais de mil funcionários, em oito países da Europa e do Oriente Médio. O campo foi feito em setembro e o resultado saiu em 14 de outubro, no site de imprensa da IBM.

Os números que mais chamam atenção:

• 80% dizem que um incidente envolvendo IA chegou ao conselho ou à diretoria no último ano.
• Só 40% dessas empresas mudaram suas regras de uso de IA depois disso.
• 35% já têm agentes de IA rodando em produção.
• 75% esperam que esses agentes tomem algum tipo de decisão sozinhos até 2027, mas só 37% dizem que a governança atual foi pensada para isso.

Resumindo em português claro: o problema já subiu para a mesa do presidente, e a maioria ainda não mudou nada no jeito de trabalhar.

A executiva da IBM que comentou o estudo, Ana Paula Assis, resumiu o momento assim: o debate saiu da adoção e foi para “governança e responsabilização”. Concordo. E acrescento: quem não definir isso antes vai definir no meio de uma crise.

Agente não é chatbot

Vale separar as coisas, porque muita empresa ainda mistura.

Um chatbot responde. Se ele erra, alguém lê a resposta errada e, com sorte, percebe. Um agente de IA age. Ele aprova um pedido, altera um cadastro, dispara um e-mail para o cliente, lança um valor no financeiro. Quando erra, o erro já aconteceu antes de qualquer pessoa olhar. Não por acaso, a Microsoft passou a tratar agentes como risco interno, como contamos aqui no blog.

Uma pesquisa da Kore.ai, feita em maio com mais de 400 líderes de TI de grandes empresas americanas, mostra o tamanho disso. Segundo o levantamento da própria empresa, 79% já tiveram que desfazer uma ação tomada por um agente, e 70% enfrentaram uma falha que o time não conseguiu rastrear. E 26% dos agentes dessas empresas já aprovam ou negam decisões.

Um cuidado: a Kore.ai vende plataforma de agentes, então tem interesse no assunto. Mesmo assim, o retrato bate com o da IBM e com o que eu vejo no dia a dia. A tecnologia ficou pronta para agir antes de as empresas ficarem prontas para responder pelos atos dela.

O buraco que ninguém quer assumir

O dado da IBM que mais me incomodou foi outro. Perguntados sobre quem deve responder quando um agente causa um prejuízo, os executivos não chegaram a acordo nenhum. O cargo mais citado foi o de CIO ou CTO, e mesmo assim só 17% escolheram essa opção.

Na prática, isso quer dizer que, na maioria das empresas, a resposta para “de quem é a culpa?” vai ser decidida depois do problema, em clima de caça às bruxas.

Também tem a questão dos fornecedores. Mais da metade dos entrevistados (54%) admite que suas regras não cobrem direito a IA usada por parceiros e prestadores. Só 21% monitoram esse risco de forma contínua. Se o seu atendimento terceirizado colocou um agente para falar com os seus clientes, o erro dele também é seu.

E no Brasil, o que vale hoje

Aqui muita gente está esperando o Marco Legal da IA para “ver o que fazer”. O PL 2338/2023 segue parado numa comissão especial da Câmara, e o próprio relator disse em agosto que a votação ficaria para depois das eleições, segundo o acompanhamento da tramitação feito pela LCF Consulting. Não há data.

Esperar a lei nova é um erro, porque uma lei antiga já cobre boa parte do problema. A LGPD, no artigo 20, garante ao titular dos dados o direito de pedir revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses. Isso inclui perfil de crédito, de consumo e profissional. A empresa também precisa explicar, quando pedirem, os critérios usados na decisão.

Traduzindo para o mundo dos agentes: se a sua IA nega um crédito, reprova um candidato ou muda a condição comercial de um cliente, você precisa conseguir explicar como ela chegou ali. E as sanções da mesma lei incluem multa de até 2% do faturamento no Brasil, limitada a R$ 50 milhões por infração.

Agente que ninguém consegue rastrear não é só um risco operacional. É um risco jurídico que já existe.

O que eu definiria antes de ligar qualquer agente

Não precisa de comitê, consultoria de seis meses nem documento de cem páginas. Precisa de respostas claras para cinco perguntas, por escrito, antes do primeiro agente entrar em produção.

1. Quem é o dono deste agente? Uma pessoa com nome e cargo, não “a TI”. Ela responde pelo que o agente faz, do mesmo jeito que um gestor responde pela equipe.

2. Até onde ele pode ir sozinho? Defina limites concretos. Por exemplo: pode responder dúvidas e abrir chamados, mas qualquer desconto acima de um valor ou qualquer mudança em contrato passa por uma pessoa. A pesquisa da IBM mostra que os próprios executivos querem isso: 32% citam limites claros para escalar a decisão a um humano como necessidade até 2027.

3. Dá para ver o que ele fez? Cada ação precisa ficar registrada: o que recebeu, o que decidiu e por quê. Sem esse histórico, você não corrige o erro, não aprende com ele e não responde a um pedido de revisão da LGPD.

4. Dá para desligar rápido? Parece óbvio, mas muita implantação não tem um botão de parar. Se o agente começar a errar em série numa sexta à noite, alguém precisa conseguir interromper tudo em minutos, sem depender do fornecedor.

5. O que o contrato com o fornecedor diz? Quem paga se o agente do parceiro causar prejuízo? Que dados ele usa? A maioria dos contratos de software ainda não fala nada disso. Vale renegociar antes de renovar.

Repare que nenhuma dessas perguntas é técnica. São decisões de gestão. O papel da tecnologia é tornar as respostas possíveis: registro, limites, botão de parar.

Minha opinião sobre o momento

Não acho que a resposta seja frear. A própria IBM mostra que a maioria das empresas prefere seguir implantando dentro de limites combinados, enquanto ajusta a governança. Faz sentido. Quem parar tudo vai perder produtividade para o concorrente que aprendeu a usar com segurança.

O erro é ligar o agente achando que ele é só mais uma ferramenta, como uma planilha nova. Planilha não toma decisão. Agente toma, em escala e sem pedir licença. A pergunta certa não é se ele é bom, é o que acontece no dia em que ele errar.

Onde a experiência faz diferença

Em 29 anos de programação, acompanhei a chegada dos primeiros sistemas de gestão, do e-commerce e da automação de processos. Em todas, o padrão se repetiu: a tecnologia chega, todo mundo corre para usar, e só depois alguém pergunta quem cuida quando der errado. As empresas que se saíram bem foram as que fizeram essa pergunta antes.

É desse jeito que a gente trabalha na IWA7. Antes de colocar um agente para rodar, sentamos com quem conhece a operação para desenhar os limites, os registros e o ponto exato em que uma pessoa entra na decisão. A parte técnica vem depois, e fica mais simples justamente por isso.

Se a sua empresa já tem agentes rodando, ou está prestes a ter, comece pelas cinco perguntas acima. Se alguma delas ficar sem resposta, é ali que está o seu próximo problema.