Como não assinar embaixo do que a IA errou

Numa reunião de comitê de crédito, o analista apresentou uma análise de risco do cliente. Boa estrutura, linguagem técnica correta, parecer fundamentado. Alguém perguntou de onde veio a taxa de inadimplência do setor que estava na análise. Silêncio. Era um número que a IA tinha incluído — e que ninguém tinha verificado.

O número estava errado. E o pior: a análise em torno dele estava certa. Era uma alucinação bem embalada — o tipo mais perigoso.

Discernment é a capacidade de avaliar criticamente o que a IA produziu antes de usar. Em ambiente bancário, isso é obrigatório. Em qualquer ambiente onde o erro tem consequência real, também.

Três camadas do que precisa ser avaliado

A avaliação não se limita a verificar se o texto faz sentido. Tem três camadas que precisam de atenção diferentes.

Product Discernment é avaliar o output em si: está correto? É apropriado para o contexto? É coerente internamente? Você consegue rastrear de onde vieram as informações? Essa é a camada mais óbvia, mas onde a maioria para.

Process Discernment é avaliar como a IA chegou ali. Isso importa porque a IA pode chegar à conclusão certa pelo caminho errado — e a conclusão certa pelo caminho errado não é confiável. Se você pediu uma análise de viabilidade de um projeto e a IA deu um parecer positivo, pergunte: ela considerou os riscos regulatórios? Ela comparou com benchmarks relevantes ou inventou benchmarks plausíveis? A lógica do raciocínio importa tanto quanto o resultado.

Performance Discernment é avaliar como a IA se comportou durante a interação. Ela foi direto ao ponto ou começou a divagar? Ela foi honesta sobre o que não sabe ou fingiu certeza? Um modelo que nunca diz "não tenho essa informação" e sempre apresenta algo com confiança é um modelo com o qual você precisa ter cuidado redobrado.

Os três riscos concretos que toda avaliação precisa considerar

Alucinação é quando a IA afirma algo incorreto com o mesmo tom de quem sabe do que está falando. Acontece porque o modelo é treinado pra gerar texto plausível, não pra verificar verdade. Datas, números, nomes de pessoas, referências bibliográficas, estatísticas de mercado — qualquer dado específico deve ser verificado antes de ir pra frente.

Viés é um padrão sistemático no output que favorece ou prejudica alguma perspectiva de forma injusta. O modelo aprendeu com dados históricos que contêm os preconceitos do mundo real. Numa análise de perfil de cliente, por exemplo, o modelo pode reproduzir padrões discriminatórios que estão nos dados de treinamento sem que ninguém tenha pedido isso explicitamente.

Limite de contexto é a questão do que o modelo sabe e do que ele não sabe. Todo modelo tem uma data de corte de conhecimento — eventos depois dessa data simplesmente não existem para ele. Além disso, o modelo só sabe o que está na conversa ou no que foi explicitamente fornecido. Ele não tem acesso ao contexto implícito que você carrega na cabeça.

O teste que uso antes de usar qualquer output da IA

Chamo de teste da vergonha: se alguém me pedir pra explicar como cheguei a essa conclusão, eu consigo? Se a resposta é "não sei, a IA disse", o output não está pronto pra ser usado.

Discernment não é desconfiar de tudo que a IA produz. É saber quando confiar, quando verificar e quando descartar. Essa calibragem se desenvolve com uso — mas começa com o hábito de perguntar, a cada output: de onde isso veio e eu consigo verificar?

Em ambiente regulado, essa pergunta não é opcional. É parte do processo.