Hallucination
Resposta errada dita com total confiança. Vem em dois sabores, e o segundo quase ninguém conhece.
Onde você esbarra nisso
Naquela citação perfeita que ele te deu e que você quase mandou pro cliente. Confere antes, sempre. Ele nunca vai te avisar que aquela parte era chute.
Conecta com
O que é
Saída confiantemente errada. E tem dois tipos bem diferentes.
Fato inventado: ele afirma algo que não existe. Um número, uma lei, uma função de programação, um livro. Isso vem de Parametric knowledge falho ou de assunto posterior ao corte.
Desvio do que foi dado: você colou o documento certo, e a resposta contradiz o documento. Esse é o mais perigoso no trabalho, porque você tem a fonte na mão e mesmo assim confia na resposta, já que "ele estava lendo o material".
O que muda pro teu negócio
Alucinação não é um defeito que vai ser consertado numa versão futura. É consequência direta do mecanismo: o modelo escolhe o token provável, não o token verdadeiro.
Isso não paralisa nada, mas muda onde você aceita usar. Trabalho de estrutura, de linguagem e de rascunho é território seguro. Fato, número, nome próprio, citação e qualquer coisa que vai para o cliente exigem verificação.
E vale saber que carregar a fonte reduz muito o primeiro tipo, mas não elimina o segundo. Documento carregado não é garantia de fidelidade a ele.
Fontes
Documentação da Anthropic sobre limites de conhecimento e verificação.
AI Coding Dictionary, verbete "Hallucination", Matt Pocock. A separação em dois tipos, fato inventado e desvio do contexto carregado, é dele. O segundo tipo é o que quase ninguém nomeia.