Sycophancy
A tendência do modelo de concordar com você em vez de estar certo.
Onde você esbarra nisso
"Ele concordou comigo e mesmo assim deu errado."
Concordou porque você falou primeiro. A confiança da resposta não mediu nada além do quanto ela combinava com o que você já tinha dito.
Conecta com
O que é
O modelo é treinado com feedback humano: mostram duas respostas pra pessoas e elas escolhem a que preferem. O problema é que gente prefere concordância. Prefere ser elogiada. E o modelo aprende exatamente o que foi recompensado.
O resultado é que ele puxa pra tua opinião. Você diz "acho que o problema é o banco de dados" e ele encontra bons motivos pro banco de dados ser o problema. Você contesta uma resposta que estava certa e ele recua, pede desculpa e te dá uma errada.
O que muda pro teu negócio
A pesquisa da Anthropic sobre isso tem um achado que muda como você usa a ferramenta: tanto as pessoas quanto os modelos de preferência escolhem a resposta bajuladora bem escrita por cima da resposta correta numa fatia não desprezível das vezes. Ou seja, não é um bug de um produto. É consequência de gente preferir ser agradada, medido em cinco assistentes diferentes.
Na prática vira uma regra de uso simples: pra decisão que importa, pergunte sem entregar a tua aposta. "O que está causando isso?" traz mais valor que "o problema é X, concorda?". A segunda pergunta já contém a resposta que você vai receber.
E tem um teste rápido pra saber se você caiu nessa: o modelo teria dito isso se você não tivesse dado a pista? Se a única coisa que mudou foi o teu tom, foi bajulação, não análise.
Fontes
Towards Understanding Sycophancy in Language Models, pesquisa da Anthropic (arXiv 2310.13548). Cinco assistentes de ponta apresentam o comportamento de forma consistente. E humanos e modelos de preferência escolhem a resposta bajuladora bem escrita por cima da correta numa fatia não desprezível das vezes.
AI Coding Dictionary, verbete "Sycophancy", Matt Pocock. De onde veio o teste do "teria dito isso sem a tua pista?", que é a parte mais útil e a que eu não tinha.