Attention relationship
A ligação entre dois pedaços do texto. Num texto de N pedaços existem cerca de N ao quadrado dessas ligações.
Onde você esbarra nisso
Aqui você não esbarra diretamente. Você esbarra nos efeitos, que são os dois verbetes seguintes. Este é o mecanismo por trás deles.
Conecta com
O que é
Dentro do modelo, cada token olha para todos os outros e dá mais peso aos que importam para ele. "Ela" olha para o nome que apareceu antes. Uma instrução olha para o trecho que ela governa.
O número dessas ligações não cresce junto com o texto, cresce ao quadrado. Dobrar o contexto não dobra as relações, quadruplica.
O que muda pro teu negócio
É o verbete mais técnico do dicionário, e ele está aqui por um motivo: é a explicação de por que contexto grande sai caro e piora a resposta.
Não é que o modelo fique com preguiça. É que a quantidade de coisa competindo pela atenção dele explodiu. Esse número ao quadrado é a raiz do Attention budget e da Attention degradation, que são os dois verbetes que você vai usar no dia a dia.
Você não precisa saber a matemática. Precisa saber que ela existe, porque ela é o argumento contra "joga tudo lá dentro que ele acha".
Fontes
Documentação da Anthropic sobre janela de contexto e o custo de contexto grande.
AI Coding Dictionary, verbete "Attention relationship", Matt Pocock. A observação de que um contexto de N tokens tem cerca de N ao quadrado dessas relações é dele. É o número que fecha o argumento.