Attention budget
Cada pedaço do texto tem uma quantidade fixa de influência pra distribuir. Ela não cresce quando o texto cresce.
Onde você esbarra nisso
Quando você recola a mesma regra e ela funciona por dois turnos e some de novo. Recolar funciona porque volta a ser sinal recente. E para de funcionar pelo mesmo motivo.
Conecta com
O que é
Cada token tem um tanto limitado de influência para espalhar sobre o resto do contexto. Gastou muito numa relação, sobra menos para as outras. E esse orçamento é por token: ele não aumenta porque a conversa aumentou.
A imagem que funciona é sinal e ruído. A tua instrução é um som de volume fixo. Todo o resto do contexto é som competindo. A instrução não fica mais baixa, mas a sala fica mais barulhenta.
O que muda pro teu negócio
É a resposta física para "por que ele parou de seguir o que eu pedi".
A instrução que era a coisa mais alta da sala com pouco contexto vira um zumbido de fundo com muito contexto. Ele não esqueceu, e não está desobedecendo. O sinal se perdeu no ruído.
Duas ações saem daí. Não carregue o que não serve, porque conteúdo inútil não é neutro, é ruído por cima do que importa. E repita a restrição que importa em vez de confiar que ter dito uma vez lá atrás basta.
Fontes
Documentação da Anthropic sobre gestão de contexto.
AI Coding Dictionary, verbete "Attention budget", Matt Pocock. A metáfora de sinal e ruído numa sala que fica mais barulhenta é dele. É a melhor explicação disso que eu vi em qualquer lugar.