Cos'è Context Rot? Spiegato Semplice
Context Rot: Il degrado delle prestazioni dell'IA quando gestisce finestre di contesto estremamente ampie o sature. La spiegazione pop culture dell'intelligenza artificiale.
Il Context Rot (o degrado del contesto) è un fenomeno tecnico dove l'attenzione del modello (Attention Mechanism) inizia a vacillare man mano che il numero di token nel prompt aumenta. Sebbene i modelli moderni dichiarino milioni di token di finestra, la loro capacità di 'recupero' (Needle In A Haystack) non è perfetta.
Più informazioni vengono inserite, più il modello rischia di ignorare istruzioni cruciali poste nel mezzo del testo o di confondere dettagli contrastanti. Combattere il context rot richiede strategie di gestione della memoria, come il pruning dei messaggi meno rilevanti o l'uso di architetture a agenti swarm che mantengono contesti separati e puliti.