Cos'è Token? Spiegato Semplice

Token: L'unità minima di testo processata dall'AI (circa 4 caratteri o 0.75 parole). La spiegazione pop culture dell'intelligenza artificiale.

I modelli linguistici non leggono lettere o parole intere, ma 'token' generati attraverso algoritmi come il Byte-Pair Encoding (BPE). Un token può essere una parola comune ('casa'), una parte di parola ('ing-') o un segno di punteggiatura. Comprendere i token è fondamentale per tre ragioni: determinano il costo computazionale (e monetario) dell'interazione, definiscono i limiti della 'finestra di contesto' (quanto testo il modello può analizzare simultaneamente) e influenzano la capacità del modello di comprendere lingue diverse o codice di programmazione. Se il modello esaurisce i token disponibili nella finestra di contesto, inizierà a 'dimenticare' le parti iniziali della conversazione.