token
Unità minima di testo che un modello linguistico elabora: può essere una parola, una sua parte o un simbolo.
Definizione
Unità minima in cui un testo viene scomposto prima di essere elaborato da un modello linguistico. Non corrisponde necessariamente a una parola intera: può essere una radice, un affisso, un segno di punteggiatura o un singolo carattere, a seconda del tokenizzatore impiegato. I limiti di contesto degli LLM si misurano in token, non in parole.
Esempi d'uso
- «La parola «insolito» viene tokenizzata in modo diverso a seconda del modello: a volte è un token, a volte due.»
- «Un LLM con contesto da 128.000 token può elaborare circa 90.000 parole in una sola sessione.»
- «Ridurre il numero di token in un prompt è il modo più diretto per abbassare i costi di un'API.»
Sinonimi
termine della linguistica computazionale classica
Nota del Paroliere
Token è la parola che ha cambiato il modo in cui pensiamo al testo nell'era dell'AI. Non è una parola, non è una sillaba: è qualcosa di più granulare e arbitrario, definito dall'algoritmo, non dalla grammatica. Capire cosa sia un token aiuta a capire perché i modelli linguistici funzionano bene in certi contesti e male in altri.
Fonti esterne
Il Paroliere fornisce definizioni originali. Le fonti esterne sono collegate per consultazione, non copiate.