Vai al contenuto

CONCEPT

token

L'unità di base dell'elaborazione e del costo nell'IA generativa — un breve frammento di testo, immagine o suono che un modello legge o produce, all'incirca una sillaba. Prezzi, limiti di contesto e spese si contano in token: il token diventa un'unità economica emergente, e quando il suo costo scende, cambia ciò che vale la pena generare.

Origine

Derivato dall'elaborazione del linguaggio naturale, dove il testo viene suddiviso in token; diventato unità economica e di tariffazione con l'affermarsi dei grandi modelli commerciali.

attributo
Nuova unità di misura della spesa tecnologica
definizione
Unità economica dell'IA generativa — numero tra 0 e ~65000 che rappresenta alcune lettere, pixel o suono. 1 token ≈ una sillaba. 100 token ≈ una riga di codice

Fiches (2)