Zum Inhalt springen

CONCEPT

token

Die Grundeinheit der Verarbeitung und der Kosten in generativer KI — ein kurzes Fragment aus Text, Bild oder Ton, das ein Modell liest oder erzeugt, etwa eine Silbe. Preisgestaltung, Kontextgrenzen und Ausgaben werden in Tokens gezählt: Der Token wird zu einer entstehenden wirtschaftlichen Einheit, und wenn seine Kosten sinken, ändert sich, was es wert ist, generiert zu werden.

Herkunft

Stammt aus der Verarbeitung natürlicher Sprache, wo Text in Tokens zerlegt wird; mit dem Aufstieg großer kommerzieller Modelle zur wirtschaftlichen Einheit und Abrechnungsgröße geworden.

Attribut
Neue Maßeinheit für Technologieausgaben
Definition
Ökonomische Einheit der generativen KI — Zahl zwischen 0 und ~65000, die einige Buchstaben, Pixel oder Ton repräsentiert. 1 Token ≈ eine Silbe. 100 Token ≈ eine Codezeile

Fiches (2)