Die Länge von Texten bemisst sich in Wörtern oder Zeichen, Zeilen oder Seiten. So war es bisher. In KI-Zeiten scheitern Textaufgaben aber oft daran, dass zu viele Token das sogenannte Kontextfenster überfordern. Aber was sind diese Token eigentlich?
Es war einmal ganz einfach: Die Länge eines Textes (etwa des vorhergehenden Absatzes) konnte man nachzählen oder sich im Textverarbeitungsprogramm anzeigen lassen: 38 Wörter. Die Zeichenzahl inklusive Leerzeichen war oft das genauere Maß, mit dem man sich über eine vorgesehene Textlänge austauschen konnte. Nun ist eine andere Maßeinheit aufgetaucht, die immens wichtig ist für Textaufgaben, die man mithilfe von KI lösen will: die sogenannten Token.
Token sind die kleinste Grundeinheit, die KI-Modelle verwenden, um Texte aufzuteilen und zu verarbeiten. Diese Einheit ist aus mindestens zwei Gründen für alle relevant, die sich beim Schreiben von KI helfen lassen – und sei es nur in Form eines Korrektorats:
- Die Menge der verarbeitbaren Token ist je nach Modell oder sogar Aufgabe unterschiedlich. Viele Aufgaben lassen sich einfach nicht lösen, wenn zu viele Token dafür erforderlich wären. Zum Beispiel kann man in die meisten Chatfenster zwar 100-seitige PDF einspeisen – bloß wird der Inhalt dann nicht komplett verarbeitet. Wer also zum Beispiel nach irgendeinem Detail darin sucht, wird es nicht finden, weil die KI gar nicht so weit kommt. Die Menge an Token macht quasi das Gedächtnis der KI-Abfrage aus. Dabei zählen sowohl der Prompt als auch zusätzlich eingegebene Hintergrundinformationen und letztlich natürlich das erzeugte Textergebnis mit. Wenn das Eingabefenster (eher ist es das „Kontextfenster“) ein Maximum von 128.000 Token hat, man aber einen Text mit 100.000 Token eingibt, dann kann natürlich kein korrigierter Text mit 100.000 Token ausgespuckt werden.
- So wie früher freie Journalist*innen von Zeitungen oft nach geschriebenen Zeilen bezahlt wurden, bezahlen User heute oft nach genutzten Token, vor allem, wenn sie über eine Schnittstelle (API) darauf zugreifen. Das ist allerdings viel undurchsichtiger, weil zum Beispiel bei fortgeschrittenen Modellen auch der mehrfache Zugriff auf den Text („Reasoning“) kostet.
Überhaupt ist die Komplexität ein Token-Problem. Wie viele Token ein Text enthält, ist viel schwieriger zu ermitteln als bei Wörtern oder Zeichen. Es sind jedenfalls nicht die Buchstaben oder Silben, auch Satzzeichen oder Emojis zählen mit. Schon ein Wort wie „Hallo“ ist schwierig zu messen – das englische „hello“ hat 1 Token, das deutsche „hallo“ 2 Token. Sehen Sie es gerne im Tokenizer von OpenAI nach!
Es helfen einem aber Faustformeln oder Schätzwerte wie: Ein Wort im Deutschen macht ungefähr 1,75 Token aus. Auch kann man seinen Text von darauf spezialisierten Maschinen auszählen lassen. Wir von IMKIS haben einen eigenen Zeichenzähler programmiert, der sowohl Zeichen als auch Wörter und geschätzte Token für das Deutsche angibt. Um herauszufinden, ob eine bestimmte Aufgabe überhaupt mengenmäßig machbar ist, reicht das oft aus.
Wie viel Text passt nun in eine normale Textanfrage bei ChatGPT oder anderen Modellen? Hier die Rechnung an einem stark gerundeten Beispiel, nämlich einer Standardseite im Format DIN A4 mit 30 Zeilen je 60 Anschlägen – das ist das, was man in Redaktionen früher ein „Blatt“ nannte:
- 1 Seite (oder eben „Blatt“)
- 30 Zeilen (je 60 Zeichen)
- 1.800 Zeichen inklusive Leerzeichen
- etwa 270 Wörter
- etwa 400 Token (im Deutschen)
Wer bei ChatGPT in das Fenster des Modells 4o etwas eingibt, dem stehen (Stand 1. Januar 2025) etwa 8.000 Token zur Verfügung. Wenn man also 10 Seiten nach obiger Definition zum Korrigieren eingibt, könnte man nicht mehr die Ausgabe des korrigierten Textes erwarten – man braucht ja auch noch einen Prompt. Oder, anders herum erklärt: Ich kann der KI 6 Seiten Ausgangstext liefern, dazu 2 Seiten mit genauer Aufgabenbeschreibung und 6 Seiten mit Regeln als PDF – und würde noch 6 korrigierte Seiten herausbekommen können: 20 Seiten mal 400 Token = 8.000 Token. Nachfragen dürfte ich dann allerdings nicht mehr stellen beziehungsweise ich dürfte jedenfalls nicht mehr damit rechnen, dass die KI sie noch adäquat beantwortet. 😉
Wer eine 30-seitige Studie ins Kontextfenster eingibt und die Ausgabe eines perfekt korrigierten Textes erwartet, wird derzeit noch enttäuscht werden. Allerdings prahlen die ersten Large Language Models schon damit, dass sie 100 Millionen Token verarbeiten können (siehe LLM Magic LTM 2 mini). Wie schnell wir diese Modelle für unsere Texte nutzen können und wie gut dann die Ergebnisse sind, steht aber noch in den Sternen. Im Moment muss man längere Texte oft noch teilen oder sich Tricks einfallen lassen …
Neugierig geworden?
Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?