Wenn Sie die Entwicklung von Werkzeugen der künstlichen Intelligenz (artificial intelligence — AI) mit Interesse verfolgen oder sie selbst nutzen, sind Sie sicherlich über den Begriff „AI-Token“ (KI-Token) gestolpert. Und nein, wir sprechen nicht über Token, die in Kryptowährungen verwendet werden (was Begriffe wie KI-Münzen oder Krypto-Münzen betrifft).
Im Zusammenhang mit diesem Artikel sind Token nichts anderes als Einheiten, die es ermöglichen, die Kosten für die Verwendung von Sprachmodellen wie ChatGPT zu berechnen. Aber das ist noch nicht alles. Sie helfen auch dabei, die Länge der Eingabe und der Ausgabe zu bestimmen, die für die endgültige Berechnung der Nutzungskosten eines KI-Modells ebenso wichtig sind.
Hört sich das kompliziert an? Keine Sorge, das ist es nicht. Wenn Sie noch Hilfe brauchen, um zu verstehen, was es mit AI-Token auf sich hat, dann erklären wir Ihnen in diesem Artikel, was sie sind und wie AI-Token die Nutzungskosten der generativen KI beeinflussen.
Was sind AI-Token?
Tokens sind Texteinheiten in der Technologie der künstlichen Intelligenz und in Tools wie ChatGPT (KI-Modelle). Sie können bis zu einem Wort lang sein oder aus wenigen Zeichen bestehen, einschließlich Leerzeichen. Wie Token gezählt werden, hängt auch von der Sprache des Benutzers ab.
Wie bekannt, arbeitet ChatGPT am besten mit der englischen Sprache zusammen, so dass sich die Art und Weise, wie es Token zählt, erheblich unterscheidet, wenn wir mit ihm in einer anderen Sprache kommunizieren wollen. Wenn wir zum Beispiel sehen wollen, wie ein bestimmtes Textfragment mit Hilfe von Tools wie Tokenizer von OpenAI in Token aufgeteilt wird, können wir folgendes beobachten:
Anfrage auf Deutsch: Wie schreibt man ein Gedicht?
Anfrage auf Englisch: How to write a poem?
Die erste Anfrage in deutscher Sprache wurde wie folgt aufgeteilt:
- Wie
- _sch (mit einem Leerzeichen)
- re
- ibt
- _man
- _ein
- _Ged
- icht
- ?
Damit haben wir insgesamt neun Token und 29 Zeichen.
Im Gegensatz dazu besteht die gleiche Anfrage im Englischen aus den folgenden Token:
- how
- _to
- _write
- _a
- _poem
- ?
Dieser Satz besteht aus sechs Token und 20 Zeichen.
Wie Sie sehen können, haben wir in diesem Fall drei Token mit demselben Befehl, aber in Englisch, eingespart. Das mag nicht viel erscheinen, aber ChatGPT wird in der Regel verwendet, um eine große Menge an Text zu verarbeiten, so dass solche scheinbar kleinen Unterschiede schnell zu hohen Kosten führen können.
Nach den von OpenAI vorgelegten Berechnungen entspricht ein Token im Englischen vier Zeichen, und folglich entsprechen 100 Token ungefähr 75 Wörtern.
Die Bedeutung von AI-Tokens und ihr Einfluss auf die Kosten
Token spielen eine sehr wichtige Rolle bei der Nutzung von KI-Tools. Letztlich werden die Kosten, die Ihnen bei ihrer Nutzung entstehen, auf der Grundlage der Token berechnet. Sie sind so etwas wie eine AI-Währung. Deshalb lohnt es sich, ein paar Elemente, die die Anzahl der Token beeinflussen, genauer zu betrachten.
Sprache
Wie bereits erwähnt, kann sich die Sprache deutlich auf die Anzahl der Token und die Kosten für die Nutzung eines Chatbots auswirken. Interessanterweise zählt der Tokenizer bei deutschen Zeichen mit diakritischen Zeichen wie ä, ü und ö diese als ein Token. Bei einer Sprache wie Polnisch und ihren Buchstaben wie ł, ś, ć, und wenn sie in Großbuchstaben geschrieben werden, werden sie jedoch als Sonderzeichen behandelt und als zwei Token gezählt.
Eingangs- und Ausgangslänge
Denken Sie daran, dass die endgültigen Kosten nicht nur die Anzahl der in den Eingabedaten enthaltenen Token umfassen. Das bedeutet, dass die Gesamtkosten aus Ihrem Input bestehen: der Aufforderung und dem Kontext (das können zusätzliche Textfragmente sein, die in einen Chatbot hochgeladen werden, oder die Anweisungen, die der Bot befolgen muss) und dem Output — der vom System generierten Antwort.
Außerdem sieht die Situation manchmal so aus: Die Eingabe ist sehr detailliert und dementsprechend lang, und die Antwort des Systems ist kurz. Sie müssen die Eingabe manipulieren, damit sich die generierte Antwort lohnt.
Wenn Sie die Abhängigkeiten zwischen diesen drei Parametern verstehen, können Sie die Kosten effizient verwalten und optimieren.
Token-Grenzen
Darüber hinaus haben Textgeneratoren wie ChatGPT ein eingebautes Limit für Token (4069). Wenn Sie diese Grenze überschreiten, müssen Sie Ihre Eingaben kürzen oder Fragmente einer Unterhaltung löschen. Die zweite Lösung kann jedoch dazu führen, dass der Bot wesentliche Kontextelemente verliert und seine Antworten von geringerer Qualität sind.
Kostenmanagement — nützliche Tipps
Das Management der Kosten, die mit der Interaktion zwischen dem Benutzer und generativen KI-Systemen verbunden sind, erfordert ein ausgewogenes Verhältnis zwischen der Länge Ihres Inputs und Ihres Outputs. Was können Sie also tun, um das meiste für den niedrigsten Preis zu bekommen?
AI-Token — Tipps und Tricks
Seien Sie prägnant und präzise.
Kurze Aufforderungen führen nicht nur zu einer höheren Anzahl von Token, sondern auch zu zufriedenstellenderen Antworten. Überlegen Sie daher sorgfältig, wie Sie Ihre Aufforderungen gestalten, und entscheiden Sie, wie viel Kontext ausreicht, um die besten Ergebnisse zu erzielen. Außerdem gilt: Je weniger Token Sie in Ihrer Eingabe verwenden, desto mehr bleibt für die Generierung der Ausgabe übrig.
Denken Sie auch daran, dass es einige eindeutige Zeichen gibt, die ChatGPT nicht in die Kosten einbezieht, z. B. „<|endoftext|>“, das das Ende des Textes oder eines bestimmten Fragments signalisiert, aber es gibt auch einige wie „\n“, die der Standardzählung unterliegen. Was bedeutet das alles? Es lohnt sich, mit Token zu experimentieren und im Internet nach hilfreichen Ratschlägen zu suchen.
Achten Sie auf die Sprache, die Sie verwenden.
Die Grammatik der verschiedenen Sprachen kann sich grundlegend unterscheiden. Ob Sie sich entscheiden, Prompts auf Englisch, Deutsch oder Polnisch zu erstellen, hat erhebliche Auswirkungen darauf, wie das System Token zählt. Deshalb müssen Sie sich dieser Unterschiede bewusst sein und die Option wählen, die Ihnen in Bezug auf die Kosten Vorteile bringt und Ihrem Anwendungsfall entspricht.
Denken Sie an die Token-Grenzen.
Es ist sehr leicht, sich unbemerkt in ein langes Gespräch mit einem Bot zu verwickeln, und ehe man sich versieht, hat man alle seine Token verloren. Es gibt einige Möglichkeiten, wie Sie dieses Problem vermeiden können. Die erste ist, frühere Nachrichten zu löschen, aber Sie müssen wissen, dass Sie dabei den Kontext verlieren. Eine bessere Lösung ist es, die wichtigsten Punkte des Gesprächs zusammenzufassen und dann die älteren Nachrichten zu löschen. Sie können auch einen anderen Ansatz wählen und den Bot mit Hilfe von Systemmeldungen anweisen, wie er antworten soll. Auf diese Weise können Sie Token und Zeit für die Korrektur der Chatbot-Ausgaben sparen.
Wählen Sie das entsprechende Sprachmodell.
Die Kosten für die Token hängen von dem Sprachmodell ab, das Sie verwenden möchten. OpenAI hat bereits einige Versionen von ChatGPT veröffentlicht: ChatGPT Legacy, ChatGPT-3.5 Turbo, ChatGPT-4, und ChatGPT-4 Turbo. Die Wahl des geeigneten Modells hängt von den Zielen ab, die Sie zu erreichen versuchen. Wenn Sie aus irgendeinem Grund keine sehr hohe Qualität der Bot-Antworten benötigen, dann sind ältere Versionen des Sprachmodells möglicherweise ausreichend für Sie. Diese Modelle unterscheiden sich durch die Qualität der generierten Inhalte und den Preis, den Sie für ein Token zahlen müssen.
Es lohnt sich auch, über Tools Bescheid zu wissen, die Ihnen helfen, die Kosten der Chatbot-Nutzung vorherzusagen. Für ChatGPT sind das der oben erwähnte Tokenizer und eine praktische Python-Bibliothek namens Tiktoken. Dank dieser Tools können Sie die Kosten für Ihre Eingaben abschätzen und entscheiden, ob eine bestimmte Konversation in mehrere Segmente aufgeteilt werden sollte.
AI-Tokens. Was sind AI-Tokens? Zusammenfassung
Im Kontext der generativen künstlichen Intelligenz sind AI-Token eine Texteinheit, die die Kosten bestimmt, die der Benutzer bei der Nutzung von ChatGPT zahlt. Die Anzahl der Token hängt von der grammatikalischen Struktur der Sprache ab und ist dementsprechend unterschiedlich.
Das Verständnis der Funktionsweise von AI-Tokens ist für die effiziente Nutzung von Sprachmodellen unerlässlich. Die Fähigkeit, sie zu zählen, ist entscheidend für die Optimierung der Kosten und den bestmöglichen Einsatz von Tools wie ChatGPT. Eine geschickte Verwaltung von AI-Tokens ermöglicht es Ihnen, die Kosten zu kontrollieren und sicherzustellen, dass Sie die vorgegebenen Grenzen problemlos einhalten können.
