Jeśli z zainteresowaniem śledzisz rozwój narzędzi artificial intelligence (AI) lub sam jesteś ich użytkownikiem, to z pewnością natknąłeś się na ten termin – AI tokens. I nie, nie mówimy tu o tokenach stosowanych w kryptowalutach (w odniesieniu do terminów takich jak AI coins czy crypto coins).
W kontekście tego artykułu tokeny to nic innego jak jednostki, które umożliwiają podliczenie kosztu korzystania z modeli językowych takich jak ChatGPT. Ale to nie wszystko, pomagają również określić długość inputu i outputu, które są jednakowo ważne przy ostatecznym podliczeniu ceny za korzystanie z modelu AI.
Brzmi skomplikowanie? Nie martw się, wcale tak nie jest. Jeśli nadal zmagasz się ze zrozumieniem, z czym tak właściwie powinno się jeść tokeny AI to, w tym artykule wyjaśnimy co to takiego i jak AI tokens wpływają na koszt użytkowania generatywnych AI.
Audytujemy. Badamy. Projektujemy.
Co to tokeny AI?
Tokeny w odniesieniu do technologii artificial intelligence i narzędzi takich jak ChatGPT (AI models) to jednostki tekstu. Tokeny mogą być tak długie jak jedno słowo lub składać się z dosłownie kilku znaków wliczając w to spacje. To jak tokeny są liczone, zależy także od tego, jakim językiem posługuje się użytkownik.
Jak wiadomo ChatGPT najlepiej pracuje w parze z językiem angielskim, dlatego też to jak liczy on tokeny, diametralnie się różni w przypadku gdy chcemy komunikować się z nim w innym języku. Na przykład, kiedy chcemy zobaczyć, jak dany fragment tekstu zostanie podzielony na tokeny za pomocą takich narzędzi jak Tokenizer od OpenAI możemy zaobserwować następującą zależność:
Polecenie w języku polskim: Jak napisać wiersz?
Polecenie w języku angielskim: How to write a poem?
Pierwsze polecenie w języku polskim zostało podzielone na następujące tokeny:
- jak
- _nap (ze spacją)
- isa
- ć
- _w
- iers
- z
- ?
To w sumie daje nam osiem tokenów i 19 znaków.
Z kolei to samo polecenie w języku angielskim składa się z następujących tokenów:
- how
- _to
- _write
- _a
- _poem
- ?
To zdanie liczy już tylko sześć tokenów i 20 znaków.
Jak widzisz, w tym przypadku zaoszczędzaliśmy dwa tokeny na tym samym poleceniu, ale napisanym po angielsku. Może to wydawać się niezbyt dużo, ale zwykle ChatGPT jest wykorzystywany do procesowania dużej ilości tekstu, więc takie pozornie małe różnice bardzo szybko mogą przełożyć się na duże koszta.
Według obliczeń podawanych przez OpenAI jeden token równa się czterem znakom w odniesieniu do języka angielskiego, a co za tym idzie 100 tokenów to mniej więcej 75 słów.
Znaczenie tokenów AI i ich wpływ na koszt
Tokeny odgrywają bardzo ważną rolę w używaniu narzędzi AI. W końcu koszt, jaki poniesiesz w trakcie ich stosowania, jest obliczany na ich podstawie. Są jak AI waluta. Dlatego warto przyjrzeć się kilku składowym, które mają wpływ na liczbę tokenów.
Język
Jak wspomnieliśmy powyżej, język może odczuwalnie wpłynąć na liczbę tokenów i na to ile zapłacisz za korzystanie z chatbota. W przypadku języka takiego jak polski, tokeny mogą zostać policzone za znaki specjalne takie jak ś, ć, ł. System będzie je liczył jako osobny token bądź w niektórych sytuacjach nawet jako dwa osobne tokeny („Ś” w słowie Świetny będzie policzone jako dwa tokeny).
Długość inputu i outputu
Trzeba pamiętać, że finalny koszt nie składa się tylko z ilości tokenów, jaką zawiera twój input. To znaczy, na końcowy koszt składa się twój input, czyli prompt, kontekst (mogą to być dodatkowe fragmenty tekstu załadowane do chatbota, właśnie na potrzeby kontekstu czy instrukcje, jakich bot ma się trzymać) i output, czyli odpowiedź, jaką wygeneruję system.
Co więcej, czasami sytuacja wygląda tak, że input jest bardzo szczegółowy i co za tym idzie — długi, a odpowiedź systemu — krótka. Musisz tak manipulować inputem by był warty wygenerowanej odpowiedzi.
W związku z powyższym, zrozumienie zależności między tymi trzema parametrami pozwoli ci na sprawne zarządzanie kosztami i ich optymalizację.
Limit tokenów
Co więcej, generatory tekstu takie jak ChatGPT mają wbudowany limit tokenów (4096). Przekroczenie tego limitu sprawi, że będziesz musiał skrócić swój input lub usunąć fragmenty konwersacji. Jednak to drugie rozwiązanie może sprawić, że bot straci ważne elementy kontekstu i generowane przez niego odpowiedzi będą jakościowo gorsze.
Zarządzanie kosztami — przydatne wskazówki
Zachowanie równowagi między wielkością twojego inputu i outputem jest niezbędne do zarządzania kosztami związanymi z interakcją z systemami generatywnych AI. Co więc możesz zrobić, żeby zyskać jak najwięcej za jak najniższą cenę?
Tokeny AI — porady i wskazówki
Bądź zwięzły i precyzyjny.
Krótkie prompty nie tylko wpłyną na korzystniejszą liczbę tokenów, ale także pozwolą ci na uzyskanie bardziej zadowalających wyników. Dlatego dobrze przemyśl konstrukcję swoich promptów i zdecyduj, jaka ilość kontekstu będzie wystarczająca, by uzyskać jak najlepsze efekty. Dodatkowo im mniej tokenów zużyjesz w swoim inputcie tym więcej pozostanie ich do wygenerowania outputu.
Pamiętaj także, że istnieją specjalne tokeny, które ChatGPT nie wlicza w koszta, jest to na przykład „<|endoftext|>” sygnalizujący koniec tekstu czy danego fragmentu, ale są też takie jak „\n”, które podlegają standardowemu podliczeniu. Co z tego wynika? Mianowicie to, że warto eksperymentować z tokenizacją i szukać przydatnych porad online.
Zwracaj uwagę na język, którym się posługujesz.
Gramatyka różnych języków potrafi się od siebie diametralnie różnić. To czy zdecydujesz się tworzyć prompty w języku polskim, angielskim czy niemieckim znacząco wpłynie na to jak system będzie liczyć tokeny. Dlatego musisz być świadomy tych różnic i wybrać opcję, która nie tylko będzie dla ciebie korzystniejsza w kwestii kosztów, ale także będzie pasować do twojego przypadku użycia.
Pamiętaj o limicie tokenów.
Bardzo łatwo jest zatracić się w długiej rozmowie z botem i zanim zdążysz się obejrzeć, wystukasz limit tokenów. Jest kilka sposobów, które pomogą ci uniknąć tego problemu. Pierwszy to usuwanie poprzednich wiadomość jednak trzeba się tu liczyć z utratą kontekstu. Lepszym wyjściem wydaje się podsumowanie najważniejszych punktów rozmowy i dopiero potem usunięcie starszych wiadomości. Możesz obrać też inne podejście i wykorzystać wiadomości systemowe do poinstruowania bota, w jaki sposób ma odpowiadać. Pozwoli ci to zaoszczędzić tokeny i czas spędzony na poprawianiu outputu chatbota.
Wybierz odpowiedni model językowy.
Kosz tokenów zależy także od modelu językowego, jakiego chcesz użyć. OpenAI wypuściło już kilka wersji ChatGPT: ChatGPT Legacy, ChatGPT-3.5 Turbo, ChatGPT-4, ChatGPT-4 Turbo. Wybór odpowiedniego modelu zależy od celów, jakie próbujesz osiągnąć. Jeśli z jakichkolwiek powodów nie potrzebujesz, żeby odpowiedzi bota były bardzo wysokiej jakości wtedy starsze wersje modelu językowego mogą ci w zupełności wystarczyć. Modele te różnią się nie tylko jakością generowanego kontentu, ale też ceną, jaką musisz zapłacić za jeden token.
Warto także wiedzieć o istnieniu narzędzi, które pomogą ci przewidzieć koszt użytkowania chatbota. Dla ChatGPT jest to wspomniany Tokenizer i bardzo przydatna biblioteka Python funkcjonująca pod nazwą Tiktoken. Dzięki tym narzędziom będziesz w stanie oszacować koszt twojego inputu i zdecydować czy na przykład dana konwersacja nie powinna zostać podzielona na kilka segmentów.
AI tokens. Czym są tokeny AI? Podsumowanie
Tokeny AI w kontekście generative artificial intelligence są jednostką tekstu, która określa koszt, jaki się ponosi podczas korzystania, na przykład, z ChatGPT. Tokeny są zależne od gramatycznej struktury języka, dlatego ich ilość będzie się odpowiednio różnić.
Zrozumienie zasad działa tokenów AI jest niezwykle ważne dla wydajnego korzystania z modeli językowych. Umiejętność ich liczenia jest kluczowa dla optymalizacji kosztów i jak najlepszego wykorzystania narzędzi pokroju ChatGPT. Umiejętne zarządzanie tokenami AI nie tylko pozwoli ci na kontrolowanie kosztów, ale też sprawi, że będziesz bez problemu mieścił się w nałożonych limitach.
