ColdHost AICo jsou tokeny v AI a jak s nimi šetřit
Tokeny určují, kolik textu AI zpracuje a kolik limitu spotřebujete. Vysvětlujeme, co token je, proč čeština stojí víc a jak tokeny šetřit.
U AI asistentů se často mluví o tokenech: limity, ceny i velikost kontextu se udávají v nich. Kdo rozumí tomu, co token je, dokáže s AI pracovat levněji a efektivněji.
Co je token
Token je kousek textu, se kterým model pracuje. Nejde přesně o slovo ani o znak – je to výsledek tzv. tokenizace, která text rozdělí na časté úseky. Krátké běžné anglické slovo bývá jeden token, delší nebo méně časté slovo se rozdělí na několik částí.
Zjednodušeně:
- anglický text: orientačně kolem 4 znaků na token,
- čeština a další jazyky s diakritikou: obvykle víc tokenů na stejné množství textu, protože tokenizéry bývají optimalizované hlavně na angličtinu,
- kód: záleží na jazyce a odsazení; mezery, závorky a speciální znaky také spotřebovávají tokeny.
Přesný počet závisí na konkrétním tokenizéru, proto berte tato čísla jako hrubý odhad.
Vstupní a výstupní tokeny
Každá výměna s AI spotřebuje:
- vstupní tokeny – váš prompt, přílohy a celá předchozí historie konverzace, kterou model při každé odpovědi znovu „čte“,
- výstupní tokeny – text, který AI vygeneruje.
Ten první bod je klíčový: dlouhá konverzace znamená, že každá další zpráva je dražší, protože model zpracovává i vše předtím.
Jak tokeny počítá ColdHost AI
Limity jsou nastavené v tokenech na den a měsíc, s viditelným časem resetu. Různé modely mají různý násobek:
| Model | Charakter | Spotřeba |
|---|---|---|
| Frost | rychlý | 0,5× tokenů |
| Glacier | vyvážený | 1× |
| Polaris | hluboké přemýšlení | 3× |
Volba modelu je tedy největší páka na úsporu.
10 tipů, jak šetřit tokeny
- Vyberte správný model. Překlad, oprava gramatiky nebo jednoduchý dotaz zvládne Frost. Polaris si nechte na složité úlohy.
- Začněte novou konverzaci pro nové téma. Stará historie se jinak táhne s každou zprávou.
- Nevkládejte celé soubory, když stačí část. U chyby v kódu vložte relevantní funkci a chybovou hlášku, ne celý projekt.
- Zkracujte logy. Místo 2000 řádků logu vložte posledních 50 kolem chyby:
journalctl -u nginx --since "10 min ago" | tail -n 50
grep -n -B5 -A5 "ERROR" app.log | tail -n 60
- Řekněte, jak dlouhou odpověď chcete. „Odpověz stručně, max. 5 odrážek.“
- Žádejte jen změny, ne celý soubor. „Ukaž jen upravenou funkci“ místo přepisu 400 řádků.
- Shrňte dlouhou konverzaci. Požádejte o shrnutí stavu a pokračujte v nové konverzaci s ním.
- Využijte vlastní instrukce místo opakování stejného kontextu v každé zprávě – stejně se posílají, ale nemusíte je psát a jsou stručné.
- Neopakujte celý prompt při opravě. Napište jen, co změnit.
- Vyhněte se zbytečné zdvořilosti v dlouhých promptech – ne kvůli AI, ale kvůli délce. Krátké „díky“ nic nestojí, odstavec úvodu ano.
Jak odhadnout spotřebu
Pro představu: delší e-mail (300 slov) je řádově několik stovek tokenů. Kniha je stovky tisíc. Pokud do konverzace přiložíte 50stránkové PDF a pak se na něj ptáte desetkrát, model ho zpracuje při každé odpovědi znovu.
Pro vývojáře, kteří chtějí počty tokenů měřit přesně, existují knihovny tokenizérů. Například pro tokenizéry rodiny GPT jde o knihovnu tiktoken:
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
text = "Příliš žluťoučký kůň úpěl ďábelské ódy."
print(len(enc.encode(text)))
Různé modely ale používají různé tokenizéry, takže výsledek je jen orientační.
Kdy nešetřit
Šetření nemá smysl tam, kde ubírá kvalitu. Pokud AI chybí kontext, odpoví špatně a vy spotřebujete víc tokenů na opravy. Platí tedy: dejte AI všechno potřebné, ale nic navíc.