Модели работают с текстом, разбивая его на фрагменты — токены. Один токен может быть:
- частью слова (например, «техно» + «логия»);
- целым коротким словом (например, «кот»);
- символом или знаком препинания.
В среднем 1 000 токенов ≈ 750 слов на русском или английском языке.
Приведенные значения приблизительны и предназначены для общего представления о расходах. Каждая модель использует собственный токенизатор с уникальной логикой разбиения текста
Токены тарифицируются как на входе, так и на выходе. Например, если ваш запрос содержит 20 токенов, а ответ от модели — 30 токенов, то всего будет списано 50 токенов из доступной квоты.
Определить оптимальное количество токенов, необходимое для вашего агента, можно только в процессе работы, понаблюдав за динамикой потребления.
Отслеживать статистику расходования токенов можно в панели управления на вкладке «Активность».
Кэширование токенов
Кэширование снижает стоимость запросов агента, у которых большая часть повторяется: системный промпт, база знаний, история диалога. Токены, прочитанные из кэша, тарифицируются по сниженной цене.
Кэширование в агентах работает автоматически, настраивать его не нужно — провайдер сам находит повторяющееся начало запроса либо мы помечаем его со своей стороны. Это касается любых провайдеров и моделей.
Принцип работы, цены на чтение и запись кэша и ограничения описаны в статье Кэширование токенов.
Кэшированные токены учитываются в дневном лимите агента в полном объеме.