Модели работают с текстом, разбивая его на фрагменты — токены. Один токен может быть:
- частью слова (например, «техно» + «логия»);
- целым коротким словом (например, «кот»);
- символом или знаком препинания.
В среднем 1 000 токенов ≈ 750 слов на русском или английском языке.
Приведенные значения приблизительны и предназначены для общего представления о расходах. Каждая модель использует собственный токенизатор с уникальной логикой разбиения текста
Токены тарифицируются как на входе, так и на выходе. Например, если ваш запрос содержит 20 токенов, а ответ от модели — 30 токенов, то всего будет списано 50 токенов из доступной квоты.
Определить оптимальное количество токенов, необходимое для вашего агента, можно только в процессе работы, понаблюдав за динамикой потребления.
Была ли статья полезна?
Ваша оценка очень важна
Пока нет комментариев