Что такое токены и стоимость LLM-запроса
Простое объяснение токенов, входных и выходных токенов, стоимости API и причин погрешности браузерных калькуляторов.
Токен — это единица текста, которую языковая модель использует для чтения и генерации ответа. Один токен не равен одному символу или слову. В английском тексте токен часто похож на часть слова, в русском тексте соотношение может быть другим. Поэтому оценка по количеству символов всегда приблизительная.
Стоимость API обычно считается отдельно для input и output токенов. Input — это системная инструкция, история, контекст и запрос пользователя. Output — ответ модели. Если ответ длиннее запроса, стоимость может заметно вырасти даже при коротком промпте.
Для предварительного бюджета достаточно ориентировочного счетчика: он помогает сравнить варианты промпта, оценить месячный объем и понять порядок расходов. Для точного биллинга нужно смотреть фактическое usage-поле ответа API конкретного провайдера.
Связанные страницы
Основной инструментВсе инструментыКак подготовить ответ ChatGPT для TelegramОшибки MarkdownV2 в Telegram и как их исправитьJSON и JSONL: в чем разница и когда что использоватьКак проверить CSV перед загрузкой в системуКак проверяются ИНН, СНИЛС и ОГРН по контрольным суммамЛокальные браузерные инструменты: что значит «данные не уходят на сервер»
Вопросы и ответы
Какой инструмент использовать после чтения статьи?
Основной инструмент для этого сценария: Что такое токены и стоимость LLM-запроса. Ссылка есть в начале и конце страницы.
Данные из примеров отправляются на сервер?
Нет, примеры в статье статичны. Рабочие инструменты DDNN выполняют обработку в браузере, но на сайте подключена Яндекс.Метрика.
Можно ли применять инструкцию к рабочим данным?
Да, но для чувствительных данных используйте доверенное устройство и учитывайте ограничения, описанные в privacy.
Где посмотреть похожие инструменты?
Откройте каталог инструментов DDNN или ссылки в блоке после статьи.