Расходы на токены LLM: что экономят кэш, сжатие контекста, batch и дешёвая модель

Коротко (TL;DR)

Главный рычаг экономии — prompt caching: повторный кусок запроса (инструкции, описания инструментов, история) провайдер берёт из кэша в 10–40 раз дешевле обычного входа. Второй — не отправлять лишнее: сжатие контекста, лимит ответа и рассуждений. Третий — платить меньше за токен: пакетный режим (−50%) и более дешёвая модель там, где она справляется.

Что важно знать на 23 октября 2026 года:

• Счёт агента — это в основном вход, а не ответ. В нашем прогоне Claude Code отправил 66 301 токен ради вопроса из пяти слов; второй такой же запрос стоил в 3,3 раза дешевле — только за счёт кэша.
• Кэш не бесплатный. Запись в кэш у Anthropic стоит 1.25x или 2x входа, а у OpenAI с GPT-5.6 — тоже платная (1.25x или 2.5x). Топ выдачи до сих пор считает запись бесплатной, это устарело.
• Сжатие экономит окно, но может сломать кэш. Каждая очистка старых результатов инструментов — новая запись в кэш.
• pxpipe — открытый прокси, который переводит старый контекст в картинки. Автор заявляет ~59–70% экономии, но это его нагрузка и цены Fable 5, а точные строки (хэши, ID) модель после картинки иногда читает неверно — без предупреждения.
• Batch (ответ до 24 часов) и Flex (синхронно, но медленнее) дают −50% тем задачам, которые могут подождать.
• Дешёвая модель — Claude Haiku 5.5 в 40 раз дешевле Opus 5.5 на входе, но только пока промпт не больше 100 000 токенов.

Ниже — из чего складывается счёт, как замерить расход у себя, условия кэша у трёх провайдеров, пошаговое включение, сжатие, разбор pxpipe и сводная таблица «что внедрять первым».

Из чего складывается счёт за токены LLM: вход, выход и рассуждения

Счёт за LLM (большую языковую модель) по API складывается из четырёх строк: входные токены, выходные токены, запись в кэш и чтение из кэша. Токен — кусок текста примерно в 3–4 символа английского текста (русский дробится мельче); провайдер считает их отдельно для того, что вы отправили, и для того, что модель ответила.

доля, а не целая акция

Binance · Wall Street 24/7Доля Nvidia — от7 USDTЦелую акцию покупать не нужно. Начните с маленькой суммы — риск под контролем

NVDATSLAAAPL

Первая сделка за 5 шагов

Вход — всё, что модель видит в запросе: системные инструкции, описания инструментов, история диалога, файлы. Объём входа ограничен контекстным окном — «рабочим столом» модели. Модель не помнит прошлые запросы, поэтому агент отправляет всю историю заново на каждом шаге. Отсюда главный парадокс: короткий вопрос в долгой сессии может стоить как десяток страниц текста.

Blume: сайт документации из папки Markdown, который читают люди и ИИ-агенты

Библиотеки промптов для картинок и видео: MeiGen и ещё 8 сервисов в сравнении

Эмбеддинг-модели для RAG: Nemotron 3 Embed, EmbeddingGemma 2 и выбор по вашим данным

Разобраться в чужом репозитории с ИИ: агент, автовики, карта кода и запуск

Стоимость ИИ-агента под контролем: Langfuse видит цену шага, LiteLLM ставит лимит

Выход — ответ модели. Он дороже входа в 5–6 раз. Рассуждения (скрытые «черновики» reasoning-моделей) оплачиваются как выход: так прямо пишут и OpenAI, и Google в прайсе Gemini («Output price (including thinking tokens)»).

Цены за 1 млн токенов на 23 октября 2026 года

Источники — официальные прайсы Anthropic, OpenAI и Google на 23.10.2026. Цены этого рынка меняются ежемесячно, поэтому перед расчётом бюджета сверяйтесь с прайсом провайдера.

Четыре ловушки, которые раздувают счёт незаметно

• Порог 100K у Haiku 5.5. Запрос с промптом больше 100 000 токенов оплачивается по $0.50/$2.50 — в 5 раз дороже. В порог входят и чтение, и запись кэша: закэшированная история от надбавки не спасает.
• Надбавка за длинный запрос у GPT-5.6. Если вход больше 272K токенов, весь запрос идёт по 2x цене входа и 1.5x цене выхода.
• Новый токенизатор Claude. Модели Claude 4.7 и новее режут тот же текст примерно на 30% больше токенов, чем прежние. Сравнивать «цену за токен» старой и новой модели в лоб нельзя.
• Fast mode. Быстрый режим Opus 5.5 стоит $8/$40 — вдвое дороже обычного и не работает с пакетным режимом.

Замер до экономии: сколько токенов съедает один запрос агента

Прежде чем экономить, нужно увидеть, что именно едет в каждом запросе. Мы проверили это на Claude Code — консольном агенте Anthropic. Это один прогон 23 октября 2026 года, иллюстрация масштаба, а не статистика: у вашего проекта цифры будут другими.

Команда была такой: claude -p "Ответь одним словом: ок" --model haiku --output-format json. Флаг --output-format json заставляет Claude Code вернуть поля usage и total_cost_usd — сколько токенов ушло и во что это обошлось. Модель — Claude Haiku 5.5. Два запуска подряд сделаны в рабочем проекте с большим файлом инструкций и ещё два — в пустой папке.

Что из этого следует:

1. Обвязка агента стоит ~23–25 тыс. токенов на каждый запрос — системный промпт Claude Code и описания его инструментов. Это есть даже в пустой папке.
2. Инструкции и память проекта добавили ещё ~41–45 тыс. В нашем случае это большой CLAUDE.md — файл, который агент читает при каждом старте. Подключённые MCP-серверы в Claude Code добавляют сюда описания своих инструментов.
3. Второй запуск дешевле первого в 3,3 раза ($0.0111 → $0.0034). Модель та же, вопрос тот же — разница только в том, что большая часть входа во второй раз прочитана из кэша, а не записана в него.
4. Claude Code сам пишет кэш на 1 час (в usage видно ephemeral_1h). По прайсу это 2x цены входа.

Пересчёт по прайсу Haiku 5.5 совпал с total_cost_usd точно: 54 965 токенов записи по $0.20 за 1 млн плюс 11 334 токена чтения по $0.01 дают $0.0111.

GOLD · XAUSILVER · XAG

Binance · Wall Street 24/7Золото без сейфа и слитковXAUТоргуйте ценой золота на Binance круглосуточно, с маленькой суммы

GOLDSILVER

Рассчитать сделку

Наш расчёт поверх замера: без кэша те же 66 301 токен по $0.10 стоили бы около $0.0066. Значит, первый запрос с кэшем дороже, чем без него, в 1,7 раза (часть обвязки уже лежала в кэше; при полностью холодном старте — вдвое), а со второго — уже вдвое дешевле. Кэш окупается не сразу, а на повторах. И ещё одно следствие: 66 тыс. из 100 тыс., после которых Haiku 5.5 дорожает впятеро, съедены до того, как вы что-то спросили.

Как замерить расход у себя: пять шагов

1. Посчитайте токены до отправки. У Anthropic подсчёт токенов (count_tokens) бесплатный, ограничен только лимитом запросов в минуту. Так видно, сколько весит системный промпт и история, не тратя денег.
2. Читайте поля usage в каждом ответе. У Claude — cache_creation_input_tokens и cache_read_input_tokens, у OpenAI — cached_tokens и cache_write_tokens в деталях входа (запись теперь тоже платная). Если чтение всегда ноль, кэш не работает.
3. Разложите вход на части. Обвязка, инструкции проекта, инструменты, история, файлы. Обычно один-два блока дают большую часть счёта.
4. Посчитайте цену принятого результата, а не токена. Дешёвая модель, которая ошибается в каждом третьем ответе и требует повтора, может выйти дороже.
5. Запишите базовую линию. Без цифры «до» невозможно понять, что дала каждая следующая мера.

Что такое prompt caching и почему повтор в 10–40 раз дешевле

Prompt caching — это когда провайдер запоминает обработанное начало вашего запроса и при следующем запросе с тем же началом не считает его заново, а берёт из кэша по сниженной цене. Работает только на точном совпадении начала (префикса): изменился хоть один символ в середине — всё, что после него, считается заново.

Аналогия: переводчику каждый раз приносят договор на 50 страниц и одну новую строку внизу. Без кэша он читает все 50 страниц заново. С кэшем у него закладка: первые 50 страниц он уже разобрал и сразу переходит к новой строке. Технически провайдер сохраняет не текст, а промежуточное состояние модели после обработки этого префикса.

Почему «в 10–40 раз»: чтение кэша у Anthropic стоит 0.1x цены входа, у Opus 5.5 и Sonnet 5.5 — 0.05x, у Fable 5.1 — 0.025x. То есть повторный токен дешевле обычного в 10, 20 и 40 раз соответственно.

Но первая запись дороже обычного входа: 1.25x при сроке жизни 5 минут и 2x при сроке 1 час. Поэтому, по прайсу Anthropic, кэш окупается после одного чтения для 5-минутного варианта и после двух — для часового.

Кэш в сессии агента на Opus 5.5: $12 без кэша против $0.89

Возьмём типичную сессию агента: 50 запросов, в каждом один и тот же стабильный префикс на 60 000 токенов (инструкции, инструменты, начало истории). Цены Opus 5.5 на 23.10.2026: вход $4, запись кэша на 5 минут $5, на 1 час $8, чтение $0.20 за 1 млн. Считаем только префикс — новые реплики и ответы одинаковы во всех вариантах.

Условие для 5-минутного варианта: пауза между запросами меньше 5 минут, иначе запись протухнет и придётся платить за неё снова. Срок жизни у Anthropic считается от начала запроса, который записал или прочитал кэш, а не от конца ответа. Если агент думает над шагом долго, надёжнее часовой кэш: он дороже на записи, но не сгорает между шагами.

Prompt caching у Claude, OpenAI и Gemini: цены, сроки и минимумы

У трёх провайдеров кэш работает по одной идее, но условия разные: кто берёт деньги за запись, сколько живёт кэш и с какой длины запроса он вообще включается. Сводка на 23 октября 2026 года:

Кэш Claude: автоматический режим и до 4 меток

У Anthropic два способа. Автоматический — одно поле cache_control на верхнем уровне запроса: система сама ставит метку на последний кэшируемый блок и двигает её вперёд по мере роста диалога. Явный — до 4 меток cache_control на конкретных блоках, когда нужен точный контроль.

На кадре — страница цен Anthropic, снята 23.10.2026; рамкой выделена таблица множителей кэша. Обратите внимание на третью строку: базовое «0.1x» у новых моделей уже не действует — у Fable 5.1 чтение стоит 0.025x, у Opus 5.5 и Sonnet 5.5 — 0.05x. Конкуренты в выдаче до сих пор считают по 0.1x.

Две тонкости из документации. Префикс собирается в порядке «инструменты → система → сообщения», поэтому смена списка инструментов ломает кэш всего, что после них. И система ищет прошлую запись не дальше чем на 20 блоков назад от метки: если за один ход диалог вырос на 20 блоков и больше, попадания не будет — нужна вторая метка ближе к началу.

Кэш OpenAI: с GPT-5.6 запись стала платной

Главное изменение, которого нет у конкурентов в выдаче: с GPT-5.6 OpenAI берёт деньги за запись в кэш — 1.25x цены входа при сроке 30 минут и 2.5x при сроке 12 часов (срок 12 часов выбирается в Responses API). Чтение — 0.1x, у GPT-6.1 Sol — 0.05x.

OpenAI сам приводит арифметику: на десяти запросах одна запись и девять чтений стоят 2.15x цены входа вместо 10x без кэша. Префикс, который больше не повторится, теперь обходится дороже, чем без кэша вовсе.

Два практических следствия. Первое: в режиме только явных меток (explicit-only) текущий вопрос остаётся после последней метки и не оплачивается как запись — кэшируйте стабильную часть, а не всё подряд. В автоматическом режиме метка ставится в конце, и запись оплачивается вместе с вопросом. Второе: кэш живёт на конкретной машине, и при нагрузке выше 15 запросов в минуту запросы начинают уходить на другие машины, где кэша нет. С GPT-5.6 маршрутизацию по машинам OpenAI делает сам; параметр prompt_cache_key нужен только старым моделям, а на новых — для раздельного учёта кэша по клиентам.

Кэш Gemini: неявный режим и плата за хранение

У Google неявный кэш включён по умолчанию для Gemini 2.5 и новее — ничего настраивать не нужно, но запрос должен быть не короче 4 096 токенов у Gemini 3.x и 4. Совпадение префикса и скидку сервер применяет сам; проверить попадание можно по счётчику закэшированных токенов в метаданных ответа.

Явный кэш (вы сами создаёте его и задаёте срок жизни) у Gemini 4 Argon не поддерживается вовсе. У Gemini 3.8 Flash он есть, но с платой за хранение — $0.50 за 1 млн токенов в час (до 31.12.2026). Наш расчёт: кэш на 100 000 токенов хранится за $0.05 в час, а каждое чтение вместо полного входа экономит около $0.0675. Явный кэш окупается, если к нему обращаются хотя бы раз в час.

Как включить prompt caching пошагово и не терять попадания

Кэш даёт экономию только тогда, когда префикс запроса действительно не меняется от запроса к запросу. Большинство «кэш не работает» — это не баг провайдера, а дата, ID запроса или перемешанный порядок инструментов в начале промпта.

1. Переставьте статичное в начало. Порядок: описания инструментов → системные инструкции → постоянные документы → история → новый вопрос. Всё, что меняется (время, имя пользователя, ID сессии), — в конец.
2. Зафиксируйте список и порядок инструментов. У Claude инструменты стоят первыми в префиксе — добавили или переставили один, и кэш всего остального сброшен.
3. Поставьте метку на последний стабильный блок. Для Claude — cache_control на последнем блоке, который одинаков во всех запросах. Для чата хватит автоматического режима.
4. Выберите срок жизни по ритму работы. Пауза между запросами меньше 5 минут — короткий кэш Claude (1.25x). Пользователь или агент возвращается реже — часовой (2x). У OpenAI 12-часовой вариант (2.5x) имеет смысл для префикса, который используется весь день.
5. Проверьте длину префикса. Меньше 512 токенов у Claude, 1 024 у OpenAI и 4 096 у Gemini — кэша не будет.
6. Проверьте попадания по usage. Во втором запросе чтение из кэша должно быть почти равно размеру префикса. Ноль — ищите, что меняется в начале.
7. Следите за долей попаданий в бою. На моделях OpenAI до GPT-5.6 при нагрузке выше 15 запросов в минуту на одном префиксе задайте prompt_cache_key; с GPT-5.6 маршрутизацию OpenAI делает сам.

Пример запроса к Claude с одной меткой на системной инструкции:

{
  "model": "claude-opus-5-5",
  "max_tokens": 1024,
  "system": [
    {"type": "text", "text": "<большая постоянная инструкция и справочник>",
     "cache_control": {"type": "ephemeral", "ttl": "1h"}}
  ],
  "messages": [{"role": "user", "content": "Новый вопрос"}]
}

Типичная ошибка, которую документация Anthropic разбирает отдельно: метка стоит на блоке, где есть отметка времени или другой меняющийся фрагмент. Тогда, по словам самой документации, вы платите за свежую запись на каждом запросе и ни разу не получаете чтения. Автоматический режим попадает в ту же ловушку, если последний блок меняется каждый раз, — в таком случае нужна явная метка на последнем неизменном блоке.

Сжатие контекста LLM: компакция, очистка инструментов и LLMLingua

Сжатие контекста LLM — это сокращение того, что модель получает на вход: старые реплики заменяют сводкой, ненужные результаты инструментов удаляют, длинный текст ужимают до сути. Кэш делает повтор дешевле, сжатие — уменьшает сам повтор. Это разные рычаги, и они иногда мешают друг другу.

Длинный контекст бьёт не только по деньгам: модель хуже работает, когда окно забито старыми данными. Об этом — в разборе контекст-инжиниринга; здесь — только о цене.

Ключевая ловушка — конфликт сжатия и кэша. Документация Anthropic прямо пишет: очистка результатов инструментов делает закэшированный префикс недействительным. После каждой очистки вы платите за новую запись в кэш (1.25–2x). Поэтому чистить выгодно редко и крупно: параметр clear_at_least задаёт минимум токенов, ради которого вообще стоит ломать кэш. Мелкие частые очистки могут увеличить счёт, а не уменьшить.

LLMLingua по заявлению авторов даёт до 20x сжатия при небольшой потере качества; её вариант LongLLMLingua в RAG-сценариях улучшал результат на 21.4%, используя четверть токенов. Это цифры из статьи и README проекта на их бенчмарках — на своих данных качество нужно проверять отдельно.

Субагенты — самый «бесплатный» с точки зрения качества способ: тяжёлое чтение уходит в отдельное окно, а основной агент получает выжимку. Как это устроено в Claude Code, разобрано в материале про субагентов Claude Code.

pxpipe: старый контекст картинкой — что заявлено и что подтверждено

pxpipe — открытый локальный прокси (MIT, TypeScript), который перед отправкой переводит объёмные части запроса в компактные PNG-картинки. Идея: стоимость картинки для модели зависит от её размеров в пикселях, а не от количества текста на ней. На плотном содержимом (код, JSON, логи) в картинку помещается больше символов на токен, чем в обычный текст.

Что именно уходит в картинки: системный промпт и описания инструментов, старая история диалога и большие результаты инструментов. Свежие реплики остаются текстом, ответ модели прокси не трогает вообще — он сжимает только запрос. Запуск — две команды:

npx pxpipe-proxy
ANTHROPIC_BASE_URL=http://127.0.0.1:47821 claude

Проекту на 23.10.2026 пять месяцев (создан 20.05.2026), у него 7 551 звезда на GitHub.

Что заявлено: $6 вместо $42 и 59–70%

Две цифры, которые гуляют по пересказам, требуют расшифровки:

• $6.06 против $42.21 — это одна демо-сессия на Fable 5, а не средняя экономия. Текстовый вариант закончил её с контекстом, заполненным на 96%, а pxpipe-варианту понадобилась подсказка, чтобы ответить в нужном формате.
• ~59–70% на полном счёте — замеры автора на его нагрузке: 59% на выборке из 13 709 запросов ($100 → ~$41) и около 70% на более поздней выборке из 8 904 запросов. Для Claude Code README называет типичные ~60–70%.

Доллары автор считает по ценам Fable 5: вход 1x, запись кэша 1.25x, чтение 0.1x, выход 5x. У Fable 5.1 чтение кэша уже 0.025x — вчетверо дешевле. Наш вывод из этого: на той части префикса, которая и так читалась из кэша, каждый сэкономленный токен на Fable 5.1 стоит вчетверо меньше денег. Основной выигрыш pxpipe остаётся на незакэшированной части и на записях. Независимых замеров экономии на момент написания нет — в выдаче только пересказы README.

Что подтверждено самим автором: где pxpipe ошибается

На кадре — раздел «The honest part» из README, снят 23.10.2026. Рамка 1 — главное ограничение: точные строки с картинки модель читает с ошибками, и ошибки эти молчаливые. Рамка 2 — инструмент проигрывает на обычной прозе.

Для GPT-5.6 Sol результат 0 из 15 снят на старой геометрии страницы; поставляемый сейчас профиль в пилоте автора прочитал точно 7 значений из 8.

Почему ошибка молчаливая: модель не распознаёт символы как OCR-программа, а «видит» картинку кусками-патчами. Когда пикселей на символ не хватает, она подставляет правдоподобное значение без всякого предупреждения. Автор описывает реальный сбой из ежедневной работы: модель уверенно назвала неверное имя человека из истории чата.

Остальные ограничения из того же README:

• Проза невыгодна. На разреженном тексте (~3.5 символа на токен) картинка дороже; встроенный «гейт выгоды» отправляет в картинку только плотное содержимое.
• Задержка. Кодирование PNG добавляет время к большим запросам.
• Мелкая проверка на задачах. На SWE-bench Pro с pxpipe решено 14 из 19 задач против 15 из 19 без него при запросах на 60% меньше. Выборка маленькая, выводы о качестве по ней делать рано.

Когда pxpipe имеет смысл: долгие сессии кодинга на Fable 5 или Gemini, где точные строки по замерам автора читаются почти без ошибок, и на Opus 5.5 — если агент перед правкой всё равно перечитывает файл. Когда нет: работа с ключами, хэшами, ID транзакций, точными цифрами из истории — такие значения автор сам советует держать текстом.

Пакетный режим и Flex: минус 50% для задач, которые могут подождать

Пакетный режим (Batch API) — это отправка запросов пачкой без ожидания ответа в реальном времени, за что все три провайдера дают скидку 50% на вход и выход. Подходит для всего, где ответ нужен «сегодня», а не «сейчас»: разметка данных, перевод каталога, ночные отчёты, прогон тестовых наборов.

У Anthropic результаты пакета хранятся 29 дней. Кэш внутри пакета работает по принципу «как получится»: запросы обрабатываются параллельно, поэтому, по данным Anthropic, доля попаданий колеблется от 30% до 98%. Скидки на кэш и на пакет складываются — отсюда расчёт ≈ $0.53 для пакета из 50 запросов с общим префиксом выше. Для пакетов Anthropic советует часовой кэш: пакет может обрабатываться дольше 5 минут, и короткая запись успеет сгореть.

Flex у OpenAI — промежуточный вариант: обычный синхронный запрос с параметром service_tier: "flex", но по ценам Batch API плюс скидка кэша. Плата за это — медленные ответы и периодическая недоступность ресурса. Подходит для оценок моделей и фоновых задач, не подходит для чата с пользователем.

Где пакетный режим не работает: интерактивные агенты и чат (пользователь ждёт), а у Anthropic — fast mode, который с Batch API несовместим.

Выбор модели и роутинг: когда дешёвая модель справляется

Самая большая разница в счёте — не в кэше, а в выборе модели: на входе Claude Haiku 5.5 дешевле Opus 5.5 в 40 раз ($0.10 против $4 за 1 млн токенов на 23.10.2026). Для классификации, извлечения полей, маршрутизации и коротких ответов топовая модель часто избыточна.

У дешёвых моделей свои ловушки. У Claude Haiku 5.5 — тот самый порог 100 000 токенов, после которого цена растёт впятеро: на длинных агентных сессиях это легко съедает выгоду. Сравнивать нужно не цену токена, а цену решённой задачи на ваших данных.

Роутинг: дешёвая модель по умолчанию, дорогая по необходимости

Роутинг — когда отдельный классификатор решает, какой модели отдать запрос. Открытый RouteLLM от LMSYS в 2024 году показал снижение стоимости на 85% на MT Bench, 45% на MMLU и 35% на GSM8K при 95% качества GPT-4. Но проект (Apache-2.0) не обновлялся с 10.08.2024: готовые роутеры обучены на моделях двухлетней давности, и порог переключения придётся калибровать на своих запросах. Простой каскад — сначала дешёвая модель, при низкой уверенности или проваленной проверке — дорогая — часто даёт сопоставимый эффект без отдельного роутера.

Снижение цены старой модели против перехода на новую

21 августа 2026 года OpenAI снизил цену GPT-5.6 Sol с $5/$30 до $4/$20 — по прайсу это промо, которое действует минимум до 21.11.2026. Но новый GPT-6.1 Sol на 23.10.2026 стоит $2/$10 — вдвое дешевле даже промо-цены старой модели. Вывод: «дождаться скидки» на старую модель обычно проигрывает переходу на новую. Чем GPT-6 Sol и Luna отличаются по качеству и где Sol дороже на длинном контексте, мы разбирали отдельно.

Лимит ответа и рассуждений: как не платить за пустой ответ

Выход дороже входа в 5–6 раз, а рассуждения reasoning-моделей оплачиваются как выход — поэтому управление длиной ответа и глубиной рассуждений даёт экономию сопоставимую с кэшем.

• Задайте глубину рассуждений. У OpenAI параметр reasoning.effort принимает значения от none и low до high и выше; по умолчанию у GPT-5.6, GPT-6.1 Sol и GPT-6 Luna стоит medium. Для извлечения полей или классификации хватает low; none есть не у всех моделей — GPT-6.1 Sol его не принимает.
• Не ставьте лимит выхода впритык. Если reasoning-модель упрётся в max_output_tokens во время рассуждений, ответ придёт со статусом incomplete — и вы, по словам OpenAI, заплатите за вход и рассуждения, не получив видимого ответа. OpenAI советует на старте экспериментов оставлять под рассуждения и ответ не меньше 25 000 токенов и уменьшать запас по мере наблюдений.
• Просите краткий формат. «Ответь JSON с полями X, Y» или «не больше трёх предложений» сокращает выход сильнее любых настроек.
• Используйте структурированный вывод. Строгая схема ответа убирает вступления и пояснения, за которые вы платите по цене выхода.

Prompt caching vs semantic caching и RAG: что выбрать под задачу

Prompt caching удешевляет повтор одинакового начала запроса, но модель всё равно вызывается и отвечает заново; семантический кэш (semantic caching) не вызывает модель вовсе, если похожий вопрос уже задавали; RAG вместо всего документа отправляет в модель только найденные куски. Это три разных инструмента, а не варианты одного.

Семантический кэш работает через эмбеддинги: вопрос превращается в вектор, и если в базе есть достаточно близкий, возвращается сохранённый ответ. Опасность — в пороге похожести. «Сколько стоит Opus 5.5» и «Сколько стоит Opus 5» близки по смыслу, но ответы разные; при мягком пороге пользователь получит чужой ответ. Подходит для FAQ-ботов с повторяющимися вопросами, не подходит для вопросов, где важна точная цифра или свежесть данных. GPTCache распространяется под MIT.

RAG нужен, когда соблазн «положить в контекст всю базу знаний»: вместо сотен тысяч токенов модель получает десяток найденных абзацев. Эти подходы складываются: стабильная инструкция — в prompt caching, повторяющиеся вопросы — в семантический кэш, большой корпус — через RAG.

12 способов снизить расходы на токены LLM: эффект, цена и риски

Порядок внедрения: сначала замер и prompt caching (дёшево и без риска для качества), затем лимиты выхода и batch, потом выбор модели и сжатие, и только в конце экспериментальные инструменты вроде pxpipe.

Практическое правило: каждую меру включайте отдельно и сравнивайте с базовой линией из замера. Если две меры включить одновременно, невозможно понять, какая из них дала экономию, а какая ухудшила ответы.

Когда экономия на токенах вредит: риски и случаи, где она не нужна

Экономия на токенах вредна там, где она меняет ответ модели или держится на цене, которая скоро изменится. Конкретные риски на 23 октября 2026 года:

• Промо-цены временные. GPT-5.6 Sol по $4/$20 — минимум до 21.11.2026; Gemini 4 Argon по $2/$10 — до 30.11.2026, с 01.12.2026 — $4/$20; Gemini 3.8 Flash дорожает вдвое с 01.01.2027. Бюджет на этих ценах может устареть через месяц.
• Молчаливые ошибки pxpipe. Хэш, ключ, ID или имя, прочитанное с картинки, может оказаться неверным без всякого сигнала. Для финансов, доступов и юридических текстов это неприемлемо.
• Прокси видит весь трафик. Любой локальный прокси между агентом и API проходит через ваши запросы целиком, включая код и ключи. Открытый код (у pxpipe — MIT) можно проверить, но это ваша ответственность.
• Платная запись кэша OpenAI. Если префикс не повторяется, кэш с GPT-5.6 делает запрос дороже, а не дешевле.
• Сброс кэша при очистке. Частая мелкая очистка контекста превращает каждый шаг агента в новую запись по 1.25–2x.
• Порог 100K у Haiku 5.5. Дешёвая модель становится в 5 раз дороже на длинном промпте, и кэш от этого не спасает.
• Устаревший роутер. RouteLLM обучен на моделях 2024 года; без перекалибровки он может отправлять трудные запросы на слабую модель.

Когда экономить не нужно вовсе: если запросов мало (десятки в день), счёт в несколько долларов в месяц не окупит время на настройку. Если задача — разовый трудный анализ, дешёвая модель с повтором и правками обойдётся дороже, чем один ответ сильной модели.

Что устареет первым: цены и промо (смотрите прайсы Anthropic, OpenAI и Google перед каждым расчётом), затем множители кэша — за 2026 год они менялись уже несколько раз, и результаты pxpipe на новых моделях.

FAQ

Сколько реально экономит prompt caching на счёте, а не только на входе?

Зависит от доли повторяющегося префикса. Если 60 000 токенов стабильного начала повторяются 50 раз за сессию, на Opus 5.5 эта часть дешевеет с $12.00 до ≈ $0.89, то есть на 93%. Ответы модели и новые реплики кэш не удешевляет, поэтому экономия на всём счёте меньше — проверяйте её по полям usage.

Нужно ли что-то включать, чтобы кэш заработал у OpenAI и Gemini?

У OpenAI кэш срабатывает автоматически на префиксе от 1 024 токенов, но с GPT-5.6 запись платная — 1.25x на 30 минут. У Gemini 2.5 и новее неявный кэш включён по умолчанию, нужен префикс от 4 096 токенов. В обоих случаях главное — держать постоянную часть промпта в начале и не менять её.

Безопасно ли пускать код и ключи через pxpipe?

Ключи, хэши и ID лучше не пускать в картинки: модель может прочитать их неверно без предупреждения — у Opus 5.5 точные строки совпали в 3 случаях из 15. Сам автор советует держать такие значения текстом. Кроме того, прокси видит весь трафик агента, поэтому код инструмента стоит проверить до установки.

Почему счёт за ИИ растёт, хотя цена токена падает?

Агенты отправляют весь контекст заново на каждом шаге, reasoning-модели тратят скрытые токены на рассуждения по цене выхода, а новый токенизатор Claude режет тот же текст примерно на 30% больше токенов. В итоге объём растёт быстрее, чем падает цена. Поэтому считать нужно расход на задачу, а не цену за миллион.

Можно ли совместить пакетный режим и кэш?

Да. У Anthropic скидки на пакет (50%) и на кэш складываются, но попадания в кэш внутри пакета не гарантированы: запросы обрабатываются параллельно, и доля попаданий, по данным Anthropic, бывает от 30% до 98%. У OpenAI режим Flex тоже работает по ценам Batch API с дополнительной скидкой кэша.

Сколько токенов тратит Claude Code на один вопрос?

В нашем прогоне 23 октября 2026 года в проекте с большим CLAUDE.md — 66 301 токен на вопрос из пяти слов: около 23–25 тыс. занимает обвязка самого Claude Code, остальное — инструкции и память проекта. Второй такой же запрос оказался в 3,3 раза дешевле благодаря кэшу. Это один прогон, у вашего проекта цифры будут другими.