Витрати на токени LLM: prompt caching, batch і вибір моделі

Коротко (TL;DR)

Головний важіль економії — prompt caching: повторний шматок запиту (інструкції, описи інструментів, історію) провайдер бере з кешу в 10–40 разів дешевше за звичайний вхід. Другий — не надсилати зайвого: стиснення контексту, ліміт відповіді та міркувань. Третій — платити менше за токен: пакетний режим (−50%) і дешевша модель там, де вона дає раду.

Коротко (TL;DR)
З чого складається рахунок за токени LLM: вхід, вихід і міркування
Замір до економії: скільки токенів з’їдає один запит агента
Що таке prompt caching і чому повтор у 10–40 разів дешевший
Prompt caching у Claude, OpenAI і Gemini: ціни, терміни й мінімуми
Як увімкнути prompt caching покроково і не втрачати влучання
Стиснення контексту LLM: компакція, очищення інструментів і LLMLingua
pxpipe: старий контекст картинкою — що заявлено і що підтверджено
Пакетний режим і Flex: мінус 50% для завдань, які можуть зачекати
Вибір моделі й роутинг: коли дешева модель дає раду
Ліміт відповіді й міркувань: як не платити за порожню відповідь
Prompt caching vs semantic caching і RAG: що обрати під завдання
12 способів знизити витрати на токени LLM: ефект, ціна і ризики
Коли економія на токенах шкодить: ризики і де вона не потрібна
FAQ

Що важливо знати на 23 жовтня 2026 року:

Рахунок агента — це здебільшого вхід, а не відповідь. У нашому прогоні Claude Code надіслав 66 301 токен заради запитання з п’яти слів; другий такий самий запит коштував у 3,3 раза дешевше — лише завдяки кешу.
Кеш не безкоштовний. Запис у кеш в Anthropic коштує 1.25x або 2x входу, а в OpenAI з GPT-5.6 він теж платний (1.25x або 2.5x). Топ видачі досі вважає запис безкоштовним — це застаріло.
Стиснення економить вікно, але може зламати кеш. Кожне очищення старих результатів інструментів — новий запис у кеш.
pxpipe — відкритий проксі, який перетворює старий контекст на картинки. Автор заявляє ~59–70% економії, але це його навантаження й ціни Fable 5, а точні рядки (хеші, ID) модель після картинки іноді читає неправильно — без попередження.
Batch (відповідь до 24 годин) і Flex (синхронно, але повільніше) дають −50% завданням, які можуть зачекати.
Дешева модель — Claude Haiku 5.5 у 40 разів дешевша за Opus 5.5 на вході, але тільки поки промпт не більший за 100 000 токенів.

Далі — з чого складається рахунок, як заміряти витрати у себе, умови кешу в трьох провайдерів, покрокове ввімкнення, стиснення, розбір pxpipe і зведена таблиця «що впроваджувати першим».

З чого складається рахунок за токени LLM: вхід, вихід і міркування

Рахунок за LLM (велику мовну модель) через API складається з чотирьох рядків: вхідні токени, вихідні токени, запис у кеш і читання з кешу. Токен — шматок тексту приблизно в 3–4 символи англійського тексту (український дробиться дрібніше); провайдер обліковує їх окремо для того, що ви надіслали, і для того, що модель відповіла.

до виходу на біржу

Binance · Wall Street 24/7OpenAI і Anthropic ще не на біржіPre-IPOА контракти на їхню ціну вже торгуються на Binance

OpenAIAnthropicNVDA

Дивитися ціни

Вхід — усе, що модель бачить у запиті: системні інструкції, описи інструментів, історія діалогу, файли. Обсяг входу обмежений контекстним вікном — «робочим столом» моделі. Модель не пам’ятає попередніх запитів, тому агент надсилає всю історію заново на кожному кроці. Звідси головний парадокс: коротке запитання в довгій сесії може коштувати як десяток сторінок тексту.

Вихід — відповідь моделі. Вона дорожча за вхід у 5–6 разів. Міркування (приховані «чернетки» reasoning-моделей) оплачуються як вихід: так прямо пишуть і OpenAI, і Google у прайсі Gemini («Output price (including thinking tokens)»).

Ціни за 1 млн токенів на 23 жовтня 2026 року

Модель	Вхід	Вихід	Читання кешу	Що врахувати
Claude Fable 5.1	$10	$50	$0.25 (0.025x)	найдорожча, найдешевший кеш у частках
Claude Opus 5.5	$4	$20	$0.20 (0.05x)	fast mode — $8/$40
Claude Sonnet 5.5	$2	$10	$0.10 (0.05x)	—
Claude Haiku 5.5	від $0.10	від $0.50	$0.01	промпт понад 100 000 токенів — $0.50/$2.50
GPT-6.1 Sol	$2	$10	$0.10 (0.05x)	запис кешу $2.50 (30 хв) / $5.00 (12 год)
GPT-6 Luna	$0.10	$0.50	$0.01	найдешевша в OpenAI
GPT-5.6 Sol	$4	$20	0.1x	промоціна щонайменше до 21.11.2026
GPT-5.6 Terra / Luna	$2 / $0.20	$12 / $1.20	0.1x	>272K входу — 2x вхід і 1.5x вихід
Gemini 4 Argon	$2	$10	$0.10	з 01.12.2026 — $4/$20
Gemini 3.8 Flash	$0.75	$3.75	$0.075	з 01.01.2027 — $1.50/$7.50

Джерела — офіційні прайси Anthropic, OpenAI і Google на 23.10.2026. Ціни на цьому ринку змінюються щомісяця, тож перед розрахунком бюджету звіряйтеся з прайсом провайдера.

Чотири пастки, які непомітно роздувають рахунок

Поріг 100K у Haiku 5.5. Запит із промптом понад 100 000 токенів оплачується за $0.50/$2.50 — у 5 разів дорожче. До порогу входять і читання, і запис кешу: закешована історія від надбавки не рятує.
Надбавка за довгий запит у GPT-5.6. Якщо вхід більший за 272K токенів, увесь запит іде за 2x ціни входу та 1.5x ціни виходу.
Новий токенізатор Claude. Моделі Claude 4.7 і новіші ріжуть той самий текст приблизно на 30% більше токенів, ніж попередні. Порівнювати «ціну за токен» старої та нової моделі в лоб не можна.
Fast mode. Швидкий режим Opus 5.5 коштує $8/$40 — удвічі дорожче за звичайний і не працює з пакетним режимом.

Замір до економії: скільки токенів з’їдає один запит агента

Перш ніж економити, треба побачити, що саме їде в кожному запиті. Ми перевірили це на Claude Code — консольному агенті Anthropic. Це один прогін 23 жовтня 2026 року, ілюстрація масштабу, а не статистика: у вашому проєкті цифри будуть іншими.

Команда була такою: claude -p "Ответь одним словом: ок" --model haiku --output-format json. Прапорець --output-format json змушує Claude Code повернути поля usage і total_cost_usd — скільки токенів пішло і в скільки це обійшлося. Модель — Claude Haiku 5.5. Два запуски поспіль зроблено в робочому проєкті з великим файлом інструкцій і ще два — в порожній теці.

Запуск	Запис у кеш	Читання з кешу	Увесь вхід	Вартість
Проєкт, 1-й	54 965	11 334	66 301	$0.0111
Проєкт, 2-й	14 164	53 987	68 153	$0.0034
Порожня тека, 1-й	13 541	11 334	~24 900	$0.0028
Порожня тека, 2-й	8 379	14 444	~22 800	$0.0018

Що з цього випливає:

Обв’язка агента коштує ~23–25 тис. токенів на кожен запит — системний промпт Claude Code та описи його інструментів. Це є навіть у порожній теці.
Інструкції та пам’ять проєкту додали ще ~41–45 тис. У нашому випадку це великий CLAUDE.md — файл, який агент читає під час кожного старту. Підключені MCP-сервери в Claude Code додають сюди описи своїх інструментів.
Другий запуск дешевший за перший у 3,3 раза ($0.0111 → $0.0034). Модель та сама, запитання те саме — різниця лише в тому, що більшу частину входу вдруге прочитано з кешу, а не записано в нього.
Claude Code сам пише кеш на 1 годину (в usage видно ephemeral_1h). За прайсом це 2x ціни входу.

Перерахунок за прайсом Haiku 5.5 точно збігся з total_cost_usd: 54 965 токенів запису по $0.20 за 1 млн плюс 11 334 токени читання по $0.01 дають $0.0111.

Binance · Wall Street 24/7Акції, золото, нафта і крипта1 акаунтУвесь ринок в одному акаунті Binance — без брокера й рахунку в США

GOLDOILS&P 500

Як почати

Наш розрахунок на основі заміру: без кешу ті самі 66 301 токен по $0.10 коштували б близько $0.0066. Отже, перший запит із кешем дорожчий, ніж без нього, в 1,7 раза (частина обв’язки вже лежала в кеші; за повністю холодного старту — удвічі), а з другого — вже вдвічі дешевший. Кеш окупається не одразу, а на повторах. І ще один наслідок: 66 тис. із 100 тис., після яких Haiku 5.5 дорожчає вп’ятеро, з’їдено ще до того, як ви щось запитали.

Як заміряти витрати у себе: п’ять кроків

Порахуйте токени до надсилання. В Anthropic підрахунок токенів (count_tokens) безкоштовний, обмежений лише лімітом запитів на хвилину. Так видно, скільки важать системний промпт та історія, без витрат.
Читайте поля usage в кожній відповіді. У Claude — cache_creation_input_tokens і cache_read_input_tokens, в OpenAI — cached_tokens і cache_write_tokens у деталях входу (запис тепер теж платний). Якщо читання завжди нуль, кеш не працює.
Розкладіть вхід на частини. Обв’язка, інструкції проєкту, інструменти, історія, файли. Зазвичай один-два блоки дають більшу частину рахунку.
Рахуйте ціну прийнятого результату, а не токена. Дешева модель, яка помиляється в кожній третій відповіді й потребує повтору, може вийти дорожчою.
Запишіть базову лінію. Без цифри «до» неможливо зрозуміти, що дав кожен наступний захід.

Що таке prompt caching і чому повтор у 10–40 разів дешевший

Prompt caching (кешування промпта) — це коли провайдер запам’ятовує оброблений початок вашого запиту і під час наступного запиту з тим самим початком не обробляє його заново, а бере з кешу за зниженою ціною. Працює лише на точному збігу початку (префікса): змінився хоч один символ усередині — все, що після нього, обробляється заново.

Аналогія: перекладачеві щоразу приносять договір на 50 сторінок і один новий рядок унизу. Без кешу він читає всі 50 сторінок заново. З кешем у нього закладка: перші 50 сторінок він уже розібрав і одразу переходить до нового рядка. Технічно провайдер зберігає не текст, а проміжний стан моделі після обробки цього префікса.

Чому «у 10–40 разів»: читання кешу в Anthropic коштує 0.1x ціни входу, в Opus 5.5 і Sonnet 5.5 — 0.05x, у Fable 5.1 — 0.025x. Тобто повторний токен дешевший за звичайний відповідно в 10, 20 і 40 разів.

Але перший запис дорожчий за звичайний вхід: 1.25x за терміну життя 5 хвилин і 2x за терміну 1 година. Тому, за прайсом Anthropic, кеш окупається після одного читання для 5-хвилинного варіанта і після двох — для годинного.

Кеш у сесії агента на Opus 5.5: $12 без кешу проти $0.89

Візьмемо типову сесію агента: 50 запитів, у кожному той самий стабільний префікс на 60 000 токенів (інструкції, інструменти, початок історії). Ціни Opus 5.5 на 23.10.2026: вхід $4, запис кешу на 5 хвилин $5, на 1 годину $8, читання $0.20 за 1 млн. Рахуємо лише префікс — нові репліки й відповіді однакові в усіх варіантах.

Варіант	Розрахунок	Вартість префікса	Економія
Без кешу	50 × 60 000 × $4	$12.00	—
Кеш 5 хв	1 запис × $5 + 49 читань × $0.20	≈ $0.89	−93%
Кеш 1 год	1 запис × $8 + 49 читань × $0.20	≈ $1.07	−91%
50 незалежних запитів пакетом, кеш 1 год	(1 запис × $8 + 49 читань × $0.20) × 50%	≈ $0.53	−96% (якщо влучання спрацюють)

Умова для 5-хвилинного варіанта: пауза між запитами менша за 5 хвилин, інакше запис протухне і доведеться платити за нього знову. Термін життя в Anthropic відлічують від початку запиту, який записав або прочитав кеш, а не від кінця відповіді. Якщо агент довго думає над кроком, надійніший годинний кеш: він дорожчий на записі, але не згорає між кроками.

Prompt caching у Claude, OpenAI і Gemini: ціни, терміни й мінімуми

У трьох провайдерів кеш працює за однією ідеєю, але умови різні: хто бере гроші за запис, скільки живе кеш і з якої довжини запиту він узагалі вмикається. Зведення на 23 жовтня 2026 року:

Умова	Anthropic (Claude)	OpenAI (GPT-5.6 і новіші)	Google (Gemini)
Як вмикається	одне поле `cache_control` або до 4 явних міток	автоматично; мітки `prompt_cache_breakpoint` за бажанням	неявний кеш увімкнений за замовчуванням (2.5 і новіші)
Запис	1.25x (5 хв) / 2x (1 год)	1.25x (30 хв) / 2.5x (12 год)	окремого рядка немає; в явного кешу — плата за зберігання
Читання	0.1x; в Opus 5.5 і Sonnet 5.5 — 0.05x; у Fable 5.1 — 0.025x	0.1x; у GPT-6.1 Sol — 0.05x	Gemini 3.8 Flash — $0.075, Gemini 4 Argon — $0.10
Мінімум префікса	512 токенів у Fable 5.1, Opus 5.5, Sonnet 5.5, Haiku 5.5	1 024 токени	4 096 токенів у Gemini 3.x і 4
Особливості	вікно пошуку 20 блоків	кеш живе на конкретній машині	в Argon лише неявний кеш

Кеш Claude: автоматичний режим і до 4 міток

В Anthropic два способи. Автоматичний — одне поле cache_control на верхньому рівні запиту: система сама ставить мітку на останній кешований блок і пересуває її вперед, коли діалог росте. Явний — до 4 міток cache_control на конкретних блоках, коли потрібен точний контроль.

Прайс Anthropic, розділ Prompt caching: таблиця множників — запис на 5 хвилин 1.25x, на 1 годину 2x, читання 0.1x (0.025x у Fable 5.1, 0.05x в Opus 5.5 і Sonnet 5.5)

На кадрі — сторінка цін Anthropic, знята 23.10.2026; рамкою виділено таблицю множників кешу. Зверніть увагу на третій рядок: базове «0.1x» у нових моделей уже не діє — у Fable 5.1 читання коштує 0.025x, в Opus 5.5 і Sonnet 5.5 — 0.05x. Конкуренти у видачі досі розраховують усе за 0.1x.

Дві тонкощі з документації. Префікс збирається в порядку «інструменти → система → повідомлення», тому зміна списку інструментів ламає кеш усього, що після них. І система шукає попередній запис не далі ніж на 20 блоків назад від мітки: якщо за один хід діалог виріс на 20 блоків і більше, влучання не буде — потрібна друга мітка ближче до початку.

Кеш OpenAI: з GPT-5.6 запис став платним

Головна зміна, якої немає в конкурентів у видачі: з GPT-5.6 OpenAI бере гроші за запис у кеш — 1.25x ціни входу за терміну 30 хвилин і 2.5x за терміну 12 годин (термін 12 годин обирають у Responses API). Читання — 0.1x, у GPT-6.1 Sol — 0.05x.

OpenAI сам наводить арифметику: на десяти запитах один запис і дев’ять читань коштують 2.15x ціни входу замість 10x без кешу. Префікс, який більше не повториться, тепер обходиться дорожче, ніж без кешу взагалі.

Два практичні наслідки. Перший: у режимі лише явних міток (explicit-only) поточне запитання лишається після останньої мітки й не оплачується як запис — кешуйте стабільну частину, а не все підряд. В автоматичному режимі мітка стоїть наприкінці, і запис оплачується разом із запитанням. Другий: кеш живе на конкретній машині, і за навантаження понад 15 запитів на хвилину запити починають іти на інші машини, де кешу немає. З GPT-5.6 маршрутизацію між машинами OpenAI робить сам; параметр prompt_cache_key потрібен лише старим моделям, а на нових — для окремого обліку кешу за клієнтами.

Кеш Gemini: неявний режим і плата за зберігання

У Google неявний кеш увімкнений за замовчуванням для Gemini 2.5 і новіших — нічого налаштовувати не треба, але запит має бути не коротшим за 4 096 токенів у Gemini 3.x і 4. Збіг префікса та знижку сервер застосовує сам; перевірити влучання можна за лічильником закешованих токенів у метаданих відповіді.

Явний кеш (ви самі створюєте його й задаєте термін життя) Gemini 4 Argon не підтримує взагалі. У Gemini 3.8 Flash він є, але з платою за зберігання — $0.50 за 1 млн токенів на годину (до 31.12.2026). Наш розрахунок: кеш на 100 000 токенів зберігається за $0.05 на годину, а кожне читання замість повного входу економить близько $0.0675. Явний кеш окупається, якщо до нього звертаються бодай раз на годину.

Як увімкнути prompt caching покроково і не втрачати влучання

Кеш дає економію тільки тоді, коли префікс запиту справді не змінюється від запиту до запиту. Більшість випадків «кеш не працює» — це не баг провайдера, а дата, ID запиту чи перемішаний порядок інструментів на початку промпта.

Перенесіть статичне на початок. Порядок: описи інструментів → системні інструкції → постійні документи → історія → нове запитання. Усе, що змінюється (час, ім’я користувача, ID сесії), — в кінець.
Зафіксуйте список і порядок інструментів. У Claude інструменти стоять першими в префіксі — додали чи переставили один, і кеш усього іншого скинуто.
Поставте мітку на останній стабільний блок. Для Claude — cache_control на останньому блоці, однаковому в усіх запитах. Для чату вистачить автоматичного режиму.
Оберіть термін життя за ритмом роботи. Пауза між запитами менша за 5 хвилин — короткий кеш Claude (1.25x). Користувач чи агент повертається рідше — годинний (2x). В OpenAI 12-годинний варіант (2.5x) має сенс для префікса, який використовують увесь день.
Перевірте довжину префікса. Менше ніж 512 токенів у Claude, 1 024 в OpenAI і 4 096 у Gemini — кешу не буде.
Перевірте влучання за usage. У другому запиті читання з кешу має майже дорівнювати розміру префікса. Нуль — шукайте, що змінюється на початку.
Стежте за часткою влучань у роботі. На моделях OpenAI до GPT-5.6 за навантаження понад 15 запитів на хвилину на одному префіксі задайте prompt_cache_key; з GPT-5.6 маршрутизацію OpenAI робить сам.

Приклад запиту до Claude з однією міткою на системній інструкції:

{
  "model": "claude-opus-5-5",
  "max_tokens": 1024,
  "system": [
    {"type": "text", "text": "<велика постійна інструкція і довідник>",
     "cache_control": {"type": "ephemeral", "ttl": "1h"}}
  ],
  "messages": [{"role": "user", "content": "Нове запитання"}]
}

Типова помилка, яку документація Anthropic розбирає окремо: мітка стоїть на блоці, де є позначка часу чи інший змінний фрагмент. Тоді, за словами самої документації, ви платите за свіжий запис на кожному запиті й жодного разу не отримуєте читання. Автоматичний режим потрапляє в ту саму пастку, якщо останній блок щоразу змінюється, — у такому разі потрібна явна мітка на останньому незмінному блоці.

Стиснення контексту LLM: компакція, очищення інструментів і LLMLingua

Стиснення контексту LLM — це скорочення того, що модель отримує на вхід: старі репліки замінюють зведенням, непотрібні результати інструментів видаляють, довгий текст ущільнюють до суті. Кеш робить повтор дешевшим, стиснення — зменшує сам повтор. Це різні важелі, й іноді вони заважають один одному.

Довгий контекст б’є не лише по грошах: модель гірше працює, коли вікно забите старими даними. Про це — в розборі контекстної інженерії; тут — лише про ціну.

Спосіб	Що робить	Плюс	Мінус
Серверна компакція Claude	замінює старі репліки зведенням, яке Claude пише на сервері	не потрібен свій код сумаризації	зведення втрачає деталі; функція в беті
Очищення результатів інструментів (context editing)	видаляє старі виводи інструментів за правилом	звільняє багато місця разом	скидає кеш префікса
Власна сумаризація	ви самі вирішуєте, що залишити	повний контроль	додатковий виклик моделі
LLMLingua (Microsoft, MIT)	викидає з промпта малозначущі токени	до 20x стиснення на бенчмарках	потрібні власне встановлення й перевірка якості
Субагенти	окремий агент читає багато, а в основний контекст віддає коротке зведення	основний контекст не розростається	сам субагент теж витрачає токени

Ключова пастка — конфлікт стиснення й кешу. Документація Anthropic прямо пише: очищення результатів інструментів робить закешований префікс недійсним. Після кожного очищення ви платите за новий запис у кеш (1.25–2x). Тому чистити вигідно рідко й великими порціями: параметр clear_at_least задає мінімум токенів, заради якого взагалі варто ламати кеш. Дрібні часті очищення можуть збільшити рахунок, а не зменшити.

LLMLingua, за заявою авторів, дає до 20x стиснення з невеликою втратою якості; її варіант LongLLMLingua в RAG-сценаріях покращував результат на 21.4%, використовуючи чверть токенів. Це цифри зі статті та README проєкту на їхніх бенчмарках — на власних даних якість треба перевіряти окремо.

Субагенти — найбільш «безкоштовний» для якості спосіб: важке читання йде в окреме вікно, а основний агент отримує вижимку. Як це влаштовано в Claude Code, розібрано в матеріалі про субагентів Claude Code.

pxpipe: старий контекст картинкою — що заявлено і що підтверджено

pxpipe — відкритий локальний проксі (MIT, TypeScript), який перед надсиланням перетворює об’ємні частини запиту на компактні PNG-картинки. Ідея: вартість картинки для моделі залежить від її розмірів у пікселях, а не від кількості тексту на ній. На щільному вмісті (код, JSON, логи) в картинку вміщається більше символів на токен, ніж у звичайний текст.

Що саме йде в картинки: системний промпт і описи інструментів, стара історія діалогу та великі результати інструментів. Свіжі репліки лишаються текстом, відповіді моделі проксі не торкається взагалі — він стискає лише запит. Запуск — дві команди:

npx pxpipe-proxy
ANTHROPIC_BASE_URL=http://127.0.0.1:47821 claude

Проєкту на 23.10.2026 п’ять місяців (створений 20.05.2026), у нього 7 551 зірка на GitHub.

Що заявлено: $6 замість $42 і 59–70%

Дві цифри, які гуляють переказами, потребують розшифрування:

$6.06 проти $42.21 — це одна демосесія на Fable 5, а не середня економія. Текстовий варіант завершив її з контекстом, заповненим на 96%, а pxpipe-варіантові знадобилася підказка, щоб відповісти в потрібному форматі.
~59–70% на повному рахунку — заміри автора на його навантаженні: 59% на вибірці з 13 709 запитів ($100 → ~$41) і близько 70% на пізнішій вибірці з 8 904 запитів. Для Claude Code README називає типові ~60–70%.

Долари автор розраховує за цінами Fable 5: вхід 1x, запис кешу 1.25x, читання 0.1x, вихід 5x. У Fable 5.1 читання кешу вже 0.025x — учетверо дешевше. Наш висновок із цього: на тій частині префікса, яка й так читалася з кешу, кожен зекономлений токен на Fable 5.1 коштує вчетверо менше грошей. Основний виграш pxpipe лишається на незакешованій частині та на записах. Незалежних замірів економії на момент написання немає — у видачі лише перекази README.

Що підтвердив сам автор: де pxpipe помиляється

README pxpipe на GitHub, розділ The honest part: рамка 1 — точні 12-символьні рядки читаються 13 з 15 на Fable 5 і 0 з 15 на Sol, рамка 2 — на розрідженій прозі інструмент втрачає гроші

На кадрі — розділ «The honest part» із README, знятий 23.10.2026. Рамка 1 — головне обмеження: точні рядки з картинки модель читає з помилками, і ці помилки мовчазні. Рамка 2 — інструмент програє на звичайній прозі.

Модель	Точні 12-символьні hex-рядки (з 15)
Claude Fable 5	13
Claude Fable 5.1	6
Claude Opus 5.5	3
Gemini 3.6 / 3.7 / 3.8 Flash	14
Gemini 4 Argon	15
GPT-5.6 Sol	0

Для GPT-5.6 Sol результат 0 з 15 знято на старій геометрії сторінки; профіль, який постачається зараз, у пілоті автора прочитав точно 7 значень із 8.

Чому помилка мовчазна: модель не розпізнає символи як OCR-програма, а «бачить» картинку шматками-патчами. Коли пікселів на символ бракує, вона підставляє правдоподібне значення без жодного попередження. Автор описує реальний збій зі щоденної роботи: модель упевнено назвала неправильне ім’я людини з історії чату.

Інші обмеження з того самого README:

Проза невигідна. На розрідженому тексті (~3.5 символу на токен) картинка дорожча; вбудований «гейт вигоди» відправляє в картинку лише щільний вміст.
Затримка. Кодування PNG додає час до великих запитів.
Невелика перевірка на завданнях. На SWE-bench Pro з pxpipe розв’язано 14 із 19 завдань проти 15 із 19 без нього за запитів на 60% менших. Вибірка мала, робити висновки про якість за нею зарано.

Коли pxpipe має сенс: довгі сесії кодингу на Fable 5 або Gemini, де точні рядки за замірами автора читаються майже без помилок, і на Opus 5.5 — якщо агент перед правкою все одно перечитує файл. Коли ні: робота з ключами, хешами, ID транзакцій, точними цифрами з історії — такі значення автор сам радить тримати текстом.

Пакетний режим і Flex: мінус 50% для завдань, які можуть зачекати

Пакетний режим (Batch API) — це надсилання запитів пакетом без очікування відповіді в реальному часі, за що всі три провайдери дають знижку 50% на вхід і вихід. Підходить для всього, де відповідь потрібна «сьогодні», а не «зараз»: розмітка даних, переклад каталогу, нічні звіти, прогін тестових наборів.

Параметр	Anthropic	OpenAI	Google
Знижка	50%	50%	50%
Термін виконання	до 24 год, більшість пакетів — менш ніж година	вікно 24 год	асинхронно, без відповіді в реальному часі
Ліміт пакета	100 000 запитів або 256 МБ	—	—
Кеш усередині пакета	працює, влучання 30–98%, знижки складаються	—	у Gemini 3.8 Flash кеш у пакеті $0.0375

В Anthropic результати пакета зберігаються 29 днів. Кеш усередині пакета працює за принципом «як вийде»: запити обробляються паралельно, тому, за даними Anthropic, частка влучань коливається від 30% до 98%. Знижки на кеш і на пакет складаються — звідси розрахунок ≈ $0.53 для пакета з 50 запитів зі спільним префіксом вище. Для пакетів Anthropic радить годинний кеш: пакет може оброблятися довше за 5 хвилин, і короткий запис устигне згоріти.

Flex в OpenAI — проміжний варіант: звичайний синхронний запит із параметром service_tier: "flex", але за цінами Batch API плюс знижка кешу. Плата за це — повільні відповіді й періодична недоступність ресурсу. Підходить для оцінювання моделей і фонових завдань, не підходить для чату з користувачем.

Де пакетний режим не працює: інтерактивні агенти й чат (користувач чекає), а в Anthropic — fast mode, несумісний із Batch API.

Вибір моделі й роутинг: коли дешева модель дає раду

Найбільша різниця в рахунку — не в кеші, а у виборі моделі: на вході Claude Haiku 5.5 дешевша за Opus 5.5 у 40 разів ($0.10 проти $4 за 1 млн токенів на 23.10.2026). Для класифікації, витягування полів, маршрутизації та коротких відповідей топова модель часто надлишкова.

Завдання	Достатній щабель	Приклад моделі
Класифікація, витягування, роутинг	малий	Claude Haiku 5.5, GPT-6 Luna
Типовий код, тексти, відповіді за документами	середній	Claude Sonnet 5.5, GPT-6.1 Sol, Gemini 3.8 Flash
Довгі агентні завдання, складний код	старший	Claude Opus 5.5, Gemini 4 Argon
Найважчі міркування	флагман	Claude Fable 5.1

У дешевих моделей свої пастки. У Claude Haiku 5.5 — той самий поріг 100 000 токенів, після якого ціна зростає вп’ятеро: на довгих агентних сесіях це легко з’їдає вигоду. Порівнювати треба не ціну токена, а ціну розв’язаного завдання на ваших даних.

Роутинг: дешева модель за замовчуванням, дорога за потреби

Роутинг — це коли окремий класифікатор вирішує, якій моделі віддати запит. Відкритий RouteLLM від LMSYS у 2024 році показав зниження вартості на 85% на MT Bench, 45% на MMLU і 35% на GSM8K за 95% якості GPT-4. Але проєкт (Apache-2.0) не оновлювався з 10.08.2024: готові роутери навчено на моделях дворічної давнини, і поріг перемикання доведеться калібрувати на власних запитах. Простий каскад — спершу дешева модель, а за низької впевненості чи проваленої перевірки — дорога — часто дає порівнянний ефект без окремого роутера.

Зниження ціни старої моделі проти переходу на нову

21 серпня 2026 року OpenAI знизив ціну GPT-5.6 Sol з $5/$30 до $4/$20 — за прайсом це промо, яке діє щонайменше до 21.11.2026. Але новий GPT-6.1 Sol на 23.10.2026 коштує $2/$10 — удвічі дешевше навіть за промоціну старої моделі. Висновок: «дочекатися знижки» на стару модель зазвичай програє переходу на нову. Чим GPT-6 Sol і Luna відрізняються за якістю і де Sol дорожчий на довгому контексті, ми розбирали окремо.

Ліміт відповіді й міркувань: як не платити за порожню відповідь

Вихід дорожчий за вхід у 5–6 разів, а міркування reasoning-моделей оплачуються як вихід — тому керування довжиною відповіді та глибиною міркувань дає економію, порівнянну з кешем.

Задайте глибину міркувань. В OpenAI параметр reasoning.effort приймає значення від none і low до high і вище; за замовчуванням у GPT-5.6, GPT-6.1 Sol і GPT-6 Luna стоїть medium. Для витягування полів чи класифікації вистачає low; none є не в усіх моделей — GPT-6.1 Sol його не приймає.
Не ставте ліміт виходу впритул. Якщо reasoning-модель упреться в max_output_tokens під час міркувань, відповідь прийде зі статусом incomplete — і ви, за словами OpenAI, заплатите за вхід і міркування, не отримавши видимої відповіді. OpenAI радить на старті експериментів лишати під міркування й відповідь щонайменше 25 000 токенів і зменшувати запас у міру спостережень.
Просіть стислий формат. «Відповідай JSON із полями X, Y» чи «не більше трьох речень» скорочує вихід сильніше за будь-які налаштування.
Використовуйте структурований вивід. Сувора схема відповіді прибирає вступи й пояснення, за які ви платите за ціною виходу.

Prompt caching vs semantic caching і RAG: що обрати під завдання

Prompt caching здешевлює повтор однакового початку запиту, але модель усе одно викликається й відповідає заново; семантичний кеш (semantic caching) не викликає модель узагалі, якщо схоже запитання вже ставили; RAG замість усього документа надсилає в модель лише знайдені шматки. Це три різні інструменти, а не варіанти одного.

Критерій	Prompt caching	Semantic caching (GPTCache, Redis)	RAG
Що зберігає	стан моделі після префікса	готові відповіді на минулі запитання	базу документів, шукає потрібні шматки
Коли спрацьовує	точний збіг початку запиту	запитання схоже за змістом вище порогу	на кожен запит
Економія	0.025–0.1x ціни входу на повторі	увесь виклик моделі	менше входу, ніж «усе в контекст»
Ризик для якості	немає — відповідь генерується заново	відповідь на «схоже», але інше запитання	модель не побачить того, чого пошук не знайшов
Де вмикати	у провайдера	у себе, окремий сервіс	у себе, база й пошук

Семантичний кеш працює через ембединги: запитання перетворюється на вектор, і якщо в базі є досить близький, повертається збережена відповідь. Небезпека — в порозі схожості. «Скільки коштує Opus 5.5» і «Скільки коштує Opus 5» близькі за змістом, але відповіді різні; за м’якого порогу користувач отримає чужу відповідь. Підходить для FAQ-ботів із повторюваними запитаннями, не підходить для запитань, де важлива точна цифра чи свіжість даних. GPTCache поширюється під MIT.

RAG потрібен, коли є спокуса «покласти в контекст усю базу знань»: замість сотень тисяч токенів модель отримує десяток знайдених абзаців. Ці підходи складаються: стабільна інструкція — в prompt caching, повторювані запитання — в семантичний кеш, великий корпус — через RAG.

12 способів знизити витрати на токени LLM: ефект, ціна і ризики

Порядок упровадження: спершу замір і prompt caching (дешево й без ризику для якості), потім ліміти виходу та batch, далі вибір моделі й стиснення, і лише наприкінці експериментальні інструменти на кшталт pxpipe.

Спосіб	Ефект на рахунок	Ціна / ліцензія	Потрібен свій сервер	Ризик для якості
Prompt caching	повтор у 10–40 разів дешевший	вбудований у провайдера	ні	немає
Ліміт виходу та `reasoning.effort`	менше найдорожчого рядка рахунку	безкоштовно	ні	низький за розумного ліміту
Batch API	−50%	вбудований	ні	немає, але відповідь до 24 год
Flex (OpenAI)	ціни Batch синхронно	вбудований	ні	затримки й недоступність
Дешева модель	до 40x на вході	—	ні	високий без перевірки на своїх завданнях
Роутинг (RouteLLM)	35–85% у бенчмарках 2024 року	Apache-2.0	так	середній, проєкт не оновлювався з 2024
Компакція / очищення контексту	менше входу на довгих сесіях	вбудовано в Claude	ні	втрата деталей, скидання кешу
LLMLingua	до 20x стиснення промпта	MIT	так	залежить від даних
Субагенти	основний контекст не росте	—	ні	низький
pxpipe	~59–70% за замірами автора	MIT	локальний проксі	помилки в точних рядках
Семантичний кеш	увесь виклик на повторах	GPTCache MIT	так	чужа відповідь за м’якого порогу
RAG	менше входу, ніж «усе в контекст»	—	так	пропуск потрібного документа

Практичне правило: кожен захід вмикайте окремо й порівнюйте з базовою лінією із заміру. Якщо ввімкнути два заходи одночасно, неможливо зрозуміти, який із них дав економію, а який погіршив відповіді.

Коли економія на токенах шкодить: ризики і де вона не потрібна

Економія на токенах шкідлива там, де вона змінює відповідь моделі або тримається на ціні, яка скоро зміниться. Конкретні ризики на 23 жовтня 2026 року:

Промоціни тимчасові. GPT-5.6 Sol за $4/$20 — щонайменше до 21.11.2026; Gemini 4 Argon за $2/$10 — до 30.11.2026, з 01.12.2026 — $4/$20; Gemini 3.8 Flash дорожчає вдвічі з 01.01.2027. Бюджет на цих цінах може застаріти за місяць.
Мовчазні помилки pxpipe. Хеш, ключ, ID чи ім’я, прочитане з картинки, може виявитися неправильним без жодного сигналу. Для фінансів, доступів і юридичних текстів це неприйнятно.
Проксі бачить увесь трафік. Будь-який локальний проксі між агентом і API пропускає крізь себе ваші запити повністю, включно з кодом і ключами. Відкритий код (у pxpipe — MIT) можна перевірити, але це ваша відповідальність.
Платний запис кешу OpenAI. Якщо префікс не повторюється, кеш із GPT-5.6 робить запит дорожчим, а не дешевшим.
Скидання кешу під час очищення. Часте дрібне очищення контексту перетворює кожен крок агента на новий запис за 1.25–2x.
Поріг 100K у Haiku 5.5. Дешева модель стає в 5 разів дорожчою на довгому промпті, і кеш від цього не рятує.
Застарілий роутер. RouteLLM навчений на моделях 2024 року; без перекалібрування він може відправляти важкі запити на слабку модель.

Коли економити не потрібно взагалі: якщо запитів мало (десятки на день), рахунок у кілька доларів на місяць не окупить часу на налаштування. Якщо завдання — разовий складний аналіз, дешева модель із повтором і правками обійдеться дорожче, ніж одна відповідь сильної моделі.

Що застаріє першим: ціни й промо (дивіться прайси Anthropic, OpenAI і Google перед кожним розрахунком), далі множники кешу — за 2026 рік вони змінювалися вже кілька разів, і результати pxpipe на нових моделях.

FAQ

Скільки насправді економить prompt caching на рахунку, а не лише на вході?

Залежить від частки повторюваного префікса. Якщо 60 000 токенів стабільного початку повторюються 50 разів за сесію, на Opus 5.5 ця частина дешевшає з $12.00 до ≈ $0.89, тобто на 93%. Відповіді моделі й нові репліки кеш не здешевлює, тому економія на всьому рахунку менша — перевіряйте її за полями usage.

Чи треба щось вмикати, щоб кеш запрацював в OpenAI та Gemini?

В OpenAI кеш спрацьовує автоматично на префіксі від 1 024 токенів, але з GPT-5.6 запис платний — 1.25x на 30 хвилин. У Gemini 2.5 і новіших неявний кеш увімкнений за замовчуванням, потрібен префікс від 4 096 токенів. В обох випадках головне — тримати постійну частину промпта на початку і не змінювати її.

Чи безпечно пускати код і ключі через pxpipe?

Ключі, хеші та ID краще не пускати в картинки: модель може прочитати їх неправильно без попередження — в Opus 5.5 точні рядки збіглися в 3 випадках із 15. Сам автор радить тримати такі значення текстом. Крім того, проксі бачить увесь трафік агента, тому код інструмента варто перевірити до встановлення.

Чому рахунок за ШІ зростає, хоча ціна токена падає?

Агенти надсилають увесь контекст заново на кожному кроці, reasoning-моделі витрачають приховані токени на міркування за ціною виходу, а новий токенізатор Claude ріже той самий текст приблизно на 30% більше токенів. У підсумку обсяг росте швидше, ніж падає ціна. Тому оцінювати треба витрати на завдання, а не ціну за мільйон.

Чи можна поєднати пакетний режим і кеш?

Так. В Anthropic знижки на пакет (50%) і на кеш складаються, але влучання в кеш усередині пакета не гарантовані: запити обробляються паралельно, і частка влучань, за даними Anthropic, буває від 30% до 98%. В OpenAI режим Flex теж працює за цінами Batch API з додатковою знижкою кешу.

Скільки токенів витрачає Claude Code на одне запитання?

У нашому прогоні 23 жовтня 2026 року в проєкті з великим CLAUDE.md — 66 301 токен на запитання з п’яти слів: близько 23–25 тис. займає обв’язка самого Claude Code, решта — інструкції та пам’ять проєкту. Другий такий самий запит виявився в 3,3 раза дешевшим завдяки кешу. Це один прогін, у вашому проєкті цифри будуть іншими.