Монтаж відео кодом: пайплайн із Deepgram, FFmpeg і Remotion

Коротко (TL;DR)

Монтаж відео можна вести не мишкою на таймлайні, а кодом: Claude Code (на моделях рівня Claude Sonnet 5) виступає оркестратором пайплайна, де Deepgram робить транскрипт, FFmpeg ріже і склеює, а Remotion збирає титри й графіку. Ключ до всього — працювати не з кадрами, а з текстом. Це не «ШІ змонтує за вас», а інженерний підхід до відтворюваного монтажу: подкасти, навчальні ролики, нарізки — там, де важлива відтворюваність, а не художній задум.

Що важливо зрозуміти одразу:

• Архітектура «текст-перший». Агент не дивиться відео покадрово (це неосяжно за токенами), а працює з транскриптом і таймкодами. На них будуються всі рішення — що вирізати, де титр, як склеїти.
• Три шари, три інструменти. Deepgram — розпізнавання мовлення з таймкодами й розділенням спікерів. FFmpeg — нарізка, склейка, кодування. Remotion — програмна генерація відео на React (титри, композиції).
• Собівартість піддається підрахунку. Deepgram і Remotion мають офіційні тарифи; розберемо цифри на одну дату. FFmpeg безкоштовний, але має юридичні нюанси, про які мовчать туторіали.
• Два системні ризики, які ніхто не зводить разом: ліцензійний поріг Remotion (безкоштовно лише для команд до 3 осіб) і патентне питання H.264 при комерційному використанні FFmpeg.

Рівень — просунутий: потрібен комфорт із терміналом, Node.js і базовим FFmpeg. Що знадобиться: Claude Code, ключ Deepgram, встановлені FFmpeg і Node.js 18+.

Суть: чому монтаж іде через текст, а не через кадри

Головна ідея, без якої пайплайн не має сенсу. Відео для мовної моделі — це стіна даних: година відео при 30 кадрах на секунду — це 108 000 кадрів. Якщо згодовувати агентові кадри, обсяг миттєво йде в сотні мільйонів токенів — за один прохід це неможливо. А текстовий транскрипт тієї самої години з таймкодами займає порядка десятка кілобайт.

BINANCE COPY TRADINGКопітрейдинг на BinanceВідкрита статистика трейдерів, старт з $10, вимкнення одним кліком.Обрати трейдера

Звідси — програмний монтаж відео без таймлайну будується на транскрипті як первинній поверхні. Агент бачить не картинку, а текст: «на 02:14 починається довга пауза», «тут спікер обмовився й повторив фразу», «з 05:30 по 06:10 — відповідь на питання». Усі монтажні рішення ухвалюються на рівні тексту й таймкодів, а FFmpeg уже виконує їх над реальними пікселями. Це той самий прийом, що й у браузерних агентів, які читають структуру сторінки, а не дивляться на скриншот, — працювати з текстовим представленням, а не із сирими даними.

Supabase і Stripe за вечір з Claude Code — і три речі, які агент зробить не так

Деплой на Vercel через GitHub: як викласти проект покроково

Spec-driven development: від ідеї до архітектури продукту з ШІ

AWS Continuum прийде в Claude Code і Codex: пошук дірок просто в редакторі

OpenClaw на Claude скасував чуже бронювання, щоб підняти власника з 4-го на 3-тє

Шар 1 — Deepgram: транскрипт, таймкоди, спікери

Перший крок — перетворити мовлення на текст із прив’язкою до часу. Deepgram віддає транскрипт із таймкодами на рівні слів і вміє діаризацію — розділення за спікерами (хто коли говорить). Це і є сировина для всіх подальших рішень: за таймкодами слів агент точно знає, де різати, а за спікерами — де чий фрагмент.

Діаризація особливо важлива для інтерв’ю й подкастів із кількома учасниками: агент може зібрати нарізку реплік одного спікера, підписати кожного своїм титром або вирізати перебивання. Без розмітки спікерів усе це довелося б розмічати вручну. Параметр діаризації в API можна закріпити на конкретній версії моделі, щоб результат був відтворюваний від прогону до прогону, а не «плавав» при оновленні сервісу.

Економіка (на 12 липня 2026, за офіційним прайсингом): потокове розпізнавання моделлю Nova-3 — близько $0,29 за годину мономовного аудіо і $0,35 за годину багатомовного; для пакетної (batch/pre-recorded) обробки тієї самої моделі ставка вища — близько $0,46/год, тож звіряйте актуальну ціну під свій режим і модель. На старті є $200 безкоштовного кредиту — за ціною Nova це приблизно 43 000 хвилин (понад 700 годин) транскрипції, без терміну згорання. Для пет-проекту й навчання цього вистачає з величезним запасом.

Важливе застереження про точність. Deepgram публікує показники помилки розпізнавання (WER близько 5,26% на запису й 6,84% у реальному часі, за даними вендора на 12 липня 2026), але це внутрішні бенчмарки самого виробника — незалежних замірів за ідентичною методикою немає. Ставтеся до них як до заяви виробника, а не до нейтрального факту: на вашому аудіо (акцент, шум, терміни) результат може відрізнятися.

Шар 2 — FFmpeg: вирізати паузи й склеїти без швів

Далі агент перетворює рішення з транскрипту на реальні операції над відео через FFmpeg. Два завдання, що трапляються в будь-якому такому пайплайні.

Автоматично вирізати паузи. За таймкодами агент будує список фрагментів «залишити» й командує FFmpeg вирізати тишу й обмовки. Тонкість, до якої незалежно прийшли кілька проектів: на кожному стику сегментів потрібен короткий аудіо-фейд, інакше на склейках чутно клацання. Конкретно — фільтр на кшталт afade=t=in:st=0:d=0.03 і такий самий на вихід: 30-мілісекундні фейди на кожній межі прибирають артефакти.

BINANCE COPY TRADINGКопітрейдинг на BinanceВідкрита статистика трейдерів, старт з $10, вимкнення одним кліком.Обрати трейдера

Склеїти без перекодування. Наївна склейка через повне перекодування повільна й втрачає якість. Правильний прийом — конкатенація на рівні потоку (transport stream, -c copy), без перетиснення. Різниця на практиці величезна: в одному задокументованому пайплайні перезбірка розділу впала з 15+ хвилин до 30 секунд після переходу на потокову склейку замість повного перекодування. Для ітеративної роботи (а агент ітеративний) це критично.

Шар 3 — Remotion: титри й графіка на React

Там, де потрібні не просто нарізки, а титри, субтитри, інтро й моушн-графіка, вступає Remotion — створення відео кодом: ви описуєте кадри React-компонентами, а Remotion рендерить їх у відео. Для агента це ідеально — він і так пише код, а отже, може генерувати титри й анімації як звичайні компоненти, підставляючи тексти з транскрипту.

Окреме часте завдання — субтитри. Їх можна випалювати двома шляхами: прості статичні — прямо у FFmpeg (фільтр subtitles), а стилізовані, анімовані, з підсвіткою активного слова — у Remotion, де кожен субтитр це компонент, якому агент передає текст і тайминг із транскрипту Deepgram. Другий шлях дорожчий за кодом, але дає той самий «залипальний» вигляд коротких роликів, де слова виринають у такт мовленню. Вибір — за завданням: навчальному відео вистачить FFmpeg-субтитрів, а вертикальній нарізці для соцмереж краще пасує Remotion.

Окремо приємно, що Remotion офіційно документує запуск через Claude Code (а також Codex і OpenCode): створюєте проект командою npx create-video --yes --blank my-video, відкриваєте в сусідньому терміналі claude — і далі просите агента зібрати потрібні композиції. За даними одного стороннього репозиторію-куратора, демо-запуск набрав 6 млн+ переглядів і 25 000+ встановлень за перший тиждень (січень 2026) — цифри не з офіційного сайту, тож подаю їх як орієнтир популярності, а не як перевірений факт.

Збірка покроково: жорсткі правила й творча свобода

Ключовий архітектурний прийом при збірці будь-якого агентного пайплайна — розділити «жорсткі правила» і «творчу свободу». Що не обговорюється (формат виводу, папки, кодеки, тривалість фейдів, ліміти) — фіксуємо жорстко в інструкції. Що можна віддати агентові (які саме паузи вважати зайвими, як формулювати титр) — лишаємо йому. Без цього розділення агент або свавільничає там, де не можна, або гальмує там, де міг би вирішити сам.

Практичний критерій під’єднання інструментів: CLI із синхронним доступом до файлів агент смикає локально; API із сесіями (як Deepgram) зручніше під’єднувати через MCP. Це позбавляє агента вигадування параметрів і дає йому звірятися з живою документацією — той самий принцип, що знімає морóку з інтеграціями в інших агентних сценаріях.

І обов’язковий елемент — цикл самоперевірки з жорстким лімітом ітерацій. Агент рендерить чернетку, перевіряє результат (тривалість, наявність титрів, відсутність клацань) і править — але не нескінченно: 3 спроби, після чого чесний звіт «ось що не зійшлося». Без ліміту агент може крутитися в циклі, спалюючи токени й час.

Собівартість пайплайна

Рахуємо на одну дату (12 липня 2026), щоб розуміти порядок цифр:

Орієнтир: для соло-розробника на навчанні й пет-проектах реальні витрати тримаються біля вартості транскрипції (центи за ролик), поки команда мала й проект некомерційний. Щойно це стає продуктом або командою 4+, вмикаються ліцензії — див. нижче.

Де ламається

• Занадто «розумний» агент без жорстких правил. Віддаєте йому кодеки й формат виводу на розсуд — отримуєте несумісні файли. Лікується розділенням hard rules / свободи.
• Нескінченний self-eval. Без ліміту ітерацій агент править вічно. Лікується жорстким «3 спроби → звіт».
• Жорстко закодований CLI замість діалогу. Є задокументований кейс, де діалоговий підхід із Claude Code переграв заздалегідь написаний жорсткий CLI-інструмент: під кожне відео потрібні різні рішення, і негнучкий скрипт ламався там, де агент у діалозі справлявся. Висновок, що економить тижні: не намагайтеся заздалегідь закодувати всі випадки — дайте агентові рамки й свободу всередині них.
• Клацання на склейках. Забули аудіо-фейди на стиках — чутно артефакти. Лікується 30-мс afade на кожній межі.
• Self-eval не ловить смислові помилки. Цикл самоперевірки перевіряє технічне: тривалість, наявність титрів, чисті склейки. Але він не помітить, що вирізано не ту репліку чи обірвано думку — смислову осмисленість монтажу перевіряє людина, а не агент. Не покладайтеся на «зелений» звіт як на гарантію хорошого ролика.

Ризики: ліцензії й патенти (обов’язково)

Це частина, яку хайпові туторіали пропускають, а вона YMYL — стосується грошей і юридичної відповідальності.

• Ліцензія Remotion. Free License покриває фізосіб і команди до 3 осіб. Чотири й більше — потрібна платна Company License (тарифи: Automators — $0,01 за рендер за мінімуму $100/міс; Creators — $25/міс за місце; Enterprise — від $500/міс, на 11 липня 2026). Для соло — безкоштовно; для агенції — рахуйте заздалегідь.
• Патент H.264 і FFmpeg. FFmpeg за замовчуванням під LGPL v2.1+, але при збірці з --enable-gpl (наприклад, із кодувальником libx264) увесь бінарник підпадає під GPL v2+. Окремо й важливіше: кодек H.264 покритий патентним пулом (Via Licensing Alliance), і вільна ліцензія FFmpeg НЕ знімає патентного зобов’язання при комерційному розповсюдженні вашого продукту на його основі. Для особистого локального використання це не проблема; для SaaS/застосунку, який ви продаєте, — питання до юриста.
• Бенчмарки Deepgram — від вендора. Точність WER заявлена самим виробником; на вашому матеріалі перевіряйте фактично, не закладайте маркетингову цифру в критичні рішення.
• Приватність аудіо. Транскрипція йде в зовнішній сервіс (Deepgram). Для чутливого контенту це треба враховувати — що саме ви надсилаєте й куди.

YMYL-висновок: як пет-проект і навчання — пайплайн дешевий і повністю робочий. Як комерційний продукт — спершу закрийте ліцензію Remotion і патентне питання H.264, потім масштабуйте.

Як виглядає один прохід цілком

Зберемо шари в наскрізний приклад — обробка годинного подкасту в чистий ролик із субтитрами й титрами.

1. Транскрипт. Віддаєте аудіо в Deepgram, отримуєте JSON із текстом, таймкодами на рівні слів і мітками спікерів. Це єдиний «важкий» за грошима крок — і все одно центи.
2. Рішення на тексті. Просите Claude Code пройти по транскрипту й скласти список фрагментів: вирізати паузи довші за секунду, прибрати явні обмовки й повтори, позначити, де вставити титр із темою блоку. Агент працює з текстом — швидко й дешево.
3. Нарізка. За списком агент командує FFmpeg вирізати зайве, ставлячи 30-мс аудіо-фейди на кожному стику, щоб не було клацань. Тут важливо жорстко задати формат і кодеки — це «hard rule», не віддаємо на розсуд.
4. Склейка. Фрагменти збираються потоковою конкатенацією (-c copy), без перекодування — секунди замість хвилин. Це дає змогу переробляти нарізку скільки завгодно разів.
5. Титри й субтитри. Remotion-компоненти беруть текст із того самого транскрипту: субтитри генеруються автоматично за таймкодами, а титри блоків — за мітками, які агент проставив на другому кроці.
6. Самоперевірка. Агент рендерить чернетку й звіряє: тривалість у межах очікуваної, титри на місці, склейки чисті. Не зійшлося — до трьох спроб правок, потім звіт вам.

На виході — відтворюваний ролик, зібраний без жодного руху на таймлайні. Змінили правило «різати паузи від 0,8 секунди» — увесь пайплайн перезбирається тією самою командою. Саме ця відтворюваність і відрізняє ШІ-агента для монтажу відео від ручної роботи в редакторі: не швидше один раз, а однаково щоразу.

FAQ

Це замінить відеоредактор на кшталт Premiere? Ні, і не має. Програмний монтаж сильний на відтворюваних завданнях (подкасти, навчалки, нарізки за шаблоном), де важлива відтворюваність. Художній монтаж із тонкою ручною роботою лишається за таймлайном.

Чи обов’язково використовувати всі три інструменти? Ні. Потрібні лише субтитри — вистачить Deepgram + FFmpeg. Потрібні красиві титри й графіка — додаєте Remotion. Пайплайн модульний, беріть шари під завдання.

Чому агент не «дивиться» відео сам? Бо це неосяжно за токенами: година відео — це ~108 000 кадрів. Агент працює з транскриптом і таймкодами (десяток кілобайт), а не з картинкою. Це й робить підхід реалістичним.

Скільки це реально коштує для одного ролика? Для соло-розробника — здебільшого вартість транскрипції (центи за ролик на Deepgram), плюс безкоштовні FFmpeg і Remotion, поки ви один. Реальні гроші починаються з командної ліцензії Remotion (4+ особи) і комерційного масштабу.

Чи можна довіряти заявленій точності розпізнавання? Заявлені Deepgram цифри WER — внутрішні бенчмарки вендора без незалежної перевірки. На вашому аудіо (шум, акцент, терміни) результат може бути іншим — тестуйте на своєму матеріалі.

З чого почати, якщо хочеться спробувати? З одного шару: візьміть короткий ролик, отримайте транскрипт у Deepgram, попросіть Claude Code вирізати паузи через FFmpeg з фейдами на стиках. Переконайтеся, що склейка без перекодування швидка, і лише потім додавайте Remotion. Так ви зрозумієте архітектуру на маленькому завданні, перш ніж будувати повний пайплайн, — і одразу побачите, де агентові потрібні жорсткі правила, а де він справляється сам.