Раскадровки LTX 2.3 в Game Mode

В этом руководстве локальный рабочий процесс ComfyUI для LTX 2.3 (изображение в видео) подключается к раскадровкам Game Mode, чтобы каждый кадр раскадровки превращался в короткий видеоклип. Это продвинутая настройка для игроков, у которых есть локальный GPU и ComfyUI. Некоторые игроки называют это Story Mode. В приложении Marinara элементы управления называются Game Mode (режим игры) и Storyboards (раскадровки).

Эта конфигурация собиралась с изображениями первого кадра от Krea 2 и со стилем изображений Z-Image Turbo Narrative. Другие аккаунты для изображений тоже должны работать, если они принимают описательные промпты сцены на естественном языке. Видео LTX отрисовывается локально в ComfyUI. Будет ли изображение первого кадра создаваться локально или на удаленном сервисе, зависит от выбранного вами аккаунта для изображений.

Итоговый путь состоит из таких шагов:

1. GM (ведущий игры) пишет ход повествования.
2. Animation Planner возвращает imagePrompt и narrationBeat.
3. imagePrompt уходит в аккаунт для изображений и становится иллюстрацией первого кадра.
4. narrationBeat проходит через Narration Passthrough и становится %prompt%.
5. Первый кадр и промпт уходят в рабочий процесс ComfyUI для LTX 2.3, который создает клип MP4.

Иллюстрация становится первым кадром клипа. LTX получает и начальную картинку, и промпт о том, что движется дальше. Если все работает, клип появляется в галерее на вкладке Videos (видео).

Перед началом

Что нужно:

1. Работающая локальная установка ComfyUI, доступная приложению Marinara. См. Настройка рабочего процесса ComfyUI.
2. GPU с достаточным объемом VRAM (памяти видеокарты). Для первого теста может хватить карты на 8 ГБ при 480p и одном ключевом кадре.
3. Редактируемый рабочий процесс ltx-director-simple или равнозначный граф LTX 2.3 (изображение в видео), который успешно выполняется в ComfyUI, а также его экспорт в формате API – ltx-director-simple-api.
4. Аккаунт для изображений в приложении Marinara, из которого берутся иллюстрации первого кадра.
5. Агент Storyboard, скачанный через Agents → Agent Organizer (агенты → организатор агентов) и включенный для игры в Chat Settings → Agents (настройки чата → агенты). См. Руководство по агенту Storyboard.

Редактируемый рабочий процесс и его экспорт в формате API – это разные файлы. Откройте ltx-director-simple в ComfyUI, установите все пользовательские узлы, которые ComfyUI Manager отмечает как недостающие, и проверьте граф там же. Импортируйте ltx-director-simple-api в приложение Marinara. После каждого изменения узла или модели экспортируйте граф в формате API заново и замените JSON в аккаунте Marinara. Обычный рабочий процесс из визуального редактора вставлять в Marinara нельзя.

Подготовка рабочего процесса ComfyUI в формате API

Сначала поставьте редактируемый рабочий процесс в очередь в ComfyUI с настоящим исходным изображением и простым промптом. Убедитесь, что он сохраняет файл MP4 со звуком.

Простой путь Marinara помещает один готовый промпт во вход глобального промпта узла LTX Director:

{
  "global_prompt": "%prompt%",
  "local_prompts": "",
  "segment_lengths": ""
}

Узел LTX Director при этом по-прежнему может отвечать за обусловливание изображением, направляющие данные, звук и две стадии сэмплирования. "Простой" означает, что Marinara отправляет один связный абзац для перехода из изображения в видео, а не таймлайн Prompt Relay.

Подстановки

В экспорте формата API замените соответствующие значения на эти подстановки Marinara в кавычках:

Marinara может также заполнить %length_s%, %global_prompt%, %local_prompts% и %segment_lengths%. Эти четыре подстановки необязательны. Простому пути они не нужны: он отправляет промпт через %prompt%.

Опорное изображение должно лежать внутри массива segments в timeline_data узла LTX Director; в рабочем процессе формата API timeline_data – это сериализованная строка JSON. Подстановка %length% держит длительность клипа динамической через normalDurationFrames. У сегмента с опорным изображением на нулевом кадре остается собственное фиксированное значение "length":16.

{
  "timeline_data": "{\"global_prompt\":\"\",\"normalStartFrame\":0,\"normalDurationFrames\":%length%,\"segments\":[{\"id\":\"marinara-reference\",\"start\":0,\"length\":16,\"prompt\":\"\",\"type\":\"image\",\"imageFile\":\"%reference_image_name%\",\"isEndFrame\":false}],\"motionSegments\":[],\"audioSegments\":[]}"
}

• Не ставьте %reference_image_name% рядом с timeline_data или в отдельное поле изображения верхнего уровня.
• Строковые подстановки вроде %reference_image_name% оставляйте в кавычках.
• Числовые входы узлов могут заключать %length%, %duration_seconds% и %fps% в кавычки, потому что Marinara превращает их в числа. Внутри сериализованной строки timeline_data оставьте %length% без кавычек, как показано выше, чтобы раскодированное значение было числом.
• Число кадров, секунды и частоту кадров держите привязанными к этим подстановкам. Числа, которые показывает редактируемый граф ComfyUI, – это не значения Marinara по умолчанию.

Экспорт после каждого изменения

1. Поставьте редактируемый рабочий процесс в очередь в ComfyUI и убедитесь, что он выдает воспроизводимый файл MP4.
2. Выберите Save (API Format), Export (API) или Export to API – в зависимости от версии ComfyUI.
3. Добавьте подстановки в новый JSON формата API или проверьте, что они на месте.
4. Замените рабочий процесс, сохраненный в аккаунте Marinara.

Если удалить узел и продолжать пользоваться старым экспортом, в нем останутся ссылки на узел, которого больше нет. Тогда ComfyUI отклоняет запрос.

Создание аккаунта для видео

1. Откройте Settings → Connections (настройки → подключения).
2. Нажмите Add account (добавить аккаунт) и выберите аккаунт Video Generation (генерация видео).
3. Выберите ComfyUI.
4. Введите Base URL (базовый адрес) – обычно http://127.0.0.1:8188, если ComfyUI запущен на том же компьютере.
5. Вставьте полный рабочий процесс формата API в поле ComfyUI workflow.
6. Для первого теста при малом объеме VRAM выберите длительность по умолчанию шесть секунд, 16:9 и 480p.
7. Сохраните аккаунт.

Проверка подключения только по тексту не задействует %reference_image_name%. После сохранения проверьте переход из изображения в видео на изображении из галереи или на раскадровке.

Настройка чата Game Mode

Откройте чат Game Mode, затем Chat Settings → Agents. Сначала включите Enable Agents (включить агентов) и Enable Storyboards (включить раскадровки). Стиль подачи Storyboard Optimized в мастере создания игры агента не включает.

Раздел Illustrator

Animation Planner и так получает описание внешности персонажей для этого хода, поэтому Attach Card Appearance остается выключенным, чтобы оно не добавлялось дважды. Storyboard First Frame тоже не повторяет художественные указания кампании вокруг готовой сцены первого кадра от планировщика.

Send Avatar References управляет опорными изображениями, которые уходят сервису изображений первого кадра. Входом первого кадра для LTX он не управляет: LTX получает готовую иллюстрацию через %reference_image_name%. Включайте опорные аватары, только когда убедитесь, что ваш аккаунт для изображений их поддерживает и они помогают.

Первый кадр сильно влияет на качество анимации. На нем должен быть тот самый момент прямо перед запланированным движением, а главный объект, путь, руки, дверь, предмет или цель должны быть отчетливо видны.

Раздел Scene Videos

Game Video Prompt отвечает за анимации, которые запускаются вручную из галереи и из раздела Game Assets. Клипы раскадровки могут использовать собственный промпт, не меняя этих анимаций.

Раздел Storyboards

• LTX Simple Image-to-Video – рекомендуемый планировщик. Он планирует один первый кадр, готовый к анимации, и один прямой промпт движения от 4 до 8 предложений: одно главное действие, одно поведение камеры, сдержанное движение вокруг и уместный звук или короткая реплика.
• LTX Director Storyboard – вариант для продвинутых: более подробные указания с учетом длительности и правила связности. Попробуйте его, когда простой путь заработает стабильно или когда длинному клипу нужно больше связанных фаз. Оба планировщика работают по одному и тому же договору с %prompt%.
• Когда анимации включены, оба результата пишет LTX Simple Image-to-Video: imagePrompt для Krea и narrationBeat для LTX. Still Keyframes используется только для ходов без видео.
• Storyboard First Frame передает Krea полную сцену первого кадра от планировщика на естественном языке – без заголовка ключевого кадра, подписей промпта, повторных заметок о внешности и художественных указаний кампании. Оставьте Use Storyboard Template включенным, чтобы это форматирование применялось.
• Narration Passthrough проводит готовый narrationBeat от планировщика через договор промпта для видео без еще одного пересказа сцены.

Каждый ключевой кадр создает одну задачу изображения в Krea и одну локальную задачу видео в LTX, поэтому три ключевых кадра запускают три отрисовки изображений и три отрисовки видео.

Первый тест

Возьмите завершенный ход GM с одним очевидным зримым действием: открыть дверь, посмотреть в сторону звука или произнести одну короткую фразу.

1. Для самой быстрой проверки при малом объеме VRAM поставьте Keyframes per Turn в 1, а Animation Clip Duration оставьте на 5 секундах.
2. Включите обе автоматические настройки раскадровки после того, как ход GM завершен.
3. Откройте Chat Settings → Gallery и выберите Create storyboard (создать раскадровку). Так весь путь от иллюстрации до анимации запускается без ожидания следующего хода.
4. Если проверка промптов включена, просмотрите промпт первого кадра перед отправкой.
5. Убедитесь, что первый кадр физически годится как начальная поза.
6. Дождитесь отрисовки первого кадра, а затем клипа из ComfyUI.
7. Когда ручной путь заработает, верните Keyframes per Turn на 3 и оставьте обе автоматические настройки включенными.

На этапе настройки используйте режим просмотра Floating (плавающее окно), чтобы рассмотреть каждое изображение и каждый клип. Позже переключитесь на Background (фон), если хотите, чтобы медиа раскадровки показывались в сцене Game.

Если не получилось, см. раздел Устранение неполадок.

Как передается промпт

Для каждого ключевого кадра Animation Planner возвращает imagePrompt (только то, что видно на первом кадре в момент T=0) и narrationBeat (полный промпт LTX о том, что происходит дальше). Storyboard First Frame форматирует imagePrompt и отправляет его в Krea 2. Когда изображение готово, Narration Passthrough разворачивается в narrationBeat. Marinara подставляет его в поле prompt запроса на видео, заменяет %prompt% в рабочем процессе ComfyUI, загружает первый кадр и заменяет %reference_image_name% его именем файла в ComfyUI. Два локальных сегмента промпта не нужны. Обычный путь – один глобальный промпт.

Как написать хороший промпт для LTX

Исходное изображение уже показывает внешность, композицию, место действия, свет и стиль. Промпт для видео должен быть о движении:

• один связный абзац в настоящем времени;
• одно сфокусированное действие, которое укладывается в длительность клипа;
• движение камеры, описанное относительно главного объекта;
• зримые реакции через взгляд, лицо, позу, дыхание или жест;
• не больше одного полезного движения в окружении;
• фоновый звук, эффекты, музыка или короткая реплика в кавычках, если они к месту;
• естественное завершение, затухающее движение или короткая пауза.

Избегайте смены сцен, склеек, телепортации, нескольких несвязанных действий, сложной физики, перегруженной хореографии, точного читаемого текста и повторов деталей, которые уже видны на первом кадре.

She pushes the door open and walks outside as the camera follows closely behind her. A light breeze moves her hair while her pace remains steady. She glances toward the empty street and says, "Stay close." Footsteps and distant traffic continue as the camera settles behind her.

Устранение неполадок

ComfyUI отвечает HTTP 400 или "Prompt outputs failed validation"

Рабочий процесс формата API не совпадает с установленным графом. Ищите удаленный узел, висящий идентификатор узла, отсутствующий пользовательский узел, вход, который переименовало обновление узла, или имя файла модели, которого больше нет. Экспортируйте свежий рабочий процесс формата API из работающего графа.

Изображения создаются, а видео нет

Проверьте Automatic Storyboard Animations и Video model в Game Mode. Для анимации нужны и иллюстрация первого кадра, и выбранный аккаунт для видео.

LTX не получает начальное изображение

Убедитесь, что %reference_image_name% есть в сохраненном рабочем процессе формата API и что он подается в сегмент изображения узла LTX Director. Marinara загружает первый кадр только при наличии этой подстановки.

Клип расплывается, меняет персонажей или превращается в хаос

Вернитесь к LTX Simple Image-to-Video, оставьте один ключевой кадр и проверьте ход с одним действием. Одно изображение не может чисто превратиться в несколько мест, поз и исходов за короткий клип. Посмотрите и на первый кадр: путаная начальная поза усложняет анимацию.

Все генерации выходят слишком похожими

Замените любое жестко заданное начальное число сэмплирования на %seed%. Когда получится удачный результат, зафиксируйте это число в рабочем процессе временно – только пока сравниваете изменения промпта или сэмплирования.

Генерации не хватает памяти

Начните с 480p. Затем сократите длительность. На время тестов держите один ключевой кадр на ход, закройте другие программы, использующие GPU, и не держите локальную языковую модель загруженной на том же GPU с малым объемом VRAM. Квантованный чекпоинт уменьшает память под модель, но не память, которую занимают латенты видео, текстовый энкодер, VAE, звук и апскейлинг.

Marinara перестает ждать, а ComfyUI продолжает отрисовку

Если закрыть запрос в браузере или потерять соединение, опрос со стороны Marinara может прекратиться, но задача, уже поставленная в очередь ComfyUI, не отменится. Прежде чем запускать ту же отрисовку заново, проверьте очередь, историю и папку вывода ComfyUI.

Рабочий процесс работает в ComfyUI, но не работает из приложения Marinara

Сравните JSON, сохраненный в аккаунте, с самым свежим экспортом формата API. Проверьте базовый адрес, написание подстановок, пользовательские узлы, пути к моделям, узел вывода, размеры и поля длительности. Редактируемый граф может работать, пока в приложении Marinara хранится более старый снимок экспорта.

Для трассировок сервера включите журнал на уровне debug и ищите [debug/game/storyboard-video] и [video-gen/comfyui]. В исправном запросе видны готовый глобальный промпт, имя файла загруженного опорного изображения, длительность, число кадров и идентификатор промпта, поставленного в очередь ComfyUI.

Справка: модели LTX 2.3

Формат модели выбирайте под семейство вашего GPU и под память, которая остается после того, как ComfyUI загрузит текстовый энкодер, VAE и апскейлер. Это отправные точки, а не обещания.

В проверенном рабочем процессе для RTX 3080 используется ltx-2.3-22b-distilled-1.1_transformer_only_int8_convrot.safetensors. Эти суффиксы – разные форматы квантования и пути исполнения, а не пресеты качества, которые всегда можно поменять местами. Рабочие процессы Dev и distilled исходят из разных допущений о сэмплировании, поэтому не подставляйте чекпоинт dev в граф distilled, не изменив рабочий процесс. То, что чекпоинт поместился, не гарантирует, что поместится более длинное видео или видео с большим разрешением.

В официальном рабочем процессе для начинающих используются ltx-2.3-22b-dev-fp8.safetensors, ltx-2.3-22b-distilled-lora-384.safetensors, gemma_3_12B_it_fp4_mixed.safetensors и ltx-2.3-spatial-upscaler-x2-1.1.safetensors. В собственных рабочих процессах могут быть другие чекпоинты, варианты квантования, узлы загрузки или папки. Имена файлов, сохраненные в рабочем процессе формата API, должны в точности совпадать с файлами, которые видит ComfyUI. Если модели лежат в другой папке, например LTX2/, поправьте значения в узлах загрузки и экспортируйте свежую копию формата API.

Делясь рабочим процессом, укажите модель GPU и объем VRAM, версию ComfyUI, версии драйвера NVIDIA, CUDA, PyTorch и Python, пользовательские узлы и их версии, имена файлов моделей и папки, разрешение, длительность, число ключевых кадров и время отрисовки, а также то, работала ли Krea 2 локально или на удаленном сервисе.

Официальные материалы:

• Руководство LTX 2.3: изображение в видео
• Руководство по промптам для LTX
• Карточка модели LTX 2.3
• Карточка модели LTX 2.3 NVFP4
• Официальные примеры LTX 2.3 для ComfyUI
• Разделенные для ComfyUI и FP8-веса от сообщества

Смежные руководства

• Руководство по агенту Storyboard
• Настройка рабочего процесса ComfyUI
• Генерация видео сцены
• Game Mode: начало работы