Game Mode में LTX 2.3 स्टोरीबोर्ड

इस गाइड में बताया गया है कि लोकल LTX 2.3 ComfyUI image-to-video वर्कफ़्लो को Game Mode के स्टोरीबोर्ड से कैसे जोड़ें, ताकि हर स्टोरीबोर्ड फ़्रेम एक छोटी वीडियो क्लिप बन जाए। यह एडवांस सेटअप उन खिलाड़ियों के लिए है जिनके पास लोकल GPU और ComfyUI है। कुछ खिलाड़ी इसे Story Mode कहते हैं। Marinara में इन कंट्रोल के नाम Game Mode (गेम मोड) और Storyboards (स्टोरीबोर्ड) हैं।

यह सेटअप Krea 2 से बनी पहली फ़्रेम की इमेज और Z-Image Turbo Narrative Image Style के साथ तैयार किया गया था। दूसरे इमेज अकाउंट भी काम करने चाहिए, बशर्ते वे वर्णनात्मक नैचुरल-लैंग्वेज सीन प्रॉम्प्ट स्वीकार करते हों। LTX वीडियो ComfyUI में लोकल रेंडर होता है। पहली फ़्रेम की इमेज लोकल बनेगी या किसी होस्टेड सेवा पर, यह आपके चुने हुए इमेज अकाउंट पर निर्भर करता है।

पूरा रास्ता इन चरणों से बनता है:

  1. GM (कहानी चलाने वाला AI) एक नैरेशन टर्न लिखता है।
  2. Animation Planner एक imagePrompt और एक narrationBeat लौटाता है।
  3. imagePrompt इमेज अकाउंट तक जाता है और पहली फ़्रेम की इलस्ट्रेशन बन जाता है।
  4. narrationBeat Narration Passthrough से होकर गुज़रता है और %prompt% बन जाता है।
  5. पहली फ़्रेम और प्रॉम्प्ट ComfyUI के LTX 2.3 वर्कफ़्लो तक जाते हैं, जो एक MP4 क्लिप बनाता है।

इलस्ट्रेशन ही क्लिप की पहली फ़्रेम होती है। LTX को शुरुआती तस्वीर भी मिलती है और ऐसा प्रॉम्प्ट भी जो बताता है कि आगे क्या हिलता-डुलता है। सब ठीक चले, तो गैलरी के Videos (वीडियो) टैब में क्लिप दिख जाती है।

शुरू करने से पहले

इनकी ज़रूरत होगी:

  1. चालू लोकल ComfyUI, जिस तक Marinara पहुँच सके। देखें ComfyUI वर्कफ़्लो सेटअप।
  2. काफ़ी VRAM (आपके ग्राफ़िक्स कार्ड की मेमोरी) वाला GPU। पहले टेस्ट के लिए 8 GB वाला कार्ड 480p और एक कीफ़्रेम पर काम कर सकता है।
  3. एडिट करने लायक ltx-director-simple वर्कफ़्लो, या उसके बराबर का कोई LTX 2.3 image-to-video ग्राफ़ जो ComfyUI में पूरा चलता हो, और उसका ltx-director-simple-api नाम वाला API फ़ॉर्मैट एक्सपोर्ट।
  4. पहली फ़्रेम की इलस्ट्रेशन के लिए Marinara में एक इमेज अकाउंट।
  5. Storyboard एजेंट, जो Agents → Agent Organizer (एजेंट → एजेंट ऑर्गनाइज़र) से डाउनलोड किया गया हो और Chat Settings → Agents (चैट सेटिंग्स → एजेंट) में उस गेम के लिए चालू हो। देखें Storyboard एजेंट गाइड।

एडिट करने लायक वर्कफ़्लो और उसका API एक्सपोर्ट अलग-अलग फ़ाइलें हैं। ComfyUI में ltx-director-simple खोलें, ComfyUI Manager जिन कस्टम नोड को गुम बताए उन सबको इंस्टॉल करें, और ग्राफ़ को वहीं टेस्ट करें। Marinara में ltx-director-simple-api इंपोर्ट करें। नोड या मॉडल में हर बदलाव के बाद ग्राफ़ को दोबारा API फ़ॉर्मैट में एक्सपोर्ट करें और Marinara अकाउंट पर रखी JSON बदल दें। सामान्य विज़ुअल-एडिटर वाला वर्कफ़्लो Marinara में पेस्ट न करें।

ComfyUI का API वर्कफ़्लो तैयार करें

सबसे पहले एडिट करने लायक वर्कफ़्लो को ComfyUI में एक असली सोर्स इमेज और सादे प्रॉम्प्ट के साथ क्यू करें। पक्का कर लें कि वह ऑडियो समेत MP4 सेव करता है।

Marinara का सादा रास्ता LTX Director के ग्लोबल प्रॉम्प्ट इनपुट में एक ही पूरा प्रॉम्प्ट रखता है:

{
  "global_prompt": "%prompt%",
  "local_prompts": "",
  "segment_lengths": ""
}

LTX Director नोड फिर भी इमेज कंडिशनिंग, गाइड डेटा, ऑडियो और दोनों सैंपलिंग स्टेज संभाल सकता है। "Simple" का मतलब है कि Marinara किसी Prompt Relay टाइमलाइन की जगह एक सुसंगत image-to-video पैराग्राफ़ भेजता है।

प्लेसहोल्डर

API एक्सपोर्ट में मेल खाती वैल्यू की जगह Marinara के ये प्लेसहोल्डर उद्धरण-चिह्नों में डालें:

प्लेसहोल्डरMarinara जो वैल्यू भरता है
%prompt%Animation Planner और वीडियो टेम्पलेट से बना पूरा प्रॉम्प्ट
%reference_image_name%ComfyUI पर अपलोड की गई पहली फ़्रेम की इमेज
%duration_seconds%क्लिप की अवधि, सेकंड में
%length%Marinara के डिफ़ॉल्ट 16 FPS पर फ़्रेम की संख्या के रूप में अवधि
%fps%Marinara जो फ़्रेम रेट इस्तेमाल करता है
%width%, %height%वीडियो अकाउंट के रिज़ॉल्यूशन और आस्पेक्ट रेशियो से निकले माप
%seed%हर रिक्वेस्ट के लिए नया रैंडम सीड
%model%अकाउंट से आने वाली वैकल्पिक मॉडल वैल्यू, जब वर्कफ़्लो अपना लोडर मॉडल खुद तय न करता हो

Marinara %length_s%, %global_prompt%, %local_prompts% और %segment_lengths% भी भर सकता है। ये चारों वैकल्पिक हैं। सादे रास्ते को इनकी ज़रूरत नहीं होती, और वह अपना प्रॉम्प्ट %prompt% के ज़रिए भेजता है।

रेफ़रेंस इमेज की जगह LTX Director के timeline_data के segments ऐरे के अंदर है। API वर्कफ़्लो में timeline_data एक सीरियलाइज़ की हुई JSON स्ट्रिंग होती है। %length% क्लिप की लंबाई को normalDurationFrames के ज़रिए बदलने लायक रखता है। फ़्रेम शून्य वाला रेफ़रेंस-इमेज सेगमेंट अपनी अलग, तय "length":16 वैल्यू रखता है।

{
  "timeline_data": "{\"global_prompt\":\"\",\"normalStartFrame\":0,\"normalDurationFrames\":%length%,\"segments\":[{\"id\":\"marinara-reference\",\"start\":0,\"length\":16,\"prompt\":\"\",\"type\":\"image\",\"imageFile\":\"%reference_image_name%\",\"isEndFrame\":false}],\"motionSegments\":[],\"audioSegments\":[]}"
}

हर बदलाव के बाद एक्सपोर्ट करें

  1. ComfyUI में एडिट करने लायक वर्कफ़्लो क्यू करें और पक्का कर लें कि वह चलने लायक MP4 बनाता है।
  2. अपने ComfyUI वर्ज़न के हिसाब से Save (API Format), Export (API) या Export to API चुनें।
  3. नई API JSON में प्लेसहोल्डर जोड़ें या उनकी पुष्टि करें।
  4. Marinara अकाउंट पर सेव वर्कफ़्लो को बदल दें।

कोई नोड हटाने के बाद भी पुराना एक्सपोर्ट इस्तेमाल करते रहने से ऐसे नोड के रेफ़रेंस बचे रह जाते हैं जो अब मौजूद ही नहीं। तब ComfyUI रिक्वेस्ट ठुकरा देता है।

वीडियो अकाउंट बनाएँ

  1. Settings → Connections (सेटिंग्स → कनेक्शन) खोलें।
  2. Add account (अकाउंट जोड़ें) पर क्लिक करें और Video Generation अकाउंट चुनें।
  3. ComfyUI चुनें।
  4. Base URL डालें। ComfyUI उसी कंप्यूटर पर चलता हो, तो यह आम तौर पर http://127.0.0.1:8188 होता है।
  5. पूरा API फ़ॉर्मैट वाला वर्कफ़्लो ComfyUI workflow (ComfyUI वर्कफ़्लो) में पेस्ट करें।
  6. पहले कम-VRAM टेस्ट के लिए छह सेकंड की डिफ़ॉल्ट अवधि, 16:9 और 480p चुनें।
  7. अकाउंट सेव करें।

सिर्फ़ टेक्स्ट वाला कनेक्शन टेस्ट %reference_image_name% को नहीं परख सकता। सेव करने के बाद image-to-video को गैलरी की किसी इमेज या किसी Storyboard से टेस्ट करें।

Game Mode चैट सेट करें

Game Mode चैट खोलें, फिर Chat Settings → Agents खोलें। सबसे पहले Enable Agents और Enable Storyboards चालू करें। विज़ार्ड का Storyboard Optimized प्रेज़ेंटेशन एजेंट को चालू नहीं करता।

Illustrator

सेटिंगसुझाई गई वैल्यू
Game IllustratorOn
Image modelKrea 2
Image StyleZ-Image Turbo Narrative
Use Campaign Art StyleOff
Attach Card AppearanceOff
Send Avatar Referencesइस टेस्ट किए गए वर्कफ़्लो के लिए Off

Animation Planner को टर्न के कैरेक्टर की शक्ल-सूरत वाला कॉन्टेक्स्ट पहले ही मिल जाता है, इसलिए Attach Card Appearance बंद रहता है, ताकि वह जानकारी दो बार न जुड़े। Storyboard First Frame भी प्लानर के तैयार पहली-फ़्रेम सीन के इर्द-गिर्द कैंपेन की आर्ट डायरेक्शन नहीं दोहराता।

Send Avatar References से तय होता है कि पहली फ़्रेम बनाने वाली इमेज सेवा को कौन-सी रेफ़रेंस इमेज भेजी जाएँ। LTX के पहली-फ़्रेम इनपुट पर इसका कोई असर नहीं: LTX को तैयार इलस्ट्रेशन %reference_image_name% के ज़रिए मिलती है। अवतार रेफ़रेंस तभी चालू करें जब पक्का हो जाए कि आपका इमेज अकाउंट इन्हें सपोर्ट करता है और इनसे फ़ायदा होता है।

पहली फ़्रेम एनिमेशन की क्वालिटी पर बहुत असर डालती है। उसमें तय हरकत से ठीक पहले का पल दिखना चाहिए, और विषय, रास्ता, हाथ, दरवाज़ा, प्रॉप या निशाना साफ़ दिखना चाहिए।

Scene Videos

सेटिंगसुझाई गई वैल्यू
Video modelआपका बनाया हुआ LTX 2.3 ComfyUI अकाउंट
Game Video PromptNarration Passthrough

Game Video Prompt से गैलरी और Game Assets में हाथ से बनाए जाने वाले एनिमेशन तय होते हैं। Storyboard क्लिप उन्हें बदले बिना अपना अलग प्रॉम्प्ट इस्तेमाल कर सकती हैं।

Storyboards

सेटिंगसुझाई गई शुरुआती वैल्यू
Automatic Storyboard IllustrationsOn
Automatic Storyboard AnimationsOn
Use NovelAI Character PromptsOff
Keyframes per Turnआम तौर पर 3। 8 GB VRAM वाले पहले टेस्ट में 1 से शुरू करें।
Animation Clip Duration5 सेकंड
Viewer Displayटेस्ट के दौरान Floating
Illustration PlannerStill Keyframes (बिना वीडियो वाले टर्न के लिए फ़ॉलबैक)
Animation PlannerLTX Simple Image-to-Video
Use Storyboard TemplateOn
Storyboard Illustration PromptStoryboard First Frame
Storyboard Video PromptNarration Passthrough

हर कीफ़्रेम एक Krea इमेज जॉब और एक लोकल LTX वीडियो जॉब बनाता है, इसलिए तीन कीफ़्रेम से तीन इमेज रेंडर और तीन वीडियो रेंडर शुरू होते हैं।

पहला टेस्ट चलाएँ

ऐसा पूरा हो चुका GM टर्न लें जिसमें एक साफ़ दिखने वाली हरकत हो, जैसे दरवाज़ा खोलना, किसी आवाज़ की तरफ़ देखना या एक छोटी लाइन बोलना।

  1. सबसे तेज़ कम-VRAM जाँच के लिए Keyframes per Turn को 1 करें और Animation Clip Duration 5 सेकंड ही रहने दें।
  2. GM टर्न पूरा हो जाने के बाद दोनों ऑटोमैटिक Storyboard सेटिंग्स चालू करें।
  3. Chat Settings → Gallery (चैट सेटिंग्स → गैलरी) खोलें और Create storyboard चुनें। इससे अगले टर्न का इंतज़ार किए बिना इलस्ट्रेशन और एनिमेशन का पूरा रास्ता शुरू हो जाता है।
  4. अगर प्रॉम्प्ट रिव्यू चालू है, तो भेजने से पहले पहली फ़्रेम का प्रॉम्प्ट जाँच लें।
  5. जाँच लें कि पहली फ़्रेम ऐसी शुरुआती मुद्रा दिखाती है जो शारीरिक रूप से काम की हो।
  6. पहले पहली फ़्रेम के रेंडर का, फिर ComfyUI की क्लिप का इंतज़ार करें।
  7. हाथ से चलाया गया रास्ता काम करने लगे, तो Keyframes per Turn को वापस 3 कर दें और दोनों ऑटोमैटिक सेटिंग्स चालू रहने दें।

सेटअप के दौरान Floating व्यूअर इस्तेमाल करें, ताकि हर इमेज और क्लिप को जाँच सकें। बाद में अगर Storyboard मीडिया को Game के सीन में देखना हो, तो Background पर चले जाएँ।

अगर काम नहीं बना, तो समस्या-समाधान देखें।

प्रॉम्प्ट का लेन-देन कैसे होता है

हर कीफ़्रेम के लिए Animation Planner imagePrompt (समय T=0 पर दिखने वाली सिर्फ़ पहली फ़्रेम) और narrationBeat (आगे क्या होता है, इसका पूरा LTX प्रॉम्प्ट) लौटाता है। Storyboard First Frame imagePrompt को फ़ॉर्मैट करके Krea 2 तक भेजता है। इमेज बन जाने पर Narration Passthrough का नतीजा narrationBeat होता है। Marinara उसे वीडियो रिक्वेस्ट के prompt फ़ील्ड में रखता है, ComfyUI वर्कफ़्लो में %prompt% की जगह डालता है, पहली फ़्रेम अपलोड करता है और %reference_image_name% की जगह उसका ComfyUI फ़ाइल नाम रख देता है। दो लोकल प्रॉम्प्ट सेगमेंट की ज़रूरत नहीं है। एक ही ग्लोबल प्रॉम्प्ट सामान्य रास्ता है।

अच्छा LTX प्रॉम्प्ट लिखें

सोर्स इमेज पहले ही शक्ल-सूरत, कंपोज़िशन, माहौल, रोशनी और स्टाइल दिखा देती है। वीडियो प्रॉम्प्ट हरकत के बारे में होना चाहिए:

सीन बदलना, कट, टेलीपोर्ट करना, कई असंबंधित हरकतें, जटिल भौतिकी, भीड़ भरी कोरियोग्राफ़ी, पढ़ा जा सकने वाला सटीक टेक्स्ट, और पहली फ़्रेम में पहले से दिख रही बातों को दोहराना, इन सबसे बचें।

She pushes the door open and walks outside as the camera follows closely behind her. A light breeze moves her hair while her pace remains steady. She glances toward the empty street and says, "Stay close." Footsteps and distant traffic continue as the camera settles behind her.

समस्या-समाधान

ComfyUI HTTP 400 या "Prompt outputs failed validation" लौटाता है

API वर्कफ़्लो इंस्टॉल ग्राफ़ से मेल नहीं खाता। देखें कि कोई नोड हटाया गया है, कोई नोड ID अधर में लटकी है, कोई कस्टम नोड गुम है, किसी नोड अपडेट ने किसी इनपुट का नाम बदल दिया है, या कोई मॉडल फ़ाइल नाम अब मौजूद नहीं है। चालू ग्राफ़ से नया API वर्कफ़्लो एक्सपोर्ट करें।

इमेज बनती हैं पर वीडियो नहीं

Automatic Storyboard Animations और Game Mode का Video model जाँचें। एनिमेशन के लिए पहली फ़्रेम की इलस्ट्रेशन और चुना हुआ वीडियो अकाउंट, दोनों ज़रूरी हैं।

LTX को शुरुआती इमेज नहीं मिलती

पक्का करें कि सेव किए गए API वर्कफ़्लो में %reference_image_name% मौजूद है और LTX Director के इमेज सेगमेंट तक पहुँचता है। Marinara पहली फ़्रेम तभी अपलोड करता है जब यह प्लेसहोल्डर मौजूद हो।

क्लिप बहकती है, कैरेक्टर बदल जाते हैं या सब गड्डमड्ड हो जाता है

LTX Simple Image-to-Video पर लौटें, एक कीफ़्रेम रखें और सिर्फ़ एक हरकत वाले टर्न पर टेस्ट करें। एक इमेज किसी छोटी क्लिप में साफ़-साफ़ कई जगहों, मुद्राओं और नतीजों में नहीं बदल सकती। पहली फ़्रेम भी जाँचें: उलझी हुई शुरुआती मुद्रा से एनिमेशन और मुश्किल हो जाता है।

हर जेनरेशन एक जैसी लगती है

वर्कफ़्लो में तय लिखे किसी भी सैंपलिंग सीड की जगह %seed% डालें। कोई काम का नतीजा मिल जाए, तो उस सीड को वर्कफ़्लो में कुछ देर के लिए टिका दें, सिर्फ़ तब तक जब तक आप प्रॉम्प्ट या सैंपलिंग के बदलावों की तुलना कर रहे हों।

जेनरेशन के दौरान मेमोरी खत्म हो जाती है

480p से शुरू करें। फिर अवधि घटाएँ। टेस्ट के दौरान हर टर्न पर एक कीफ़्रेम रखें, GPU इस्तेमाल करने वाले दूसरे ऐप बंद करें, और उसी कम-VRAM वाले GPU पर कोई लोकल लैंग्वेज मॉडल लोड न रखें। क्वांटाइज़्ड चेकपॉइंट मॉडल की मेमोरी घटाता है, पर वीडियो लेटेंट, टेक्स्ट एनकोडर, VAE, ऑडियो और अपस्केलिंग की मेमोरी नहीं।

Marinara इंतज़ार छोड़ देता है पर ComfyUI रेंडर करता रहता है

ब्राउज़र की रिक्वेस्ट बंद करने या कनेक्शन टूटने से Marinara की पोलिंग रुक सकती है, पर ComfyUI में पहले से क्यू हुआ जॉब रद्द नहीं होता। वही रेंडर दोबारा शुरू करने से पहले ComfyUI की क्यू, हिस्ट्री और आउटपुट फ़ोल्डर देख लें।

वर्कफ़्लो ComfyUI में चलता है पर Marinara से फ़ेल हो जाता है

अकाउंट पर सेव JSON की तुलना अपने सबसे नए API एक्सपोर्ट से करें। बेस URL, प्लेसहोल्डर की वर्तनी, कस्टम नोड, मॉडल पथ, आउटपुट नोड, माप और अवधि वाले फ़ील्ड जाँचें। हो सकता है एडिट करने लायक ग्राफ़ चल रहा हो, जबकि Marinara के पास अब भी पुराना एक्सपोर्ट किया हुआ स्नैपशॉट हो।

सर्वर ट्रेस के लिए डीबग लॉगिंग चालू करें और [debug/game/storyboard-video] और [video-gen/comfyui] ढूँढें। सही चल रही रिक्वेस्ट में पूरा ग्लोबल प्रॉम्प्ट, अपलोड की गई रेफ़रेंस इमेज का फ़ाइल नाम, अवधि, फ़्रेम की संख्या और क्यू हुई ComfyUI प्रॉम्प्ट ID दिखती है।

रेफ़रेंस: LTX 2.3 मॉडल

मॉडल का फ़ॉर्मैट अपने GPU परिवार के हिसाब से चुनें, और इस हिसाब से भी कि ComfyUI के टेक्स्ट एनकोडर, VAE और अपस्केलर लोड करने के बाद कितनी मेमोरी बचती है। ये शुरुआती सुझाव हैं, वादे नहीं।

GPU परिवारव्यावहारिक शुरुआती विकल्पटिप्पणी
RTX 30 सीरीज़ (Ampere)INT8 ConvRot3070, 3080 और 3090 श्रेणी के कार्ड के लिए कम मेमोरी वाली शुरुआत।
RTX 40 सीरीज़, 16 से 24 GBFP8 input-scaledAda हार्डवेयर पर तेज़ FP8 रास्ता इस्तेमाल करता है।
RTX 40 सीरीज़, 8 से 12 GBINT8 ConvRot, जब FP8 ऑफ़लोडिंग बहुत धीमी होअपने वर्कफ़्लो पर दोनों की तुलना करें।
RTX 50 सीरीज़ (Blackwell)NVFP4 dev वर्कफ़्लोइसके लिए NVFP4 सपोर्ट करने वाला ComfyUI, CUDA और नोड स्टैक चाहिए।
RTX 50, मौजूदा distilled वर्कफ़्लोFP8 input-scaledजब तक आधिकारिक distilled NVFP4 चेकपॉइंट न आए, तब तक यही इस्तेमाल करें।

टेस्ट किया गया RTX 3080 वर्कफ़्लो ltx-2.3-22b-distilled-1.1_transformer_only_int8_convrot.safetensors इस्तेमाल करता है। ये सफ़िक्स अलग-अलग क्वांटाइज़्ड फ़ॉर्मैट और एक्ज़ीक्यूशन रास्ते हैं, ऐसे क्वालिटी प्रीसेट नहीं जिन्हें हमेशा आपस में बदला जा सके। Dev और distilled वर्कफ़्लो सैंपलिंग के बारे में अलग-अलग मान्यताओं पर चलते हैं, इसलिए वर्कफ़्लो बदले बिना distilled ग्राफ़ में dev चेकपॉइंट न डालें। चेकपॉइंट समा जाने से यह गारंटी नहीं मिलती कि लंबा या ज़्यादा रिज़ॉल्यूशन वाला वीडियो भी समा जाएगा।

आधिकारिक शुरुआती वर्कफ़्लो ltx-2.3-22b-dev-fp8.safetensors, ltx-2.3-22b-distilled-lora-384.safetensors, gemma_3_12B_it_fp4_mixed.safetensors और ltx-2.3-spatial-upscaler-x2-1.1.safetensors इस्तेमाल करता है। कस्टम वर्कफ़्लो दूसरे चेकपॉइंट, क्वांटाइज़ेशन, लोडर नोड या फ़ोल्डर इस्तेमाल कर सकते हैं। API वर्कफ़्लो में सेव फ़ाइल नाम हूबहू उन्हीं फ़ाइलों से मेल खाने चाहिए जो ComfyUI को दिखती हैं। अगर आप मॉडल किसी और फ़ोल्डर में रखते हैं, जैसे LTX2/, तो लोडर की वैल्यू बदलें और नई API कॉपी एक्सपोर्ट करें।

वर्कफ़्लो शेयर करते समय ये बातें दर्ज करें: आपका GPU मॉडल और VRAM, ComfyUI का वर्ज़न, NVIDIA ड्राइवर, CUDA, PyTorch और Python के वर्ज़न, कस्टम नोड और उनके वर्ज़न, मॉडल फ़ाइलों के नाम और फ़ोल्डर, रिज़ॉल्यूशन, अवधि, कीफ़्रेम की संख्या और रेंडर का समय, और यह कि Krea 2 लोकल चला या होस्टेड।

आधिकारिक रेफ़रेंस:

मिलती-जुलती गाइड