Conversation में ऑडियो और वीडियो कॉल

कॉल एक लाइव स्क्रीन है, वॉइस-चैट ऐप जैसी, जिसमें आप एक या ज़्यादा कैरेक्टर से माइक्रोफ़ोन से या टाइप करके बात करते हैं। कॉल चलने के दौरान यह सामान्य Conversation चैट के ऊपर रहती है। कॉल सिर्फ़ Conversation मोड में होती हैं।

कॉल एक वैकल्पिक पैकेज है। Agents → Agent Organizer (एजेंट → एजेंट ऑर्गनाइज़र) से Calls इंस्टॉल करें। कैटलॉग रीस्टार्ट करने को कहे तो Marinara बंद करें और उसे उसी तरह दोबारा शुरू करें जैसे आप आम तौर पर शुरू करते हैं (Marinara Engine इंस्टॉलेशन देखें)।

कॉल के दौरान जिन कैरेक्टर की Text to Speech (TTS, यानी टेक्स्ट को बोली हुई आवाज़ में बदलना) आवाज़ ठीक से काम करती है, वे ज़ोर से बोलते हैं। आवाज़ के बिना कैरेक्टर कॉल चैट में टाइप किए संदेशों से जवाब देते हैं। आप स्थिर अवतार की जगह कैरेक्टर की AI से बनी लूप होती वीडियो क्लिप भी दिखा सकते हैं।

Marinara आपके ब्राउज़र में आपका माइक्रोफ़ोन या कैमरा रिकॉर्ड करता है। इनपुट मोड (नीचे) के हिसाब से आपकी बोली आपके अपने कंप्यूटर पर टेक्स्ट में बदली जाती है, या चैट के लिए चुने गए मॉडल को भेजी जाती है। जवाब आपकी TTS सेवा से बोले जाते हैं। कॉल खत्म होने पर एक छोटा सारांश Conversation में वापस चला जाता है। पूरा ट्रांसक्रिप्ट अलग कॉल स्टोरेज में रहता है।

आपको क्या चाहिए

• Calls इंस्टॉल हो।
• कम से कम एक कैरेक्टर वाली Conversation चैट, और जवाब लिखने वाले मॉडल का अकाउंट।
• चैट की सेटिंग्स में Audio/Video Calls और Call Audio Pipeline चालू हों।
• वैकल्पिक: Text to Speech का अकाउंट, ताकि कैरेक्टर बोलें। इसके बिना वे टेक्स्ट में जवाब देते हैं।
• वैकल्पिक: डिफ़ॉल्ट माइक्रोफ़ोन मोड के लिए एक बार Local Whisper डाउनलोड करना होता है (Local Whisper डाउनलोड करना देखें)। इसकी जगह आप कॉल चैट में टाइप कर सकते हैं।

अपनी पहली कॉल सेट करना

शुरू करने से पहले: आपके पास कम से कम एक कैरेक्टर वाली Conversation चैट और जवाब लिखने वाले मॉडल का अकाउंट होना चाहिए (किसी AI प्रोवाइडर से कनेक्ट करना देखें)।

1. वैकल्पिक: Text to Speech सेट करें (Text to Speech सेट करना देखें)। इसके बिना हर कैरेक्टर सिर्फ़ टेक्स्ट में शामिल होता है।
2. चैट खोलें, फिर Chat Settings → Agents → Calls (चैट सेटिंग्स → एजेंट → कॉल) खोलें।
3. Audio/Video Calls चालू करें। बातचीत के नाम के बगल में एक कॉल बटन दिखता है।
4. Call Audio Pipeline चालू करें। इसके बिना कोई कॉल शुरू नहीं हो सकती, भले ही आप सिर्फ़ टाइप करें और सिर्फ़ सुनें। यह माइक्रोफ़ोन भी चालू करता है।
5. एक Audio input mode चुनें (नीचे)।
6. Start call पर क्लिक करें।

अगर यह काम नहीं किया: "Conversation call audio is not enabled in Chat Settings" दिखे तो Call Audio Pipeline बंद है। यह एक ग्लोबल सेटिंग है, इसलिए एक चैट में इसे चालू करने से यह सारी Conversation कॉल के लिए चालू हो जाती है।

नई चैट के लिए पहले सेटअप विज़ार्ड पूरा करें, फिर उस चैट की Chat Settings खोलें।

Calls की सेटिंग्स तभी दिखती हैं जब Calls इंस्टॉल हो। दो स्विच एक जैसे दिखते हैं पर अलग काम करते हैं:

• Audio/Video Calls कॉल बटन दिखाता है, ताकि आप किसी कैरेक्टर को कॉल कर सकें।
• Calls कमांड कैरेक्टर को पहले आपको रिंग करने देता है। यह बंद हो तब भी आप खुद कॉल शुरू कर सकते हैं।

कॉल के अंदर की कमांड के लिए उसी सेक्शन का मास्टर Commands स्विच चालू होना चाहिए। कॉल खुद उसके बंद रहने पर भी शुरू हो सकती है।

Text to Speech सेट करना

Text to Speech तय करता है कि कौन से कैरेक्टर बोल सकते हैं और किस आवाज़ में। पूरी जानकारी के लिए Text to Speech (TTS) सेटअप पढ़ें। संक्षेप में, Connections (कनेक्शन) खोलें, Add account पर क्लिक करें और Text to speech चुनें। वह On this device के नीचे पहले से लिस्ट हो तो उसे वहीं से खोलें। फिर:

1. Text to Speech चालू करें।
2. एक सोर्स चुनें: OpenAI-compatible, ElevenLabs, PocketTTS या xAI Voice।
3. उस सोर्स की API कुंजी या लोकल सर्वर का पता डालें।
4. एक मॉडल और एक आवाज़ चुनें।
5. Voice option को One voice for all या Selected per character or persona पर सेट करें। हर कैरेक्टर की अलग आवाज़ से ग्रुप कॉल समझना आसान होता है।
6. सेव करें, फिर प्रीव्यू बटन से पक्का करें कि आपको आवाज़ सुनाई देती है।

किसी कैरेक्टर की कोई ऐसी आवाज़ न हो जिसे Marinara पहचान सके, तो वह कैरेक्टर उस कॉल के लिए सिर्फ़ टेक्स्ट में रहता है।

Audio input mode चुनना

Call Audio Pipeline चालू होने पर Audio input mode की लिस्ट दिखती है। पक्का न हो तो डिफ़ॉल्ट रहने दें।

कैमरा और स्क्रीन के बटन के लिए Camera and screen input चालू होना चाहिए, और वे सिर्फ़ Provider-native audio/video मोड में काम करते हैं। दूसरे मोड में वे दिखते हैं पर बंद रहते हैं।

कॉल शुरू करना, उठाना और खत्म करना

कॉल शुरू करना। कॉल चालू होने पर बातचीत के नाम के बगल में फ़ोन बटन रहता है। उसका टूलटिप Start call है, या कॉल चल रही हो तो Open call। उस पर क्लिक करें और कॉल स्क्रीन खुल जाती है। हर चैट में एक समय पर सिर्फ़ एक कॉल चालू या रिंग होती हुई हो सकती है। दूसरी शुरू करने पर मौजूदा कॉल ही दोबारा खुलती है।

कॉल उठाना। Calls कमांड चालू होने पर कैरेक्टर आपको रिंग कर सकता है। उस चैट में संदेश बॉक्स के ऊपर Decline call और Answer call के साथ एक Incoming call बैनर दिखता है। Marinara में कहीं और आपको आने वाली कॉल की नोटिफ़िकेशन और एक छोटी रिंग की आवाज़ मिलती है। Marinara आपकी जगह कभी कॉल नहीं उठाता। सिर्फ़ वे कैरेक्टर शामिल होते हैं जो उपलब्ध हैं: जिस कैरेक्टर का शेड्यूल या स्टेटस ऑफ़लाइन है, वह नहीं होता।

कॉल खत्म करना। कॉल स्क्रीन या छोटे किए गए पॉपआउट पर लाल End call बटन पर क्लिक करें। कैरेक्टर भी कॉल के अंदर की कमांड से कॉल छोड़ या खत्म कर सकता है। तब Marinara रिकॉर्डिंग रोक देता है और Conversation में एक कार्ड जोड़ देता है।

कॉल स्क्रीन

स्टेज पर हर प्रतिभागी के लिए एक टाइल दिखती है, यानी आपका पर्सोना और हर उपलब्ध कैरेक्टर, और जो बोल रहा हो वह हाइलाइट होता है। कॉल चैट में टाइप किए संदेश और सिर्फ़-टेक्स्ट वाले जवाब रहते हैं। बोली हुई लाइनें वहाँ दोहराई नहीं जातीं। डेस्कटॉप पर यह एक साइड पैनल है। फ़ोन पर यह Open call chat से ड्रॉअर के रूप में खुलती है और Close call chat से बंद होती है।

कॉल के कंपोज़र में Message in call बॉक्स, Send, इमोजी, GIF और स्टिकर पिकर, और एक क्विक मॉडल स्विचर है। कॉल चैट में फ़ाइल अटैचमेंट सपोर्ट नहीं हैं।

आप कुछ देर म्यूट रहें तो आपको "You are muted! Remember to unmute yourself first if you want to talk." दिखता है।

कॉल के दौरान आप Conversation छोड़ें तो वह एक तैरते पॉपआउट में सिमट जाती है, जिसमें चैट का नाम, बीता समय और End call होता है। लौटने के लिए पॉपआउट पर क्लिक करें। आपके ब्राउज़ करते समय कॉल चलती रहती है।

Soundboard

Soundboard में चार बिल्ट-इन आवाज़ें हैं जिन्हें आप डिलीट नहीं कर सकते: Soft Chime, Tap, Sparkle और Pop। अपनी आवाज़ जोड़ने के लिए Upload पर क्लिक करें (mp3, wav, ogg, webm या m4a, हर एक 8 MB तक)। आप अपनी अपलोड की हुई आवाज़ें डिलीट कर सकते हैं। कैरेक्टर soundboard कमांड से कोई आवाज़ बजा सकते हैं।

Character Video Presence

यह हिस्सा वैकल्पिक और एडवांस्ड है। Character video presence स्थिर अवतार की टाइल की जगह कैरेक्टर की AI से बनी लूप होती क्लिप लगाता है। यह डिफ़ॉल्ट रूप से बंद है। स्विच Chat Settings → Agents → Calls में है।

शुरू करने से पहले: Connections में एक Video Generation अकाउंट जोड़ें, और किसी एक को Default for Videos के रूप में चिह्नित करें या हर बार एक चुनें।

1. किसी कैरेक्टर या पर्सोना का एडिटर खोलें।
2. Sprites टैब खोलें, फिर Clips सब-टैब।
3. Generate Clips पर क्लिक करें, या अपनी क्लिप जोड़ने के लिए Upload extra पर।
4. Generate Call Clips विंडो में Video Generation Connection चुनें और Use avatar as reference चुनें।
5. बनाने के लिए स्टैंडर्ड क्लिप चुनें: Idle, Talking, Laughing, Angry, Crying, Sighing। आप Clip name और किसी एक्शन के विवरण के साथ एक कस्टम क्लिप भी तय कर सकते हैं।

बोलने की बारी के दौरान Marinara लाइन में आवाज़ के संकेत पढ़ता है, जैसे [sighs], मेल खाती रिएक्शन क्लिप चुनता है, फिर idle पर लौट आता है। कोई क्लिप न हो तो कॉल कभी नहीं रुकती: कैरेक्टर स्थिर अवतार दिखाता है। ट्रिम की हुई क्लिप अपनी ट्रिम रेंज के अंदर लूप होती है। कैरेक्टर स्प्राइट (एक्सप्रेशन और फ़ुल-बॉडी) देखें।

Character video presence चालू होने पर उसके नीचे दो और स्विच दिखते हैं:

• Automatic video clips generation (डिफ़ॉल्ट रूप से बंद) किसी प्रतिभागी के लिए सिर्फ़ Idle और Talking बनाता है, अगर उसे उनकी ज़रूरत हो। रिएक्शन और कस्टम क्लिप कभी अपने आप नहीं बनतीं।
• Custom clips (डिफ़ॉल्ट रूप से बंद) कैरेक्टर को लाइव कॉल में कभी-कभार एक बार वाली क्लिप माँगने और तैयार कस्टम क्लिप दोबारा चलाने देता है। यह खास रिक्वेस्ट के लिए है, हर मूड के लिए नहीं।

Character video presence बंद करने से ये दोनों भी बंद हो जाते हैं। यहाँ की क्लिप दोबारा इस्तेमाल होने वाले प्रेज़ेंस लूप हैं, Gallery के Videos नहीं, जिनमें सीन के वीडियो रहते हैं।

Speech-to-text सेटअप (एडवांस्ड)

यह सिर्फ़ Mic recording + Local Whisper मोड के लिए चाहिए, या तब जब आप अपना स्पीच-टू-टेक्स्ट सर्वर चाहते हों।

Local Whisper डाउनलोड करना

Local Whisper आपकी बोली को उसी कंप्यूटर पर टेक्स्ट में बदलता है जिस पर Marinara चलता है, इसलिए आपके माइक्रोफ़ोन का ऑडियो ट्रांसक्रिप्शन के लिए बाहर नहीं जाता। टेक्स्ट फिर भी कॉल के हिस्से के रूप में आपके मॉडल को भेजा जाता है। कमज़ोर स्पीच सपोर्ट वाले ब्राउज़रों, जैसे Firefox, के लिए यह माइक्रोफ़ोन का सबसे भरोसेमंद रास्ता है।

शुरू करने से पहले: Calls इंस्टॉल करें। इसके बिना यह सेक्शन छिपा रहता है।

1. Connections खोलें और On this device के नीचे Speech to text ढूँढें। वह लिस्ट में न हो तो Add account पर क्लिक करें और Speech to text चुनें।
2. उस पेज पर Local speech model ढूँढें।
3. एक मॉडल चुनें:

• Whisper Tiny (Multilingual): करीब 180 MB डाउनलोड और 350 MB मेमोरी। फ़ोन और पुराने कंप्यूटर के लिए सबसे अच्छा।
• Whisper Base (Multilingual): करीब 320 MB डाउनलोड और 650 MB मेमोरी। गड़बड़ बोली के साथ बेहतर।

1. Download Whisper पर क्लिक करें और प्रोग्रेस बार पूरा होने तक रुकें।
2. Calls इस्तेमाल करने से पहले Marinara को पूरी तरह रीस्टार्ट करें।

ट्रैश आइकन Delete Local Whisper मॉडल हटा देता है। Calls अनइंस्टॉल करने से डाउनलोड किए Whisper मॉडल भी डिलीट हो जाते हैं, और दोबारा इंस्टॉल करने पर तब तक कोई डाउनलोड नहीं होता जब तक आप उसे चुनें नहीं।

अगर यह काम नहीं किया: Marinara के Lite बिल्ड पर "Local Whisper is disabled in Lite mode. Use a full Marinara install to download and run the local speech model." दिखता है। "native ONNX runtime" के बारे में कोई संदेश दिखे तो आपके प्लेटफ़ॉर्म का स्पीच इंजन मौजूद नहीं है। उसी Node बिल्ड से डिपेंडेंसी दोबारा इंस्टॉल करें जिससे आप Marinara चलाते हैं, फिर रीस्टार्ट करें।

अपना स्पीच-टू-टेक्स्ट सर्वर इस्तेमाल करना

Local Whisper आपकी भाषा या लहजे के साथ अटके तो अपनी आवाज़ की जगह किसी दूसरे स्पीच-टू-टेक्स्ट सर्वर को भेजें। OpenAI के स्पीच-टू-टेक्स्ट फ़ॉर्मैट (/audio/transcriptions पता) को मानने वाला कोई भी सर्वर चलता है, चाहे आप उसे खुद चलाएँ या OpenAI या Groq जैसी सेवा इस्तेमाल करें।

1. Connections खोलें और On this device के नीचे Speech to text खोलें। वह लिस्ट में न हो तो Add account पर क्लिक करें और Speech to text चुनें। Calls इंस्टॉल न हो तो यह छिपा रहता है।
2. Server URL डालें, जैसे http://localhost:8000/v1।
3. सर्वर को ज़रूरत हो तो API key डालें। वह एन्क्रिप्ट होकर सेव होती है और छिपी हुई दिखती है।
4. अपने सर्वर के इस्तेमाल वाले Model का नाम डालें। whisper-1 भेजने के लिए इसे खाली छोड़ें।
5. वैकल्पिक: pl या de जैसा Language कोड डालें। सर्वर को खुद पहचानने देने के लिए इसे खाली छोड़ें।
6. Test पर क्लिक करें। Marinara एक सेकंड की चुप क्लिप भेजता है। आपको "The server answered." या "The test failed." दिखता है।
7. Use your own speech-to-text server चालू करें।

यह चालू रहने पर Mic recording + Local Whisper आपकी बोली इसी सर्वर को भेजता है, और आपको Local Whisper डाउनलोड करने की ज़रूरत नहीं रहती। आपका ऑडियो उसी सर्वर पर जाता है, इसलिए ऐसा सर्वर इस्तेमाल करें जिस पर आपको भरोसा हो।

उसी कंप्यूटर का सर्वर जैसा है वैसा काम करता है। आपके नेटवर्क के किसी दूसरे कंप्यूटर का सर्वर तब तक नामंज़ूर होता है जब तक आप .env में STT_LOCAL_URLS_ENABLED=true सेट न करें (सर्वर कॉन्फ़िगरेशन रेफ़रेंस देखें)।

अगर यह काम नहीं किया: Test के नीचे आया संदेश पढ़ें। "Could not reach the speech-to-text server" का मतलब है कि पता गलत है या सर्वर बंद है। STT_LOCAL_URLS_ENABLED का नाम लेने वाले संदेश का मतलब है कि सर्वर किसी दूसरे कंप्यूटर पर है। कोई संख्या आपके सर्वर से आती है: 401 का मतलब आम तौर पर गलत API कुंजी है, 404 का मतलब गलत पता या मॉडल का नाम। कॉल फिर भी Local Whisper इस्तेमाल करें तो Agents → Agent Organizer से Calls को अपडेट करें।

सेटिंग्स और डिफ़ॉल्ट

Per chat सेटिंग्स एक चैट पर लागू होती हैं। Global सेटिंग्स हर Conversation कॉल पर लागू होती हैं।

एक चैट में बदली गई ग्लोबल सेटिंग हर Conversation कॉल के लिए बदल जाती है। Generate voice cues in [tags] मॉडल से बोली हुई लाइनों के अंदर [whispering], [laughing] या [sighs] जैसे छोटे संकेत जुड़वाता है। वे तय करते हैं कि TTS लाइन को कैसे पढ़े, और रिएक्शन क्लिप चुनने में मदद करते हैं। बोली हुई लाइनें सादी रखने के लिए इसे बंद करें।

कॉल के अंदर Commands

कैरेक्टर कॉल में वही छिपी कमांड इस्तेमाल करते हैं जो सामान्य संदेशों में। हर एक के लिए Chat Settings → Agents → Commands में उसका स्विच और मास्टर Commands स्विच चालू होना चाहिए। तय करें कि कैरेक्टर कौन से Commands इस्तेमाल कर सकता है देखें। वे चुपचाप चलती हैं और कभी बोली नहीं जातीं।

कॉल में दो अतिरिक्त चीज़ें काम करती हैं: Soundboard (कैरेक्टर soundboard की कोई आवाज़ बजाता है) और छोड़ना या खत्म करना (कैरेक्टर कॉल छोड़ता है, या सबके लिए उसे खत्म कर देता है)। Notes और Influence तभी दिखते हैं जब चैट से कोई चैट जुड़ी हो (Conversation को Roleplay या Game से जोड़ना देखें)। सेल्फ़ी के लिए Selfie model चाहिए (सेल्फ़ी देखें)। कुछ कमांड कॉल चैट में एक छोटी एंट्री जोड़ती हैं, जैसे इमेज के साथ "sent a selfie"।

कॉल खत्म होने का सारांश

कॉल खत्म होने पर Conversation में एक कार्ड दिखता है। उसका टाइटल Call Started, Incoming Call, Call Ended (अवधि के साथ), Call Declined या Missed Call होता है। Call Ended के बाद, अगर कुछ मायने वाला हुआ हो, तो Marinara बैकग्राउंड में एक छोटा सारांश लिखता है और उसे छिपे हुए कॉन्टेक्स्ट के रूप में जोड़ देता है जिसे मॉडल पढ़ सकता है। इससे मॉडल को कॉल की जानकारी रहती है, और उसे दिखने वाली चैट में कॉपी नहीं करना पड़ता।

समस्या-समाधान

मिलती-जुलती गाइड

• Text to Speech (TTS) सेटअप
• Local Model का सेटअप
• कैरेक्टर स्प्राइट (एक्सप्रेशन और फ़ुल-बॉडी)
• Conversation मोड: शुरुआत