निर्णय मॉडल

निर्णय मॉडल एक छोटा मॉडल है जो Marinara के लिए हाँ या नहीं वाले सवालों के जवाब देता है, जैसे "Does the latest message move the scene to a new place?"। लोरबुक, कस्टम एजेंट, प्रॉम्प्ट और ग्रुप चैट इसका इस्तेमाल करते हैं। यह वैकल्पिक है। इसके बिना भी चैट चलती हैं, और हर सुविधा वह फ़ॉलबैक अपनाती है जो Marinara इसे कहाँ इस्तेमाल करता है में बताया गया है।

इसके जवाब तय करते हैं कि Marinara क्या करे, और वे चैट में कभी पोस्ट नहीं होते। यह किसी कथन को 0 से 1 के बीच स्कोर देता है। Marinara उस संख्या को एक सीमा से मिलाता है और नतीजे को हाँ या नहीं मानता है। यह छोटी लिस्ट में से एक जवाब भी चुन सकता है, जैसे "angry", "sad" या "none of these"।

हमारी सलाह: अगर पक्का न हो, तो इसे None (कोई नहीं) पर छोड़ दें। अगर निर्णय चाहिए, तो बिल्ट-इन मॉडल इस्तेमाल करें, जो शायद आपके पास पहले से है, या किसी ऐसे सर्वर का चैट मॉडल जिसे आप पहले से चलाते हैं। दोनों का कोई अतिरिक्त खर्च नहीं है।

निर्णय मॉडल चुनना

शुरू करने से पहले किसे चुनें देखें।

1. टॉप बार में Connections (कनेक्शन) पर क्लिक करें और Jobs (काम) बॉक्स खोलें।
2. Behind the scenes (पर्दे के पीछे) के नीचे Decision (निर्णय) पंक्ति पर क्लिक करें। एक लिस्ट खुलती है।
3. एक मॉडल चुनें। लिस्ट में तीन ग्रुप हैं:

• None (decisions off) डिफ़ॉल्ट है। कुछ नहीं पूछा जाता, और एजेंट एडिटर में सक्रिय करने वाले सवालों की फ़ील्ड बंद रहती हैं।
• Built-in model (बिल्ट-इन मॉडल) में वे मॉडल हैं जिन्हें Marinara आपके कंप्यूटर पर चलाता है: Built-in model, Built-in model (utility) और Built-in model (decisions)। कुछ भी आपके कंप्यूटर से बाहर नहीं जाता।
• Connections में आपके वे अकाउंट हैं जो निर्णयों के जवाब दे सकते हैं: होस्ट किए गए अकाउंट, या किसी ऐसे सर्वर का चैट मॉडल जिसे आप पहले से चलाते हैं।

1. टेस्ट करने के लिए पंक्ति पर Decision settings (निर्णय सेटिंग्स) गियर पर क्लिक करें और फिर Test (टेस्ट करें) पर क्लिक करें। यह बटन बिल्ट-इन मॉडल वाले विकल्पों के लिए दिखता है। TypeSafe या OpenRouter अकाउंट के लिए उसके मॉडल पर Edit model (मॉडल एडिट करें) खोलें और Test provider (प्रोवाइडर टेस्ट करें) पर क्लिक करें। Own decision server (अपना निर्णय सर्वर) अकाउंट के लिए अकाउंट के ⋯ मेन्यू में Test इस्तेमाल करें।

सफल टेस्ट हाँ की संभावना और जवाब में लगा समय दिखाता है। आपके कंप्यूटर पर चलने वाले मॉडल के लिए टेस्ट यह भी बताता है कि लॉग-प्रोबेबिलिटी उपलब्ध थीं या नहीं, और मॉडल सीधे जवाब देता है या नहीं। लॉग-प्रोबेबिलिटी यानी हर उस शब्द के लिए मॉडल के भरोसे की संख्याएँ, जिसे वह लिख सकता था। टेस्ट एक तय सैंपल भेजता है, आपकी चैट नहीं।

अगर यह काम नहीं किया, तो संदेश वजह बताता है। आम वजहें: कुंजी अस्वीकार हुई, सेवा रिक्वेस्ट सीमित कर रही है, बिल्ट-इन मॉडल नहीं चल रहा, या जवाब समय सीमा से ज़्यादा देर में आया। समस्या-समाधान देखें।

जो विकल्प अभी जवाब नहीं दे सकते, वे लिस्ट में ग्रे होकर वजह के साथ रहते हैं। None चुनने पर निर्णय बंद हो जाते हैं, लेकिन कोई सक्रिय करने वाला सवाल या निर्णय कथन डिलीट नहीं होता।

किसे चुनें

• बिल्ट-इन मॉडल में पहले से चल रहा मॉडल। कोई अतिरिक्त खर्च नहीं। बिल्ट-इन मॉडल इस्तेमाल करने वाले ज़्यादातर लोगों के लिए सबसे अच्छा।
• आपके अपने सर्वर का चैट मॉडल (Ollama, LM Studio, llama.cpp या कोई दूसरा OpenAI-संगत सर्वर)। कोई अतिरिक्त खर्च नहीं। तब अच्छा, जब आपका मॉडल Marinara के बाहर चलता है, ताकि वह दो बार लोड न हो।
• होस्ट किया गया Decision अकाउंट (TypeSafe या OpenRouter की कुंजी)। हर रिक्वेस्ट का बिल लगता है, और एक टर्न में कई रिक्वेस्ट हो सकती हैं। फ़ोन और ऐसे कंप्यूटर के लिए अच्छा, जिन पर कोई लोकल मॉडल नहीं चलता।
• बिल्ट-इन निर्णय मॉडल। अलग डिस्क और GPU मेमोरी लेता है। Linux x86-64 और समर्थित NVIDIA GPU चाहिए। चैट मॉडल के साथ एक अलग निर्णय मॉडल के लिए।

अगर आप पहले से कोई लोकल मॉडल चलाते हैं, तो पहले उसे आज़माएँ, और अपनी चैट के टर्न पर टेस्ट करें। शब्दों का चुनाव बहुत मायने रखता है। कथन लिखना देखें।

Jev और Open-Jev अलग मॉडल हैं। Jev, TypeSafe का होस्ट किया गया मॉडल है, जो सीधे या OpenRouter के ज़रिए मिलता है। Open-Jev Qwen पर बना एक अलग प्रकाशित मॉडल है, जिसे Marinara लोकल रूप से चला सकता है। Open-Jev के टेस्ट होस्ट किए गए Jev को नहीं मापते।

Android (Termux) पर Built-in decision model (बिल्ट-इन निर्णय मॉडल) नहीं चल सकता, और फ़ोन के प्रोसेसर पर छोटा लोकल मॉडल बहुत धीमा हो सकता है। व्यावहारिक विकल्प होस्ट किया गया अकाउंट है, जैसे OpenRouter के ज़रिए Jev। Decision कनेक्शन सेट करना देखें।

प्रीसेट, कार्ड और एजेंट "निर्णय मॉडल" के लिए लिखें, कभी "Jev ज़रूरी है" के लिए नहीं। किसी भी मॉडल के साथ कथन की वही सिंटैक्स चलती है, लेकिन अलग-अलग मॉडल अलग जवाब दे सकते हैं। निर्णयों वाला कंटेंट इंपोर्ट करने पर, कस्टम एजेंट और Agent Organizer से किए गए इंस्टॉल समेत, Marinara एक नोटिस दिखाता है जो इस गाइड से लिंक करता है। पूरे प्रोफ़ाइल की ZIP बहाल करने पर यह नोटिस नहीं दिखता।

बिल्ट-इन मॉडल इस्तेमाल करना

अगर बिल्ट-इन मॉडल डाउनलोड है, तो आप उसे बिना अकाउंट और बिना खर्च के निर्णयों के लिए इस्तेमाल कर सकते हैं। बिल्ट-इन मॉडल का सेटअप देखें।

1. Jobs बॉक्स में Behind the scenes के नीचे Decision पंक्ति पर क्लिक करें।
2. Built-in model चुनें (या Built-in model (utility), अगर आपके पास है)।
3. Decision settings गियर पर क्लिक करें, फिर Test पर क्लिक करें।

Marinara मॉडल से एक हाँ या नहीं वाला सवाल पूछता है, उसे एक टोकन लिखने देता है, और उस टोकन की संभावनाओं से जवाब पढ़ता है। चैट का कोई जवाब नहीं लिखा जाता, इसलिए रिक्वेस्ट छोटी रहती है। कई जवाबों में से चुनाव को हर जवाब के लिए एक हाँ या नहीं वाले सवाल के रूप में पूछा जाता है।

Thinking (तर्क करना) सेटिंग तय करती है कि जब मॉडल एक शब्द में जवाब नहीं दे पाता, तब क्या होता है। कुछ मॉडल हमेशा पहले तर्क करते हैं।

पहले तर्क करने वाले मॉडल को कई सेकंड लगते हैं, इसलिए डिफ़ॉल्ट रूप से वह सिर्फ़ उन जाँचों के जवाब देता है जो स्क्रीन पर जवाब आने के बाद चलती हैं, जैसे पोस्ट-प्रोसेसिंग एजेंट। जवाब से पहले चलने वाले एजेंट भी उसी के जवाब से चलें, इसके लिए Also gate agents that run before the reply (जवाब से पहले चलने वाले एजेंट भी जाँचें) चालू करें। तब हर जवाब उसका इंतज़ार करता है।

आम चैट मॉडल की हाँ या नहीं वाली संभावनाएँ सीमा के लिए काम करती हैं, लेकिन उन्हें खास तौर पर बने निर्णय मॉडल की तरह कैलिब्रेट होने की ट्रेनिंग नहीं मिली है। लॉग-प्रोबेबिलिटी न लौटाने वाला रनटाइम सीधा 1 या 0 देता है। सीमाएँ अपनी चैट पर जाँचकर तय करें।

पहले से चल रहे सर्वर पर

अगर आपका चैट मॉडल Ollama, LM Studio, llama.cpp या किसी दूसरे OpenAI-संगत सर्वर में चलता है, तो वह Marinara में दूसरी कॉपी लोड किए बिना निर्णयों के जवाब दे सकता है।

1. Connections पैनल में उस मॉडल पर ⋯ पर क्लिक करें और Use this model for decisions (निर्णयों के लिए यह मॉडल इस्तेमाल करें) चुनें। Add account (अकाउंट जोड़ें) विंडो उसी पते, मॉडल और कुंजी के साथ निर्णय वाले स्टेप पर खुलती है।
2. मॉडल चुनें, फिर Test decision (निर्णय टेस्ट करें) पर क्लिक करें। सफल टेस्ट बताता है कि सर्वर ने लॉग-प्रोबेबिलिटी लौटाईं या नहीं, और मॉडल को पहले तर्क करना पड़ा या नहीं। Done (हो गया) पर क्लिक करें।
3. Behind the scenes के नीचे Decision पंक्ति पर क्लिक करें और नया मॉडल चुनें।

आप इसे खुद भी बना सकते हैं। एक Decision अकाउंट बनाएँ, जिसका सोर्स OpenAI-compatible chat model (Ollama, LM Studio, llama.cpp) हो, पता वही हो जो आपके चैट अकाउंट का है (जैसे Ollama के लिए http://localhost:11434/v1), और मॉडल का वह नाम हो जो सर्वर इस्तेमाल करता है।

इससे बिल्ट-इन मॉडल की तरह ही पूछा जाता है: हर कथन के लिए हाँ या नहीं का एक शब्द। कथन एक-एक करके जाते हैं, क्योंकि Marinara यह नहीं जान सकता कि आपका सर्वर एक साथ कितनी रिक्वेस्ट संभालता है। अकाउंट के लिए Thinking हमेशा Auto रहता है। किसी दूसरे कंप्यूटर पर चल रहे सर्वर के लिए PROVIDER_LOCAL_URLS_ENABLED चाहिए। लोकल या सेल्फ़ होस्टेड मॉडल से कनेक्ट करना देखें।

Decision कनेक्शन सेट करना

होस्ट किया गया Decision अकाउंट चुने गए हाल के संदेश और कथन सेवा को भेजता है, और इसमें पैसे लग सकते हैं। Smart response order एक कैरेक्टर लिस्ट भी भेजता है।

1. टॉप बार में Connections पर क्लिक करें, फिर Add (जोड़ें) पर क्लिक करें।
2. Decisions (निर्णय) के नीचे TypeSafe या Own decision server पर क्लिक करें। OpenRouter के लिए Chat (चैट) के नीचे OpenRouter पर क्लिक करें, उसे कनेक्ट करें, फिर मॉडल के ⋯ मेन्यू में Use this key for decisions (निर्णयों के लिए यह कुंजी इस्तेमाल करें) इस्तेमाल करें।
3. API key (API कुंजी) डालें, या Own decision server के लिए Server address (सर्वर का पता)। Connect (कनेक्ट करें) पर क्लिक करें। विंडो बंद हो जाती है और पैनल में नया अकाउंट दिखता है।
4. Behind the scenes के नीचे Decision पंक्ति पर क्लिक करें और नया मॉडल चुनें।
5. टेस्ट करने के लिए पैनल में मॉडल पर क्लिक करके Edit model खोलें, फिर Provider tests (प्रोवाइडर टेस्ट) कार्ड में Test provider पर क्लिक करें। Own decision server मॉडल में वहाँ Test provider बटन नहीं होता। उसकी जगह पैनल में अकाउंट का ⋯ मेन्यू खोलें और Test पर क्लिक करें।

सफल Test provider संभावना, जवाब में लगा समय और अकाउंट की समय सीमा दिखाता है। ⋯ मेन्यू में अकाउंट का Test सिर्फ़ बताता है कि यह काम किया या नहीं और कितना समय लगा। टेस्ट कम से कम 10 सेकंड इंतज़ार करता है, या सीमा इससे लंबी हो तो सीमा के बाद 5 सेकंड और। अगर जवाब में सीमा से ज़्यादा समय लगा, तो नतीजा यह बताता है: चैट में उस जवाब को जवाब न मिलना माना जाता।

अगर यह काम नहीं किया, तो समस्या-समाधान देखें।

Decision एडिटर (किसी निर्णय मॉडल पर Edit model) में ये फ़ील्ड हैं:

TypeSafe https://api.typesafe.ai पर भेजता है। आप इसके Base URL (बेस URL) की जगह TypeSafe का API चलाने वाला कोई दूसरा सर्वर डाल सकते हैं, /v1/systemone के बिना। तब भी आपकी TypeSafe कुंजी चाहिए, जो उसी सर्वर को जाती है। Custom System One endpoint आपका चलाया हुआ कोई System One सर्वर स्वीकार करता है, जैसे Open-Jev या Strands decider। उसका पता /v1/systemone के बिना डालें। Ollama जैसा चैट मॉडल सर्वर System One नहीं बोलता। उसके लिए OpenAI-compatible chat model इस्तेमाल करें।

कुछ होस्ट की गई सेवाएँ कभी-कभी 1.5 सेकंड से ज़्यादा देर में जवाब देती हैं, जिससे निर्णय बेतरतीब ढंग से टूटे हुए लगते हैं। कुछ बार टेस्ट करें और सीमा सबसे धीमे जवाब से ऊपर रखें। जवाब से पहले पूछा गया हर कथन, जैसे प्रीसेट का कोई निर्णय या जवाब से पहले चलने वाले एजेंट का सक्रिय करने वाला सवाल, जवाब को ज़्यादा से ज़्यादा उतनी देर तक रोक सकता है।

जिस अकाउंट की कुंजी निर्णयों के लिए इस्तेमाल होती है, उसे डिलीट करने पर चेतावनी दिखती है। उसके बाद Decision अकाउंट को दोबारा लिंक करना पड़ता है, और तब तक निर्णयों का कोई जवाब नहीं मिलता। इंपोर्ट की गई कनेक्शन फ़ाइलों में API कुंजियाँ या उधार लिए गए अकाउंट के लिंक कभी नहीं होते, इसलिए उन्हें हाथ से बहाल करें।

Marinara इसे कहाँ इस्तेमाल करता है

• सक्रिय करने वाले सवाल तय करते हैं कि कोई कस्टम एजेंट चलेगा या नहीं। जवाब न मिलने पर: सवाल उसे नहीं रोकता। कीवर्ड और Trigger Cadence (चलने की आवृत्ति) फिर भी लागू रहते हैं।
• प्रॉम्प्ट के कथन चैट या एजेंट का प्रॉम्प्ट बनते समय टेक्स्ट चुनते हैं। जवाब न मिलने पर: निर्णय को "नहीं" माना जाता है, इसलिए निर्णय ब्लॉक अपनी {{else}} ब्रांच इस्तेमाल करता है, अगर वह हो।
• लोरबुक की Decision फ़ील्ड लोरबुक स्कैन के दौरान Require या Trigger जाँचती हैं। जवाब न मिलने पर: Require कोई नई एंट्री शामिल नहीं कर सकता और Trigger कोई रास्ता नहीं जोड़ता। Sticky से बनी रहने वाली एंट्री और Trigger के सामान्य रास्ते फिर भी लागू रहते हैं।
• Smart response order चालू हो, तो ग्रुप चैट में अगला कौन बोलेगा, इसका स्कोर देता है। जवाब न मिलने पर: Smart क्रम अपनी सामान्य AI कॉल करता है।
• Automate active characters को Decision model (निर्णय मॉडल) पर सेट किया हो, तो यह Merged Roleplay ग्रुप में हर जवाब से पहले पूछता है कि सीन में कौन है। जवाब न मिलने पर: अगर किसी भी कैरेक्टर का जवाब नहीं मिलता, तो यह Character Tracker का आखिरी सीन इस्तेमाल करता है, या लिस्ट वैसी ही रखता है।
• Advanced Memory Recall Roleplay में सीन की सीमाओं और यादें चुनने के लिए अपना अलग निर्णय मॉडल इस्तेमाल कर सकता है। उस चैट की Advanced Memory सेटिंग्स में Use Decision model (निर्णय मॉडल इस्तेमाल करें) चालू करें। जवाब न मिलने पर: नाकाम निर्णय सामान्य रिकॉल या सीन जाँच पर लौट जाते हैं। सारांश अब भी सहायक मॉडल ही लिखता है।

सक्रिय करने वाला सवाल तय करता है कि एजेंट चलेगा या नहीं। उसके प्रॉम्प्ट के अंदर का निर्णय कथन तय करता है कि चल रहे एजेंट को क्या बताया जाए। हाँ या नहीं वाली शर्तों के लिए {{#if decision:"..."}} और कई जवाबों में से चुनने के लिए {{#if decision_choice:"..." == "..."}} इस्तेमाल करें।

मॉडल क्या देखता है

सक्रिय करने वाले सवालों, प्रॉम्प्ट कथनों और लोरबुक कथनों के लिए मॉडल को कथन और हाल के संदेश वैसे ही मिलते हैं जैसे वे चैट में सेव हैं। उसे आपका प्रीसेट, कैरेक्टर कार्ड, पर्सोना, लोरबुक एंट्री (Constant वाली भी), सारांश या एजेंट का आउटपुट नहीं मिलता। संदेशों के बीच रखा गया टेक्स्ट, जैसे वह एंट्री जिसकी पोज़िशन @ Depth (तय गहराई पर) हो, भी बाहर रहता है। जो कथन इनमें से किसी पर निर्भर है, उसे वह तथ्य खुद बताना होगा।

• प्रॉम्प्ट और लोरबुक कथन, Smart response order और Automate active characters आखिरी 5 संदेश पढ़ते हैं। यह संख्या तय है।
• सक्रिय करने वाले सवाल एजेंट की Scan Depth (स्कैन गहराई) जितने संदेश पढ़ते हैं, डिफ़ॉल्ट रूप से 5।
• हर संदेश के साथ बोलने वाले का नाम होता है। AI से छिपाए गए संदेश बाहर रहते हैं।
• जवाब के बाद चलने वाली जाँच, जैसे पोस्ट-प्रोसेसिंग एजेंट का सवाल, लिखा गया जवाब भी देखती है।
• कथन की मैक्रो पहले भरी जाती हैं, इसलिए {{char}} कैरेक्टर के नाम के रूप में पहुँचता है।
• जब संदेश मॉडल के बजट में नहीं समाते, तो पहले पुराने संदेश हटाए जाते हैं।

Smart response order एक कैरेक्टर लिस्ट भी भेजता है: हर उम्मीदवार का नाम, स्टेटस, गतिविधि और पता हो तो बातूनीपन, साथ में व्यक्तित्व के 300 अक्षर तक, या व्यक्तित्व खाली हो तो विवरण के।

Automate active characters (सक्रिय कैरेक्टर अपने आप तय करें) भी एक कैरेक्टर लिस्ट भेजता है: हर कैरेक्टर का नाम और विवरण के 300 अक्षर तक, या विवरण खाली हो तो व्यक्तित्व के। बड़ी कास्ट न समाए, तो इसे 100 अक्षर तक या सिर्फ़ नामों तक काट दिया जाता है। साथ में वे नाम भी जाते हैं जो Character Tracker ने आखिरी बार देखे थे। अगर सिर्फ़ नाम रखने पर भी संदेशों के लिए बहुत कम जगह बचे, तो मॉडल से पूछा नहीं जाता और Character Tracker उसकी जगह लेता है। Merged ग्रुप में जवाबों पर "the narrator" का लेबल लगता है, क्योंकि एक ही जवाब सबकी आवाज़ बनता है।

होस्ट की गई निर्णय सेवा को संदेशों के साथ ये लिस्ट भी मिलती हैं।

Advanced Memory हर चैट का अपना निर्णय मॉडल इस्तेमाल करता है, और आखिरी 5 संदेशों वाला नियम उस पर लागू नहीं होता। सीन जाँच चैट के इतिहास का संबंधित हिस्सा पढ़ती है। रिकॉल हाल की बातचीत का टेक्स्ट और छोटी लिस्ट में चुने गए अधिकतम 24 पुराने सारांश भेजता है, या Maximum recalled scenes (रिकॉल किए जाने वाले सीन की अधिकतम संख्या) इससे ज़्यादा हो तो उतने, फिर कैरेक्टर की पहुँच जाँचने के बाद मॉडल के चुने हुए सीन के मूल संदेश। होस्ट की गई सेवाओं को ये टेक्स्ट मिलते हैं, कभी-कभी कई बैच में। रिकॉल के हर चरण को आम तौर पर 10 से 25 सेकंड मिलते हैं, जो मॉडल की रफ़्तार के हिसाब से तय होते हैं। हर जवाब के लिए दोनों चरण 40 सेकंड साझा करते हैं, इसलिए किसी चरण को 10 सेकंड से कम भी मिल सकते हैं। जिन यादों का जवाब समय पर नहीं मिलता, वे सामान्य रिकॉल पर लौट जाती हैं। वैकल्पिक निर्णय मॉडल देखें।

सीमाएँ

अलग-अलग मॉडलों की संभावनाओं की आपस में तुलना नहीं हो सकती। वही उदाहरण एक मॉडल पर 0.99 और दूसरे पर 0.2 स्कोर पा सकता है। हाँ या नहीं की डिफ़ॉल्ट सीमा मॉडल पर निर्भर करती है:

• बिल्ट-इन मॉडल, या OpenAI-संगत चैट मॉडल अकाउंट: 0.5
• TypeSafe, OpenRouter या Custom System One अकाउंट: 0.5
• बिल्ट-इन निर्णय मॉडल: मॉडल के मैनिफ़ेस्ट की सलाह: Open-Jev 2B और 9B के लिए 0.1

एजेंट का Run when probability is at least (संभावना कम से कम इतनी हो तो चलाएँ) इसकी जगह ले लेता है। सेव की गई वैल्यू अलग हो, तो एडिटर मॉडल की सलाह वाली वैल्यू बहाल करने का विकल्प देता है। जब भी मॉडल बदलें, इसे जाँचें। प्रॉम्प्ट कथन और लोरबुक की Decision फ़ील्ड मॉडल का डिफ़ॉल्ट इस्तेमाल करती हैं, और एजेंट की सीमा उनकी सीमा नहीं बदलती।

Custom System One अकाउंट के पीछे खुद होस्ट किया गया Open-Jev फिर भी 0.5 इस्तेमाल करता है, क्योंकि Marinara किसी भी मनचाहे कस्टम एंडपॉइंट को कैलिब्रेट नहीं कर सकता। इसके नतीजे बिल्ट-इन Open-Jev से अलग हो सकते हैं, जैसे 0.5 से नीचे वाले सकारात्मक नतीजे को "नहीं" पढ़ना।

समय सीमाएँ

जो निर्णय समय पर नहीं पहुँचता, उसका कोई जवाब नहीं मिलता, और जेनरेशन उस सुविधा के फ़ॉलबैक के साथ जारी रहती है (Marinara इसे कहाँ इस्तेमाल करता है देखें)। हर सीमा प्रति कथन है। कई कथनों वाली रिक्वेस्ट में हर कथन को यह सीमा मिलती है, और हर Choice जवाब एक कथन गिना जाता है। लोकल मॉडल एक साथ कुछ ही रिक्वेस्ट पर काम करता है, इसलिए कथन अपनी बारी का इंतज़ार करते हैं, और किसी कथन का समय तब शुरू होता है जब मॉडल उस पर काम शुरू करता है।

• TypeSafe, OpenRouter या Custom System One अकाउंट: 1.5 सेकंड, या Time limit में आपकी सेट की हुई वैल्यू
• OpenAI-संगत चैट मॉडल अकाउंट: 4 सेकंड, या Time limit में आपकी सेट की हुई वैल्यू। जिस मॉडल को पहले तर्क करना ही पड़ता है, उसे कम से कम 20 सेकंड मिलते हैं।
• बिल्ट-इन मॉडल: 4 सेकंड। जिस मॉडल को पहले तर्क करना ही पड़ता है, उसे 20 सेकंड मिलते हैं।
• बिल्ट-इन निर्णय मॉडल: पहले कथन के लिए 4 सेकंड। उसके बाद हर कथन को मॉडल का मापा गया समय मिलता है: Open-Jev 2B के लिए 0.35 सेकंड और Open-Jev 9B के लिए 0.8 सेकंड। रिपॉज़िटरी से इंस्टॉल किए गए मॉडल को हर कथन के लिए 4 सेकंड मिलते हैं।

जेनरेशन रद्द करने पर निर्णय की रिक्वेस्ट रुक जाती हैं।

दूसरी सेटिंग्स

ये Decision settings गियर में हैं:

• Also use it to pick who speaks in Smart response order (Smart जवाब क्रम में बोलने वाला भी इससे चुनें) डिफ़ॉल्ट रूप से बंद रहता है। ग्रुप चैट देखें।
• Decision statements per turn (हर टर्न के निर्णय कथन) प्रॉम्प्ट और लोरबुक कथनों की योजना सीमित करता है। डिफ़ॉल्ट 32, अधिकतम 255। यह सीमा कई चरणों पर लागू होती है, और यह एक टर्न की सभी रिक्वेस्ट या खर्च पर कोई अकेली सीमा नहीं है। एजेंट के सक्रिय करने वाले सवाल और Smart response order इससे अलग हैं। सीमाएँ और लागत देखें।
• Also gate agents that run before the reply और Thinking बिल्ट-इन मॉडल के उन विकल्पों के लिए दिखते हैं जो तर्क कर सकते हैं। Built-in decision model कभी तर्क नहीं करता, इसलिए उसमें इनमें से कोई नहीं है।

गलत जवाबों के लिए तैयार रहें

कोई भी मॉडल गलत जवाब दे सकता है, और सही "हाँ" जवाब भी सीमा के बहुत करीब हो सकते हैं।

• निर्णय का इस्तेमाल जवाब को बारीकी से ढालने के लिए करें, कभी उस चीज़ के लिए नहीं जिसके बिना चैट न चल सके। छूटा हुआ निर्णय जवाब को थोड़ा कम अनुकूल बनाए, उसे तोड़े नहीं।
• सहमति, कंटेंट चेतावनियाँ या सुरक्षा निर्देश किसी निर्णय पर निर्भर न रखें।
• जो एजेंट सिर्फ़ सक्रिय करने वाले सवाल पर चलता है, उसमें Bypass the question after this many messages (इतने संदेशों के बाद सवाल छोड़ दें) सेट करें, ताकि लगातार "नहीं" कहने वाला मॉडल उसे हमेशा के लिए चुप न कर दे।

समस्या-समाधान

• टेस्ट फ़ेल होता है। संदेश वजह बताता है: कुंजी अस्वीकार हुई, सेवा रिक्वेस्ट सीमित कर रही है, बिल्ट-इन मॉडल नहीं चल रहा, निर्णय मॉडल इंस्टॉल नहीं है, मॉडल ने हाँ या नहीं में जवाब नहीं दिया, या उसका समय खत्म हो गया।
• सर्वर पर ऐसा कोई एंडपॉइंट नहीं है। Decision सोर्स सर्वर से मेल नहीं खाता। Ollama, LM Studio और दूसरे चैट मॉडल सर्वरों को OpenAI-compatible chat model चाहिए। Custom System One endpoint सिर्फ़ Open-Jev जैसे System One सर्वरों के लिए है।
• जवाब समय सीमा से ज़्यादा देर में आया, या निर्णय सिर्फ़ कभी-कभी काम करते हैं। सेवा कभी-कभी Time limit से धीमी होती है। कुछ बार टेस्ट करें और सीमा सबसे धीमे जवाब से ऊपर करें।
• सक्रिय करने वाले सवाल वाला एजेंट हर टर्न चलता है। कोई निर्णय मॉडल सेट नहीं है या वह जवाब नहीं दे रहा, इसलिए एजेंट ऐसे चलता है जैसे उसका कोई सवाल ही न हो। एक टेस्ट चलाएँ।
• प्रॉम्प्ट की निर्णय ब्रांच कभी नहीं दिखती। जब निर्णय ब्रांच कभी न दिखे देखें।
• Smart response order अब भी अपनी सामान्य AI कॉल करता है। स्विच बंद है, या निर्णय मॉडल ने उस टर्न जवाब नहीं दिया।
• Automate active characters, Character Tracker के हिसाब से चलता है। मॉडल ने हर कैरेक्टर के लिए जवाब नहीं दिया, वह पहले तर्क करता है और Also gate agents that run before the reply बंद है, या कास्ट इतनी बड़ी है कि सिर्फ़ नामों के साथ भी मॉडल के इनपुट में नहीं समाती।

जेनरेशन के दौरान निर्णय के स्कोर और आउटपुट देखने के लिए Debug Mode चालू करें या लॉग लेवल debug पर सेट करें। लॉग लेवल देखें। जवाब जेनरेट किए बिना अपने कथन टेस्ट करने के लिए Peek Prompt → Decision diagnostics → Test decisions (Peek Prompt → निर्णय जाँच → निर्णय टेस्ट करें) खोलें। साफ़ तौर पर चलाए गए टेस्ट चुने गए मॉडल को कॉल करते हैं, और होस्ट की गई सेवा पर इनमें पैसे लग सकते हैं। निर्णय कथनों की जाँच देखें।

Marinara से निर्णय मॉडल इंस्टॉल कराना

Built-in decision model एक प्रयोगात्मक, खास तौर पर बना निर्णय मॉडल है, जिसे Marinara डाउनलोड करता है और आपके चैट मॉडल के साथ अपने अलग लोकल प्रोसेस के रूप में चलाता है। इसकी मेमोरी आपके चैट मॉडल की मेमोरी के ऊपर से लगती है। अगर आपके पास पहले से लोकल मॉडल है, तो पहले उसके निर्णय आज़माएँ।

Open-Jev मॉडलों को Linux x86-64, compute capability 7.5 या नई वाला NVIDIA GPU (Turing, RTX 20 सीरीज़ या उसके बाद के) और ड्राइवर 580 या नया चाहिए। Linux ARM और पुराने कार्ड समर्थित नहीं हैं। जहाँ मॉडल नहीं चल सकता, वहाँ विकल्प दिखता रहता है, वजह बताता है और Set up a Decision provider instead (इसकी जगह Decision प्रोवाइडर सेट करें) का विकल्प देता है।

ये कैटलॉग के अनुमान हैं। 9B मॉडल 24 GB GPU पर बहुत कम खाली जगह छोड़ता है। अपने कार्ड के लिए इंस्टॉलर का नतीजा देखें।

1. Connections पैनल में Add पर क्लिक करें और Decisions के नीचे Built-in model (decisions) पर क्लिक करें। Built-in decision model नाम की एक विंडो खुलती है। इसे Built-in model कार्ड के पेज से भी खोल सकते हैं।
2. चेतावनी पढ़ें, फिर Use the built-in decision model (बिल्ट-इन निर्णय मॉडल इस्तेमाल करें) चालू करें। Turn on the built-in decision model? नाम का डायलॉग आपके कंप्यूटर के लिए नतीजा दिखाता है। Enable (चालू करें) पर क्लिक करें, या नतीजा चेतावनी हो तो Enable anyway (फिर भी चालू करें) पर।
3. Available decision models (उपलब्ध निर्णय मॉडल) के नीचे Open-Jev 2B या Open-Jev 9B चुनें। Download and install (डाउनलोड और इंस्टॉल करें) पर क्लिक करें और आकार, हार्डवेयर का नतीजा और लाइसेंस की पुष्टि करें। उससे पहले कुछ डाउनलोड नहीं होता।
4. Behind the scenes के नीचे Decision पंक्ति पर क्लिक करें और Built-in model (decisions) चुनें।

विंडो के दूसरे कंट्रोल:

• Install from a repository (रिपॉज़िटरी से इंस्टॉल करें) HuggingFace का कोई निर्णय मॉडल owner/model-name के रूप में लेता है। Check (जाँचें) पर क्लिक करें। Marinara रिपॉज़िटरी का अपना मैनिफ़ेस्ट पढ़ता है, जाँचता है कि वह इस बिल्ड के साथ आने वाले किसी रनटाइम से मेल खाता है, और बेस वेट और कुल आकार दिखाता है। जिस रिपॉज़िटरी की वह पुष्टि नहीं कर सकता, उसे वजह के साथ अस्वीकार कर देता है। फिर Download and install this one (इसे डाउनलोड और इंस्टॉल करें) पर क्लिक करें।
• GPU कई NVIDIA GPU वाले कंप्यूटर पर कार्ड चुनता है। इसे बदलने पर मॉडल रुक जाता है और नए कार्ड पर दोबारा शुरू होता है।
• Start this model when Marinara starts (Marinara शुरू होने पर यह मॉडल भी शुरू करें) वैकल्पिक है। बंद होने पर यह तब शुरू होता है, जब पहली बार किसी एजेंट को इसकी ज़रूरत पड़ती है।
• Remove files (फ़ाइलें हटाएँ) मॉडल और उसका रनटाइम डिलीट करता है। मॉडल बंद करने पर प्रोसेस रुक जाता है और फ़ाइलें बनी रहती हैं।

शुरू होने के बाद मॉडल का पहला जवाब धीमा होता है, इसलिए Marinara लोड होते समय एक वार्म-अप सवाल पूछता है। अगर यह नाकाम हो, तब भी मॉडल शुरू हो जाता है और देरी पहले असली सवाल में लगती है। लंबी चैट में कई कथनों वाला टर्न ज़्यादा समय लेता है। लंबी चैट में Open-Jev 2B हर कथन के लिए लगभग चौथाई सेकंड लेता है।

Strands decider खुद चलाना

Strands decider 2B एक और खुला निर्णय मॉडल (Apache-2.0) है, जो System One बोलता है। Marinara इसे इंस्टॉल नहीं कर सकता, लेकिन जब तक आप इसे चलाए रखते हैं, यह Custom System One endpoint के तौर पर काम करता है।

1. Python 3.10 या नए वर्ज़न के एनवायरनमेंट में इसे इंस्टॉल करें और इसका सर्वर शुरू करें:

   pip install strands-decider
   strands-decider serve StrandsAgents/strands-decider-2B-hobson-v19 --port 8000

NVIDIA GPU या Apple silicon मिलने पर यह उसका इस्तेमाल करता है, नहीं तो प्रोसेसर पर चलता है, जो धीमा है। पहली बार शुरू करने पर मॉडल और लगभग 4.6 GB बेस वेट डाउनलोड होते हैं, और इसके Python पैकेज लगभग 5.5 GB जगह लेते हैं। सर्वर में पासवर्ड नहीं है, इसलिए इसे 127.0.0.1 पर ही रखें।

1. Server address http://127.0.0.1:8000 वाला Own decision server अकाउंट जोड़ें। मॉडल का कोई भी नाम चलता है।
2. इसे Decision पंक्ति पर चुनें, फिर अकाउंट के ⋯ मेन्यू में Test से इसे टेस्ट करें। शुरू होने के बाद इसका पहला जवाब लगभग 2 सेकंड लेता है, जो डिफ़ॉल्ट समय सीमा से ज़्यादा है, इसलिए चैट से पहले एक बार इसे टेस्ट कर लें।

इसकी संभावनाएँ कैलिब्रेट की हुई हैं, इसलिए डिफ़ॉल्ट 0.5 सीमा इसके लिए सही है, खुद होस्ट किए गए Open-Jev के उलट (सीमाएँ देखें)। इसके जवाब शब्दों के चुनाव पर निर्भर करते हैं, इसलिए कथन लिखना की सलाह मानें।

मिलती-जुलती गाइड

• कस्टम एजेंट बनाना
• कंडीशनल प्रॉम्प्ट
• ग्रुप चैट
• बिल्ट-इन मॉडल का सेटअप
• किसी AI प्रोवाइडर से कनेक्ट करना