लोकल या सेल्फ़ होस्टेड मॉडल से कनेक्ट करना

इस गाइड में Marinara Engine को ऐसे AI मॉडल से जोड़ा जाता है जो आपके अपने कंप्यूटर या सर्वर पर Ollama, LM Studio, KoboldCpp या llama.cpp जैसे किसी प्रोग्राम के ज़रिए चलता है। उस छोटे मॉडल के लिए, जिसे Marinara बिना किसी अलग सर्वर के खुद चलाता है, देखें बिल्ट-इन मॉडल का सेटअप।

Custom कनेक्शन सेट करें

ऐप में इस तरह के अकाउंट को OpenAI-compatible (OpenAI कंपैटिबल) कहा जाता है। इसका मतलब है कि सर्वर वही रिक्वेस्ट फ़ॉर्मैट मानता है जो OpenAI के चैट API का है। Ollama, LM Studio, KoboldCpp और llama.cpp, सभी यह फ़ॉर्मैट मानते हैं।

शुरू करने से पहले कोई मॉडल सर्वर इंस्टॉल करें, उसे शुरू करें और उसमें एक मॉडल लोड करें। जैसे, ollama.com से Ollama डाउनलोड करें और कोई मॉडल डाउनलोड करने के लिए उसके स्टेप अपनाएँ। Marinara सर्वर से कनेक्ट होता है, पर उसे आपके लिए शुरू नहीं करता। सर्वर आपके कंप्यूटर के एक वेब पते पर रिक्वेस्ट का जवाब देता है, जिसे एंडपॉइंट कहते हैं।

1. टॉप बार में Connections (कनेक्शन) पर क्लिक करें, फिर Add (जोड़ें) पर क्लिक करें। Add account (अकाउंट जोड़ें) विंडो खुलती है।
2. Chat (चैट) के नीचे अपने सर्वर पर क्लिक करें: Ollama, LM Studio, KoboldCpp या llama.cpp। इन टाइल पर Self-hosted का टैग होता है। किसी दूसरे सर्वर के लिए OpenAI-compatible address (OpenAI कंपैटिबल पता) पर क्लिक करें।
3. Server address (सर्वर का पता) जाँचें। ऊपर के चार सर्वर के लिए यह पहले से भरा होता है। किसी दूसरे सर्वर के लिए उसका पता टाइप करें। नीचे की तालिका देखें।
4. API key (optional) खाली छोड़ दें। ज़्यादातर लोकल सर्वर को कुंजी की ज़रूरत नहीं होती। अकाउंट को नाम देना हो, तो Name (optional) में नाम टाइप करें।
5. Connect (कनेक्ट करें) पर क्लिक करें। Marinara पते की जाँच करता है। Connected का मतलब है कि वह सर्वर तक पहुँच गया।
6. आगे क्या होता है, यह इस पर निर्भर है कि आपके पास पहले से Main (मुख्य) मॉडल है या नहीं। अगर नहीं है, या आपने नई चैट से Add खोला है, तो विंडो वे मॉडल दिखाती है जो आपका सर्वर बताता है। उनमें से एक चुनें, या Search or enter model ID… में कोई मॉडल ID टाइप करें, फिर Done (हो गया) पर क्लिक करें। अगर आपके पास पहले से Main मॉडल है, तो विंडो बंद हो जाती है और एक संदेश बताता है कि अकाउंट जोड़ दिया गया है। फिर अकाउंट पर ⋯ पर क्लिक करें और Add model (मॉडल जोड़ें) चुनें।

अब पैनल में अकाउंट दिखता है। उस पर भरोसा करने से पहले उसकी जाँच कर लें (देखें कनेक्शन की जाँच करें)।

अगर यह काम नहीं किया:

• Marinara could not reach दिखे, तो Marinara उस पते तक नहीं पहुँच पाया। जाँचें कि सर्वर चल रहा है, और पता और पोर्ट मेल खाते हैं। Continue anyway (फिर भी आगे बढ़ें) जाँच पास हुए बिना ही अकाउंट सेव कर देता है।
• पता किसी दूसरे कंप्यूटर का है। देखें दूसरे कंप्यूटर पर चल रहे सर्वर तक पहुँचें।

आम लोकल सर्वर के पते

पोर्ट वह नंबर वाला चैनल है जिसे सर्वर आपके कंप्यूटर पर इस्तेमाल करता है। localhost का मतलब है यही कंप्यूटर, इसलिए जब Marinara और सर्वर एक ही कंप्यूटर पर चलते हैं, तो ये पते जैसे लिखे हैं वैसे ही काम करते हैं।

Edit model (मॉडल एडिट करें) में पते वाली फ़ील्ड यह चेतावनी दिखाती है: "Only use URLs from providers you trust. A malicious endpoint could intercept your messages and API keys." सिर्फ़ वही पता डालें जो आपने खुद सेट किया हो या जिस पर आपको पूरा भरोसा हो।

Windows पर चलता हुआ सर्वर भी ब्लॉक हो सकता है। अगर Marinara उसे नहीं पकड़ पाता, तो हो सकता है Windows Defender Firewall उसे रोक रहा हो। Windows Security → Firewall & network protection → Allow an app through firewall खोलें, और Node.js या अपना सर्वर प्रोग्राम जोड़ें।

कनेक्शन की जाँच करें

Connect पहले ही पते की जाँच कर चुका है। दूसरी जाँच के लिए मॉडल एडिटर में Provider tests (प्रोवाइडर टेस्ट) कार्ड होता है।

1. Connections पैनल में अपने मॉडल पर क्लिक करें। मॉडल एडिटर खुल जाता है।
2. Test provider (प्रोवाइडर टेस्ट करें) पर क्लिक करें। यह जाँचता है कि पते तक पहुँचा जा सकता है या नहीं, और दिखाता है कि इसमें कितना समय लगा।
3. अगर अभी तक मॉडल नहीं चुना है, तो चुन लें, फिर Send test message (टेस्ट संदेश भेजें) पर क्लिक करें। यह एक छोटा संदेश भेजता है और जवाब दिखाता है।

दोनों जाँच पास हो जाएँ, तो कोई चैट खोलें और Model for this chat (इस चैट का मॉडल) में यह अकाउंट चुनें। देखें एक चैट के लिए मॉडल चुनना।

कोई जाँच फ़ेल हो, तो देखें कि सर्वर चल रहा है और उसमें मॉडल लोड है, और पता और पोर्ट हूबहू मेल खाते हैं। दूसरे कंप्यूटर वाले सर्वर के लिए नीचे के स्टेप जाँचें।

दूसरे कंप्यूटर पर चल रहे सर्वर तक पहुँचें

localhost और 127.0.0.1 जैसे पते हमेशा काम करते हैं। अगर आपका मॉडल सर्वर आपके नेटवर्क के किसी दूसरे कंप्यूटर पर है, तो Marinara उस प्राइवेट पते को डिफ़ॉल्ट रूप से ब्लॉक करता है। Marinara सर्वर चलाने वाला व्यक्ति एक एनवायरनमेंट वेरिएबल से इसकी इजाज़त दे सकता है। एनवायरनमेंट वेरिएबल यानी वह सेटिंग जिसे सर्वर शुरू होते समय पढ़ता है।

1. सर्वर की .env फ़ाइल खोलें। सामान्य इंस्टॉल में यह Marinara प्रोजेक्ट फ़ोल्डर में होती है। Docker और Podman के लिए देखें सर्वर कॉन्फ़िगरेशन रेफ़रेंस।
2. यह लाइन जोड़ें:

PROVIDER_LOCAL_URLS_ENABLED=true

1. फ़ाइल सेव करें और Marinara सर्वर दोबारा शुरू करें।
2. दूसरे कंप्यूटर का पता इस्तेमाल करें, जैसे http://192.168.1.50:11434/v1।

Android पर यह सेटिंग सेट न करने पर डिफ़ॉल्ट रूप से चालू रहती है।

निर्णयों के लिए मॉडल इस्तेमाल करें

यही मॉडल दूसरी कॉपी लोड किए बिना निर्णय वाले सवालों का जवाब दे सकता है, जैसे एजेंट सक्रियण की जाँच। पैनल में मॉडल पर ⋯ पर क्लिक करें और Use this model for decisions (निर्णयों के लिए यह मॉडल इस्तेमाल करें) चुनें। यह विकल्प उस OpenAI कंपैटिबल मॉडल के लिए दिखता है जिसका कोई मॉडल नाम हो। देखें निर्णय मॉडल।

Treat as local/custom endpoint

Edit model में Local / custom endpoint के नीचे Treat as local/custom endpoint नाम का एक टॉगल होता है। यह डिफ़ॉल्ट रूप से बंद रहता है। यह सिर्फ़ उन पुराने मॉडल के लिए दिखता है जो किसी अकाउंट से जुड़े नहीं हैं। अब जोड़े जाने वाले मॉडल में यह कभी नहीं दिखता।

इसे किसी ऐसे प्रॉक्सी या सेल्फ़ होस्टेड सर्वर के लिए चालू करें जो कोई जानी-पहचानी सेवा नहीं है। इससे Marinara हर बार टूल कॉल की कोशिश करता है, और Professor Mari सिर्फ़ नेटिव टूल कॉल के बजाय एक बैकअप टूल तरीका (JSON टूल प्रोटोकॉल) भी इस्तेमाल कर पाती है। अगर Professor Mari टूल इस्तेमाल करने के बाद रुक जाती है, या आपका सर्वर खुद को OpenAI कंपैटिबल बताता है पर टूल कॉल ठीक से नहीं संभालता, तो इसे चालू करें। अगर आपका मॉडल इसके बिना ठीक चलता है, तो इसे बंद ही रहने दें।

मिलती-जुलती गाइड

• किसी AI प्रोवाइडर से कनेक्ट करना
• बिल्ट-इन मॉडल का सेटअप
• निर्णय मॉडल
• सर्वर कॉन्फ़िगरेशन रेफ़रेंस