Подключение локальной модели или модели на своем сервере

Это руководство помогает подключить Marinara Engine к модели ИИ, которая работает на вашем компьютере или сервере через программу вроде Ollama, LM Studio, KoboldCpp или llama.cpp. О небольшой модели, которую Marinara запускает сама, без отдельного сервера, читайте в руководстве Настройка встроенной модели.

Создание подключения Custom

В приложении такой аккаунт называется OpenAI-compatible (совместимый с OpenAI). Это значит, что сервер принимает тот же формат запросов, что и API чата OpenAI. Ollama, LM Studio, KoboldCpp и llama.cpp его принимают.

Перед началом установите сервер моделей, запустите его и загрузите в него модель. Например, скачайте Ollama с ollama.com и по его инструкциям скачайте модель. Marinara подключается к серверу, но не запускает его за вас. Сервер отвечает на запросы по веб-адресу на вашем компьютере, который называется эндпоинтом.

  1. Нажмите Connections (подключения) на верхней панели, затем Add (добавить). Откроется окно Add account (добавить аккаунт).
  2. В разделе Chat (чат) нажмите на свой сервер: Ollama, LM Studio, KoboldCpp или llama.cpp. У этих плиток есть пометка Self-hosted (на своем сервере). Для любого другого сервера нажмите OpenAI-compatible address (адрес, совместимый с OpenAI).
  3. Проверьте поле Server address (адрес сервера). Для четырех названных серверов оно уже заполнено. Для другого сервера введите его адрес. См. таблицу ниже.
  4. Оставьте поле API key (optional) (ключ API, необязательно) пустым. Большинству локальных серверов ключ не нужен. Чтобы дать аккаунту название, введите его в поле Name (optional) (название, необязательно).
  5. Нажмите Connect (подключиться). Marinara проверяет адрес. Надпись Connected означает, что Marinara связалась с сервером.
  6. Что будет дальше, зависит от того, есть ли у вас уже основная модель. Если ее нет или вы открыли Add из нового чата, окно показывает модели, о которых сообщает сервер. Выберите одну или введите идентификатор модели в поле Search or enter model ID… (искать или ввести идентификатор модели), затем нажмите Done (готово). Если основная модель уже есть, окно закрывается, а сообщение говорит, что аккаунт добавлен. Затем нажмите ⋯ у аккаунта и выберите Add model (добавить модель).

Теперь аккаунт виден в панели. Проверьте его, прежде чем на него полагаться (см. Проверка подключения).

Если не получилось:

Адреса распространенных локальных серверов

Порт – это пронумерованный канал, который сервер занимает на вашем компьютере. Адрес localhost означает этот же компьютер, поэтому, когда Marinara и сервер работают на одном компьютере, эти адреса подходят без изменений.

СерверАдрес
Ollamahttp://localhost:11434/v1
LM Studiohttp://localhost:1234/v1
KoboldCpphttp://localhost:5001/v1
llama.cpphttp://localhost:8080/v1

В окне Edit model (изменить модель) поле адреса предупреждает: "Only use URLs from providers you trust. A malicious endpoint could intercept your messages and API keys." Вводите только тот адрес, который настроили сами или которому полностью доверяете.

В Windows запущенный сервер все равно может быть заблокирован. Если Marinara его не обнаруживает, его может блокировать брандмауэр Windows Defender. Откройте Windows Security → Firewall & network protection → Allow an app through firewall (безопасность Windows → брандмауэр и защита сети → разрешить работу с приложением через брандмауэр) и добавьте Node.js или программу своего сервера.

Проверка подключения

Кнопка Connect уже проверила адрес. Для повторной проверки в редакторе модели есть карточка Provider tests (проверки провайдера).

  1. Нажмите на свою модель в панели Connections. Откроется редактор модели.
  2. Нажмите Test provider (проверить провайдера). Кнопка проверяет, доступен ли адрес, и показывает, сколько времени это заняло.
  3. Выберите модель, если еще не выбрали, затем нажмите Send test message (отправить тестовое сообщение). Кнопка отправляет короткое сообщение и показывает ответ.

Если обе проверки прошли, откройте чат и выберите этот аккаунт в окне Model for this chat (модель для этого чата). См. Выбор модели для одного чата.

Если проверка не прошла, убедитесь, что сервер запущен и модель в нем загружена, а адрес и порт совпадают в точности. Для сервера на другом компьютере проверьте шаги ниже.

Обращение к серверу на другом компьютере

Адреса вроде localhost и 127.0.0.1 работают всегда. Если сервер моделей находится на другом компьютере вашей сети, Marinara по умолчанию блокирует такой частный адрес. Тот, кто держит сервер Marinara, может разрешить его переменной окружения – настройкой, которую сервер читает при запуске.

  1. Откройте файл .env сервера. При обычной установке он лежит в папке проекта Marinara. Для Docker и Podman см. Настройки сервера: справочник.
  2. Добавьте эту строку:
PROVIDER_LOCAL_URLS_ENABLED=true
  1. Сохраните файл и перезапустите сервер Marinara.
  2. Укажите адрес другого компьютера, например http://192.168.1.50:11434/v1.

На Android эта настройка включена по умолчанию, если вы ее не задали.

Модель для решений

Та же модель может отвечать на вопросы решений, например проверки активации агентов, без загрузки второй копии. Нажмите ⋯ у модели в панели и выберите Use this model for decisions (использовать эту модель для решений). Этот пункт показывается для модели OpenAI-compatible, у которой задано название модели. См. Модели решений.

Переключатель Treat as local/custom endpoint

В окне Edit model переключатель Treat as local/custom endpoint (считать эндпоинт локальным или своим) находится в разделе Local / custom endpoint (локальный или свой эндпоинт). По умолчанию он выключен. Он показывается только у старых моделей, которые не привязаны к аккаунту. У моделей, которые вы добавляете сейчас, его никогда нет.

Включайте его для прокси или своего сервера, который не является известным сервисом. С ним Marinara всегда пытается вызывать инструменты, а Professor Mari может использовать запасной способ работы с инструментами (протокол инструментов в формате JSON) вместо одних только встроенных вызовов инструментов. Включите его, если Professor Mari останавливается после использования инструмента или если ваш сервер заявляет совместимость с OpenAI, но плохо справляется с вызовами инструментов. Если модель работает и без него, оставьте его выключенным.

Смежные руководства