Настройка встроенной модели

Built-in model (встроенная модель) – это небольшая модель ИИ, которую Marinara скачивает и запускает на вашем компьютере. Ей не нужны ни ключ API, ни аккаунт в интернете, и ничего не покидает ваш компьютер.

Модель маленькая, поэтому подходит для фоновой вспомогательной работы: агентов-трекеров (помощников, которые следят за подробностями сюжета), эффектов сцен в режиме Game Mode, эмбеддингов лорбуков и проверок решений. Для хорошей ролевой игры или правок Professor Mari она слишком слаба. Для них используйте более сильный аккаунт. См. Подключение к провайдеру ИИ.

Если карточки Built-in model нет, у вас установка "Lite" – облегченная сборка без локальной среды выполнения.

Скачивание встроенной модели

Перед началом убедитесь, что для модели хватает свободного места на диске и оперативной памяти (RAM). Размеры приведены в таблице ниже.

1. Нажмите Connections (подключения) на верхней панели.
2. Найдите карточку Built-in model под блоком Jobs (задачи). На ней написано Not downloaded.
3. Нажмите на карточку или на ее кнопку Download (скачать). Откроется окно с заголовком Built-in model.
4. В разделе Which model? (какая модель) выберите модель. Вариант Gemma 4 E2B — Q8 (Best Quality) помечен как Recommended (рекомендуется). Если памяти на компьютере мало, выберите Q4_K_M. Ему нужно около 3,4 ГБ оперативной памяти вместо 5,4 ГБ.
5. Нажмите кнопку Download внизу. На ней указан размер модели, например Download 5.0 GB.
6. Подождите. Окно показывает три этапа: Install runtime (установка среды выполнения), Download model (скачивание модели) и Start and test (запуск и проверка). Среда выполнения – это программа, которая запускает модель. Если ее нет, Marinara сначала устанавливает ее.
7. Когда в окне появится название модели с зеленой точкой, нажмите Test (проверить). Блок с заголовком Local test message сообщает Succeeded и показывает, сколько времени занял ответ.
8. Нажмите Done (готово).

Теперь на карточке написано Ready, а также указаны размер модели и задачи, которые она выполняет.

Если не получилось:

• Sidecar runtime install is disabled (сообщение об ошибке). Установка среды выполнения – защищенное действие. См. Разрешение установки среды выполнения.
• Local runtime failed to start. См. Устранение неполадок.
• Download failed. Окно показывает ошибку. Проверьте подключение к интернету и свободное место на диске, затем снова нажмите кнопку скачивания.

Это окно также открывается кнопкой Add (добавить) в панели Connections: в окне Add account (добавить аккаунт) выберите Built-in model.

Готовые пресеты

Окно предлагает два готовых пресета Gemma 4 E2B – небольшой модели от Google. На компьютерах с Apple Silicon вместо файлов GGUF предлагаются версии MLX. GGUF и MLX – это два формата файлов для локальных моделей. Ниже приведены размеры, которые показывает окно (в ГБ, где 1 ГБ – это 1024 × 1024 × 1024 байт).

На Apple Silicon вместо них показаны два пресета MLX:

Marinara хранит на диске только одну встроенную модель. Выбор другой модели заменяет первую. Чтобы сменить модель позже, откройте карточку и нажмите Change model (сменить модель) в окне Built-in model. На странице карточки кнопки рядом с полем Model (модель) переключают пресеты и сначала просят подтвердить размер скачивания.

Своя модель

В разделе Your own model (своя модель) можно использовать модель GGUF с Hugging Face (публичного сайта, где выкладывают модели) или файл на компьютере, где работает Marinara.

1. Нажмите Your own model и выберите вкладку: Hugging Face или File on the server (файл на сервере).
2. На вкладке Hugging Face введите название репозитория в формате owner/repo, затем нажмите Find files (найти файлы). Выберите один файл в списке.
3. На вкладке File on the server введите полный путь к файлу .gguf. Marinara использует файл там, где он лежит, и не копирует его.
4. Нажмите кнопку внизу: Download или, для файла на сервере, Use this file (использовать этот файл).

На Apple Silicon кнопка Find files называется Validate repo (проверить репозиторий), а репозиторий должен быть изначально в формате MLX. Файл GGUF на сервере работает и там, но через llama.cpp вместо MLX.

Встроенная модель для вспомогательных задач

Откройте карточку Built-in model, когда модель скачана. На ее странице видны состояние модели, расход памяти и раздел Used by (где используется), а также есть такие элементы управления:

Если оба переключателя выключены, модель сама не запускается. Она запускается, когда вы включаете один из них или когда ее использует чат или задача. Как включить агентов, описано в руководстве Memory Recall и сводки чата.

В настройке режима Game Mode поле Scene effects model (модель эффектов сцены) может использовать встроенную модель. См. Game Mode: начало работы.

Эмбеддинги лорбуков

Эмбеддинги – это числа, которые позволяют лорбуку искать по смыслу. Чтобы считать их встроенной моделью, выберите Built-in model (on this device) (встроенная модель на этом устройстве) моделью векторизации лорбука. Сначала включите Use for tracker agents (roleplay) или Use for game scene analysis, иначе запрос завершится ошибкой. Этому способу нужна среда выполнения GGUF, поэтому на Apple Silicon с MLX он не работает. См. Семантический поиск в лорбуках.

Модель решений

Встроенную модель можно также выбрать в качестве модели решений. См. Модели решений.

Модель для чата

Чтобы общаться со встроенной моделью в чате:

1. Откройте чат и нажмите кнопку модели в поле ввода чата (значок ссылки).
2. В окне Model for this chat (модель для этого чата) выберите Built-in model (on this device). Этот пункт находится внизу списка и появляется, когда модель скачана.
3. Отправьте сообщение. Предупреждение сообщает, что модель маленькая, поэтому ответы могут быть медленными, короткими или слабыми.

Настройки среды выполнения

Чтобы открыть их, нажмите Runtime settings (настройки среды выполнения) на странице карточки или Settings (настройки) в окне Built-in model. Настройки разбиты на четыре группы. Раскрывающиеся списки и переключатели сохраняются сразу. Числовые поля сохраняются, когда вы нажимаете Apply settings (применить настройки). У полей Physical batch size и Custom GPU layers своя кнопка Apply (применить).

Speed (скорость)

Memory (память)

Replies (ответы)

Expert (для опытных)

Некоторые настройки зависят от системы:

• На Windows и Linux (x64) поле Runtime target предлагает Auto detect, NVIDIA GPU, AMD GPU, Intel GPU, Vulkan GPU, CPU only и System llama-server. В других системах вариантов меньше.
• На Apple Silicon ускоритель выбирает MLX. Поля Runtime target, GPU offload, KV cache type, Native tool calls, Pooling type и Physical batch size там не показываются.
• Поле Max response tokens не ограничивает анализ сцены в режиме Game Mode: у него свой предел.
• Раздел Diagnostics (диагностика) в группе Expert показывает сборку среды выполнения, обнаруженную видеокарту и последнюю команду запуска.

Разрешение установки среды выполнения

Установка и переустановка среды выполнения – защищенное действие. В установках Windows "в один клик" оно разрешено сразу. На macOS, Linux и в Docker сделайте одно из следующего, затем повторите попытку:

• Введите секрет администратора в Settings → Advanced → Admin Access (настройки → дополнительно → доступ администратора). Секрет администратора – это второй пароль для рискованных действий. Вы создаете его в Admin Access на компьютере, где работает сервер, или задаете как ADMIN_SECRET в файле .env сервера. См. раздел Admin Access.
• Добавьте SIDECAR_RUNTIME_INSTALL_ENABLED=true в файл .env сервера, затем перезапустите Marinara. Файл .env – это текстовый файл в папке Marinara. См. Редактирование файла .env.

Marinara скачивает только те версии llama.cpp, MLX и uv, которые одобрены для вашего выпуска, и перед любым запуском сверяет размер каждого файла и его контрольную сумму SHA-256.

Локальная речевая модель

Local speech model (локальная речевая модель) превращает ваш голос в текст прямо на вашем компьютере для звонков в режиме Conversation. Это модель Whisper – модель распознавания речи. Ей нужен пакет агента Calls, который устанавливается в Agents → Agent Organizer (агенты → организатор агентов).

1. Откройте панель Connections и нажмите пункт Speech to text (распознавание речи) в группе On this device (на этом устройстве).
2. В разделе Local speech model выберите модель в раскрывающемся списке.
3. Нажмите Download Whisper (скачать Whisper).
4. Дождитесь статуса Ready. Перед использованием Calls полностью перезапустите Marinara.

Tiny – лучший первый выбор для телефонов и старых компьютеров. Base точнее разбирает невнятную речь, но дольше запускается. Чтобы удалить скачанную модель, нажмите Delete Local Whisper (кнопка с корзиной). Удаление Calls тоже ее удаляет.

Запись вашего голоса остается на вашем компьютере. Модели чата уходит только текст. Чтобы использовать эту модель в звонке, выберите Local Whisper в качестве звукового входа звонка. См. Аудио- и видеозвонки в режиме Conversation. Если вместо этого включить сервер Speech to text, звонки будут отправлять вашу речь туда. См. Использование собственного сервера распознавания речи.

Устранение неполадок

Больше решений – в руководстве Устранение неполадок в приложении Marinara Engine.

Смежные руководства

• Подключение к провайдеру ИИ
• Модели решений
• Подключение локальной модели или модели на своем сервере
• Memory Recall и сводки чата
• Аудио- и видеозвонки в режиме Conversation
• Game Mode: начало работы
• Семантический поиск в лорбуках