内蔵モデルのセットアップ

Built-in model(内蔵モデル)は、Marinaraがダウンロードして自分のコンピューターで動かす小さなAIモデルです。APIキーもオンラインのアカウントも必要なく、何もコンピューターの外に出ません。

小さいモデルなので、裏方の補助作業に向いています。トラッカーエージェント(ストーリーの細部を追い続ける補助役)、Game Modeのシーン効果、ロアブックの埋め込み、判定のチェックなどです。良いロールプレイやProfessor Mariによる編集には力不足です。そうした用途には、より高性能なアカウントを使ってください。AIプロバイダーへの接続を参照してください。

Built-in modelのカードが見当たらない場合は、「Lite」版をインストールしています。Lite版は、ローカルランタイムを含めずに軽量化したビルドです。

内蔵モデルをダウンロードする

始める前に、モデルを置ける空きディスク容量とメモリー(RAM)があることを確認してください。サイズは下の表にあります。

上部バーのConnections(接続)をクリックします。
Jobs(役割)ボックスの下にあるBuilt-in model(内蔵モデル)のカードを探します。カードにはNot downloadedと表示されています。
カードか、そのDownload(ダウンロード)ボタンをクリックします。Built-in modelというタイトルのウィンドウが開きます。
Which model?(どのモデル?)でモデルを選びます。Gemma 4 E2B — Q8 (Best Quality)にはRecommended(おすすめ)のタグが付いています。コンピューターのメモリーが少ない場合は、Q4_K_Mを選んでください。RAMが5.4 GBではなく、約3.4 GBで済みます。
下部のDownloadボタンをクリックします。ボタンには、Download 5.0 GBのようにモデルのサイズが表示されています。
待ちます。ウィンドウには、Install runtime(ランタイムをインストール)、Download model(モデルをダウンロード)、Start and test(起動とテスト)の3つのステップが表示されます。ランタイムとは、モデルを動かすプログラムのことです。ランタイムがない場合、Marinaraは先にそれをインストールします。
ウィンドウに、緑の点と一緒にモデル名が表示されたら、Test(テスト)をクリックします。Local test message(ローカルのテストメッセージ)というタイトルのボックスに、Succeededと、返信にかかった時間が表示されます。
Done(完了)をクリックします。

カードには、Readyと、モデルのサイズ、担当する役割が表示されるようになります。

うまくいかなかった場合:

Sidecar runtime install is disabled(エラーメッセージ)。ランタイムのインストールは保護された操作です。ランタイムのインストールを許可するを参照してください。
Local runtime failed to startと表示される。トラブルシューティングを参照してください。
Download failedと表示される。ウィンドウにエラーが表示されます。インターネット接続と空きディスク容量を確認してから、もう一度ダウンロードボタンをクリックしてください。

ConnectionsパネルのAdd(追加)からも、このウィンドウを開けます。Add account(アカウントの追加)ウィンドウのBuilt-in modelの下にあります。

厳選済みプリセット

ウィンドウには、Googleの小さなモデルであるGemma 4 E2Bの、あらかじめ用意された2つのプリセットがあります。Apple Siliconのコンピューターでは、GGUFファイルの代わりにMLX版が使われます。GGUFとMLXは、ローカルモデルの2つのファイル形式です。下のサイズは、ウィンドウに表示される値です(単位はGBで、1 GBは1024 × 1024 × 1024バイトです)。

プリセット	ダウンロード	実行時のRAM
Q8 (Best Quality)	5.0 GB	5.4 GB
Q4_K_M (Smaller, Faster)	3.0 GB	3.4 GB

Apple Siliconでは、代わりに2つのMLXプリセットが表示されます。

プリセット	ダウンロード	実行時のRAM
8-bit MLX (Best Quality)	5.5 GB	7.0 GB
4-bit MLX (Smaller, Faster)	3.4 GB	4.5 GB

Marinaraがディスク上に保持する内蔵モデルは、常に1つだけです。別のモデルを選ぶと、最初のモデルと置き換わります。あとで切り替えるには、カードを開き、Built-in modelウィンドウでChange model(モデルを変更)をクリックします。カードのページでは、Model(モデル)の横にあるボタンでプリセットを切り替えられます。その際、先にダウンロードサイズの確認を求められます。

自分のモデルを使う

Your own model(自分のモデル)では、Hugging Face(公開のモデル共有サイト)のGGUFモデルか、Marinaraを動かしているコンピューター上のファイルを使えます。

Your own modelをクリックし、Hugging FaceかFile on the server(サーバー上のファイル)のタブを選びます。
Hugging Faceでは、リポジトリー名をowner/repoの形式で入力し、Find files(ファイルを探す)をクリックします。一覧からファイルを1つ選びます。
File on the serverでは、.ggufファイルのフルパスを入力します。Marinaraはファイルをその場所のまま使い、コピーはしません。
下部のボタンをクリックします。ボタンはDownloadです。サーバー上のファイルの場合はUse this file(このファイルを使う)です。

Apple Siliconでは、Find filesがValidate repo(リポジトリーを検証)になり、リポジトリーはMLXネイティブである必要があります。サーバー上のGGUFファイルはApple Siliconでも使えます。その場合はMLXではなくllama.cppを使います。

内蔵モデルを補助の役割に使う

ダウンロードしたあとで、Built-in model(内蔵モデル)のカードを開きます。そのページには、状態、メモリー使用量、Used by(使用先)が表示され、次の操作があります。

操作	内容
Use for tracker agents (roleplay)(ロールプレイのトラッカーエージェントに使う)	トラッカーエージェントのためにモデルを動かし続けます。デフォルトはオフです。
Use for game scene analysis(ゲームのシーン解析に使う)	背景、音楽、天候などのGame Modeのシーン効果のためにモデルを動かし続けます。デフォルトはオンです。
Use the built-in model for all tracker agents(すべてのトラッカーエージェントに内蔵モデルを使う)	標準搭載のトラッカーエージェントすべてを、このモデルに向けます。エージェント自体はオンになりません。
Change in Defaults(デフォルトで変更)	Jobs(役割)ボックスを開きます。そこで、ほかの役割を割り当てられます。

両方のスイッチがオフの場合、モデルは自動では起動しません。どちらかをオンにしたとき、またはチャットや役割がモデルを使うときに起動します。エージェントを有効にする方法は、Memory Recallとチャットの要約を参照してください。

Game Modeのセットアップでは、Scene effects model(シーン効果のモデル)に内蔵モデルを使えます。Game Mode: はじめにを参照してください。

ロアブックの埋め込み

埋め込みとは、ロアブックを意味で検索できるようにするための数値です。埋め込みに内蔵モデルを使うには、ロアブックのベクトル化のモデルとしてBuilt-in model (on this device)(このデバイス上の内蔵モデル)を選びます。先にUse for tracker agents (roleplay)(ロールプレイのトラッカーエージェントに使う)かUse for game scene analysis(ゲームのシーン解析に使う)をオンにしてください。オフのままだとリクエストは失敗します。この方法にはGGUFランタイムが必要なため、Apple SiliconのMLXでは動きません。ロアブックのセマンティック検索を参照してください。

Decisionモデル

内蔵モデルをDecisionモデルとして選ぶこともできます。Decisionモデルを参照してください。

チャットモデル

内蔵モデルとチャットするには、次のようにします。

チャットを開き、チャット入力欄のモデルボタン(リンクのアイコン)をクリックします。
Model for this chat(このチャットのモデル)で、Built-in model (on this device)(このデバイス上の内蔵モデル)を選びます。一覧のいちばん下にあり、モデルをダウンロードすると表示されます。
メッセージを送ります。モデルが小さいため、返信が遅い、短い、品質が低いといったことがある、という警告が表示されます。

ランタイムの設定

開くには、カードのページでRuntime settings(ランタイムの設定)をクリックするか、Built-in model(内蔵モデル)ウィンドウでSettings(設定)をクリックします。設定は4つのグループに分かれています。ドロップダウンとスイッチは、すぐに保存されます。数値の欄は、Apply settings(設定を適用)をクリックしたときに保存されます。Physical batch size(物理バッチサイズ)とCustom GPU layers(GPUレイヤー数を指定)には、それぞれ専用のApply(適用)があります。

Speed(速度)

設定	デフォルト	内容
Runtime target(ランタイムの対象)	Auto detect	Marinaraがどのグラフィックスカードの系統向けにインストールするか。
GPU offload(GPUオフロード)	Auto offload	どれだけの処理をグラフィックスカードに任せるか。Auto offload、CPU only、Custom GPU layers(1から1024)から選びます。

Memory(メモリー)

設定	デフォルト	内容
Context window(コンテキストウィンドウ)	8192	モデルが一度に読む文章の量(トークン数)。512以上。
KV cache type(KVキャッシュの種類)	f16	モデルが読んだ内容をどう保存するか。f16、q8_0、q4_0から選びます。後の2つはメモリーの使用量が少なく、Flash Attentionへの対応が必要です。

Replies(返信)

設定	デフォルト	内容
Max response tokens(返信の最大トークン数)	4096	モデルが書ける返信の最大の長さ。64以上。
Temperature	0.3	返信のランダムさ。0から2。
Top P	0.95	単語選択の制限。0より大きく、1以下。
Top K	64	単語選択の制限。0から500。

Expert(上級者向け)

設定	デフォルト	内容
Native tool calls(ネイティブのツール呼び出し)	On	モデルにツールを使わせます。Professor Mariとカスタムエージェントには、これをオンにする必要があります。
Max parallel agent jobs(エージェントの最大並列ジョブ数)	2	同時に実行するジョブの数。1から16。
Pooling type(プーリングの種類)	None	ロアブック検索のために、モデルがテキストを数値に変える方法。ロアブックの埋め込みにはMeanを選びます。
Physical batch size	512	ロアブックの埋め込みの1バッチあたりのテキスト量。128から32768。長いエントリーが失敗するときは値を上げてください。Gemmaでは、多くの場合1024で動きます。

システムによって異なる設定もあります。

WindowsとLinux (x64)のRuntime targetでは、Auto detect、NVIDIA GPU、AMD GPU、Intel GPU、Vulkan GPU、CPU only、System llama-serverを選べます。ほかのシステムでは選択肢が少なくなります。
Apple Siliconでは、MLXがアクセラレーターを自動で選びます。Runtime target、GPU offload、KV cache type、Native tool calls、Pooling type、Physical batch sizeは表示されません。
Max response tokensは、Game Modeのシーン解析には上限を設けません。シーン解析には独自の上限があります。
ExpertのDiagnostics(診断)には、ランタイムのビルド、検出されたグラフィックスカード、最後の起動コマンドが表示されます。

ランタイムのインストールを許可する

ランタイムのインストールと再インストールは、保護された操作です。Windowsのワンクリックインストール版では、自動的に許可されます。macOS、Linux、Dockerでは、次のどちらかを行ってから、もう一度試してください。

Settings → Advanced → Admin Access(設定 → 詳細設定 → 管理者アクセス)で管理者用シークレットを入力します。管理者用シークレットとは、リスクのある操作に使う2つ目のパスワードです。サーバーのコンピューター上のAdmin Accessで作成するか、サーバーの.envファイルにADMIN_SECRETとして設定します。Admin Accessを参照してください。
サーバーの.envファイルにSIDECAR_RUNTIME_INSTALL_ENABLED=trueを追加し、Marinaraを再起動します。.envファイルは、Marinaraのフォルダーにあるテキストファイルです。.envファイルの編集を参照してください。

Marinaraがダウンロードするのは、使っているリリースで承認されたllama.cpp、MLX、uvのバージョンだけです。何かを実行する前に、各ファイルのサイズとSHA-256チェックサムを確認します。

ローカル音声モデル

Local speech model(ローカル音声モデル)は、Conversationの通話のために、自分のコンピューター上で声をテキストに変換します。これはWhisperモデル、つまり音声をテキストに変換するモデルです。Agents → Agent OrganizerでインストールするCallsエージェントパッケージが必要です。

Connections(接続)パネルを開き、On this device(このデバイス上)の下にあるSpeech to text(音声認識)の項目をクリックします。
Local speech modelの下のドロップダウンからモデルを選びます。
Download Whisper(Whisperをダウンロード)をクリックします。
Readyになるまで待ちます。Callsを使う前に、Marinaraを完全に再起動してください。

モデル	ダウンロード	実行時のRAM
Whisper Tiny (Multilingual)	約180 MB	約350 MB
Whisper Base (Multilingual)	約320 MB	約650 MB

スマートフォンや古いコンピューターでは、まずTinyがおすすめです。Baseは聞き取りにくい音声でも精度が上がりますが、起動は遅くなります。ダウンロードしたモデルを削除するには、ゴミ箱のボタン(Delete Local Whisper)をクリックします。Callsをアンインストールしても削除されます。

音声はコンピューターの外に出ません。チャットモデルに送られるのはテキストだけです。通話で使うには、通話の音声入力をLocal Whisperに設定します。Conversationの音声通話とビデオ通話を参照してください。代わりにSpeech to textサーバーをオンにすると、通話では音声がそのサーバーに送られます。自分の音声認識サーバーを使うを参照してください。

トラブルシューティング

症状	対処
Sidecar runtime install is disabled(エラーメッセージ)。	ランタイムのインストールを許可するを参照してください。
Local runtime failed to startと表示される。ウィンドウにエラーとログファイルのパスが表示されます。カードにはLocal runtime unavailableと表示されます。	Retry startup(起動を再試行)をクリックします。それでも失敗する場合は、Reinstall runtime(ランタイムを再インストール)をクリックするか、別のRuntime target(ランタイムの対象)を選びます。Continue without local AI(ローカルAIなしで続ける)をクリックすると、補助用のスイッチがオフになり、モデルなしでMarinaraを使い続けられます。
ランタイムのダウンロードで、サイズかSHA-256の不一致が報告される。	Marinaraはそのファイルを破棄しています。Marinaraをアップデートしてから、もう一度試してください。それでも失敗する場合は、そのファイルを自分で開かないでください。ランタイムの対象とエラーを報告してください。
ロアブックの検索で、ローカルモデルが有効になっていないと表示される。	Use for tracker agents (roleplay)(ロールプレイのトラッカーエージェントに使う)かUse for game scene analysis(ゲームのシーン解析に使う)をオンにしてから、もう一度ベクトル化してください。
Game ModeのバナーにLocal scene helper failed to startと表示される。	バナーのOpen Local AI Model(ローカルAIモデルを開く)をクリックすると、再試行、モデルの切り替え、ローカルのシーン解析のオフができます。

さらに詳しい情報は、Marinara Engineのトラブルシューティングを参照してください。