MiniTavern 教程

繁體中文

English
简体中文
Deutsch
Français
Español
Русский
日本語

繁體中文

English
简体中文
Deutsch
Français
Español
Русский
日本語

Appearance

3.7 本地免費 AI：LM Studio ​

LM Studio 是一款桌面端本地大模型工具：可在圖形介面中搜尋、下載 GGUF 模型，載入到本機執行，並開啟 Local Server 對外提供 OpenAI 相容 API。配合 MiniTavern，你可以在手機上使用電腦上的模型對話，無需購買雲端 API Key。

核心設定資訊 ​

在設定 LM Studio 時，你需要準備以下資訊：

  • 主機 IP 位址：一般以 192.168 開頭（例如：192.168.1.75）
  • Base URL 格式：http://192.168.1.75:1234/v1

重要提示

  • 必須使用 http 協定（不是 https）
  • 必須使用 1234 連接埠（LM Studio Local Server 預設，以應用內顯示為準）
  • URL 須為 OpenAI 相容 格式，末尾須加上 /v1

範例：http://192.168.1.75:1234/v1（其中 192.168.1.75 是 LM Studio 介面中顯示的區域網路 IP）

為什麼選擇 LM Studio？ ​

  • 圖形介面：搜尋、下載、載入模型，少碰命令列
  • 完全免費（本地）：本地推理不強制購買 API Key
  • 隱私保護：對話經區域網路發到本機，由電腦上的模型處理
  • OpenAI 相容：可被 MiniTavern「其他 LLM」直接識別
  • 模型選擇多：社群 GGUF 資源豐富，適合自行試不同量化檔位

設定要求 ​

  • 一台電腦（本教程以 macOS 為例，Windows、Linux 均可）
  • 手機和電腦在同一個 Wi-Fi 網路下
  • 使用時電腦需要保持開機，且 LM Studio Local Server 處於執行狀態
  • 建議顯存/記憶體能承載所選模型（角色扮演場景推薦 7B 及以上 參數量）

操作步驟（以 macOS 為例） ​

準備工作：安裝 LM Studio 並下載模型 ​

  1. 造訪 https://lmstudio.ai/ 下載並安裝 LM Studio，安裝完成後開啟應用。
  2. 開啟 Discover（或「搜尋 / 模型庫」），搜尋並下載一個體積適中的指令模型用於測試，例如 Qwen2.5-7B-Instruct 的 GGUF 量化版（具體名稱以庫內為準），等待下載完成。

第一次下載模型會占用一定磁碟空間，請預留足夠空間。

第 1 步：啟動 Local Server 並允許區域網路存取 ​

完成以下兩項檢查後再繼續：

  • 檢查點 1：開啟 LM Studio 本地後台服務的開關。開啟後，介面應顯示 Status: Running。
  • 檢查點 2：在 Server Settings 中開啟 Serve on Local Network，這樣同一 Wi-Fi 下的手機等裝置才能存取電腦上的 LM Studio。

啟動 Local Server 並開啟區域網路存取

為什麼需要開啟區域網路存取？

  • MiniTavern 在手機上執行，需要透過區域網路存取電腦上的 LM Studio
  • 預設可能只允許本機 127.0.0.1 存取
  • 開啟後，同一 Wi-Fi 下的手機才能使用 http://電腦IP:1234/v1

第 2 步：確認區域網路位址並載入模型 ​

繼續完成以下兩項檢查：

  • 檢查點 3：查看 LM Studio 目前顯示的區域網路位址，例如圖中的 http://192.168.1.75:1234。這就是之後填入 MiniTavern Base URL 時開頭的部分（末尾還需加上 /v1）。
  • 檢查點 4：透過右上角 Load Model 按鈕，選擇並載入一個已下載的本地模型。載入成功後，下方會出現正在執行的本地模型資訊。

確認區域網路位址並載入模型

在電腦終端自測 API 是否可用（可選）：

bash
curl http://127.0.0.1:1234/v1/models

若返回 JSON（含模型 id），說明 Local Server 已就緒。

第 3 步：在 MiniTavern 中設定 ​

  1. 開啟 MiniTavern → 設定 → LLM 設定 → Configure LLM（或 AI 服務商）。
  2. 在 API Provider 中選擇 Other LLM（其他）。
  3. 在 Base URL 中填寫檢查點 3 中的位址，並在末尾加上 /v1。

例如檢查點 3 顯示 http://192.168.1.75:1234，則 Base URL 填寫：

http://192.168.1.75:1234/v1

  1. 點擊 Model，從列表中選擇 LM Studio 目前載入的模型，進行連線測試。
在 MiniTavern 中設定 Other LLM

重要提示

  • 必須使用 http（不是 https）
  • 連接埠必須是 1234（若 LM Studio 內顯示其他連接埠，以應用為準）
  • 末尾必須是 /v1（OpenAI 相容路徑）

API Key 可填 lm-studio 或任意占位字串（本地服務通常不校驗真實密鑰）。

如果無法連線：

  • 確認 LM Studio 中模型已載入且 Local Server 正在執行（Status: Running）
  • 確認已開啟 Serve on Local Network
  • 確認 Base URL 與 LM Studio 介面顯示的區域網路位址一致，且末尾含 /v1
  • 確認手機與電腦在同一 Wi-Fi
  • 檢查電腦防火牆是否攔截 1234 連接埠

測試成功後儲存，即可在對話中選擇該模型與角色卡聊天。

常見問題 ​

Q: 為什麼要使用 /v1 的後綴？ ​

A: 這是 OpenAI 相容 的請求格式。LM Studio 雖然有自己的 API 請求格式，但業界更多場景下會使用 OpenAI 格式的請求。MiniTavern 的 Other LLM 也按此格式連接。如果 LM Studio 的 /api/v1 請求格式有問題，請切換到本教程中的 http://IP:1234/v1 方式。

Q: 取得模型列表為空？ ​

A:

  • 確認 LM Studio 已 Load 模型且 Local Server 已啟動；
  • 在電腦瀏覽器存取 http://127.0.0.1:1234/v1/models 檢查是否有返回；
  • 確認 MiniTavern 中 URL 含 /v1。

Q: 對話品質不好？ ​

A:

  • 嘗試更大的模型或更高量化檔位（如 7B 及以上）；
  • 在 LM Studio 中適當調整上下文長度；
  • 嘗試不同的角色卡與預設。

相關資源 ​