Skip to content

3.6 本地免费 AI:Ollama

Ollama 是一个支持本地运行 AI 模型的免费工具。使用 Ollama,你可以完全免费、离线地使用 AI,无需购买 API Key,甚至也可以使用 Ollama 的订阅计划,从而享受到更大的无限请求的模型计算能力。

核心配置信息

在配置 Ollama 时,你需要找到以下核心信息:

  • 主机 IP 地址:一般以 192.168 开头(例如:192.168.1.2
  • Base URL 格式http://192.168.1.2:11434/api

重要提示

  • 必须使用 http 协议(不是 https)
  • 必须使用 11434 端口
  • 必须在末尾加上 /api

示例:http://192.168.1.2:11434/api(其中 192.168.1.2 是你的电脑 IP)


操作步骤(以 macOS 为例)

第 1 步:下载并安装 Ollama

访问 https://ollama.com 下载并安装 Ollama

下载并安装 Ollama

第 2 步:下载模型

打开终端,下载一个小模型进行测试(例如 deepseek-r1:1.5b,约 1GB):

bash
ollama pull deepseek-r1:1.5b

下载模型

第 3 步:运行模型

下载完成后,运行该模型:

bash
ollama serve
ollama run deepseek-r1:1.5b

第一次启动会比较慢,之后可以在终端中直接与模型对话测试

运行模型

第 4 步:开启局域网访问

在 Ollama 设置中开启局域网访问,允许手机连接电脑上的 Ollama

开启局域网访问

为什么需要开启?

  • MiniTavern 在手机上运行,需要通过局域网访问电脑上的 Ollama
  • 默认情况下,Ollama 只允许本地访问
  • 开启后,同一 Wi-Fi 下的设备都可以访问

如果你更习惯用命令行、没有安装 Ollama 图形客户端,可跳过本步的客户端设置,改看下方 命令行开启局域网访问(0.0.0.0)

第 5 步:获取电脑 IP 地址

在系统设置中查看你的电脑 IP 地址(通常以 192.168 开头)

获取电脑 IP 地址

macOS 查看 IP 方法

系统设置 → 网络 → Wi-Fi → 详细信息 → TCP/IP → IPv4 地址

或使用终端命令

bash
ifconfig | grep "inet " | grep -v 127.0.0.1

第 6 步:在 MiniTavern 中配置

Ollama 配置概览

6.1 选择其他 LLM 服务商

打开 MiniTavern → 设置LLM 设置AI 服务商 → 选择 其他

选择其他 LLM 服务商

6.2 输入 Ollama Base URL

输入 Ollama 的 Base URL:http://你的电脑IP:11434/api

例如:http://192.168.1.2:11434/api

重要提示

  • 必须使用 http(不是 https)
  • 端口必须是 11434
  • 末尾必须加上 /api

点击 获取模型列表

输入 Ollama Base URL

6.3 测试连接

选择模型后,点击 测试连接 验证配置是否正确

测试连接

如果无法连接

  • 检查 Ollama 是否正在运行
  • 确认 IP 地址正确
  • 确保手机和电脑在同一 Wi-Fi
  • 检查 Base URL 格式是否正确

6.4 添加完成

测试成功后,点击保存,模型添加完成

添加完成

使用 Brew 安装 Ollama

bash
brew install ollama

命令行开启局域网访问(0.0.0.0)

本小节以 macOS 为例,说明如何用命令行把 Ollama 监听地址改为 0.0.0.0,效果等同于客户端里的 Expose to the Network(暴露到局域网)。

  1. 如果你没有安装 Ollama 客户端,只通过 brew install ollama 安装了命令行工具,默认启动只会在当前电脑上共享模型访问权限,也就是监听 127.0.0.1。这个地址无法被局域网内其他设备访问。
  2. 此时需要先用 pkill ollama 停掉当前服务,再改用 0.0.0.0 重新开启 serve。
  3. 如果你之前下载过并自动启动了 Ollama 客户端、且它在后台运行,需要完全退出客户端后再操作,否则会提示端口已被占用。
  4. 然后执行:
bash
OLLAMA_HOST=0.0.0.0:11434 ollama serve

即可开启可被局域网访问的本地 serve 服务。之后在 MiniTavern 中填写的 Base URL 仍使用电脑的局域网 IP,例如:http://192.168.1.2:11434/api


常用 Ollama 命令

bash
# 查看所有已下载的模型
ollama list

# 下载本教程示例模型
ollama pull deepseek-r1:1.5b

# 启动 Ollama 服务(仅本机 127.0.0.1)
ollama serve

# 启动 Ollama 服务并暴露到局域网(0.0.0.0)
OLLAMA_HOST=0.0.0.0:11434 ollama serve

# 新开进程运行指定模型
ollama run deepseek-r1:1.5b

# 停止 Ollama 服务
pkill ollama
# 或在前台运行时按 Ctrl + C

常见问题

Q: 对话质量不好?

A:

  • 尝试使用更大的模型(7B 或以上)
  • 尝试不同的角色卡

相关资源