Skip to content

2.2 配置LLM(高级)

默认无需配置,满足更多个人偏好可以单独配置更强的模型。

MiniTavern目前主要应用模型分类是LLM(大语言模型),因此在设置页面中,叫配置LLM

默认零配置可用

MiniTavern目前为新用户提供了免费额度和默认配置的模型。

现在无需配置LLM,只要导入角色卡即可开始对话。如果你对当前默认的对话模型不满意,可以在配置LLM页面选择其他模型。

额度查看

设置页面中,用户名字下方的用户类型和可用额度区域即可查看剩余额度。

默认模型

MiniTavern默认配置的模型是Grok主流模型。在配置LLM页面下方的可用模型列表中,右侧带有对号的模型即为当前选用模型。

倍率说明

由于成本问题,我们对每个模型进行了倍率的限制,在模型副标题中的(2x)即代表是每次请求会消耗2倍的请求额度。

添加自己的LLM

步骤 1: 进入配置 LLM 页面

  • 点击底部导航栏的第三个Tab "设置"
  • 选择 "配置LLM"

步骤 2: 选择 API 提供商

点击 "提供商" 下拉菜单,可选择的提供商包括:

  • Nvidia
  • OpenAI
  • Anthropic
  • Google
  • Deepseek
  • Tencent
  • OpenRouter
  • Other LLM(兼容了Ollama)

步骤 3: 输入 API 密钥

  • "API Key" 输入框中粘贴您的 API Key

步骤 4: 选择模型

  • 选择提供商和输入API Key之后,点击 "Model" 下拉菜单即可加载可用模型列表;
  • 推荐模型:
    • deepseek:开源,消耗低
    • gemini:效果好,消耗高

步骤 5: 测试连接

  • 点击 "测试连接" 按钮
  • 等待测试结果
  • 成功:显示"API 连接测试成功"
  • 失败:检查 API 密钥和网络连接

步骤 6: 保存设置

  • 测试成功后,"保存设置" 按钮会变为可点击
  • 点击保存以完成配置

调整模型的默认设置

步骤:在配置LLM页面切换默认设置选项卡

温度 (Temperature)

  • 默认:1
  • 范围:0-2

最大 Tokens (Max Tokens)

  • 默认:4096
  • 控制 AI 单次回复的最大长度
  • 注意:值越大,消耗的 API 额度越多,不同的模型有不同的最长限制

启用流式传输

  • 默认:关闭
  • 开启后,AI 的回复会实时显示,而不是等待完整回复

注意

  • 设置后,每次开启新对话,均会启用该默认设置

自定义 API 配置 (高级)

如果选择了 "其他 LLM"

输入 LLM URL

  • 如:https://api.openai.com/v1
  • 必须是 OpenAI 兼容的 API 接口

自动获取模型列表

  • 输入 API Key 和 URL 后
  • 点击模型列表按钮后获取可用模型列表

隐私和安全

  • API 密钥仅存储在您的设备本地
  • 所有 API 请求都直接发送给您选择的 AI 服务提供商

注意

  • 某些服务商会针对某些地理位置进行限制,例如Gemini Claude的模型访问针对某些特定国家增加了地理位置限制,如果你的 IP 被归入这类清单内,此服务将不可用