2.2 配置LLM(高级)
默认无需配置,满足更多个人偏好可以单独配置更强的模型。
MiniTavern目前主要应用模型分类是LLM(大语言模型),因此在设置页面中,叫配置LLM。
默认零配置可用
MiniTavern目前为新用户提供了免费额度和默认配置的模型。
现在无需配置LLM,只要导入角色卡即可开始对话。如果你对当前默认的对话模型不满意,可以在配置LLM页面选择其他模型。
额度查看
设置页面中,用户名字下方的用户类型和可用额度区域即可查看剩余额度。
默认模型
MiniTavern默认配置的模型是Grok主流模型。在配置LLM页面下方的可用模型列表中,右侧带有对号的模型即为当前选用模型。
倍率说明
由于成本问题,我们对每个模型进行了倍率的限制,在模型副标题中的(2x)即代表是每次请求会消耗2倍的请求额度。
添加自己的LLM
步骤 1: 进入配置 LLM 页面
- 点击底部导航栏的第三个Tab "设置"
- 选择 "配置LLM"
步骤 2: 选择 API 提供商
点击 "提供商" 下拉菜单,可选择的提供商包括:
- Nvidia
- OpenAI
- Anthropic
- Deepseek
- Tencent
- OpenRouter
- Other LLM(兼容了Ollama)
步骤 3: 输入 API 密钥
- 在 "API Key" 输入框中粘贴您的 API Key
步骤 4: 选择模型
- 选择提供商和输入API Key之后,点击 "Model" 下拉菜单即可加载可用模型列表;
- 推荐模型:
- deepseek:开源,消耗低
- gemini:效果好,消耗高
步骤 5: 测试连接
- 点击 "测试连接" 按钮
- 等待测试结果
- 成功:显示"API 连接测试成功"
- 失败:检查 API 密钥和网络连接
步骤 6: 保存设置
- 测试成功后,"保存设置" 按钮会变为可点击
- 点击保存以完成配置
调整模型的默认设置
步骤:在配置LLM页面切换默认设置选项卡
温度 (Temperature)
- 默认:1
- 范围:0-2
最大 Tokens (Max Tokens)
- 默认:4096
- 控制 AI 单次回复的最大长度
- 注意:值越大,消耗的 API 额度越多,不同的模型有不同的最长限制
启用流式传输
- 默认:关闭
- 开启后,AI 的回复会实时显示,而不是等待完整回复
注意
- 设置后,每次开启新对话,均会启用该默认设置
自定义 API 配置 (高级)
如果选择了 "其他 LLM":
输入 LLM URL
- 如:
https://api.openai.com/v1 - 必须是 OpenAI 兼容的 API 接口
自动获取模型列表
- 输入 API Key 和 URL 后
- 点击模型列表按钮后获取可用模型列表
隐私和安全
- API 密钥仅存储在您的设备本地
- 所有 API 请求都直接发送给您选择的 AI 服务提供商
注意
- 某些服务商会针对某些地理位置进行限制,例如Gemini Claude的模型访问针对某些特定国家增加了地理位置限制,如果你的 IP 被归入这类清单内,此服务将不可用