2.2 Настройка LLM (Расширенная)
По умолчанию настройка не требуется. Вы можете отдельно настроить более мощные модели для удовлетворения более личных предпочтений.
MiniTavern в настоящее время в основном использует классификацию LLM (Large Language Model), поэтому на странице Настройки это называется Настройка LLM.
Доступна конфигурация по умолчанию без настройки
MiniTavern в настоящее время предоставляет бесплатную квоту и модели, настроенные по умолчанию для новых пользователей.
Теперь вы можете начинать разговоры без настройки LLM, просто импортируйте карточки персонажей. Если вы не удовлетворены текущей моделью разговора по умолчанию, вы можете выбрать другие модели на странице Настройка LLM.
Проверка квоты
На странице настроек вы можете проверить оставшуюся квоту в типе пользователя и области доступной квоты под именем пользователя.
Модель по умолчанию
Модель по умолчанию, настроенная MiniTavern, — это основная модель Grok. В списке доступных моделей внизу страницы Настройка LLM модель с галочкой справа — это текущая выбранная модель.
Объяснение тарифов
Из-за проблем с затратами мы установили ограничения тарифов для каждой модели. (2x) в подзаголовке модели означает, что каждый запрос будет потреблять 2x квоты запроса.
Добавить свой собственный LLM
Шаг 1: Войти на страницу Настройка LLM
- Нажмите на третью вкладку "Настройки" на нижней панели навигации
- Выберите "Настройка LLM"
Шаг 2: Выбрать провайдера API
Нажмите на выпадающее меню "Провайдер", доступные провайдеры включают:
- Nvidia
- OpenAI
- Anthropic
- Deepseek
- Tencent
- OpenRouter
- Other LLM (совместим с Ollama)
Шаг 3: Ввести ключ API
- Вставьте свой ключ API в поле ввода "API Key"
Шаг 4: Выбрать модель
- После выбора провайдера и ввода ключа API нажмите на выпадающее меню "Модель", чтобы загрузить список доступных моделей
- Рекомендуемые модели:
- deepseek: Открытый исходный код, низкое потребление
- gemini: Хорошие результаты, высокое потребление
Шаг 5: Проверить соединение
- Нажмите кнопку "Проверить соединение"
- Дождитесь результатов теста
- Успех: Показывает "Тест соединения API успешен"
- Неудача: Проверьте ключ API и сетевое соединение
Шаг 6: Сохранить настройки
- После успешного теста кнопка "Сохранить настройки" становится кликабельной
- Нажмите сохранить, чтобы завершить настройку
Настройка параметров модели по умолчанию
Шаг: Переключиться на вкладку Настройки по умолчанию на странице Настройка LLM
Temperature
- По умолчанию: 1
- Диапазон: 0-2
Max Tokens
- По умолчанию: 4096
- Контролирует максимальную длину одного ответа ИИ
- Примечание: Более высокие значения потребляют больше квоты API, разные модели имеют разные максимальные ограничения
Включить потоковую передачу
- По умолчанию: Выключено
- При включении ответы ИИ отображаются в режиме реального времени вместо ожидания полного ответа
Примечание
- После настройки каждый раз, когда вы начинаете новый разговор, эти настройки по умолчанию будут включены
Пользовательская конфигурация API (Расширенная)
Если вы выбрали "Other LLM":
Ввести URL LLM
- Например:
https://api.openai.com/v1 - Должен быть интерфейс API, совместимый с OpenAI
Автоматическое получение списка моделей
- После ввода ключа API и URL
- Нажмите кнопку списка моделей, чтобы получить список доступных моделей
Конфиденциальность и безопасность
- Ключи API хранятся только локально на вашем устройстве
- Все запросы API отправляются напрямую выбранному вами провайдеру услуг ИИ
Примечание
- Некоторые поставщики услуг ограничивают определенные географические местоположения. Например, доступ к моделям Gemini и Claude имеет географические ограничения для определенных стран. Если ваш IP находится в этом списке, услуга будет недоступна