3.8 Локальный бесплатный ИИ: KoboldCpp

KoboldCpp — инструмент локального инференса, который загружает GGUF-модели и предоставляет API, совместимый с OpenAI. После настройки MiniTavern сможет обращаться к модели на вашем ПК по локальной сети без облачного API Key.

Примечание по версиям

• MiniTavern на iOS: работает с настройками из этой статьи.
• MiniTavern на Android: рекомендуется v1.5.0+. На более старых версиях Android 9.0+ может блокировать HTTP-запросы приложений.

MiniTavern также имеет версию с разовой покупкой, без подписки и без рекламы: MiniTavern Ultra. Если вы часто используете KoboldCpp, Ultra может быть удобным мобильным вариантом.

---

Основные параметры

Для подключения MiniTavern к KoboldCpp подготовьте:

• IP хоста: обычно начинается с 192.168 или 10. (например 192.168.1.75)
• Порт: по умолчанию 5001 (или ваш фактический порт)
• Формат Base URL: http://192.168.1.75:5001/v1

Важно

• Используйте http (не https)
• В URL должен быть указан порт (обычно 5001)
• В конце URL обязательно /v1 (OpenAI-совместимый путь)

Пример: http://192.168.1.75:5001/v1

---

Требования

• Компьютер с запущенным KoboldCpp (Windows/macOS/Linux)
• Телефон и компьютер в одной Wi-Fi сети
• В KoboldCpp загружена чат-модель (.gguf)
• При запуске Host установлен в 0.0.0.0 (доступ по LAN)

---

Шаги

Подготовка: три важных адреса

Большинство ошибок вызваны путаницей адресов:

Название	Пример	Назначение	Доступ с телефона
Адрес привязки	0.0.0.0	Слушать все сетевые интерфейсы	❌ Нельзя открыть напрямую
Локальный адрес	127.0.0.1	Только этот ПК	❌ С других устройств недоступен
LAN-адрес	192.168.1.75	Доступ из локальной сети	✅ Да

Шаг 1: запуск KoboldCpp с доступом по LAN

1. В GUI KoboldCpp установите Host = 0.0.0.0.
2. Используйте Port 5001 (или ваш кастомный).
3. Загрузите чат-модель и запустите сервис.

В логах часто отображается 127.0.0.1. Это само по себе не показывает реальный LAN-статус. Проверяйте по шагу 3.

Шаг 2: узнать LAN-IP компьютера

На компьютере с KoboldCpp найдите IPv4:

• macOS: Настройки системы → Сеть → Wi-Fi → Подробнее → TCP/IP → IPv4
• Windows: выполните ipconfig и смотрите IPv4 для WLAN

Запишите адрес вроде 192.168.1.75.

Шаг 3: выполнить две проверки подключения

В браузере телефона (в той же Wi-Fi сети) откройте:

http://192.168.1.75:5001

Проверка 1 (Web UI): страница KoboldCpp открывается.

Далее откройте:

http://192.168.1.75:5001/v1/models

Проверка 2 (список моделей): возвращается JSON.

Если не работает, проверьте:

• Host равен 0.0.0.0
• Телефон и ПК в одной Wi-Fi сети (не гостевой)
• В URL указан :5001
• На роутере отключена AP isolation

Шаг 4: настройка MiniTavern

1. Откройте MiniTavern → Настройки → LLM Settings → Configure LLM.
2. Выберите провайдера:
   • v1.4.x: Other LLM
   • v1.5.x+: Пользовательский (OpenAI protocol)
3. Введите Base URL:

http://192.168.1.75:5001/v1

4. API Key можно оставить пустым.
5. Получите список моделей, выберите модель, протестируйте и сохраните.

---

FAQ

Q: Web UI открывается, но MiniTavern не получает список моделей?

A:

• На Android проверьте версию v1.5.0+;
• Убедитесь, что URL содержит :5001 и /v1;
• При необходимости укажите ключ-заглушку local.

Q: Почему нельзя открыть http://0.0.0.0:5001?

A: 0.0.0.0 — это адрес привязки, а не адрес доступа. Используйте http://<ваш-lan-ip>:5001.

Q: В логах 127.0.0.1. Значит LAN не работает?

A: Не обязательно. Надёжный критерий — успешные проверки из шага 3.

---

Связанные ресурсы

• KoboldCpp GitHub
• MiniTavern: Поддерживаемые AI-провайдеры
• MiniTavern: Настройки API (продвинутый)