Skip to content

3.8 IA local gratuita: KoboldCpp

KoboldCpp es una herramienta de inferencia local que carga modelos GGUF y ofrece una API compatible con OpenAI. Tras configurarlo, MiniTavern puede usar los modelos que corren en tu PC por LAN, sin API Key en la nube.

Nota de versión

  • MiniTavern para iOS: funciona directamente con esta configuración.
  • MiniTavern para Android: usa v1.5.0+. En versiones antiguas, Android 9.0+ puede bloquear HTTP en apps.

MiniTavern también ofrece una versión de pago único, sin suscripción y sin anuncios: MiniTavern Ultra. Si usas KoboldCpp a largo plazo, Ultra puede ser una gran opción móvil.


Configuración clave

Para conectar MiniTavern con KoboldCpp, prepara:

  • IP del host: normalmente empieza por 192.168 o 10. (ejemplo 192.168.1.75)
  • Puerto: 5001 por defecto (o el puerto que uses)
  • Formato de Base URL: http://192.168.1.75:5001/v1

Importante

  • Usa http (no https)
  • La URL debe incluir el puerto (normalmente 5001)
  • La URL debe terminar en /v1 (ruta compatible con OpenAI)

Ejemplo: http://192.168.1.75:5001/v1


Requisitos

  • Un PC ejecutando KoboldCpp (Windows/macOS/Linux)
  • Móvil y PC en el mismo Wi-Fi
  • Un modelo de chat (.gguf) cargado en KoboldCpp
  • Host configurado como 0.0.0.0 al iniciar (acceso por LAN)

Pasos

Preparación: entender tres direcciones

Muchos errores de conexión vienen de confundir:

NombreEjemploSignificadoAccesible desde el móvil
Dirección de enlace0.0.0.0Escucha en todas las interfaces❌ No directamente
Dirección local127.0.0.1Solo el propio PC❌ No desde otros dispositivos
Dirección LAN192.168.1.75Acceso desde la red local✅ Sí

Paso 1: iniciar KoboldCpp con escucha LAN

  1. En la GUI de KoboldCpp, pon Host en 0.0.0.0.
  2. Usa Port 5001 (o tu puerto personalizado).
  3. Carga un modelo de chat e inicia el servicio.

Los logs suelen mostrar 127.0.0.1. Eso no confirma ni niega LAN; usa la verificación del paso 3.

Paso 2: obtener la IP LAN del PC

En el PC que corre KoboldCpp, revisa IPv4:

  • macOS: Ajustes del sistema → Red → Wi-Fi → Detalles → TCP/IP → IPv4
  • Windows: ejecuta ipconfig y revisa IPv4 de WLAN

Anota una dirección como 192.168.1.75.

Paso 3: hacer dos validaciones de conectividad

Desde el navegador del móvil (en el mismo Wi-Fi), abre:

text
http://192.168.1.75:5001

Validación 1 (Web UI): se abre la página de KoboldCpp.

Validación 1: Web UI de KoboldCpp accesible

Luego abre:

text
http://192.168.1.75:5001/v1/models

Validación 2 (lista de modelos): devuelve JSON.

Validación 2: /v1/models devuelve JSON de modelos

Si falla, revisa:

  • Host = 0.0.0.0
  • Mismo Wi-Fi (no red de invitados)
  • URL incluye :5001
  • AP isolation desactivado en el router

Paso 4: configurar MiniTavern

  1. Abre MiniTavern → AjustesLLM SettingsConfigure LLM.
  2. Elige proveedor:
    • v1.4.x: Other LLM
    • v1.5.x+: Personalizado (protocolo OpenAI)
  3. En Base URL escribe:
text
http://192.168.1.75:5001/v1
  1. API Key puede quedar vacía.
  2. Obtén la lista de modelos, elige uno, prueba conexión y guarda.

Preguntas frecuentes

Q: El Web UI abre, pero MiniTavern no obtiene modelos.

A:

  • En Android confirma v1.5.0+;
  • Verifica que la URL tenga :5001 y /v1;
  • Si hace falta, usa una clave de relleno como local.

Q: ¿Por qué no funciona http://0.0.0.0:5001?

A: 0.0.0.0 es dirección de enlace, no de acceso. Debes usar http://<tu-ip-lan>:5001.

Q: En logs aparece 127.0.0.1, ¿LAN no está activo?

A: No necesariamente. Lo correcto es validar el paso 3 desde el móvil.


Recursos relacionados