3.8 Lokale kostenlose KI: KoboldCpp

KoboldCpp ist ein lokales Inferenz-Tool, das GGUF-Modelle lädt und eine OpenAI-kompatible API bereitstellt. Nach der Einrichtung kann MiniTavern über LAN auf Modelle auf deinem PC zugreifen – ohne Cloud-API-Key.

Versionshinweis

• MiniTavern iOS: funktioniert direkt mit dieser Konfiguration.
• MiniTavern Android: bitte v1.5.0+ verwenden. Auf älteren Versionen kann Android 9.0+ HTTP-Zugriffe in Apps blockieren.

MiniTavern bietet auch eine einmalige Kaufversion ohne Abo und ohne Werbung: MiniTavern Ultra. Wenn du KoboldCpp langfristig nutzt, ist Ultra eine gute mobile Option.

---

Kernkonfiguration

Für die Verbindung mit KoboldCpp brauchst du:

• Host-IP: meist 192.168... oder 10... (z. B. 192.168.1.75)
• Port: Standard 5001 (oder dein tatsächlicher Port)
• Base-URL-Format: http://192.168.1.75:5001/v1

Wichtig

• http verwenden (nicht https)
• Port muss in der URL enthalten sein (meist 5001)
• URL muss mit /v1 enden (OpenAI-kompatibler Pfad)

Beispiel: http://192.168.1.75:5001/v1

---

Voraussetzungen

• Ein PC mit laufendem KoboldCpp (Windows/macOS/Linux)
• Smartphone und PC im gleichen WLAN
• Ein geladenes Chat-Modell (.gguf)
• Host auf 0.0.0.0 gesetzt (LAN-Zugriff aktiviert)

---

Schritte

Vorbereitung: drei Adressen verstehen

Viele Verbindungsfehler entstehen durch Verwechslung:

Name	Beispiel	Bedeutung	Vom Handy erreichbar
Bind-Adresse	0.0.0.0	Lauscht auf allen Interfaces	❌ Nicht direkt
Localhost	127.0.0.1	Nur auf diesem PC	❌ Nicht von außen
LAN-Adresse	192.168.1.75	Zugriff im lokalen Netz	✅ Ja

Schritt 1: KoboldCpp mit LAN-Listening starten

1. In der KoboldCpp-GUI Host auf 0.0.0.0 setzen.
2. Port 5001 nutzen (oder eigenen Port).
3. Chat-Modell laden und Dienst starten.

Logs zeigen oft 127.0.0.1. Das allein sagt nichts über LAN-Freigabe aus. Maßgeblich ist Schritt 3.

Schritt 2: LAN-IP des PCs ermitteln

Auf dem PC mit KoboldCpp IPv4 prüfen:

• macOS: Systemeinstellungen → Netzwerk → Wi-Fi → Details → TCP/IP → IPv4
• Windows: ipconfig und WLAN-IPv4 prüfen

Adresse wie 192.168.1.75 notieren.

Schritt 3: zwei Verbindungsprüfungen durchführen

Im Handy-Browser (gleiches WLAN) öffnen:

http://192.168.1.75:5001

Check 1 (Web UI): KoboldCpp-Seite öffnet sich.

Danach öffnen:

http://192.168.1.75:5001/v1/models

Check 2 (Modellliste): JSON-Liste wird zurückgegeben.

Wenn es fehlschlägt, prüfen:

• Host ist 0.0.0.0
• Gleiches WLAN (kein Gastnetz)
• URL enthält :5001
• AP-Isolation im Router ist aus

Schritt 4: MiniTavern konfigurieren

1. MiniTavern → Einstellungen → LLM-Einstellungen → Configure LLM.
2. Anbieter wählen:
   • v1.4.x: Other LLM
   • v1.5.x+: Benutzerdefiniert (OpenAI-Protokoll)
3. Base URL eintragen:

http://192.168.1.75:5001/v1

4. API Key kann leer bleiben.
5. Modellliste abrufen, Modell wählen, Verbindung testen, speichern.

---

FAQ

Q: Web UI im Browser geht, aber MiniTavern lädt keine Modelle?

A:

• Auf Android Version v1.5.0+ prüfen;
• Sicherstellen, dass URL :5001 und /v1 enthält;
• Optional API Key als local setzen.

Q: Warum funktioniert http://0.0.0.0:5001 nicht?

A: 0.0.0.0 ist nur die Bind-Adresse, keine aufrufbare Adresse. Nutze http://<deine-lan-ip>:5001.

Q: Im Log steht 127.0.0.1. Ist LAN nicht aktiv?

A: Nicht zwingend. Entscheidend ist Schritt 3: Handy erreicht Web UI und /v1/models.

---

Verwandte Ressourcen

• KoboldCpp GitHub
• MiniTavern: Unterstützte KI-Dienstanbieter
• MiniTavern: API-Einstellungen (Erweitert)