Skip to content

3.8 IA gratuite locale : KoboldCpp

KoboldCpp est un outil d’inférence locale qui charge des modèles GGUF et fournit une API compatible OpenAI. Après configuration, MiniTavern peut accéder aux modèles de votre PC via le réseau local, sans clé API cloud.

Note de version

  • MiniTavern iOS : fonctionne directement avec cette configuration.
  • MiniTavern Android : utilisez v1.5.0+. Les versions plus anciennes peuvent être limitées par la politique HTTP en clair d’Android 9.0+.

MiniTavern propose aussi une version achat unique sans abonnement ni publicité : MiniTavern Ultra. Si vous utilisez KoboldCpp sur le long terme, Ultra peut être un très bon choix mobile.


Configuration essentielle

Pour connecter MiniTavern à KoboldCpp, préparez :

  • IP hôte : souvent 192.168... ou 10... (ex. 192.168.1.75)
  • Port : 5001 par défaut (ou votre port réel)
  • Format Base URL : http://192.168.1.75:5001/v1

Important

  • Utilisez http (pas https)
  • L’URL doit inclure le port (généralement 5001)
  • L’URL doit se terminer par /v1 (chemin compatible OpenAI)

Exemple : http://192.168.1.75:5001/v1


Prérequis

  • Un PC avec KoboldCpp (Windows/macOS/Linux)
  • Téléphone et PC sur le même Wi-Fi
  • Un modèle de chat (.gguf) chargé dans KoboldCpp
  • Host défini sur 0.0.0.0 au démarrage (accès LAN)

Étapes

Préparation : comprendre trois adresses

La plupart des erreurs viennent d’une confusion entre :

NomExempleRôleAccessible depuis le téléphone
Adresse de bind0.0.0.0Écoute sur toutes les interfaces❌ Non directement
Adresse locale127.0.0.1Boucle locale du PC❌ Pas depuis un autre appareil
Adresse LAN192.168.1.75Accès depuis le réseau local✅ Oui

Étape 1 : démarrer KoboldCpp avec écoute LAN

  1. Dans l’interface KoboldCpp, mettez Host à 0.0.0.0.
  2. Utilisez le Port 5001 (ou votre port personnalisé).
  3. Chargez un modèle de chat puis démarrez le service.

Les logs affichent souvent 127.0.0.1. Cela ne suffit pas pour juger l’accès LAN ; utilisez l’étape 3.

Étape 2 : récupérer l’IP LAN du PC

Sur le PC qui exécute KoboldCpp, trouvez l’IPv4 :

  • macOS : Réglages Système → Réseau → Wi-Fi → Détails → TCP/IP → IPv4
  • Windows : ipconfig puis IPv4 de l’interface WLAN

Notez une adresse comme 192.168.1.75.

Étape 3 : faire deux vérifications de connectivité

Depuis le navigateur du téléphone (même Wi-Fi), ouvrez :

text
http://192.168.1.75:5001

Vérification 1 (Web UI) attendue : la page KoboldCpp s’ouvre.

Vérification 1 : Web UI KoboldCpp accessible

Puis ouvrez :

text
http://192.168.1.75:5001/v1/models

Vérification 2 (liste des modèles) attendue : JSON retourné.

Vérification 2 : /v1/models retourne une liste JSON

Si échec, vérifiez :

  • Host = 0.0.0.0
  • Même Wi-Fi (pas réseau invité)
  • URL avec :5001
  • Isolation AP désactivée sur le routeur

Étape 4 : configurer MiniTavern

  1. Ouvrez MiniTavern → ParamètresLLM SettingsConfigure LLM.
  2. Choisissez le fournisseur :
    • v1.4.x : Other LLM
    • v1.5.x+ : Personnalisé (protocole OpenAI)
  3. Saisissez la Base URL :
text
http://192.168.1.75:5001/v1
  1. API Key peut rester vide.
  2. Récupérez la liste des modèles, choisissez un modèle, testez puis enregistrez.

FAQ

Q : Le Web UI est accessible, mais MiniTavern ne récupère pas les modèles ?

R :

  • Sur Android, vérifier v1.5.0+ ;
  • Vérifier que l’URL contient :5001 et /v1 ;
  • Si besoin, mettre une clé factice comme local.

Q : Pourquoi http://0.0.0.0:5001 ne fonctionne pas ?

R : 0.0.0.0 est une adresse de bind, pas une adresse d’accès. Utilisez http://<votre-ip-lan>:5001.

Q : Les logs affichent 127.0.0.1, donc le LAN n’est pas actif ?

R : Pas forcément. Le vrai test est l’étape 3 : accès au Web UI et à /v1/models depuis le téléphone.


Ressources liées