MiniTavern Tutorial

Deutsch

English
简体中文
繁體中文
Français
Español
Русский
日本語

Deutsch

English
简体中文
繁體中文
Français
Español
Русский
日本語

Appearance

3.6 Lokale kostenlose KI: Ollama ​

Ollama ist ein kostenloses Tool, das das lokale Ausführen von KI-Modellen unterstützt. Mit Ollama können Sie KI völlig kostenlos und offline nutzen, ohne einen API Key zu kaufen. Alternativ können Sie einen Ollama-Abonnementplan nutzen und so von größerer Modell-Rechenleistung mit hohen bzw. unbegrenzten Anfragelimits profitieren.

Kern-Konfigurationsinformationen ​

Bei der Konfiguration von Ollama müssen Sie die folgenden Kerninformationen finden:

  • Host-IP-Adresse: Beginnt normalerweise mit 192.168 (z.B. 192.168.1.2)
  • Base URL Format: http://192.168.1.2:11434/api

Wichtiger Hinweis

  • Muss http-Protokoll verwenden (nicht https)
  • Muss Port 11434 verwenden
  • Muss am Ende /api hinzufügen

Beispiel: http://192.168.1.2:11434/api (wobei 192.168.1.2 die IP Ihres Computers ist)

Schritte (macOS Beispiel) ​

Schritt 1: Ollama herunterladen und installieren ​

Besuchen Sie https://ollama.com, um Ollama herunterzuladen und zu installieren

Ollama herunterladen und installieren

Schritt 2: Modell herunterladen ​

Öffnen Sie das Terminal und laden Sie ein kleines Modell zum Testen herunter (z.B. deepseek-r1:1.5b, etwa 1GB):

bash
ollama pull deepseek-r1:1.5b

Modell herunterladen

Schritt 3: Modell ausführen ​

Nach Abschluss des Downloads führen Sie das Modell aus:

bash
ollama serve
ollama run deepseek-r1:1.5b

Der erste Start wird langsamer sein, danach können Sie direkt im Terminal mit dem Modell zum Testen chatten

Modell ausführen

Schritt 4: LAN-Zugriff aktivieren ​

Aktivieren Sie den LAN-Zugriff in den Ollama-Einstellungen, um dem Telefon den Zugriff auf Ollama auf Ihrem Computer zu ermöglichen

LAN-Zugriff aktivieren

Warum ist das erforderlich?

  • MiniTavern läuft auf dem Telefon und muss über LAN auf Ollama auf dem Computer zugreifen
  • Standardmäßig erlaubt Ollama nur lokalen Zugriff
  • Nach der Aktivierung können Geräte im selben Wi-Fi darauf zugreifen

Wenn Sie die Kommandozeile bevorzugen und die Ollama-GUI-App nicht installiert haben, können Sie die Client-Einstellung in diesem Schritt überspringen und unten LAN-Zugriff per CLI aktivieren (0.0.0.0) folgen.

Schritt 5: Computer-IP-Adresse abrufen ​

Überprüfen Sie die IP-Adresse Ihres Computers in den Systemeinstellungen (beginnt normalerweise mit 192.168)

Computer-IP-Adresse abrufen

macOS IP-Überprüfungsmethode:

Systemeinstellungen → Netzwerk → Wi-Fi → Details → TCP/IP → IPv4-Adresse

Oder verwenden Sie den Terminal-Befehl:

bash
ifconfig | grep "inet " | grep -v 127.0.0.1

Schritt 6: In MiniTavern konfigurieren ​

Ollama Konfigurationsübersicht

6.1 Other LLM Anbieter auswählen ​

Öffnen Sie MiniTavern → Einstellungen → LLM-Einstellungen → AI-Anbieter → Wählen Sie Other

Other LLM Anbieter auswählen

6.2 Ollama Base URL eingeben ​

Geben Sie Ollama Base URL ein: http://your-computer-IP:11434/api

Beispiel: http://192.168.1.2:11434/api

Wichtiger Hinweis

  • Muss http verwenden (nicht https)
  • Port muss 11434 sein
  • Muss am Ende /api hinzufügen

Klicken Sie auf Modellliste abrufen

Ollama Base URL eingeben

6.3 Verbindung testen ​

Nach Auswahl des Modells klicken Sie auf Verbindung testen, um zu überprüfen, ob die Konfiguration korrekt ist

Verbindung testen

Wenn keine Verbindung möglich ist:

  • Überprüfen Sie, ob Ollama läuft
  • Bestätigen Sie, dass die IP-Adresse korrekt ist
  • Stellen Sie sicher, dass Telefon und Computer im selben Wi-Fi sind
  • Überprüfen Sie, ob das Base URL-Format korrekt ist

6.4 Hinzufügen abgeschlossen ​

Nach erfolgreichem Test klicken Sie auf Speichern, Modellhinzufügung abgeschlossen

Hinzufügen abgeschlossen

Ollama mit Brew installieren ​

bash
brew install ollama

LAN-Zugriff per CLI aktivieren (0.0.0.0) ​

Dieser Abschnitt zeigt am Beispiel von macOS, wie Sie die Listen-Adresse von Ollama per Kommandozeile auf 0.0.0.0 setzen—entspricht Expose to the Network im Client.

  1. Wenn Sie die Ollama-App nicht installiert haben und nur die CLI mit brew install ollama eingerichtet haben, teilt der Standardstart den Modellzugriff nur auf diesem Computer und lauscht auf 127.0.0.1. Diese Adresse ist von anderen Geräten im LAN nicht erreichbar.
  2. Stoppen Sie den aktuellen Dienst mit pkill ollama und starten Sie serve erneut gebunden an 0.0.0.0.
  3. Wenn Sie die Ollama-App zuvor heruntergeladen und automatisch gestartet haben und sie noch im Hintergrund läuft, beenden Sie die App vollständig, bevor Sie fortfahren—sonst erscheint die Meldung, dass der Port bereits belegt ist.
  4. Führen Sie anschließend aus:
bash
OLLAMA_HOST=0.0.0.0:11434 ollama serve

Damit starten Sie einen lokalen Serve, der im LAN erreichbar ist. In MiniTavern verwenden Sie weiterhin die LAN-IP Ihres Computers als Base URL, z. B.: http://192.168.1.2:11434/api.

Häufige Ollama-Befehle ​

bash
# Alle heruntergeladenen Modelle anzeigen
ollama list

# Tutorial-Beispielmodell herunterladen
ollama pull deepseek-r1:1.5b

# Ollama-Dienst starten (nur localhost 127.0.0.1)
ollama serve

# Ollama-Dienst starten und im LAN bereitstellen (0.0.0.0)
OLLAMA_HOST=0.0.0.0:11434 ollama serve

# Angegebenes Modell in neuem Prozess ausführen
ollama run deepseek-r1:1.5b

# Ollama-Dienst stoppen
pkill ollama
# Oder Ctrl + C bei Vordergrundausführung

FAQ ​

F: Schlechte Gesprächsqualität? ​

A:

  • Versuchen Sie größere Modelle zu verwenden (7B oder höher)
  • Versuchen Sie verschiedene Charakterkarten

Verwandte Ressourcen ​