2.2 LLM konfigurieren (Fortgeschritten)

Standardmäßig ist keine Konfiguration erforderlich. Sie können leistungsstärkere Modelle separat konfigurieren, um persönlichere Präferenzen zu erfüllen.

MiniTavern verwendet derzeit hauptsächlich die LLM (Large Language Model)-Klassifizierung, daher heißt es auf der Einstellungen-Seite LLM konfigurieren.

Standard-Nullkonfiguration verfügbar

MiniTavern bietet derzeit kostenloses Kontingent und standardmäßig konfigurierte Modelle für neue Benutzer.

Jetzt können Sie Gespräche beginnen, ohne LLM zu konfigurieren, importieren Sie einfach Charakterkarten. Wenn Sie mit dem aktuellen Standard-Gesprächsmodell nicht zufrieden sind, können Sie andere Modelle auf der LLM konfigurieren-Seite auswählen.

Kontingent prüfen

Auf der Einstellungsseite können Sie das verbleibende Kontingent im Benutzertyp und im verfügbaren Kontingentbereich unter dem Benutzernamen überprüfen.

Standardmodell

Das von MiniTavern standardmäßig konfigurierte Modell ist das Grok-Mainstream-Modell. In der verfügbaren Modellliste am unteren Rand der LLM-Konfigurationsseite ist das Modell mit einem Häkchen rechts das aktuell ausgewählte Modell.

Tarif-Erklärung

Aufgrund von Kostenproblemen haben wir Tarifgrenzen für jedes Modell festgelegt. Das (2x) im Modell-Untertitel bedeutet, dass jede Anfrage das 2-fache des Anfragekontingents verbraucht.

Eigenes LLM hinzufügen

Schritt 1: LLM-Konfigurationsseite aufrufen

• Klicken Sie auf die dritte Registerkarte "Einstellungen" in der unteren Navigationsleiste
• Wählen Sie "LLM konfigurieren"

Schritt 2: API-Anbieter auswählen

Klicken Sie auf das Dropdown-Menü "Anbieter", verfügbare Anbieter umfassen:

• Nvidia
• OpenAI
• Anthropic
• Google
• Deepseek
• Tencent
• OpenRouter
• Other LLM (kompatibel mit Ollama)

Schritt 3: API Key eingeben

• Fügen Sie Ihren API Key in das Eingabefeld "API Key" ein

Schritt 4: Modell auswählen

• Nach Auswahl des Anbieters und Eingabe des API Key klicken Sie auf das Dropdown-Menü "Modell", um die verfügbare Modellliste zu laden
• Empfohlene Modelle:
  • deepseek: Open Source, geringer Verbrauch
  • gemini: Gute Ergebnisse, hoher Verbrauch

Schritt 5: Verbindung testen

• Klicken Sie auf die Schaltfläche "Verbindung testen"
• Warten Sie auf Testergebnisse
• Erfolg: Zeigt "API-Verbindungstest erfolgreich"
• Fehler: Überprüfen Sie API Key und Netzwerkverbindung

Schritt 6: Einstellungen speichern

• Nach erfolgreichem Test wird die Schaltfläche "Einstellungen speichern" anklickbar
• Klicken Sie auf Speichern, um die Konfiguration abzuschließen

Modell-Standardeinstellungen anpassen

Schritt: Zur Registerkarte Standardeinstellungen auf der LLM-Konfigurationsseite wechseln

Temperature

• Standard: 1
• Bereich: 0-2

Max Tokens

• Standard: 4096
• Steuert die maximale Länge der KI-Einzelantwort
• Hinweis: Höhere Werte verbrauchen mehr API-Kontingent, verschiedene Modelle haben unterschiedliche Maximalgrenzen

Streaming aktivieren

• Standard: Aus
• Wenn aktiviert, werden KI-Antworten in Echtzeit angezeigt, anstatt auf die vollständige Antwort zu warten

Hinweis

• Nach der Einstellung werden diese Standardeinstellungen bei jedem Start eines neuen Gesprächs aktiviert

Benutzerdefinierte API-Konfiguration (Fortgeschritten)

Wenn Sie "Other LLM" ausgewählt haben:

LLM URL eingeben

• Z.B.: https://api.openai.com/v1
• Muss eine OpenAI-kompatible API-Schnittstelle sein

Modellliste automatisch abrufen

• Nach Eingabe von API Key und URL
• Klicken Sie auf die Modelllisten-Schaltfläche, um die verfügbare Modellliste abzurufen

Datenschutz und Sicherheit

• API-Keys werden nur lokal auf Ihrem Gerät gespeichert
• Alle API-Anfragen werden direkt an Ihren gewählten KI-Dienstanbieter gesendet

Hinweis

• Einige Dienstanbieter beschränken bestimmte geografische Standorte. Zum Beispiel haben Gemini und Claude Modellzugriff geografische Beschränkungen für bestimmte Länder. Wenn Ihre IP auf dieser Liste steht, ist der Dienst nicht verfügbar