Zum Inhalt springen
Service status

Tippen, um zu suchen

Modelle · 5 Min. Lesezeit

Eigene Modelle

Binde ein selbst betriebenes oder privat bereitgestelltes Completion-Modell an Intric an und trage ein, was Intric darüber nicht wissen kann.

Ein eigenes Modell ist ein Modell, das Intric nicht selbst bereitstellt und das du selbst anbindest. Das kann ein Modell auf eurer eigenen Infrastruktur sein, eine private Bereitstellung bei einem Cloud-Anbieter oder das Modell eines Anbieters, der nicht im Katalog steht. Sobald es angebunden ist, wählen die Leute es genauso aus wie jedes andere Modell. Wo es sich nutzen lässt, entscheidet die Sicherheitsklassifizierung des Space.

  • Eigene Modelle müssen für eure Organisation freigeschaltet sein. Fehlt im Dialog Modell hinzufügen die Schaltfläche Eigenes hinzufügen, hat eure Organisation die Funktion noch nicht. Wende dich an Intric, um sie freischalten zu lassen. Eigene Modelle anlegen können nur Admins.
  • Der Endpunkt muss die OpenAI Chat Completions API unterstützen. Das tun die meisten Server und Gateways für Self-Hosting, etwa vLLM, Ollama und LiteLLM.
  • Halte drei Angaben deines Anbieters bereit: die Basis-URL, den exakten Modellnamen und einen API-Schlüssel, falls der Endpunkt einen verlangt.

Eigenes Modell hinzufügen

  1. Öffne Admin → Platform → Modelle, wähle Modell hinzufügen und dann Eigenes hinzufügen.
  2. Modell benennen. Den Spitznamen sehen die Leute überall dort, wo sie ein Modell auswählen. Nimm also einen Namen, den sie wiedererkennen. Eine Vorschau zeigt dir, wie er in der Liste aussieht.
  3. Verbindung. Gib Basis-URL, Modellname und API-Schlüssel ein.
  4. Hosting-Standort. Wähle das Land oder die Region, in der das Modell läuft.
  5. Kontextfenster. Gib ein, wie viele Tokens das Modell auf einmal verarbeiten kann. Den Wert findest du in der Modelldokumentation deines Anbieters.
  6. Wähle Modell erstellen.

Intric legt das Modell an, fügt es sofort eurer Organisation hinzu und führt einen Verbindungstest durch. Danach zeigt das Panel alle Einstellungen des Modells, sodass du die Konfiguration direkt abschließen kannst, ohne es erneut zu öffnen.

  • Basis-URL: die Adresse, an die Intric die Anfragen schickt, bis einschließlich der API-Version, zum Beispiel https://api.your-domain.com/v1. Den Rest des Pfads ergänzt Intric selbst, lass /chat/completions also weg.
  • Modellname: die exakte Modellkennung, die der Endpunkt in jeder Anfrage erwartet, zum Beispiel vendor/model-latest. Sie weicht oft vom Spitznamen ab.
  • API-Schlüssel: Intric schickt ihn im Authorization-Header mit und stellt automatisch Bearer voran. Einen gespeicherten Schlüssel zeigt Intric nie wieder an. Lässt du das Feld leer, bleibt der gespeicherte Schlüssel erhalten. Gibst du einen neuen ein, ersetzt er den alten.

Der Test schickt mit den gespeicherten Einstellungen eine kurze, echte Anfrage an den Endpunkt. Er meldet Erfolg! oder Verbindung fehlgeschlagen und zeigt dazu den Fehler, den der Endpunkt zurückgegeben hat. Änderst du die Verbindungsfelder später, speichert Speichern & testen sie und startet den Test erneut.

Ein erfolgreicher Test bestätigt, dass Intric den Endpunkt erreicht und eine Antwort bekommt. Über die Qualität der Antworten sagt er nichts aus.

Bei einem Modell aus dem Katalog kennt Intric Preis, Funktionen und Standort bereits. Bei einem eigenen Modell fehlen diese Angaben, du trägst sie also selbst ein:

  • Beschreibung: der Tooltip, den die Leute sehen, wenn sie in einem Space oder Assistenten mit der Maus über den Modellnamen fahren. Außerdem steht sie auf der Modellkarte.
  • Funktionen: das Kontextfenster, Vision-Unterstützung, wenn das Modell Bilder verarbeiten kann, und Tools aktivieren, wenn es Tool-Aufrufe unterstützt. Schalte Tools nur ein, wenn der Endpunkt Tool-Aufrufe wirklich beherrscht. Websuche, Integrationen und MCP-Tools hängen alle davon ab.
  • Zusätzliche Parameter: ein JSON-Objekt, das Intric unverändert mit jeder Anfrage mitschickt, etwa {"temperature": 0.2} oder eine Reasoning-Einstellung, die dein Server versteht. Lass das Feld leer, wenn nichts zusätzlich mitgehen soll. Die Schlüssel model, messages, stream, stream_options, tools, tool_choice und n setzt Intric selbst, du kannst sie hier also nicht verwenden.
  • Token-Kosten: der Preis pro Million Tokens für Input und Output sowie die Währung. Siehe Token-Kosten für eigene Modelle weiter unten.
  • Leistung: die Werte des Modells für Geschwindigkeit und Intelligenz. Siehe Leistungswerte für eigene Modelle weiter unten.
  • Hosting-Standort: erscheint neben dem Modell, damit die Leute sehen, wohin ihre Daten gehen. Er zählt auch bei Klassifizierungen, die die Verarbeitung auf bestimmte Regionen beschränken. Siehe Verarbeitungsregionen.
  • Sicherheitsklassifizierung: welche Spaces das Modell nutzen dürfen. Stell die höchste Stufe ein, für die das Modell freigegeben ist. Auf allen niedrigeren Stufen steht es dann automatisch ebenfalls zur Verfügung. Siehe Modellklassifizierung.

Du kannst ein eigenes Completion-Modell an einen Benchmark koppeln, den Intric synchronisiert hat. Seine Werte für Geschwindigkeit und Intelligenz stammen dann aus diesem Benchmark statt aus Zahlen, die jemand von Hand eingetragen hat, und bleiben stimmig, wenn sich der Benchmark ändert. Beim Hinzufügen schlägt Intric anhand des Modellnamens einen passenden Benchmark vor. Du kannst den Vorschlag übernehmen, einen anderen Benchmark wählen oder die Werte selbst eintragen.

Was eigene Modelle von Katalogmodellen unterscheidet

Abschnitt betitelt „Was eigene Modelle von Katalogmodellen unterscheidet“
  • Kuratierte Optionen wählen nie ein eigenes Modell. Ein Assistent mit Ausgewogen, Schnell, Sparsam oder Klug läuft immer auf einem Katalogmodell. Willst du ein eigenes Modell nutzen, wähle es direkt über seinen Namen aus.
  • Eigene Modelle hängen an keinem Unterauftragsverarbeiter. Intric kann nicht wissen, wer euren Endpunkt betreibt, und gibt das Modell deshalb nicht über die Unterauftragsverarbeiter frei oder sperrt es. Halte den Betreiber in eurer eigenen AVV-Dokumentation fest und steuere über Hosting-Standort und Sicherheitsklassifizierung, wo das Modell genutzt werden darf.
  • Eigenes hinzufügen legt ein Completion-Modell an. Eigene Embedding-, Transkriptions- und Bildmodelle kannst du über diesen Dialog nicht anlegen.

Öffne auf der Seite Modelle das Aktionsmenü eines eigenen Modells. Mit Modell bearbeiten änderst du beliebige Einstellungen, mit Entfernen löschst du das Modell.