Modelle · 5 Min. Lesezeit
Eigene Modelle
Binde ein selbst betriebenes oder privat bereitgestelltes Completion-Modell an Intric an und trage ein, was Intric darüber nicht wissen kann.
Ein eigenes Modell ist ein Modell, das Intric nicht selbst bereitstellt und das du selbst anbindest. Das kann ein Modell auf eurer eigenen Infrastruktur sein, eine private Bereitstellung bei einem Cloud-Anbieter oder das Modell eines Anbieters, der nicht im Katalog steht. Sobald es angebunden ist, wählen die Leute es genauso aus wie jedes andere Modell. Wo es sich nutzen lässt, entscheidet die Sicherheitsklassifizierung des Space.
Bevor du loslegst
Abschnitt betitelt „Bevor du loslegst“- Eigene Modelle müssen für eure Organisation freigeschaltet sein. Fehlt im Dialog Modell hinzufügen die Schaltfläche Eigenes hinzufügen, hat eure Organisation die Funktion noch nicht. Wende dich an Intric, um sie freischalten zu lassen. Eigene Modelle anlegen können nur Admins.
- Der Endpunkt muss die OpenAI Chat Completions API unterstützen. Das tun die meisten Server und Gateways für Self-Hosting, etwa vLLM, Ollama und LiteLLM.
- Halte drei Angaben deines Anbieters bereit: die Basis-URL, den exakten Modellnamen und einen API-Schlüssel, falls der Endpunkt einen verlangt.
Ein eigenes Modell hinzufügen
Abschnitt betitelt „Ein eigenes Modell hinzufügen“Eigenes Modell hinzufügen
- Öffne Admin → Platform → Modelle, wähle Modell hinzufügen und dann Eigenes hinzufügen.
- Modell benennen. Den Spitznamen sehen die Leute überall dort, wo sie ein Modell auswählen. Nimm also einen Namen, den sie wiedererkennen. Eine Vorschau zeigt dir, wie er in der Liste aussieht.
- Verbindung. Gib Basis-URL, Modellname und API-Schlüssel ein.
- Hosting-Standort. Wähle das Land oder die Region, in der das Modell läuft.
- Kontextfenster. Gib ein, wie viele Tokens das Modell auf einmal verarbeiten kann. Den Wert findest du in der Modelldokumentation deines Anbieters.
- Wähle Modell erstellen.
Intric legt das Modell an, fügt es sofort eurer Organisation hinzu und führt einen Verbindungstest durch. Danach zeigt das Panel alle Einstellungen des Modells, sodass du die Konfiguration direkt abschließen kannst, ohne es erneut zu öffnen.
Die Verbindungsfelder
Abschnitt betitelt „Die Verbindungsfelder“- Basis-URL: die Adresse, an die Intric die Anfragen schickt, bis einschließlich der API-Version, zum Beispiel
https://api.your-domain.com/v1. Den Rest des Pfads ergänzt Intric selbst, lass/chat/completionsalso weg. - Modellname: die exakte Modellkennung, die der Endpunkt in jeder Anfrage erwartet, zum Beispiel
vendor/model-latest. Sie weicht oft vom Spitznamen ab. - API-Schlüssel: Intric schickt ihn im
Authorization-Header mit und stellt automatischBearervoran. Einen gespeicherten Schlüssel zeigt Intric nie wieder an. Lässt du das Feld leer, bleibt der gespeicherte Schlüssel erhalten. Gibst du einen neuen ein, ersetzt er den alten.
Die Verbindung testen
Abschnitt betitelt „Die Verbindung testen“Der Test schickt mit den gespeicherten Einstellungen eine kurze, echte Anfrage an den Endpunkt. Er meldet Erfolg! oder Verbindung fehlgeschlagen und zeigt dazu den Fehler, den der Endpunkt zurückgegeben hat. Änderst du die Verbindungsfelder später, speichert Speichern & testen sie und startet den Test erneut.
Ein erfolgreicher Test bestätigt, dass Intric den Endpunkt erreicht und eine Antwort bekommt. Über die Qualität der Antworten sagt er nichts aus.
Was du nach dem Anlegen einstellst
Abschnitt betitelt „Was du nach dem Anlegen einstellst“Bei einem Modell aus dem Katalog kennt Intric Preis, Funktionen und Standort bereits. Bei einem eigenen Modell fehlen diese Angaben, du trägst sie also selbst ein:
- Beschreibung: der Tooltip, den die Leute sehen, wenn sie in einem Space oder Assistenten mit der Maus über den Modellnamen fahren. Außerdem steht sie auf der Modellkarte.
- Funktionen: das Kontextfenster, Vision-Unterstützung, wenn das Modell Bilder verarbeiten kann, und Tools aktivieren, wenn es Tool-Aufrufe unterstützt. Schalte Tools nur ein, wenn der Endpunkt Tool-Aufrufe wirklich beherrscht. Websuche, Integrationen und MCP-Tools hängen alle davon ab.
- Zusätzliche Parameter: ein JSON-Objekt, das Intric unverändert mit jeder Anfrage mitschickt, etwa
{"temperature": 0.2}oder eine Reasoning-Einstellung, die dein Server versteht. Lass das Feld leer, wenn nichts zusätzlich mitgehen soll. Die Schlüsselmodel,messages,stream,stream_options,tools,tool_choiceundnsetzt Intric selbst, du kannst sie hier also nicht verwenden. - Token-Kosten: der Preis pro Million Tokens für Input und Output sowie die Währung. Siehe Token-Kosten für eigene Modelle weiter unten.
- Leistung: die Werte des Modells für Geschwindigkeit und Intelligenz. Siehe Leistungswerte für eigene Modelle weiter unten.
- Hosting-Standort: erscheint neben dem Modell, damit die Leute sehen, wohin ihre Daten gehen. Er zählt auch bei Klassifizierungen, die die Verarbeitung auf bestimmte Regionen beschränken. Siehe Verarbeitungsregionen.
- Sicherheitsklassifizierung: welche Spaces das Modell nutzen dürfen. Stell die höchste Stufe ein, für die das Modell freigegeben ist. Auf allen niedrigeren Stufen steht es dann automatisch ebenfalls zur Verfügung. Siehe Modellklassifizierung.
Leistungswerte für eigene Modelle
Abschnitt betitelt „Leistungswerte für eigene Modelle“Du kannst ein eigenes Completion-Modell an einen Benchmark koppeln, den Intric synchronisiert hat. Seine Werte für Geschwindigkeit und Intelligenz stammen dann aus diesem Benchmark statt aus Zahlen, die jemand von Hand eingetragen hat, und bleiben stimmig, wenn sich der Benchmark ändert. Beim Hinzufügen schlägt Intric anhand des Modellnamens einen passenden Benchmark vor. Du kannst den Vorschlag übernehmen, einen anderen Benchmark wählen oder die Werte selbst eintragen.
Token-Kosten für eigene Modelle
Abschnitt betitelt „Token-Kosten für eigene Modelle“Was eigene Modelle von Katalogmodellen unterscheidet
Abschnitt betitelt „Was eigene Modelle von Katalogmodellen unterscheidet“- Kuratierte Optionen wählen nie ein eigenes Modell. Ein Assistent mit Ausgewogen, Schnell, Sparsam oder Klug läuft immer auf einem Katalogmodell. Willst du ein eigenes Modell nutzen, wähle es direkt über seinen Namen aus.
- Eigene Modelle hängen an keinem Unterauftragsverarbeiter. Intric kann nicht wissen, wer euren Endpunkt betreibt, und gibt das Modell deshalb nicht über die Unterauftragsverarbeiter frei oder sperrt es. Halte den Betreiber in eurer eigenen AVV-Dokumentation fest und steuere über Hosting-Standort und Sicherheitsklassifizierung, wo das Modell genutzt werden darf.
- Eigenes hinzufügen legt ein Completion-Modell an. Eigene Embedding-, Transkriptions- und Bildmodelle kannst du über diesen Dialog nicht anlegen.
Ein eigenes Modell bearbeiten und entfernen
Abschnitt betitelt „Ein eigenes Modell bearbeiten und entfernen“Öffne auf der Seite Modelle das Aktionsmenü eines eigenen Modells. Mit Modell bearbeiten änderst du beliebige Einstellungen, mit Entfernen löschst du das Modell.