Modeller · 5 min läsning

Egna modeller

Anslut en egen eller privat driftsatt genereringsmodell till Intric och fyll i det som Intric inte kan veta om den.

En egen modell är en modell som Intric inte tillhandahåller och som du ansluter själv. Det kan vara en modell som du kör på egen infrastruktur, en privat driftsättning hos en molnleverantör eller en leverantör som inte finns i katalogen. När modellen väl är ansluten väljer användarna den precis som vilken annan modell som helst, och säkerhetsklassificeringen i varje Space avgör var den går att använda.

Innan du börjar

Egna modeller måste vara aktiverade för din organisation. Saknas knappen Lägg till egen i dialogrutan Lägg till en modell har din organisation inte tillgång till funktionen än. Kontakta Intric för att få den aktiverad. Bara en Admin kan skapa egna modeller.
Slutpunkten måste ha stöd för OpenAI:s Chat Completions API. De flesta servrar och gatewayer för egen hosting har det, till exempel vLLM, Ollama och LiteLLM.
Ha tre uppgifter från din leverantör till hands: bas-URL:en, det exakta modellnamnet och en API-nyckel, om slutpunkten kräver en.

Lägg till en egen modell

Gå till Admin → Platform → Modeller, välj Lägg till modell och sedan Lägg till egen.
Namnge modellen. Smeknamnet är det användarna ser överallt där de väljer modell, så välj ett namn som de känner igen. En förhandsvisning visar hur modellen kommer att se ut i listan.
Anslutning. Fyll i Bas-URL, Modellnamn och API-nyckel.
Hosting-plats. Välj landet eller regionen där modellen körs.
Kontextfönster. Ange hur många tokens modellen kan hantera på en gång. Uppgiften hittar du i leverantörens dokumentation för modellen.
Välj Skapa modell.

Intric skapar modellen, lägger direkt till den i organisationen och testar anslutningen. Panelen växlar sedan till modellens samtliga inställningar, så att du kan konfigurera klart utan att öppna modellen igen.

Anslutningsfälten

Bas-URL — adressen som Intric skickar anropen till, till och med API-versionen, till exempel https://api.your-domain.com/v1. Resten av sökvägen lägger Intric till själv, så ta inte med /chat/completions.
Modellnamn — den exakta modellidentifierare som slutpunkten förväntar sig i varje anrop, till exempel vendor/model-latest. Den skiljer sig ofta från smeknamnet.
API-nyckel — Intric skickar nyckeln i en Authorization-header och sätter automatiskt Bearer framför. När du väl har sparat en nyckel visar Intric den aldrig igen. Lämna fältet tomt om du vill behålla den sparade nyckeln, eller fyll i en ny för att byta ut den.

Testa anslutningen

Testet skickar ett kort, skarpt anrop till slutpunkten med de sparade inställningarna. Resultatet blir Framgång! eller Anslutning misslyckades, och då även felet som slutpunkten svarade med. Ändrar du anslutningsfälten senare sparar Spara och testa ändringarna och kör testet en gång till.

Ett lyckat test bekräftar att Intric når slutpunkten och får svar. Om kvaliteten på svaren säger testet ingenting.

Inställningar att fylla i efteråt

För en modell ur katalogen känner Intric redan till priset, förmågorna och var modellen körs. För en egen modell saknar Intric de uppgifterna, så dem fyller du i själv:

Beskrivning — hjälptexten som användarna ser när de håller muspekaren över modellnamnet i ett Space eller en assistent, och på modellkortet.
Funktioner — kontextfönstret, Vision-stöd om modellen tar emot bilder och Aktivera verktyg om den klarar verktygsanrop. Slå bara på verktyg om slutpunkten verkligen hanterar verktygsanrop, eftersom webbsökning, integrationer och MCP-verktyg bygger på dem.
Extra parametrar — ett JSON-objekt som Intric skickar med oförändrat i varje anrop, till exempel {"temperature": 0.2} eller en reasoning-inställning som din server förstår. Lämna fältet tomt om du inte vill skicka med något extra. Nycklarna model, messages, stream, stream_options, tools, tool_choice och n sätter Intric själv, så dem kan du inte använda här.
Tokenkostnad — priset per miljon tokens för indata respektive utdata, och valutan. Se Tokenkostnad för egna modeller längre ned.
Prestanda — modellens betyg för hastighet och intelligens. Se Betyg för egna modeller längre ned.
Hosting-plats — Intric visar platsen bredvid modellen, så att användarna ser vart deras data tar vägen. Platsen har också betydelse för klassificeringar som begränsar behandlingen till vissa regioner. Läs mer i Behandlingsregioner.
Säkerhetsklassificering — vilka Spaces som får använda modellen. Ange den högsta nivå som modellen är godkänd för, så blir den automatiskt tillgänglig på alla lägre nivåer också. Läs mer i Klassificering av modeller.

Betyg för egna modeller

Du kan koppla en egen genereringsmodell till en benchmark som Intric har synkat. Modellens betyg för hastighet och intelligens följer då benchmarken i stället för siffror som någon har knappat in för hand, och betygen stämmer även när benchmarken får nya värden. När du lägger till modellen föreslår Intric en matchande benchmark utifrån modellens namn. Godkänn förslaget, välj en annan benchmark eller fyll i siffrorna manuellt.

Tokenkostnad för egna modeller

Så skiljer sig egna modeller från katalogmodeller

De kurerade valen väljer aldrig en egen modell. En assistent som följer Balanserad, Snabb, Ekonomisk eller Smart kör alltid på en modell ur katalogen. Vill du använda en egen modell väljer du den med namn.
Egna modeller är inte knutna till något underbiträde. Intric kan inte veta vem som driver din slutpunkt och spärrar därför inte modellen via Underbiträden. Dokumentera vem som driver slutpunkten i din organisations egen dokumentation för personuppgiftsbiträdesavtal, och styr var modellen är tillåten med hosting-platsen och säkerhetsklassificeringen.
Lägg till egen skapar en genereringsmodell. Egna textinbäddnings-, transkriberings- och bildmodeller går inte att skapa i den här dialogrutan.

Redigera och ta bort en egen modell

Öppna den egna modellens åtgärdsmeny på sidan Modeller och välj Redigera modell om du vill ändra någon av inställningarna, eller Ta bort om du vill radera modellen.