Tilpassede modeller

En tilpasset modell er en modell som Intric ikke leverer, og som du kobler til selv. Det kan være en modell dere drifter på egen infrastruktur, et privat oppsett hos en skyleverandør eller en leverandør som ikke finnes i katalogen. Når modellen er koblet til, velger folk den på samme måte som alle andre modeller, og sikkerhetsklassifiseringen til Space-et avgjør hvor den kan brukes.

Før du begynner

• Tilpassede modeller må være slått på for organisasjonen din. Finner du ingen Legg til egen-knapp i dialogen Legg til en modell, har organisasjonen din ikke fått funksjonen ennå. Kontakt Intric for å få den slått på. Bare Admin kan opprette tilpassede modeller.
• Endepunktet må støtte OpenAI Chat Completions API. De fleste servere og gatewayer for selvhosting har denne støtten, blant annet vLLM, Ollama og LiteLLM.
• Ha tre verdier fra leverandøren klare: basis-URL-en, det nøyaktige modellnavnet og en API-nøkkel hvis endepunktet krever det.

Legge til en tilpasset modell

Legg til en tilpasset modell

1. Gå til Admin → Platform → Modeller, velg Legg til modell og deretter Legg til egen.
2. Gi modellen et navn. Kallenavnet er det folk ser overalt der de velger modell, så velg et navn de kjenner igjen. En forhåndsvisning viser hvordan modellen kommer til å se ut i listen.
3. Tilkobling. Fyll inn Basis-URL, Modellnavn og API-nøkkel.
4. Vertsplassering. Velg landet eller regionen der modellen kjører.
5. Kontekstvindu. Oppgi hvor mange tokens modellen kan håndtere på én gang. Tallet står i modelldokumentasjonen fra leverandøren.
6. Velg Opprett modell.

Intric oppretter modellen, legger den til i organisasjonen med en gang og kjører en tilkoblingstest. Deretter viser panelet alle innstillingene for modellen, slik at du kan gjøre ferdig oppsettet uten å åpne den på nytt.

Tilkoblingsfeltene

• Basis-URL — adressen Intric sender forespørslene til. Den slutter ved API-versjonen, for eksempel https://api.your-domain.com/v1. Resten av stien legger Intric til selv, så ikke ta med /chat/completions.
• Modellnavn — den nøyaktige modellidentifikatoren endepunktet forventer i hver forespørsel, for eksempel vendor/model-latest. Den er ofte en annen enn kallenavnet.
• API-nøkkel — Intric sender den som en Authorization-header og setter Bearer foran automatisk. Når du har lagret nøkkelen, får du aldri se den igjen. La feltet stå tomt for å beholde den lagrede nøkkelen, eller skriv inn en ny for å bytte den ut.

Teste tilkoblingen

Testen sender én kort, ekte forespørsel til endepunktet med de lagrede innstillingene. Resultatet blir Vellykket! eller Tilkobling mislyktes, sammen med feilmeldingen endepunktet svarte med. Endrer du tilkoblingsfeltene senere, lagrer Lagre og test endringene og kjører testen på nytt.

En vellykket test bekrefter at Intric når fram til endepunktet og får svar. Om kvaliteten på svarene sier den ingenting.

Dette må du sette opp etterpå

For en modell fra katalogen kjenner Intric allerede prisen, funksjonene og hvor modellen kjører. For en tilpasset modell har Intric ingen av disse opplysningene, så du må legge dem inn selv:

• Beskrivelse — verktøytipset folk ser når de holder pekeren over modellnavnet i et Space eller en assistent, og som også står på modellkortet.
• Funksjoner — kontekstvinduet, Visjonsstøtte hvis modellen tar imot bilder, og Aktiver verktøy hvis den støtter verktøykall. Slå bare på verktøy hvis endepunktet faktisk håndterer verktøykall, fordi nettsøk, integrasjoner og MCP-verktøy er avhengige av dem.
• Ekstra parametere — et JSON-objekt som Intric sender uendret med hver forespørsel, for eksempel {"temperature": 0.2} eller en resonneringsinnstilling serveren din forstår. La feltet stå tomt hvis du ikke vil sende noe ekstra. Nøklene model, messages, stream, stream_options, tools, tool_choice og n setter Intric selv, så dem kan du ikke bruke her.
• Token-kostnad — prisen per million tokens for input og output, og valutaen. Se Token-kostnad for tilpassede modeller nedenfor.
• Ytelse — hastighets- og intelligensverdiene til modellen. Se Ytelsesverdier for tilpassede modeller nedenfor.
• Vertsplassering — står ved siden av modellen, slik at folk ser hvor dataene deres havner. Den har også betydning for klassifiseringer som begrenser behandlingen til bestemte regioner. Les mer i Behandlingsregioner.
• Sikkerhetsklassifisering — hvilke Spaces som får bruke modellen. Velg det høyeste nivået modellen er godkjent for, så blir den automatisk tilgjengelig på alle lavere nivåer også. Les mer i Modellklassifisering.

Ytelsesverdier for tilpassede modeller

Du kan knytte en tilpasset fullføringsmodell til en benchmark som Intric har synkronisert. Da henter modellen hastighets- og intelligensverdiene fra benchmarken i stedet for fra tall noen har skrevet inn for hånd, og verdiene holder seg riktige når benchmarken får nye tall. Når du legger til modellen, foreslår Intric en passende benchmark ut fra navnet. Du kan godta forslaget, velge en annen benchmark eller skrive inn tallene selv.

Token-kostnad for tilpassede modeller

Viktig

For standardmodellene fra leverandørene kjenner Intric allerede prisen og bruker den automatisk i forbruks- og kostnadsrapporteringen. For tilpassede modeller — selvhostede eller organisasjonsspesifikke oppsett — har Intric ingen mulighet til å vite prisen. Sett derfor token-kostnaden selv i modellkonfigurasjonen, og bruk prisen dere faktisk har forhandlet fram, ikke en offentlig listepris. Koster modellen ingenting per token, setter du begge prisene til 0. Hold verdien oppdatert: Er den utdatert eller mangler den helt, blir tallene for lave eller for høye overalt der kostnaden for modellen vises, også i Forbruk og Fakturering.

Slik skiller tilpassede modeller seg fra katalogmodeller

• Kuraterte valg velger aldri en tilpasset modell. En assistent som står på Balansert, Rask, Økonomisk eller Smart, kjører alltid på en katalogmodell. Vil du bruke en tilpasset modell, må du velge den ved navn.
• Tilpassede modeller er ikke knyttet til en underdatabehandler. Intric kan ikke vite hvem som drifter endepunktet ditt, og derfor avgjør ikke innstillingene under Underdatabehandlere om modellen kan brukes. Før opp hvem som drifter den, i DBA-dokumentasjonen deres, og bruk vertsplasseringen og sikkerhetsklassifiseringen til å styre hvor modellen kan brukes.
• Legg til egen oppretter en fullføringsmodell. Tilpassede embedding-, transkripsjons- og bildemodeller kan du ikke opprette fra denne dialogen.

Redigere og fjerne en tilpasset modell

Åpne handlingsmenyen til den tilpassede modellen på Modeller-siden. Velg Rediger modell for å endre innstillingene, eller Fjern for å slette modellen.

Viktig

Fjerner du en tilpasset modell, er den borte for godt. En katalogmodell havner tilbake i katalogen, men det gjør ikke en tilpasset modell. Intric sletter ikke en tilpasset modell som assistenter, personlige assistenter, apper eller samtaler fortsatt bruker, så flytt dem over til en annen modell først.