Mukautetut mallit

Mukautettu malli on malli, jota Intric ei tarjoa ja jonka liität itse. Se voi olla omassa infrastruktuurissasi toimiva malli, yksityinen käyttöönotto pilvipalvelun tarjoajalla tai malli toimittajalta, jota katalogissa ei ole. Liittämisen jälkeen käyttäjät valitsevat mallin samalla tavalla kuin minkä tahansa muun, ja Spacen turvaluokitus ratkaisee, missä sitä voi käyttää.

Ennen kuin aloitat

• Mukautettujen mallien on oltava käytössä organisaatiossasi. Jos Lisää malli -ikkunassa ei ole Lisää oma -painiketta, organisaatiollasi ei vielä ole tätä ominaisuutta. Pyydä Intriciä ottamaan se käyttöön. Vain Admin voi luoda mukautettuja malleja.
• Päätepisteen on tuettava OpenAI Chat Completions -rajapintaa. Useimmat itseisännöintiin tarkoitetut palvelimet ja yhdyskäytävät, kuten vLLM, Ollama ja LiteLLM, tukevat sitä.
• Pidä valmiina kolme tietoa palveluntarjoajaltasi: Base URL -osoite, mallin tarkka nimi ja API-avain, jos päätepiste vaatii sellaisen.

Mukautetun mallin lisääminen

Lisää mukautettu malli

1. Siirry kohtaan Admin → Platform → Mallit, valitse Lisää malli ja sitten Lisää oma.
2. Nimeä malli. Käyttäjät näkevät lempinimen kaikkialla, missä he valitsevat mallin, joten anna nimi, jonka he tunnistavat. Esikatselusta näet, miltä nimi näyttää listassa.
3. Yhteys. Täytä kentät Base URL, Mallin nimi ja API-avain.
4. Sijainti. Valitse maa tai alue, jossa malli toimii.
5. Kontekstikkuna. Kirjoita, kuinka monta tokenia malli pystyy käsittelemään kerralla. Luku löytyy palveluntarjoajan mallidokumentaatiosta.
6. Valitse Luo malli.

Intric luo mallin, lisää sen heti organisaatioosi ja testaa yhteyden. Sen jälkeen paneeliin avautuvat mallin kaikki asetukset, joten voit viimeistellä määritykset avaamatta mallia uudelleen.

Yhteyskentät

• Base URL — osoite, johon Intric lähettää pyynnöt. Osoite päättyy API-versioon, esimerkiksi https://api.your-domain.com/v1. Intric lisää polun loppuosan itse, joten älä kirjoita osoitteeseen /chat/completions.
• Mallin nimi — mallin tarkka tunniste, jota päätepiste odottaa jokaisessa pyynnössä, esimerkiksi vendor/model-latest. Tunniste on usein eri kuin lempinimi.
• API-avain — Intric lähettää avaimen Authorization-otsakkeessa ja lisää sen eteen automaattisesti Bearer-sanan. Kun olet tallentanut avaimen, et näe sitä enää. Jos haluat säilyttää tallennetun avaimen, jätä kenttä tyhjäksi. Jos haluat vaihtaa avaimen, kirjoita kenttään uusi.

Yhteyden testaaminen

Testi lähettää päätepisteeseen yhden lyhyen, todellisen pyynnön tallennetuilla asetuksilla. Tulokseksi saat joko Onnistui! tai Yhteys epäonnistui, ja lisäksi näet päätepisteen palauttaman virheen. Jos muutat yhteyskenttiä myöhemmin, Tallenna ja testaa tallentaa muutokset ja testaa yhteyden uudelleen.

Onnistunut testi kertoo, että Intric saa yhteyden päätepisteeseen ja saa siltä vastauksen. Vastausten laadusta se ei kerro mitään.

Mitä määrittää mallin luomisen jälkeen

Katalogin malleista Intric tietää valmiiksi hinnan, kyvykkyydet ja sen, missä malli toimii. Mukautetusta mallista Intric ei tiedä näitä, joten täytä tiedot itse:

• Kuvaus — ohjeteksti, jonka käyttäjä näkee mallikortilla ja viedessään osoittimen mallin nimen päälle Spacessa tai assistentissa.
• Ominaisuudet — kontekstikkuna, Näkö tuki, jos malli hyväksyy kuvia, ja Ota työkalut käyttöön, jos malli tukee työkalukutsuja. Ota työkalut käyttöön vain, jos päätepiste todella osaa käsitellä työkalukutsut. Verkkohaku, integraatiot ja MCP-työkalut toimivat kaikki niiden varassa.
• Lisäparametrit — JSON-objekti, jonka Intric välittää sellaisenaan jokaisen pyynnön mukana, esimerkiksi {"temperature": 0.2} tai palvelimesi tukema päättelyasetus. Jos jätät kentän tyhjäksi, Intric ei lähetä mitään ylimääräistä. Avaimet model, messages, stream, stream_options, tools, tool_choice ja n Intric asettaa itse, joten et voi käyttää niitä tässä.
• Tokenien hinta — syötteen ja tulosteen hinta miljoonaa tokenia kohden sekä valuutta. Lue lisää alta kohdasta Mukautetun mallin tokenien hinta.
• Suorituskyky — mallin nopeus- ja älykkyysarviot. Lue lisää alta kohdasta Mukautetun mallin suorituskykyarviot.
• Sijainti — näkyy mallin vieressä, joten käyttäjät tietävät, minne heidän datansa menee. Sijainnilla on merkitystä myös luokituksissa, jotka rajaavat käsittelyn tietyille alueille. Katso Käsittelyalueet.
• Turvaluokitus — missä Spaceissa mallia saa käyttää. Valitse korkein taso, jolle malli on hyväksytty, niin malli on automaattisesti käytettävissä myös kaikilla alemmilla tasoilla. Katso Mallien luokittelu.

Mukautetun mallin suorituskykyarviot

Voit sitoa mukautetun vastausmallin johonkin Intricin synkronoimaan vertailutestiin. Silloin mallin nopeus- ja älykkyysarviot perustuvat vertailutestiin eivätkä käsin syötettyihin lukuihin, ja ne pysyvät oikeina, kun vertailutesti päivittyy. Kun lisäät mallin, Intric ehdottaa mallin nimen perusteella sopivaa vertailutestiä. Voit hyväksyä ehdotuksen, valita toisen vertailutestin tai syöttää luvut itse.

Mukautetun mallin tokenien hinta

Tärkeää

Vakiotoimittajien mallien hinnoittelun Intric tuntee valmiiksi ja käyttää sitä automaattisesti käyttö- ja kustannusraportoinnissa. Mukautettujen mallien eli itse isännöityjen tai organisaatiokohtaisten käyttöönottojen hintaa Intric ei voi tietää. Aseta siksi tokenien hinta itse mallin asetuksissa ja käytä neuvottelemaasi todellista hintaa, älä julkista listahintaa. Jos malli ei maksa mitään tokenia kohden, aseta molemmat hinnat nollaan. Pidä hinta ajan tasalla: vanhentunut tai puuttuva arvo näyttää luvut liian pieninä tai suurina kaikkialla, missä mallin kustannus näkyy, myös Käyttö- ja Laskutus-näkymissä.

Miten mukautetut mallit eroavat katalogin malleista

• Valikoidut suositukset eivät koskaan valitse mukautettua mallia. Jos assistentti käyttää suositusta Tasapainoinen, Nopea, Edullinen tai Älykäs, se toimii aina katalogin mallilla. Jos haluat käyttää mukautettua mallia, valitse se nimeltä.
• Mukautettua mallia ei ole sidottu alikäsittelijään. Intric ei voi tietää, kuka päätepistettäsi ylläpitää, joten se ei rajoita mallin käyttöä alikäsittelijäasetusten kautta. Kirjaa ylläpitäjä omaan tietojenkäsittelysopimusten (DPA) dokumentaatioosi ja rajaa mallin käyttöä sijainnin ja turvaluokituksen avulla.
• Lisää oma luo vastausmallin. Mukautettuja upotus-, transkriptio- ja kuvamalleja et voi luoda tästä ikkunasta.

Mukautetun mallin muokkaaminen ja poistaminen

Avaa mukautetun mallin toimintovalikko Mallit-sivulla. Valitse Muokkaa mallia, jos haluat muuttaa mallin asetuksia, tai Poista, jos haluat poistaa mallin.

Tärkeää

Mukautetun mallin poistaminen on pysyvää. Toisin kuin katalogin malli, se ei palaa katalogiin. Intric ei poista mukautettua mallia, jota assistentit, henkilökohtaiset assistentit, sovellukset tai keskustelut vielä käyttävät, joten siirrä ne ensin toiselle mallille.