Palvelin ja laitteisto

Intric toimittaa alustan Kubernetesiin versioiduilla Helm-charteilla. Jos sinulla ei vielä ole Kubernetesia (chartit edellyttävät versiota 1.29 tai uudempaa; valitse versio, jota projekti yhä tukee), asennamme k3s:n, kevyen Kubernetes-jakelun, toimittamallesi Linux-virtuaalikoneelle. Virtuaalikoneen tarpeet riippuvat siitä, mitkä alustan osat ajat omassa ympäristössäsi ja mitä käytät Intricin palveluina.

Valitse skenaario

Skenaario	Toimii ympäristössäsi	Käytössä palveluna	Laitteisto
1. Alusta	Verkkosovellus, API, tietokannat, hakuindeksi, objektitallennus	Käsittely (PDF/OCR, asiakirjojen sisäänluku, litterointi) ja kaikki tekoälymallit	Yksi VM, 4–8 ydintä
2. Alusta + käsittely	Skenaario 1 sekä suorittimella toimivat käsittelyn workerit PDF/OCR-käsittelyä, asiakirjojen sisäänlukua ja äänen litterointia varten	GPU:ta vaativat tekoälymallit: kielimallit, embeddingit, puheentunnistus, kuvamalli	Yksi VM, ~20–72 ydintä
3. Täysin paikallinen	Skenaario 2 sekä kaikki tekoälymallit omilla GPU-palvelimillasi: kielimallit, embeddingit, puheentunnistus ja kuvamalli	Ei mitään	Skenaarion 2 VM sekä yksi tai useampi GPU-palvelin

Valitse se skenaario, jota tietojenkäsittelyn vaatimuksesi todella edellyttävät, älä suurinta.

Näin laskimme luvut. Suoritin- ja muistiluvut ovat Helm-charttiemme varauksia (Kubernetes requests) skenaarioittain laskettuna yhteen, ja niiden päälle tulee varmuusvara. Ne eivät ole kuormitustestien tuloksia. GPU-luvuissa on merkintä mitattu, kun ajamme kokoonpanoa tuotannossa, ja arvioitu, kun olemme laskeneet sen. Aloita ehdotetulta tasolta, seuraa todellista käyttöä ensimmäisten viikkojen ajan ja säädä sitten (katso Asennuksen laajentaminen).

Vaatimukset kaikissa skenaarioissa

	Vaatimus
Suoritinarkkitehtuuri	x86-64 (amd64). Tällä sivulla “ydin” tarkoittaa yhtä vCPU:ta.
Käyttöjärjestelmä	Ubuntu 22.04 tai uudempi
Tallennustila	SSD. Pidä /var järjestelmälevyllä äläkä erillisellä pienellä osiolla.
Topologia	Yksi solmu. Alustassa ei ole sisäänrakennettua korkeaa käytettävyyttä; katso Käytettävyys ja varmuuskopiointi.

Skenaario 1: Alusta

	Vähintään	Suositus
Suoritin	4 ydintä	8 ydintä
RAM	16 GB	32 GB
Järjestelmälevy	100 GB	100 GB
Datalevy	250 GB	500 GB

Alustan palvelut varaavat noin 2 ydintä ja 6 GB, ja kuormituspiikeissä ne voivat käyttää noin 9 ydintä ja 18 GB. Loput jää Kubernetesille itselleen ja samalla virtuaalikoneella ajamillesi MCP-palvelimille. Vähimmäistasolla täysi piikki ei mahdu muistiin. Muisti on myös ensimmäinen raja, johon törmäät lisätessäsi MCP-palvelimia, joten valitse suositeltu taso, jos aiot ajaa niitä useita.

Datalevylle tallentuvat tietokanta, hakuindeksi ja ladatut tiedostot, ja levyn tarve kasvaa sitä mukaa kuin lataat sisältöä.

Kun Intric hoitaa käsittelyn, Intricin käsittelypalvelut hakevat jokaisen ladatun tiedoston objektitallennuksestasi ja lähettävät tuloksen takaisin alustallesi. API:n ja objektitallennuksen täytyy siksi olla Intricin käsittelypalvelun tavoitettavissa HTTPS:n kautta voimassa olevalla sertifikaatilla. Voit rajata pääsyn Intricin ilmoittamiin lähde-IP-osoitteisiin.

Skenaario 2: Alusta + käsittely

Kun lataat tiedoston, alustan täytyy muuttaa se tekstiksi ennen kuin assistentit voivat hakea siitä. Tämän työn tekevät käsittelypalvelut:

• PDF-käsittely lukee PDF-tiedostojen asettelun, taulukot ja tekstin ja tunnistaa tekstin skannatuilta sivuilta (OCR).
• Asiakirjojen sisäänluku jakaa tekstin jaksoihin, ja embedding-malli muuttaa jokaisen jakson vektoriksi, jonka haku löytää. Jos olet määrittänyt kuvamallin, sisäänluku lähettää sille myös asiakirjojen kuvat ja kaaviot kuvailtaviksi.
• Äänen litterointi valmistelee tallenteet ja lähettää ne puheentunnistusmallille, joka palauttaa tekstin.

Workerit itse toimivat suorittimella. Niiden kutsumat mallit (embeddingit, puheentunnistus ja kuvamalli) vaativat GPU:n eivätkä toimi virtuaalikoneella: skenaarioissa 1 ja 2 workerit kutsuvat Intricin ylläpitämiä malleja verkon kautta, ja skenaariossa 3 ne kutsuvat omilla GPU-palvelimillasi toimivia malleja. Skenaario 2 ei siksi tarvitse GPU:ta.

Viestijono ohjaa jokaisen työn oikealle workerille. Skenaariossa 1 Intric ajaa nämä palvelut puolestasi; skenaariossa 2 ajat ne omalla virtuaalikoneellasi. Workerien määrä seuraa automaattisesti jonossa odottavien töiden määrää, ja workerit käyttävät suoritinta vain käsitellessään asiakirjoja tai tallenteita. PDF-käsittely vie suurimman osan: jokainen PDF-worker varaa 6 ydintä ja 5 GB, koska skannattujen sivujen OCR ajaa tekoälymalleja suorittimella. Yksi worker käsittelee kunkin asiakirjan alusta loppuun, joten useamman workerin ansiosta alusta käsittelee useampia asiakirjoja rinnakkain.

Taso	PDF-workerit	Sisäänluvun workerit	Litteroinnin workerit	Suoritin	RAM
Perustaso	1	2	1	~20 ydintä	~40 GB
Standard	4	4	3	~40 ydintä	~60 GB
Suuri kapasiteetti	9	9	5	~72 ydintä	~88 GB

Jokainen summa koostuu skenaarion 1 vähimmäistasosta (4 ydintä / 16 GB), käsittelypalvelujen varauksista ja 8 ytimen / 16 GB:n varmuusvarasta piikkejä varten. Esimerkki Standard-tasosta: 4 PDF-workeria (24 ydintä / 20 GB), 4 sisäänluvun workeria (1,2 ydintä / 2 GB), 3 litteroinnin workeria (0,6 ydintä / 2,3 GB) sekä aina käynnissä olevat viestijono, töiden koordinointi, koodin hiekkalaatikko ja vientipalvelu (1,4 ydintä / 1,9 GB) tekevät yhteensä noin 27 ydintä / 26 GB. Alusta ja varmuusvara mukaan lukien summa on noin 40 ydintä / 60 GB.

Perustaso toimii, mutta suuret lataukset joutuvat jonoon, ja suuren skannatun asiakirjan käsittely kestää selvästi pidempään. Standard on hyvä lähtökohta useimmille organisaatioille.

Kuormituksessa PDF-worker voi käyttää suoritinta jopa kaksi kertaa varauksensa verran ja muistia enintään 8 GB. Jos kaikki Suuri kapasiteetti -tason PDF-workerit saavuttavat piikin samanaikaisesti, muistinkäyttö voi ylittää yllä olevan summan; lisää RAM-muistia, jos huomaat muistin käyvän vähiin. Käsittely on suurimman osan ajasta jouten, joten VMwarella ja vastaavilla alustoilla käyttämätön suoritinkapasiteetti jää muiden virtuaalikoneiden käyttöön. Varaa siksi virtuaalikoneelle muistia, älä suoritinta.

Levy: varaa noin 50 GB lisää kontti-imageille (pelkkä PDF-käsittelyn image on noin 9 GB). Jokainen litteroinnin worker kirjoittaa toimiessaan enintään 2 GB väliaikaisia tiedostoja ja koodin hiekkalaatikko enintään 1 GB tiedostojärjestelmään, jolla /var/lib/kubelet sijaitsee. Jos /var täyttyy, Kubernetes alkaa häätää (evict) kuormia koko virtuaalikoneelta.

Helm-chartin oletusrajat workerien määrälle ovat varovaiset: consumers.pdfPreProcessing.scaling.maxReplicas on oletuksena 2, ja asiakirjojen sisäänluvulla ja äänen litteroinnilla raja on 5. Nosta jokainen raja vähintään tasosi mukaiseen määrään, muuten workerit eivät skaalaudu varaamaasi kapasiteettiin.

Skenaario 3: Täysin paikallinen

Kaikki tekoälymallit toimivat erillisillä GPU-palvelimilla, joihin virtuaalikone yhdistää verkon kautta: kielimalli sekä tukimallit, joita käsittelyn workerit kutsuvat (embeddingit, puheentunnistus ja kuvamalli). Mitoita virtuaalikone kuten skenaariossa 2.

Kielimalli. Kapasiteetti riippuu paljon enemmän siitä, kuinka monta kysymystä on käynnissä samanaikaisesti ja kuinka pitkiä liitetyt asiakirjat ovat, kuin käyttäjien määrästä. Yhdellä suuremmista kuntaasiakkaistamme tuotannon huippu on noin 10 samanaikaista pyyntöä.

Suositukset muuttuvat jatkuvasti. Mallit ja GPU-sukupolvet kehittyvät nopeasti, ja tämänpäiväinen suosituksemme voi vanhentua muutamassa kuukaudessa. Alla olevat kokoonpanot kuvaavat arviotamme lokakuussa 2026. Päivitämme niitä sitä mukaa kuin mittaamme uusia malleja ja laitteistoja, ja vahvistamme mitoituksen kanssasi ennen kuin tilaat mitään.

Kokoonpano	Malli	Sopii käyttöön	Tila
1× H200 (141 GB)	Gemma 4 31B	Chattiin ja asiakirjoja koskeviin kysymyksiin	Mitattu tuotannossa
2× B200	Inkling Small (276B parametria, 12B aktiivista)	Nopeampiin vastauksiin, pitkiin asiakirjoihin ja monivaiheisiin tehtäviin	Arvioitu
8× B200 (yksi solmu)	Inkling (noin 950B parametria, 40B aktiivista)	Moniin samanaikaisiin käyttäjiin ja vaativimpiin tehtäviin	Arvioitu

1× H200 on kokoonpano, jota ajamme tänään tuotannossa. Mitattu mallilla Gemma 4 31B (4-bittiset painot, vLLM): ~100 tokens/s vastausta kohden yksittäisellä pyynnöllä, ja GPU-muistissa on tilaa noin 900 000 tokenin keskustelukontekstille. Se riittää noin 9 samanaikaiseen keskusteluun täydellä 100 000 tokenin kontekstilla tai huomattavasti useampaan tavallisen kokoisilla prompteilla. Arviomme mukaan lisäkortti, jolla on oma kopio mallista, tuo saman kapasiteetin uudelleen ja lisäksi vikasietoisuutta. H200 kuuluu NVIDIAn Hopper-sukupolveen (H100/H200), jota Blackwell (B200 ja uudemmat) on korvaamassa. NVIDIA myy ja tukee Hopper-kortteja yhä, mutta on alkanut ilmoittaa end-of-life-päivämääriä osalle sukupolvesta. Uutta hankintaa varten suosittelemme siksi tarkistamaan saatavuuden ja harkitsemaan Blackwellia. Gemma 4:n pitäisi mahtua myös yhdelle B200-kortille, jossa on enemmän muistia ja kaistaa kuin H200:ssa, mutta emme ole vielä testanneet sitä.

Arviomme mukaan 2× B200 ja Inkling Small tuottavat ~150 tokens/s vastausta kohden, ja tilaa on 17–53 samanaikaiselle keskustelulle täydellä 100 000 tokenin kontekstilla. Täysi Inkling-malli mahtuu vain kokonaiseen solmuun; 8× B200 tuottaa arviomme mukaan ~110 tokens/s vastausta kohden, ja tilaa on 44–142 tällaiselle keskustelulle. Tämä kokoonpano tuo kapasiteettia ja suuremman mallin, ei nopeampia vastauksia käyttäjää kohden. Inkling-mallit vaativat Blackwell-GPU:t eivätkä toimi H100/H200-korteilla. Olemme laskeneet B200-luvut H200-mittaustemme ja laitteiston teknisten tietojen pohjalta, mutta emme ole vielä ajaneet niitä todellisella kuormalla.

Tukimallit. Embeddingit (haku), puheentunnistus ja kuvamalli, joka tulkitsee asiakirjojen kuvia ja kaavioita, ovat pienempiä. Suurimmassa paikallisessa asennuksessamme ne jakavat yhden 94 GB:n GPU:n ja käyttävät siitä noin 50 GB. Jos niiden on tarkoitus toimia yhdessä, varaa siksi vähintään 80 GB:n kortti (esimerkiksi NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB).

GPU-palvelimet tarvitsevat konesaliin tarkoitetut (passiivisesti jäähdytetyt) GPU:t palvelimessa, joka on sertifioitu niille, sekä riittävän ilmavirran ja virransyötön.

Asennuksen laajentaminen

• Asiakirjat tulevat haettaviksi hitaasti: tarkista käsittelyjonot. Jos workerit ovat ylärajallaan, nosta maxReplicas-arvoa ja lisää virtuaalikoneeseen suoritinta ja RAM-muistia.
• Muisti loppuu tai Kubernetes häätää podeja: lisää ensin RAM-muistia. Muisti on alustan virtuaalikoneen yleisin rajoite.
• Vastaukset alkavat kuormituksessa hitaasti (skenaario 3): lisää kielimallille GPU.

Käytettävyys ja varmuuskopiointi

Kaikki skenaariot toimivat yhdellä virtuaalikoneella. Jos virtualisointialustasi käynnistää virtuaalikoneen uudelleen toisella isännällä laitevian jälkeen (esimerkiksi vSphere HA), se kattaa useimmat käytettävyystarpeet muutaman minuutin katkoksen hinnalla. Virtuaalikoneen snapshotit eivät ole johdonmukainen tietokannan varmuuskopio. Otamme käyttöön säännölliset tietokantavedokset, jotka sinun kannattaa säilyttää virtuaalikoneen ulkopuolella.

Verkko ja palomuuri

Saapuva liikenne (portit)

• Portti 443: Verkkokäyttöliittymä (HTTPS) käyttäjiesi verkoista.
• Portti 80: Automaattinen uudelleenohjaus HTTPS:ään.
• Portti 22: SSH asennusta ja ylläpitoa varten. Rajaa portti Intricin pääsyreittiin (esimerkiksi VPN:ään); sen ei pidä olla avoin internetiin.

Lähtevä liikenne (Whitelist - Infrastruktuuri)

Kielimallien lisäksi (katso alla oleva osio) palvelin tarvitsee HTTPS-yhteyden seuraaviin osoitteisiin:

• get.k3s.io, github.com, objects.githubusercontent.com (k3s:n asennus)
• ghcr.io, pkg-containers.githubusercontent.com (Intricin kontti-imaget ja Helm-chartit)
• registry-1.docker.io, auth.docker.io, production.cloudflare.docker.com (kolmansien osapuolten kontti-imaget)
• login.intric.ai (Intric käyttää omaa IdP:tään tunnistautumiseen)

Jos välityspalvelimesi tai palomuurisi tarkastaa TLS-liikennettä, jätä nämä isännät tarkastuksen ulkopuolelle. Voit asentaa alustan myös ilman lähtevää yhteyttä, jos peilaat kaikki imaget yksityiseen rekisteriin.

Kielimallit on-prem-käytössä

Skenaarioissa 1 ja 2 alusta ja käsittelyn workerit kutsuvat kielimalleja, embeddingejä ja puheentunnistusta verkon kautta. Salli lähtevä liikenne seuraaviin osoitteisiin:

Intric Hosted Models (EU):

• gpu6.intric.ai (Intricin ylläpitämä kielimalli)
• embedding-model.intric.ai (Intricin ylläpitämät embeddingit)
• Puheentunnistus: osoite riippuu asennuksesi käyttämästä litterointipalvelun tarjoajasta, ja toimitamme sen sinulle
• mcp.intric.ai/* (Intricin ylläpitämät MCP-palvelimet)
• mcp-servers.intric.ai/* (Intricin ylläpitämät MCP-palvelimet)

Ajantasaisen mallivalikoiman löydät hallintapaneelista kohdasta Mallit.

Ulkoiset julkiset mallit (API:t):

• api.openai.com/v1
• api.anthropic.com
• api.berget.ai/v1
• api.mistral.ai/v1

Domain ja sertifikaatti

1. DNS: Osoita valitsemasi domain (esim. app.company.com) palvelimen IP-osoitteeseen A- tai AAAA-tietueella.

2. SSL/TLS-sertifikaatti: Sinun täytyy toimittaa voimassa olevat sertifikaatit:

   • Sertifikaattitiedosto (.crt): Koko ketju PEM-muodossa.
   • Yksityinen avain (.key): Yksityinen avain PEM-muodossa.
   • Huom: Asiakas vastaa sertifikaatin uusimisesta.