On-Premises
On-premises AI-inferens. Fuld kontrol, cloud-hastighed.
De samme modeller og den samme hastighed som i vores cloud, men på hardware, du ejer, på dit eget netværk. Dine data forlader aldrig bygningen. Racksene er luftkølede og bruger omkring 10 kW, så de passer ind i det datacenter, du allerede har.
Fuld kontrol over data, cloud-hastighed
Når dine data ikke må forlade huset
Den samme platform og den samme hastighed som i vores cloud, helt inden for dine egne vægge. On-Premises er det rigtige valg, når data eller kildekode fysisk ikke må forlade din bygning, når en tilsynsmyndighed eller en kunde kræver det, eller når du har besluttet selv at eje din AI-infrastruktur. Racksene er luftkølede, uden væskekøling og uden særlig ombygning, så de passer ind i de rammer, du allerede har. Og hvis et workload ikke har den slags krav, giver vores cloud og Dedicated Capacity den samme hastighed helt uden investering i egen hardware. Vi siger ærligt, hvad der passer bedst.
Hvornår det passer
Hvornår On-Premises er det rigtige valg
Fire situationer, hvor din egen platform er den rigtige beslutning og ikke en nødløsning.
Data, der ikke må forlade huset
Kildekode, immaterielle rettigheder eller følsomme data, som af juridiske eller kontraktlige grunde skal blive inden for din perimeter.
Et krav, der skal opfyldes
En tilsynsmyndighed, en kundekontrakt eller en branchenorm kræver behandling i eget hus.
Fuld kontrol
Du har alle nøglerne og driver selv platformen på dit eget netværk.
Ejerskab
Inferenskapacitet, du ejer i stedet for at leje, uden andre kunder på hardwaren. Model-bundles og softwareopdateringer kommer gennem din kontrakt med os.
Det får du
Den samme inferensmotor, i din bygning
Hurtige svar med lav latenstid på hver forespørgsel, med den samme hastighed som i vores cloud, nu i din egen bygning. Fordi chipsene er udviklet til inferens, kører racksene luftkølet og bruger omkring 10 kW ved typisk drift. Du behøver ingen væskekøling og ingen særlige lokaler. Racksene passer ind i dit eksisterende datacenter, og du tilføjer flere, når du vokser.
Hardware
- AI-acceleratorer fra SambaNova, udviklet til inferens - ikke GPU'er
- Nuværende generation: SambaRack SN40L
- Luftkølet, almindelige rackmål - ingen væskekøling
- Et Core Services Rack til control plane
- Dimensioneret til dit workload, kan udvides, når du vokser
Software og support
- SambaStack-platformen (baseret på Kubernetes)
- De modeller, vi kører i München, + Bring Your Own Checkpoint
- Én kontrakt med Infercom: dimensionering, installation, konfiguration og support, leveret sammen med SambaNovas ingeniører
- Understøttelse af air-gapped deployment
- Model-bundles, softwareopdateringer og teknisk support
Din del
Det stiller dit team til rådighed
SambaNovas krav til stedet, kort fortalt. Vi gennemgår hvert punkt med dig ved besigtigelsen.
- Plads i datacentret, strøm (400/415 V trefaset), køling og netværk
- En Kubernetes-klynge: din egen eller installeret på Core Services Rack
- PostgreSQL, logning og overvågning (SambaNova anbefaler Prometheus og Grafana)
- DNS, NTP, to URL'er med TLS-certifikater og login via OIDC, LDAP eller Keycloak
- Løbende opdateringer: du er højst én release bagud, så rettelser når frem til dig
- Kun ved air-gap: en staging-server til artefakter, et container-registry og 15 TB delt lager
Ét rack i tal
- Chips
- 16 RDU'er
- Hukommelse
- 1 TB HBM, 4-24 TB DDR
- Effekt
- ca. 10 kW typisk, maks. 16,4 kW
- Strømtilslutning
- 400/415 V trefaset, 2 PDU'er
- Køling
- Luft, forfra og bagud
- Control plane
- Ét Core Services Rack
Kilde: SambaNova, krav til stedet for SambaStack On-Premises (marts 2026). De præcise tal for dit sted følger ved besigtigelsen.
Forløbet
Fra kontrakt til produktion
- 01
Rådgivning og besigtigelse
Vi gennemgår dine krav, dit datacenters parathed og dit behov for modeller og dimensionerer deployment.
- 02
Levering og installation
Racksene bliver leveret og installeret i dit datacenter sammen med SambaNovas ingeniører.
- 03
Konfiguration
Opsætning af SambaStack, idriftsættelse af modellerne og integration, også i air-gapped setups.
- 04
Produktion
Dit team driver platformen. Model-bundles, opdateringer og support kommer gennem din kontrakt med os.
Typisk ~90 dage fra kontrakt til produktion
Tidsplanen afhænger af, hvornår hardwaren er tilgængelig, og hvor klart dit datacenter er. En fast dato får du efter besigtigelsen.
Modeller
Hele kataloget i din bygning
Alle modeller, vi kører i München, kører også On-Premises, plus flere modeller, som SambaStack understøtter, og dine egne fine-tunes.
- De modeller, vi kører i München, plus modeller, vi sætter i drift efter ønske
- BYOC - fine-tunes af understøttede arkitekturer kører med det samme
- Modeller med den præcision, som deres udgivere har udgivet dem i
- Understøttelse af air-gapped deployment
Ved air-gapped deployment bliver model- og softwareopdateringer leveret og installeret manuelt. Det kræver et staging-miljø hos dig.
Powered by SambaNova
Den samme dataflow-arkitektur
On-Premises kører på den samme dataflow-arkitektur fra SambaNova som vores cloud: chips udviklet til AI med op til 10x hurtigere inferens end GPU'er, luftkølet i et almindeligt rack. Du får den samme performance, og hardwaren er din.
FAQ
Ligefremme svar på dine spørgsmål
Er performance on-premises den samme som i jeres cloud?
Ja, det er den samme hardware, så du får den samme hastighed. On-Premises ændrer placering og ejerskab, ikke performance: Racksene står i dit datacenter, og du har nøglerne.
Kan det betale sig at eje hardwaren i stedet for at bruge administrerede tokens?
On-Premises er en investering med en leveringstid. Administrerede tokens er derimod klar med det samme og kræver ingen investering. Om egen hardware kan betale sig, afhænger af den konkrete sag. Ved vedvarende høj udnyttelse over flere år kan det hænge økonomisk sammen. Men det afhænger af, hvor hårdt du udnytter den, så vi regner det igennem sammen med dig i stedet for at love det. Ofte er det slet ikke prisen, der afgør det, men kildekode eller data, der ikke må forlade din bygning, en kunde eller tilsynsmyndighed, der kræver det, eller en strategisk beslutning om selv at eje infrastrukturen. Performance er under alle omstændigheder den samme som i vores cloud. Hvis der ikke er et hårdt krav, og regnestykket er tæt, er Inference API eller Dedicated Capacity som regel det bedre valg, og det siger vi også.
Kan vi teste, før vi køber hardware?
Ja, og vi anbefaler det. Bevis værdien først på den delte Inference API, som kører på den samme hardware, og derefter eventuelt på et dedikeret rack i vores datacenter i München, før du investerer. Et lille pilotprojekt hører hjemme i cloud, ikke on-premises.
Hvor stort skal et deployment være?
Vi dimensionerer det efter dit workload: hvor mange brugere, hvor mange på én gang, og hvad de kører (korte prompts, lang kontekst, agenter). Ud fra det foreslår vi antallet af racks, og du kan tilføje flere senere. Hvis du stadig afprøver anvendelsen, så start på Inference API eller Dedicated Capacity.
Hvad skal vi have i vores datacenter - plads, strøm, køling?
Et almindeligt datacenter med strøm til høj rack-tæthed. Racksene er luftkølede (ingen væskekøling), bruger omkring 10 kW ved typisk drift og højst 16,4 kW og får 400/415 V trefaset strøm via to PDU'er, i almindelige rackmål. De passer altså ind i et datacenter, du allerede har, uden at der skal bygges nyt. Ud over plads, strøm, køling og netværk stiller dit team de tjenester til rådighed, der er nævnt ovenfor. Ved en besigtigelse afklarer vi strøm, køling, netværk og lager, før noget bliver sendt.
Hvordan fungerer et air-gapped deployment, og hvordan opdaterer og fejlsøger I det?
SambaStack kører helt offline. Ved et air-gap bliver software- og modelopdateringer leveret og installeret manuelt: Du stiller en staging-server til artefakter, et container-registry og delt lager til rådighed og godkender hver opdatering efter dine egne sikkerhedsprocesser. Fejlsøgning foregår via filoverførsel og videomøde, fordi ingen udefra har netværksadgang til din klynge. Opsætningen er afprøvet, men et air-gap bytter lidt hastighed i supporten for fuld isolation: Hver opdatering er et bevidst, manuelt skridt og ikke en automatisk download.
Hvor lang tid tager deployment?
Regn med cirka 90 dage fra kontrakt til produktion, til levering, installation, konfiguration og idriftsættelse af modellerne. Tidsplanen afhænger af ordrevolumen og tilgængelighed af hardware, af hvor klart dit datacenter er, og af om nye modelarkitekturer skal sættes i drift. En fast dato lover vi først efter en besigtigelse.
Hvilke modeller kan vi køre, og kan vi tage vores egne med?
Alle modeller, vi kører i München, kører også On-Premises, og SambaStack understøtter flere modeller, som vi kan sætte i drift for dig. Bring Your Own Checkpoint virker også: fine-tunes af understøttede arkitekturer kører med det samme. Selve fine-tuningen kører på GPU'er. Du træner og lægger derefter vægtene over på dine racks. Understøttelse af helt nye arkitekturer er en kommerciel samtale.
Hvordan fungerer modelopdateringer, når hardwaren står hos os?
Hver SambaStack-release samler nye modeller. Du vælger, hvilke du vil bruge, tester dem og fordeler selv kapaciteten, for eksempel ved at flytte racks mellem to modeller. Det tager omkring 30 minutter at omkonfigurere et rack (fx fra lang til kort kontekst). Du er højst én release bagud, så rettelser når frem til dig. Ved et air-gap bliver opdateringerne leveret og installeret manuelt.
Hvordan håndterer platformen det, når mange brugere rammer den på én gang?
Med inference-routeren prioriterer du brugere og begrænser deres forespørgsler, så ingen enkelt bruger kan lægge beslag på klyngen. Når klyngen er fuldt belastet, kommer forespørgsler i kø: Tiden til første token stiger, men outputhastigheden for en igangværende forespørgsel gør ikke. Du styrer selv disse indstillinger, fordi du driver platformen.
Kan vi køre det i vores eget datacenter, eller hoster I det?
Begge dele er muligt. Vi kan sælge hardwaren til dit datacenter, placere den i colocation for dig eller tilbyde colocation as a service, alt efter hvad der passer til dine krav til kontrol og drift.
Kan I kontraktligt garantere, at ingen uden for vores organisation kan se vores data?
On-premises og med air-gap har du alle nøglerne, vi har ingen adgang under drift, og intet forlader dit netværk. KV-cachen ligger kun i hukommelsen og bliver aldrig skrevet til disk. I hukommelsen er den ikke krypteret.
Hvor selvkørende er vi, når det er installeret?
I hverdagen driver dit team platformen. Model-bundles, softwareopdateringer, rettelser og teknisk support er en del af din kontrakt med os, leveret sammen med SambaNovas ingeniører, som kender platformen helt ned til chippen. Hvis du foretrækker det, driver vi den for dig som managed service.
Hvad sker der, hvis et rack fejler?
Med flere racks kører de andre videre, og du mister kun det racks andel af kapaciteten. Control plane kører på tre noder i Core Services Rack. Hvert rack har to strømforsyninger.
Kan vi køre i flere lande?
Ja. Hvert sted er sit eget deployment. Nogle lande kræver en eksportkontrol, før hardwaren bliver sendt. Det afklarer vi ved besigtigelsen.
Sammenlign mulighederne
I tvivl om, hvad der passer?
De fleste teams viser værdien i cloud først og går kun over til on-premises, når et krav gør det nødvendigt.
Vil du undersøge on-premises nærmere?
Lad os tale om dine krav og om, hvor klart dit datacenter er.