Dedicated Capacity

Førende open-weight-modeller, på kapacitet, som kun du bruger

Kør GLM-5.3, MiniMax M3.1 Flash eller dine egne fine-tunede modeller på inferenskapacitet, der er reserveret til dig i vores datacenter i München. Vi står for driften. Du får garanteret throughput og en forudsigelig månedlig pris.

Samme platform, mere kontrol

Den samme suveræne platform, reserveret kun til dig

Hvornår det passer

Hvornår Dedicated Capacity er det rigtige valg

Det kan betale sig, når dit workload er højt, stabilt og kritisk for produktionen. Under det niveau er Inference API som regel den bedre løsning, og det siger vi også.

Højt, stabilt volumen

Vedvarende trafik i produktion, der jævnligt går ud over det, priserne på Inference API dækker økonomisk.

Garanterede SLA'er

Kontraktlige tilsagn om oppetid og svartid, uden konkurrence fra andre kunder.

Egne modeller

Kør store modeller, egne fine-tunede checkpoints (BYOC) eller flere modeller side om side på din Dedicated Capacity, med skift på millisekunder.

Isolation

Single-tenant-hardware af hensyn til compliance, forudsigelig performance eller ro i maven.

Det får du

En inferensmotor til produktion, drevet for dig

Din egen AI-inferens med høj throughput til modeller i produktionsskala, på suveræn single-tenant-infrastruktur. Den bliver sat op, drevet og holdt kørende for dig, så dit team kan fokusere på at udvikle og ikke på drift.

Infrastruktur

  • Single-tenant-kapacitet, reserveret til dig og dimensioneret til dit workload
  • Drevet og vedligeholdt fuldt ud for dig
  • Garanteret throughput - ingen forstyrrelser fra andre kunder
  • Individuelle rate limits eller slet ingen
  • I vores datacenter i München uden permanent lagring af dine data

Support og SLA'er

  • Eget account-team
  • Prioriteret support med direkte eskalering
  • Individuelle SLA'er (oppetid, svartid)
  • Dimensionering ud fra dit reelle workload
  • ISO 27001-certificeret drift
  • Leveringstid efter aftale

Modeller

Modeller til din Dedicated Capacity

Større og nyere modeller end i Inference API-kataloget, plus dine egne fine-tunede checkpoints. Leveringstid efter aftale.

  • Førende open-weight-modeller som GLM-5.3 og MiniMax M3.1 Flash
  • Inference API-modellerne gpt-oss-120b og Gemma 4
  • BYOC - fine-tunes af understøttede arkitekturer kører med det samme
  • Alle modeller på listen kører på ét rack

Fine-tunes af understøttede arkitekturer kører med det samme. Helt nye arkitekturer er en kommerciel samtale. Vi lover ikke en bestemt egen model, før vi har tjekket, at den kan køre.

På din Dedicated Capacity

  • GLM-5.3Z.ai · ca. 750B parametre (mixture of experts) · 1M kontekst
  • MiniMax M3.1 FlashMiniMax · 427B parametre (mixture of experts) · 1M kontekst
  • gpt-oss-120b og Gemma 4OpenAI og Google · 120B og 31B parametre · 128K kontekst
  • Dine egne checkpoints (BYOC)Fine-tunes af understøttede arkitekturer

Selve fine-tuningen foregår på GPU'er: Du træner og giver os vægtene, som vi så kører med fuld hastighed.

Fuld liste over understøttede modeller

Ét rack, mange modeller

Skift checkpoints på millisekunder

Hver chip har tre hukommelseslag: SRAM på chippen til den løbende beregning, HBM i samme package til vægtene for den aktive model og et stort DDR-lag til flere modeller og checkpoints. Fordi chippen tilgår sin DDR direkte, holder et rack i din Dedicated Capacity flere modeller og fine-tunede checkpoints klar og skifter mellem dem på millisekunder. Et GPU-cluster skal bruge sekunder til minutter.

Derfor kan din Dedicated Capacity betjene en hel agentisk pipeline - en planlægningsmodel, en executor og en specialiseret fine-tune - og skifte ved hvert trin uden separat infrastruktur til hver model.

Hvor mange modeller der kan være på én gang, afhænger af deres arkitektur og præcision. Vi dimensionerer din Dedicated Capacity efter dit mix.

Skiftetid for checkpoints

Typisk genindlæsning på GPUsekunder til minutter
Dedicated Capacitymillisekunder

Sammenligning

Dedicated Capacity vs. Inference API

Inference APIDedicated Capacity
InfrastrukturDelt (multi-tenant)Reserveret (single-tenant)
AfregningPer tokenFast månedlig pris
Rate limitsEfter niveauIndividuelle eller ingen
Konkurrence om kapacitetDelt kø under belastningIngen - det hele er reserveret til dig
ModellerInference API-katalogetGLM-5.3, MiniMax M3.1 Flash og flere, plus dine checkpoints
Egne modeller (BYOC)Kun katalogetKataloget plus dine checkpoints
SupportEfter niveauEget team
SLA'erBest effortIndividuelle, garanterede

Se alle tre muligheder side om side

FAQ

Ligefremme svar på dine spørgsmål

Er performance med Dedicated Capacity den samme som med Inference API?

Ja, det er den samme hardware og den samme hastighed. Forskellen er, at kapaciteten kun er reserveret til dig. Der er ingen andre kunder, ingen delt kø og ingen konkurrence. Din throughput er stabil, fordi ingen andre bruger din Dedicated Capacity.

Hvornår giver Dedicated Capacity mening i forhold til betaling per token?

To ting afgør det, og kun den ene handler om pris. Økonomisk giver det mening ved vedvarende høj udnyttelse, altså når dit stabile volumen jævnligt går ud over det, priserne på Inference API dækker. Præcis hvor grænsen går, afhænger af din model og dit trafikmønster. Under den grænse er pay-as-you-go på Inference API som regel den bedre løsning. Den anden grund har intet med belastning at gøre: Hvis du vil køre dit eget udvalg af modeller eller dine egne fine-tunede checkpoints (BYOC) på hardware, der kun er reserveret til dig, får du det med Dedicated Capacity, uanset volumen. Det er også svaret, hvis du har brug for garanteret kapacitet og SLA'er, eller hvis du rammer rate limits på Inference API. Er dit workload svingende eller eksperimenterende, og har du ikke brug for den kontrol, anbefaler vi dig at blive på forbrugsbaseret betaling.

Kan jeg køre min egen fine-tunede model?

Ja, hvis den er en fine-tune af en arkitektur, vi allerede understøtter. Så kører den med det samme. Du fine-tuner på GPU'er og giver os vægtene, og vi kører dem på din Dedicated Capacity. En helt ny arkitektur kræver udviklingsarbejde, og det er en kommerciel samtale. Fortæl os, hvilken model du tænker på, så bekræfter vi, at den kan køre.

Kan I fine-tune modellen for os?

Nej, fine-tuning og træning foregår på GPU'er, ikke på denne arkitektur, som er bygget til inferens. Du eller din ML-partner fine-tuner på GPU'er, og vi hoster og kører det færdige checkpoint med fuld hastighed. Vi siger det ligeud, så forventningerne passer fra starten.

Hvor hurtigt kan I skifte mellem modeller eller checkpoints?

På millisekunder, mod sekunder til minutter på GPU'er. Ventende checkpoints ligger i chippens store DDR-lag, som chippen tilgår direkte. Derfor kan ét rack holde flere fine-tunede checkpoints og skifte mellem dem for hver forespørgsel, endda med forskellige modeller i forskellige trin af et agentisk forløb.

Hvilke modeller kan jeg køre, og hvor store må de være?

Alle modeller på listen, plus understøttede egne checkpoints. Alle modeller på listen kører på ét rack. Hvad der kan være på et rack, afhænger af modellens arkitektur og præcision, ikke kun af antallet af parametre. Står en model ikke på listen, undersøger vi sammen med dig, om den passer.

Hvor meget Dedicated Capacity har jeg brug for?

Vi dimensionerer din Dedicated Capacity ud fra dit workload: antal brugere, højeste samtidighed, type workload (interaktivt, agentisk, batch) og mål for throughput, regnet baglæns ud fra målt samtidighed. Vi dimensionerer hellere rigtigt end at sælge dig kapacitet, du ikke får brugt.

Kan jeg teste, før jeg binder mig?

Ja. Før du skriver under, kan vi aftale en tidsbegrænset test på Dedicated Capacity, så du først ser værdien på dit eget workload. Dedicated Capacity er en reel forpligtelse. Den bør komme efter dokumenteret værdi, ikke før.

Hvor lang tid tager deployment?

Leveringstiden oplyser vi efter aftale. Den afhænger af modellen og af den hardware, den kræver. Fortæl os om dit workload, så giver vi dig en dato.

Hvordan adskiller Dedicated Capacity sig fra On-Premises?

Det handler om placering og ejerskab. Med Dedicated Capacity ejer Infercom hardwaren, den står i vores datacenter i München og er reserveret kun til dig: Vi og vores driftspartner SambaNova driver den, du bruger den. Med On-Premises ejer du hardwaren, den står i dit eget datacenter, og du driver den selv. Performance er den samme. Forskellen er, hvem der har nøglerne.

Hvilken throughput får jeg reelt, ud over benchmark-tallet?

Den reelle throughput afhænger af din kontekstlængde og forholdet mellem input og output. De kendte tal i tokens per sekund er spidsværdier på gunstige workloads. Trafik med lang kontekst og meget output kører langsommere. Vi angiver throughput for dit faktiske workload, ikke for et enkelt best case-benchmark. Kun sådan kan Dedicated Capacity dimensioneres ærligt.

Hvad koster det?

Dedicated Capacity koster en fast månedlig pris for den kapacitet, der er reserveret til dig, med rabat for længere aftaler. Den rigtige konfiguration afhænger af dine modeller, din throughput og aftalens længde. Derfor fastsætter vi prisen individuelt per projekt i stedet for at offentliggøre den. Tal med os, så får du hurtigt konkrete tal.

Skal jeg binde mig på lang sigt?

Nej. Længere aftaler giver bedre priser, men modellandskabet ændrer sig hurtigt, og du vil ikke sidde fast i sidste års setup. Vi tilbyder også kortere aftaler. Fortæl os, hvor meget risiko du kan tåle, så finder vi en struktur, der passer.

Kan jeg videresælge kapaciteten eller køre mine egne kunders workloads på den?

Ja, det er din reserverede kapacitet, ligesom en server, du lejer. Du kan bygge den forretningsmodel ovenpå, du vil, også tjenester til dine egne kunder. Systemintegratorer og bureauer gør netop det. Tal med os, så sætter vi det op, så det passer til din måde at gå til markedet på.

Klar til at dimensionere din Dedicated Capacity?

Fortæl os om dit workload, så lægger vi hurtigt konkrete tal på bordet.