Inference API
con modelli sovrani UE che scegli tu
Inferenza compatibile OpenAI sui modelli open-weight più recenti, su hardware progettato per questo a Monaco di Baviera. Scegli i modelli sovrani UE e i tuoi dati restano nell'UE. Fino a 10x più veloce delle GPU, paghi solo ciò che usi, operativo in pochi minuti.
Perché Infercom
Risposte veloci per i workload di produzione: conformi e integrate in pochi minuti, senza infrastruttura da gestire.
Perché la velocità conta
Si manifesta in due modi: si accumula lungo le tante chiamate di un agente e la senti nell'istante in cui un'app in tempo reale risponde.
1 · Si accumula
Un chatbot fa una chiamata per turno. Un agente fa 50-100 chiamate di inferenza per completare un solo compito, e ognuna aspetta la precedente.
A quella scala, la latenza per chiamata non è più un dettaglio: decide cosa puoi rilasciare. Stesso agente, stessa logica, stesso modello: l'infrastruttura sottostante fa la differenza tra un task che finisce in pochi minuti e uno che ne richiede dieci.
Compito agentico da 50 turni
Calcolato: ogni chiamata con 10K token di input e 1K di output. Infercom con il tempo end-to-end misurato di 3,023 s su MiniMax M2.7 (luglio 2026); GPU a 90 tok/s più lo stesso time to first token. Non è una misurazione di un provider GPU.
2 · Lo senti
In un assistente vocale o in uno strumento di coding dal vivo, a rendere l'esperienza umana non è il throughput totale, ma la rapidità con cui la risposta inizia. Una lunga pausa prima della prima parola rompe l'illusione di una conversazione.
L'architettura dataflow offre un time to first token rapido, così le app in tempo reale risultano reattive invece che lente. Ogni risposta dell'API riporta il TTFT misurato, così puoi tenere la tua app a quello standard.
Time to First Token
Integrazione
Punta l'SDK di OpenAI su Infercom e mantieni il resto del codice. Chat completions, streaming, structured output e function calling funzionano come ti aspetti.
from openai import OpenAI
client = OpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key"
)
response = client.chat.completions.create(
model="MiniMax-M2.7",
messages=[
{"role": "user", "content": "Hello!"}
]
)
# usage includes measured tokens/sec + TTFTUn catalogo esteso con altri modelli open-weight, elaborati fuori dall'UE in una regione che non controlliamo, per i team che hanno bisogno di una scelta più ampia di modelli.
Per i dati sensibili ai fini del GDPR usa i modelli sovrani UE. Il catalogo globale gira su infrastrutture esterne fuori dalla giurisdizione UE.
Livelli di accesso
Self-service su infrastruttura condivisa. Passa al livello successivo quando il tuo utilizzo cresce.
Self-service
Pay-as-you-go
Registrati, crea una chiave API e inizia a costruire. Paghi solo i token che usi, ai prezzi di listino pubblicati.
Committed Use
Su misura
Per workload di produzione che richiedono throughput più alto, priorità e un accordo commerciale.
Costruisci con Infercom
Punta qualsiasi client compatibile con OpenAI o Anthropic su Infercom e inizia a rilasciare. Ecco da dove partire.
FAQ
Sì. Sostituisce direttamente l'API di OpenAI: cambia la base URL in https://api.infercom.ai/v1, usa la tua chiave API Infercom e il resto del codice resta invariato. Siamo compatibili anche con Anthropic, quindi funziona anche l'SDK di Anthropic. Trovi esempi a confronto nella pagina sulla compatibilità API.
Usa i modelli sovrani UE. Girano sul nostro hardware nel nostro datacenter a Monaco di Baviera, e i tuoi dati restano sotto la giurisdizione UE. Inoltre non archiviamo nulla in modo persistente: prompt e risposte non vengono scritti su disco, non addestriamo sui tuoi dati e non serviamo risposte dalla cache. I modelli del catalogo Global sono elaborati fuori dall'UE, quindi per i workload sensibili al GDPR scegli i modelli sovrani UE. Maggiori dettagli nel nostro Trust Center.
No. Oggi serviamo ogni modello con la precisione con cui chi lo pubblica lo ha rilasciato, senza quantizzarlo.
Oggi no: l'API si raggiunge via HTTPS sull'internet pubblico. Se una connessione privata è un requisito, parliamo della tua rete.
Misurato sulla nostra API di produzione: 428 tok/s con MiniMax M2.7 e 713 tok/s con gpt-oss-120b (luglio 2026). La velocità di output per richiesta resta stabile quando molte richieste girano in parallelo; il time to first token cresce quando le richieste restano in coda nelle ore di punta. Ogni risposta riporta il suo time to first token e i token al secondo, così puoi verificarlo sul tuo workload.
Developer è self-service, a consumo, con rate limit standard: ideale per sviluppare e arrivare in produzione. Enterprise aggiunge rate limit di produzione, priorità di scheduling, sconti sui volumi e supporto dedicato a fronte di un impegno mensile minimo. Puoi iniziare con Developer e passare a Enterprise quando l'utilizzo cresce.
Ogni modello viene ottimizzato per l'hardware dataflow invece di essere caricato così com'è. Un nuovo checkpoint di un'architettura che già eseguiamo può andare live in ore o giorni, una nuova versione di una famiglia supportata in giorni o settimane. Un'architettura del tutto nuova richiede settimane di ingegneria. Dicci di quale modello hai bisogno e ti daremo una risposta onesta sui tempi. Se è un fine-tune di qualcosa che già supportiamo, è rapido.
Sì. Paghi a consumo in base ai prezzi di listino per token pubblicati, quindi i costi sono prevedibili e facili da stimare. Paghi solo i token che usi, senza minimi e senza vincoli nel livello Developer. E puoi controllare i consumi in tempo reale in qualsiasi momento nella console su cloud.infercom.ai.
L'API condivisa offre disponibilità best effort senza uno SLA contrattuale: è pensata per costruire, integrare e scalare fino alla produzione. Se ti servono uno SLA garantito, throughput riservato e nessuna contesa con altri utenti, è proprio ciò che offre Dedicated Capacity.
Sull'infrastruttura condivisa i tier più alti hanno priorità di scheduling, quindi nei picchi di carico una richiesta di un tier inferiore può aspettare dietro al traffico enterprise. Nel funzionamento normale le richieste vanno in coda invece di fallire, e la velocità di output di una richiesta in corso non cambia; cresce solo il time to first token mentre aspetta. In caso di sovraccarico estremo la coda può rifiutare richieste. Per una capacità che nessun altro cliente tocca, c'è Dedicated Capacity.
Sì, su MiniMax M2.7. Il contesto ripetuto arriva da una cache nella memoria dei chip, così i prompt lunghi partono prima; nulla viene scritto su disco. Per ora i token in cache sono fatturati al normale prezzo di input.
Per il lavoro sensibile alla latenza, come agenti, chat, voce e coding, l'architettura dataflow offre fino a 10 volte la velocità, senza un cluster da ottimizzare. Per la pura generazione batch offline, dove la latenza non conta, le GPU possono costare meno, e te lo diciamo. Molti team lavorano in modo ibrido: Infercom per l'inferenza rivolta agli utenti, GPU per i job in background.
Stessa piattaforma, stesse prestazioni, con più isolamento quando ti serve.
La stessa API su hardware single-tenant riservato a te, fatturato mensilmente, con throughput garantito e modelli personalizzati.
Scopri di più: Dedicated CapacityIl tuo datacenter, il tuo hardware: il massimo isolamento, con un'opzione air-gapped per i requisiti più rigorosi.
Scopri di più: On-PremisesUnisciti alle organizzazioni che usano l'AI sovrana con prestazioni di altissimo livello