Compatibilità API

Il tuo codice OpenAI. Il tuo codice Anthropic. Ora con inferenza sovrana UE.

Cambia la base URL del tuo SDK OpenAI o Anthropic con quella di Infercom. Function calling, structured output e streaming funzionano come prima, e l'inferenza avviene a Monaco di Baviera.

Il passaggio in 5 minuti

Cambi una riga di codice, tutto il resto resta com'è.

01

Registrati e ottieni la chiave API

Crea il tuo account su cloud.infercom.ai.

02

Cambia la base URL

Imposta la base URL del tuo SDK OpenAI o Anthropic esistente su api.infercom.ai.

03

Scegli il modello

Scegli un modello: gpt-oss-120b per ragionamento e tool, Gemma 4 31B per testo e immagini.

OpenAI SDK
from openai import OpenAI

client = OpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="your-api-key"
)

response = client.chat.completions.create(
    model="gpt-oss-120b",
    messages=[{"role": "user", "content": "Hello"}],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content, end="")
Responses API
from openai import OpenAI

client = OpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="your-api-key"
)

# Responses API - built for agentic workflows
response = client.responses.create(
    model="gpt-oss-120b",
    input="Hello",
    reasoning={"effort": "high"}
)

print(response.output_text)
Anthropic SDK
from anthropic import Anthropic

client = Anthropic(
    base_url="https://api.infercom.ai",
    api_key="your-api-key"
)

response = client.messages.create(
    model="gpt-oss-120b",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello"}]
)

print(response.content[0].text)
curl
curl https://api.infercom.ai/v1/chat/completions \
  -H "Authorization: Bearer your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-oss-120b",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

Le funzioni principali

Function calling

Con auto, required o un tool specifico, anche in streaming.

Structured output

Modalità JSON e JSON schema con strict.

Ragionamento

Con reasoning_effort controlli gpt-oss-120b. Il ragionamento torna in un campo separato.

Vision

Gemma 4 31B elabora le immagini che invii in base64.

Embedding e speech-to-text

E5-Mistral 7B e Whisper Large v3 con la stessa chiave API.

Tutti i dettagli sulla compatibilità nella documentazione

Scegli il tuo SDK

Piena compatibilità con le librerie client di OpenAI e Anthropic

OpenAI SDK

Compatibile con l'SDK OpenAI

Sostituto drop-in di OpenAI. Funziona con il tuo codice, i tuoi strumenti e i tuoi framework.

  • Chat Completions e Responses API
  • Funziona con LangChain, LlamaIndex e LiteLLM
  • Python, JavaScript, TypeScript, REST
  • Streaming, function calling, modalità JSON

Vedi la documentazione sulla compatibilità OpenAI

Anthropic SDK

Anthropic Messages API

Lo stesso endpoint parla la Anthropic Messages API. Imposta base_url su https://api.infercom.ai e messaggi, system prompt, streaming e tool use restano invariati. gpt-oss-120b restituisce il ragionamento come blocchi di thinking, mentre Gemma 4 31B elabora le immagini.

  • Endpoint standard /v1/messages
  • Funziona con il codice Anthropic esistente
  • Stessa autenticazione

Vedi la documentazione sulla compatibilità Anthropic

Altri esempi

Funziona con i tuoi linguaggi e framework preferiti

JavaScript / TypeScript
import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://api.infercom.ai/v1',
  apiKey: 'your-api-key',
});

const response = await client.chat.completions.create({
  model: 'gpt-oss-120b',
  messages: [{ role: 'user', content: 'Hello' }],
});

console.log(response.choices[0].message.content);
LangChain
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="your-api-key",
    model="gpt-oss-120b"
)

response = llm.invoke("Explain quantum computing")
print(response.content)
LiteLLM
from litellm import completion

response = completion(
    model="openai/gpt-oss-120b",
    api_base="https://api.infercom.ai/v1",
    api_key="your-api-key",
    messages=[{"role": "user", "content": "Hello"}]
)

print(response.choices[0].message.content)
LlamaIndex
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="gpt-oss-120b",
    api_base="https://api.infercom.ai/v1",
    api_key="your-api-key",
    is_chat_model=True
)

response = llm.complete("Explain quantum computing")
print(response)

Vedi la guida rapida completa

Fino a 10x più veloce dell'inferenza su GPU

L'architettura dataflow di SambaNova offre un'inferenza fino a 10x più veloce rispetto ai provider basati su GPU. Ogni risposta riporta il proprio time to first token e i token al secondo.

713tok/s · gpt-oss-120b
Fino a 10xpiù veloce dell'inferenza su GPU

Throughput di output, p50, 10K input / 1K output, singola richiesta. Ultima misurazione: luglio 2026.

Vedi i benchmark delle prestazioni

Endpoint supportati

  • /v1/chat/completions

    Chat completions con streaming

  • /v1/responses

    Responses API per workflow agentici - tool, ragionamento, streaming

  • /v1/messages

    Formato Anthropic Messages API

  • /v1/models

    Elenca i modelli disponibili e i metadati

  • /v1/embeddings

    Embedding di testo (modelli selezionati)

  • /v1/audio/transcriptions

    Speech-to-text con Whisper Large v3

Riferimento API completo

Sovranità UE inclusa

API compatibile OpenAI, giurisdizione europea.

  • I modelli sovrani UE vengono eseguiti in un data center certificato a Monaco di Baviera
  • Nessuna esposizione al US CLOUD Act
  • Conforme al GDPR, certificazione ISO 27001
  • Nessuna archiviazione persistente di prompt e output

Scopri la sovranità UE

ISO 27001Certificato
GDPRConforme
AI ActTi supportiamo
MonacoDatacenter

FAQ

Domande prima del passaggio

Devo modificare il mio codice?

No. Imposta la base URL su https://api.infercom.ai/v1 (SDK OpenAI) o https://api.infercom.ai (SDK Anthropic), usa la tua chiave API Infercom e scegli un modello. Il resto del codice resta com'è.

Il function calling funziona?

Sì, con gpt-oss-120b e Gemma 4 31B: tool_choice auto, required o una funzione specifica, con e senza streaming. Il risultato del tool lo rimandi come messaggio di tipo tool, come con OpenAI.

Posso ottenere un JSON conforme al mio schema?

Sì. Usa response_format con json_schema e strict: true, oppure json_object per un JSON libero. Per vincolare un singolo campo, aggiungi un pattern a quel campo nello schema.

Dove vanno parametri come top_k?

top_k e repetition_penalty non fanno parte dell'SDK OpenAI. In Python li passi in extra_body. Nella richiesta vera e propria stanno nel normale body JSON.

Vedi la documentazione sulla compatibilità OpenAI

Perché gpt-oss-120b a volte non restituisce testo?

gpt-oss-120b ragiona prima di rispondere, e il ragionamento rientra in max_tokens. Se il budget si esaurisce durante il ragionamento, finish_reason vale "length" e la risposta resta vuota. Imposta un valore di max_tokens sufficiente e controlla finish_reason. Con reasoning_effort decidi quanto ragiona il modello.

L'SDK Anthropic funziona?

Sì. Messaggi, system prompt, streaming, tool use e conteggio dei token funzionano sullo stesso endpoint. gpt-oss-120b restituisce il ragionamento come blocchi di thinking, e Gemma 4 31B elabora le immagini.

Vedi la documentazione sulla compatibilità Anthropic

Posso inviare immagini?

Sì, a Gemma 4 31B, come JPEG, PNG o WebP in base64 e con entrambi gli SDK. Ogni immagine occupa un budget fisso di circa 260 token. Per i dettagli fini, dividi un'immagine grande in porzioni e inviale come più immagini.

Funziona con LangChain, LlamaIndex o LiteLLM?

Sì. Usa ChatOpenAI in LangChain, OpenAILike in LlamaIndex e il prefisso di modello openai/ in LiteLLM, sempre con la nostra base URL. Anche gli strumenti che chiamano i modelli tramite LiteLLM, come CrewAI, funzionano allo stesso modo.

Cosa devo controllare quando faccio il passaggio?

La maggior parte del codice funziona senza modifiche. Conviene controllare tre punti: imposta temperature in ogni richiesta (il valore consigliato per ogni modello è nella documentazione), usa repetition_penalty al posto di frequency_penalty o presence_penalty e invia le immagini in base64. La Responses API è stateless, quindi invia la conversazione con ogni richiesta.

Vedi la documentazione sulla compatibilità OpenAI

Ricevo un 429. Cosa significa?

Hai raggiunto il rate limit del tuo tier, oppure la coda è piena in un momento di picco. I limiti per tier sono nella documentazione. Se il messaggio parla di "deployments", proviene da un router che sta davanti alla nostra API, non da noi.

Vedi i rate limit nella documentazione

Conservate i miei prompt?

No. Conserviamo solo metadati come modello, numero di token e tempi. Prompt e output non vengono mai archiviati in modo persistente.

Vai al Trust Center

Vuoi costruire il futuro dell'AI in Europa?

Unisciti alle organizzazioni che usano l'AI sovrana con prestazioni di altissimo livello