Compatibilità API
Il tuo codice OpenAI. Il tuo codice Anthropic. Ora con inferenza sovrana UE.
Cambia la base URL del tuo SDK OpenAI o Anthropic con quella di Infercom. Function calling, structured output e streaming funzionano come prima, e l'inferenza avviene a Monaco di Baviera.
Il passaggio in 5 minuti
Cambi una riga di codice, tutto il resto resta com'è.
01
Registrati e ottieni la chiave API
Crea il tuo account su cloud.infercom.ai.
02
Cambia la base URL
Imposta la base URL del tuo SDK OpenAI o Anthropic esistente su api.infercom.ai.
03
Scegli il modello
Scegli un modello: gpt-oss-120b per ragionamento e tool, Gemma 4 31B per testo e immagini.
from openai import OpenAI
client = OpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key"
)
response = client.chat.completions.create(
model="gpt-oss-120b",
messages=[{"role": "user", "content": "Hello"}],
stream=True
)
for chunk in response:
print(chunk.choices[0].delta.content, end="")from openai import OpenAI
client = OpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key"
)
# Responses API - built for agentic workflows
response = client.responses.create(
model="gpt-oss-120b",
input="Hello",
reasoning={"effort": "high"}
)
print(response.output_text)from anthropic import Anthropic
client = Anthropic(
base_url="https://api.infercom.ai",
api_key="your-api-key"
)
response = client.messages.create(
model="gpt-oss-120b",
max_tokens=1024,
messages=[{"role": "user", "content": "Hello"}]
)
print(response.content[0].text)curl https://api.infercom.ai/v1/chat/completions \
-H "Authorization: Bearer your-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-oss-120b",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'Le funzioni principali
Function calling
Con auto, required o un tool specifico, anche in streaming.
Structured output
Modalità JSON e JSON schema con strict.
Ragionamento
Con reasoning_effort controlli gpt-oss-120b. Il ragionamento torna in un campo separato.
Vision
Gemma 4 31B elabora le immagini che invii in base64.
Embedding e speech-to-text
E5-Mistral 7B e Whisper Large v3 con la stessa chiave API.
Scegli il tuo SDK
Piena compatibilità con le librerie client di OpenAI e Anthropic
OpenAI SDK
Compatibile con l'SDK OpenAI
Sostituto drop-in di OpenAI. Funziona con il tuo codice, i tuoi strumenti e i tuoi framework.
- Chat Completions e Responses API
- Funziona con LangChain, LlamaIndex e LiteLLM
- Python, JavaScript, TypeScript, REST
- Streaming, function calling, modalità JSON
Anthropic SDK
Anthropic Messages API
Lo stesso endpoint parla la Anthropic Messages API. Imposta base_url su https://api.infercom.ai e messaggi, system prompt, streaming e tool use restano invariati. gpt-oss-120b restituisce il ragionamento come blocchi di thinking, mentre Gemma 4 31B elabora le immagini.
- Endpoint standard /v1/messages
- Funziona con il codice Anthropic esistente
- Stessa autenticazione
Altri esempi
Funziona con i tuoi linguaggi e framework preferiti
import OpenAI from 'openai';
const client = new OpenAI({
baseURL: 'https://api.infercom.ai/v1',
apiKey: 'your-api-key',
});
const response = await client.chat.completions.create({
model: 'gpt-oss-120b',
messages: [{ role: 'user', content: 'Hello' }],
});
console.log(response.choices[0].message.content);from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key",
model="gpt-oss-120b"
)
response = llm.invoke("Explain quantum computing")
print(response.content)from litellm import completion
response = completion(
model="openai/gpt-oss-120b",
api_base="https://api.infercom.ai/v1",
api_key="your-api-key",
messages=[{"role": "user", "content": "Hello"}]
)
print(response.choices[0].message.content)from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="gpt-oss-120b",
api_base="https://api.infercom.ai/v1",
api_key="your-api-key",
is_chat_model=True
)
response = llm.complete("Explain quantum computing")
print(response)Fino a 10x più veloce dell'inferenza su GPU
L'architettura dataflow di SambaNova offre un'inferenza fino a 10x più veloce rispetto ai provider basati su GPU. Ogni risposta riporta il proprio time to first token e i token al secondo.
Throughput di output, p50, 10K input / 1K output, singola richiesta. Ultima misurazione: luglio 2026.
Endpoint supportati
-
/v1/chat/completionsChat completions con streaming
-
/v1/responsesResponses API per workflow agentici - tool, ragionamento, streaming
-
/v1/messagesFormato Anthropic Messages API
-
/v1/modelsElenca i modelli disponibili e i metadati
-
/v1/embeddingsEmbedding di testo (modelli selezionati)
-
/v1/audio/transcriptionsSpeech-to-text con Whisper Large v3
Sovranità UE inclusa
API compatibile OpenAI, giurisdizione europea.
- I modelli sovrani UE vengono eseguiti in un data center certificato a Monaco di Baviera
- Nessuna esposizione al US CLOUD Act
- Conforme al GDPR, certificazione ISO 27001
- Nessuna archiviazione persistente di prompt e output
FAQ
Domande prima del passaggio
Devo modificare il mio codice?
No. Imposta la base URL su https://api.infercom.ai/v1 (SDK OpenAI) o https://api.infercom.ai (SDK Anthropic), usa la tua chiave API Infercom e scegli un modello. Il resto del codice resta com'è.
Il function calling funziona?
Sì, con gpt-oss-120b e Gemma 4 31B: tool_choice auto, required o una funzione specifica, con e senza streaming. Il risultato del tool lo rimandi come messaggio di tipo tool, come con OpenAI.
Posso ottenere un JSON conforme al mio schema?
Sì. Usa response_format con json_schema e strict: true, oppure json_object per un JSON libero. Per vincolare un singolo campo, aggiungi un pattern a quel campo nello schema.
Dove vanno parametri come top_k?
top_k e repetition_penalty non fanno parte dell'SDK OpenAI. In Python li passi in extra_body. Nella richiesta vera e propria stanno nel normale body JSON.
Perché gpt-oss-120b a volte non restituisce testo?
gpt-oss-120b ragiona prima di rispondere, e il ragionamento rientra in max_tokens. Se il budget si esaurisce durante il ragionamento, finish_reason vale "length" e la risposta resta vuota. Imposta un valore di max_tokens sufficiente e controlla finish_reason. Con reasoning_effort decidi quanto ragiona il modello.
L'SDK Anthropic funziona?
Sì. Messaggi, system prompt, streaming, tool use e conteggio dei token funzionano sullo stesso endpoint. gpt-oss-120b restituisce il ragionamento come blocchi di thinking, e Gemma 4 31B elabora le immagini.
Posso inviare immagini?
Sì, a Gemma 4 31B, come JPEG, PNG o WebP in base64 e con entrambi gli SDK. Ogni immagine occupa un budget fisso di circa 260 token. Per i dettagli fini, dividi un'immagine grande in porzioni e inviale come più immagini.
Funziona con LangChain, LlamaIndex o LiteLLM?
Sì. Usa ChatOpenAI in LangChain, OpenAILike in LlamaIndex e il prefisso di modello openai/ in LiteLLM, sempre con la nostra base URL. Anche gli strumenti che chiamano i modelli tramite LiteLLM, come CrewAI, funzionano allo stesso modo.
Cosa devo controllare quando faccio il passaggio?
La maggior parte del codice funziona senza modifiche. Conviene controllare tre punti: imposta temperature in ogni richiesta (il valore consigliato per ogni modello è nella documentazione), usa repetition_penalty al posto di frequency_penalty o presence_penalty e invia le immagini in base64. La Responses API è stateless, quindi invia la conversazione con ogni richiesta.
Ricevo un 429. Cosa significa?
Hai raggiunto il rate limit del tuo tier, oppure la coda è piena in un momento di picco. I limiti per tier sono nella documentazione. Se il messaggio parla di "deployments", proviene da un router che sta davanti alla nostra API, non da noi.
Conservate i miei prompt?
No. Conserviamo solo metadati come modello, numero di token e tempi. Prompt e output non vengono mai archiviati in modo persistente.