API-kompatibilitet
Din OpenAI-kode. Din Anthropic-kode. Nu med EU-suveræn inferens.
Skift base URL'en i dit OpenAI- eller Anthropic-SDK til Infercom. Function calling, structured output og streaming virker som før, og inferensen kører i München.
Skift på 5 minutter
Du ændrer én linje kode, og alt andet bliver, som det er.
01
Opret en konto og få en API-nøgle
Opret din konto på cloud.infercom.ai.
02
Skift base URL
Sæt base URL'en i dit eksisterende OpenAI- eller Anthropic-SDK til api.infercom.ai.
03
Vælg din model
Vælg en model: gpt-oss-120b til ræsonnering og tools, Gemma 4 31B til tekst og billeder.
from openai import OpenAI
client = OpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key"
)
response = client.chat.completions.create(
model="gpt-oss-120b",
messages=[{"role": "user", "content": "Hello"}],
stream=True
)
for chunk in response:
print(chunk.choices[0].delta.content, end="")from openai import OpenAI
client = OpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key"
)
# Responses API - built for agentic workflows
response = client.responses.create(
model="gpt-oss-120b",
input="Hello",
reasoning={"effort": "high"}
)
print(response.output_text)from anthropic import Anthropic
client = Anthropic(
base_url="https://api.infercom.ai",
api_key="your-api-key"
)
response = client.messages.create(
model="gpt-oss-120b",
max_tokens=1024,
messages=[{"role": "user", "content": "Hello"}]
)
print(response.content[0].text)curl https://api.infercom.ai/v1/chat/completions \
-H "Authorization: Bearer your-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-oss-120b",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'De vigtigste funktioner
Function calling
Med auto, required eller et navngivet tool, også ved streaming.
Structured output
JSON-tilstand og JSON schema med strict.
Ræsonnering
Med reasoning_effort styrer du gpt-oss-120b. Ræsonneringen kommer tilbage i sit eget felt.
Vision
Gemma 4 31B læser billeder, som du sender som base64.
Embeddings og speech-to-text
E5-Mistral 7B og Whisper Large v3 med den samme API-nøgle.
Vælg dit SDK
Fuld kompatibilitet med klientbibliotekerne fra OpenAI og Anthropic
OpenAI SDK
Kompatibel med OpenAI SDK
Drop-in-erstatning for OpenAI. Virker med din eksisterende kode, dine værktøjer og frameworks.
- Chat Completions og Responses API
- Virker med LangChain, LlamaIndex og LiteLLM
- Python, JavaScript, TypeScript, REST
- Streaming, function calling, JSON-tilstand
Anthropic SDK
Anthropic Messages API
Det samme endpoint forstår Anthropic Messages API. Sæt base_url til https://api.infercom.ai, så virker dine messages, system prompts, streaming og tool use uændret. gpt-oss-120b leverer sin ræsonnering som thinking-blokke, og Gemma 4 31B læser billeder.
- Standard-endpoint /v1/messages
- Virker med eksisterende Anthropic-kode
- Samme godkendelse
Flere eksempler
Virker med dine foretrukne sprog og frameworks
import OpenAI from 'openai';
const client = new OpenAI({
baseURL: 'https://api.infercom.ai/v1',
apiKey: 'your-api-key',
});
const response = await client.chat.completions.create({
model: 'gpt-oss-120b',
messages: [{ role: 'user', content: 'Hello' }],
});
console.log(response.choices[0].message.content);from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key",
model="gpt-oss-120b"
)
response = llm.invoke("Explain quantum computing")
print(response.content)from litellm import completion
response = completion(
model="openai/gpt-oss-120b",
api_base="https://api.infercom.ai/v1",
api_key="your-api-key",
messages=[{"role": "user", "content": "Hello"}]
)
print(response.choices[0].message.content)from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="gpt-oss-120b",
api_base="https://api.infercom.ai/v1",
api_key="your-api-key",
is_chat_model=True
)
response = llm.complete("Explain quantum computing")
print(response)Op til 10x hurtigere end GPU-inferens
SambaNovas dataflow-arkitektur leverer op til 10x hurtigere inferens end GPU-baserede udbydere. Hvert svar oplyser sin time to first token og antallet af tokens per sekund.
Output-throughput, p50, 10K input / 1K output, én forespørgsel. Senest målt: juli 2026.
Understøttede endpoints
-
/v1/chat/completionsChat completions med streaming
-
/v1/responsesResponses API til agentiske workflows - tools, ræsonnering, streaming
-
/v1/messagesFormatet fra Anthropic Messages API
-
/v1/modelsVis tilgængelige modeller og metadata
-
/v1/embeddingsTekst-embeddings (udvalgte modeller)
-
/v1/audio/transcriptionsSpeech-to-text med Whisper Large v3
EU-suverænitet er med
OpenAI-kompatibel API, europæisk jurisdiktion.
- EU-suveræne modeller kører i et certificeret datacenter i München
- Ingen US CLOUD Act-eksponering
- Overholder GDPR, ISO 27001-certificeret
- Ingen permanent lagring af prompts og output
FAQ
Spørgsmål, før du skifter
Skal jeg ændre min kode?
Nej. Sæt base URL'en til https://api.infercom.ai/v1 (OpenAI SDK) eller https://api.infercom.ai (Anthropic SDK), brug din Infercom-API-nøgle, og vælg en model. Resten af din kode forbliver, som den er.
Virker function calling?
Ja, med gpt-oss-120b og Gemma 4 31B: tool_choice auto, required eller en navngivet funktion, med og uden streaming. Resultatet fra dit tool sender du tilbage som en tool-besked, ligesom hos OpenAI.
Kan jeg få JSON, der passer til mit schema?
Ja. Brug response_format med json_schema og strict: true, eller json_object til frit JSON. Vil du begrænse et enkelt felt, giver du det et pattern i schemaet.
Hvor skal parametre som top_k sendes?
top_k og repetition_penalty er ikke en del af OpenAI SDK. I Python sender du dem i extra_body. I selve forespørgslen står de helt normalt i JSON-bodyen.
Hvorfor returnerer gpt-oss-120b nogle gange ingen tekst?
gpt-oss-120b ræsonnerer, før det svarer, og ræsonneringen tæller med i max_tokens. Løber budgettet ud under ræsonneringen, står finish_reason på "length", og svaret er tomt. Giv modellen nok max_tokens, og tjek finish_reason. Med reasoning_effort bestemmer du, hvor meget den ræsonnerer.
Virker Anthropic SDK?
Ja. Messages, system prompts, streaming, tool use og optælling af tokens virker via det samme endpoint. gpt-oss-120b leverer sin ræsonnering som thinking-blokke, og Gemma 4 31B læser billeder.
Kan jeg sende billeder?
Ja, til Gemma 4 31B som base64-kodet JPEG, PNG eller WebP og via begge SDK'er. Hvert billede bruger et fast budget på omkring 260 tokens. Har du brug for fine detaljer, deler du et stort billede op i udsnit og sender dem som flere billeder.
Virker det med LangChain, LlamaIndex eller LiteLLM?
Ja. Brug ChatOpenAI i LangChain, OpenAILike i LlamaIndex og modelpræfikset openai/ i LiteLLM, hver gang med vores base URL. Værktøjer, der kalder modeller via LiteLLM, for eksempel CrewAI, virker på samme måde.
Hvad skal jeg tjekke, når jeg skifter?
Det meste kode kører uændret. Tre ting er værd at se på: Sæt temperature i hver forespørgsel (den anbefalede værdi per model står i dokumentationen), brug repetition_penalty i stedet for frequency_penalty eller presence_penalty, og send billeder som base64. Responses API er stateless, så du sender samtalen med i hver forespørgsel.
Jeg får en 429. Hvad betyder det?
Du har nået rate limit for din plan, eller køen er fuld på et spidsbelastningstidspunkt. Grænserne per plan står i dokumentationen. Nævner meddelelsen "deployments", kommer den fra en router foran os og ikke fra vores API.
Gemmer I mine prompts?
Nej. Vi gemmer kun metadata som model, antal tokens og tidsangivelser. Prompts og output gemmes aldrig permanent.