API-kompatibilitet

Din OpenAI-kode. Din Anthropic-kode. Nu med EU-suveræn inferens.

Skift base URL'en i dit OpenAI- eller Anthropic-SDK til Infercom. Function calling, structured output og streaming virker som før, og inferensen kører i München.

Skift på 5 minutter

Du ændrer én linje kode, og alt andet bliver, som det er.

01

Opret en konto og få en API-nøgle

Opret din konto på cloud.infercom.ai.

02

Skift base URL

Sæt base URL'en i dit eksisterende OpenAI- eller Anthropic-SDK til api.infercom.ai.

03

Vælg din model

Vælg en model: gpt-oss-120b til ræsonnering og tools, Gemma 4 31B til tekst og billeder.

OpenAI SDK
from openai import OpenAI

client = OpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="your-api-key"
)

response = client.chat.completions.create(
    model="gpt-oss-120b",
    messages=[{"role": "user", "content": "Hello"}],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content, end="")
Responses API
from openai import OpenAI

client = OpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="your-api-key"
)

# Responses API - built for agentic workflows
response = client.responses.create(
    model="gpt-oss-120b",
    input="Hello",
    reasoning={"effort": "high"}
)

print(response.output_text)
Anthropic SDK
from anthropic import Anthropic

client = Anthropic(
    base_url="https://api.infercom.ai",
    api_key="your-api-key"
)

response = client.messages.create(
    model="gpt-oss-120b",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello"}]
)

print(response.content[0].text)
curl
curl https://api.infercom.ai/v1/chat/completions \
  -H "Authorization: Bearer your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-oss-120b",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

De vigtigste funktioner

Function calling

Med auto, required eller et navngivet tool, også ved streaming.

Structured output

JSON-tilstand og JSON schema med strict.

Ræsonnering

Med reasoning_effort styrer du gpt-oss-120b. Ræsonneringen kommer tilbage i sit eget felt.

Vision

Gemma 4 31B læser billeder, som du sender som base64.

Embeddings og speech-to-text

E5-Mistral 7B og Whisper Large v3 med den samme API-nøgle.

Alle detaljer om kompatibilitet i dokumentationen

Vælg dit SDK

Fuld kompatibilitet med klientbibliotekerne fra OpenAI og Anthropic

OpenAI SDK

Kompatibel med OpenAI SDK

Drop-in-erstatning for OpenAI. Virker med din eksisterende kode, dine værktøjer og frameworks.

  • Chat Completions og Responses API
  • Virker med LangChain, LlamaIndex og LiteLLM
  • Python, JavaScript, TypeScript, REST
  • Streaming, function calling, JSON-tilstand

Se dokumentationen om OpenAI-kompatibilitet

Anthropic SDK

Anthropic Messages API

Det samme endpoint forstår Anthropic Messages API. Sæt base_url til https://api.infercom.ai, så virker dine messages, system prompts, streaming og tool use uændret. gpt-oss-120b leverer sin ræsonnering som thinking-blokke, og Gemma 4 31B læser billeder.

  • Standard-endpoint /v1/messages
  • Virker med eksisterende Anthropic-kode
  • Samme godkendelse

Se dokumentationen om Anthropic-kompatibilitet

Flere eksempler

Virker med dine foretrukne sprog og frameworks

JavaScript / TypeScript
import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://api.infercom.ai/v1',
  apiKey: 'your-api-key',
});

const response = await client.chat.completions.create({
  model: 'gpt-oss-120b',
  messages: [{ role: 'user', content: 'Hello' }],
});

console.log(response.choices[0].message.content);
LangChain
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="your-api-key",
    model="gpt-oss-120b"
)

response = llm.invoke("Explain quantum computing")
print(response.content)
LiteLLM
from litellm import completion

response = completion(
    model="openai/gpt-oss-120b",
    api_base="https://api.infercom.ai/v1",
    api_key="your-api-key",
    messages=[{"role": "user", "content": "Hello"}]
)

print(response.choices[0].message.content)
LlamaIndex
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="gpt-oss-120b",
    api_base="https://api.infercom.ai/v1",
    api_key="your-api-key",
    is_chat_model=True
)

response = llm.complete("Explain quantum computing")
print(response)

Se hele quickstart-guiden

Op til 10x hurtigere end GPU-inferens

SambaNovas dataflow-arkitektur leverer op til 10x hurtigere inferens end GPU-baserede udbydere. Hvert svar oplyser sin time to first token og antallet af tokens per sekund.

713tok/s · gpt-oss-120b
Op til 10xhurtigere end GPU-inferens

Output-throughput, p50, 10K input / 1K output, én forespørgsel. Senest målt: juli 2026.

Se performance-benchmarks

Understøttede endpoints

  • /v1/chat/completions

    Chat completions med streaming

  • /v1/responses

    Responses API til agentiske workflows - tools, ræsonnering, streaming

  • /v1/messages

    Formatet fra Anthropic Messages API

  • /v1/models

    Vis tilgængelige modeller og metadata

  • /v1/embeddings

    Tekst-embeddings (udvalgte modeller)

  • /v1/audio/transcriptions

    Speech-to-text med Whisper Large v3

Hele API-referencen

EU-suverænitet er med

OpenAI-kompatibel API, europæisk jurisdiktion.

  • EU-suveræne modeller kører i et certificeret datacenter i München
  • Ingen US CLOUD Act-eksponering
  • Overholder GDPR, ISO 27001-certificeret
  • Ingen permanent lagring af prompts og output

Mere om EU-suverænitet

ISO 27001Certificeret
GDPRCompliant
AI ActVi hjælper dig
MünchenDatacenter

FAQ

Spørgsmål, før du skifter

Skal jeg ændre min kode?

Nej. Sæt base URL'en til https://api.infercom.ai/v1 (OpenAI SDK) eller https://api.infercom.ai (Anthropic SDK), brug din Infercom-API-nøgle, og vælg en model. Resten af din kode forbliver, som den er.

Virker function calling?

Ja, med gpt-oss-120b og Gemma 4 31B: tool_choice auto, required eller en navngivet funktion, med og uden streaming. Resultatet fra dit tool sender du tilbage som en tool-besked, ligesom hos OpenAI.

Kan jeg få JSON, der passer til mit schema?

Ja. Brug response_format med json_schema og strict: true, eller json_object til frit JSON. Vil du begrænse et enkelt felt, giver du det et pattern i schemaet.

Hvor skal parametre som top_k sendes?

top_k og repetition_penalty er ikke en del af OpenAI SDK. I Python sender du dem i extra_body. I selve forespørgslen står de helt normalt i JSON-bodyen.

Se dokumentationen om OpenAI-kompatibilitet

Hvorfor returnerer gpt-oss-120b nogle gange ingen tekst?

gpt-oss-120b ræsonnerer, før det svarer, og ræsonneringen tæller med i max_tokens. Løber budgettet ud under ræsonneringen, står finish_reason på "length", og svaret er tomt. Giv modellen nok max_tokens, og tjek finish_reason. Med reasoning_effort bestemmer du, hvor meget den ræsonnerer.

Virker Anthropic SDK?

Ja. Messages, system prompts, streaming, tool use og optælling af tokens virker via det samme endpoint. gpt-oss-120b leverer sin ræsonnering som thinking-blokke, og Gemma 4 31B læser billeder.

Se dokumentationen om Anthropic-kompatibilitet

Kan jeg sende billeder?

Ja, til Gemma 4 31B som base64-kodet JPEG, PNG eller WebP og via begge SDK'er. Hvert billede bruger et fast budget på omkring 260 tokens. Har du brug for fine detaljer, deler du et stort billede op i udsnit og sender dem som flere billeder.

Virker det med LangChain, LlamaIndex eller LiteLLM?

Ja. Brug ChatOpenAI i LangChain, OpenAILike i LlamaIndex og modelpræfikset openai/ i LiteLLM, hver gang med vores base URL. Værktøjer, der kalder modeller via LiteLLM, for eksempel CrewAI, virker på samme måde.

Hvad skal jeg tjekke, når jeg skifter?

Det meste kode kører uændret. Tre ting er værd at se på: Sæt temperature i hver forespørgsel (den anbefalede værdi per model står i dokumentationen), brug repetition_penalty i stedet for frequency_penalty eller presence_penalty, og send billeder som base64. Responses API er stateless, så du sender samtalen med i hver forespørgsel.

Se dokumentationen om OpenAI-kompatibilitet

Jeg får en 429. Hvad betyder det?

Du har nået rate limit for din plan, eller køen er fuld på et spidsbelastningstidspunkt. Grænserne per plan står i dokumentationen. Nævner meddelelsen "deployments", kommer den fra en router foran os og ikke fra vores API.

Se rate limits i dokumentationen

Gemmer I mine prompts?

Nej. Vi gemmer kun metadata som model, antal tokens og tidsangivelser. Prompts og output gemmes aldrig permanent.

Gå til Trust Center

Klar til at bygge fremtidens AI i Europa?

Slut dig til virksomheder, der bruger suveræn AI med performance i topklasse