API-Kompatibilität

Ihr OpenAI-Code. Ihr Anthropic-Code. Jetzt mit EU-souveräner Inferenz.

Stellen Sie in Ihrem OpenAI- oder Anthropic-SDK die Base-URL auf Infercom um. Function Calling, Structured Output und Streaming funktionieren wie gewohnt, und die Inferenz läuft in München.

Wechsel in 5 Minuten

Sie ändern eine Zeile Code, alles andere bleibt.

01

Registrieren und API-Key erhalten

Legen Sie Ihr Konto auf cloud.infercom.ai an.

02

Base-URL ändern

Setzen Sie in Ihrem bestehenden OpenAI- oder Anthropic-SDK die Base-URL auf api.infercom.ai.

03

Modell wählen

Wählen Sie ein Modell: gpt-oss-120b für Reasoning und Tools, Gemma 4 31B für Text und Bilder.

OpenAI SDK
from openai import OpenAI

client = OpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="your-api-key"
)

response = client.chat.completions.create(
    model="gpt-oss-120b",
    messages=[{"role": "user", "content": "Hello"}],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content, end="")
Responses API
from openai import OpenAI

client = OpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="your-api-key"
)

# Responses API - built for agentic workflows
response = client.responses.create(
    model="gpt-oss-120b",
    input="Hello",
    reasoning={"effort": "high"}
)

print(response.output_text)
Anthropic SDK
from anthropic import Anthropic

client = Anthropic(
    base_url="https://api.infercom.ai",
    api_key="your-api-key"
)

response = client.messages.create(
    model="gpt-oss-120b",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello"}]
)

print(response.content[0].text)
curl
curl https://api.infercom.ai/v1/chat/completions \
  -H "Authorization: Bearer your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-oss-120b",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

Die wichtigsten Funktionen

Function Calling

Mit auto, required oder einem benannten Tool, auch beim Streaming.

Structured Output

JSON-Modus und JSON Schema mit strict.

Reasoning

Mit reasoning_effort steuern Sie gpt-oss-120b. Das Reasoning kommt in einem eigenen Feld zurück.

Vision

Gemma 4 31B verarbeitet Bilder, die Sie als base64 senden.

Embeddings und Speech-to-Text

E5-Mistral 7B und Whisper Large v3 mit demselben API-Key.

Alle Details zur Kompatibilität in der Dokumentation

Wählen Sie Ihr SDK

Volle Kompatibilität mit den Client-Bibliotheken von OpenAI und Anthropic

OpenAI SDK

Kompatibel mit dem OpenAI SDK

Drop-in-Ersatz für OpenAI. Funktioniert mit Ihrem bestehenden Code, Ihren Tools und Frameworks.

  • Chat Completions und Responses API
  • Funktioniert mit LangChain, LlamaIndex und LiteLLM
  • Python, JavaScript, TypeScript, REST
  • Streaming, Function Calling, JSON-Modus

Dokumentation zur OpenAI-Kompatibilität ansehen

Anthropic SDK

Anthropic Messages API

Derselbe Endpoint versteht die Anthropic Messages API. Setzen Sie base_url auf https://api.infercom.ai, und Messages, System-Prompts, Streaming und Tool Use bleiben unverändert. gpt-oss-120b liefert sein Reasoning als Thinking-Blöcke, Gemma 4 31B verarbeitet Bilder.

  • Standard-Endpoint /v1/messages
  • Funktioniert mit bestehendem Anthropic-Code
  • Dieselbe Authentifizierung

Dokumentation zur Anthropic-Kompatibilität ansehen

Weitere Beispiele

Funktioniert mit Ihren bevorzugten Sprachen und Frameworks

JavaScript / TypeScript
import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://api.infercom.ai/v1',
  apiKey: 'your-api-key',
});

const response = await client.chat.completions.create({
  model: 'gpt-oss-120b',
  messages: [{ role: 'user', content: 'Hello' }],
});

console.log(response.choices[0].message.content);
LangChain
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="your-api-key",
    model="gpt-oss-120b"
)

response = llm.invoke("Explain quantum computing")
print(response.content)
LiteLLM
from litellm import completion

response = completion(
    model="openai/gpt-oss-120b",
    api_base="https://api.infercom.ai/v1",
    api_key="your-api-key",
    messages=[{"role": "user", "content": "Hello"}]
)

print(response.choices[0].message.content)
LlamaIndex
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="gpt-oss-120b",
    api_base="https://api.infercom.ai/v1",
    api_key="your-api-key",
    is_chat_model=True
)

response = llm.complete("Explain quantum computing")
print(response)

Vollständige Schnellstart-Anleitung ansehen

Bis zu 10x schneller als GPU-Inferenz

Die Dataflow-Architektur von SambaNova liefert bis zu 10x schnellere Inferenz als GPU-basierte Anbieter. Jede Antwort meldet ihre Time to First Token und die Token pro Sekunde.

713tok/s · gpt-oss-120b
Bis zu 10xschneller als GPU-Inferenz

Ausgabe-Durchsatz, p50, 10K Input / 1K Output, einzelner Request. Zuletzt gemessen: Juli 2026.

Performance-Benchmarks ansehen

Unterstützte Endpoints

  • /v1/chat/completions

    Chat Completions mit Streaming

  • /v1/responses

    Responses API für agentische Workflows - Tools, Reasoning, Streaming

  • /v1/messages

    Format der Anthropic Messages API

  • /v1/models

    Verfügbare Modelle und Metadaten auflisten

  • /v1/embeddings

    Text-Embeddings (ausgewählte Modelle)

  • /v1/audio/transcriptions

    Speech-to-Text mit Whisper Large v3

Vollständige API-Referenz

EU-Souveränität inklusive

OpenAI-kompatible API, europäische Jurisdiktion.

  • EU-souveräne Modelle laufen in einem zertifizierten Rechenzentrum in München
  • Kein Risiko durch den US CLOUD Act
  • DSGVO-konform, nach ISO 27001 zertifiziert
  • Keine dauerhafte Speicherung von Prompts und Ausgaben

Mehr über EU-Souveränität

ISO 27001Zertifiziert
DSGVOKonform
AI ActWir unterstützen Sie
MünchenRechenzentrum

FAQ

Fragen vor dem Wechsel

Muss ich meinen Code ändern?

Nein. Setzen Sie die Base-URL auf https://api.infercom.ai/v1 (OpenAI SDK) oder https://api.infercom.ai (Anthropic SDK), verwenden Sie Ihren Infercom-API-Key und wählen Sie ein Modell. Der Rest Ihres Codes bleibt, wie er ist.

Funktioniert Function Calling?

Ja, mit gpt-oss-120b und Gemma 4 31B: tool_choice auto, required oder eine benannte Funktion, mit und ohne Streaming. Das Tool-Ergebnis senden Sie wie bei OpenAI als Tool-Message zurück.

Bekomme ich JSON, das zu meinem Schema passt?

Ja. Verwenden Sie response_format mit json_schema und strict: true oder json_object für freies JSON. Wenn Sie ein einzelnes Feld einschränken wollen, geben Sie ihm im Schema ein pattern.

Wohin gehören Parameter wie top_k?

top_k und repetition_penalty gehören nicht zum OpenAI SDK. In Python übergeben Sie sie in extra_body. Im Request selbst stehen sie ganz normal im JSON-Body.

Dokumentation zur OpenAI-Kompatibilität ansehen

Warum liefert gpt-oss-120b manchmal keinen Text?

gpt-oss-120b denkt nach, bevor es antwortet, und dieses Reasoning zählt zu max_tokens. Ist das Budget während des Reasonings aufgebraucht, steht finish_reason auf "length", und die Antwort bleibt leer. Geben Sie ausreichend max_tokens vor und prüfen Sie finish_reason. Wie viel das Modell nachdenkt, legen Sie mit reasoning_effort fest.

Funktioniert das Anthropic SDK?

Ja. Messages, System-Prompts, Streaming, Tool Use und das Zählen von Token funktionieren über denselben Endpoint. gpt-oss-120b liefert sein Reasoning als Thinking-Blöcke, und Gemma 4 31B verarbeitet Bilder.

Dokumentation zur Anthropic-Kompatibilität ansehen

Kann ich Bilder senden?

Ja, an Gemma 4 31B, als base64-kodiertes JPEG, PNG oder WebP und über beide SDKs. Jedes Bild belegt ein festes Budget von etwa 260 Token. Für feine Details teilen Sie ein großes Bild in Ausschnitte und senden diese als mehrere Bilder.

Funktioniert es mit LangChain, LlamaIndex oder LiteLLM?

Ja. Verwenden Sie in LangChain ChatOpenAI, in LlamaIndex OpenAILike und in LiteLLM das Modellpräfix openai/, jeweils mit unserer Base-URL. Tools, die Modelle über LiteLLM aufrufen, etwa CrewAI, funktionieren auf dieselbe Weise.

Worauf sollte ich beim Wechsel achten?

Der meiste Code läuft unverändert. Drei Punkte lohnen einen Blick: Setzen Sie temperature bei jedem Request (den empfohlenen Wert pro Modell finden Sie in der Dokumentation), verwenden Sie repetition_penalty statt frequency_penalty oder presence_penalty, und senden Sie Bilder als base64. Die Responses API ist zustandslos, deshalb schicken Sie den Gesprächsverlauf mit jedem Request mit.

Dokumentation zur OpenAI-Kompatibilität ansehen

Ich erhalte einen 429. Was bedeutet das?

Sie haben das Rate Limit Ihres Tarifs erreicht, oder die Warteschlange ist zu einer Spitzenzeit voll. Die Limits pro Tarif stehen in der Dokumentation. Ist in der Meldung von "deployments" die Rede, stammt sie von einem Router, der vor unserer API sitzt, und nicht von uns.

Rate Limits in der Dokumentation ansehen

Speichern Sie meine Prompts?

Nein. Wir speichern nur Metadaten wie Modell, Token-Anzahl und Zeitangaben. Prompts und Ausgaben werden nie dauerhaft gespeichert.

Zum Trust Center

Bereit, die Zukunft der KI in Europa zu gestalten?

Schließen Sie sich Unternehmen an, die souveräne KI mit erstklassiger Performance einsetzen