API-Kompatibilität
Ihr OpenAI-Code. Ihr Anthropic-Code. Jetzt mit EU-souveräner Inferenz.
Stellen Sie in Ihrem OpenAI- oder Anthropic-SDK die Base-URL auf Infercom um. Function Calling, Structured Output und Streaming funktionieren wie gewohnt, und die Inferenz läuft in München.
Wechsel in 5 Minuten
Sie ändern eine Zeile Code, alles andere bleibt.
01
Registrieren und API-Key erhalten
Legen Sie Ihr Konto auf cloud.infercom.ai an.
02
Base-URL ändern
Setzen Sie in Ihrem bestehenden OpenAI- oder Anthropic-SDK die Base-URL auf api.infercom.ai.
03
Modell wählen
Wählen Sie ein Modell: gpt-oss-120b für Reasoning und Tools, Gemma 4 31B für Text und Bilder.
from openai import OpenAI
client = OpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key"
)
response = client.chat.completions.create(
model="gpt-oss-120b",
messages=[{"role": "user", "content": "Hello"}],
stream=True
)
for chunk in response:
print(chunk.choices[0].delta.content, end="")from openai import OpenAI
client = OpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key"
)
# Responses API - built for agentic workflows
response = client.responses.create(
model="gpt-oss-120b",
input="Hello",
reasoning={"effort": "high"}
)
print(response.output_text)from anthropic import Anthropic
client = Anthropic(
base_url="https://api.infercom.ai",
api_key="your-api-key"
)
response = client.messages.create(
model="gpt-oss-120b",
max_tokens=1024,
messages=[{"role": "user", "content": "Hello"}]
)
print(response.content[0].text)curl https://api.infercom.ai/v1/chat/completions \
-H "Authorization: Bearer your-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-oss-120b",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'Die wichtigsten Funktionen
Function Calling
Mit auto, required oder einem benannten Tool, auch beim Streaming.
Structured Output
JSON-Modus und JSON Schema mit strict.
Reasoning
Mit reasoning_effort steuern Sie gpt-oss-120b. Das Reasoning kommt in einem eigenen Feld zurück.
Vision
Gemma 4 31B verarbeitet Bilder, die Sie als base64 senden.
Embeddings und Speech-to-Text
E5-Mistral 7B und Whisper Large v3 mit demselben API-Key.
Wählen Sie Ihr SDK
Volle Kompatibilität mit den Client-Bibliotheken von OpenAI und Anthropic
OpenAI SDK
Kompatibel mit dem OpenAI SDK
Drop-in-Ersatz für OpenAI. Funktioniert mit Ihrem bestehenden Code, Ihren Tools und Frameworks.
- Chat Completions und Responses API
- Funktioniert mit LangChain, LlamaIndex und LiteLLM
- Python, JavaScript, TypeScript, REST
- Streaming, Function Calling, JSON-Modus
Anthropic SDK
Anthropic Messages API
Derselbe Endpoint versteht die Anthropic Messages API. Setzen Sie base_url auf https://api.infercom.ai, und Messages, System-Prompts, Streaming und Tool Use bleiben unverändert. gpt-oss-120b liefert sein Reasoning als Thinking-Blöcke, Gemma 4 31B verarbeitet Bilder.
- Standard-Endpoint /v1/messages
- Funktioniert mit bestehendem Anthropic-Code
- Dieselbe Authentifizierung
Weitere Beispiele
Funktioniert mit Ihren bevorzugten Sprachen und Frameworks
import OpenAI from 'openai';
const client = new OpenAI({
baseURL: 'https://api.infercom.ai/v1',
apiKey: 'your-api-key',
});
const response = await client.chat.completions.create({
model: 'gpt-oss-120b',
messages: [{ role: 'user', content: 'Hello' }],
});
console.log(response.choices[0].message.content);from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
base_url="https://api.infercom.ai/v1",
api_key="your-api-key",
model="gpt-oss-120b"
)
response = llm.invoke("Explain quantum computing")
print(response.content)from litellm import completion
response = completion(
model="openai/gpt-oss-120b",
api_base="https://api.infercom.ai/v1",
api_key="your-api-key",
messages=[{"role": "user", "content": "Hello"}]
)
print(response.choices[0].message.content)from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="gpt-oss-120b",
api_base="https://api.infercom.ai/v1",
api_key="your-api-key",
is_chat_model=True
)
response = llm.complete("Explain quantum computing")
print(response)Bis zu 10x schneller als GPU-Inferenz
Die Dataflow-Architektur von SambaNova liefert bis zu 10x schnellere Inferenz als GPU-basierte Anbieter. Jede Antwort meldet ihre Time to First Token und die Token pro Sekunde.
Ausgabe-Durchsatz, p50, 10K Input / 1K Output, einzelner Request. Zuletzt gemessen: Juli 2026.
Unterstützte Endpoints
-
/v1/chat/completionsChat Completions mit Streaming
-
/v1/responsesResponses API für agentische Workflows - Tools, Reasoning, Streaming
-
/v1/messagesFormat der Anthropic Messages API
-
/v1/modelsVerfügbare Modelle und Metadaten auflisten
-
/v1/embeddingsText-Embeddings (ausgewählte Modelle)
-
/v1/audio/transcriptionsSpeech-to-Text mit Whisper Large v3
EU-Souveränität inklusive
OpenAI-kompatible API, europäische Jurisdiktion.
- EU-souveräne Modelle laufen in einem zertifizierten Rechenzentrum in München
- Kein Risiko durch den US CLOUD Act
- DSGVO-konform, nach ISO 27001 zertifiziert
- Keine dauerhafte Speicherung von Prompts und Ausgaben
FAQ
Fragen vor dem Wechsel
Muss ich meinen Code ändern?
Nein. Setzen Sie die Base-URL auf https://api.infercom.ai/v1 (OpenAI SDK) oder https://api.infercom.ai (Anthropic SDK), verwenden Sie Ihren Infercom-API-Key und wählen Sie ein Modell. Der Rest Ihres Codes bleibt, wie er ist.
Funktioniert Function Calling?
Ja, mit gpt-oss-120b und Gemma 4 31B: tool_choice auto, required oder eine benannte Funktion, mit und ohne Streaming. Das Tool-Ergebnis senden Sie wie bei OpenAI als Tool-Message zurück.
Bekomme ich JSON, das zu meinem Schema passt?
Ja. Verwenden Sie response_format mit json_schema und strict: true oder json_object für freies JSON. Wenn Sie ein einzelnes Feld einschränken wollen, geben Sie ihm im Schema ein pattern.
Wohin gehören Parameter wie top_k?
top_k und repetition_penalty gehören nicht zum OpenAI SDK. In Python übergeben Sie sie in extra_body. Im Request selbst stehen sie ganz normal im JSON-Body.
Warum liefert gpt-oss-120b manchmal keinen Text?
gpt-oss-120b denkt nach, bevor es antwortet, und dieses Reasoning zählt zu max_tokens. Ist das Budget während des Reasonings aufgebraucht, steht finish_reason auf "length", und die Antwort bleibt leer. Geben Sie ausreichend max_tokens vor und prüfen Sie finish_reason. Wie viel das Modell nachdenkt, legen Sie mit reasoning_effort fest.
Funktioniert das Anthropic SDK?
Ja. Messages, System-Prompts, Streaming, Tool Use und das Zählen von Token funktionieren über denselben Endpoint. gpt-oss-120b liefert sein Reasoning als Thinking-Blöcke, und Gemma 4 31B verarbeitet Bilder.
Kann ich Bilder senden?
Ja, an Gemma 4 31B, als base64-kodiertes JPEG, PNG oder WebP und über beide SDKs. Jedes Bild belegt ein festes Budget von etwa 260 Token. Für feine Details teilen Sie ein großes Bild in Ausschnitte und senden diese als mehrere Bilder.
Funktioniert es mit LangChain, LlamaIndex oder LiteLLM?
Ja. Verwenden Sie in LangChain ChatOpenAI, in LlamaIndex OpenAILike und in LiteLLM das Modellpräfix openai/, jeweils mit unserer Base-URL. Tools, die Modelle über LiteLLM aufrufen, etwa CrewAI, funktionieren auf dieselbe Weise.
Worauf sollte ich beim Wechsel achten?
Der meiste Code läuft unverändert. Drei Punkte lohnen einen Blick: Setzen Sie temperature bei jedem Request (den empfohlenen Wert pro Modell finden Sie in der Dokumentation), verwenden Sie repetition_penalty statt frequency_penalty oder presence_penalty, und senden Sie Bilder als base64. Die Responses API ist zustandslos, deshalb schicken Sie den Gesprächsverlauf mit jedem Request mit.
Ich erhalte einen 429. Was bedeutet das?
Sie haben das Rate Limit Ihres Tarifs erreicht, oder die Warteschlange ist zu einer Spitzenzeit voll. Die Limits pro Tarif stehen in der Dokumentation. Ist in der Meldung von "deployments" die Rede, stammt sie von einem Router, der vor unserer API sitzt, und nicht von uns.
Speichern Sie meine Prompts?
Nein. Wir speichern nur Metadaten wie Modell, Token-Anzahl und Zeitangaben. Prompts und Ausgaben werden nie dauerhaft gespeichert.
Dokumentation
Alles, was Sie für die Integration brauchen