Vercel AI Gateway statt Provider-SDKs

Wer drei AI-SDKs parallel im Repository hat — etwa @ai-sdk/openai, @ai-sdk/anthropic und einen eigenen Wrapper für ein lokales Modell — pflegt drei Auth-Wege, drei Streaming-Adapter und drei Vertragsverhältnisse. Es geht auch mit einer Zeile: import { gateway } from "@ai-sdk/gateway". Hier ist warum.

Was das Problem war

Drei Provider-SDKs in einem Codebase ist nicht „nur drei Dependencies". Es ist:

• Drei Auth-Mechanismen — drei Env-Vars, drei verschiedene Rate-Limit-Header, drei verschiedene Fehler-Schemata.
• Drei Token-Counter — OpenAI, Anthropic und das lokale Modell zählen unterschiedlich. Pricing-Vergleich „pro 1k Token" ist deshalb meistens eine Lüge.
• Drei Streaming-APIs — der eine liefert SSE, der andere chunked-JSON, der dritte einen WebSocket. Wir hatten drei verschiedene Streaming-Adapter im Frontend, jeder mit eigenen Bugs.
• Drei Vendor-Lock-In-Punkte — Provider-Wechsel war kein „API-Key tauschen", sondern „eine Woche Refactor".

Das fühlte sich Monate lang nach „so ist das halt in AI-Land" an. War es nicht.

Wie der Gateway das löst

Vercel AI Gateway (GA seit August 2025) ist ein einziger Endpoint, hinter dem alle bekannten Provider hängen. Sie geben "openai/gpt-5" oder "anthropic/claude-4-7-sonnet" als String an, der Gateway weiß, was zu tun ist. Provider-Wechsel ist eine String-Änderung.

Konkret im Code:

// vorher
import OpenAI from "openai";
const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });
const resp = await openai.responses.create({ model: "gpt-5", input: prompt });

// nachher
import { streamText } from "ai";
import { gateway } from "@ai-sdk/gateway";
const resp = await streamText({ model: gateway("openai/gpt-5"), messages: [...] });

Provider wechseln? gateway("anthropic/claude-4-7-sonnet"). Fertig. Kein Auth, kein neuer SDK, kein Streaming-Adapter.

Die fünf Sachen, die uns überrascht haben

1. Ein API-Key für alle Provider

Statt OPENAI_API_KEY, ANTHROPIC_API_KEY, GROQ_API_KEY etc. nur AI_GATEWAY_API_KEY (oder auf Vercel: gar nichts — OIDC-Token-basiert). Bei mehreren Projekten nebeneinander heißt das: keine vierfach gerollte Key-Rotation mehr.

2. Zero Data Retention überall, ein Vertrag

ZDR vertraglich mit dem Gateway statt mit jedem einzelnen Provider zu verhandeln. Für DACH-Mittelstand ein riesiger Unterschied — der Datenschutz-Beauftragte einer Praxis will nicht drei AVVs lesen, sondern einen.

3. Model-Fallback ist im Gateway vorgesehen

Wenn ein Anbieter rate-limited oder kurz nicht erreichbar ist, kann der Gateway pro Anfrage auf ein anderes Modell ausweichen — ohne Codeänderung. Auf dieser Website nutzen wir davon bisher nur den einheitlichen Endpunkt; ein Rückfall auf einen zweiten Anbieter ist im Chat-Endpunkt nicht konfiguriert. Fällt das Modell aus, antwortet der Endpunkt mit einem Hinweis auf unsere E-Mail-Adresse statt mit einer leeren Nachricht.

4. Observability gratis

Das Vercel-Dashboard zeigt je Modell: Token-Verbrauch, Latenz, Fehlerrate, Kosten. Ohne Gateway heißt das: eigenes Tracing bauen oder ein Observability-Werkzeug anbinden und pflegen. Mit dem Gateway ist es die Vorgabe — nichts zu konfigurieren.

5. Plain-String-Models sind die richtige Default-Abstraktion

Wenn der Gateway sich entscheidet, dass "openai/gpt-5" jetzt intern auf "openai/gpt-5.1" routet (z.B. neueres Modell, gleicher Preis), läuft unser Code weiter — wir bemerken's nicht mal. Wenn wir explizit pinnen wollen, schreiben wir "openai/gpt-5-2026-01-15". Beides ist Code-Konfiguration, kein Library-Refactor.

Was wir trotzdem im Auge behalten

• Provider-spezifische Features (z.B. Anthropic Tool-Use vs. OpenAI Function-Calling) sind via Gateway auf das gemeinsame Subset reduziert. Wenn Sie absichtlich ein Provider-only-Feature einsetzen wollen (z.B. OpenAI Realtime API), brauchen Sie weiterhin das Provider-SDK direkt.
• Latency-Overhead ist minimal aber existiert — bei extrem latency-sensitiven Edge-Cases (Live-Voice-Calls) prüfen.
• Pricing-Aufschlag beim Gateway selbst ist in den meisten Plans bereits inkludiert, aber prüfen Sie Ihren Plan.

Was Sie daraus mitnehmen

Wenn Sie in Ihrem Projekt mehr als ein AI-Provider-SDK installiert haben, fragen Sie sich, warum. In 90% der Fälle gibt es dafür keinen guten Grund — nur historische Pfadabhängigkeit. Vercel AI Gateway (oder das equivalente Konzept anderer Plattformen) reduziert Code-Komplexität, Vertrags-Komplexität und Vendor-Lock-In gleichzeitig.

Wenn Ihr AI-Code mehr Provider-SDK-Imports hat als Ihre Auth-Datei: Gateway.