AI Gateway

Drei verschiedene Engineering-Organisationen betreiben etwas, das sie «AI Gateway» nennen, und sie meinen damit nicht dieselbe Komponente. Bei Uber verorten sechs Ingenieure (Matt Mathew und Mitautoren, 21. Mai 2026) es innerhalb einer Zero-Trust-Architektur für KI-Agenten, wo es externe LLM-Aufrufe vermittelt und sensible Daten über AI Guard schwärzt, direkt neben einem «MCP»-Gateway, das die Richtlinien für den Zugriff auf Tools durchsetzt. Bei «Bloomberg» bietet das Plattformteam von Lei Zhang ein Gateway als eine Spur eines "Paved Path" für 9.000 Ingenieure an, neben vereinfachtem PaaS-Deployment und einem «MCP»-Hub für gemeinsam genutzte Connectoren. Cloudflares «VibeSDK» (23. September 2025) verbindet «AI Gateway» mit einheitlichem Zugriff auf OpenAI, Anthropic und Google, automatischem Caching häufiger Antworten sowie der Nachverfolgung von Anfragen, Tokens, Antwortzeiten und modellübergreifenden Kosten.

Das Gateway ist zudem der Ort, an dem Traffic zu einem Datensatz wird. Der von Michelle Chen, Alex Reneau und Kevin Flansburg am 1. Oktober 2026 angekündigte «service de fine-tuning RL» bezieht seine Trainingsdaten aus «AI Gateway», wobei Workers AI die Rollouts ausführt, Containers das Scoring sandboxt und ein neuer Trainer die Gewichte aktualisiert.

Das ist das Muster, das es zu beobachten gilt. Eine Komponente, die für Observability, Caching und Schwärzung installiert wurde, hält am Ende die Aufzeichnung jedes Modellaufrufs, den eine Organisation getätigt hat, und zwar in einer Form, die bereit ist, ein Modell darauf zu spezialisieren. Wer diese Aufzeichnung lesen darf und wie lange sie aufbewahrt wird, bleibt unausgesprochen.