AI Gateway

Trois organisations distinctes exploitent un composant appelé «AI Gateway», et elles ne désignent pas la même chose. Chez Uber, six ingénieurs (Matt Mathew et coauteurs, 21 mai 2026) le placent au sein d'une architecture Zero Trust pour les agents IA, où il arbitre les appels aux LLM externes et masque les données sensibles via AI Guard, aux côtés d'une passerelle «MCP» qui impose la politique d'accès aux outils. Chez «Bloomberg», l'équipe plateforme de Lei Zhang propose une passerelle comme l'une des voies d'un "Paved Path" destiné à 9 000 ingénieurs, à côté d'un déploiement PaaS simplifié et d'un hub «MCP» pour les connecteurs partagés. Le «VibeSDK» de Cloudflare (23 septembre 2025) relie «AI Gateway» à un accès unifié vers OpenAI, Anthropic et Google, à une mise en cache automatique des réponses les plus fréquentes, et à un suivi des requêtes, des tokens, des temps de réponse et des coûts selon le modèle.

La passerelle est aussi l'endroit où le trafic devient un jeu de données. Le «service de fine-tuning RL» annoncé par Michelle Chen, Alex Reneau et Kevin Flansburg le 1 octobre 2026 tire ses données d'entraînement d'«AI Gateway» : Workers AI exécute les rollouts, Containers isole le scoring dans un bac à sable, et un nouveau Trainer met à jour les poids.

C'est ce motif qu'il faut surveiller. Un composant installé pour l'observabilité, la mise en cache et le masquage des données finit par détenir la trace de chaque appel de modèle effectué par une organisation, sous une forme prête à spécialiser un modèle à partir de celle-ci. Qui peut consulter cette trace, et combien de temps elle est conservée, reste non précisé.