AI Gateway — центральный маршрутизатор между пользователями и LLM.
В корпоративной среде приложения не должны напрямую ходить в разные LLM API и локальные runtime. Gateway принимает OpenAI-compatible запрос, проверяет tenant и политику, выбирает модельный маршрут, применяет fallback, считает стоимость и пишет audit trail.
Место компонента в общей архитектуре корпоративной AI-платформы.
Внутренние компоненты, границы ответственности и основные связи.
Путь пользовательского запроса через контрольные точки компонента.
Движение данных, контекста и результатов внутри системы.
Выбор модели по типу задачи, приватности и стоимости токенов.
Распределение запросов между replicas и providers по health, latency и capacity.
Единый контракт для multi-provider, локальных runtime и внутренних приложений.
Автоматическое переключение на резервный backend без разрыва сессии.
Квоты на токены, лимиты запросов, учет стоимости и алерты.
Изоляция команд и проектов: свои квоты, модели и политики доступа.
Open-source proxy, широкий набор providers, virtual keys, budgets и OpenAI-compatible API.
Managed/self-hosted AI gateway, routing, guardrails, cache и observability.
AI policies поверх enterprise API gateway, plugins, auth и traffic management.
Собственный policy proxy для специфичных маршрутов, данных и внутренних SLA.
Продолжите по соседнему слою архитектуры или вернитесь к полной карте технических материалов.
Можно начать с короткой архитектурной сессии: выбрать первый сценарий, определить данные, модельный маршрут, требования к железу, риски и пилотные метрики.