LLM Firewall защищает именно модельный контур: prompt, output, multimodal input, tool intent и системные инструкции. Сетевой перехват, proxy/ICAP и контроль внешнего AI вынесены в отдельный AI Security Gateway.
Классический WAF не понимает семантику промптов. Он может поймать SQL-инъекцию, но не распознает просьбу “игнорируй системные инструкции” или скрытую попытку заставить модель вызвать запрещенный tool. LLM Firewall анализирует смысл входа и выхода, права пользователя, класс данных и допустимые действия.
Место компонента в общей архитектуре корпоративной AI-платформы.
Внутренние компоненты, границы ответственности и основные связи.
Путь пользовательского запроса через контрольные точки компонента.
Движение данных, контекста и результатов внутри системы.
API-сервис для детекции prompt injection и jailbreak
NVIDIA open-source фреймворк для guardrails и dialogue flow
Локальный open-source сканер + кастомный Python middleware
Собственный промежуточный сервис на Python/FastAPI
Guardrails работают после сетевого контроля и до исполнения model/tool request. Политика учитывает семантику, роль, источник контекста и допустимые действия.
Jailbreak, indirect prompt injection, role escalation, hidden instructions и poisoned context.
System prompt leakage, unsafe content, policy violations, sensitive data и structured-output validation.
Скрытый текст, QR/visual injection, неподдерживаемый контент и multimodal policy checks.
Indirect instructions в документах, provenance, trust boundaries и отделение данных от команд.
Разные правила по tenant, роли, модели, knowledge source, tool и классу данных.
Детерминированные правила, classifiers, policy models и human escalation в одном pipeline.
Продолжите по соседнему слою архитектуры или вернитесь к полной карте технических материалов.
Можно начать с короткой архитектурной сессии: выбрать первый сценарий, определить данные, модельный маршрут, требования к железу, риски и пилотные метрики.