Security Layer

LLM Firewall: защита AI-контура

LLM Firewall проверяет каждый запрос и ответ модели. Блокирует prompt injection, скрывает PII, контролирует темы.

SEC

Почему обычного WAF недостаточно?

Классический WAF не понимает семантику промптов. Он может поймать SQL-инъекцию, но не распознает просьбу “игнорируй системные инструкции” или скрытую попытку заставить модель вызвать запрещенный tool. LLM Firewall анализирует смысл входа и выхода, права пользователя, класс данных и допустимые действия.

USER
Пользователь
input check
FW
LLM Firewall
guardrails · PII · policies
output check
LLM
AI Gateway / LLM

Проверки входящего запроса

  • Prompt injection и jailbreak-паттерны
  • PII-redaction: имена, телефоны, паспорта, ИНН
  • Запрещенные темы и категории контента
  • Размер запроса и rate limiting по ролям

Проверки ответа модели

  • Sensitive data в ответе (DLP)
  • Галлюцинации и неуверенные утверждения
  • Compliance с корпоративными политиками
  • Детекция вредоносного кода в output

Инструменты и реализации

Prompt Guard

API-сервис для детекции prompt injection и jailbreak

NeMo Guardrails

NVIDIA open-source фреймворк для guardrails и dialogue flow

DLP Scanner

Локальный open-source сканер + кастомный Python middleware

Policy Middleware

Собственный промежуточный сервис на Python/FastAPI

Разобрать ваш AI-контур

Можно начать с короткой архитектурной сессии: выбрать первый сценарий, определить данные, модельный маршрут, требования к железу, риски и пилотные метрики.

Выбрать сценарий Форма откроет подготовленное письмо, чтобы не отправлять данные через сторонний сервис.