Reference Implementation

Кейсы и реализации

Разбор архитектур, которые мы проектируем: исходные ограничения, принятые решения и интерактивные схемы. Без маркетинга — так, как решение выглядит в проектной документации.

ФорматЗадача · Решения · Схемы
СтатусРеференсная реализация
АдаптацияПод контур конкретного предприятия
Кейс 01

Защищённый AI-контур предприятия: Open WebUI, локальные LLM и контролируемый выход к внешним провайдерам

Компании нужен корпоративный AI-ассистент с работой по внутренним документам — при жёстком требовании: корпоративные данные не покидают периметр без DLP и политики маршрутизации, а в интернет ходит только выделенный поисковый контур.

01

Закрытый контур по умолчанию

Основная генерация — на локальном кластере llama.cpp внутри предприятия. Внешние модели — исключение, а не правило, и только через шлюз.

02

Единая точка контроля

Весь AI-трафик проходит через LLM Firewall Gateway: input filter, policy engine, sanitizer, tool control и model router в одном ядре.

03

Интернет — только из DMZ

Web-поиск вынесен в отдельный контур (SearXNG + прокси с белым списком доменов). Остальные сервисы и данные наружу не ходят.

Architecture

Обзорная схема контура

Пользовательская зона, ядро контроля, данные, локальные модели, внешний маршрут с DLP и корпоративные интеграции. Узлы кликабельны и ведут к разделам базы знаний.

FLOW / OVERVIEW

Защищённый AI-контур

Зоны системы и границы: локальные данные остаются внутри, наружу уходит только обезличенный текст через DLP и External LLM Gateway.

Статическая схема: Защищённый AI-контур
Design decisions

Ключевые архитектурные решения

Каждое решение закрывает конкретное требование безопасности или эксплуатации — состав компонентов подбирается под контур заказчика.

GW

LLM Firewall Gateway как ядро

Prompt injection, jailbreak, secrets и скрытые команды в документах отсекаются до модели; output filter проверяет ответ. Gateway — единая точка аудита всех вызовов.

LLM

Локальный модельный кластер

llama.cpp / llama-server с квантованной моделью класса Qwen 30B+ — приоритетный маршрут №1: внутренние данные, MCP read-only и RAG работают только здесь.

RAG

RAG на PostgreSQL + pgvector

Docling извлекает текст и структуру из PDF/Office/сканов, embedding-модель индексирует, retrieval + rerank подают контекст с цитатами.

DLP

DLP / Redaction перед выходом

Маскирование ПДн, токенов, ключей, URL и внутренних ID, минимизация контекста. Наружу не уходит ничего, что не прошло редактирование.

PR

Policy Router и уровни доверия

Внутренние данные — только локально; обезличенный текст — можно наружу; сомнение — локально или отказ. Провайдеры разделены на уровни: локальные, облачные сервисы РФ, зарубежные (ограниченно, только после DLP).

MCP

Интеграции read-only через MCP

Redmine, корпоративный портал, LDAP/AD, 1С и Service Desk подключены в режиме чтения с аудитом вызовов — модель не получает прав на изменение бизнес-систем.

Request flow

Путь запроса через контур

От отправки запроса до аудита: проверка политики, анализ файлов, очистка скрытых инструкций, RAG-контекст, маршрутизация, генерация и контроль ответа.

FLOW / REQUEST-FLOW

Обработка запроса

Десять контрольных точек: каждый запрос проходит защиту входа, обогащение контекстом, выбор маршрута и проверку ответа, после чего логируется.

Статическая схема: Обработка запроса
External rules

Правила для внешних моделей

Внешний вызов — управляемое исключение с жёсткими ограничениями, а не альтернативный маршрут.

01

Только обезличенный контекст

Внешние модели получают минимизированный текст после DLP — без ПДн, идентификаторов и внутренней терминологии, по которой восстанавливается контекст.

02

Без инструментов и доступа к системам

Наружу — только генерация текста: no tools, no function calling, никакого доступа к внутренним ресурсам и инструкциям компании.

03

Strict allowlist и бюджет

External LLM Gateway: белый список провайдеров, rate limiting, бюджет токенов и затрат, запрет прямого доступа приложений к API провайдеров.

04

Аудит каждого вызова

Все внешние запросы журналируются: кто, что, куда, сколько токенов и какое решение принял Policy Router. Логи маршрутизации — часть SIEM-контура.

Stack

Стек реализации

Компоненты показаны как реализация этого кейса; на другом контуре состав может отличаться при той же архитектуре.

UI

Open WebUI

Чат-интерфейс, загрузка файлов, история диалогов; доступ только через шлюз безопасности с LDAP/AD-аутентификацией.

CPP

llama.cpp кластер

Основной inference-контур: длинный контекст, высокая производительность, полный контроль над весами внутри периметра.

PG

PostgreSQL + pgvector

Векторное хранилище на штатной корпоративной СУБД: индексы, метаданные, ACL и привычная эксплуатация.

DOC

Docling + OCR / Vision

Извлечение текста и структуры из документов, конвертация в Markdown, карантин и hash-контроль файлов.

SX

SearXNG в DMZ

Единственный контур с доступом в интернет: агрегация поиска через прокси с allowlist доменов, без сохранения данных.

EXT

Внешние провайдеры по уровням

Российские облачные сервисы — для обезличенных данных; зарубежные — ограниченно и только после DLP; приоритет всегда у локального контура.

Honest note

Что важно понимать про этот кейс

Это референсная реализация типового защищённого контура, доведённая до уровня проектной схемы. Названия заказчиков не публикуем; сайзинг, состав моделей и интеграций адаптируются под требования конкретного предприятия — с этого и начинается архитектурная сессия.

Разобрать ваш AI-контур

Можно начать с короткой архитектурной сессии: выбрать первый сценарий, определить данные, модельный маршрут, требования к железу, риски и пилотные метрики.

Открыть каталог схем Форма откроет подготовленное письмо, чтобы не отправлять данные через сторонний сервис.