Platform Tools

Инструменты платформы

Базовые open-source и self-hosted компоненты AI-контура: рабочее место, runtime, vector store, desktop-клиент и observability. Агентные воркфлоу вынесены в отдельный раздел.

UI

Open WebUI

Frontend / Рабочее место

Корпоративный web-интерфейс для работы с LLM: чат, история, RAG, MCP, RBAC, SSO.

RBAC и пространства Встроенный RAG MCP-инструменты OpenAI API совместим
LLM

Ollama / vLLM / llama.cpp

Локальный LLM Runtime

Запуск open-source моделей локально: Llama, Mistral, Qwen, Gemma.

Приватные данные GPU / CPU inference REST API Docker / bare metal
DB

pgvector / Qdrant

Vector Store для RAG

Хранение и поиск векторных эмбеддингов. pgvector в PostgreSQL, Qdrant — высокопроизводительный сервис.

Semantic search Гибридный поиск Коллекции и фильтры Metadata filtering
PC

LM Studio

Desktop LLM клиент

Десктопный клиент для локального запуска и тестирования моделей.

Пилот без сервера HuggingFace модели Local API server Windows / Mac
OBS

Grafana / Langfuse

Observability

Метрики, алерты и дашборды: latency, token usage, GPU load, RAG и стоимость.

Real-time метрики Алерты Token cost tracking GPU monitoring

Разобрать ваш AI-контур

Можно начать с короткой архитектурной сессии: выбрать первый сценарий, определить данные, модельный маршрут, требования к железу, риски и пилотные метрики.

Выбрать сценарий Форма откроет подготовленное письмо, чтобы не отправлять данные через сторонний сервис.