AI Operations

AI Observability

Наблюдаемость связывает request trace, model usage, retrieval quality, tool calls, инфраструктурные метрики и audit events в один диагностический контекст.

НазначениеКонтроль качества, SLO, стоимости и рисков
МестоСквозной слой всей AI-платформы
СигналыTraces · Metrics · Logs · Audit
Telemetry flow

Один correlation ID на весь AI-запрос

Trace проходит через gateway, security, model runtime, RAG и tools; чувствительное содержимое не попадает в telemetry без редактирования.

FLOW / OVERVIEW

Overview

Место компонента в общей архитектуре корпоративной AI-платформы.

Статическая схема: Overview
FLOW / ARCHITECTURE

Architecture

Внутренние компоненты, границы ответственности и основные связи.

Статическая схема: Architecture
FLOW / REQUEST-FLOW

Request Flow

Путь пользовательского запроса через контрольные точки компонента.

Статическая схема: Request Flow
FLOW / DATA-FLOW

Data Flow

Движение данных, контекста и результатов внутри системы.

Статическая схема: Data Flow
Signals

Что измерять

Инфраструктурные метрики без AI-контекста недостаточны; prompt/response quality без SLO также не даёт эксплуатационной картины.

TRC

Tracing

Полный путь запроса, latency по этапам, model route, retrieval и tool calls.

MET

Metrics

TTFT, tokens/sec, queue depth, GPU utilization, error rate и saturation.

QLT

Quality

Retrieval relevance, groundedness, citation coverage, task success и human feedback.

CST

Cost

Токены, модель, tenant, проект, cache hit rate и стоимость успешной задачи.

LOG

Logging & Audit

Политики, tool decisions, approvals, admin changes и security events.

ALT

Incidents

Алерты по SLO, security anomalies, budget thresholds и деградации retrieval.

Варианты реализации

Telemetry stack

Компоненты взаимодополняют друг друга: стандарт сбора, хранилище метрик, визуализация и AI-native trace/evaluation.

OT

OpenTelemetry

Instrumentation and transport

Единая модель traces, metrics и logs с vendor-neutral collectors.

PM

Prometheus + Grafana

Metrics, dashboards, alerts

Эксплуатационные SLO, capacity и инфраструктурные сигналы.

LF

Langfuse

LLM traces and evaluation

Prompt/model traces, datasets, evaluation и анализ качества AI-вызовов.

Anti-patterns

Типичные ошибки

Наблюдаемость чаще всего добавляют после первого инцидента — и именно поэтому первый инцидент разбирают вслепую.

01

Логи вместо трейсов

Без сквозного correlation ID путь запроса через gateway, security, RAG, runtime и tools невозможно восстановить.

02

Чувствительные данные в telemetry

Prompt и response попадают в трейсы без редактирования — и мониторинг сам становится каналом утечки.

03

Только инфраметрики

GPU utilization и error rate ничего не говорят о качестве ответов: без eval-метрик деградация retrieval незаметна.

04

Стоимость считается по счёту

Cost атрибуцируется по tenant, проекту и задаче в реальном времени, а не обнаруживается в счёте провайдера в конце месяца.

Куда дальше

Связанные технические разделы

Продолжите по соседнему слою архитектуры или вернитесь к полной карте технических материалов.

AI Gateway Маршрутизация моделей, fallback, квоты и контроль стоимости. Agents Planner, executor, memory, multi-agent и human-in-the-loop. Model Runtime Inference backends, batching, scheduling, cache и GPU capacity.
Вернуться в технический раздел →

Разобрать ваш AI-контур

Можно начать с короткой архитектурной сессии: выбрать первый сценарий, определить данные, модельный маршрут, требования к железу, риски и пилотные метрики.

Открыть каталог схем Форма откроет подготовленное письмо, чтобы не отправлять данные через сторонний сервис.