Guardrails и production: как не сломать сайт и измерить эффект агента

Статья 6 цикла «AI-агенты в техническом SEO: от MCP-серверов до автоматизации аудита». Финальная. Пять статей построили агента: слои (1), протокол действий (2), данные (3), мышление (4), первый write-сценарий (5). Здесь мы закрываем цикл практиками безопасного внедрения: от прав доступа и staging до метрик, которые доказывают, что агент реально помогает, а не создаёт шум.

Главный риск агентного SEO — не «модель тупая», а «модель достаточно умная, чтобы уверенно навредить». Переоптимизированная перелинковка, массово неверный canonical, тысячи правок без ревью — всё это технически возможно и всё это выглядит как успех в демо. Production-инженерия агента — это не про то, как заставить его работать, а про то, как ограничить, что именно ему можно, и как измерить, что из этого пошло на пользу.Guardrails и production: лестница автономии вокруг ядра контроля:

1. Уровни доступа: read-only → предложение → автоприменение

Автономия — это не тумблер «вкл/выкл», а лестница из трёх ступеней. Каждому действию агента назначается ступень, и ступень зависит от обратимости и стоимости ошибки (принцип из статьи 1).

  • Уровень 0 · read-only. Агент только читает и объясняет: краулинг, GSC, находки аудита (статьи 3–4). Никаких побочных эффектов, риска нет, можно включать сразу.
  • Уровень 1 · предложение. Агент порождает артефакт, который человек читает и отвергает: дифф, PR, очередь. Это ровно apply_link из статьи 2 и дифф из статьи 5 — запись на прод отсутствует по дизайну, есть только {"diff": ..., "applied": false}.
  • Уровень 2 · автоприменение с лимитами. Агент сам пишет, но в жёсткой клетке: whitelist, лимит за прогон, feature flag, обязательный путь отката. Включается только для действий, где ошибка обратима и заметна.

Правило перехода: действие поднимается на ступень выше только когда метрика уровня ниже подтвердила надёжность (см. §4). Не наоборот.

2. Матрица «уровень автономии × тип действия × допустимый риск»

Это ядро решения «что можно агенту». Заполняется один раз и живёт в конфиге, а не в голове.

Тип действияРиск ошибкиОбратимостьДопустимый уровень
Сбор и нормализация данныхнизкийn/a (чтение)0 read-only
Найти / приоритизировать / объяснить проблемунизкийn/a (вывод человеку)0 read-only
Предложить ссылку / redirect / правку schemaсреднийполная (не применено)1 предложение
Правка мета-тега на whitelist-страницесреднийвысокая (один revert)2 авто + лимит
Вставка внутренних ссылок (партия)высокийсредняя (нужен откат партии)1 → 2 после метрики
Массовый canonical / noindex / редиректкритическийнизкая (весь сайт под угрозой)запретить агенту

Последняя строка принципиальна: есть действия, которым уровень 2 не выдаётся никогда, как бы ни была хороша метрика. Массовая смена стратегии канонизации — это решение человека, агент здесь максимум аналитик (статья 1, §5).

3. Guardrails: whitelist, лимиты, code review, feature flags, откат

Пять механизмов, и каждый закрывает свой класс отказа. Они живут в одном конфиге, который читает и reasoning-слой (статья 4), и write-инструмент (статьи 2, 5).

# guardrails.yaml — единая точка контроля агента
autonomy_level: 1            # глобальная крышка; действие не может её превысить
read_only_tools: [crawl_url, get_gsc_pages, validate_schema]   # уровень 0

write:
  apply_link:
    autonomy: proposal       # уровень 1: дифф, не запись
    whitelist_url_prefix:    # агент не трогает вне списка
      - /blog/
      - /docs/
    deny_url_prefix:         # стоп-лист важнее whitelist
      - /checkout/
      - /legal/
    max_changes_per_run: 200       # лимит объёма партии
    max_new_links_per_page: 3      # из статьи 5
    require_code_review: true      # ни одна партия не деплоится без человека
    feature_flag: seo_interlink_v1 # включается по сегменту, не по всему сайту
    rollback:
      batch_id_required: true      # каждая партия мечется batch-id
      snapshot_before: true        # снимок «до» для метрик и отката

budget:
  llm_tokens_per_run: 2_000_000    # жёсткий потолок стоимости
  reserve_before_call: true        # резерв input+max_output, как гейт в плагине
  halt_on_cost_exceeded: true

observability:
  log_decisions: true              # каждый вызов инструмента -> журнал
  metrics: [precision, recall, accepted_rate, cost_per_finding, time_to_fix]

Что здесь важно по-инженерно:

  • whitelist и deny вместе. Разрешающий префикс задаёт зону работы, стоп-лист защищает критическое (checkout, legal). deny приоритетнее whitelist — иначе одна опечатка в префиксе открывает платёжный раздел.
  • Лимит на объём партии. max_changes_per_run — это то, что не даёт багу правила за один прогон переписать весь сайт (статья 1: массовая операция = критический риск).
  • require_code_review как код, а не как культура. Флаг в конфиге, который write-путь обязан проверить, — не «договорились ревьюить».
  • feature flag по сегменту. Партия включается на 5% страниц, метрика смотрятся там, и только потом флаг раскатывается шире. Это staging для агента.
  • batch-id + снимок «до». Откат возможен только если каждая партия помечена и состояние до неё зафиксировано — ровно та метка batch=..., что статья 5 зашивала в дифф.

Резерв бюджета (reserve_before_call) — прямая линия к вашему реальному плагину: там гейт резервирует input + max_output до запроса, иначе дорогой поисковый вызов выбивает из квоты. В production-агенте это тот же механизм, только на весь прогон.

4. Наблюдаемость агента: логи решений, стоимость, принятые %, ложные срабатывания

Агент без наблюдаемости — это «что-то поменялось, но непонятно что и зачем». Четыре сигнала, каждый с конкретным источником:

  • Лог решений. Каждый tools/call пишется: кто, какой инструмент, аргументы, вердикт, confidence, batch-id. Это аудит-трейл из статьи 2 и журнал запусков из вашего плагина — в production он обязателен и неизменяем.
  • Стоимость вызовов LLM. Сумма токенов на находку/на партию. Без этого нельзя сравнить «агент vs час SEO-специалиста» — а это ровно та метрика, ради которой всё затевалось.
  • Доля принятых предложений (accepted_rate). Из диффов уровня 1, сколько человек одобрил. Это ваш прямой сигнал качества: низкий accepted_rate = агент шумит, высокий = агент приносит полезное.
  • Ложноположительные срабатывания (FP-rate). Продолжение precision из статьи 4, но уже на живых данных, а не на размеченной выборке: сколько принятых предложений пришлось откатить.
-- метрики агента из журнала решений (Postgres-подобный)
SELECT
  batch_id,
  count(*) FILTER (WHERE decision='applied')                          AS accepted,
  count(*) FILTER (WHERE decision='rejected')                         AS rejected,
  round(100.0 * count(*) FILTER (WHERE decision='applied')
              / nullif(count(*),0), 1)                                AS accepted_rate_pct,
  sum(llm_tokens)                                                     AS tokens,
  count(*) FILTER (WHERE rolled_back)                                 AS false_positives
FROM agent_decisions
WHERE tool = 'apply_link' AND created_at > now() - interval '7 days'
GROUP BY batch_id
ORDER BY accepted_rate_pct DESC;

5. Как измерять эффект: не только позиции

Позиции — лаг и шум: они двигаются неделями и зависят от половины мира, не от агента. Production-эффект меряется метриками, которые агент двигает сам и которые видны быстро. Четыре слоя доказательства, от быстрого к дорогому:

МетрикаЧто показываетОкноИсточник
Время до исправлениякак быстро находка закрываетсядниcrawled_at/updated_at из статьи 3
Индексное покрытиедоля нужных URL в индексенеделиGSC (статья 3)
Crawl budgetэффективность обхода (не скачиваем мусор)неделилоги (статья 3)
Стоимость ручного аудитасколько часов/денег экономимсразужурнал решений × ставка

«Время до исправления» — самая честная метрика агентного аудита: она не зависит от алгоритма Google и прямо измеряет пользу конвейера. «Стоимость ручного аудита» — та цифра, ради которой стейкхолдер даёт бюджет: (находки × среднее время ручной проверки) − стоимость токенов. Позиции оставляйте как подтверждающую метрику на длинном горизонте, а не как первичную — иначе агент никогда не докажет пользу, потому что корреляция размыта.

6. Чек-лист запуска в production

Финальный артефакт цикла — короткий гейт, который проходится перед тем, как агенту дают уровень 1 и выше.

  1. Автономия по матрице. Каждому действию явно назначен уровень; массовые канониколы/noindex — запрещены, не «на потом».
  2. Whitelist + deny настроены. Стоп-лист критических разделов приоритетнее разрешающего префикса.
  3. Лимиты партии выставлены. max_changes_per_run, max_new_links_per_page, потолок токенов.
  4. Code review обязателен в коде, а не в регламенте: write-путь читает флаг и блокирует без него.
  5. Feature flag на сегменте. Раскатка начинается с малого процента, не со всего сайта.
  6. Откат проверен на учениях. Партию реально откатили по batch-id на staging до прода.
  7. Наблюдаемость включена. Лог решений, стоимость, accepted_rate, FP — пишутся и видны.
  8. Метрики эффекта зафиксированы «до». Снимок покрытия/crawl budget/времени-до-исправления до запуска, чтобы было с чем сравнивать.
  9. Порог повышения автономии определён. Заранее решено: при каком accepted_rate и FP-rate действие переходит с уровня 1 на 2.
  10. Путь остановки есть. halt_on_cost_exceeded и ручной kill-switch: агент можно выключить мгновенно и откатить последнюю партию.

👤 Зарегистрируйтесь, чтобы добавить материал в закладки.