feat(aif-loop): outer-loop — бюджет токенов/времени, режим --auto, backlog из IMPLEMENTATION_NOTES

[sattva2020]

Контекст

/aif-loop — сильный inner / reflex loop: контракт успешности (run.json.criteria), строгий валидатор (EVALUATE через параллельные Task), персистентное состояние (run.json / history.jsonl / artifact.md) с resume, стоп по порогу / стагнации / лимиту итераций. Это полностью закрывает inner loop и Maker-Checker.

Не хватает трёх возможностей для outer loop (автономная работа без оператора). Все три аддитивны и обратно совместимы — без новых полей/режимов поведение не меняется.

1. Бюджет токенов/времени как стоп-условие

Сейчас единственный ресурсный лимит — max_iterations. Одна «тяжёлая» итерация может сжечь непредсказуемо много токенов; для автономных прогонов это главный риск.

Предложение — добавить в run.json:

"budget": { "max_tokens": 500000, "max_wall_seconds": 3600, "spent_tokens": 0 }

• инкремент spent_tokens после каждой фазы (из usage субагентов Task);
• новое стоп-условие (Step 5): reason=budget_exceeded;
• в Step 2 (setup) спрашивать бюджет наравне с max_iterations.

Без поля budget — поведение как сейчас.

2. Режим --auto (триггеры / Automations)

disable-model-invocation: true + только ручной запуск = нет outer loop: нельзя стартовать цикл по расписанию/событию (новый тикет, красный CI, ночной прогон).

Предложение (не ломая дефолт):

• режим --auto (или companion-скилл) — без интерактивных вопросов: критерии/итерации/бюджет из аргумента или .ai-factory/config.yaml; при неоднозначности не блокируется вопросом, а пишет ошибку в history.jsonl;
• рецепт обвязки в references/ (cron / git hook / CI), вызывающий /aif-loop new "<task>" --auto.

3. Backlog-режим, читающий IMPLEMENTATION_NOTES

Сейчас цикл берёт один промпт. Outer loop в идеале идёт по очереди задач.

Предложение — режим /aif-loop backlog, который берёт вход из уже существующего механизма, а не вводит новую сущность. Community-расширение Implementation Notes (добавлено в #128) уже копит отложенную работу в .ai-factory/IMPLEMENTATION_NOTES.md как записи QUESTION и TRADEOFF. aif-loop backlog может:

• прочитать открытые QUESTION / TRADEOFF из журнала (или произвольный todo-файл);
• для каждого запустить полный reflex-цикл (свой alias, изолированно);
• уважать общий бюджет из п.1 (across-tasks лимит);
• вести сводный статус passed / failed / budget_exceeded.

Так outer loop замыкает конвейер: /aif-implement фиксирует отложенное → /aif-loop backlog его прогоняет.

Мелочи

• Валидатор другой моделью — опция evaluator_model в EVALUATE (снижает риск «агент подтверждает сам себя»).
• Машинно-проверяемые gate'ы в CRITERIA-TEMPLATES (exit-code / coverage) наравне с контентными.

Приоритет

1. budget-стоп — маленький, безопасный, сразу полезен;
2. --auto — открывает outer loop;
3. backlog — крупнее, можно позже.

Всё аддитивно и обратно совместимо: без новых полей/режимов поведение не меняется.

[sattva2020]

Готов оформить это как PR — правки уже подготовлены и проверены git apply --check на ветке 2.x.

• Пункт 1 (бюджет-стоп) + мелочь evaluator_model из раздела «Мелочи» — один патч к skills/aif-loop/SKILL.md. Полностью обратно совместимо: budget/evaluator_model опциональны, null = как сейчас.
• Пункт 2 (--auto) — отдельный патч, тоже к skills/aif-loop/SKILL.md. Не меняет disable-model-invocation; добавляет non-interactive режим с fail-closed на неоднозначности.

Оба патча независимы от базы, и --auto бесконфликтно ложится поверх budget.

Перед подачей уточню предпочтения:

1. Один PR («hardening aif-loop»: budget + evaluator_model + --auto) или раздельные (сначала budget как самый безопасный)?
2. Нет ли возражений по подходу (поля в run.json, стоп-условие budget_exceeded, --auto через флаг, а не через снятие disable-model-invocation)?

Пункт 3 (backlog из IMPLEMENTATION_NOTES) оставляю на потом отдельным PR — он крупнее.

[lee-to]

а как агент будет считать токены? у нас же на уровне скиллов без программной обвязки

[sattva2020]

Справедливо — на чистом skill-уровне модель действительно не может надёжно считать собственный расход токенов, тут ты прав. Разложу, что из бюджета реально enforceable без обвязки, а что требует программного слоя.

Enforceable прямо в скилле (без кода):

• max_wall_seconds — время агент читать умеет: Bash: date +%s в начале цикла → в run.json, на каждой итерации сверка. Надёжный предохранитель «не крутиться вечно».
• max_iterations — уже есть в aif-loop; самый честный прокси «объёма» на skill-уровне.

Этих двух достаточно, чтобы outer-loop не уходил в разнос — а это и была цель budget-стопа.

Требует программного слоя (не для этого PR):

• Настоящий token-count — да, только через обвязку. Логичное место — CLI ai-factory: Claude Code пишет транскрипт сессии (JSONL) с usage по каждому ходу, CLI-хелпер может его распарсить и вернуть потраченные токены, а скилл лишь сверит число с бюджетом. Тогда модель ничего сама не считает.

Предложение по PR:

1. В budget-PR оставить только max_wall_seconds + max_iterations (+ мелочь evaluator_model) — всё skill-level, без обвязки.
2. token_budget пометить опциональным/advisory и подключать позже через CLI (готов прототипировать ai-factory-хелпер, если тема интересна).
3. --auto — отдельным независимым PR (от подсчёта токенов не зависит).

Так budget-часть ложится без противоречия со skill-архитектурой. Как смотришь — сузить бюджет до time + iterations в текущем виде?

[lee-to]

Через cli считать плохая идея, у нас универсальный инструмент а тут будет поддержка только некоторых агентов и чаще через sdk, такое только в виде расширения, а насчет добавить дату в луп и сделать лимит на дату, тут ок

[ichinya]

Я бы не принимал как единый feature request. Лучше разделить его следующим образом.

PR 1 — принять сейчас

feat(aif-loop): add phase-boundary active-time budget

Scope:

• только max_active_seconds;
• без token accounting;
• optional field, старые run-файлы работают;
• проверка до и после каждой фазы;
• budget_exceeded → stopped;
• final distance-to-success;
• resume не учитывает время простоя;
• синхронизация skill/docs/orchestrator;
• явная документация, что limit soft и не прерывает текущий Task.

PR 2 — после отдельного design contract

feat(aif-loop): deterministic --non-interactive mode

Scope:

• criteria только из explicit profile/file/config;
• ни одного вопроса на всём пути выполнения;
• machine-readable failure при недостаточных входах;
• отказ при уже активном run;
• default artifact path без post-loop prompt;
• никакого cron/webhook кода в core;
• security note для внешних task sources.

Отдельный extension/runtime issue

Outer-loop scheduler, triggers, token accounting и backlog orchestration.

Лучшее место:

• aif-handoff;
• новый extension;
• либо развитие aif-ext-implementation-notes.

Оценка: 1–4 недели, в зависимости от числа runtime/provider adapters и требований к надёжности.

Отдельный небольшой PR

Formal executable gates

• expected_exit_code;
• timeout_seconds;
• coverage examples;
• command allowlist guidance.

Итоговая рекомендация

Outer-loop нужен экосистеме, но не должен целиком встраиваться в aif-loop. В core принять soft active-time budget и, отдельно, deterministic non-interactive contract. Token usage, event triggers и backlog queue реализовывать через runtime/extension. IMPLEMENTATION_NOTES не использовать как очередь без stable IDs, resolution protocol и явного actionable status.

Приоритет исполнения:

1. machine-checkable gates;
2. soft time budget;
3. non-interactive contract только при наличии реального consumer;
4. runtime scheduler;
5. backlog adapter;
6. token accounting после появления общего provider usage API.