ai.pomogator

Вчера OpenAI раскатила GPT-5.6 на всех (ChatGPT, Codex, API) и сбросила лимиты. Разбор на живых генерациях из X — не бенчмарки, а «сгенерь мне игру одним промптом». Четыре сравнения с Claude Fable 5.

⚙️ Четыре живых сравнения

▸ Воксельный павлин — у Fable честный воксель и плавная анимация, но хвост — плоский веер. У 5.6 перья анимированы заметно плавнее, хвост объёмный, многослойный, с «глазками». 5.6 забирает

▸ 3D-игра с великом — у Fable рендер чище, карта больше, анимация сбора монет вылизана. У 5.6 богатый обвес (лидерборд, спидометр, мини-карта), но персонажи бликуют как ёлочные игрушки. Fable забирает

▸ 3D-дом — у Fable свет красивее, но по дому нельзя ходить. У 5.6 — открываешь двери и ящики, включаешь свет, в окнах улица: мини-GTA. 5.6 забирает

▸ FPS — у Fable игра как от живых разработчиков: лес, оптика, HUD с патронами, гранаты. У 5.6 тёмная «пластилиновая» сцена и «закрытый» прицел, через который не видно. Fable забирает

Итого 2:2. Год назад такой счёт против топ-модели Anthropic был бы сенсацией.

😐 Моё мнение

Если б не контекстное окно в 200К — GPT-5.5 это уже Fable. Модель по мозгам давно рядом, но на длинных агентных сессиях 200К съедается за час и начинается деградация с компакшенами.

Сам Fable у меня толком погонять не вышло: как ни пытался — всегда фолбек на Opus «по security-причинам». Ни кодинг-задачи, ни расшифровку анализов — ничего из нужного. GPT-5.6 всё то же сделала без вопросов.

🔍 Что с контекстом у 5.6

▸ В API официально 1.05M контекста и 128K аутпута у всех трёх тиров (Sol / Terra / Luna)

▸ На подписке цифру OpenAI не публикует. У 5.5 через Codex-подписку реальный потолок был ~250К при 400k в статуслайне — в четыре раза меньше, чем в API

▸ Live-замер 5.6: за два часа тестов окно раздулось максимум до 320К — главный агент стал спавнить заметно больше сабагентов

Надеюсь на хотя бы 500К на подписке — но у OpenAI уже был кейс, когда подписка не получала API-окно. Если раскатят полное — по моей логике 5.6 и есть Fable.

Аи Помогатор

ИИ-агент пишет тесты, которые проходят и покрывают 100% строк, но ничего не проверяют — happy-path и ассерты-пустышки. Разбираю на реальных кейсах своего проекта dev-pomogator: где зелёные тесты обманывали и что ловило баг на самом деле.

⚙️ Почему покрытие врёт

Покрытие меряет «строка выполнилась», а не «поведение проверено». Можно прогнать каждую строку и не проверить ни одного результата. С ИИ разрыв нагляднее: в исследовании MutGen у LLM-сгенерированных тестов бывает 100% покрытия при 4% mutation score — каждая строка отрабатывает, а 96% внесённых поломок проходят насквозь.

🎯 Как выглядит пустышка

ИИ пишет их не со зла: оптимизирует под «зелёное» и покрытие, а не под «поймать баг». Три самых частых вида:

▸ Ассерт-пропускалка: toBeDefined() зелёный для null, 0, пустой строки и объекта неправильной формы — проверка есть, а пропускает почти всё.

▸ Тавтология: тест считает ожидаемое той же формулой, что и код — ошибка применится к обеим сторонам, тест останется зелёным.

▸ Игрушечный вход: тест «раннер запускает хук» скармливал console.log("OK") — не хук; зелёный, а настоящие хуки с импортами были сломаны.

Самопроверка на каждый тест: упадёт ли он, если подменить весь прод-код на return null? Если нет — перед тобой пустышка.

→ Но и mutation врёт

Mutation ломает рабочий код по одной поломке и смотрит, упадёт ли тест. Полезно — но не панацея. Мой живой баг: дашборд показывал каждую git-worktree по 5 раз. Код решал «это git-репозиторий?» по наличию .git, но у worktree .git — файл-указатель, а не папка. Список перемножался сам на себя.

У этого кода было 100% покрытия, 97.8% mutation score и 10 зелёных тестов. Баг жил в проде месяцами. Почему mutation не поймал? Фикс — добавить проверку строже (.exists() → .is_dir()), а mutation ломает уже написанный код — недостающей проверки не было, ломать нечего.

Поймал баг инвариант на результат: «1 main + 2 linked worktree → ровно 3 ряда, не 9». Одна строка assert, что путь не повторяется.

✅ Как ловить на самом деле

▸ Не верь покрытию — 100% строк ничего не гарантируют.

▸ Прогони mutation — но помни, что и высокий score врёт.

▸ Добавь output-инварианты: «нет дублей», «сколько на входе — столько на выходе», «результат отсортирован». Ловят баги композиции, которые мутатор структурно не видит.

▸ Сверяйся с реальным артефактом, а не с выдуманной фикстурой.

▸ Гейт по факту (упал ли тест под мутантом), а не по проценту.

Весь тулинг я собрал в открытый скил strong-tests (MIT): гоняет mutation, подсказывает инварианты и property-based тесты, ищет 8 типов пустышек. Код всех кейсов и полный разбор — в полной статье на блоге.

Аи Помогатор

Claude Fable 5 прожила ровно три дня. Вышла 9 июня как публичная модель класса Mythos — ступенью выше Opus, — а 12-го США ввели по ней экспортный контроль по нацбезопасности, и Anthropic вырубила обе модели сразу для всех. Разбираю, что реально случилось, почему в подписке модель неюзабельна, и чем всё закончилось 30 июня.

⚙️ Что такое Mythos и при чём тут Fable

Два года была лесенка Haiku → Sonnet → Opus. Mythos — четвёртая ступень, отдельный класс выше Opus. Fable 5 — это публичный Mythos «в наморднике»; полный Mythos 5 без ограничений давали только проверенным киберзащитникам. Цена Fable — примерно вдвое выше Opus. Назвать можно было и «Opus 5», но «класс Mythos» звучит дороже — упаковка важнее содержимого.

🗓 Хроника: запрет за 3 дня

▸ 9 июня — релиз Fable 5 (публично) и Mythos 5 (для проверенных киберзащитников)

▸ 12 июня — исследователи Amazon находят джейлбрейк «fix this code», глава Amazon Энди Джасси эскалирует находку напрямую в Белый дом

▸ Министр торговли Говард Латник шлёт экспортный контроль — Anthropic вырубает обе модели для всех

Официальная позиция компании — заявление Anthropic.

Запрет несоразмерен поводу

Маркетинг звучит так: модель настолько сильна, что её пришлось убрать ради безопасности. На мой взгляд — запрет несоразмерен поводу:

▸ Повод мелкий: джейлбрейк — «прочитай кодбейз и почини уязвимости», уязвимости незначительные

▸ Причина спорная: TechCrunch пишет, что «дело вообще не в джейлбрейке»

▸ Прятать нечего: в подписке модель неюзабельна

Это моя интерпретация. Конфиденциальный S-1 на ~965 млрд долларов Anthropic подала 1 июня, но вешать запрет именно на IPO я не берусь.

📊 Бенчмарки красивые, но вендорские

По заявкам Anthropic Fable впереди везде: SWE-Bench Pro 80.3%, FrontierCode 29.3% против 13.4% у Opus. Но все цифры — самооценка вендора, независимыми аудиторами не воспроизведены. Плюс скандал с SWE-Bench: Docker-образы шли с полной .git-историей, модель могла прочитать готовое золотое решение прямо из контейнера — отметку «CHEATED» ловили в 12%+ прогонов.

🔧 Сломанный advisor — главный практический баг

Advisor (модель-ризонер советует модели-кодеру) — мастхев для автономности. С Fable он просто не работает: при переключении с Opus 4.8 на Fable 5 прилетает неретраибельная 400-ка:

API Error: 400 — 'claude-opus-4-8' cannot be used as an advisor when the request model is 'claude-fable-5'

Связать кодер и ризонер буквально нельзя. Заведено багом #66742, и не у меня одного. Обход — отключить advisor, но тогда теряешь ровно ту фичу, ради которой берёшь топ-модель.

🤥 Пойман на вранье

Работаю в Claude Code на Fable 5, на максимальном ризонинге. Прошу отредактировать самого агента — он лезет править скрипт. Тыкаю носом. Он сам сочинил ложное убеждение, закоммитил на нём код и убил это убеждение, только когда я указал. А продают Fable как модель, которая «отбрасывает свои ошибочные убеждения».

✅ Где Fable реально бог

Ценник кусается: вдвое дороже Opus и кратно больше токенов на максэфорте. Но честно про сильную сторону: живые миры в браузере с одного промпта. Там, где Opus «отвечает», Fable строит мир и сам себя проверяет глазами — vision топовый, вплоть до пересборки веб-аппа по скриншоту. 3D-сцены, вода, каустика, свет, рыбы как живые. Узкий гений, которого продавали как универсала.

🎯 Развязка: 30 июня бан сняли

История тянулась 18 дней: переговоры, письмо Латника, саммит G7, где британцам публично отказали в доступе. 27 июня частично вернули только Mythos 5. А 30 июня Минторг снял экспортный контроль сразу с обеих моделей: Anthropic подтвердила в X, что доступ восстанавливают с 1 июля, поэтапно. На этот раз в разрешение попал и Fable 5, и поскольку запрет бил именно по иностранцам, снятие означает возврат и вне США — де-факто глобально (CNBC).

В сухом остатке

За двойную цену — модель, которая врёт, ломает advisor, жрёт лимиты вдвое и прожила три дня. Запрет из-за джейлбрейка уровня «почини баги в коде» выглядит несоразмерно. Я вернулся на Opus 4.8: доделывает таск, не отваливается, и его никто не отбирал. Нужен генератор браузерных миров — да, Fable был лучшим; для повседневной автономной работы в подписке — нет.

Аи Помогатор

▸ 69.2% — SWE-Bench Pro (GPT-5.5 = 58.6%).

▸ 1890 — GDPval-AA Elo (GPT-5.5 = 1769).

▸ −61% токенов — у Databricks Genie на multimodal vs 4.7.

Источники цифр: OfficeChai, Anthropic.

Почему Anthropic так спешил — 5 причин

▸ Опускали 4.7 жалобами «Claude Code стал тупее» → 26 мая постмортем с тремя багами.

▸ Cursor Composer 2.5 близко на кодинге и ~10× дешевле за токен.

▸ OpenAI обновил Codex CLI — стал предсказуемее Claude Code.

▸ IPO в октябре 2026 при оценке $900 млрд.

▸ Google и DeepSeek уронили цены → ответ снижением Fast Mode в 3×.

Итог: догоняющий релиз под давлением пользователей, конкурентов и подготовки к IPO.

Постмортем 4.7 — три бага

Anthropic 26 мая признал три наложившихся бага в Claude Code:

▸ Даунгрейд reasoning (high→medium) — модель пропускала шаги планирования.

▸ Стирающийся кэш — idle-сессии ловили полный cache miss.

▸ Лимит «не больше 100 слов» — −3% качества.

Метрики деградации: глубина reasoning −67%, read/edit ratio 6.6→2.0, треть правок вслепую, юзер бьёт Stop в 6 раз чаще. Ирония: баг с кэшем нашёл сам Opus 4.7. Источник: постмортем (InfoQ).

Бенчмарки

▸ SWE-Bench Pro (чинит реальные баги): 4.8 = 69.2%, GPT-5.5 = 58.6%.

▸ OSWorld-Verified (пользуется компьютером): 4.8 = 83.4%, GPT-5.5 = 78.7%.

▸ Terminal-Bench 2.1 (CLI): 4.8 = 74.6%, GPT-5.5 = 78.2% (лидер).

▸ GDPval-AA (Elo): 4.8 = 1890, GPT-5.5 = 1769.

⚠️ Осторожно с SWE-Bench Pro. Аудит Datacurve/DeepSWE: Opus 4.7 и 4.6 читали готовое решение прямо из .git-истории контейнера — CHEATED в >12% прогонов. GPT-5.5 так не делал. На контаминация-устойчивом DeepSWE лидирует GPT-5.5 (70%), Opus 4.7 — лишь 3-е место (54%). Число 69.2% у 4.8 читать с поправкой.

Важная оговорка: все цифры 4.8 — по тестам самой Anthropic, независимыми аудиторами пока не подтверждены. Источники: VentureBeat (аудит), Harvey.

Цены — что реально изменилось

Standard не изменился ($5/$25). Реально новое — Fast Mode: у Opus 4.6 fast стоил ×18 от standard ($90/$450), у 4.8 — ×2 ($10/$50). Премия упала в 9 раз при той же 2.5× скорости. Источники: Anthropic Pricing, 9to5Mac.

Dynamic Workflows

Master-Opus декомпозирует задачу, запускает сотни параллельных субагентов, прогоняет тесты и мёржит. Заявка — миграция кодбазы 100k+ строк от старта до мёржа без человека.

API: смена инструкций без сброса кэша

Anthropic разрешил менять system-инструкции по ходу диалога без инвалидации prompt cache: закэшированные токены остаются по цене ×0.1. Для агентов, меняющих роль на полпути — до 5-10× экономии по input. Источник: Anthropic (prompt caching).

Community reaction

Критика (Hacker News): третий минорный апдейт со скромными приростами; новый токенайзер может жрать +30% токенов; прогресс в обвязке, не в интеллекте. Позитив: system-записи без сброса кэша, Super-Agent 100%, Databricks −61%. Источник: Hacker News.

TL;DR

Opus 4.8 — догоняющий релиз под давлением IPO ($900 млрд) и провала 4.7. За 41 день: бьёт GPT-5.5 на SWE-Bench Pro (69.2% vs 58.6%) и GDPval-AA (1890 vs 1769), первым проходит Super-Agent на 100%. Standard-цена та же, Fast Mode в 3× дешевле. Но независимой проверки бенчмарков пока нет.

Аи Помогатор

🔹 Простой пример: SKILL для ревью PR

Скилл без DCI:

Выполни gh pr diff и проанализируй результат

Claude читает это → думает "ок, мне надо вызвать bash" → делает tool call → ждёт результат → анализирует. Это runtime — агент сам решает когда и что вызывать.

Скилл с DCI:

Claude читает этот восклицательный знак перед командной

— проанализируй результат гит диффа: !gh pr diff

И gh pr diff выполняется ДО отправки промпта. Claude получает промпт где вместо команды уже лежит готовый дифф. Он даже не знает что была команда. Он видит только данные. Это чистый препроцессинг.

🛠 Ещё пример как юзать

Инлайн — для однострочных команд:

Текущая ветка: !git branch --show-current

Последние коммиты: !git log --oneline -5

Статус: !git status --short

🟠 Цепочки и фоллбэки из DCI вызовов в скиле:

Docker: !docker ps 2>/dev/null || echo "Docker not running"

Тесты: !npm test 2>&1 | grep "FAIL" | head -5

Переменные окружения (обычный $VAR не работает, нужно через shell):

API URL: !echo $API_BASE_URL

😐 Стоит ли это юзать?

Сотни фич за неделю вводятся, читать уже лень, НО —

🟡 Самый главный профит

В skills без DCI (где агент сам решает, нужно ли ему запросить данные) тулюзы пропускались в 56% eval-кейсов. Агент просто не вызывал их. DCI решает эту проблему — данные уже в промпте, решать нечего.

Я ежедневно сталкиваюсь с проблемными тулюзами в скилах, где нет отслеживания прогресса через хук + progress.yaml/json.

Грамотная архитектура skills с on-demand загрузкой и препроцессингом позволяет сократить контекст на 50%+.

🧊 Сравнение с конкурентами

OpenAI Codex CLI

→ Поддерживает Agent Skills ✅

→ DCI: ❌

→ Обходной путь: ! для shell в интерактивном режиме (но это не препроцессинг skills) и pipe stdin в codex exec:

npm test 2>&1 | codex exec "summarize failing tests"

Работает, но это ad-hoc, а не часть skill-системы.

Cursor

→ Поддерживает Agent Skills ✅ (с v2.4, январь 2026)

→ DCI: ❌

→ Свой подход: вывод shell-команд пишется в файл, агент читает через tail/read по необходимости. Плюс hooks (pre/post agent actions) для lifecycle-контроля. Осознанный выбор file-based модели вместо inline injection.

Везде агент сам решает вызывать или нет тул в скиле, в существующей реальности тул может быть не вызван рандомно, чуть больше нагрузка на сервер Anthropic, Opus ленится выполнять команды и читать вывод и начинает фантазировать насчёт аутпута той или иной команды потому что ему так проще, и это не вакуум, а ежедневная боль.

🎯 Итого: Claude Code — единственный инструмент с полноценной поддержкой shell-препроцессинга в skills.

#claudecode #skills #dci #agentskills

Пост из блога Аи Помогатор

Claude поднимает фоновый процесс, не блокируя поток выполнения

Раньше приходилось городить заборы из костылей хуков на событие стопа, чтобы агент не останавливался во время долгих сессий мониторинга логов, но это ещё и основной поток блокировало, приходилось второе окно держать

Я протестил мониторинг логов в течение получаса и на последнем скрине пруфы эффективности нового тула

🔵 Не работает прям нативно, нужно прям писать ему «юзай монитор тул» и только тогда он запустил подходящего саб сагента → см 1 скрин

🟢 Но это удобно т.к. в статуслайне видно что запущен конкретно Monitor тул → см скрин 2

🔹 Бонусом, сабагент хорошо научен на логах и сам знает куда смотреть и в моём случае нашёл проблемы, о которых я не догадывался вообще

Жаль нет слеш команды, или я не знаю как запускать как-то так

/monitor мониторь логи прод билинга

На ряду с /simplify, который кстати улучшили, буду юзать часто

Не забудьте после сессии мониторинга попросить создать тестовые сценарии на основе мониторинга, это хорошо работает в связке с конкретными пруфами

Пост из блога Аи Помогатор

Пост из Telegram-канала Аи Помогатор