ironOS

ironOS

На Пикабу
Дата рождения: 22 октября
101 рейтинг 1 подписчик 3 подписки 5 постов 0 в горячем

Автономный ИИ-автопилот Windows. Перезагрузка. Как я запечатал ядро операционной системы и создал цифровую крепость

Привет пикабу. Мой прошлый пост вызвал огромный шквал критики. Диванные эксперты, ИБ-специалисты и RPA-разработчики в один голос кричали: «Доступы бинарны! ИИ сойдет с ума и удалит твою базу данных! Промпт-инъекции сольют пароли пользователей! Это небезопасно, неповоротливо, а программа просто зависнет при первом сбое окон!»

Я внимательно прочитал каждый комментарий. Сделал выводы. Снес к чертовой матери старый веб-стек на Next.js/PyQt6 и полностью переписал архитектуру IronOS v2.0 на чистом C++ и встроенном портативном Python 3.12. Все сделал в одиночку.

Ниже — детальный разбор того, как я превратил IronOS v2.0 в неубиваемый коммерческий танк. Сначала для инженеров с хардкорным разбором «кишок» бэкенда, затем — простым человеческим языком для тех, кто просто хочет автоматизировать рутину в один клик.


ЧАСТЬ 1: ИНЖЕНЕРНЫЙ ОРКЕСТРАТОР (Для тех, кто понимает в системных вызовах)

Я выстроил сквозную эшелонированную защиту и оптимизацию контекста на уровне ядра операционной системы. Бэкенд залит бетоном по следующим рубежам:

1. Нативная песочница процессов (Win32 Job Objects Jail)

Главный страх ИБ-шников: вредоносная промпт-инъекция на каком-нибудь сайте заставит ИИ вызвать командную строку и выполнить деструктивный код.

  • Как решено: Весь рантайм встроенного Python я намертво запер внутри ядерного контейнера Windows — Job Objects с жесткими флагами ограничений SecurityLimitFlags. Питоновское ядро на уровне ОС физически лишено возможности вызвать cmd.exe, powershell.exe или породить любой сторонний процесс. Попытка инъекции мгновенно блокируется ядром Windows с ошибкой Access Denied.

2. Контекстный замок доменов (Scoped URL & HWND Validation)

  • Как решено: Перед каждым скрытым кликом через PostMessageW (флаг WM_CHAR) в свернутые окна, C++ ядро считывает текущий URL активной вкладки из отладочного порта Chromium и дескриптор HWND процесса. Если под воздействием инъекции ИИ попытается увести вкладку на левый сайт или открыть чужое окно — локальный C++ код фиксирует нарушение периметра и мгновенно глушит поток через TerminateThread.

3. Сверхсжатый текстовый видеопоток экрана (Delta-Frame Streaming)

Сканировать экран картинками или постоянно слать тяжелый HTML/XML DOM-код интерфейсов — это неповоротливо и дорого.

  • Как решено: Мой локальный компрессор context_compressor.py вырезает из окон весь мусор (<script>, <style>, SVG-графику, пустые контейнеры). В ОЗУ хранятся только дельта-кадры изменений (микро-диффы): например, одна строчка текста, которая изменилась в CRM.

  • На частоте 10 FPS фоновый ИИ-демон событий os_event_daemon.py слушает Windows через нативные хуки SetWinEventHook. Трафик сведен к абсолютному минимуму, а ИИ видит изменения экрана «в прямом эфире» как текстовое кино.

4. Бесконтактный фоновый обход капч без парализации юзера

  • Как решено: Приложение полностью автономно. Для прохождения капч (включая Cloudflare Turnstile, скользящие пазлы и графические рекапчи) я вообще не использую физический курсор мыши Windows. Команды кликов и плавных сдвигов ползунков эмулируются внутри Chromium-движка через низкоуровневые WebSocket-команды CDP (Input.dispatchMouseEvent). Физическая мышь пользователя на рабочем столе даже не дрогнет. Можно играть в шутер или писать код, пока робот в свернутом окне обходит защиту сайтов.

5. Самообучение на ошибках (Graph-RAG & Local Vector DB)

  • Как решено: В локальную базу SQLite я внедрил двухуровневую семантическую память. Если ИИ совершает микро-ошибку из-за кривой верстки окна, транзакционный менеджер action_rollback_core.py делает откат системы назад, а модуль рефлексии анализирует сбой и пишет сухое текстовое правило-инструкцию в базу данных. При следующем запуске этой же задачи правило инжектируется в промпт. Софт больше никогда в жизни не повторит эту ошибку на ПК пользователя.

6. Защита ОЗУ и шифрование базы (AES-256 & Anti-Debugging)

  • Как решено: В коде нет открытых строк и ключей — всё замаскировано XOR-масками. База данных макросов iron_system.db наглухо зашифрована по стандарту AES-256 (SQLCipher). Ключ шифрования собирается в ОЗУ на лету из аппаратного хэша процессора и материнской платы (__cpuid). Перенести базу на другой ПК невозможно. Прямо в рантайм я внедрил ловушки IsDebuggerPresent и NtSetInformationThread. При попытке прикрепить отладчик (x64dbg, IDA Pro) софт затирает память через SecureZeroMemory и мгновенно падает в глухой защитный краш.


ЧАСТЬ 2: ОБЪЯСНЕНИЕ ДЛЯ ТЕХ, КТО НЕ ХОЧЕТ ВНИКАТЬ В КОД (Для обычных людей)

Если отбросить весь этот сложный программистский синтаксис, то IronOS v2.0 — это невидимый, безопасный робот-помощник, встроенный в ваш компьютер.

💡 Как это работает на пальцах:

  1. Абсолютная тишина и свобода рук: Робот работает исключительно в свернутых окнах. Он умеет сам заходить в вашу 1С, открывать Excel, браузер, парсить сайты, заполнять карточки товаров на маркетплейсах или разносить выписки. При этом ваша физическая мышка на экране не двигается. Вы можете сидеть в наушниках, смотреть фильм, играть в Доту или работать — робот шуршит на заднем плане внутри оперативной памяти компьютера и не мешает вам.

  2. Голосовой контроль автономии: Вы можете управлять софтом обычным голосом. Программа находит задачу и сама спрашивает вас через динамики: «Обнаружен новый файл отчета. Спарсить данные в CRM?». Вы можете прямо во время игры или отдыха ответить в микрофон: «Да, Айрон, разрешаю, работай автономно на полчаса». Софт переключит режим безопасности, молча накликает всю рутину в фоне и голосом отчитается о выполнении.

  3. Железная безопасность: Робот физически заперт внутри виртуальной «клетки» Windows. Даже если хакеры взломают сайт, на котором работает робот, и попытаются через нейросеть украсть ваши файлы или запустить вирус — операционная система Windows мгновенно ударит робота по рукам. Он умеет заходить только на те сайты и в те программы, которые вы ему разрешили.

  4. Встроенный ИИ-Антивирус и Взломщик Капч: Программа сама контролирует зависания окон, сама бесшумно в фоне двигает ползунки капч, имитируя дрожание человеческой руки, и сама проверяет создаваемые файлы через эвристический ИИ-щит. Если файл подозрительный — он сотрется из памяти до того, как успеет открыться.


🏗️ ТЕКУЩИЙ СТАТУС И ЧТО ДАЛЬШЕ

Я полностью запечатал бэкенд-каркас. Кодовая база из нативных классов и питоновских модулей полностью слинкована, проверена на утечки памяти и дедлоки многопоточности QThread. Софт потребляет рекордные 12–15 МБ оперативной памяти в трее благодаря принудительному сжатию рабочей области ядра EmptyWorkingSet.

Сейчас я перехожу к этапу натяжки премиальной многостраничной QML-графики. Дизайн будет строгим, монохромным, в стиле Claude IDE

Вход в приложение будет свободным (по почте или Google Auth), а управлять лицензиями и подпиской пользователь сможет в изолированной и защищенной вкладке личного кабинета.

В комменты призываются главные критики прошлого поста. Что скажете на этот раз, господа инженеры? Где теперь мои слепые зоны?


Показать полностью
2

Как устроен ИИ-автопилот IronOS: Низкоуровневая автоматизация Windows без скриншотов и захвата мыши

Привет, Пикабу! Проект IronOS v1.0.0 официально вышел на стадию финальной сборки ядра. В прошлых постах было много вопросов в духе «как это вообще возможно в свернутых окнах» и «почему вас не банят антивирусы». Пришло время полностью вскрыть карты и показать инженерную архитектуру системы.

Если коротко: это автономный ИИ-агент, который управляет вашим ПК и браузером, пока вы играете или занимаетесь своими делами. Но под капотом тут не стандартные питоновские библиотеки для кликов, а полноценный двухъядерный стек.

1. Облачное ядро (Next.js на Vercel + Supabase)

Вся логика мышления ИИ вынесена на серверную сторону. Это решает сразу три проблемы: защиту мастер-ключей, Rate Limiting от DOS-атак и экономию контекста.

  • ИИ-Маршрутизатор: Запросы обрабатываются через шлюз OpenRouter. Лёгкие задачи (парсинг интерфейсов, бытовой чат) берет на себя Gemini 2.5 Flash. Тяжёлый дебаг кода, рефакторинг и многошаговое планирование бесшовно эскалируются на Anthropic Claude Opus 4.8.

  • Prompt Caching: На сервере включено агрессивное кэширование контекста (cache_control: { type: "ephemeral" }). Тяжёлые файлы проектов и структуры окон кэшируются в памяти моделей, что срезает стоимость токенов на 90%.

  • Транзакционный контроль: Чтобы параллельные потоки автоматизации не загнали баланс в минус, списание токенов идёт через атомарные PostgreSQL-процедуры (FOR UPDATE) внутри Supabase.

2. OTA-интерфейс (Over-The-Air)

Сам интерфейс приложения (копия Claude Desktop со встроенным Markdown-рендерингом Atom One Dark) физически развёрнут в облаке Vercel.

  • Обход CORS защиты: Браузерные движки по умолчанию запрещают удалённым сайтам из сети выполнять локальный код на ПК пользователя. Чтобы обойти это без отключения флагов безопасности, внутри десктопного .exe зашит микро-лоадер loader.html. Он инициализирует локальный мост QWebChannel, открывает облачный интерфейс через iframe и проксирует команды в Python-ядро через безопасный window.postMessage.

  • Обновление по воздуху: Цвет кнопок, логика вкладок и мимика нашего неонового смайлика Iron Face меняются прямо на Vercel. Пользователям не нужно пересобирать или скачивать .exe заново — интерфейс обновляется мгновенно по воздуху при каждом пуше в гитхаб.

3. Локальный Win32-Исполнитель (Python PyQt6 + UI Automation)

Это «слепые руки» робота на вашем компьютере. Программа упакована через компилятор Nuitka в один исполняемый файл и работает внутри изолированной песочницы (Sandbox), проверяя пути через os.path.commonpath, чтобы ИИ случайно не вышел за пределы выбранного проекта.

  • Вслепую по тексту: Никакого OpenCV и скриншотов экрана. Локальный скрипт через comtypes-обёртки парсит XML-дерево Microsoft UI Automation самой Windows, а из активной вкладки Chrome вытаскивает голый HTML DOM через отладочный порт CDP. ИИ видит операционную систему как плоский текст. Это даёт 100% приватность — картинок вашего экрана в системе не существует.

  • Призрачные клики: Программа не трогает вашу физическую мышь и клавиатуру. Команды транслируются бэкендом в плоский байт-код и отправляются напрямую в дескрипторы окон (HWND) через низкоуровневые сообщения PostMessageW (с флагами WM_LBUTTONDOWN, WM_LBUTTONUP и WM_CHAR). Окна программ могут быть полностью перекрыты или сдвинуты системой по координатам -32000, -32000 (так они остаются активными для Windows, но полностью исчезают с экрана для юзера).

4. Голосовой Realtime-шлюз

Вместо текстового ввода в систему зашит прямой аудио-прокси роут на веб-сокетах. Сырые 24kHz PCM-байты с микрофона летят на сервер Next.js, подписываются HMAC-SHA256 ключом для защиты от перехвата пакетов и стримятся в OpenAI Realtime API. Ответные аудио-чанки возвращаются в десктоп с задержкой всего в 200 мс, а амплитуда звука на частоте 25 FPS плавно изгибает рот смайлика в живую Lip-Sync волну.

Проект создаётся строго как приватный коммерческий SaaS-инструмент для автоматизации монотонной рутины. Архитектурный каркас полностью залит на сервера.

Готов ответить на любые хардкорные вопросы по Win32-потокам, CDP-инжектам и структурам баз данных в комментариях!


Показать полностью

ИИ-автопилот Windows без скриншотов и захвата мыши: Как заставить Клода работать в полностью свернутых окнах

Пока Anthropic и Microsoft пытаются запускать ИИ-автопилоты интерфейса (Computer Use) через циклическую отправку тяжелых картинок экрана, парализуя работу ПК и сжирая терабайты трафика, я пересобрал эту концепцию на уровне ядра ОС.

Мой автономный рантайм IronOS работает на чистом тексте и выкатывает три функции, которые полностью закрывают вопрос автоматизации:

  1. Призрачные клики (Stealth Background Execution):
    Система вообще не трогает ваш физический курсор мыши и не создает виртуальных дисплеев. Используя Win32 API и низкоуровневые системные сообщения PostMessageW (с флагами WM_LBUTTONDOWN и WM_CHAR), ИИ кликает по кнопкам и вводит текст напрямую в дескрипторы окон (HWND). Любой браузер, Excel или CRM-система могут быть полностью свернуты, скрыты или перекрыты тяжелой игрой — автоматизация идет в изолированном фоновом потоке, пока вы спокойно пользуетесь ПК.

  2. Вслепую по UI Automation и Chrome DOM (100% Privacy):
    Мы полностью отказались от скриншотов экрана. Фоновый поток через comtypes-обертки подключается к Windows UI Automation Tree и вытаскивает plain-text структуру интерфейса ОС, а к браузеру коннектится напрямую через отладочный порт CDP (Chrome DevTools Protocol), считывая чистый HTML DOM. Объем данных падает с мегабайт графики до пары килобайт текста. Итог: нулевой пинг, моментальный отклик моделей и абсолютная безопасность — ИИ физически не видит ваши личные переписки в Telegram или банковские вклады, потому что картинок экрана вообще не существует.

  3. Мультимодальный Realtime аудио-пайплайн уровня OpenAI:
    Никакого текстового чата и долгих задержек. В систему интегрирован сквозной дуплексный поток звука, работающий напрямую через аудио-эндпоинты OpenRouter. Рантайм принимает ваш голос и стримит ответ нейросети в сырых байтах аудио-чанков напрямую в динамики с пингом всего в 200–300 мс. Реализован полноценный слой Voice Activity Detection (VAD) с мгновенным прерыванием: вы можете перебить ИИ прямо на полуслове, он мгновенно очистит аудио-буфер, остановит генерацию и переключится в режим прослушивания новой команды на лету.

Вся система упакована в строгий, матовый монохромный интерфейс в стиле терминала Claude Code и запускается за сотые доли секунды.

Интересно услышать мнение инженеров: кто-нибудь пробовал масштабировать PostMessageW на тяжелые кастомные GUI-фреймворки (типа WPF или Flutter), которые криво отдают дескрипторы внутренних элементов в UI Automation Tree? Как вытаскивали селекторы кнопок?


Показать полностью

Почему существующие решения ИИ-автопилота Computer Use неэффективны и как эта проблема решена в архитектуре IronOS

Большинство современных ИИ-агентов автоматизации интерфейса (включая Anthropic Computer Use API) имеют критические архитектурные недостатки. Они полностью блокируют физический курсор мыши, парализуя работу пользователя, расходуют гигабайты трафика на постоянную отправку скриншотов экрана в облачные модели и создают серьезную уязвимость для конфиденциальных данных.

Для решения этих проблем была спроектирована закрытая экосистема IronOS — фоновый рантайм, оптимизированный под Windows, который переводит концепцию ИИ-автопилота на автономный уровень:

  1. Фоновые клики через Win32 API: Система не использует эмуляцию мыши на уровне ОС. Через низкоуровневые сообщения PostMessage ИИ вводит текст и отправляет клики напрямую в дескрипторы (HWND) целевых окон. Браузер или CRM могут быть полностью свернуты или перекрыты другими задачами — автоматизация идет в изолированном фоновом потоке, оставляя физическую мышь полностью свободной.

  2. Интегрированное голосовое управление и Lip-Sync: В рантайм вшит потоковый аудио-пайплайн. Команды принимаются голосом через микрофон, а локальный шумодав на CPU отсекает внешние акустические помехи. ИИ обрабатывает запрос и отвечает голосом через OpenAI TTS с поддержкой режима прерывания (VAD). Визуальный интерфейс выполнен в виде минималистичного векторного аватара с LERP-интерполяцией, рот которого динамически трансформируется в звуковую волну кривыми Безье строго в такт синтезируемой речи.

  3. Сокращение избыточности трафика на 95%: Вместо циклической отправки тяжелых графических файлов, фоновый сканер считывает текстовое UI-дерево элементов и минифицирует контекст. Объем передаваемых данных падает с мегабайт до килобайт, что позволило зафиксировать потребление оперативной памяти лоадера на отметке в ~80 МБ.

  4. Контур безопасности OpenCV: Перед отправкой пакетов данных анализируются заголовки активных процессов. Если в системе открыто окно мессенджера, банковского клиента или менеджера паролей, локальный модуль OpenCV аппаратно маскирует эту зону черным квадратом прямо в оперативной памяти (RAM) без сохранения временных файлов на диск.

Проект разработан в формате закрытого коммерческого софта (Indie SaaS) для полной автоматизации рутинных процессов. На текущий момент полностью готов стабильный standalone-дистрибутив лоадера для проведения тестов.

Интересно услышать мнение системных инженеров: как бы вы подошли к реализации аналогичных фоновых кликов под macOS Accessibility API без использования виртуальных дисплеев?


Показать полностью

Написал живого ИИ-помощника для Windows. Он моргает, шевелит губами в такт речи и умеет сам кликать по окнам

Хочу поделиться опытом разработки проекта, который я ковырял последние несколько месяцев чисто ради интереса. Мне дико надоела рутина при работе за компьютером, а обычные веб-интерфейсы нейросетей казались слишком скучными и бездушными. Захотелось сделать что-то визуально живое, ламповое и в стиле старого доброго Тамагочи, но с реальным системным функционалом.

В итоге написал десктопное фоновое приложение — назвал систему IronOS. Это небольшой ассистент, у которого есть свое анимированное «лицо» прямо на экране (назвал его Iron Face).

Как устроена визуальная часть (0% нагрузки на видеокарту):
Чтобы интерфейс не отжирал ресурсы у рабочих задач и игр, я полностью отказался от тяжелой 3D-графики и WebGL. Все отрисовано на чистом HTML5 Canvas 2D API с математическим сглаживанием:

  • В режиме ожидания: Смайлик просто парит в углу чата, лениво покачивается и периодически случайно моргает, создавая эффект естественного живого взгляда.

  • В режиме размышления: Когда ставишь ему сложную задачу (например, написать скрипт или разобрать лог), он сурово прищуривается к центру, выражая максимальную концентрацию, а под лицом разворачивается моноширинная консоль с бегущими строчками его мыслей.

  • В режиме речи: Когда он отвечает голосом, активируется плавный Lip-Sync — его рот превращается в динамическую волну, которая открывается и сжимается в реальном времени строго в такт человеческой речи. Переходы геометрии сглаживаются математически, без рывков.

Что он умеет делать в операционной системе:
По сути, это автопилот интерфейса. Через низкоуровневые системные сообщения Win32 API (PostMessage / SendMessage) он умеет выполнять «призрачные клики» и вводить текст в дескрипторы (HWND) фоновых или свернутых окон программ. Мышка при этом остается полностью в руках пользователя, ИИ её не перехватывает и не двигает курсор.

Программа может по команде сама зайти в браузер, открыть нужный сайт, заполнить форму или, например, перехватить и исправить Traceback-ошибку, которую я скопировал в буфер обмена во время программирования.

Техническая внутрянка, безопасность и оптимизация:

  1. Экономия ресурсов: Приложение написано на Python и скомпилировано в независимый C++ бинарник. Вес получился приличный — около 315 МБ, так как внутрь пришлось зашить рантайм Chromium для интерфейса, библиотеки шумоподавления и ONNX-модели распознавания голоса. Зато в фоне программа ест всего около 80 МБ оперативной памяти. Когда окно теряет фокус, все анимации полностью замораживаются.

  2. Безопасность данных (Режим паранойи): Так как ИИ умеет анализировать экран, я зашил туда локальный модуль OpenCV для маскирования приватных зон. Перед отправкой скриншота в облако скрипт считывает заголовки окон. Если активен Telegram, банковская вкладка или менеджер паролей — система наглухо замазывает эту зону черным квадратом прямо в оперативной памяти компьютера.

  3. Режим прерывания: Встроен фоновый шумодав на CPU и датчик голоса. Если ИИ говорит, но вы перебиваете его голосом — он мгновенно останавливает аудиопоток и очищает буфер звука, закрывая рот.

Проект делался исключительно для себя, чтобы разгрузить руки во время работы и добавить немного футуризма на рабочий стол. Было дико интересно скрестить системные вызовы Windows, физику звука и анимацию мимики в одном легковесном интерфейсе.

Интересно послушать мнение практикующих разработчиков и инженеров — какие еще системные фичи или типы эмоций можно зашить такому фоновому питомцу для удобства?


Показать полностью
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества