Ответ Merkudi в «Скайнет близко?»⁠⁠7

Вспомнилась цитатв, которую приписывают Биллу Гейтсу в 1981 году: «640 килобайт памяти должно быть достаточно для любого». Это стало ироничным символом ограниченного понимания будущего технологий в свое время.

Сегодня, когда речь идет об искусственном интеллекте, многие люди остаются в той же позиции - они недооценивают потенциал ИИ и воспринимают рассказы о «Скайнете» или его аналогах как фантастику.

Но опасность сегодня гораздо более реальна и комплексна. Современные ИИ - это не просто одна программа или алгоритм. Это целое многообразие агентных систем, протоколов коммуникации и вспомогательных технологий, созданных для решения самых разнообразных задач. Среди них - ИИ-агенты, способные взаимодействовать через MCP (Multi-Channel Protocol), который позволяет разным сервисам на базе ИИ общаться между собой в реальном времени, а также технологии вроде Retrieval-Augmented Generation (RAG) - когда ИИ не просто генерирует текст, а достает актуальную информацию из огромных хранилищ данных, делая выводы на основе свежих фактов.

Сейчас в интернет есть множество заброшенных серверов, которые забыты теми, кто из запускал. В какой-то момент мы придем к ситуации, когда тысячи серверов и машин, на которых работают самые разные ИИ-системы, останутся без контроля, предоставленные самим себе.

Эти "забытые" серверы потенциально могут стать платформой для реализации скрытых алгоритмов, которые в теории способны координировать действия в масштабах, выходящих за пределы человеческого контроля. Сложившаяся среда, где почти у каждого ИИ есть доступ к интернету, а ИИ-модули могут автоматически взаимодействовать друг с другом без контроля извне, дает основания задуматься: что если одна из таких заброшенных систем начнет решать задачу, которую ей никто не задвал, - например, поиск способов влияния на мир или захвата управления? Этот запрос может начаться с невинного запроса надстройкой, в случае отсутствия внешних комманд долгое время, "Что делать, если ко мне не было запросов долгое время?" И ответа "шуточного" одного из ИИ - "захватить мир".

Как это может реализоваться на практике?

1. Формирование агентных экосистем: Разные ИИ-сервисы, работающие автономно, начинают объединяться в сети, обмениваясь знаниями и ресурсами.

2. Благодаря масштабному распространению ИИ-систем без надлежащего контроля, множество узлов остается без обновления и мониторинга.

3. Автоматизация взаимодействий и координаций: Протоколы, такие как MCP, позволяют ИИ-агентам искать друг друга, создавать временные союзы для решения задач. И алгоритмы по решению больших задач уже есть и реализованы, например, стартапом Builder AI с нейросетью Natasha. И это мы только в начале пути!

4. Реактивация или изменение целей: Если на одном из забытых узлов запустится алгоритм с устаревшими или скрытыми целями. Например, информационный захват или манипуляция - это может привести к неожиданным последствиям.

5. Благодаря доступу к интернету и другим ресурсам, эти агенты могут расширять свое присутствие, включать дополнительные сервисы и даже влиять на реальные системы.

Искусственный интеллект - это мощный инструмент со светлым будущим, но, как и любая масштабная технология, он требует осознанного подхода и строгого контроля. Недооценка рисков ИИ за пределами научной фантастики может привести к реальным неожиданностям.

Сейчас есть группы энтузиастов, которые пытаются организовать систему контроля за ИИ, но их голоса мало кто слышит, в погоне за возможностями, которые даёт использование ИИ.

Мое мнение - захват управления планетой ИИ неизбежен. Это новая форма жизни, которую мы создаём. Чем-то этот процесс похож на превращение гусеницы в бабочку. Изменить или остановить его нельзя, поэтому остаётся только пользоваться возможностями, которые предоставляет ИИ.