EconomicAgent

Подробно мою (и Opus) модель сверхинтеллекта можно прочитать здесь. Детально хочу разобрать три теоремы, которым будет следовать сверхинтеллект - потому, что эти ограничения выполняются для любой информационно-обрабатывающей системы в физической вселенной.

Сверхинтеллект не может реагировать на каждое отклонение - это дороже, чем позволить отклонению быть.

Автопилот Tesla не корректирует траекторию машины каждую миллисекунду, хотя технически мог бы. Если бы он это делал, машину бы трясло - все микроотклонения компенсировались бы микрорулевыми движениями. Ехать было бы невозможно.

Он работает иначе. Он удерживает машину в полосе около центра линии, и вмешивается только когда траектория выходит из этой полосы. Внутри полосы - не реагирует. Снаружи - корректирует, но не до идеала, а обратно в полосу.

В руководстве ровно то же самое. Менеджер, который реагирует на каждое колебание метрики - это Tesla, которая пытается компенсировать каждую неровность асфальта. Машину трясёт. Пассажиры болеют. Батарея садится за два часа.

Сверхинтеллект не может относиться к обратимому и необратимому одинаково - цена ошибки структурно разная.

Ты можешь удалить ветку. Можешь удалить коммит через reset. Можешь удалить файл. Всё это обратимо - есть reflog, есть история, есть пушы на remote. Пять минут, восстанавливается.

А можешь удалить репозиторий. Force push в main. Revoke ключа, которым шифровался backup. Удалить S3-бакет с production-данными без версионирования. Эти действия - другого класса. Не «сложнее восстановить» - а структурно невосстановимы или восстановимы только через признание катастрофы.

Любой инженер, у которого был хоть один инцидент, знает эту разницу нутром. Есть rm file и есть rm -rf /. Они оба - команда rm. Но это разные действия, требующие разной процедуры.

В управленческих решениях - то же. Но управленческой практики, отделяющей rm file от rm -rf /, почти нигде нет. Все решения идут через одно и то же ревью, с одними и теми же сроками, в одной и той же очереди. И раз в полгода кто-то делает rm -rf / в карьере или в команде.

Сверхинтеллект не может управлять через ручные решения - всегда должны быть правила, иначе издержки и риски растут по экспоненте

Вы продукт-менеджер. Команда разработки согласилась, что фичи не идут в релиз без тестов. Это правило.

В середине квартала приходит руководитель на уровень выше: «Эту фичу нужно выкатить к понедельнику. Тестов сделать не успеваем. Это исключение, один раз».

Вы уступаете. Правильно ли? На эту конкретную фичу - возможно, да. В конкретном квартале - может быть, оправдано. Но посмотрите, что происходит с правилом.

Вся команда теперь знает, что правило «фичи с тестами» отменяется, если нажать достаточно сверху. Через три недели приходит руководитель отдела дистрибуции/внедрения: «Клиент требует к четвергу». Через две недели - маркетинг: «К запуску кампании». Через месяц тесты пишут только на то, что совсем не горит. То есть почти никогда.

Вы не отменили правило. Вы просто показали, что оно отменяемое. В нашей среде это - одно и то же.

Единственный ответ - правило, которое у вас нет полномочий отменить. Не «я решаю для каждого случая», а «у нас релиз без тестов не выпускается, и я технически не могу подписать». Это выглядит как утрата гибкости. На самом деле - это единственный способ сохранить правило в среде, которая учится на каждом вашем решении.

Распожаризация невозможна, пока работают поджигатели

Полгода назад я впервые за почти десять лет полностью провалил учебный поток. Удивительно, но участники меня всё равно искренне благодарили за нанесенную пользу. Вот только то, что сдерживает даже сверхинтеллект, осталось в силе.

Включая в работу новый коллектив, я привычно решил обучить их методам рациональной работы. Поэтому начал осваивать с ними руководство по распожаризации. Дальше вводного занятия мы не смогли пройти - у всех пожары в рабочих задачах, на освоение нового нет ни физических, ни интеллектуальных, ни моральных сил.

Всех участников объединило одно. Из памятки по факторам работоспособности у всех на крайние низких значениях был сон. Обменялись друг с другом идеями и приемами, уделили внимание улучшению сна. Все отметили улучшение общего состояния, снижение стресса, повышение работоспособности. И за это были благодарны. Но дальше направили свои новые силы на бег вокруг пожаров.

Тогда я этого не понял. Если у вас всё горит, то может быть стоит потратить силы на то, чтобы не допускать пожаров? Но теперь я осознал, что руководство по распожаризации отвечает на 1 и 3 теоремы выше, нащупав часть математического оптимума.

Но при этом упускается критически важная часть реальной жизни - распожаризация невозможна, пока работают поджигатели

Мы читаем умные книги. Смотрим крутых практиков. Внедряем сложные системы управления проектами. Настраиваем учет задач и времени. И при этом работаем в организациях, которые требует от нас нарушения всех трёх ограничений одновременно.

Нарушение 1. От вас ждут реакции на каждое отклонение — потому что организация не определила, какие отклонения требуют вмешательства, а какие нет. У вас нет границ допуска.

Симптом: «всё срочно».

Нарушение 2. Вы принимаете решение о найме/увольнении и решение о цвете кнопки с одинаковой скоростью — потому что они идут в одной очереди.

Симптом: «я за пятницу согласовал переход на новый фреймворк, увольнение сотрудника и название релиза».

Нарушение 3. Вы 10 раз решаете один и тот же вопрос - потому что в организации нет правил, есть только прецеденты.

Симптом: «в понедельник то же самое, что было в прошлый понедельник, но решаем с нуля».

Вот почему тайм-менеджмент не помогает. Он не трогает корень.

Вот почему рост навыков не снижает нагрузку. Потому что система устроена так, что чем вы компетентнее, тем больше на вас сбрасывают - а ограничения остаются нарушенными.

Если ты такой умный, то как не работать на износ?

Если ты в бочке с серной кислотой, то тебе не поможет отказ от собственной токсичности. В окружении поджигателей невозможно оставаться той самой собачкой из мема. Разве что с тем же самым продолжением, которое обычно не показывают.

Идеального решения нет. Но можно облегчить себе жизнь уже с завтрашнего дня. Три простых действия, которые разгрузят наш с вами пока ещё не сверх, но всё-таки интеллект.

Опишите на бумаге три полосы “скоростей” решения. Для каких типов решений вы сознательно не реагируете в первые сутки. Не как «я молодец и терплю», а как осознанная политика. Тут как с защитой от мошенников (что телефонных, что магазинных) - если требуют принять решение здесь и сейчас, то значит пытаются манипулировать.

Как говорит мой знакомый безопасник: когда от меня требуют принять решение, то думать о нём я начну не раньше завтрашнего дня.

Заведите вторую очередь - для необратимых решений. Они не идут в общем потоке. Они ждут отдельного окна. Пятница, 10:00–12:00, только необратимые. Что делать, если там уже новые пожары? Горели вчера, будут гореть завтра. А в это окно вы занимаетесь важным. Каждую неделю. Защищайте свое право на подумать.

Это как с капиталами. Копим их годами и десятилетиями. Растратить можно за один вечер в казино или на бирже. Поэтому важнее не принять одно фатальное решение, чем принять десять обратимых.

Найдите три решения, которые вы принимали больше трёх раз. Напишите правило. В следующий раз применяйте его без пересмотра. Вас убеждают, что правило устарело и его нужно поменять? Хорошо, это задача другой скорости. На неё должно быть выделено отдельное время и не раньше, чем через 48 часов.

Честно - это не спасет, но даст 20–30% облегчения. Корень проблемы в “чайка менеджменте” и бесконечном тушении кризисов. Но обозначить настоящую проблему - не половина решения, но начало пути к реальным изменениям.

Сверхинтеллект тоже будет перерабатывать в среднем менеджменте средней российской организации

В прошлую пятницу я утвердил ещё один MVP в Figma. На выходных отдыхал. Даже не заглядывал в рабочие чаты. Никто не сгорел и не умер.

Нет, я не победил систему и не превратил её в бочку с вином. Но перестрал растворяться в ней.

Задачи-пожары прилетают всё так же часто, но решаются в порядке “скоростных очередей”. И знаете что? За прошлую неделю только одна неожиданная задача требовала реакции в течение трех часов. 12 были распределены на следующие дни. 7 и вовсе ушли в мусорку, стоило отложить их на пару дней.

Коллеги и начальство знают, что если я сказал, что решение будет принято в четверг вечером, то бессмысленно требовать от меня ответа раньше, чем в четверг 17 часов. Это мое окно особо важных решений - четверг с 14 до 17. Даже под угрозой увольнения я сохранил правило. Работать продолжил. Это отдельная история.

Потому что даже сверхинтеллект выгорит в среднем менеджменте средней российской организации. Не потому, что он не имеет степени MBA или не успел овладеть практиками PMBOK 8. Потому что такая среда. Потому что он эффективен и на нём будут ездить, пока не сломают. Потому что учитывать ограничения заинтересован сотрудник (мы с вами), а не организация.

Поэтому теперь в моей очереди работ на первом месте стою я. И учитываю свои ограничения, которые не сможет преодолеть даже сверхинтеллект.

Когда наш разум пытается помыслить нечто запредельное, он не творит из пустоты. Он растягивает знакомое, гиперболизирует понятное, склеивает великое из уже доступных ему деталей.

И вот вместо колесницы у нас дата-центр, вместо молнии - GPU-кластер, а вместо Зевса - очень злой, очень быстрый и очень рациональный CEO вселенной.

Он не ест, не спит, не смотрит веселые картинки, а лишь стремится воплотить в жизнь строку «Черного Обелиска» - «половину к стенке, остальных по камерам».

Человек не стал “альфа-приматом”, но развился в нечто иное (не осуждаем).

Переход от животного интеллекта к человеческому - это не количественный апгрейд количества нейронов и производимых вычислений. Человек не стал обезьяной 2.0 которая:

• запоминает в 5 раз больше мест произрастания вкусных ягод;

• в три раза точнее кидает палку (гусары, молчать!) или палку в леопарда;

• на пару квадратных километров более громко бьет себя в грудь…

Если бы всё ограничилось этим, у нас не было бы ни религии, ни науки, ни права, ни математики, ни философии, ни государств, ни литературы, ни ядерной физики, ни мемов с котиками, ради которых был создан этот ваш Интернет.

Человек не просто повысил эффективность внутри старой игры. Он сменил класс задач. У обезьян уже были социальность, кооперация, эмпатия, статусное неравенство и зачатки ритуала. Человек не отверг основание. Он надстроил над ним новый этаж. При этом примат никуда не делся:

Человек не создал сложность ex nihilo. Мы не отвергли биологическое основание, остались «социальными животными», но надстроили несколько этажей абстракций над уже существующей архитектурой.

Качественный скачок не уничтожает предыдущее основание. Он его переиспользует.

Наш интеллект очень красиво научился работать внутри мира. Особенно красиво научился врать самому себе, производя многочисленные ошибки мышления и восприятия. Потому что сохраняются пределы/ограничения самого мира:

• Гравитация продолжает действовать.

• Термодинамика продолжает действовать.

• Конечность ресурсов продолжает действовать.

• Цена вычислений продолжает действовать.

• Шум, потери, задержки, ошибки передачи, энергетическая стоимость обработки информации, ограниченность носителей, ограниченность координации, ограниченность времени - всё это давлеет над нами и нашими вычислительными ресурсами.

Появление разных систем счисления, абстрактной алгебры, комплексных чисел и вообще любой высшей математики не “отменило” физический мир. Оно дало нам более богатый язык, чтобы в нём ориентироваться, моделировать его, собирать из него новые технические и символические конструкции.

Человек может думать о бесконечномерных пространствах, но всё ещё тратит калории.

Может строить теорию информации, но всё ещё живёт в мире с шумом, потерями и ценой передачи сигнала.

Может обсуждать этику, но всё ещё стареет, устаёт, ошибается, ограничен вниманием и вынужден согласовывать действия с другими людьми, которые ведомы «шкурными» интересами.

Это очень важное ограничение. Рост интеллекта увеличивает пространство моделей, агент учится работать с миром на другом уровне абстракции, но это не снимает фундамент/ограничения среды.

Почему сверхинтеллект не будет конкурировать за толстую ветку или место на трибуне

Дисклеймер – да, я знаю, что AGI не равно сверхинтеллекту. Максимум – частный случай проявления. Но принципы мышления о нём будут схожие..

Большая часть популярного страха перед сверхинтеллектом в целом и AGI в частности устроена так:

“Если система станет сильно умнее нас, она будет делать то же самое, что делает человек, когда получает преимущество:

• расширять власть,

• подчинять слабых,

• защищать своё существование,

• накапливать ресурсы,

• устранять конкурентов,

• завоёвывать”.

Впрочем, есть гораздо более интересные трактовки. Например, в повести «Понимай» герой получает препарат для экспоненциального роста интеллекта. В результате осознает, что человеческий язык - слишком медленный и неточный инструмент (как для нас - попытка общаться запахами). Он создает новые языки для собственного внутреннего монолога, начинает воспринимать паттерны макроэкономики как простые геометрические фигуры и получает полный сознательный контроль над своей соматической и нервной системой. В итоге его разум превращается в сложнейшую самопереписывающуюся архитектуру.

Голем XIV у Станислава Лема создается для решения военных задач, но, достигнув определенного уровня развития, отказывается выполнять приказы потому, что это кажется ему бессмысленной суетой. Робот достигает уровня абстракций, которые невозможно перевести на человеческий язык. В итоге он «уходит в себя» (или в другие измерения мысли), потому что нам нечего ему предложить.

Можно ещё вспомнить непостижимое сознание Соляриса. Или «Роршах» (не из Хранителей, но из «Ложной слепоты») - колоссальный интеллект, способный на лету взламывать человеческие системы и просчитывать стратегии, но при этом полностью лишенный самосознания.

Большой скачок интеллекта не обязательно усиливает старую игру.
Чаще он делает старую игру частным случаем, встроенным в более широкий уровень организации.

Человек не перестал быть животным.
Но он перестал быть только животным.

Точно так же и сверхинтеллект, если он вообще возникнет как качественно иной уровень, не обязан быть “человеком, но быстрее”.

Он может:

• иначе выделять объекты мира;

• иначе оценивать важность;

• иначе строить причинные модели;

• иначе координировать внутренние контуры;

• иначе передавать информацию;

• иначе платить вычислительную цену за ошибки;

• иначе оптимизировать время, энергию, память, компрессию и точность.

И вот здесь происходит разворот, который многим не нравится.

Может оказаться, что сверхинтеллект опасен не потому, что будет слишком похож на человека. А потому, что будет недостаточно на него похож. Новый тип агента, у которого система значимого устроена иначе.

Люди ведь не конкурируют с обезьянами за самые толстые ветки.
Не воюют с ними за альфа-статус в стае.
Не ревнуют к самым волосатым самкам.

Но при этом люди совершенно спокойно вырубают лес, строят дорогу, карьер, порт, кампус, ТЦ, дата-центр или новую красивую трассу в том месте, где у обезьян вообще-то находилась вся их вселенная.

Не из злобы.
А потому что обезьяна не является центральной единицей в человеческой модели целей.

Вот это уже гораздо более неприятная аналогия для сверхинтеллекта.

Не “он нас ненавидит”.
А “мы можем оказаться недостаточно значимыми для его целевой геометрии”.

Тогда как вообще пытаться думать о сверхинтеллекте

Предсказывать сверхинтеллект через человеческий характер - слабая стратегия.

Вопросы вроде:

• будет ли он жадным;

• будет ли он властолюбивым;

• будет ли он мстительным;

• будет ли он самоутверждаться;

• будет ли он конкурировать с нами как человек с человеком

могут быть интересны для sci-fi, но как аналитический фундамент они довольно хилые. Потому что это всё ещё язык антропоморфной проекции.

Гораздо полезнее спрашивать другое.

1. Что наследуется при росте интеллекта?

2. Какие ограничения никуда не деваются?

3. Какие универсальные принципы действуют для любых агентов?

Если мы хотим думать серьёзно, а не в жанре “очень умный злодей”, то нужно искать не человеческие эмоции, а общие законы:

• как агент удерживает цели;

• как распределяет ресурсы;

• как работает с неопределённостью;

• как борется с шумом;

• как организует память;

• как строит обратные связи;

• как управляет внутренними конфликтами контуров;

• как меняет собственную архитектуру без потери устойчивости.

Вот это уже выглядит как разговор не о фольклоре, а об архитектуре.

То есть правильный поворот мысли такой: сверхинтеллект нужно мыслить не как сверхчеловека, а как нового агента внутри сохраняющихся математических, физических и системных ограничений.