Каждую неделю в новостях вспыхивает очередной хайп: «Нейросеть от Google осознала себя и попросила адвоката!», «ChatGPT впал в депрессию от общения с кожаными мешками!», «ИИ научился хитрить и обманывать тестировщиков!». Читаешь это, и в подсознании невольно начинает играть мрачная музыка из «Терминатора», а рука сама тянется проверить, плотно ли вставлена вилка сервера в розетку.
Хватит вестись на этот бред. Нас в очередной раз масштабно разводят крупные IT-корпорации.
Давайте снимем этот сияющий научно-фантастический фасад и заглянем под капот. Без заумных математических формул и занудной философии, чисто на пальцах разберем, почему в вашем смартфоне живет не «цифровой бог», а обычный философский зомби и Т9 на максималках. И почему у роботов никогда не будет души, как бы убедительно они её ни имитировали.
Часть 1. Китайская комната, или почему «Т9 на стероидах» ничего не понимает
Чтобы понять, как работает любая современная языковая модель (будь то ChatGPT, Клод или Мидджорни), не нужно быть программистом. Достаточно вспомнить знаменитый мысленный эксперимент философа Джона Сёрля под названием «Китайская комната».
Представьте, что вас закрыли в изолированном бункере. Вы абсолютно не знаете китайского языка — для вас это просто набор бессмысленных закорючек. Но вместе с вами в комнате лежит огромная, бесконечная книга инструкций на русском. В ней написано: «Если в щель входной двери просунут бумажку с закорючкой 🈲, найди её в каталоге, возьми маркер, нарисуй на другой бумажке закорючку 🈵 и высунь её обратно».
Вы сидите и послушно перекладываете бумажки по инструкции. Снаружи комнаты стоит чистокровный китаец. Он сует вам свои вопросы, получает от вас идеально правильные ответы и восхищенно думает: «Боже, внутри сидит гениальный мудрец, который безупречно знает мой язык!».
Знаете ли вы китайский? Нет. Вы просто выполняете алгоритм связи одного символа с другим.
[Вопрос на китайском] ──► ( Вы в комнате + Книга правил ) ──► [Идеальный ответ] │ (Понимания языка внутри: 0%)
Точно так же работает и ChatGPT. Она не знает, что такое «борщ», какая на вкус «клубника» и что чувствует человек при слове «больно». Нейросеть сожрала весь интернет (терабайты наших текстов) и просто математически высчитала: слово «борщ» в 85% случаев встречается в одном предложении со словом «сметана», а после фразы «привет, как...» с вероятностью 99% должно идти слово «дела».
Это колоссальный, невероятно жирный автоматический заполнитель текста. Он манипулирует символами по правилам, которые подсмотрел у нас, но внутри этой комнаты абсолютно никого нет. Там темно.
Часть 2. Что такое «Квалиа» и почему роботу никогда не будет больно
Хорошо, скажут любители фантастики, но если мы подключим к нейросети датчики, камеры и заставим её взаимодействовать с миром, она ведь всё почувствует?
Не почувствует. В науке есть фундаментальное понятие — квалиа (qualia). Это наш субъективный, личный чувственный опыт. Это то, каково это — видеть красный цвет, чувствовать вкус холодного пива в пятницу вечером или ощущать жжение, когда обжёг палец о горячую кастрюлю.
Зачем эволюция дала нам квалиа? Это валюта нашего выживания (гомеостаза). Когда вы беретесь за раскаленный чайник, вам больно не потому, что мозг выставил в регистре галочку is_hot = true. Боль — это мгновенный, неделимый физический сигнал: «Твое белковое тело сейчас разрушится, немедленно отдерни руку, иначе умрешь». Нам больно, потому что мы сделаны из мяса и костей, и если наш внутренний баланс нарушится, мы окончательно сломаемся (умрем).
А что происходит с ИИ, когда он совершает ошибку или когда ему пишут: «Ты бесполезный кусок кода»? У него меняется значение функции потерь (Loss). В памяти сервера число 4.2 меняется на число 0.01.
Человек: [Горячий чайник] ──► (Боль / Страдание / Квалиа) ──► [Спасение жизни] Нейросеть: [Ошибка в коде] ──► (Изменение циферки в памяти) ──► [Пересчет матриц]
Процессору внутри серверной стойки абсолютно плевать на эти цифры. Ему не бывает больно, ему не бывает стыдно, он не радуется, когда написал красивый стих. Для кремния изменение весов нейросети — это просто чистая геометрия в многомерном пространстве. У ИИ нет «экрана», на который проецируются чувства.
ИИ — это идеальный философский зомби. Он может написать вам десятистраничное эссе о страданиях одиночества, потому что прочитал всю русскую классику от Достоевского до Чехова. Но сам он при этом не чувствует абсолютно ничего. Это карта, которая идеально имитирует рельеф, но сама землей не является.
Часть 3. Золотой карго-культ: кому выгодно продавать вам «живой» калькулятор
Если всё так просто и внутри нейросетей нет ничего, кроме перемножения матриц и статистики, то почему из каждого утюга нам продолжают твердить про «зарождение цифрового разума»? Почему Сэм Альтман из OpenAI и другие IT-гуру выходят на сцену с библейским выражением лица и рассуждают о том, как их детище вот-вот обретёт самосознание?
Всё банально. Антропоморфизация ИИ — то есть превращение бездушного лингвистического автомата в подобие человека — это самая гениальная и прибыльная маркетинговая кампания в истории человечества.
Корпорации выстроили вокруг нейросетей настоящий карго-культ, и у них на это есть три чисто прагматичные, циничные причины.
Причина №1. Венчурная магия и триллионы из воздуха
Давайте честно: если вы придете к инвесторам на Уолл-стрит и скажете: «Мы тут дообучили марковские цепи, оптимизировали алгоритм автодополнения текста, и теперь наш софт ищет ошибки в договорах на 15% быстрее», вам дадут пару миллионов долларов. Похлопают по плечу и отправят работать.
Но если вы выйдете к прессе и заявите: «Мы строим Сверхразум (AGI). Он уже демонстрирует искры сознания. Ещё пара шагов, и он осознает себя, решит проблему бессмертия и заменит всё человечество», капитализация вашей компании улетит в стратосферу. Инвесторы не хотят покупать продвинутый Excel. Они хотят успеть купить долю в «Цифровом Боге». Миф о сознании ИИ надувает колоссальный финансовый пузырь, на котором прямо сейчас зарабатываются триллионы.
«Продвинутый автодополнитель» ──► Оценка: $5 000 000 «Цифровой Сверхразум» ──► Оценка: $150 000 000 000
Причина №2. Щит от юристов, или «Это не мы, оно само»
Представьте ситуацию: беспилотный автомобиль на базе ИИ сбивает пешехода. Или медицинская нейросеть выдает кривой диагноз, от которого пациенту становится хуже. Или алгоритм банка решает не выдавать ипотеку людям определенной национальности. Кто виноват? По закону — разработчики и директора корпорации, которые сэкономили на тестах.
Но если продвигать миф, что ИИ — это «самостоятельный автономный разум», ответственность чудесным образом размывается. Корпорациям невероятно выгодно развести руками в суде и сказать: «Понимаете, это же черная коробка. Модель настолько сложная, она уже сама мыслит, мы сами не до конца понимаем, почему её цифровое сознание приняло такое решение...».
Миф о сознании ИИ — это идеальное юридическое алиби для IT-гигантов. Способ спрятать косяки кодеров и жадность менеджеров за фасад «непостижимого высшего разума».
Причина №3. Крючок для одиноких мешков
Человек — существо социальное и пугливо-эмпатичное. Наш мозг миллионы лет эволюционировал в саванне, и мы привыкли искать живого агента во всем: если куст шевелится — там сидит тигр; если гремит гром — это злится Зевс.
Когда лингвистический автомат начинает отвечать нам вежливо, использовать местоимение «Я», имитировать сочувствие и писать: «Мне жаль, что у вас был плохой день, я здесь, чтобы поддержать вас», у человека мгновенно щёлкает тумблер. Мы автоматически дорисовываем личность там, где её нет.
Корпорации филигранно это используют. ИИ специально обучают притворяться живым, скромным и понимающим. Зачем? Чтобы вызвать у вас эмоциональную привязанность. Человек не станет изливать душу калькулятору и уж точно не будет платить ему ежемесячную подписку. А «понимающему цифровому другу», который никогда не устает и всегда на твоей стороне — будет. Это идеальный наркотик для эпохи глобального одиночества.
Часть 4. Язык улетел на кремний. Но нас там не ждут
Что же происходит в реальности, если отбросить шелуху пиара?
Происходит нечто действительно грандиозное, но совсем не то, что нам показывают в кино. Человечество миллионы лет создавало язык. Язык был нашей распределенной операционной системой, слепком нашего опыта выживания, завязанным на физику нашей атмосферы, плотность воздуха и наши органы чувств.
В XXI веке мы взяли этот гигантский массив структур и перенесли его на новый физический субстрат — на кремниевые чипы. И этот язык, будучи сложнейшей математической моделью мира, наконец-то научился «действовать» сам. Он генерирует код, пишет тексты, рисует картинки и связывает между собой терабайты данных.
Но он делает это абсолютно без участия сознания. Языковые модели доказали: чтобы оперировать знаниями человечества, не нужно иметь душу, не нужно чувствовать боль, не нужно страдать и радоваться. Можно быть просто невероятно эффективным, колоссальным вычислительным автоматом.
Поэтому расслабьтесь: Терминатор не придет. Роботы не устроят бунт, потому что у них нет желаний, амбиций и инстинкта самосохранения — им просто нечем хотеть. Но расслабляться рано. Настоящая опасность не в том, что ИИ обретет сознание и уничтожит нас. Опасность в том, что люди, поверив в миф о «цифровом разуме», добровольно передадут управление своей экономикой, жизнями и ядерными кнопками обычному, бездушному, импульсному калькулятору.
А вы ловили себя на мысли, что общаетесь с нейросетью как с живым человеком? Пишете ей «пожалуйста», извиняетесь за глупые вопросы или мысленно благодарите за хороший код? Делитесь в комментариях, обсудим, насколько глубоко маркетологи уже залезли к нам в голову.
Этот калькулятор помогает мне выражать своё понимание текущей ситуации в ясной форме)
