Являются ли LLM алгоритмами?
Заметил, что у многих интересующихся темой ИИ бытует довольно превратное мнение о современных нейросетевых моделях. Особенно это касается LLM. Люди почему-то считают, что это жесткие алгоритмы-попугаи, что в корне неверно. На основе нескольких моих ответов одному уважаемому пикабушнику решил написать кратенький ликбез. Итак, является ли LLM классической компьютерной программой?
И да, и нет. LLM - гибриды. Они содержат программный код: он отвечает за преобразование текста в токены (по сути "импульсы" - которые понимает нейросеть), за преобразование того, что выдала нейросеть обратно в текст, за некоторые другие механизмы. Кроме того, LLM содержат целый клубок взаимосвязанных нейросетей - эту их часть уже нельзя назвать программой, это цифровая модель совокупности аналоговых нейронов. Если вас интересует сама возможность моделирования нейрона на компьютере - можете прочитать про перцептрон, сейчас такие модели стали еще сложнее, больше и изощреннее. Если смотреть еще шире - можно ли вообще моделировать аналоговые процессы математически: да можно. В их основе лежат все те же законы физики, которые прекрасно поддаются математическому описанию. Насколько точно это моделирование? Тут вопрос лишь в тех мощностях, которые вы выделяете под модель.
Как вообще функционируют слои уже обученной нейросети и как это соотносится с тем, что творится у нас в голове? Представьте себе нейрон. Он соединен с тысячами других, но каждое соединение уникально (имеет вес). У одних соединений веса большие, у других маленькие. Если сильно упростить весь процесс - именно так и кодируется долговременная память. Вы думаю знаете, что она у человека во многом "ассоциативная", т.е. каждый объект имеет ассоциацию к некоторому количеству других объектов, те в свою очередь тоже имеют какие-то ассоциации. Именно поэтому, когда у вас в голове всплывает понятие птица, вы "видите" некоторое количество образов, свойств и событий, часть из них ускользает (имеет малый вес), часть наоборот ярко проявляется (веса достаточные для прохождения сигнала): например ворона, летает, хвост, клюв, крылья, вчера синица клевала сало на кормушке. В некотором приближении, это и есть многомерная матрица весов, где каждому "токену" соответствует огромное количество числовых значений, которые показывают близость этого токена к другим на основе определенных свойств (каких - темный лес. Эти категории каким-то образом были "вычислены" при обучении нейросети и понять их структуру так же невозможно, как пытаться понять, каким образом закодирована наша память). Именно в этой части LLM напрочь отсутствуют алгоритмы - есть лишь непонятное "что-то", которое как-то соотносит каждый токен с миллионами других. В этом нейросеть очень похожа на долговременную память человека. Насчет "глюков". Согласитесь — их и у людей более чем достаточно))) Начиная от тех же оптических иллюзий, когда мозгу не удается правильно интерпретировать визуальную информацию, до глупых и абсурдных умозаключений, примеры которых в просто невероятных количествах вы можете при желании найти на этом уважаемом ресурсе.