Как я разбирался, что такое ИИ и как он работает (часть 2)
1) В комментариях к прошлому посту Как я разбирался, что такое ИИ и как он работает возник вопрос, что такое большая языковая модель. Коротко, это модель. Языка. Просто языка модель. Большая. Это, в целом, одна из областей ИИ.
БЯМ бывает много. И структура разная и обучение разное. Это делается под конкретную задачу.
Входные данные по некоторым алгоритмам разбиваются на малые части, токены (может и целое предложение считаться токеном). Токен дальше специальными алгоритмами представляется неким числом вида [x1, x2, x3 ...xn]. Мы изначально знаем\предполагает взаимосвязь токенов. Поэтому все токены объединяются в единое пространство. Из требования единого пространства и некой предполагаемой взаимосвязи (контекста), зависит и выбор специальных алгоритмов представления токенов числами. Дальше методами машинного обучения, мы устанавливаем взаимосвязи всех доступных токенов (из обучающей выборки), исходя из заданного входа этой модели и заданного выхода (чтобы выходные токены определенные были, с неким смыслом). Построив так модель, выяснив взаимосвязи токенов, в инференсе на вход подаются данные и исходя из модели всех взаимосвязей токенов получается выход, в соответствии с целями обучения. Обычно на выходе один токен, который добавляется к входу и новый, получившийся, вход обрабатывается как новый запрос. Это примерно так, потому что БЯМ бывают разные. https://habr.com/ru/articles/966882/ например, можно это здесь почитать.
В прошлых комментариях правильно посоветовали книгу Маркова "Охота на электроовец. Большая книга искусственного интеллекта." Хоть и вопрос конкретный, по БЯМ, но лучше книгу почитать. Гуглится плохо.
Продвинутые языковые модели - мультимодальные. В единой модели, в едином пространстве, обрабатывается текст, изображения, видео, аудио. А вот получится ли делать так, чтобы модель играла в шахматы, при этом читая учебник по шахматам? https://www.reddit.com/r/ArtificialInteligence/comments/1p76... . Пока делают некую конструкцию, к БЯМ добавляют сторонние программы. И участие человека здесь большое.
Главное свойство нейросетей, это их способность реализовывать любую функцию между входом и выходом. В прошлом посте, несколько, неправильно картинка нарисована. БЯМ извлекает данные из своей памяти или внешних источников (RAG). В Интернете около 100 триллионов слов. Средняя длина предложения, со своим контекстом, 10 слов. Берем 5 предложений со своим смыслом, итого получается 2 триллиона осмысленных текстов. БЯМ, в среднем, оценивается в 0,5 - 1 триллион своих параметров. Это просто такие цифры, сложно сказать сколько смысловых оттенков бывает в фрагментах текста.
В целом, без Интернета БЯМ невозможны. Если обучающая выборка плохая, то и плохо получится. Хотя бы книги должны быть оцифрованы.
И интересен философский вопрос - почему БЯМ кажется такой живой?
1а) Интересен вопрос, как построить машину Тьюринга к БЯМ. В принципе, это стандартная, многоленточная машина Тьюринга.
2) В прошлом посте я рисовал такую картинку
Я погуглил. Вот свежие рассуждения, что у ИИ может быть некая внутренняя модель мира https://vc.ru/ai/2942739-world-models-novyy-etap-ii-posle-ch... . И свежие рассуждения о том, что живой мозг очень много занимается предсказаниями https://habr.com/ru/articles/1030856/
Ну, а выше, нарисована картинка, просто, поконкретней. Но очень сложно сказать, что все таки в мозге происходит, достаточно ли только таких соображений. К примеру, можно сказать, что мозг много фантазирует. Это даже не гипотезы, именно фантазии. Но и не галлюцинации.
К вопросу вычислимости сознания - ТЕОРИЯ, КОТОРУЮ ФИЗИКИ НЕНАВИДЯТ, А ПРОВЕРИТЬ ПОКА НЕ МОГУТ . О квантовых эффектах в сознании задумываются. Но все равно это вычисления по Тьюрингу, вопрос во времени за которое обычный компьютер все посчитает. Невычислимые функции бывают, но сверхтьюриговые вычисления это совсем другое и такого еще никто не видел. Физически такую машину построить "сложно". Это же переосмысление всей физики.
3) В комментариях к прошлому посту всплыла тема майнинга.
Посмотрел на свою кухню. Можно в газовой трубе проделать отверстие до счетчика. Дальше бензогенератор и асик. Киловатт 12, электричества получить можно. Окупаемость оборудования 6 мес. В двигателях надо разбираться, обслуживать, там ресурс моточасов вырабатывается. И руки прямые надо иметь.
Еще на технологии блокчейна можно математически честные выборы проводить.
Сверхтьюриговых вычислений еще никто не видел. Квантовые компьютеры еще недостаточно мощные для расшифровки блокчейна.
