Ответ на пост «AI, AGI, ИИ и прочие LLM»⁠⁠1

Очень интересная статья, но боюсь, в одном вы неправы. Вы считаете, что LLM - обычная "переобученная" (переобученная - в смысле неправильно обученная) нейросеть. Вы должны знать, что такое случается, когда нейросети со слишком большим числом параметров "скармливают" крайне ограниченный датасет и она вместо того, чтобы обучиться и найти какие-то паттерны и закономерности "тупо" запоминает все вариации данных в датасете. В части LLM все же нужно признать, что количество параметров нейросети и объем датасета абсолютно несравнимы - миллиарды параметров против триллионов токенов, т.е. "переобучить" ее невозможно. Это означает, что она в какой-то степени начинает "понимать" полученный датасет, а не просто является "попугаем". Из этого вполне может следовать, что LLM могут генерировать совершенно новый контент. Тут можно провести параллель с человеческим мозгом - мы не знаем, как он работает и как ни странно, то же самое можно сказать и об обученной нейросети (причем практически любой. Это касается не только LLM, которые на самом деле являются целой сетью различных, но взаимосвязанных нейросетей). По сути, она становится таким же черным ящиком, как и наш мозг. Есть вероятность, что разработчики LLM просто попали в точку - в каком-то приближении разумеется.