Ответ на пост «Deepseek с каждым днем становится глупее»
там длинный диалог на много месяцев с расчетами, глубоким контекстом и всякие умные идеи,
В этом-то и проблема. Само собой он становится глупее когда ваш диалог уже приближается к размеру контекста. Так использовать LLM неправильно.
Когда вы долго общаетесь в одном диалоге с LLM, к каждой вашей реплике пристёгивается вся история вашего диалога и отправляется на вход в виде контекста. Языковая модель смотрит на весь этот ваш диалог включая новую реплику и что-то там отвечает НА ВСЁ ЭТО.
Вы просто забили контекст языковой модели всяким хламом.
Более правильное использование LLM заключается в том, чтобы резюмировать самой же LLM небольшие фрагменты вашего общения в сжатые информативные лаконичные тезисы. Далее этот пакет и будет вашим контекстом. Нужно начинать новый диалог и подавать вместе с новым вопросом этот сдатый контекст.
Однако чтобы это не делать всё вручную, уже давно придуманы агентные нейронки.
Они умеют работать в каталоге проекта на уровне файлов.
LLM сам строит для себя необходимую информационную карту проекта в md-файлах. Фактически это своего рода документация.
Лучший способ работать с такими проектами - это Obsidian + Claude code или любой другой инструмент агентной работы с генеративными моделями.
Для Claude Code нужен VPN, но, например, Kimi, вроде бы, работает без него.
Резюмирую.
Контекст в виде огромного диалога с нейронкой неэффективнен и приводит к отупению всех его участников. Нужно извлекать из контекста только суть и раскладывать по полочкам (файлам) в формате MarkDown. Любая нейронка в агентном режиме сможет в любой момент посмотреть любую часть информации о вашем бизес-домене, а также разместить рядом же план и обзорную карту истории ваших изысканий.
"Полочки", по котором раскладываются знания - это каталоги и текстовые файлы на вашем диске. Очень удобно с такой структурой работать в Obsidian. Кроме того, агентные LLM помогут вам настроить его так, чтобы было удобно и быстро добавлять новые сведения, искать по файлам нужное, сделать кросс-сылки между файлами, оглавления и т.д.
Этот пост сделан биологическим естественным интеллектом, поэтому не обессутьте за опечатки и неточности в формулировках.
