Автономный запуск нейросетей
Все то, что вы вообще не ожидали тут увидеть.
Дисклеймер: я обычная тетя 37 38 лет от роду, по образованию училка начальной школы. Еще у меня есть муж, который несколько лет назад удачно обновил комп, вписался в эту блудь и поддерживает меня в самые отчаянные ДА ПОШЛО ОНО моменты. Это чтоб вы понимали уровень человека, который это все делает.
Наша цель - запустить нейросети локально, автономно, на компьютере, для работы без использования посторонних сервисов. Зачем? Ну, во-первых, это красиво Интересующие меня для моего маленького хобби сетки генерации видео и аудио, выдающие результат в пристойном качестве, хотят денег, а я училка по образованию и денег, как вы понимаете, у меня на меня-то в притык, не то что на сетки(
Для начала вам понравятся сервис из трех букв, запрещенный к рекламе на территории РФ, и грок. Как вы их будете добывать - я не знаю, ссылок не даю, ибо.
Пункт 1. Определяетесь с задачей, что хотите. Нампример, я хочу хорошую сетку для генерации аудио на русском языке из текста. Кормите гроку свой запрос и параметры компа (можно скриншотом, он умеет анализировать изображения). Спрашиваете, что грок может предложить.
В наличии вот такое железо. Все, кому не нравится - присылайте донаты на полную стоимость и пишите, что купить, без донатов возражения не принимаются.
NB! ГРОК ВРЕТ! В запрос добавляейте "проверь актуальность информации на данный момент". И все равно она вам наврет. Плюсы: на него можно орать. Минусы: он будет таким же жизнерадостным долбоклюем.
Моя личная рекомендация: если за 2-3 захода грок не смог предложить рабочее решение, вбейте тот же вопрос в поисковик и поищите форум. Скорее всего, вопрос решается по-другому последние месяц-два, а грок по старым базам шпарит. Сбережете себе время и нервы. Я вот не сберегла =__=
Пункт 2. Грок предложит сетку. Спросите его, через какую среду (? я не знаю, как это правильно называется, программная оболочка для взаимодействия с сеткой) можно развернуть нейросеть. У меня в данный момент установлены Pinokio и SwarmUI. Он предложит. Можно спростить ссылку, где скачать, принесет.
Пункт 3. Установите программную среду. Тут вы, скорее всего, получите навыки вайб-кодинга, потому что буратина (универсальный, для многих задач) устанавливается, насколько я поняла из объяснений мужа, с помощью питона, сварм (для видео и картинок) я ставила сама через обычные файлы .exe. В случае проблем консультируйтесь с гроком
Пример проблем. Я его поставила, а он не работает.
Можно скормить гроку тесты ошибок и скриншты ошибок, он умеет такое обрабатывать.
Пункт 4. Добавляем нейросетку в программную среду. Да, есть сетки с открытым исходным кодом, которые можно скачать на свой компьютер и запустить, используя вычислительные мощности компьютера. Ссылку на скачивание сетки спросите у грока ("дай прямую ссылку на скачивание" - вполне рабочий запрос), он поищет и, скорее всего, отправит вас на гитхаб. Модель может весить несколько гб, приготовьте быстрый интернет и вместительный хард.
Пункт 5. После скачивания модели вам надо добавить ее в программную среду. Буратина подсказывает путь к папке сам (путь к папке, где он ищет модель, будет указан в программной среде, сможете найти через проводник), сварм плевать на вас хотел ^_^ что делаем? Правильно.
Хрестоматийный пример вранья грока, стоивший мне пары часов беготни по кругу. На самом деле модели генерации видео у сварма должны лежать в папке diffusion_models
Уот так уот, уот так уот, рас рас и готово
Пункт 6. С помощью того же грока (запрос: как запустить генерацию "чего" в среде "какой" с помощью нейросети "какой") запускаете пробную генерацию, гордитесь собой безмерно.
Пункт 7. Понимаете, что сетка не прожевывеает вашу задачу или не подходит под нее, возвращаетесь к п. 4.
ААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААА
В целом это довольно весело и вносит некоторое разнообразие в череду жизненных будней. Но рекомендую все-таки определиться с запросом, что именно вы хотите делать, до начала этой эпопеи.
Выражаю благодарность своему чудесному мужу за то, что он все это терпит, а также @SlayerM который любезно рассказал про возможность использования сварма для генерации видео и поделился ссылками на модели, которые запускаются на моей железке.
П.С. Текст написан без участия ии, мамой клянусь.
П.П.С. Вопросы задавайте, но учитывайте, что я ламер по большому счету, и тот же грок сможет собрать для вас инфу точнее.
П.П.П.С. Можно ли заменить чем-то грок - я не знаю, как минимум гуглинг должен помочь, а грок делает выжимку и ускоряет процесс в тех местах, где шаги очевидны и не менялись в последнее время.