Автоматический подбор наилучшего ПРОМПТа⁠⁠

Заметил, что трачу кучу времени на работе при разметке данных на создание Серебряной пули - идеального ПРОМПта, который "покрасит" все данные правильно. Особенно это проявляется на работе при сегментации данных, которые ввел, а не выбрал человек.

Пример: нужно с помощью слабой локальной нейросети прочитать диалоги с клиентами и определить справился сотрудник со своей задачей или нет. И иногда это сделать совсем непросто. Раньше я перебирал разные модели и кучу вариантов ПРОМПтов, но недавно попробовал сделать подбор промпта помощью самой LLM и это оказался вполне рабочий вариант.

Рабочий алгоритм для поиска наилучшего ПРОМПТа обработки данных (и не только):

1. Генерация: LLM пишет первый черновик промпта.

2. Тест: Второй скрипт берет этот промпт и прогоняет на тестовой выборке. Получаю ответ "Сотрудник все сделал корректно или Нет" и комментарии модели.

3. Валидация & Апдейт: Третий скрипт сравнивает результаты с эталоными оценками, которые я разметил вручную. Если Точность <90%, то передаю в п1. к ИИ ошибки, эталонные комментарии, ошибочные комментарии, её же промпт и прошу поправить Промпт → она переписывает его, делая лучше.

Цикл повторяется, пока Промпт не улучшится!

Важно: После успеха на тестовых данных – добавляю новые данные и внимательно слежу, чтобы не было переобучения (когда на тестовой выборке все идеально, а на реальной потом провал).

Если вам интересно практическое применение ИИ для работы и жизни, то я периодически выкладываю об этом конкретные примеры в моем тг-канале.