С чего начать тестировщику, если опыта с LLM нет? Мой AI-стартерпак
Привет, Пикабу!
Это мой первый пост. В нём я хочу поделиться опытом, с чего можно начать изучение LLM тестировщику.
Я — Full-stack QA, в тестировании уже более 8 лет. В рабочем порядке пишу автотесты на Python для разных бэкендов/фронтендов и мануалю по необходимости. Но вдруг я очутился в новой реальности, где нужно “обязательно” знать про LLM, с ними работать и желательно уметь тестировать.
На проекте у меня AI не было, и было неясно, появится ли он вообще. А разбираться хотелось, чтобы владеть актуальными навыками.
Только с чего начать?
Токены, эмбеддинги, галлюцинации, RAG, агенты — знакомые слова, не более. Готовых гайдов или роадмапов о том, как и что учить нубу, я не нашёл. Решил изучать самостоятельно и с помощью ChatGPT, конечно. Было бы странно не спросить про LLM у LLM.
Через время разобрался с базой, необходимой для работы с LLM. И решил поделиться с вами. Возможно, кому-то тоже мой опыт будет полезен.
В мой стартерпак вошли три обширные темы:
- как работают LLM;
- как применять AI в работе QA;
- как тестировать AI-продукты.
Ниже привожу источники, которые помогли в этом.
Тема 1. Как работают LLM
ИИ для самых маленьких: как работает LLM и ИИ-агент — Для себя назвал “золото нубов”. Та самая база в одном месте. С таймкодами и понятными примерами. Легко закрывает большинство вопросов начинающего.
Ключевые понятия LLM — простыми и понятными словами об LLM
3Blue1Brown — How might LLMs store facts? — перевод в дубляже от легендарного 3Blue1Brown
Руководство по промпт-инжинирингу — бесплатный, что важно, справочник по созданию промптов с примерами и разборами популярных техник.
Небольшой совет: если важно экономить токены или уместить больше информации в контекстное окно, по возможности используйте английский язык. Для большинства современных LLM текст на английском языке обычно занимает меньше токенов, чем аналогичный текст на русском.
Тема 2. Как применять AI в работе QA
ChatGPT Prompt Engineering for Developers — небольшой курс про работу с LLM в инженерных задачах.
Как кодинг-агенты используют инструменты, память и контекст репозитория, чтобы писать код лучше — перевод статьи об устройстве кодинг-агентов.
Anthropic Prompt Library — набор готовых инженерных промптов.
Тема 3. Как тестировать AI-продукты
Как тестировать AI-приложения — базовый курс, чтобы познакомиться с тем, как тестировать AI-приложения.
Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей — про то, как тестировать LLM-приложения не только руками, а через автоматические проверки, метрики и кастомные оценки.
Тестирование LLM-приложений с DeepEval — практическое руководство по работе с современным инструментом тестирования LLM.
В итоге
За время изучения понял, что необязательно погружаться в ML. Но точно стоит разобраться с основными понятиями, практиками и инструментами, даже если прямо сейчас в этом нет необходимости.
Если бы мне заново вслепую пришлось разбираться, то я бы пошёл тем же путём. И начал бы прямо с первого видео в списке. Если изучить хотя бы по одному материалу из каждого блока, то будет проще при дальнейшем освоении LLM.
Также начал вести телеграм-канал, где разбираюсь с LLM, AI для QA, тестированием AI-приложений и современными подходами к качеству. Если тема близка — буду рад там вас видеть.
Кстати, интересно, кто из вас уже использует LLM в работе? С чем работаете? И как начинали изучать AI? Ведь если AI нет на проекте, как у меня, изучение превращается в отдельный квест.