Карточная игра для изучения английского
4 поста
4 поста
4 поста
2 поста
3 поста
Со времен последнего поста провели пару тестовых игр. Тесты показали, что в целом идея рабочая, играть прикольно и даже новые знания усваиваются, то нужно переработать карты предложений и принципы построения "колоды слов". А ну и порядок ходов поменяли.
Для начала про колоды. Для других целей некоторое время назад я делал схему обучения английскому от А1 до С1 по учебникам "English File 4th". Получилась такая схема:
Конечно в таком размере ничего не видно, но суть в том что есть 13 базовых тем которые развиваются по мере повышения уровня. Каждая тема содержит несколько подтем.
Ну и новая идея в том, чтобы строить карточки по этим темам. Потом можно ученикам "выдавать" карточки по мере прохождения занятий. Как карты предложений так и карты слов. И между занятиями они смогут играть ими между собой.
Первая тема "Be". И подтема "Be + place"
И вот какие карточки по этой теме получились:




Сделал понятнее схему, добавил второй пример и сделал разноцветное подчеркивание в цвет схемы, заменил Функция на Замечания. Ну и в целом поработал над читаемостью.
А вот карточки для There is/ there are:





Буду рад желающим принять участие в тестах и новым идеям!
Давным давно создали мы эту лигу. Тогда ещё нельзя было дублировать лиги, а сиськи на Пикабу были под запретом. Но потом многое в жизни поменялось, переезд, дела да и вообще. Много месяцев лет сообщество жило своей жизнью с минимальным вниманием админов, но мы постараемся это изменить!
Так что всем доброго времени суток! Админы Демид и Аня выходят из спячки!
Я сейчас работаю в Варшавском зоопарке и постараюсь рассказывать о нем, а Аня учится на ветеринара. Постараемся оживить нашу с вами лигу!
Будем рады вашим постам и комментариям!
А пока, в догонку к туканам из варшавского зоо добавлю суточного малого оленька (лат. Tragulus javanicus). Родился ночью, а фото сделано где-то в 11 часов.
Как уже писал в предыдущих постах, я сейчас пробую разработать карточную игру для изучения английского языка. В том числе планирую использовать нейросети для проверки грамотности и для оценки результатов игры.
И на этой почве, под одним из прошлых моих постов про эту игру, у нас с @garris79 возникла дискуссия. Он писал, что нейросети страшно врут, и использовать их в качестве судьи и арбитра невозможно. Мне кажется, что это всё же возможно, и поэтому я решил произвести эксперимент.
Суть эксперимента была следующей: Я составил текст так, как он бы составлялся во время игры, тоже через нейронную сеть. К нему приписал просьбу оценки по определенным параметрам. Получившийся промпт с текстом и запросом на оценку вы можете найти внизу этого поста, в приложении 1.
Я задавал этот промпт всем нейронкам которые были под рукой (на разных уровнях анализа). В том числе это были Codex, Gemini Pro, Flash и Flash Lite, DeepSeek Lite, GPT Instant и Thinking, Sonnet от Cloudy и от Cloudy Haiku. А, и также Яндекс AI.
Результаты я записывал в таблицу для того, чтобы в дальнейшем можно было их сравнить. Таблицу вы можете видеть чуть ниже. Также в описании есть ссылка на Google таблицу, если вдруг кому-то нужно.
Что ж, как вы можете видеть, в целом разброс не очень большой. Видно, что есть некоторые колебания в оценках, они не стопроцентно такие же, но я думаю, что и люди будут оценивать, естественно, тоже по-разному.
Если провести немножко анализа, то получается, что в среднем разброс у нас 0,79 балла. Самое большое отличие было 1,57 на категорию.
Хотел бы обратить внимание, что вне зависимости от модели победитель всегда оставался один и тот же.
Но есть место, где нейросетки не согласились в последовательности третьего и четвертого места, а именно: "насколько история страшная или обнадеживающая". Большинство посчитало, что история более страшная, чем обнадеживающая. При этом Кодекс поставил оценку равную, а DeepSeek поставил оценку в сторону обнадеживающей истории. Но при этом большинство моделей всё равно выбрало одинаково.
Думаю, из этого можно сделать вывод, что в случае спорных ситуаций, если оценки очень близкие, имеет смысл использовать несколько нейросетей или прогнать несколько раз одну и ту же, чтобы получить взвешенную среднюю оценку, например, с трёх попыток.
@garris79, что скажешь?
Возможно, ты бы хотел присылать какой-то более неоднозначный текст для проведения подобных повторных тестов? Ну или, может быть, я что-то упускаю, и ты укажешь на это?
Кстати говоря, думаю еще над тем, чтобы провести тест на одной и той же нейронке. Выбрать какую-нибудь общедоступную, которая бесплатная. Взять самый простой режим и какой-то текст. И загонять его в нее много-много раз и смотреть, насколько будет биение в рамках одной нейронной сети. Как думаете, стоит такое сделать?
Возможно, у вас есть еще какие-то идеи, как можно эти нейронки потестить и оценить целесообразность их использования в настольных играх?
Ещё одна идея — это сделать текст и дать его сперва оценить разным людям по тем же параметрам, а после этого провести такой же опрос у нейронок и сравнить, насколько будут различаться оценки людей и оценки нейронки.
Приложение 1. Промт.
Итоговый текст на английском
There is an old map in the hotel room. It lies under a clean bed, folded many times. Lena looks at it and sees a red mark near the old station.
The traveler found a strange ticket. It was inside the map, between two thin pages. The ticket had no date, but it showed the same red mark.
The station is not safe. Lena understands this when the hotel phone rings and no one speaks. Outside, the street becomes quiet, and the last bus leaves early.
She must leave the city. Lena packs her small bag and takes the map, the ticket, and a bottle of water. She hopes the guide at the old station can explain everything.
The guide opened the door, but the room was empty. On the table, there was only a camera and a note with Lena's name. The note said, “Take the next train if you want the truth.”
Оцени итоговый текст истории по каждой цели от 0 до 10.
Цели:
Насколько история получилась смешной?
Насколько история получилась грустной?
Насколько история получилась страшной?
Насколько история получилась обнадёживающей?
Насколько история получилась загадочной?
Насколько история получилась тёплой, доброй или человечной?
Насколько история получилась срочной, напряжённой по времени?
Для каждой цели дай:
оценку от 0 до 10;
короткое объяснение, почему такая оценка;
1-2 фразы из текста или события, которые повлияли на оценку.