6

Ответ на пост «ИИ надувает оценки студентов: пятёрок больше, знаний — нет»

Серия Простыми словами

А чего вы хотели? Мир меняется, нельзя рассчитывать, что как-то удастся обойтись без модернизации системы оценки знаний в частности, и всей системы образования в целом.

Этот "ящик пандоры" уже открыт и пути назад нет. Более того, если задуматься, то он открылся ещё в незапамятные времена, когда обезьяна слезла с дерева и взяла палку. Прогрессивный рост технологического уровня цивилизации замечен давно, многие об этом трубят уже сотню лет, наверно.

А что делать? Пути у человечества назад просто нет. Мы не переобуемся обратно в лапти, не залезем обратно на деревья. Не то чтобы их не хватит, просто дураков таких нет.

Давно было понятно, что наступит момент, когда скорость социально-технических изменений будет столь высока, что начнёт влиять не через поколение, а уже внутри поколений. Придётся подстраиваться. Раньше можно было стать потомственным бондарем, скорняком, кузнецом или гончаром, как дед или даже прадед, а сейчас не только дед, порой и отец с трудом может понять что и для чего делает сын на своей работе. Старые наработанные методы, традиции, правила в буквальном смысле работать не будут, и не работают уже довольно давно. Надо обобщать.

Я бы обобщил так:

Пробуй многое, ищи где нравится, разбирайся в интересном и старайся всегда быть полезным. Старайся в интересном тебе быть впереди других, научись что-то делать лучше или быстрее, а если можешь придумать способ решить проблему делая меньше - отлично! Если способен придумать как изменить мир - меняй его. И главное: постарайся быть хорошим, и научи всему этому своих детей.

Делать - это не только про вещи. Это про информацию, про организацию людей (и не только людей), про повышение сложности. Когда 1+1>2 (немножко, но больше).

Да, звучит абстрактненько, но конкретные правила могут устареть быстрее, чем вы их сформулируете, или, по крайней мере, кто-то применит.

Ну и возвращаясь к теме образования и оценок.

Когда-то нам говорили, что надо учиться считать в уме, ведь калькулятора может не оказаться под рукой. Оказывается это нужно было не по этой причине. Теперь калькуляторы (и не только) всегда с нами, а считать в уме так же полезно, как умение плести лапти или бегать 100км в день.

Да, мелкая моторика, способность к ультратрейлаи и прочие странные навыки делают человечество разнообразнее, отчего оно становится более живучим, менее хрупким. Но это всё не универсальные правила для каждого отдельного человека.

До сих пор система образования справлялась, хотя решебники на 1000 задач с ответами, сайты с рефератами, микронаушники на экзаменах, интернет, шпаргалки, генеративные модели каждый раз подрывают устоявшиеся "древние" традиции проверки знаний. Никогда такого не было, и вот опять: ученики придумали как обхитрить учителя! Ну надо же! Свежо!

Знаю ли я как исправить ситуацию? Ну наивно было бы утверждать. что знаю. Однако ничего фатального и катастрофического. Наша цивилизация не погибнет от этой проблемы. Не надо паники. Просто ИИ встроют не только в механизмы "списывания", но и в механизмы проверки знаний.

Все эти ЕГЭ, тесты, и прочее нужны были, чтобы снизить нагрузку с преподов при проверке знаний. Что ж... теперь нагрузка снова вырастет, придётся больше, общаться со своими студентами вживую, или удастся приспособить для этого интерактива генеративные модели.

Важно понимать, что второй способ - штука сырая, её может быть даже проще обманывать, чем прожженного опытного препода, однако проблема никогда не будет решена на 100%. Никогда не была решена, не решается и не решится. Так устроен мир. Не надо лезть в бутылку, паниковать, и суетиться сверх необходимого.

Самое важное - это помнить зачем нам нужны были все эти проверки знаний.

Студенты платят (сами или скорее опосредованно через родителей, государство) за обучение, но подвержены ошибкам и когнитивным искажениям. Они думают, что на самом деле им нужны не знания и навыки, а формально-бюрократические подтверждения их наличия.

Учебным заведениям всегда приходилось с переменным успехом вопреки этим ошибкам заставлять людей учиться, а не имитировать обучения за свои деньги. Потом работодателям приходилось тратить ресурс на отсеивание тех, кто слишком хорошо преуспел в имитации, и избегании реальных знаний и навыков.

Однако важно понимать, что проблема глубже, чем кажется. Учебные заведения могут давать устаревший знания, или слишком малый процент полезных навыков на фоне бесполезных. Оценить этот КПД того или иного учреждения не так просто, особенно изнутри:

- Особенно родителям, которые, имеют другое образование или не имеют его, образование которых уже устарело.
- Особенно студентам, которые только собираются получать образование.
- Особенно преподавателям и руководству ВУЗа, у которых KPI направлен не в ту сторону: преподы считают часы, универы считают деньги, и сложные формулы подсчета баллов рейтинга, спущенные правительством, которое тоже мало в чем толком разбирается и не имеет эффективных KPI.

Эффективно оценить качество обучения может работодатель, когда примет сотруднике, заонбордит его, худо-бедно обучит своему стеку, даст реальные задачи, померяет продуктивность. Тут тоже будут проблемы с KPI которые меряют не то, что должны, а то, что проще померять. Но так можно дорассуждаться очень глубоко, не про то сейчас.

Хотя почему не про то?! Про то!

Вся проблема именно в KPI, которые мы почему-то считаем актуальными и адекватными на тот или иной момент времени для тех или иных целей, ролей, людей.

Но мир меняется, и KPI тоже должны меняться. Просто по определению. И придумывать их - сложное дело, а придумав нужно иметь в виду, что они могут быть выбраны ошибочно.

Короче, я опять тут налил воды, мол давайте топить за всё хорошее против всего плохого, мол хорошо делай - хорошо будет, и прочие прописные истины. Ага. Но так оно всегда было, есть и будет. Это планомерная сложная работа, а все эти суетные бестолковые статьи про "всё пропало" - они от лукавого. Хотя местами такая паника может и привести к полезным подвижкам.

Короче, зря я всё это накатал. Вот панамка, ставьте заслуженные минуса. Поделом.

Показать полностью
7

ИИ надувает оценки студентов: пятёрок больше, знаний — нет

ИИ надувает оценки студентов: пятёрок больше, знаний — нет

Беркли посчитал то, о чём все спорили на глазок

Генеративный ИИ способен обесценить саму суть оценки — если он выполняет за студента то, что и оценивают. Старший научный сотрудник Калифорнийского университета в Беркли Игорь Чириков взял публичные данные крупного исследовательского университета в Техасе (по местному закону вузы обязаны выкладывать программы курсов онлайн) и прогнал через метод difference-in-differences более 500 000 оценок по 319 курсам из 84 департаментов за 2018–2025 годы.

Что показали цифры

В курсах, «уязвимых для ИИ» (письмо, программирование), после запуска ChatGPT в ноябре 2022-го доля высших баллов A выросла на 13 процентных пунктов — это примерно +30% к базе 2022 года. Средний GPA в «домашко-ёмких» курсах поднялся на 0,12 балла. Закономерность прямая: чем больше веса у домашних заданий, тем сильнее скачок.

Главная улика — экзамены

Ключ к интерпретации в том, чего НЕ произошло. На очных экзаменах и в устных выступлениях, где нейросетью незаметно не воспользуешься, роста баллов нет. Если бы ИИ реально улучшал обучение, оценки росли бы везде. Раз эффект сидит только в неконтролируемых домашках — значит, ИИ замещает работу студента, а не прокачивает его навыки.

Почему это важно, а не «дети просто ленятся»

Оценка перестаёт быть честным сигналом. Работодателям и магистратурам всё труднее отличить сильного выпускника от того, кто грамотно делегировал работу нейросети. Сам Чириков формулирует риск как петлю обратной связи: если ИИ забирает у студента именно те навыки, где машина и так сильна, на рынок выходят специалисты, беспомощные без подсказки — и это лишь подстёгивает дальнейшую автоматизацию.

Что с этим делать

Рецепт автора — не вводить квоты на оценки и не охотиться на «инфляцию» в лоб. «Оценки и до ИИ были несовершенным индикатором обучения», — напоминает Чириков. Он предлагает пересматривать курсы по их «экспозиции к ИИ»: что на самом деле измеряет каждое задание, какие результаты требуют самостоятельной работы, где ИИ стоит запретить, а где — встроить осознанно.

🔗 Источник: The Decoder · исследование CSHE, UC Berkeley

🎯 НЕЙРО-ПУШКА ● Новости и обзоры нейросетей

Показать полностью
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества