СЕКЦИЯ
Искусственный интеллект и технологии на основе данных в образовании
Караваева А.С. (1), Леонов А.Г. (1-4)
Мащенко К.А. (1, 3), Шляхов А.В. (1)
Федеральное государственное автономное учреждение «Федеральный научный центр Научно-исследовательский институт системных исследований
Национального исследовательского центра «Курчатовский институт»
(НИЦ «Курчатовский институт» - НИИСИ) (1)
Государственный университет управления (2)
Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет
имени М.В. Ломоносова» (3)
Московский педагогический государственный университет (4)
г. Москва
Статистическая проверка гипотез на основе цифрового следа обучающихся в образовательных платформах
В работе рассматривается модуль статистической проверки гипотез, реализованный в рамках цифровой образовательной платформы и предназначенный для анализа результатов обучения и структуры учебных курсов на основе цифрового следа студентов. Модуль предоставляет преподавателю инструменты формального сравнения учебных групп и элементов курса с использованием методов математической статистики, устойчивых к малым выборкам и неоднородности данных. Описаны архитектура модуля, логика выбора статистических критериев и примеры практического применения в образовательном процессе.
Karavaeva A.S. (1), Leonov A.G.
Mashchenko K.A. (1, 3), Shlyakhov A.V.
Scientific Research Institute for System Analysis of the National
Research Centre «Kurchatov Institute» (NRC «Kurchatov Institute» - SRISA) (1)
State University of Management (2)
Moscow State University (3)
Moscow State Pedagogical University (4)
Moscow, Russia
Statistical hypothesis testing based on the digital footprint of students in educational platforms
The paper considers a statistical hypothesis testing module implemented within the framework of a digital educational platform and designed to analyze learning outcomes and the structure of training courses based on the digital footprint of students. The module provides the teacher with tools for formal comparison of study groups and course elements using mathematical statistical methods that are resistant to small samples and heterogeneity of data. The architecture of the module, the logic of choosing statistical criteria and examples of practical application in the educational process are described.
Введение
Современные цифровые образовательные платформы аккумулируют значительный объём данных о ходе обучения студентов, включая результаты выполнения заданий, временные характеристики активности, посещаемость и объем заимствований. Эти данные формируют так называемый цифровой след обучающихся, который может быть использован не только для мониторинга текущей успеваемости, но и для проведения педагогических экспериментов и обоснованного принятия методических решений [1].
Однако визуальный анализ агрегированных метрик [2], несмотря на свою наглядность, не всегда позволяет сделать формально корректные выводы о различиях между группами студентов или об особенностях структуры курса. В таких случаях возникает необходимость применения аппарата математической статистики для проверки гипотез о значимости наблюдаемых эффектов [3]. В данной работе описывается модуль статистической проверки гипотез, разработанный для использования преподавателями в рамках цифровой образовательной платформы (ЦОП).
Формулировка требований к модулю
При работе с курсом преподавателю может потребоваться как сравнивать результаты обучения независимых групп студентов, так и анализировать различные структурные единицы курса: контесты (семинары, контрольные, коллоквиумы и т.п.), темы, курс в целом. Кроме того, преподавателю нет необходимости детально представлять внутреннюю структуру ЦОП, а также устанавливать вручную множество параметров сравнения, поэтому модуль должен автоматически подбирать подходящие статистические критерии в зависимости от свойств собранных данных и создавать легко-интерпретируемые результаты, готовые к дальнейшему использованию. Особое внимание должно уделяться устойчивости применяемых методов к выбросам и неполной заполненности данных, а также корректных результатах на малых выборках, что типично для образовательных данных [4-5]. Все вышеперечисленные требования были учтены при проектировании модуля статистической проверки гипотез.
Реализация модуля статистической проверки гипотез
Модуль реализован в виде отдельного сервиса, интегрированного с системой сбора и визуализации цифрового следа студентов. На вход модуль получает агрегированные метрики, рассчитанные по выбранным группам студентов и структурным элементам курса. Проверка гипотез осуществляется при вызове соответствующих функций, инкапсулирующих логику выбора статистического теста.
Проверка гипотез о результатах двух групп
Для сравнения результатов двух независимых групп студентов реализована проверка гипотез о равенстве средних значений следующих метрик: доли набранных баллов, среднего времени решения задач и доли заимствованных решений.
Поскольку данные групп являются независимыми, выбор критерия осуществляется следующим образом. Сначала проверяется гипотеза о нормальности распределения с использованием критерия Шапиро-Уилка, который обладает высокой мощностью на малых выборках. В случае нормальности данных применяется t-критерий Уэлча, не требующий равенства дисперсий. Равенство дисперсий дополнительно контролируется критерием Левене, выбранным за устойчивость к выбросам. Если гипотеза о нормальности отвергается, используется непараметрический U-критерий Манна-Уитни.
Такой подход обеспечивает корректность статистических выводов при анализе реальных образовательных данных, обладающих высокой вариативностью.
Проверка гипотез о структурных единицах курса
Отдельный класс модуля предназначен для анализа свойств структурных элементов курса. В рамках данной работы реализованы проверки гипотез о:
1. возрастании сложности контестов внутри темы;
2. равенстве метрик между контестами;
3. равенстве метрик между темами курса.
В качестве метрики сложности используется среднее время выполнения заданий. Для проверки гипотезы о монотонном возрастании сложности контестов применяется адаптивная схема выбора критерия. При малом объёме данных используется критерий знаков. При увеличении размера выборки и выполнении предположений о нормальности и симметрии применяются парный t-критерий или критерий Уилкоксона. В противном случае вновь используется критерий знаков как наиболее универсальный.
Современные цифровые образовательные платформы аккумулируют значительный объём данных о ходе обучения студентов, включая результаты выполнения заданий, временные характеристики активности, посещаемость и объем заимствований. Эти данные формируют так называемый цифровой след обучающихся, который может быть использован не только для мониторинга текущей успеваемости, но и для проведения педагогических экспериментов и обоснованного принятия методических решений [1].
Однако визуальный анализ агрегированных метрик [2], несмотря на свою наглядность, не всегда позволяет сделать формально корректные выводы о различиях между группами студентов или об особенностях структуры курса. В таких случаях возникает необходимость применения аппарата математической статистики для проверки гипотез о значимости наблюдаемых эффектов [3]. В данной работе описывается модуль статистической проверки гипотез, разработанный для использования преподавателями в рамках цифровой образовательной платформы (ЦОП).
Формулировка требований к модулю
При работе с курсом преподавателю может потребоваться как сравнивать результаты обучения независимых групп студентов, так и анализировать различные структурные единицы курса: контесты (семинары, контрольные, коллоквиумы и т.п.), темы, курс в целом. Кроме того, преподавателю нет необходимости детально представлять внутреннюю структуру ЦОП, а также устанавливать вручную множество параметров сравнения, поэтому модуль должен автоматически подбирать подходящие статистические критерии в зависимости от свойств собранных данных и создавать легко-интерпретируемые результаты, готовые к дальнейшему использованию. Особое внимание должно уделяться устойчивости применяемых методов к выбросам и неполной заполненности данных, а также корректных результатах на малых выборках, что типично для образовательных данных [4-5]. Все вышеперечисленные требования были учтены при проектировании модуля статистической проверки гипотез.
Реализация модуля статистической проверки гипотез
Модуль реализован в виде отдельного сервиса, интегрированного с системой сбора и визуализации цифрового следа студентов. На вход модуль получает агрегированные метрики, рассчитанные по выбранным группам студентов и структурным элементам курса. Проверка гипотез осуществляется при вызове соответствующих функций, инкапсулирующих логику выбора статистического теста.
Проверка гипотез о результатах двух групп
Для сравнения результатов двух независимых групп студентов реализована проверка гипотез о равенстве средних значений следующих метрик: доли набранных баллов, среднего времени решения задач и доли заимствованных решений.
Поскольку данные групп являются независимыми, выбор критерия осуществляется следующим образом. Сначала проверяется гипотеза о нормальности распределения с использованием критерия Шапиро-Уилка, который обладает высокой мощностью на малых выборках. В случае нормальности данных применяется t-критерий Уэлча, не требующий равенства дисперсий. Равенство дисперсий дополнительно контролируется критерием Левене, выбранным за устойчивость к выбросам. Если гипотеза о нормальности отвергается, используется непараметрический U-критерий Манна-Уитни.
Такой подход обеспечивает корректность статистических выводов при анализе реальных образовательных данных, обладающих высокой вариативностью.
Проверка гипотез о структурных единицах курса
Отдельный класс модуля предназначен для анализа свойств структурных элементов курса. В рамках данной работы реализованы проверки гипотез о:
1. возрастании сложности контестов внутри темы;
2. равенстве метрик между контестами;
3. равенстве метрик между темами курса.
В качестве метрики сложности используется среднее время выполнения заданий. Для проверки гипотезы о монотонном возрастании сложности контестов применяется адаптивная схема выбора критерия. При малом объёме данных используется критерий знаков. При увеличении размера выборки и выполнении предположений о нормальности и симметрии применяются парный t-критерий или критерий Уилкоксона. В противном случае вновь используется критерий знаков как наиболее универсальный.
Рис. 1 – Проверка гипотезы об усложнении контестов ( – количество пар студент-контест)
Для сравнения нескольких контестов используются однофакторный дисперсионный анализ или критерий Краскела-Уоллиса в зависимости от распределения данных. При анализе тем курса применяются методы для связанных выборок, включая дисперсионный анализ с повторными измерениями или критерий Фридмана.
Примеры практического применения
Модуль был апробирован на данных студенческих групп, проходящих многосеместровый курс программирования. В ходе экспериментов было показано, что с его помощью можно формально подтвердить различия в качестве прохождения курса между группами одного года поступления. На уровне значимости 5% были выявлены статистически значимые различия по доле набранных баллов, времени выполнения заданий и уровню заимствований.
Кроме того, модуль позволил выявить несогласованность структуры отдельных тем курса: в некоторых случаях контесты не образовывали возрастающую по сложности последовательность, что сопровождалось ростом доли заимствований при неизменных итоговых баллах. Эти результаты подтвердили гипотезы, ранее выдвинутые на основе визуального анализа данных, и стали основанием для последующей корректировки структуры курса.
Заключение
Разработанный модуль статистической проверки гипотез расширяет возможности аналитики цифрового следа обучающихся, предоставляя преподавателю инструмент формального анализа образовательных данных. Использование адаптивного выбора статистических критериев обеспечивает корректность выводов в условиях малых и неоднородных выборок, характерных для образовательных платформ.
Применение модуля позволяет не только сравнивать результаты различных учебных групп, но и анализировать структуру курсов, выявляя потенциальные методические проблемы. Это делает статистическую проверку гипотез важным элементом поддержки принятия решений педагогом в учебном процессе и основой для проведения дальнейших педагогических экспериментов, используя собранные данные.
Работа выполнена в рамках темы государственного задания НИЦ «Курчатовский институт» - НИИСИ по теме № FNEF-2024-0001 (1023032100070-3-1.2.1).
Литература:
1. Леонов А. Г., Мащенко К. А., Мартынов Н. С., Шляхов А. В., Хан Т. Г. Аналитика и нейросетевая генерация цифрового следа для построения персонализированных образовательных траекторий. Информатика и образование. 2025;40(4):6–17. DOI: 10.32517/0234-0453-2025-40-4-6-17.
2. Леонов А. Г., Мартынов Н. С., Мащенко К. А. [и др.] Динамическая визуализация результатов образовательного процесса как помощник преподавателя в цифровом курсе // Новые образовательные стратегии в открытом цифровом пространстве: Сборник научных статей по материалам международной научно-практической конференции, Санкт-Петербург, 10–26 марта 2025 года. – Санкт-Петербург: ООО Центр научно-информационных технологий Астерион, 2025. – С. 251-255. – EDN OPFAMZ.
3. Горбатов С. В., Краснова Е. А. Цифровой след как механизм индивидуализации образовательной траектории студента (на примере курса «Цифровые технологии самообразования») // Перспективы науки и образования. 2022. № 4 (58). С. 193-208
4. A. M. Shahiri, W. Husain и N. A. Rashid, «A Review on Predicting Student’s Performance Using Data Mining Techniques», Procedia Computer Science, vol. 72, pp. 414-422, 2015
5. R. Ghorbani and R. Ghousi, «Comparing Different Resampling Methods in Predicting Students’ Performance Using Machine Learning Techniques», IEEE Access, vol. 8, pp. 67899-67911, 2020
Примеры практического применения
Модуль был апробирован на данных студенческих групп, проходящих многосеместровый курс программирования. В ходе экспериментов было показано, что с его помощью можно формально подтвердить различия в качестве прохождения курса между группами одного года поступления. На уровне значимости 5% были выявлены статистически значимые различия по доле набранных баллов, времени выполнения заданий и уровню заимствований.
Кроме того, модуль позволил выявить несогласованность структуры отдельных тем курса: в некоторых случаях контесты не образовывали возрастающую по сложности последовательность, что сопровождалось ростом доли заимствований при неизменных итоговых баллах. Эти результаты подтвердили гипотезы, ранее выдвинутые на основе визуального анализа данных, и стали основанием для последующей корректировки структуры курса.
Заключение
Разработанный модуль статистической проверки гипотез расширяет возможности аналитики цифрового следа обучающихся, предоставляя преподавателю инструмент формального анализа образовательных данных. Использование адаптивного выбора статистических критериев обеспечивает корректность выводов в условиях малых и неоднородных выборок, характерных для образовательных платформ.
Применение модуля позволяет не только сравнивать результаты различных учебных групп, но и анализировать структуру курсов, выявляя потенциальные методические проблемы. Это делает статистическую проверку гипотез важным элементом поддержки принятия решений педагогом в учебном процессе и основой для проведения дальнейших педагогических экспериментов, используя собранные данные.
Работа выполнена в рамках темы государственного задания НИЦ «Курчатовский институт» - НИИСИ по теме № FNEF-2024-0001 (1023032100070-3-1.2.1).
Литература:
1. Леонов А. Г., Мащенко К. А., Мартынов Н. С., Шляхов А. В., Хан Т. Г. Аналитика и нейросетевая генерация цифрового следа для построения персонализированных образовательных траекторий. Информатика и образование. 2025;40(4):6–17. DOI: 10.32517/0234-0453-2025-40-4-6-17.
2. Леонов А. Г., Мартынов Н. С., Мащенко К. А. [и др.] Динамическая визуализация результатов образовательного процесса как помощник преподавателя в цифровом курсе // Новые образовательные стратегии в открытом цифровом пространстве: Сборник научных статей по материалам международной научно-практической конференции, Санкт-Петербург, 10–26 марта 2025 года. – Санкт-Петербург: ООО Центр научно-информационных технологий Астерион, 2025. – С. 251-255. – EDN OPFAMZ.
3. Горбатов С. В., Краснова Е. А. Цифровой след как механизм индивидуализации образовательной траектории студента (на примере курса «Цифровые технологии самообразования») // Перспективы науки и образования. 2022. № 4 (58). С. 193-208
4. A. M. Shahiri, W. Husain и N. A. Rashid, «A Review on Predicting Student’s Performance Using Data Mining Techniques», Procedia Computer Science, vol. 72, pp. 414-422, 2015
5. R. Ghorbani and R. Ghousi, «Comparing Different Resampling Methods in Predicting Students’ Performance Using Machine Learning Techniques», IEEE Access, vol. 8, pp. 67899-67911, 2020
ВОПРОСЫ И КОММЕНТАРИИ
