Введение
Мирера [1-3] – это отечественная высокотехнологичная мультиформатная образовательная платформа, разработанная с учетом особенностей практического использования цифровых образовательных сред (ЦОС) и платформ (ЦОП) в российской системе начального, среднего и высшего образования [4; 5].
ЦОП Мирера представляет собой модульную программную систему, где самой крупной структурной единицей является образовательный курс, который состоит из последовательности тем, каждая из которых является совокупностью контестов. Под контестами (соревнованиями, семинарами) в ЦОП Мирера понимается набор заданий разной сложности с соответствующими настройками доступности и проверки. ЦОП Мирера хранит информацию гранулярно – на уровне каждого задания и каждого обучающегося на курсе студента.
ЦОП Мирера предоставляет преподавателю гибкие средства построения курса, когда его можно быстро собрать из составных частей – заданий, контестов, тем, повторно используя целые модули, или наоборот, создав каждую структурную единицу заново. Таким образом, курс может быть адаптирован, например, под особенности факультета, формата обучения (очного или дистанционного) или даже отдельно взятой группы студентов. Становится очевидно, что в таких условиях в образовательном процессе преподавателю был бы полезен аналитический инструмент, позволяющий наблюдать адекватную картину уровня освоения содержимого курса группой обучающихся студентов. Своевременное отслеживание релевантных метрик по каждому курсу позволит преподавателю динамически адаптировать курс под особенности выборки студентов, чем достигать наилучшего образовательного результата.
Для построения инструмента аналитики по образовательным курсам необходимы исторические данные и данные о текущем прогрессе по курсу. В ЦОП Мирера реализована автоматическая проверка максимального количества разных форматов заданий из различных предметных областей, количество возможных типов заданий с автоматической проверкой постоянно расширяется [6; 7]. Соответственно, в системе хранится детальная информация по заданиям: количество попыток решения каждой задачи, сами решения, объём затраченного на них времени и результат проверки решений на плагиат. Помимо метрик, касающихся заданий, ЦОП Мирера также хранит информацию по каждому студенту: его посещаемость и активность, а также набранные баллы за задания, контесты, темы.
Формулировка требований.
Для того, чтобы реализация инструмента аналитики по курсам стала возможной, необходимы автоматический сбор и обработка первичных данных, поступающих из системы. Кроме того, необходимо предложить интуитивно понятный интерфейс ЦОП Мирера для визуализации агрегированных данных в нескольких разрезах: по курсу, теме, контесту, отдельной задаче и выделенному студенту. Таким образом, преподаватель получит удобный инструмент, позволяющий моментально оценить освоение курса, вовлеченность студентов и методическое качество заданий, к которому можно отнести точность и «понятность» формулировки задания, наличие достаточного количества пояснительных материалов и пр. Помимо этого, такой подход дает возможность быстро выявить студентов с наивысшими текущими результатами прохождения курса, а также эффективно строить индивидуальные адаптивные траектории.
Реализация функциональности для аналитики.
ЦОП Мирера хранит временные метки каждой попытки решения для каждого задания, что дает возможность провести анализ временных рядов этих попыток по каждой отдельно взятой задаче. К метрикам оценки качества заданий можно отнести медианное количество попыток до отправки верного решения, процент справившихся с задачей студентов от общего количества обучающихся в группе, а также среднее значение результатов заимствования (плагиата) в принятых системой решениях. По желанию преподавателя результаты по каждой задаче могут быть агрегированы для анализа картины в разрезе контеста, темы или курса в целом.
Педагогу также доступны метрики для исследования вовлечённости и прогресса по каждому студенту: процент посещённых занятий, метрика, показывающая долю занятий, в ходе которых студент проявлял активность, а также доля заимствований (плагиата) в решениях. Аналогичным образом метрики по студентам могут быть агрегированы для демонстрации статистики по группе или курсу студентов в целом.
Заключение.
Благодаря реализованной функциональности для анализа имеющихся курсов, с преподавателя была снята значительная часть нагрузки, состоявшая в том, чтобы вручную агрегировать и подытоживать информацию по курсам и студентам. Стало возможным в режиме реального времени отслеживать прогресс каждого студента и отмечать изменения в траектории его обучения. Более того, реализованный инструмент аналитики позволяет сравнивать прогресс нескольких групп, проходящих один и тот же курс, между собой. Такое сравнение позволяет выявить проблемные области курса, возможно, отдельные неудачно составленные задания, и вовремя скорректировать или заменить их.
Также, этот инструмент становится незаменимым помощником преподавателя в справедливой оценке сложности курсов, поскольку агрегирует и сравнивает результаты по задачам внутри курса. Очевидно, если несколько групп студентов систематически быстро и легко справляются с абсолютным большинством задач в курсе, курс может быть усложнен, и наоборот.
Полученный инструмент аналитики может быть адаптирован к курсам разного содержания, поскольку использует обобщенный подход к агрегации данных.
Работа выполнена в рамках темы государственного задания НИЦ «Курчатовский институт» - НИИСИ по теме № FNEF-2024-0001 (1023032100070-3-1.2.1).

Литература:

1. Васильев И.А., Кушниренко А.Г., Леонов А.Г., Мащенко К.А., Холькина А.А., Шляхов А.В. Цифровая образовательная платформа Мирера - основа цифровой трансформации образовательного процесса, сборник по материалам международной научно-практической конференции, Санкт-Петербург, 9-29 марта 2023г. «Новые образовательные стратегии в современном образовательном пространстве».
2. Дьяченко М.С., Леонов А.Г., Мащенко К.А. Почему цифровая образовательная платформа Мирера не очередная LMS // Сборник тезисов докладов X международной научной конференции, Елец, 20–22 сентября 2024 года. – Елец: Елецкий государственный университет им. И.А. Бунина, 2024. – С. 188-192.
3. Дьяченко М.С., Леонов А.Г., Мащенко К.А. Отечественная цифровая образовательная платформа для преподавания Stem-предметов // Наука и образование в обеспечении устойчивого развития человеческого потенциала в условиях перехода к цифровой экономике : материалы XI Российской научно-практической конференции с международным участием, г. Пермь, 18–19 апреля 2024 г. - С. 35-41.
4. Бахтеев О.Ю., Гафаров Ф.М., Гриншкун В.В. и др. Цифровая платформа образования, Вестник Российского фонда фундаментальных исследований, Том 1, № 113.
5. Леонов А.Г., Первин Ю.А. Качественные оценки эффективности методики обучения элементам информатики в пропедевтическом курсе // Ярославский педагогический вестник, №5, С. 92-96.
6. Леонов А.Г., Дьяченко М.С., Мащенко К.А. и др. Новые подходы к автоматизации проверки заданий в цифровых курсах, в сборнике Информатизация образования и методика электронного обучения: цифровые технологии в образовании Материалы VI Международной научной конференции, место издания Красноярский государственный педагогический университет им. В.П. Астафьева, Красноярск, тезисы, С. 173-179.
7. Леонов А.Г., Мартынов Н.С., Мащенко К.А. и др. Автоматизация проверки семантической составляющей текстовых ответов обучающихся в цифровой образовательной платформе // Программные продукты и системы. 2024. Т. 37. № 3. С. 440–452.