Учебная аналитика

Почему возникает учебная аналитика?

Учебная аналитика - следствие того, что формируется сетевая наука и учебный процесс рассматривается как сетевой феномен.

Социокультурные изменения

Сетевое объединение людей и устройств порождает лавинообразный рост цифровых записей. Сетевые приложения, бизнес-транзации, социальные сервисы, подключенные к сети приборы, мобильные вычисления, датчики с одежды каждую секунду порождают биллионы событий, многие из которых фиксируются для дальнейшего анализа или для анализа в реальном времени. Термин Большие данные отражает не только количественные, но и качественные социокультурные изменения, требующие новых способов мышления.

В кратком руководстве UNESCO Аналитика определяется как термин, используемый в науке и бизнесе для обозначения компьютерной поддержки в сборе данных для принятия решений. С появлением больших данных и ростом вычислительных возможностей компьютеров аналитика поддерживает цифровую инфраструктуру быстрой обратной связи, позволяющую принимать незамедлительные меры, воздействие которых в свою очередь может быть проверено.

Учебная аналитика распространяет эту концепцию цифровой инфраструктуры на образование. Как должна выглядеть такая цифровая нервная система, если акцент делается на результатах обучения?

Безусловно, учебная аналитика близка интеллектуальному анализу данных в целях образования.

• Buckingham Shum S. UNESCO IITE | E-library | Learning Analytics [Электронный ресурс]. URL: http://iite.unesco.org/publications/3214711 (дата обращения: 05.04.2014).

Тотальное отслеживание (tracking) действий пользователей. На основании отслеживания могут сделаны рекомендации по изменению системы и рекомендации к пользователям по изменению их поведения. Вопрос в том, как использовать эти данные и методы в целях организации лучшего обучения.

Поддержка преподавателей и учеников средствами визуализации происходящего внутри сообщества игроков, является непременным условием обучающей сетевой игры.

• Minović M., Milovanović M. Real-time Learning Analytics in Educational Games // Proceedings of the First International Conference on Technological Ecosystem for Enhancing Multiculturality TEEM ’13. New York, NY, USA: ACM, 2013. С. 245–251.

Социокультурные изменения в образовательной среде

Все действия субъектов образования в сетевой среде доступны для наблюдения и анализа. ССД это деятельность в цифровом поле, где все действия субъектов и все изменения объектов сохраняются и могут быть подвергнуты анализу и обсуждению. Как следствие, необходимым условием эффективной совместной деятельности является умение наблюдать и анализировать деятельность субъектов образования.

Сетевые средства амплифицируют рефлексию совместной деятельности, поскольку у субъектов совместной деятельности есть возможность использовать для анализа совместной деятельности данные о действиях всех участников и данные об изменении всех объектов, которые совершаются в ходе совместной деятельности. В ходе сетевой деятельности между участниками формируются отношения, опосредованные общими ценностями и объектами (статьями, фотография, диаграммами, программами), над которыми они совершают свои действия.

Повсеместность определяет возможности мобильного образования, связанные со сбором

Термин аналитика широко используется в бизнесе и науке по отношения к компьютерному сбору данных, которые могут использоваться при принятии решений.

П.Бликштейн выделяет и конструктивные основания появления учебной веб-аналитики - необходимость обучать навыкам 21 века к которым относятся способности к творчеству, инновациям, критическому мышлению, решению проблем, общению и взаимодействию. Эти умения достаточно сложно измерять, используя принятые методы оценивания: тесты, открытые вопросы или портфолио. Это создает сложности с обучением новым умения, поскольку отсутствуют способы оценивания этих умений. Сложность связана с тем, что современные способы оценивания основываются на конечном продукте (оценка на экзамене, проект, портфолио), а не на процессе, поскольку данные о процессе для множества учеников трудно собрать.

• Blikstein P. Using Learning Analytics to Assess Students’ Behavior in Open-ended Programming Tasks // Proceedings of the 1st International Conference on Learning Analytics and Knowledge LAK ’11. New York, NY, USA: ACM, 2011. С. 110–116.

Данные для анализа

Источники данных для анализа:

Журналы или лог-файлы серверов

— файл с записями о событиях в хронологическом порядке. Специальные файлы, в которых протоколируются определённые действия пользователя или программы на сервере. Например, в лог-файлы веб-сервера записывается информация, откуда пришёл тот либо иной посетитель, когда и сколько времени он провел на сайте, что там смотрел и скачивал, какой у него браузер и какой IP-адрес у его компьютера

Журнал вики Служебная:RecentChanges в хронологическом порядке перечислены последние изменения на страницах

Журналы программ

Некоторые программные среды могут записывать все действия пользователя: изменения переменных, нажатие кнопок, изменения, которые вносятся в код программы.

Access_log содержит следующую информацию:

• IP-адрес посетителя;
• дата и время запроса;
• текст запроса (в том числе, URL запрашиваемого файла);
• название браузера посетителя;
• код ответа сервера;
• размер файла, запрашиваемого посетителем.
• страница, по ссылке с которой пришел посетитель;
• имя пользователя (при использовании HTTP-аутентификации);
• ip-адрес web-сервера;

Методы анализа

Набор методов, позволяющих субъектам образования принимать решения на основании данных, собираемых компьютерами. Учебная аналитика использует интеллектуальный анализ данных (Data Mining) - совокупность методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Одно из важнейших назначений методов интеллектуального анализа данных состоит в наглядном представлении результатов вычислений (визуализация), что позволяет использовать этот инструментарий людьми, не имеющими специальной математической подготовки.

Средства интеллектуальной обработки данных в настоящее время активно используются экономистами, маркетологами и бизнес-аналитиками и позволяют на основе анализа количественных и качественных экономических показателей решать вопросы синтеза и прогнозирования финансово-экономических процессов. Адаптация данных методов для обработки педагогической информации и широкое их внедрение в образовательный процесс могут резко повысить качество управления обучением и контроль над ним.

• Овсяницкая Л.Ю. Интеллектуальный анализ данных как составляющая педагогического управления // ОБРАЗОВАНИЕ И НАУКА. 2013. № 10 (109). С. 80–90.

---

Учебная аналитика - направление педагогического мониторинга.

Определения

Учебная аналитика

Learning analytics - измерение, сбор, анализ и представление данных об учениках и их действиях с целью понимания и оптимизации учебного процесса и той среды, где это этот процесс происходит.

Использование данных и моделей для прогнозирования успеваемости и достижений, а также способность действовать на основе этой информации - http://nextgenlearning.com/The-Challenges/Learning-Analytics

Набор методов, позволяющих учителям и ученикам лучше понимать происходящее в учебном процессе.

Шнейдер - аналитика учебного процесса - http://edutechwiki.unige.ch/en/Learning_process_analytics

Шнейдер и соавторы определяют аналитику учебного процесса как набор методов, которые позволяют обучающим и обучаемым лучше понимать события, происходящие в рамках учебного сценария - над чем работают участники, как они взаимодействуют, что они создают, какие средства они используют, в какой среде они протекает учебная деятельность. В центре внимания проектно-ориентированный и студентоцентрированный дизайн - проектное, исследовательское, проблемное обучение.

Возникновение учебной аналитики связано ростом числа данных о деятельности учеников, которые могут быть собраны компьютерами, для дальнейшего использования в учебном процессе. В тех случаях, когда участие субъекта образования в учебном процессе опосредовано цифровыми устройствами, данные о поведении участника автоматически могут быть получены, сохранены и использованы для анализа.

Э.Дюваль отмечает, что учебная аналитика может помочь учащемуся улучшить свое обучение за счет тщательного анализа тех следов, которые учащийся оставляет в цифровой среде. На основании анализа этих следов система и тех целей, которые учащийся поставил перед собой, система может рекомендовать учащемуся обратить большее внимание на изучение или использование тех или иных ресурсов или средств, взаимодействие с учениками, которые ставят перед собой схожие образовательные цели.

Учебная аналитика направлена на сбор следов, которые оставляет ученик в системе, и использовании этих следов для улучшения процесса обучения.

Где осуществляется учебная аналитика?

Системы управления обучением

Аналитика процесса обучения

Комплексные интерактивные системы, такие как системы управления обучением, собирают огромное количество данных, описывающих поведение пользователей. Эти данные могут быть использованы в качестве основы для огромного количества исследований. Кроме того, существует острая необходимость в таких исследованиях для улучшения структур этих систем и выявления их недостатков. Особенно интересной областью для исследований является поиск частотных навигационных моделей в пользовательских данных, записанных в лог-файлах или базах данных.

Аналитика в LMS

Сбор данных по действиям учеников внутри системы и дальнейшая визуализация этих данных для преподавателя, чтобы он мог проследить за действиями обучаемых.

Среды общего назначения

Это различные CMS общего назначения, блоги, вики, документы Google и другие среды совместной деятельности, которые разрабатывались для сетевой деятельности, но не были специально созданы для нужд образования. Преподаватели успешно работают в этих средах, но каких-то специальных средств для анализа учебной деятельности здесь нет. В связи с этим и для учителей и для учеников трудно отслеживать совместную деятельность.

Пример - http://hapara.com/ - мониторинг и визуализация того, что происходит в среде Google Apps

Возможности и трудности учебной аналитики

Несмотря на огромные потенциальные возможности, которые содержит учебная аналитика, ее методы практически не используются для анализа учебного процесса, в связи с отсутствием опыта использования данных как индикаторов учебной деятельности.

Даже в тех случаях, когда исследователи заинтересованы в получении данных о сетевой структуре организации и сетевых взаимодействиях субъектов образования, основным методом исследования остается анкетирование. В качестве примера можно привести исследование К.М. Ушакова, в котором он выстраивает модель сетевой структуры взаимодействия учителей внутри образовательной организации на основании ответов на вопросы анкеты. Сама попытка диагностировать сетевую структуру образовательной организации представляется крайне интересной, но недостатки способа получения информации очевидны:

1. Результаты основываются на ответах анкетируемых - анализируются представления, а не действия.
2. Сбор и обработка данных занимает значительный период времени, в течение которого индикаторы могут утратить актуальность. Для управления развивающейся системой свежесть данных имеет значение.
3. Данные и методы их преобразования доступны только исследователю, который эти данные собирает.

• Ушаков К.М. Диагностика реальной структуры образовательной организации // Вопросы образования. 2013. Т. 4. С. 241 – 254.

Отличия учебной аналитики от традиционной педагогической диагностики представлены в следующей таблице:

Педагогическая диагностика	Учебная аналитика
Результаты основываются на ответах анкетируемых - анализируются представления, а не действия.	Исходными данными являются записи компьютера о действиях ученика - время пребывания на страницах, созданные объекты, число и содержание редактирований.
Сбор данных для исследования является специальной процедурой, которая занимает значительный период времени, в течение которого индикаторы могут утратить актуальность.	Сбор и сохранение данных осуществляется непрерывно.
Данные и методы их обработки, преобразования и представления доступны только исследователю, который эти данные собирает.	Данные и методы их обработки и визуализации доступны и могут использоваться всеми субъектами образования для корректировки своей деятельности

Методы учебной аналитики

Построение моделей, позволяющих предсказать поведение

На основе сбора больших данных делаются предсказания о поведении учеников. Например, такие предсказания позволяют определить студентов, которые могут оставить учебн

классификаторы

регрессоры

latent knowledge estimation

Выявление структур

Кластерный анализ

Массив данных обрабатываются с целью разбиения на кластеры.

Факторный анализ

Близкий к кластерному способ работы с данными.

Анализ социальных сетей

Анализ социальных сетей

DNA - динамический сетевой анализ

Для понимания разницы между эффективной и неэффективной группой, для изучения того, как меняется поведение студентов

---

Педагогические смыслы учебной аналитики

Педагогические критерии	Сетевые показатели	Индикаторы
Критерии	Показатели	Индикаторы
Критерии	Показатели	Индикаторы
Критерии	Показатели	Индикаторы
Критерии	Показатели	Индикаторы
Критерии	Показатели	Индикаторы
Критерии	Показатели	Индикаторы

Источники данных для учебной аналитики

Вики метрики

Различные стратегии, методы и средства, которые позволяют измерять и анализировать деятельность участников (обучающихся) в вики.

Измерение взаимодействия (коллаборация)

Разнообразие (diversity)

Количество участников, которые работают над одной статьей или общим проектом

Уровень взаимодействия

Количество соавторов / к возможному числу участников

Например, если из 10 участников 6 работают над этой статьей, то уровень коллаборации = 0.6

Интерактивность

Число редактирований

Интенсивность

Интерактивность / Разнообразие - т.е. число редактирований / число участников

• http://edutechwiki.unige.ch/en/Wiki_metrics,_rubrics_and_collaboration_tools

Жизнеспособность (устойчивость) вики

• Roth C., Taraborelli D., Gilbert N. Measuring Wiki Viability: An Empirical Assessment of the Social Dynamics of a Large Sample of Wikis // Proceedings of the 4th International Symposium on Wikis WikiSym ’08. New York, NY, USA: ACM, 2008. С. 27:1–27:5.

Для оценки устойчивости и жизнеспособности вики использовались следующие показатели и их индикаторы

• Размер популяции U - количество зарегистрированных участников - число зарегистрированных участников = NUMBEROFUSERS 75
• Активность редактирования E - Общее число редактирований - NUMBEROFEDITS 5057
• Количество контента - P - число полноценных страниц (статьи) - число полноценных статей в Летописи = NUMBEROFARTICLES 1095
• Число администраторов A - NUMBEROFADMINS - 2

• Общее число страниц - NUMBEROFPAGES 1360
• Число загруженных файлов F - NUMBEROFFILES - 41

Из этих имеющихся данных следуют индикаторы

Активность редактирования = E / U

Плотность редактирований = E / P

Плотность пользователей = U / P

Продуктивность пользователей (показатель обратный плотности пользователей) P / U

Это достаточно нейтральный параметр. Как показывают данные из нескольких сообществ количество зарегистрированных участников и количество статей - достаточно близкие цифры. По ряду серверов участников даже больше. Т.е. есть участники, которые зарегистрировались и не написали ни одной статьи. Такое положение дел достаточно часто встречается в сетевых сообществах, поскольку обычное распределение соответствует цифрам 1:10:90 – 1% участников организует деятельность, 9 – 10 % активно участвуют и 90% наблюдают за деятельностью, не принимая участия. А вот снижение пользователей может служить тревожным показателем.

На 7 апреля показатель продуктивности составляет 0.69

Плотность администраторов = A / P

Учебная аналитика на страницах Летописи

Викиграмма

Версия с примерами http://letopisi.org/index.php/Викиграмма

Определение

Викиграмма – социограмма совместной деятельности - графическое изображение структуры связей между авторами и вики-статьями. Викиграмма статьи строится на основании истории редактирований страницы.

В центре рисунка находится статья. Вокруг этой статьи находятся авторы, которые принимали участие в редактировании данной статьи. От автора к статье ведет стрелка связи. Толщина связи в рабочей версии приложения на данный момент зависит от числа редактирований, которые сделал автор. Точное число редактирований указано цифрой рядом со связью.

Простое приложение анализа социальных сетей, которое позволяет проводить визуализацию и выявление групп участников, связанных редактированием общих статей в вики среде. На основе этого приложения разработана методика анализа и обсуждения совместной сетевой деятельности.

Серьезная проблема дизайна цифровых экосистем состоит в том, что общая картина их развития, графы отношений, которые возникают между многочисленными агентами и объектами сети, скрыты от отдельных участников. В совместной сетевой деятельности принимает участие множество людей, и в результате деятельности этих людей создается и видоизменяется множество объектов. Как правило, участники совместной деятельности могут видеть последние изменения в системе, перечень объектов и участников, но не видят связей и отношений, которые складываются между участниками и объектами.

Как показывает опыт организации совместной учебной сетевой деятельности, чем больше участники знают о действиях других участников, чем полнее они представляют общую картину совместных действий, тем скорее внутри цифровой экосистемы происходят процессы самоорганизации.

Благодаря использованию современных социальных сервисов, поисковых механизмов, средств визуализации и контент-анализа, методы социального сетевого анализа получили новые перспективы развития.

Программа (расширение MediaWiki) для построения викиграмм

http://www.mediawiki.org/wiki/Extension:CollaborationDiagram

Примеры использования викиграмм в проектах Летописи

Обсуждение сценария тренинга, в ходе которого ведущий предлагает участникам материалы для самостоятельного изучения, затем происходит обсуждение материалов, обсуждение типологии мотивации совместной сетевой деятельности и далее участники предлагают к реализации свои собственные идеи.

Сравнение проектов по структуре

Берется несколько проектов и сравниваются структуры, которые сформировались в ходе совместной деятельности

Таблица критериального оценивания сетевого проекта по викиграмме

Критерий	Высокий уровень	Средний уровень	Низкий уровень
Продуктивность	Граф (викиграмма) показывает, что участники множество объектов, число которых значительно больше числа участников.	Участники создали цифровые объекты, число которых примерно равно числу участников.	В ходе проекта было создано очень мало цифровых объектов. Число объектов значительно меньше числа участников
Повторяемость действий	Граф показывает, что объекты многократно (более 5 раз) изменялись и улучшались авторами и редакторами	Некоторые объекты в проекте улучшались своими авторами и другими участниками по 3 – 4 раза.	Созданные участниками объекты после создания и публикации в системе не изменялись.
Связанность	Все субъекты и объекты деятельности объединены в одном графе	Участники и объекты деятельности объединены в небольшое (3 - 4) число компонент.	Граф проекта разбит на множество несвязанных компонент.
Сплоченность	На викиграмме представлена одна сплоченная группа (клика), в которой все участники связаны друг с другом через страницы	Участники образуют несколько малочисленных групп.	На викиграмме практически нет групп, что говорит об отсутствии взаимодействия.
Устойчивость	В графе участников представлены несколько ключевых игроков, связи которых обеспечивают устойчивость совместной деятельности	В графе участников представлены 2 – 3 участника, удаление которых приведет к тому, что сеть рассыпается на несвязанные компоненты.	В графе совместной деятельности есть единственный ключевой игрок, через которого идут все информационные процессы. Удаление этого узла разрушает сеть.

Скретчеграмма

Термин Скретчеграмма используется по аналогии с термином викиграмма. Это - социограмма, на которой представлены взаимосвязи скретчеров, работающих на сайте http://scratch.mit.edu и использующих комменты, лайки и ремиксы. Социальный объект, вокруг которого выстраиваются отношение - это проект Scratch.

Скретчеграммы и социальные связи в сообществе

Внутри сообщества скретч разрабатываются специальные блоки анализа сообщества,

Синтез вики и Скретч

Существует расширение медиавики, которое позволяет представлять в вики графические блоки скретч. Благодаря этому мы можем создавать совместные страницы методических руководств

---

История совместной деятельности - WikiHistory Netlogo

WikiHistory Netlogo

Литература - аналитика Летописи

1. Патаракин Е.Д. Использование учебной компьютерной аналитики для поддержки совместной сетевой деятельности субъектов образования // Образовательные технологии и общество (Educational Technology & Society). 2014. Т. 17. № 2. С. 538 – 554.
2. Патаракин Е.Д, Катков Ю.В. «Использование викиграмм для поддержки совместной сетевой деятельности» –«Образовательные технологии и общество» (Educational Technology & Society) 2012, апрель 2012, с. 536 - 552 http://ifets.ieee.org/russian/depository/v15_i2/html/13.htm
3. Патаракин Е.Д., Включение участников открытых сетей в исследовательскую деятельность. ГАУДЕНАМУС: Психолого-педагогический журнал 2/2010 Тамбов, с. 62 - 67.
4. Патаракин Е.Д., Культура 2.0 - совместное творчество и совместное исследование. Образовательные технологии и общество (Educational Technology & Society) Издательство Казанский государственный технологический университет, 2010, № 2, с. 302 - 315

   http://ifets.ieee.org/russian/depository/v13_i2/html/9.htm

5. Патаракин Е.Д. От использования контента к совместному творчеству. Анализ сетевого проекта Летописи.ру // Вопросы образования. 2009. № 3. С. 114–129.

Литература

• Парагогика: синергия самостоятельной и организованной учебной деятельности - Перевод И.Травкина
• Y. Engestrom: From communities of practice to mycorrhizae, in H. Hughes, N. Jewson, L. Unwin (Eds.), Communities of practice: Critical perspectives. London: Routledge (2007). http://www.open.ac.uk/cetl-workspace/cetlcontent/documents/476902341f33c.pdf
• Dimopoulos I., Petropoulou O., Retalis S. Assessing Students’ Performance Using the Learning Analytics Enriched Rubrics // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 195–199.
• Dyckhoff A.L. и др. Supporting Action Research with Learning Analytics // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 220–229.
• Ferguson R., Shum S.B. Social Learning Analytics: Five Approaches // Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge LAK ’12. New York, NY, USA: ACM, 2012. С. 23–33.
• Ice P. и др. Introduction to Analytics for E-Learning. , 2011. С. 684–686.
• Knight S., Buckingham Shum S., Littleton K. Epistemology, Pedagogy, Assessment and Learning Analytics // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 75–84.
• Lonn S., Aguilar S., Teasley S.D. Issues, Challenges, and Lessons Learned when Scaling Up a Learning Analytics Intervention // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 235–239.
• Schneider D. и др. Requirements for learning scenario and learning process analytics. , 2012. С. 1632–1641.
• Siemens G. Learning Analytics: Envisioning a Research Discipline and a Domain of Practice // Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge LAK ’12. New York, NY, USA: ACM, 2012. С. 4–8.
• Siemens G., Baker R.S.J. d. Learning Analytics and Educational Data Mining: Towards Communication and Collaboration // Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge LAK ’12. New York, NY, USA: ACM, 2012. С. 252–254.
• Tempelaar D.T. и др. Formative Assessment and Learning Analytics // Proceedings of the Third International Conference on Learning Analytics and Knowledge LAK ’13. New York, NY, USA: ACM, 2013. С. 205–209.
• UNESCO IITE | E-library | Learning Analytics [Электронный ресурс]. URL: http://iite.unesco.org/publications/3214711 (дата обращения: 05.04.2014).
• Long, P. and Siemens, G., Penetrating the fog: analytics in learning and education. Educause Review Online, 46, 5, (2011), 31-40. http://www.educause.edu/ero/article/penetrating-fog-analyticslearning-and-education

---

• Упоминание учебной аналитики в блоге Галактики - https://edugalaxy.intel.ru/?automodule=blog&blogid=11&showentry=1031