Применение методов распознавания в практикумах по программированию (Никита Бесшапошников, OSEDUCONF-2019) — различия между версиями

Версия 15:00, 31 августа 2021

Докладчик: Никита Бесшапошников

Технологии по распознаванию образов с помощью нейронных сетей можно применять и в образовательных процессах. При этом автоматизированные практикумы, как компоненты цифровой образовательной среды, дополняются новыми функция, ускоряющими и упрощающими процесс обучения. Обсуждаются возможные точки приложения технологий машинного обучения в автоматизации учебного процесса на примере практикумов по освоению основ программирования для дошкольников и младших школьников.

Видео

on youtube

Презентация

Thesis

Процессы цифровой трансформации проникли в практически все сферы жизнедеятельности человека, от науки и производства до домохозяйств и образования. Последнее имеет особую ценность в современном быстроменяющимся мире. Объём информации, необходимый для усвоения учащимися всё возрастает, а динамика смены профессиональных ориентиров в потребностях общества увеличивается с невероятной скоростью. При этом вычислительные мощности, достигнутые современной микроэлектроникой, позволяют использовать для решения широкого круга задач не только суперкомпьютеры, серверы и десктопы, но и мобильные системы, смартфоны и планшеты.

Предпрофессиональную подготовку жителя XXI века сейчас нужно начинать как можно раньше, ещё в дошкольном возрасте. Человек, не имеющий четвёртую компетентность, — программирование(кодирование), — в дальнейшем останется функционально неграмотным и будет выброшен на «обочину жизни» точно также, как ранее там оказывались не умеющие читать, писать, считать (три другие необходимые компетенции XX века). В пропедевтическом курсе по алгоритме (программированию) для дошкольников и младших школьников, который с успехом осваивают 100% обучаемых, дети осваивают основы составления алгоритмов и терминологию, без которых невозможно дальнейшее развитее, интеллектуальный рост и образование полноценного члена современного общества. Эти курсы и практикумы разработаны группой учёных в ФГУ ФНЦ НИИСИ РАН и широко апробированы в России. Учащиеся на практических занятиях в системе ПиктоМир «собирают» программы по управлению виртуальными роботами из команд-пиктограмм, осваивают основы алгоритмизации и знакомятся с основами программного управления роботов-исполнителей [1].

Обучение в системе ПиктоМир рекомендуются начинать в возрасте 6 лет, что соответствует старшей группе дошкольных образовательных организаций. Здесь сказываются не только ограничения СанПиН на время работы с планшетными компьютерами, но и эргономические ограничения опорно-двигательного аппарата малышей. Однако, даже дети трёх-четырёх лет с удовольствием складывают картинки из деревянных кубиков, при этом развивая ещё и мелкую моторику.

В качестве эксперимента, детям предлагалось собирать программу для управления виртуальным роботом не на экране планшета, а прямо на столе из деревянных кубиков с нарисованными на них командами. Основной вопрос, который при этом оставался не решённым, как исполнить и проверить составленную программу на компьютере? Здесь на помощь пришла технология распознавания образов, фотографий программ, составленных учащимися.

Ученик составлял программу, фотографировал её на мобильное устройство и результат, распознанная программа, появлялась в ПиктоМире, как будто её составили вручную. При этом задача получения в системе ПиктоМир программы ученика, составленной из кубиков, фактически сводилась к созданию алгоритма эффективного распознавания картинок-пиктограмм на кубиках одинакового размера, разложенных на плоскости при ручной съёмке в 3-х мерном пространстве при различных сопровождающих искажениях.

Первоначально были разработаны алгоритмы с использованием библиотеки openCV для детектирования границ пиктограмм по цвету и дальнейшую классификацию на плоскости по заранее предложенному в задании шаблону программы. Такой автоматизированный подход в условиях хорошей освещённости границ изображений позволил эффективно распознавать составленную программу. Напротив, в условиях неравномерной освещённости, присутствии в кадре посторонних объектов, незначительных перспективных искажениях эвристические алгоритмы определения относительного местоположения пиктограмм давали высокий процент ошибок [2].

В силу сложности решаемой задачи в дальнейшем были применены методы машинного обучения. Стандартные модели машинного обучения (SVM, Random Forest, модель логистической регрессии и т. д.) достаточно хорошо показали себя в задачах, связанных с обработкой скалярных или векторных признаков небольшой размерности. Для обработки изображений были использованы нейронные сети большой глубины: SSD Mobilenet, Faster RCNN Resnet, Faster RCNN Inception. Разработанные алгоритмы распознавания дали очень хороший результат и позволили предложить решение вопроса переноса детектирующего алгоритма на конечные мобильные устройства [3].

Работы выполненена в рамках темы «Разработка, реализация и внедрение семейства интегрированных многоязыковых сред программирования с автоматизированной проверкой заданий для учащихся образовательных организаций, ДОО, младшей, основной и старшей школы и студентов педагогических университетов» (тема госзадания РАН 0065-2019-0010).

Примечания и ссылки

[1] Кушниренко А. Г., Леонов А. Г., Райко М. В. Проведение годового цикла занятий «алгоритмика для дошкольников» в подготовительных группах ДОУ. // ВОСПИТАНИЕ И ОБУЧЕНИЕ ДЕТЕЙ МЛАДШЕГО ВОЗРАСТА. Издательство: Издательство «Мозаика-Синтез» (Москва) 2018
[2] Бесшапошников Н. О., Кузьменко М. А., Леонов А. Г., Матюшин М. А. Автоматизация разметки набора данных для нейронных сетей// Вестник Кибернетики №4(32) 2018
[3] Бесшапошников Н. О., Кузьменко М. А., Леонов А. Г. Матюшин М. А. Некоторые вопросы эффективности детерминированных алгоритмов распознавания образов с помощью библиотеки OpenCV // Труды НИИСИ РАН. 2018. №2. Том 8.

Discuss on Facebook

Plays:20 Comments:0