Применение методов распознавания в практикумах по программированию (Никита Бесшапошников, OSEDUCONF-2019) — различия между версиями

;{{SpeakerInfo}}: {{Speaker|Никита Бесшапошников}}
<blockquote>
Технологии по распознаванию образов с помощью нейронных сетей можно применять и в образовательных процессах. При этом автоматизированные практикумы, как компоненты цифровой образовательной среды, дополняются новыми функция, ускоряющими и упрощающими процесс обучения. Обсуждаются возможные точки приложения технологий машинного обучения в автоматизации учебного процесса на примере практикумов по освоению основ программирования для дошкольников и младших школьников.
</blockquote>

{{VideoSection}}
{{vimeoembed|315021769|800|450}}
{{youtubelink|}}
|xyKmv_ZAlZo}}
{{SlidesSection}}
[[File:Применение методов распознавания в практикумах по программированию (Никита Бесшапошников, OSEDUCONF-2019).pdf|left|page=-|300px]]

{{----}}

== Thesis ==

В силу сложности решаемой задачи в дальнейшем были применены методы машинного обучения. Стандартные модели машинного обучения (SVM, Random Forest, модель логистической регрессии и т. д.) достаточно хорошо показали себя в задачах, связанных с обработкой скалярных или векторных признаков небольшой размерности. Для обработки изображений были использованы нейронные сети большой глубины: SSD Mobilenet, Faster RCNN Resnet, Faster RCNN Inception. Разработанные алгоритмы распознавания дали очень хороший результат и позволили предложить решение вопроса переноса детектирующего алгоритма на конечные мобильные устройства [3].

Работы выполненена в рамках темы «Разработка, реализация и внедрение семейства интегрированных многоязыковых сред программирования с автоматизированной проверкой заданий для учащихся образовательных организаций, ДОО, младшей, основной и старшей школы и студентов педагогических университетов» (тема госзадания РАН 0065-2019-0010).


{{----}}
[[File:{{#setmainimage:Применение методов распознавания в практикумах по программированию (Никита Бесшапошников, OSEDUCONF-2019)!.jpg}}|center|640px]]
{{LinksSection}}
<!-- <blockquote>[©]</blockquote> -->

* [1] Кушниренко А. Г., Леонов А. Г., Райко М. В.  Проведение годового цикла занятий «алгоритмика для дошкольников» в подготовительных группах ДОУ. // ВОСПИТАНИЕ И ОБУЧЕНИЕ ДЕТЕЙ МЛАДШЕГО ВОЗРАСТА. Издательство: Издательство «Мозаика-Синтез» (Москва) 2018
* [2] Бесшапошников Н. О., Кузьменко М. А., Леонов А. Г., Матюшин М. А. Автоматизация разметки набора данных для нейронных сетей// Вестник Кибернетики №4(32) 2018
* [3] Бесшапошников Н. О., Кузьменко М. А., Леонов А. Г. Матюшин М. А. Некоторые вопросы эффективности детерминированных алгоритмов распознавания образов с помощью библиотеки OpenCV // Труды НИИСИ РАН. 2018. №2. Том 8.

{{fblink|2247796502140025}}                                          
<references/>

[[Категория:OSEDUCONF-2019]]
[[Категория:Пиктомир]]
[[Категория:Machine Learning]]
{{stats|disqus_comments=0|refresh_time=2019-02-26T19:53:362021-08-31T18:00:39.621507793169|vimeo_plays=313|youtube_comments=0|youtube_plays=0}}7}}

Текущая версия на 12:22, 4 сентября 2021

Докладчик

Никита Бесшапошников

Технологии по распознаванию образов с помощью нейронных сетей можно применять и в образовательных процессах. При этом автоматизированные практикумы, как компоненты цифровой образовательной среды, дополняются новыми функция, ускоряющими и упрощающими процесс обучения. Обсуждаются возможные точки приложения технологий машинного обучения в автоматизации учебного процесса на примере практикумов по освоению основ программирования для дошкольников и младших школьников.

Видео

on youtube

Презентация

Thesis

Процессы цифровой трансформации проникли в практически все сферы жизнедеятельности человека, от науки и производства до домохозяйств и образования. Последнее имеет особую ценность в современном быстроменяющимся мире. Объём информации, необходимый для усвоения учащимися всё возрастает, а динамика смены профессиональных ориентиров в потребностях общества увеличивается с невероятной скоростью. При этом вычислительные мощности, достигнутые современной микроэлектроникой, позволяют использовать для решения широкого круга задач не только суперкомпьютеры, серверы и десктопы, но и мобильные системы, смартфоны и планшеты.

Предпрофессиональную подготовку жителя XXI века сейчас нужно начинать как можно раньше, ещё в дошкольном возрасте. Человек, не имеющий четвёртую компетентность, — программирование(кодирование), — в дальнейшем останется функционально неграмотным и будет выброшен на «обочину жизни» точно также, как ранее там оказывались не умеющие читать, писать, считать (три другие необходимые компетенции XX века). В пропедевтическом курсе по алгоритме (программированию) для дошкольников и младших школьников, который с успехом осваивают 100% обучаемых, дети осваивают основы составления алгоритмов и терминологию, без которых невозможно дальнейшее развитее, интеллектуальный рост и образование полноценного члена современного общества. Эти курсы и практикумы разработаны группой учёных в ФГУ ФНЦ НИИСИ РАН и широко апробированы в России. Учащиеся на практических занятиях в системе ПиктоМир «собирают» программы по управлению виртуальными роботами из команд-пиктограмм, осваивают основы алгоритмизации и знакомятся с основами программного управления роботов-исполнителей [1].

Обучение в системе ПиктоМир рекомендуются начинать в возрасте 6 лет, что соответствует старшей группе дошкольных образовательных организаций. Здесь сказываются не только ограничения СанПиН на время работы с планшетными компьютерами, но и эргономические ограничения опорно-двигательного аппарата малышей. Однако, даже дети трёх-четырёх лет с удовольствием складывают картинки из деревянных кубиков, при этом развивая ещё и мелкую моторику.

В качестве эксперимента, детям предлагалось собирать программу для управления виртуальным роботом не на экране планшета, а прямо на столе из деревянных кубиков с нарисованными на них командами. Основной вопрос, который при этом оставался не решённым, как исполнить и проверить составленную программу на компьютере? Здесь на помощь пришла технология распознавания образов, фотографий программ, составленных учащимися.

Ученик составлял программу, фотографировал её на мобильное устройство и результат, распознанная программа, появлялась в ПиктоМире, как будто её составили вручную. При этом задача получения в системе ПиктоМир программы ученика, составленной из кубиков, фактически сводилась к созданию алгоритма эффективного распознавания картинок-пиктограмм на кубиках одинакового размера, разложенных на плоскости при ручной съёмке в 3-х мерном пространстве при различных сопровождающих искажениях.

Первоначально были разработаны алгоритмы с использованием библиотеки openCV для детектирования границ пиктограмм по цвету и дальнейшую классификацию на плоскости по заранее предложенному в задании шаблону программы. Такой автоматизированный подход в условиях хорошей освещённости границ изображений позволил эффективно распознавать составленную программу. Напротив, в условиях неравномерной освещённости, присутствии в кадре посторонних объектов, незначительных перспективных искажениях эвристические алгоритмы определения относительного местоположения пиктограмм давали высокий процент ошибок [2].

В силу сложности решаемой задачи в дальнейшем были применены методы машинного обучения. Стандартные модели машинного обучения (SVM, Random Forest, модель логистической регрессии и т. д.) достаточно хорошо показали себя в задачах, связанных с обработкой скалярных или векторных признаков небольшой размерности. Для обработки изображений были использованы нейронные сети большой глубины: SSD Mobilenet, Faster RCNN Resnet, Faster RCNN Inception. Разработанные алгоритмы распознавания дали очень хороший результат и позволили предложить решение вопроса переноса детектирующего алгоритма на конечные мобильные устройства [3].

Работы выполненена в рамках темы «Разработка, реализация и внедрение семейства интегрированных многоязыковых сред программирования с автоматизированной проверкой заданий для учащихся образовательных организаций, ДОО, младшей, основной и старшей школы и студентов педагогических университетов» (тема госзадания РАН 0065-2019-0010).

Примечания и ссылки

• [1] Кушниренко А. Г., Леонов А. Г., Райко М. В.  Проведение годового цикла занятий «алгоритмика для дошкольников» в подготовительных группах ДОУ. // ВОСПИТАНИЕ И ОБУЧЕНИЕ ДЕТЕЙ МЛАДШЕГО ВОЗРАСТА. Издательство: Издательство «Мозаика-Синтез» (Москва) 2018
• [2] Бесшапошников Н. О., Кузьменко М. А., Леонов А. Г., Матюшин М. А. Автоматизация разметки набора данных для нейронных сетей// Вестник Кибернетики №4(32) 2018
• [3] Бесшапошников Н. О., Кузьменко М. А., Леонов А. Г. Матюшин М. А. Некоторые вопросы эффективности детерминированных алгоритмов распознавания образов с помощью библиотеки OpenCV // Труды НИИСИ РАН. 2018. №2. Том 8.

• Discuss on Facebook

Plays:20   Comments:0