Система HJudge или как автоматизировать проверку заданий при изучении работы с большими данными (OSEDUCONF-2017)

Короткая ссылка: 20170128D

Содержание

1 Аннотация
2 Видео
3 Слайды
4 Тезисы
5 Примечания и отзывы

Аннотация

Докладчики

Тестирование приложения для обработки больших массивов данных в большинстве случаев сводится к запуску приложения на небольших тестовых выборках. Однако если мы имеем дело с большими данными, то даже тестовая выборка может занимать несколько гигабайт. Соответственно, результат работы приложения тоже может быть большим. Проверка такого результата на корректность становится трудоёмким процессом. Тестирование Hadoop-приложений включает проверку (1) корректности сборки приложения, (2) успешности его запуска на Hadoop-кластере, (3) результата работы. В рамках курсов обработки больших данных обычно затрагивается несколько сервисов экосистемы Hadoop, что увеличивает сложность создания единого интерфейса для тестирования таких приложений. В применении к высшей школе, при тестировании приложений нужно учесть и то, что разные ошибки в коде по-разному влияют на результат. Иными словами, в целях более справедливого оценивания работ студентов нужно иметь богатый набор тестов для идентификации ошибок программы. Существуют различные программные продукты, решающие одну или несколько из описанных проблем. Однако не найдено системы, которая бы решала все эти проблемы одновременно.
Это создало предпосылки для разработки своего продукта — системы «HJudge», о которой и пойдёт речь в докладе.