Использование свободного программного обеспечения для ЭЭГ-мониторинга психического состояния пользователя в исследовании UX-UI (Антип Шульган, OSEDUCONF-2023)
Материал из 0x1.tv
- Докладчик
- Антип Шульган
В докладе рассматривается применение электроэнцефалографов потребительского уровня (изделий производства компаний NeuroSky и Emotiv, а также открытого проекта OpenBCI) для оценки эмоционального состояния пользователя в процессе человеко-машинного взаимодействия. Каждое устройство имеет свои преимущества и недостатки для исследования UI/UX. Рассматриваются особенности доступных к получению данных, обсуждаются существующие инструменты с открытым исходным кодом для получения этих данных, а подход к оценке эмоционального состояния, который можно использовать для распознавания положительных и отрицательных эмоций пользователя.
Видео
Thesis
Оценка состояния пользователя с помощью специальных измерительных устройств в процессе работы с программным или аппаратным продуктом может заметно упростить выявление узких мест эргономики (в особенности с учетом повысившейся в последние годы доступности биометрических устройств). Наиболее просты в применении средства изменения пульса, отслеживания взгляда, и наиболее примитивные электроэнцефалографы, позволяющие отследить концентрацию внимания. Однако более полноценное детектирование эмоций с помощью электроэнцефалографии (ЭЭГ) является существенно более сложной задачей.
Как известно, ЭЭГ основана на детектировании колебательных электрических процессов, регистрируемых на электродах, размещенных на поверхности головы, и является результатом электрической суммации и фильтрации элементарных процессов в нейронах. Измерения активности коры искажаются тканями и костями черепа, что вносит дополнительный шум и снижает интенсивность сигналов; тем не менее, измерения ЭЭГ дают важную информацию об электрической активности коры головного мозга. Частота сигналов ЭЭГ находится в диапазоне 1—80 Гц, а амплитуды сигналов варьируются от 10 до 100 мкВ[1].
Одной из основных характеристик ЭЭГ является частота. По историческим причинам используют частотную классификацию по визуально"=различимым диапазонам ( — 8..14 Гц, — 14..40 Гц, — 4..8 Гц , — 1..4 Гц, — выше 40 Гц и т. д.). В зависимости от диапазона частот, а также амплитуды, формы волны, топографии и типа отклика различают -ритм ЭЭГ, -ритм и т.д. Наиболее информативными для заявленной темы являются -ритмы и -ритмы[2]. Их поддиапазоны не перекрываются источниками естественных шумов организма (таких, как движения глаз и моргание, сердечная деятельность, мышечная активность)[3], а посторонние артефакты от линий электропередач обычно присутствуют выше 50 Гц. Поэтому большая часть постороннего шума в - и -диапазонах значительно снижена. Высокая активность в -диапазоне означает расслабление мозга, а -ритм, наоборот, связан с его активным состоянием. Таким образом, вместе - и -ритмы могут использоваться для обнаружения эмоциональных (возбужденных и валентных) состояний ума. Для выделения - и -полос частот в регистрируемом сигнале традиционно используется полосовой фильтр, а при работе с дискретными сигналами — быстрое преобразование Фурье.
Наиболее бюджетные ЭЭГ выпускаются компанией NeuroSky и оснащены единственным датчиком, и потому их применение в исследованиях UI/UX сводится к оценке изменений в концентрации внимания. Однако на рынке доступно несколько более сложных потребительских ЭЭГ-гарнитур, которые позволяют выполнять оценку эмоционального состояния пользователя, а иногда даже комплектуются коммерческим ПО для такой оценки. Типичным примером с наиболее полным набором датчиков являются гарнитуры Emotiv EPOC/EPOC+ (она чаще используется в экспериментах). Эта гарнитура состоит из 14 электродов для сбора данных и 2 референсных электродов, которые позволяют отстраиваться от помех. Электроды размещены и промаркированы по международной системе 10—20[3]. Для Emotiv EPOC это позиции AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8 и AF4. Также достаточно совершенным решением являетя проект OpenBCI, доступный как свободное аппаратное обеспечение.
Коммерческие драйвера для гарнитур наподобие {\footnotesize Emotiv EPOC/EPOC+} позволяют регистировать ряд эмоциональных реакций (волнение, разочарование, вовлеченность, интерес, сосредоточеннность и т.д.), но их возможности и доступность под GNU/Linux достаточно ограничены. Свободные решения (например, проект Emokit для EPOC/EPOC+) только выводят необработанные сигналы с электродов гарнитуры, поэтому при использовании СПО для ЭЭГ приходится вычислять оценку эмоционального состояния самостоятельно. То же самое верно при использовании гарнитуры OpenBCI (однако при этом OpenBCI является более дорогим решением, а его самостоятельная сборка нетривиальна из-за того что часть используемых радиодеталей снята с производства и требует подбора аналогов по параметрам).
Для самостоятельной оценки эмоциональных состояний с помощью сигналов, регистрируемых электродами ЭЭГ-гарнитуры, можно использовать предложенный Дж. А. Расселом метод описания эмоций в виде точки в двумерном пространстве — циркумплекса. Две координатные оси представляют собой валентность и возбуждение, а расстояние от центральной точки — интенсивность. При классификации эмоций по этому методу необходимо определить, насколько положительные (валентность) и насколько сильные (возбуждение) эмоции ощущаются респондентами. Четыре сектора в этом пространстве — сильные отрицательные, сильные положительные, слабые отрицательные и слабые положительные эмоции. Поэтому классификация эмоциональных состояний предполагает их деление на высокое/низкое возбуждение и положительную/отрицательную валентность, на основании чего выделяют такие эмоции, как счастье, гнев, печаль, покой (например, счастье — это состояние с высоким возбуждением и положительной валентностью, а грусть — с низким возбуждением и отрицательной валентностью).
Уровень возбуждения можно определить, вычислив соотношение - и -ритмов. Высокое возбуждение характеризуется большей мощностью -ритмов и низкой -активностью, поэтому соотношение / указывает на состояние возбуждения, в котором находится субъект. В то же время - и -ритмы лучше всего измеряются в лобных и средних отделах головного мозга, поэтому целесообразно использовать сигналы, поступающие от электродов, расположенных на соответствующем участке черепа[2]. Согласно[3], достаточно измерить сигнал в четырех точках в области префронтальной коры: AF3, AF4, F3 и F4.
\noindent где и — мощность - и -ритмов, AF3, AF4 и т.д. — сигналы от одноименных электродов.
Для оценки валентности, то есть положительного или отрицательного состояния, можно использовать разницу уровней активации двух полушарий коры головного мозга. По данным ряда исследований, положительное состояние связано с активацией областей в левом полушарии головного мозга, а отрицательное — в правом полушарии[4]. Эта связь не прямая: инактивация в левой лобной доле служит индикатором реакции отторжения, которая, в свою очередь, часто связана с негативной реакцией. Точно так же инактивация в правой лобной доле является показателем реакции, которая, в свою очередь, может указывать на положительную эмоцию.
Как уже упоминалось, высокая активность в -диапазоне является признаком низкой активности мозга, и наоборот. Таким образом, увеличение -ритмов на фоне снижения -ритмов может быть связано с инактивацией коры[2]. Для измерения такой -активности чаще всего используют точки F3 и F4, так как они расположены в префронтальной области, играющей важнейшую роль в регуляции эмоций. При этом следует учитывать, что, согласно имеющимся исследованиям, различия в активности полушарий являются не признаком аффективной валентности, а скорее указанием на мотивационную направленность (притягательность или неприятие стимула)[5]. Однако, поскольку аффективная валентность обычно относится к мотивационной направленности, сравнение активации полушарий по-прежнему служит практическим методом определения валентности. Таким образом, для оценки валентности можно сравнить интенсивности - и -ритмов на электродах F3 и F4Matlovich T. Emotion Detection using EPOC EEG device // Informatics and Information Technologies Student Research Conference. — Bratislava, Slovakia, April 28, 2016. — pp. 1—6.</ref>.
Как уже упоминалось, этот способ оценки эмоций требует доступа к необработанным данным с датчиков. В случае OpenBCI такой доступ является вариантом по-умолчанию; в случае гарнитур Emotive необработанные данные доступны в рамках более дорогих лицензий, предназначенных для исследователей, однако эти же данные позволяет получить свободная библиотека Emokit. В комплекте с Emokit идёт только простой пример консольного вывода значений с датчиков и качества контакта, поэтому на пользователя полностью ложатся также и задачи калибровки контакта электродов, отбора значений их и частотной фильтрации. К Emokit существует несколько фротэндов [1] [2] [3], упрощающих эту задачу. Наиболее развитый из них — EmokitVisualizer — одновременно наименее доступен конечному пользователю из-за крайне чувствительного к вариациям набора устаревших зависимостей (требуется найти работоспособную комбинацию из нескольких модулей для Python, Qt4 и WxWidgets неуказанных автором версий). Более доступен фронтэнд на веб-технологиях CyKITv2 (также находящийся в неактивной разработке). Альтернатива — прямое использование Emokit в собственной программной разработке на Python или Java.
!.jpg)
Примечания и ссылки
- ↑ Kandel E.R. et al. Principles of Neural Science. Mc Graw Hill, 2012 — 1760 p.
- ↑ 2,0 2,1 2,2 Niemic C.P. Studies of emotion: A theoretical and empirical review of psychophysiological studies of emotion // Journal of Undergraduate Research, v. 1, 2002. pp. 15—18.
- ↑ 3,0 3,1 3,2 Ramirez R., Vamvakousis Z. Detecting Emotion from EEG Signals Using the Emotive Epoc Device. Lecture Notes in Computer Science, v. 7670. — Springer, 2012. — p. 175—184.
- ↑ Winkler I. et al. Frontal EEG asymmetry based classification of emotional valence using common spatial patterns // World Academy of Science, Engineering and Technology, vol. 45, 2010. — pp. 373—378.
- ↑ Harmon-Jones E. Clarifying the emotive functions of asymmetrical frontal corticalactivity // Psychophysiology, iss. 40(6), 2003. — pp. 838—848.