Использование свободного программного обеспечения для ЭЭГ-мониторинга психического состояния пользователя в исследовании UX-UI (Антип Шульган, OSEDUCONF-2023) — различия между версиями

== Thesis ==

Оценка состояния пользователя с помощью специальных измерительных устройств в процессе работы с программным или аппаратным продуктом может заметно упростить выявление узких мест эргономики (в особенности с учетом повысившейся в последние годы доступности биометрических устройств). Наиболее просты в применении средства изменения пульса, отслеживания взгляда, и наиболее примитивные электроэнцефалографы, позволяющие отследить концентрацию внимания. Однако более полноценное детектирование эмоций с помощью электроэнцефалографии (ЭЭГ) является существенно более сложной задачей.

Как известно, ЭЭГ основана на детектировании колебательных электрических процессов, регистрируемых на электродах, размещенных на поверхности головы, и является результатом электрической суммации и фильтрации элементарных процессов в нейронах. Измерения активности коры искажаются тканями и костями черепа, что вносит дополнительный шум и снижает интенсивность сигналов; тем не менее, измерения ЭЭГ дают важную информацию об электрической активности коры головного мозга. Частота сигналов ЭЭГ находится в диапазоне 1—80 Гц, а амплитуды сигналов варьируются от 10 до 100 мкВ<ref name="kandel">Kandel E.R. et al.  <tt>Principles of Neural Science</tt>. Mc Graw Hill, 2012  —  1760&nbsp;p.</ref>.

Одной из основных характеристик ЭЭГ является частота. По историческим причинам используют частотную классификацию по визуально"=различимым диапазонам (<m>alpha</m>  —  8..14 Гц, <m>\beta</m>  —  14..40 Гц, <m>\theta</m>  —  4..8 Гц , <m>\delta</m>  —  1..4 Гц, <m>\gamma</m>  —  выше 40 Гц и т. д.). В зависимости от диапазона частот, а также амплитуды, формы волны, топографии и типа отклика различают <m>\alpha</m>-ритм ЭЭГ, <m>\beta</m>-ритм и т.д. Наиболее информативными для заявленной темы являются <m>\alpha</m>-ритмы и <m>\beta</m>-ритмы<ref name="niemic">Niemic C.P. <tt>Studies of emotion: A theoretical and empirical review of psychophysiological studies of emotion</tt> // Journal of Undergraduate Research, v. 1, 2002. pp. 15—18.</ref>. Их поддиапазоны не перекрываются источниками естественных шумов организма (таких, как движения глаз и моргание, сердечная деятельность,  мышечная активность)<ref name="ramirez">Ramirez R., Vamvakousis Z. <tt>Detecting Emotion from EEG Signals Using the Emotive Epoc Device. Lecture Notes in Computer Science</tt>, v. 7670.  —  Springer, 2012.  —  p. 175—184.</ref>, а посторонние артефакты от линий электропередач обычно присутствуют выше 50 Гц. Поэтому большая часть постороннего шума в <m>\alpha</m>- и <m>\beta</m>-диапазонах значительно снижена. Высокая активность в <m>\alpha</m>-диапазоне означает расслабление мозга, а <m>\beta</m>-ритм, наоборот, связан с его активным состоянием. Таким образом, вместе <m>\alpha</m>- и <m>\beta</m>-ритмы могут использоваться для обнаружения эмоциональных (возбужденных и валентных) состояний ума. Для выделения <m>\alpha</m>- и <m>\beta</m>-полос частот в регистрируемом сигнале традиционно используется полосовой фильтр, а при работе с дискретными сигналами  —  быстрое преобразование Фурье.

Наиболее бюджетные ЭЭГ выпускаются компанией NeuroSky и оснащены единственным датчиком, и потому их применение в исследованиях UI/UX сводится к оценке изменений в концентрации внимания. Однако на рынке доступно несколько более сложных потребительских ЭЭГ-гарнитур, которые позволяют выполнять оценку эмоционального состояния пользователя, а иногда даже комплектуются коммерческим ПО для такой оценки.  Типичным примером с наиболее полным набором датчиков являются гарнитуры Emotiv EPOC/EPOC+ (она чаще используется в экспериментах). Эта гарнитура состоит из 14 электродов для сбора данных и 2 референсных электродов, которые позволяют отстраиваться от помех. Электроды размещены и промаркированы по международной системе 10—20<ref name="ramirez"/>. Для Emotiv EPOC это позиции <tt>AF3</tt>, <tt>F7</tt>, <tt>F3</tt>, <tt>FC5</tt>, <tt>T7</tt>, <tt>P7</tt>, <tt>O1</tt>, <tt>O2</tt>, <tt>P8</tt>, <tt>T8</tt>, <tt>FC6</tt>, <tt>F4</tt>, <tt>F8</tt> и <tt>AF4</tt>. Также достаточно совершенным решением являетя проект OpenBCI, доступный как свободное аппаратное обеспечение.

Коммерческие драйвера для гарнитур наподобие {\footnotesize Emotiv EPOC/EPOC+} позволяют регистировать ряд эмоциональных реакций (волнение, разочарование, вовлеченность, интерес, сосредоточеннность и т.д.), но их возможности и доступность под GNU/Linux достаточно ограничены. Свободные решения (например, проект Emokit для EPOC/EPOC+) только выводят необработанные сигналы с электродов гарнитуры, поэтому при использовании СПО для ЭЭГ приходится вычислять оценку эмоционального состояния самостоятельно. То же самое верно при использовании гарнитуры OpenBCI (однако при этом OpenBCI является более дорогим решением, а его самостоятельная сборка нетривиальна из-за того что часть используемых радиодеталей снята с производства и требует подбора аналогов по параметрам).

Для самостоятельной оценки эмоциональных состояний с помощью сигналов, регистрируемых электродами ЭЭГ-гарнитуры, можно использовать предложенный Дж. А. Расселом метод описания эмоций в виде точки в двумерном пространстве  —  циркумплекса. Две координатные оси представляют собой валентность и возбуждение, а расстояние от центральной точки  —  интенсивность. При классификации эмоций по этому методу необходимо определить, насколько положительные (валентность) и насколько сильные (возбуждение) эмоции ощущаются респондентами. Четыре сектора в этом пространстве  —  сильные отрицательные, сильные положительные, слабые отрицательные и слабые положительные эмоции. Поэтому классификация эмоциональных состояний предполагает их деление на высокое/низкое возбуждение и положительную/отрицательную валентность, на основании чего выделяют такие эмоции, как счастье, гнев, печаль, покой (например, счастье  —  это состояние с высоким возбуждением и положительной валентностью, а грусть  —  с низким возбуждением и отрицательной валентностью).

Уровень возбуждения можно определить, вычислив соотношение <m>\beta</m>- и <m>\alpha</m>-ритмов. Высокое возбуждение характеризуется большей мощностью <m>\beta</m>-ритмов и низкой <m>\alpha</m>-активностью, поэтому соотношение <m>\beta</m>/<m>\alpha</m> указывает на состояние возбуждения, в котором находится субъект. В то же время <m>\beta</m>- и <m>\alpha</m>-ритмы лучше всего измеряются в лобных и средних отделах головного мозга, поэтому целесообразно использовать сигналы, поступающие от электродов, расположенных на соответствующем участке черепа<ref name="niemic"/>. Согласно<ref name="ramirez"/>, достаточно измерить сигнал в четырех точках в области префронтальной коры: <tt>AF3</tt>, <tt>AF4</tt>, <tt>F3</tt> и <tt>F4</tt>.

<latex>
A = \frac{\beta_{AF3+AF4+F3+F4}}{\alpha_{AF3+AF4+F3+F4}}
</latex>

\noindent где <m>\alpha</m> и <m>\beta</m>  —  мощность <m>\alpha</m>- и <m>\beta</m>-ритмов, <tt>AF3</tt>, <tt>AF4</tt> и т.д.  —  сигналы от одноименных электродов.

Для оценки валентности, то есть положительного или отрицательного состояния, можно использовать разницу уровней активации двух полушарий коры головного мозга. По данным ряда исследований, положительное состояние связано с активацией областей в левом полушарии головного мозга, а отрицательное  —  в правом полушарии<ref>Winkler I. et al. <tt>Frontal EEG asymmetry based classification of emotional valence using common spatial patterns</tt> // World Academy of Science, Engineering and Technology, vol. 45, 2010.  —  pp. 373—378.</ref>. Эта связь не прямая: инактивация в левой лобной доле служит индикатором реакции отторжения, которая, в свою очередь, часто связана с негативной реакцией. Точно так же инактивация в правой лобной доле является показателем реакции, которая, в свою очередь, может указывать на положительную эмоцию.

Как уже упоминалось, высокая активность в <m>\alpha</m>-диапазоне является признаком низкой активности мозга, и наоборот. Таким образом, увеличение <m>\alpha</m>-ритмов на фоне снижения <m>\beta</m>-ритмов может быть связано с инактивацией коры<ref name="niemic"/>. Для измерения такой <m>\alpha</m>-активности чаще всего используют точки <tt>F3</tt> и <tt>F4</tt>, так как они расположены в префронтальной области, играющей важнейшую роль в регуляции эмоций. При этом следует учитывать, что, согласно имеющимся исследованиям, различия в активности полушарий являются не признаком аффективной валентности, а скорее указанием на мотивационную направленность (притягательность или неприятие стимула)<ref name="harmon">Harmon-Jones E. <tt>Clarifying the emotive functions of asymmetrical frontal corticalactivity</tt> // Psychophysiology, iss. 40(6), 2003.  —  pp. 838—848.</ref>. Однако, поскольку аффективная валентность обычно относится к мотивационной направленности, сравнение активации полушарий по-прежнему служит практическим методом определения валентности. Таким образом, для оценки валентности можно сравнить интенсивности <m>\alpha</m>- и <m>\beta</m>-ритмов на электродах <tt>F3</tt> и <tt>F4</tt>Matlovich T. <tt>Emotion Detection using EPOC EEG device</tt> // Informatics and Information Technologies Student Research Conference.  —  Bratislava, Slovakia, April 28, 2016.  —  pp. 1—6.</ref>.

<latex>
V = \frac{\alpha_{F4}}{\beta_{F4}} - \frac{\alpha_{F3}}{\beta_{F3}}
</latex>

Как уже упоминалось, этот способ оценки эмоций требует доступа к необработанным данным с датчиков. В случае OpenBCI такой доступ является вариантом по-умолчанию; …

Версия 17:59, 18 января 2024

Докладчик

Антип Шульган

В докладе рассматривается применение электроэнцефалографов потребительского уровня (изделий производства компаний NeuroSky и Emotiv, а также открытого проекта OpenBCI) для оценки эмоционального состояния пользователя в процессе человеко-машинного взаимодействия. Каждое устройство имеет свои преимущества и недостатки для исследования UI/UX. Рассматриваются особенности доступных к получению данных, обсуждаются существующие инструменты с открытым исходным кодом для получения этих данных, а подход к оценке эмоционального состояния, который можно использовать для распознавания положительных и отрицательных эмоций пользователя.

Видео

Презентация

Thesis

Оценка состояния пользователя с помощью специальных измерительных устройств в процессе работы с программным или аппаратным продуктом может заметно упростить выявление узких мест эргономики (в особенности с учетом повысившейся в последние годы доступности биометрических устройств). Наиболее просты в применении средства изменения пульса, отслеживания взгляда, и наиболее примитивные электроэнцефалографы, позволяющие отследить концентрацию внимания. Однако более полноценное детектирование эмоций с помощью электроэнцефалографии (ЭЭГ) является существенно более сложной задачей.

Как известно, ЭЭГ основана на детектировании колебательных электрических процессов, регистрируемых на электродах, размещенных на поверхности головы, и является результатом электрической суммации и фильтрации элементарных процессов в нейронах. Измерения активности коры искажаются тканями и костями черепа, что вносит дополнительный шум и снижает интенсивность сигналов; тем не менее, измерения ЭЭГ дают важную информацию об электрической активности коры головного мозга. Частота сигналов ЭЭГ находится в диапазоне 1—80 Гц, а амплитуды сигналов варьируются от 10 до 100 мкВ^[1].

Одной из основных характеристик ЭЭГ является частота. По историческим причинам используют частотную классификацию по визуально"=различимым диапазонам ( — 8..14 Гц, — 14..40 Гц, — 4..8 Гц , — 1..4 Гц, — выше 40 Гц и т. д.). В зависимости от диапазона частот, а также амплитуды, формы волны, топографии и типа отклика различают -ритм ЭЭГ, -ритм и т.д. Наиболее информативными для заявленной темы являются -ритмы и -ритмы^[2]. Их поддиапазоны не перекрываются источниками естественных шумов организма (таких, как движения глаз и моргание, сердечная деятельность, мышечная активность)^[3], а посторонние артефакты от линий электропередач обычно присутствуют выше 50 Гц. Поэтому большая часть постороннего шума в - и -диапазонах значительно снижена. Высокая активность в -диапазоне означает расслабление мозга, а -ритм, наоборот, связан с его активным состоянием. Таким образом, вместе - и -ритмы могут использоваться для обнаружения эмоциональных (возбужденных и валентных) состояний ума. Для выделения - и -полос частот в регистрируемом сигнале традиционно используется полосовой фильтр, а при работе с дискретными сигналами — быстрое преобразование Фурье.

Наиболее бюджетные ЭЭГ выпускаются компанией NeuroSky и оснащены единственным датчиком, и потому их применение в исследованиях UI/UX сводится к оценке изменений в концентрации внимания. Однако на рынке доступно несколько более сложных потребительских ЭЭГ-гарнитур, которые позволяют выполнять оценку эмоционального состояния пользователя, а иногда даже комплектуются коммерческим ПО для такой оценки. Типичным примером с наиболее полным набором датчиков являются гарнитуры Emotiv EPOC/EPOC+ (она чаще используется в экспериментах). Эта гарнитура состоит из 14 электродов для сбора данных и 2 референсных электродов, которые позволяют отстраиваться от помех. Электроды размещены и промаркированы по международной системе 10—20^[3]. Для Emotiv EPOC это позиции AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8 и AF4. Также достаточно совершенным решением являетя проект OpenBCI, доступный как свободное аппаратное обеспечение.

Коммерческие драйвера для гарнитур наподобие {\footnotesize Emotiv EPOC/EPOC+} позволяют регистировать ряд эмоциональных реакций (волнение, разочарование, вовлеченность, интерес, сосредоточеннность и т.д.), но их возможности и доступность под GNU/Linux достаточно ограничены. Свободные решения (например, проект Emokit для EPOC/EPOC+) только выводят необработанные сигналы с электродов гарнитуры, поэтому при использовании СПО для ЭЭГ приходится вычислять оценку эмоционального состояния самостоятельно. То же самое верно при использовании гарнитуры OpenBCI (однако при этом OpenBCI является более дорогим решением, а его самостоятельная сборка нетривиальна из-за того что часть используемых радиодеталей снята с производства и требует подбора аналогов по параметрам).

Для самостоятельной оценки эмоциональных состояний с помощью сигналов, регистрируемых электродами ЭЭГ-гарнитуры, можно использовать предложенный Дж. А. Расселом метод описания эмоций в виде точки в двумерном пространстве — циркумплекса. Две координатные оси представляют собой валентность и возбуждение, а расстояние от центральной точки — интенсивность. При классификации эмоций по этому методу необходимо определить, насколько положительные (валентность) и насколько сильные (возбуждение) эмоции ощущаются респондентами. Четыре сектора в этом пространстве — сильные отрицательные, сильные положительные, слабые отрицательные и слабые положительные эмоции. Поэтому классификация эмоциональных состояний предполагает их деление на высокое/низкое возбуждение и положительную/отрицательную валентность, на основании чего выделяют такие эмоции, как счастье, гнев, печаль, покой (например, счастье — это состояние с высоким возбуждением и положительной валентностью, а грусть — с низким возбуждением и отрицательной валентностью).

Уровень возбуждения можно определить, вычислив соотношение - и -ритмов. Высокое возбуждение характеризуется большей мощностью -ритмов и низкой -активностью, поэтому соотношение / указывает на состояние возбуждения, в котором находится субъект. В то же время - и -ритмы лучше всего измеряются в лобных и средних отделах головного мозга, поэтому целесообразно использовать сигналы, поступающие от электродов, расположенных на соответствующем участке черепа^[2]. Согласно^[3], достаточно измерить сигнал в четырех точках в области префронтальной коры: AF3, AF4, F3 и F4.

\noindent где и — мощность - и -ритмов, AF3, AF4 и т.д. — сигналы от одноименных электродов.

Для оценки валентности, то есть положительного или отрицательного состояния, можно использовать разницу уровней активации двух полушарий коры головного мозга. По данным ряда исследований, положительное состояние связано с активацией областей в левом полушарии головного мозга, а отрицательное — в правом полушарии^[4]. Эта связь не прямая: инактивация в левой лобной доле служит индикатором реакции отторжения, которая, в свою очередь, часто связана с негативной реакцией. Точно так же инактивация в правой лобной доле является показателем реакции, которая, в свою очередь, может указывать на положительную эмоцию.

Как уже упоминалось, высокая активность в -диапазоне является признаком низкой активности мозга, и наоборот. Таким образом, увеличение -ритмов на фоне снижения -ритмов может быть связано с инактивацией коры^[2]. Для измерения такой -активности чаще всего используют точки F3 и F4, так как они расположены в префронтальной области, играющей важнейшую роль в регуляции эмоций. При этом следует учитывать, что, согласно имеющимся исследованиям, различия в активности полушарий являются не признаком аффективной валентности, а скорее указанием на мотивационную направленность (притягательность или неприятие стимула)^[5]. Однако, поскольку аффективная валентность обычно относится к мотивационной направленности, сравнение активации полушарий по-прежнему служит практическим методом определения валентности. Таким образом, для оценки валентности можно сравнить интенсивности - и -ритмов на электродах F3 и F4Matlovich T. Emotion Detection using EPOC EEG device // Informatics and Information Technologies Student Research Conference. — Bratislava, Slovakia, April 28, 2016. — pp. 1—6.</ref>.

Как уже упоминалось, этот способ оценки эмоций требует доступа к необработанным данным с датчиков. В случае OpenBCI такой доступ является вариантом по-умолчанию; в случае гарнитур Emotive необработанные данные доступны в рамках более дорогих лицензий, предназначенных для исследователей, однако эти же данные позволяет получить свободная библиотека Emokit. В комплекте с Emokit идёт только простой пример консольного вывода значений с датчиков и качества контакта, поэтому на пользователя полностью ложатся также и задачи калибровки контакта электродов, отбора значений их и частотной фильтрации. К Emokit существует несколько фротэндов [1] [2] [3], упрощающих эту задачу. Наиболее развитый из них — EmokitVisualizer — одновременно наименее доступен конечному пользователю из-за крайне чувствительного к вариациям набора устаревших зависимостей (требуется найти работоспособную комбинацию из нескольких модулей для Python, Qt4 и WxWidgets неуказанных автором версий). Более доступен фронтэнд на веб-технологиях CyKITv2 (также находящийся в неактивной разработке). Альтернатива — прямое использование Emokit в собственной программной разработке на Python или Java.

Примечания и ссылки

1. ↑ Kandel E.R. et al. Principles of Neural Science. Mc Graw Hill, 2012 — 1760 p.
2. ↑ ^{2,0 2,1 2,2} Niemic C.P. Studies of emotion: A theoretical and empirical review of psychophysiological studies of emotion // Journal of Undergraduate Research, v. 1, 2002. pp. 15—18.
3. ↑ ^{3,0 3,1 3,2} Ramirez R., Vamvakousis Z. Detecting Emotion from EEG Signals Using the Emotive Epoc Device. Lecture Notes in Computer Science, v. 7670. — Springer, 2012. — p. 175—184.
4. ↑ Winkler I. et al. Frontal EEG asymmetry based classification of emotional valence using common spatial patterns // World Academy of Science, Engineering and Technology, vol. 45, 2010. — pp. 373—378.
5. ↑ Harmon-Jones E. Clarifying the emotive functions of asymmetrical frontal corticalactivity // Psychophysiology, iss. 40(6), 2003. — pp. 838—848.