Wykrywanie stanów emocjonalnych
Moduł klasyfikuje głos jako złość, radość, smutek lub stan neutralny, dla dowolnego nagrania lub wideo zawierającego mowę.
iMotions / moduł
Analiza głosu
Analiza głosu wydobywa z nagrania mowy informacje wykraczające poza treść wypowiedzi: stan emocjonalny, cechy prozodyczne i szacowane cechy mówiącego. W iMotions opiera się na silniku audEERING i przetwarza dane lokalnie.
O modalności
Analiza głosu: co to jest i do czego służy
Analiza głosu wychodzi poza warstwę lingwistyczną i bada to, jak coś zostało powiedziane. Z nagrania mowy wyznacza się cechy prozodyczne oraz oceny emocjonalne, które można powiązać z bodźcem, zadaniem lub rozmówcą. Moduł iMotions integruje w tym celu silnik audEERING, oparty na narzędziu openSMILE.
Analiza przebiega na trzech poziomach. Pierwszy obejmuje prozodię: wysokość głosu, głośność, tempo mówienia i intonację. Drugi to wymiary emocji, czyli pobudzenie, dominacja i walencja. Trzeci to klasyfikacja do czterech stanów: złość, radość, smutek i neutralność. Osobno moduł szacuje wiek i płeć mówiącego na podstawie charakterystyki głosu.
W iMotions dane głosowe trafiają na tę samą oś czasu co pozostałe sensory, więc można zestawić je z mimiką, eyetrackingiem czy sygnałami fizjologicznymi. Przetwarzanie odbywa się lokalnie, bez wysyłania nagrań na zewnątrz. Po dodaniu modułu Speech-to-Text da się uzupełnić analizę o treść wypowiedzi i porównać emocje wyrażane tonem z tymi zawartymi w słowach.
Wyniki opisują cechy akustyczne i szacowane stany, a nie bezpośrednio przeżycia mówiącego, dlatego przy interpretacji warto uwzględnić kontekst badania i inne źródła danych.
Metryki można eksportować i analizować statystycznie, na przykład porównując pobudzenie głosowe między grupami, warunkami eksperymentu lub fragmentami rozmowy. Moduł sprawdza się w badaniach użyteczności, szkoleniach komunikacyjnych i psychologii, a także w badaniach klinicznych, gdzie cechy głosu bada się jako potencjalne markery stanu zdrowia.
Możliwości
Co daje moduł Analiza głosu w iMotions
Wymiary emocji
Oprócz kategorii dostępne są ciągłe wskaźniki pobudzenia (arousal), dominacji i walencji, opisujące emocje w ujęciu wymiarowym.
Analiza prozodii
Mierzone są wysokość głosu, głośność, tempo mówienia i intonacja, czyli cechy określające sposób wypowiedzi niezależnie od jej treści.
Szacowany wiek i płeć
Na podstawie charakterystyki głosu moduł podaje szacunkowe wartości wieku i płci mówiącego (tzw. cechy postrzegane).
Przetwarzanie lokalne
Analiza działa offline na sprzęcie badacza, co ułatwia ochronę prywatności i bezpieczeństwo nagrań.
Połączenie z transkrypcją mowy
Razem z modułem Speech-to-Text (integracja z Assembly AI) można zestawić ton głosu z treścią wypowiedzi w analizie sentymentu.
Praca w laboratorium i zdalnie
Moduł współpracuje z iMotions Lab oraz z Remote Data Collection, a dane głosowe są synchronizowane z innymi sensorami.
Moduł iMotions
Wymagania i funkcje modułu
Moduł Voice Analysis pozwala analizować aspekty głosu, takie jak wysokość, ton, rytm, a także wykonywać analizę emocji i walencji emocjonalnej.
Wymagania: iMotions Core.
- Połączenie z algorytmem devAIce firmy audEERING
- Automatyczne tworzenie znaczników zdarzeń przy wykryciu głosu, na potrzeby zaawansowanego kodowania behawioralnego
- Zintegrowane R-Notebooks do podsumowywania emocjonalnych danych głosowych
- Wykrywanie aktywności głosowej
- Modele emocji: kategorialne (np. szczęście, smutek) oraz wymiarowe (np. pobudzenie, walencja)
- Analiza prozodii (częstotliwość podstawowa, głośność, tempo mowy, intonacja)
- Model cech mówcy (wiek i przewidywana płeć)
- Automatyczne tworzenie znaczników przy wykryciu głosu
- Rejestracja, wizualizacja, analiza i eksport danych zarówno przetworzonych, jak i surowych
Zastosowania
Obszary zastosowania
Badania kliniczne
Poszukiwanie biomarkerów głosowych zaburzeń takich jak dyzartria, depresja, choroba Alzheimera i choroba Parkinsona.
UX i asystenci głosowi
Sprawdzanie, jak emocje wyrażane tonem głosu oraz treścią wypowiedzi przewidują satysfakcję użytkowników z asystentów głosowych w różnych zadaniach.
Psychologia społeczna i osobowości
Badanie, jak głos odzwierciedla cechy osobowości i dynamikę relacji międzyludzkich.
Szkolenia zespołów w sytuacjach stresowych
Wizualizacja emocjonalnych metryk głosu podczas ćwiczeń policji i ratowników medycznych, aby ułatwić omówienie komunikacji po zakończeniu scenariusza.
Edukacja i rozwój kompetencji
Pomiar zmian w wokalnej ekspresji emocjonalnej studentów w symulowanych rozmowach kwalifikacyjnych przed i po treningu.
Ochrona zdrowia
Porównanie aktywacji głosowej pacjentów w edukacji przed wypisem ze szpitala prowadzonej przy łóżku i za pośrednictwem pielęgniarki wirtualnej.
Przedsiębiorczość i marketing
Analiza neutralnego tonu głosu w filmach pitchujących kampanie crowdfundingowe i jego związku ze skutecznością zbiórek.
Komunikacja polityczna
Badanie reakcji emocjonalnych młodych dorosłych na treści polityczne w mediach społecznościowych obok analizy mimiki.
Katalog
Sprzęt kompatybilny z modułem
To moduł programowy: nie wymaga dedykowanego sprzętu z katalogu. Do pracy potrzebujesz iMotions Core i podstawowego wyposażenia wskazanego w opisie modułu.
Badania naukowe
Publikacje z użyciem Analiza głosu
Wybrane publikacje naukowe, w których wykorzystano iMotions do badań z tą modalnością.
- Changes in Emotional and Vocal Expression in Job Interview Simulations with an AI-Enhanced Chatbot for University StudentsEkspresję wokalną (moduł Voice Analysis, silnik audEERING) i mimikę studentów mierzono przed i po treningu z chatbotem AI w symulowanych rozmowach o pracę.
- Poker face and steady voice: Gender and reactions to emotional neutrality in crowdfundingNa 548 filmach crowdfundingowych sprawdzono, że neutralny ton głosu obniża skuteczność zbiórek obu płci, zwłaszcza w kategoriach uznawanych za męskie.
- Multimodal Analysis of Patient–Nurse Interactions During Inpatient Discharge Education: A Pilot Comparison of Bedside and Virtual Nursing ModalitiesPilotaż z 12 pacjentami porównał edukację przy łóżku i wirtualną za pomocą eyetrackingu i analizy emocji głosu, wskazując wyższą aktywację głosową w wariancie wirtualnym.
- It's not only what is said, but how: how user-expressed emotions predict satisfaction with voice assistants in different contextsTrzy eksperymenty laboratoryjne wykazały, że ton głosu (audEERING w iMotions) i treść mowy niezależnie przewidują satysfakcję z asystentów głosowych.
- ROGER: Visualizing Voice Records to Enhance Team Communication Trainings for High-Stress SituationsNarzędzie wizualizacji łączące emocjonalne metryki głosu, zmienność rytmu serca i treść mowy, opracowane z policyjnymi trenerami do analizy komunikacji zespołów.
- What Is the Effect of Political Influencers on TikTok? Early Results From a Field Experiment With Young AdultsEksperyment terenowy pokazał, że oglądanie politycznych treści na TikToku zwiększa negatywny afekt młodych dorosłych bez wpływu na ich postawy polityczne.
FAQ
Najczęstsze pytania
Jakie informacje można uzyskać z samego głosu?
Moduł podaje kategorie emocji (złość, radość, smutek, neutralność), pobudzenie, dominację i walencję oraz cechy prozodii, takie jak wysokość, głośność i tempo mówienia. Dodatkowo szacuje wiek i płeć mówiącego.
Czy nagrania są wysyłane do chmury?
Nie, przetwarzanie odbywa się lokalnie na sprzęcie badacza, w trybie offline. Ułatwia to ochronę danych uczestników.
Czy analiza dotyczy także treści wypowiedzi?
Sam moduł analizuje sposób mówienia, a nie treść. Treść można dodać przez moduł Speech-to-Text (integracja z Assembly AI) i połączyć ją z tonem głosu w analizie sentymentu.
Do jakich nagrań można zastosować analizę głosu?
Do dowolnego wideo lub nagrania zawierającego mowę, zarejestrowanego w iMotions Lab lub w ramach zdalnego zbierania danych.
Zobacz Analiza głosu w działaniu
Umów prezentację, a dobierzemy moduły i sprzęt do projektu badawczego.