本技術(shù)屬于腦電信號處理，尤其涉及一種基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的情緒狀態(tài)識別方法及裝置。

背景技術(shù)：

1、腦電信號（electroencephalogram，eeg）是一種記錄大腦神經(jīng)活動(dòng)的非侵入性工具，因其高時(shí)間分辨率和無創(chuàng)性，廣泛用于與情緒狀態(tài)相關(guān)的抑郁癥、焦慮癥等精神疾病的研究。通過分析患者在靜息或任務(wù)狀態(tài)下的eeg信號，可以揭示與情緒狀態(tài)相關(guān)的大腦功能失調(diào)模式，例如α波、β波等特定頻段的活動(dòng)異常。eeg數(shù)據(jù)具有多通道、多時(shí)間點(diǎn)的特點(diǎn)，其維度高且非結(jié)構(gòu)化。

2、目前，eeg信號可以基于特征工程的分析方法、傳統(tǒng)機(jī)器學(xué)習(xí)方法等進(jìn)行分析。在通過傅里葉變換、hilbert-huang變換等基于特征工程進(jìn)行eeg信號的分析時(shí)，耗時(shí)且依賴領(lǐng)域知識；通過支持向量機(jī)（svm）、隨機(jī)森林等傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行eeg信號的分析時(shí)，存在無法充分挖掘eeg的時(shí)空特性的缺陷。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本技術(shù)提出一種基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的情緒狀態(tài)識別方法及裝置，能夠快速識別情緒狀態(tài)，能夠提取稀疏的有效信息，擺脫了對領(lǐng)域知識的依賴。

2、第一方面，本技術(shù)提供了一種基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的情緒狀態(tài)識別方法，該方法包括：

3、獲取用戶的待識別腦電數(shù)據(jù)；

4、將所述待識別腦電數(shù)據(jù)對應(yīng)的多個(gè)頻帶的微分熵特征輸入至情緒狀態(tài)識別模型，所述情緒狀態(tài)識別模型包括特征提取器、數(shù)據(jù)增強(qiáng)模塊和下游分類器，所述特征提取器是基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的；

5、通過特征提取器對所述微分熵特征進(jìn)行特征提取并施加稀疏性，得到所述待識別腦電數(shù)據(jù)的第一節(jié)點(diǎn)特征；

6、通過所述數(shù)據(jù)增強(qiáng)模塊對所述第一節(jié)點(diǎn)特征進(jìn)行增強(qiáng)，生成第二節(jié)點(diǎn)特征；

7、通過所述下游分類器對所述第二節(jié)點(diǎn)特征進(jìn)行分類，得到所述用戶的情緒狀態(tài)并輸出；

8、所述情緒狀態(tài)識別模型是基于多個(gè)訓(xùn)練樣本得到的，所述訓(xùn)練樣本包括樣本腦電數(shù)據(jù)的樣本微分熵特征，以及所述樣本腦電數(shù)據(jù)對應(yīng)的情緒狀態(tài)標(biāo)簽。

9、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述特征提取器包括依次連接的圖過濾層、圖卷積層、稀疏化塊和注意力權(quán)重計(jì)算模塊，所述特征提取器的輸入通道與所述待識別腦電數(shù)據(jù)的腦電電極的電極節(jié)點(diǎn)一一對應(yīng)；

10、所述通過特征提取器對所述微分熵特征進(jìn)行特征提取并施加稀疏性，得到所述待識別腦電數(shù)據(jù)的第一節(jié)點(diǎn)特征，包括：

11、通過所述圖過濾層，將所述微分熵特征從時(shí)域轉(zhuǎn)換為頻譜圖域并對圖的特征進(jìn)行變換，得到腦電圖譜；

12、通過所述圖卷積層，通過稀疏鄰接矩陣，在所述腦電圖譜中提取所述待識別腦電數(shù)據(jù)對應(yīng)的電極節(jié)點(diǎn)的節(jié)點(diǎn)特征，并對所述節(jié)點(diǎn)特征進(jìn)行非線性映射，得到特征圖；

13、通過所述稀疏化塊，根據(jù)閾值稀疏化注意力權(quán)重，對特征圖進(jìn)行稀疏化，得到稀疏化特征；

14、通過所述注意力權(quán)重計(jì)算模塊，對稀疏化特征生成動(dòng)態(tài)鄰接矩陣，以得到所述電極節(jié)點(diǎn)對應(yīng)的第一節(jié)點(diǎn)特征。

15、根據(jù)本技術(shù)的一個(gè)實(shí)施例，在所述特征提取器中，通過圖拉普拉斯算子進(jìn)行卷積：

16、

17、其中，是濾波函數(shù)；是切比雪夫多項(xiàng)式的階數(shù)，；是切比雪夫多項(xiàng)式的系數(shù)；為對角矩陣；是在處求值的k階切比雪夫多項(xiàng)式，是對角線條目中的最大元素，是標(biāo)識矩陣。

18、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述數(shù)據(jù)增強(qiáng)模塊包括依次連接的注意力分區(qū)模塊和特征混合模塊，所述通過所述數(shù)據(jù)增強(qiáng)模塊對所述第一節(jié)點(diǎn)特征進(jìn)行增強(qiáng)，生成第二節(jié)點(diǎn)特征，包括：

19、通過所述注意力分區(qū)模塊，對所述第一節(jié)點(diǎn)特征進(jìn)行注意力分區(qū)，得到輸出特征；

20、通過所述特征混合模塊，對所述輸出特征進(jìn)行特征混合，生成第二節(jié)點(diǎn)特征。

21、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述注意力分區(qū)模塊包括編碼器和解碼器，所述解碼器包括第一層注意力和第二層注意力；

22、所述通過所述注意力分區(qū)模塊，對所述第一節(jié)點(diǎn)特征進(jìn)行注意力分區(qū)，得到輸出特征，包括：

23、通過所述編碼器對所述第一節(jié)點(diǎn)特征捕捉長距離依賴性并進(jìn)行分組，得到多個(gè)節(jié)點(diǎn)子集；

24、通過所述第一層注意力對所述多個(gè)節(jié)點(diǎn)子集提取全局特征和注意力權(quán)重；

25、通過所述第二層注意力，基于所述注意力權(quán)重，根據(jù)所述全局特征和局部特征的交互，生成所述輸出特征。

26、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述下游分類器包括依次連接的卷積塊、transformer編碼器及分類模塊，所述分類模塊包括依次連接的一級分類器和二級分類器，

27、所述通過所述下游分類器對所述第二節(jié)點(diǎn)特征進(jìn)行分類，得到所述用戶的情緒狀態(tài)并輸出，包括：

28、通過所述卷積塊對所述第二節(jié)點(diǎn)模塊提取低級局部特征；

29、通過所述transformer編碼器對所述低級局部特征捕捉全局依賴性，得到全局特征；

30、通過所述一級分類器對所述全局特征進(jìn)行分類，在確定生成的第一識別結(jié)果為常規(guī)狀態(tài)的情況下，將所述第一識別結(jié)果作為所述情緒狀態(tài)輸出；

31、在確定所述第一識別結(jié)果為非常規(guī)狀態(tài)的情況下，通過所述二級分類器對所述全局特征進(jìn)行分類，得到所述用戶的第二識別結(jié)果并作為所述情緒狀態(tài)進(jìn)行輸出。

32、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述獲取用戶的待識別腦電數(shù)據(jù)，包括：

33、獲取所述用戶的腦電信號；

34、對所述腦電信號進(jìn)行帶通濾波處理；

35、對濾波后的所述腦電信號進(jìn)行獨(dú)立成分分析，得到所述待識別腦電數(shù)據(jù)。

36、第二方面，本技術(shù)提供了一種基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的情緒狀態(tài)識別裝置，該裝置包括：

37、獲取模塊，用于獲取用戶的待識別腦電數(shù)據(jù)；

38、第一處理模塊，用于將所述待識別腦電數(shù)據(jù)對應(yīng)的多個(gè)頻帶的微分熵特征輸入至情緒狀態(tài)識別模型，所述情緒狀態(tài)識別模型包括特征提取器、數(shù)據(jù)增強(qiáng)模塊和下游分類器，所述特征提取器是基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的；

39、第二處理模塊，用于通過特征提取器對所述微分熵特征進(jìn)行特征提取并施加稀疏性，得到所述待識別腦電數(shù)據(jù)的第一節(jié)點(diǎn)特征；

40、第三處理模塊，用于通過所述數(shù)據(jù)增強(qiáng)模塊對所述第一節(jié)點(diǎn)特征進(jìn)行增強(qiáng)，生成第二節(jié)點(diǎn)特征；

41、第四處理模塊，用于通過所述下游分類器對所述第二節(jié)點(diǎn)特征進(jìn)行分類，得到所述用戶的情緒狀態(tài)并輸出；

42、所述情緒狀態(tài)識別模型是基于多個(gè)訓(xùn)練樣本得到的，所述訓(xùn)練樣本包括樣本腦電數(shù)據(jù)的樣本微分熵特征，以及所述樣本腦電數(shù)據(jù)對應(yīng)的情緒狀態(tài)標(biāo)簽。

43、第三方面，本技術(shù)提供了一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述第一方面所述的基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的情緒狀態(tài)識別方法。

44、第四方面，本技術(shù)提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的情緒狀態(tài)識別方法。

45、第五方面，本技術(shù)提供了一種芯片，所述芯片包括處理器和通信接口，所述通信接口和所述處理器耦合，所述處理器用于運(yùn)行程序或指令，實(shí)現(xiàn)如第一方面所述的基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的情緒狀態(tài)識別方法。

46、第六方面，本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的情緒狀態(tài)識別方法。

47、本技術(shù)的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實(shí)踐了解到。

48、本技術(shù)提供的一種基于稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的情緒狀態(tài)識別方法及裝置，相對于現(xiàn)有技術(shù)具有以下有益效果：

49、（1）通過引入稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)，動(dòng)態(tài)構(gòu)造eeg通道之間的相關(guān)性圖，挖掘高維稀疏特征，在訓(xùn)練過程中動(dòng)態(tài)調(diào)整圖結(jié)構(gòu)，能夠根據(jù)每個(gè)樣本的信號特點(diǎn)構(gòu)建最優(yōu)通道關(guān)系，解決了傳統(tǒng)圖卷積網(wǎng)絡(luò)對固定圖結(jié)構(gòu)的依賴問題，使得特征提取更具適應(yīng)性，通過結(jié)合動(dòng)態(tài)特征提取和合理的數(shù)據(jù)增強(qiáng)技術(shù)，使情緒狀態(tài)識別模型在多分類任務(wù)中具有更高的準(zhǔn)確率和穩(wěn)定性，能夠快速識別情緒狀態(tài)，能夠提取稀疏的有效信息，擺脫了對領(lǐng)域知識的依賴，得到的情緒狀態(tài)可以作為健康狀態(tài)判斷的依據(jù)，根據(jù)情緒狀態(tài)，給予用戶放松和緩解壓力的建議。

50、（2）能夠動(dòng)態(tài)適配不同用戶的腦電數(shù)據(jù)特性，提取具有區(qū)分能力的特征，為情緒狀態(tài)的分類提供高質(zhì)量的輸入，也可以通過數(shù)據(jù)增強(qiáng)彌補(bǔ)小樣本問題，生成更加豐富的樣本分布，緩解類別不平衡，提高下游分類器的魯棒性，通過稀疏動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)和依賴注意力機(jī)制的數(shù)據(jù)增強(qiáng)技術(shù)，可以實(shí)現(xiàn)從eeg數(shù)據(jù)中高效提取情緒狀態(tài)相關(guān)特征，同時(shí)緩解數(shù)據(jù)不足問題，為精準(zhǔn)分類提供技術(shù)支持。