本申請(qǐng)涉及人工智能，尤其是一種基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法及裝置。
背景技術(shù)：
1、隨著人工智能、虛擬現(xiàn)實(shí)和神經(jīng)影像技術(shù)的迅速發(fā)展，ai生成的虛擬分身在社交媒體、在線娛樂及商業(yè)推廣中扮演著越來越重要的角色。虛擬分身認(rèn)同度指消費(fèi)者對(duì)由人工智能生成的虛擬分身在外觀、行為及個(gè)性等方面的認(rèn)同感和親和力，該指標(biāo)不僅反映了消費(fèi)者對(duì)虛擬分身的情感投入，還體現(xiàn)了其對(duì)虛擬形象與自身身份契合程度的主觀評(píng)價(jià)?，F(xiàn)有虛擬分身的評(píng)估方法主要依賴問卷調(diào)查或單一數(shù)據(jù)源，這種方法不僅數(shù)據(jù)維度單一，而且極易受到主觀認(rèn)知的影響，難以客觀反映消費(fèi)者真實(shí)的心理反應(yīng)。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)的目的在于克服現(xiàn)有技術(shù)中對(duì)虛擬分身進(jìn)行評(píng)估時(shí)存在的維度單一以及主觀認(rèn)知干擾所導(dǎo)致的難以客觀的對(duì)虛擬分身進(jìn)行評(píng)估的問題，提供一種基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法及裝置。
2、第一方面，提供了一種基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法，包括：
3、獲取受試者數(shù)據(jù)，其中，所述受試者數(shù)據(jù)包括觀看由ai軟件生成被試虛擬分身靜態(tài)圖像的受試者的眼動(dòng)數(shù)據(jù)、fmri數(shù)據(jù)和行為數(shù)據(jù)；
4、對(duì)所述受試者數(shù)據(jù)進(jìn)行預(yù)處理；
5、提取預(yù)處理后的受試者數(shù)據(jù)中的關(guān)鍵特征；
6、采用晚期融合策略和跨模態(tài)注意力機(jī)制實(shí)現(xiàn)所述關(guān)鍵特征的動(dòng)態(tài)加權(quán)融合以獲得多模態(tài)特征；
7、基于所述多模態(tài)特征構(gòu)建分身認(rèn)同度預(yù)測(cè)模型；
8、利用所述分身認(rèn)同度預(yù)測(cè)模型進(jìn)行ai生成虛擬分身的認(rèn)同度評(píng)估以輸出評(píng)估結(jié)果。
9、在一些可能的實(shí)現(xiàn)方式中，通過交互式界面輸出評(píng)估結(jié)果，其中，所述評(píng)估結(jié)果包括虛擬分身認(rèn)同度預(yù)測(cè)評(píng)分及其置信區(qū)間、各模態(tài)在融合過程中貢獻(xiàn)權(quán)重的分布圖以及利用雷達(dá)圖、熱力圖和折線圖展示各模態(tài)特征貢獻(xiàn)及其隨時(shí)間變化的動(dòng)態(tài)趨勢(shì)，交互式界面用于實(shí)現(xiàn)數(shù)據(jù)導(dǎo)出和交互式數(shù)據(jù)篩選。
10、在一些可能的實(shí)現(xiàn)方式中，所述fmri數(shù)據(jù)為通過功能性磁共振成像設(shè)備采集的bold信號(hào)，所述行為數(shù)據(jù)包括主觀評(píng)分和反應(yīng)時(shí)長(zhǎng)。
11、在一些可能的實(shí)現(xiàn)方式中，對(duì)所述眼動(dòng)數(shù)據(jù)進(jìn)行預(yù)處理包括：數(shù)據(jù)格式轉(zhuǎn)換，采用低通濾波等方法去除眨眼期間噪聲，檢測(cè)穩(wěn)定注視點(diǎn)，濾除異常數(shù)據(jù)；對(duì)fmri數(shù)據(jù)進(jìn)行預(yù)處理包括：利用剛性變換進(jìn)行頭動(dòng)校正，進(jìn)行時(shí)間層校正、空間標(biāo)準(zhǔn)化、采用gaussian平滑和頻域帶通濾波處理；對(duì)行為數(shù)據(jù)進(jìn)行預(yù)處理包括：清洗、處理缺失值和異常值，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，針對(duì)眼動(dòng)數(shù)據(jù)、fmri數(shù)據(jù)及行為數(shù)據(jù)的不同特點(diǎn)設(shè)計(jì)專門的預(yù)處理流程，確保了數(shù)據(jù)質(zhì)量。
12、在一些可能的實(shí)現(xiàn)方式中，預(yù)處理后的眼動(dòng)數(shù)據(jù)的關(guān)鍵特征包括注視時(shí)長(zhǎng)、掃視速度和注視熱圖分布；預(yù)處理后的fmri數(shù)據(jù)的關(guān)鍵特征包括神經(jīng)評(píng)分，所述神經(jīng)評(píng)分的計(jì)算公式為：score?=?(∑_voxel?(bold_voxel?×?weight_voxel))?/?(∑_voxel?weight_voxel)，其中，bold_voxel為每個(gè)體素血氧水平依賴（bold）信號(hào)強(qiáng)度值，weight_voxel表示該體素在認(rèn)同度預(yù)測(cè)任務(wù)中所對(duì)應(yīng)的重要性權(quán)重，采用統(tǒng)計(jì)參數(shù)法來確定?weight_voxel；預(yù)處理后的行為數(shù)據(jù)的關(guān)鍵特征包括通過統(tǒng)計(jì)受試者主觀評(píng)分構(gòu)成的定量特征向量。
13、在一些可能的實(shí)現(xiàn)方式中，采用晚期融合策略和跨模態(tài)注意力機(jī)制實(shí)現(xiàn)所述關(guān)鍵特征的動(dòng)態(tài)加權(quán)融合，包括：
14、對(duì)所述關(guān)鍵特征進(jìn)行編碼以得到固定維度的編碼向量；
15、通過全連接層生成查詢向量q，并為每一模態(tài)生成鍵向量ki和值向量vi；
16、計(jì)算每個(gè)模態(tài)的匹配得分si:?si=f(q,?ki)，其中，f(·)包括縮放點(diǎn)積；
17、采用softmax函數(shù)歸一化匹配得分，得到權(quán)重：
18、；
19、其中，表示每個(gè)模態(tài)的注意力權(quán)重，i表示當(dāng)前正在計(jì)算注意力權(quán)重的那個(gè)模態(tài)，j代表所有模態(tài)的索引；si為匹配得分，exp（si）表示匹配得分si的指數(shù)形式，表示對(duì)所有模態(tài)j的匹配得分的指數(shù)形式求和；
20、?將各模態(tài)的編碼向量按對(duì)應(yīng)的注意力權(quán)重進(jìn)行加權(quán)求和，得到統(tǒng)一的多模態(tài)特征表示ffusion：
21、ffusion=∑i?αi·vi
22、其中，vi是來自第i個(gè)模態(tài)的值向量。
23、在一些可能的實(shí)現(xiàn)方式中，基于所述多模態(tài)特征構(gòu)建分身認(rèn)同度預(yù)測(cè)模型，包括：
24、將多模態(tài)特征與虛擬分身認(rèn)同度標(biāo)簽構(gòu)成數(shù)據(jù)集；
25、將數(shù)據(jù)集按照預(yù)設(shè)比例劃分為訓(xùn)練集與測(cè)試集；
26、構(gòu)建基于多層感知機(jī)或卷積神經(jīng)網(wǎng)絡(luò)的回歸預(yù)測(cè)模型；
27、利用訓(xùn)練集與測(cè)試集對(duì)所述回歸預(yù)測(cè)模型進(jìn)行訓(xùn)練；
28、對(duì)回歸預(yù)測(cè)模型進(jìn)行交叉驗(yàn)證和性能評(píng)估，并通過多重比較校正控制假陽性率，以獲得分身認(rèn)同度預(yù)測(cè)模型。
29、第二方面，提供了一種基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估裝置，包括：
30、數(shù)據(jù)獲取模塊，用于獲取受試者數(shù)據(jù)，其中，所述受試者數(shù)據(jù)包括觀看由ai軟件生成被試虛擬分身靜態(tài)圖像的受試者的眼動(dòng)數(shù)據(jù)、fmri數(shù)據(jù)和行為數(shù)據(jù)；
31、預(yù)處理模塊，用于對(duì)所述受試者數(shù)據(jù)進(jìn)行預(yù)處理；
32、特征提取模塊，用于提取預(yù)處理后的受試者數(shù)據(jù)中的關(guān)鍵特征；
33、加權(quán)融合模塊，用于采用晚期融合策略和跨模態(tài)注意力機(jī)制實(shí)現(xiàn)所述關(guān)鍵特征的動(dòng)態(tài)加權(quán)融合以獲得多模態(tài)特征；
34、模型構(gòu)建模塊，用于基于所述多模態(tài)特征構(gòu)建分身認(rèn)同度預(yù)測(cè)模型；
35、預(yù)測(cè)模塊，用于利用所述分身認(rèn)同度預(yù)測(cè)模型進(jìn)行ai生成虛擬分身的認(rèn)同度評(píng)估以輸出評(píng)估結(jié)果。
36、第三方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)用于設(shè)備執(zhí)行的程序代碼，該程序代碼包括用于執(zhí)行如上述第一方面中的任意一種實(shí)現(xiàn)方式中方法的步驟。
37、第四方面，提供了一種電子設(shè)備，所述電子設(shè)備包括處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序或指令，所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面中的任意一種實(shí)現(xiàn)方式中的方法。
38、本申請(qǐng)具有如下有益效果：通過采用晚期融合與跨模態(tài)注意力機(jī)制眼動(dòng)數(shù)據(jù)、fmri數(shù)據(jù)及行為數(shù)據(jù)中的關(guān)鍵特征進(jìn)行融合，能夠充分挖掘各模態(tài)間互補(bǔ)信息，對(duì)于提高虛擬分身認(rèn)同度的預(yù)測(cè)精度和客觀性具有重要理論意義和實(shí)踐價(jià)值，并且，基于融合特征構(gòu)建的分身認(rèn)同度預(yù)測(cè)模型能夠客觀準(zhǔn)確地評(píng)估虛擬分身認(rèn)同度，顯著提高預(yù)測(cè)效果。
1.一種基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法，其特征在于，通過交互式界面輸出評(píng)估結(jié)果，其中，所述評(píng)估結(jié)果包括虛擬分身認(rèn)同度預(yù)測(cè)評(píng)分及其置信區(qū)間、各模態(tài)在融合過程中貢獻(xiàn)權(quán)重的分布圖以及利用雷達(dá)圖、熱力圖和折線圖展示各模態(tài)特征貢獻(xiàn)及其隨時(shí)間變化的動(dòng)態(tài)趨勢(shì)，交互式界面用于實(shí)現(xiàn)數(shù)據(jù)導(dǎo)出和交互式數(shù)據(jù)篩選。
3.根據(jù)權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法，其特征在于，所述fmri數(shù)據(jù)為通過功能性磁共振成像設(shè)備采集的bold信號(hào)，所述行為數(shù)據(jù)包括主觀評(píng)分和反應(yīng)時(shí)長(zhǎng)。
4.根據(jù)權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法，其特征在于，對(duì)所述眼動(dòng)數(shù)據(jù)進(jìn)行預(yù)處理包括：數(shù)據(jù)格式轉(zhuǎn)換，采用低通濾波等方法去除眨眼期間噪聲，檢測(cè)穩(wěn)定注視點(diǎn)，濾除異常數(shù)據(jù)；對(duì)fmri數(shù)據(jù)進(jìn)行預(yù)處理包括：利用剛性變換進(jìn)行頭動(dòng)校正，進(jìn)行時(shí)間層校正、空間標(biāo)準(zhǔn)化、采用gaussian平滑和頻域帶通濾波處理；對(duì)行為數(shù)據(jù)進(jìn)行預(yù)處理包括：清洗、處理缺失值和異常值，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化。
5.根據(jù)權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法，其特征在于，預(yù)處理后的眼動(dòng)數(shù)據(jù)的關(guān)鍵特征包括注視時(shí)長(zhǎng)、掃視速度和注視熱圖分布；預(yù)處理后的fmri數(shù)據(jù)的關(guān)鍵特征包括神經(jīng)評(píng)分，所述神經(jīng)評(píng)分的計(jì)算公式為：score=(∑_voxel(bold_voxel×weight_voxel))/(∑_voxelweight_voxel)，其中，bold_voxel為每個(gè)體素血氧水平依賴信號(hào)強(qiáng)度值，weight_voxel表示該體素在認(rèn)同度預(yù)測(cè)任務(wù)中所對(duì)應(yīng)的重要性權(quán)重；預(yù)處理后的行為數(shù)據(jù)的關(guān)鍵特征包括通過統(tǒng)計(jì)受試者主觀評(píng)分構(gòu)成的定量特征向量。
6.根據(jù)權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法，其特征在于，采用晚期融合策略和跨模態(tài)注意力機(jī)制實(shí)現(xiàn)所述關(guān)鍵特征的動(dòng)態(tài)加權(quán)融合，包括：
7.根據(jù)權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估方法，其特征在于，基于所述多模態(tài)特征構(gòu)建分身認(rèn)同度預(yù)測(cè)模型，包括：
8.一種基于多模態(tài)數(shù)據(jù)融合的ai生成虛擬分身認(rèn)同度評(píng)估裝置，其特征在于，包括：
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)用于設(shè)備執(zhí)行的程序代碼，該程序代碼包括用于執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述方法的步驟。
10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序或指令，所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述方法。