本發(fā)明涉及手術(shù)數(shù)據(jù)處理，尤其涉及一種基于云平臺(tái)的關(guān)節(jié)鏡手術(shù)數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)：

1、目前，關(guān)節(jié)鏡手術(shù)作為一種微創(chuàng)外科技術(shù)，近年來得到了廣泛應(yīng)用，其通過將觀察和操作融為一體，能夠直觀地觀察患者關(guān)節(jié)內(nèi)部結(jié)構(gòu)。隨著手術(shù)量的增加，醫(yī)院積累了大量的手術(shù)視頻資源，這些資源往往沒有得到充分利用，缺乏統(tǒng)一管理和及時(shí)處理?，F(xiàn)有的手術(shù)示教系統(tǒng)雖然能夠通過虛擬現(xiàn)實(shí)技術(shù)和實(shí)時(shí)圖像傳輸為醫(yī)學(xué)教育提供支持，但在手術(shù)視頻、術(shù)前檢查、術(shù)中登記表以及術(shù)后病理報(bào)告之間的整合方面仍存在不足。在記錄相關(guān)信息時(shí)仍需手工操作，效率低下且容易出錯(cuò)。且，對(duì)于關(guān)節(jié)鏡手術(shù)視頻進(jìn)行正確的理解分析往往局限于具有一定資歷的外科醫(yī)生。這些問題限制了手術(shù)視頻資源在醫(yī)學(xué)研究、教學(xué)和臨床實(shí)踐中的應(yīng)用價(jià)值，亟需通過技術(shù)手段實(shí)現(xiàn)手術(shù)視頻的自動(dòng)提取、分類和結(jié)構(gòu)化存儲(chǔ)，以提高手術(shù)數(shù)據(jù)的利用效率。

2、作為骨科關(guān)節(jié)醫(yī)療領(lǐng)域的巨頭公司，施樂輝(smith&nephew)提出了一種用于關(guān)節(jié)鏡視頻分析的方法及用于其的裝置(wo2021/168408a1)，然而，其目的在于提供視頻的自動(dòng)分割來使得外科醫(yī)生在最終記錄的視頻中容易的被引導(dǎo)，其局限于關(guān)節(jié)鏡手術(shù)視頻的實(shí)時(shí)饋送，傾向于僅僅對(duì)當(dāng)前手術(shù)對(duì)象的視頻資料進(jìn)行分析利用，缺乏宏觀指導(dǎo)意義。

3、可見，盡管手術(shù)視頻在醫(yī)學(xué)教育和臨床實(shí)踐中具有重要價(jià)值，但目前的管理方式往往無法實(shí)現(xiàn)視頻與相關(guān)醫(yī)療記錄的有效整合。手術(shù)視頻以獨(dú)立的形式存在，與術(shù)前檢查、術(shù)中登記表以及術(shù)后病理報(bào)告等信息缺乏直接的聯(lián)系。這種信息孤島現(xiàn)象導(dǎo)致在進(jìn)行手術(shù)決策時(shí)無法全面了解患者的病情和手術(shù)過程，從而影響手術(shù)效果和患者的預(yù)后。此外，即使有著海量手術(shù)視頻作為參考和指導(dǎo)，但手術(shù)視頻的存儲(chǔ)和檢索存在困難，由于缺乏統(tǒng)一的管理和分類標(biāo)準(zhǔn)，在查找特定手術(shù)視頻時(shí)往往需要耗費(fèi)大量時(shí)間和精力。

4、綜上，現(xiàn)有技術(shù)中存在無法實(shí)現(xiàn)關(guān)節(jié)鏡手術(shù)數(shù)據(jù)自動(dòng)提取和分類的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種基于云平臺(tái)的關(guān)節(jié)鏡手術(shù)數(shù)據(jù)處理方法及系統(tǒng)，以實(shí)現(xiàn)關(guān)節(jié)鏡手術(shù)數(shù)據(jù)自動(dòng)提取和分類。

2、第一方面，為了解決上述技術(shù)問題，本發(fā)明提供了一種基于云平臺(tái)的關(guān)節(jié)鏡手術(shù)數(shù)據(jù)處理方法，包括：

3、獲取關(guān)節(jié)鏡手術(shù)數(shù)據(jù)，創(chuàng)建數(shù)據(jù)庫，得到關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫；

4、根據(jù)所述關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫，對(duì)其中的手術(shù)視頻進(jìn)行關(guān)鍵幀提取操作，得到關(guān)鍵幀圖像；

5、將所述關(guān)鍵幀圖像輸入到預(yù)訓(xùn)練好的圖像語義分割模型，得到有效幀圖像；

6、根據(jù)所述有效幀圖像，進(jìn)行病變區(qū)域信息提取操作，得到病變區(qū)域信息；

7、根據(jù)所述病變區(qū)域信息、所述有效幀圖像和所述關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫，進(jìn)行匹配操作，得到結(jié)構(gòu)化文本；

8、根據(jù)所述結(jié)構(gòu)化文本，進(jìn)行語義結(jié)構(gòu)樹生成操作，得到關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹；

9、根據(jù)所述關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹，進(jìn)行可視化處理操作，以供查詢和數(shù)據(jù)挖掘。

10、優(yōu)選地在一種可選的實(shí)施方式中，獲取關(guān)節(jié)鏡手術(shù)數(shù)據(jù)，創(chuàng)建數(shù)據(jù)庫，得到關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫，包括：

11、獲取關(guān)節(jié)鏡手術(shù)過程中的關(guān)節(jié)鏡手術(shù)數(shù)據(jù)；

12、根據(jù)所述關(guān)節(jié)鏡手術(shù)數(shù)據(jù)，進(jìn)行數(shù)據(jù)預(yù)處理操作，得到第一關(guān)節(jié)鏡手術(shù)數(shù)據(jù)；

13、根據(jù)所述第一關(guān)節(jié)鏡手術(shù)數(shù)據(jù)，生成手術(shù)數(shù)據(jù)庫，得到關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫。

14、優(yōu)選地在一種可選的實(shí)施方式中，根據(jù)所述關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫，進(jìn)行關(guān)鍵幀提取操作，得到關(guān)鍵幀圖像，包括：

15、根據(jù)所述關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫，進(jìn)行視頻流提取操作，得到關(guān)節(jié)鏡手術(shù)視頻流；

16、根據(jù)所述關(guān)節(jié)鏡手術(shù)視頻流，進(jìn)行視頻流分割操作，將其劃分為多個(gè)較小的視頻片段，得到分割視頻流；

17、根據(jù)所述分割視頻流，進(jìn)行關(guān)鍵幀提取計(jì)算，獲取能夠準(zhǔn)確反映手術(shù)過程關(guān)鍵瞬間的圖像，得到關(guān)鍵幀圖像；

18、所述關(guān)鍵幀提取計(jì)算的計(jì)算公式如下：

19、kj＝γj·r(v(j)),j＝1,…,n

20、其中，kj表示第j幀圖像的關(guān)鍵度，γj表示第j幀圖像的動(dòng)態(tài)折扣因子，用于調(diào)整視頻幀之間的重要性權(quán)重，r(v(j))表示分割視頻流v(j)的獎(jiǎng)勵(lì)函數(shù)，n表示分割視頻流中視頻幀的總數(shù)，獎(jiǎng)勵(lì)函數(shù)r(v(j))根據(jù)視頻幀的內(nèi)容特征進(jìn)行設(shè)計(jì)，選擇關(guān)鍵度大于一定閾值的幀作為關(guān)鍵幀。

21、優(yōu)選地在一種可選的實(shí)施方式中，將所述關(guān)鍵幀圖像輸入到預(yù)訓(xùn)練好的圖像語義分割模型，得到有效幀圖像，包括：

22、將所述關(guān)鍵幀圖像輸入到預(yù)訓(xùn)練好的圖像語義分割模型，得到關(guān)鍵幀語義信息；

23、根據(jù)所述關(guān)鍵幀語義信息，進(jìn)行有效幀判斷操作，得到有效幀圖像；

24、其中，所述圖像語義分割模型的訓(xùn)練過程包括：

25、初始化圖像語義分割模型的參數(shù)；

26、將關(guān)節(jié)鏡手術(shù)圖像及其對(duì)應(yīng)標(biāo)注的數(shù)據(jù)集，對(duì)所述初始化圖像語義分割模型進(jìn)行訓(xùn)練，當(dāng)模型的準(zhǔn)確率達(dá)到預(yù)設(shè)的目標(biāo)值時(shí)結(jié)束，得到預(yù)訓(xùn)練好的圖像語義分割模型。

27、優(yōu)選地在一種可選的實(shí)施方式中，根據(jù)所述有效幀圖像，進(jìn)行病變區(qū)域信息提取操作，得到病變區(qū)域信息，包括：

28、根據(jù)所述有效幀圖像，進(jìn)行第一特征提取操作，得到病變區(qū)域特征；

29、根據(jù)所述病變區(qū)域特征，進(jìn)行特征匹配操作，得到病變區(qū)域信息。

30、優(yōu)選地在一種可選的實(shí)施方式中，根據(jù)所述病變區(qū)域信息、所述有效幀圖像和所述關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫，進(jìn)行匹配操作，得到結(jié)構(gòu)化文本，包括：

31、根據(jù)所述病變區(qū)域信息和所述有效幀圖像，進(jìn)行第二特征提取操作，得到有效幀特征；

32、根據(jù)所述有效幀特征和所述關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫，進(jìn)行特征匹配操作，得到結(jié)構(gòu)化文本。

33、優(yōu)選地在一種可選的實(shí)施方式中，根據(jù)所述結(jié)構(gòu)化文本，進(jìn)行語義結(jié)構(gòu)樹生成操作，得到關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹，包括：

34、根據(jù)所述結(jié)構(gòu)化文本，采用分層生成樹算法進(jìn)行結(jié)構(gòu)樹生成，得到關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹；

35、將所述關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹，進(jìn)行存儲(chǔ)操作，存儲(chǔ)在關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫中。

36、優(yōu)選地在一種可選的實(shí)施方式中，根據(jù)所述關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹，進(jìn)行可視化處理操作，以供查詢和數(shù)據(jù)挖掘，包括：

37、根據(jù)所述關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹，進(jìn)行用戶界面建立操作，得到關(guān)節(jié)鏡手術(shù)用戶界面；

38、根據(jù)所述關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹，進(jìn)行交互式查詢系統(tǒng)建立操作，得到關(guān)節(jié)鏡手術(shù)交互式查詢系統(tǒng)。

39、第二方面，本發(fā)明提供了一種基于云平臺(tái)的關(guān)節(jié)鏡手術(shù)數(shù)據(jù)處理系統(tǒng)，包括：

40、數(shù)據(jù)庫生成模塊，用于獲取關(guān)節(jié)鏡手術(shù)數(shù)據(jù)，創(chuàng)建數(shù)據(jù)庫，得到關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫；

41、關(guān)鍵幀提取模塊，用于根據(jù)所述關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫，進(jìn)行關(guān)鍵幀提取操作，得到關(guān)鍵幀圖像；

42、語義分割模塊，用于將所述關(guān)鍵幀圖像輸入到圖像語義分割模型，得到有效幀圖像；

43、病變區(qū)域信息提取模塊，用于根據(jù)所述有效幀圖像，進(jìn)行病變區(qū)域信息提取操作，得到病變區(qū)域信息；

44、匹配模塊，用于根據(jù)所述病變區(qū)域信息、所述有效幀圖像和所述關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫，進(jìn)行匹配操作，得到結(jié)構(gòu)化文本；

45、語義結(jié)構(gòu)樹生成模塊，用于根據(jù)所述結(jié)構(gòu)化文本，進(jìn)行語義結(jié)構(gòu)樹生成操作，得到關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹；

46、交互模塊，用于根據(jù)所述關(guān)節(jié)鏡手術(shù)語義結(jié)構(gòu)樹，進(jìn)行可視化處理操作，以供查詢和數(shù)據(jù)挖掘。

47、第三方面，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行上述中任意一項(xiàng)所述的一種基于云平臺(tái)的關(guān)節(jié)鏡手術(shù)數(shù)據(jù)處理方法。

48、相比于現(xiàn)有技術(shù)，本發(fā)明具有如下有益效果：

49、(1)本發(fā)明實(shí)現(xiàn)了關(guān)節(jié)鏡手術(shù)數(shù)據(jù)的智能化處理分析，實(shí)現(xiàn)了關(guān)節(jié)鏡手術(shù)數(shù)據(jù)的自動(dòng)提取和分類，捕捉手術(shù)過程中的關(guān)鍵步驟，精準(zhǔn)地識(shí)別出圖像中的病變區(qū)域，并將這些區(qū)域從背景中分離出來，將病變區(qū)域信息、有效幀圖像與關(guān)節(jié)鏡手術(shù)數(shù)據(jù)庫中的其他醫(yī)療記錄進(jìn)行匹配，生成結(jié)構(gòu)化文本，實(shí)現(xiàn)了手術(shù)視頻數(shù)據(jù)與相關(guān)醫(yī)療信息的深度融合，提供了一個(gè)全面、準(zhǔn)確的手術(shù)信息視圖；將復(fù)雜抽象的手術(shù)數(shù)據(jù)轉(zhuǎn)化為直觀易懂的圖形界面，提升查詢和數(shù)據(jù)挖掘的效率與便捷性極大的有利于醫(yī)學(xué)教育和臨床實(shí)踐教學(xué)；

50、(2)本發(fā)明通過可視化處理操作，將復(fù)雜的手術(shù)數(shù)據(jù)以直觀、易理解的方式呈現(xiàn)出來，方便進(jìn)行查詢和數(shù)據(jù)挖掘；利用先進(jìn)的視頻流提取和分割技術(shù)，精準(zhǔn)地從連續(xù)的手術(shù)視頻中分離出關(guān)鍵幀圖像，為后續(xù)的深入分析提供了關(guān)鍵素材；提高了手術(shù)數(shù)據(jù)的利用效率，能夠快速、便捷地檢索和查看特定手術(shù)視頻及其相關(guān)醫(yī)療記錄，從而提高了手術(shù)決策的效率和準(zhǔn)確性，有助于提升手術(shù)效果和患者的預(yù)后，極大提高了治療的及時(shí)性和精準(zhǔn)性，保障了治療措施的正確選擇實(shí)施；

51、(3)本發(fā)明創(chuàng)新性地將云平臺(tái)技術(shù)與關(guān)節(jié)鏡手術(shù)數(shù)據(jù)處理相結(jié)合，可有效利用多渠道海量手術(shù)視頻資料進(jìn)行關(guān)節(jié)鏡手術(shù)技術(shù)的分析處理和儲(chǔ)備，通過對(duì)海量手術(shù)視頻資料設(shè)定統(tǒng)一的管理和分類標(biāo)準(zhǔn)，使得大數(shù)據(jù)醫(yī)療成為可能，在智能化大數(shù)據(jù)的當(dāng)下，具有突破性意義。