本說(shuō)明書(shū)涉及計(jì)算機(jī)，尤其涉及一種訪客處理方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備。

背景技術(shù)：

1、近年來(lái)，隨著人工智能和深度學(xué)習(xí)技術(shù)的迅速發(fā)展，智能安防監(jiān)控場(chǎng)景正迎來(lái)全新的變革。智能安防監(jiān)控場(chǎng)景下基于多攝像頭協(xié)同監(jiān)控的安防視頻數(shù)據(jù)分析技術(shù)得到了廣泛應(yīng)用，提供了高效、實(shí)時(shí)的監(jiān)控解決方案。與此同時(shí)，各類(lèi)視頻分析算法在復(fù)雜場(chǎng)景下的魯棒性和準(zhǔn)確性不斷提升，推動(dòng)了視頻內(nèi)容自動(dòng)化處理和事件檢測(cè)技術(shù)的進(jìn)一步發(fā)展，從而為未來(lái)智能安防和行為識(shí)別等應(yīng)用奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。

技術(shù)實(shí)現(xiàn)思路

1、本說(shuō)明書(shū)實(shí)施例提供了一種訪客處理方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備，所述技術(shù)方案如下：

2、第一方面，本說(shuō)明書(shū)實(shí)施例提供了一種訪客處理方法，所述方法包括：

3、采集安防場(chǎng)景下的多個(gè)安防監(jiān)控端視頻；

4、基于各所述安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來(lái)訪對(duì)象跨端識(shí)別得到至少一個(gè)來(lái)訪對(duì)象的對(duì)象來(lái)訪場(chǎng)景視頻集；

5、確定所述來(lái)訪對(duì)象與用戶(hù)對(duì)象的來(lái)訪對(duì)象關(guān)系標(biāo)簽，基于所述來(lái)訪對(duì)象關(guān)系標(biāo)簽和所述對(duì)象來(lái)訪場(chǎng)景視頻集生成各所述來(lái)訪對(duì)象的來(lái)訪對(duì)象事件；

6、在安防監(jiān)控界面展示各所述來(lái)訪對(duì)象和所述來(lái)訪對(duì)象對(duì)應(yīng)的來(lái)訪對(duì)象事件。

7、在一種可行的實(shí)施方式中，所述基于各所述安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來(lái)訪對(duì)象跨端識(shí)別得到至少一個(gè)來(lái)訪對(duì)象的對(duì)象來(lái)訪場(chǎng)景視頻集，包括：

8、基于各所述安防監(jiān)控端視頻進(jìn)行來(lái)訪目標(biāo)檢測(cè)處理得到來(lái)訪目標(biāo)檢測(cè)元信息；

9、采用安防處理大模型基于所述多個(gè)安防監(jiān)控端視頻和所述來(lái)訪目標(biāo)解析元信息進(jìn)行來(lái)訪對(duì)象跨端識(shí)別確定至少一個(gè)來(lái)訪對(duì)象，并從所述多個(gè)安防監(jiān)控端視頻提取針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集。

10、在一種可行的實(shí)施方式中，所述采用安防處理大模型基于所述多個(gè)安防監(jiān)控端視頻和所述來(lái)訪目標(biāo)解析元信息進(jìn)行來(lái)訪對(duì)象跨端識(shí)別確定至少一個(gè)來(lái)訪對(duì)象，并從所述多個(gè)安防監(jiān)控端視頻提取針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集，包括：

11、采用安防處理大模型基于所述多個(gè)安防監(jiān)控端視頻和所述來(lái)訪目標(biāo)解析元信息進(jìn)行來(lái)訪對(duì)象跨端識(shí)別確定至少一個(gè)來(lái)訪對(duì)象；

12、采用安防處理大模型確定針對(duì)所述來(lái)訪對(duì)象的目標(biāo)運(yùn)動(dòng)描述文本和目標(biāo)運(yùn)動(dòng)描述關(guān)鍵幀，基于所述目標(biāo)運(yùn)動(dòng)描述文本和所述目標(biāo)運(yùn)動(dòng)描述關(guān)鍵幀進(jìn)行多模態(tài)融合得到潛在來(lái)訪對(duì)象得到目標(biāo)運(yùn)動(dòng)描述事件信息；

13、采用安防處理大模型基于所述目標(biāo)運(yùn)動(dòng)描述事件信息生成對(duì)所述多個(gè)安防監(jiān)控端視頻的來(lái)訪視頻集剪輯腳本；

14、基于所述來(lái)訪視頻集剪輯腳本從所述多個(gè)安防監(jiān)控端視頻提取針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集。

15、在一種可行的實(shí)施方式中，所述采用安防處理大模型基于所述目標(biāo)運(yùn)動(dòng)描述事件信息生成對(duì)所述多個(gè)安防監(jiān)控端視頻的來(lái)訪視頻集剪輯腳本，包括：

16、采用安防處理大模型基于所述目標(biāo)運(yùn)動(dòng)描述事件信息對(duì)所述多個(gè)安防監(jiān)控端視頻進(jìn)行關(guān)鍵剪輯片段解析處理得到所述來(lái)訪對(duì)象對(duì)應(yīng)的來(lái)訪視頻集剪輯時(shí)間；

17、對(duì)所述來(lái)訪對(duì)象的多個(gè)關(guān)鍵剪輯片段確定來(lái)訪對(duì)象轉(zhuǎn)場(chǎng)模式和來(lái)訪故事描述字幕；

18、基于所述來(lái)訪視頻集剪輯時(shí)間、所述來(lái)訪對(duì)象轉(zhuǎn)場(chǎng)模式和所述來(lái)訪故事描述字幕生成對(duì)所述多個(gè)安防監(jiān)控端視頻的來(lái)訪視頻集剪輯腳本。

19、在一種可行的實(shí)施方式中，所述基于所述來(lái)訪視頻集剪輯腳本從所述多個(gè)安防監(jiān)控端視頻提取針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集，包括：

20、基于所述來(lái)訪視頻集剪輯腳本中的來(lái)訪視頻集剪輯時(shí)間從所述多個(gè)安防監(jiān)控端視頻中確定針對(duì)所述來(lái)訪對(duì)象的多個(gè)關(guān)鍵剪輯片段；

21、根據(jù)所述來(lái)訪視頻集剪輯腳本中的來(lái)訪對(duì)象轉(zhuǎn)場(chǎng)模式，確定各所述關(guān)鍵剪輯片段之間的轉(zhuǎn)場(chǎng)切換顯示效果配置，基于所述轉(zhuǎn)場(chǎng)切換顯示效果配置和多個(gè)所述關(guān)鍵剪輯片段生成視頻片段拼接序列；

22、基于所述來(lái)訪視頻集剪輯腳本中的來(lái)訪故事描述字幕對(duì)所述視頻片段拼接序列添加故事描述字幕，生成針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集。

23、在一種可行的實(shí)施方式中，所述基于各所述安防監(jiān)控端視頻進(jìn)行來(lái)訪目標(biāo)檢測(cè)處理得到來(lái)訪目標(biāo)檢測(cè)元信息，包括：

24、將各所述安防監(jiān)控端視頻輸入來(lái)訪目標(biāo)檢測(cè)模型中，通過(guò)來(lái)訪目標(biāo)檢測(cè)模型確定來(lái)訪目標(biāo)檢測(cè)信息、來(lái)訪事件信息、來(lái)訪目標(biāo)跨端跟蹤信息、來(lái)訪目標(biāo)特征信息以及來(lái)訪事件行為信息；

25、基于所述來(lái)訪目標(biāo)檢測(cè)信息、來(lái)訪事件信息、來(lái)訪目標(biāo)跨端跟蹤信息、來(lái)訪目標(biāo)特征信息以及來(lái)訪事件行為信息生成來(lái)訪目標(biāo)檢測(cè)元信息。

26、在一種可行的實(shí)施方式中，所述在安防監(jiān)控界面展示各所述來(lái)訪對(duì)象和所述來(lái)訪對(duì)象對(duì)應(yīng)的來(lái)訪對(duì)象事件之后，還包括：

27、響應(yīng)于針對(duì)目標(biāo)來(lái)訪對(duì)象的目標(biāo)來(lái)訪對(duì)象事件的事件選中操作，輸出對(duì)象來(lái)訪場(chǎng)景視頻集。

28、第二方面，本說(shuō)明書(shū)實(shí)施例提供了一種訪客處理裝置，所述裝置包括：

29、視頻采集模塊，用于采集安防場(chǎng)景下的多個(gè)安防監(jiān)控端視頻；

30、視頻識(shí)別模塊，用于基于各所述安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來(lái)訪對(duì)象跨端識(shí)別得到至少一個(gè)來(lái)訪對(duì)象的對(duì)象來(lái)訪場(chǎng)景視頻集；

31、事件處理模塊，用于確定所述來(lái)訪對(duì)象與用戶(hù)對(duì)象的來(lái)訪對(duì)象關(guān)系標(biāo)簽，基于所述來(lái)訪對(duì)象關(guān)系標(biāo)簽和所述對(duì)象來(lái)訪場(chǎng)景視頻集生成各所述來(lái)訪對(duì)象的來(lái)訪對(duì)象事件；

32、所述事件處理模塊，用于在安防監(jiān)控界面展示各所述來(lái)訪對(duì)象和所述來(lái)訪對(duì)象對(duì)應(yīng)的來(lái)訪對(duì)象事件。

33、在一種可行的實(shí)施方式中，所述基于各所述安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來(lái)訪對(duì)象跨端識(shí)別得到至少一個(gè)來(lái)訪對(duì)象的對(duì)象來(lái)訪場(chǎng)景視頻集，包括：

34、基于各所述安防監(jiān)控端視頻進(jìn)行來(lái)訪目標(biāo)檢測(cè)處理得到來(lái)訪目標(biāo)檢測(cè)元信息；

35、采用安防處理大模型基于所述多個(gè)安防監(jiān)控端視頻和所述來(lái)訪目標(biāo)解析元信息進(jìn)行來(lái)訪對(duì)象跨端識(shí)別確定至少一個(gè)來(lái)訪對(duì)象，并從所述多個(gè)安防監(jiān)控端視頻提取針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集。

36、在一種可行的實(shí)施方式中，所述采用安防處理大模型基于所述多個(gè)安防監(jiān)控端視頻和所述來(lái)訪目標(biāo)解析元信息進(jìn)行來(lái)訪對(duì)象跨端識(shí)別確定至少一個(gè)來(lái)訪對(duì)象，并從所述多個(gè)安防監(jiān)控端視頻提取針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集，包括：

37、采用安防處理大模型基于所述多個(gè)安防監(jiān)控端視頻和所述來(lái)訪目標(biāo)解析元信息進(jìn)行來(lái)訪對(duì)象跨端識(shí)別確定至少一個(gè)來(lái)訪對(duì)象；

38、采用安防處理大模型確定針對(duì)所述來(lái)訪對(duì)象的目標(biāo)運(yùn)動(dòng)描述文本和目標(biāo)運(yùn)動(dòng)描述關(guān)鍵幀，基于所述目標(biāo)運(yùn)動(dòng)描述文本和所述目標(biāo)運(yùn)動(dòng)描述關(guān)鍵幀進(jìn)行多模態(tài)融合得到潛在來(lái)訪對(duì)象得到目標(biāo)運(yùn)動(dòng)描述事件信息；

39、采用安防處理大模型基于所述目標(biāo)運(yùn)動(dòng)描述事件信息生成對(duì)所述多個(gè)安防監(jiān)控端視頻的來(lái)訪視頻集剪輯腳本；

40、基于所述來(lái)訪視頻集剪輯腳本從所述多個(gè)安防監(jiān)控端視頻提取針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集。

41、在一種可行的實(shí)施方式中，所述采用安防處理大模型基于所述目標(biāo)運(yùn)動(dòng)描述事件信息生成對(duì)所述多個(gè)安防監(jiān)控端視頻的來(lái)訪視頻集剪輯腳本，包括：

42、采用安防處理大模型基于所述目標(biāo)運(yùn)動(dòng)描述事件信息對(duì)所述多個(gè)安防監(jiān)控端視頻進(jìn)行關(guān)鍵剪輯片段解析處理得到所述來(lái)訪對(duì)象對(duì)應(yīng)的來(lái)訪視頻集剪輯時(shí)間；

43、對(duì)所述來(lái)訪對(duì)象的多個(gè)關(guān)鍵剪輯片段確定來(lái)訪對(duì)象轉(zhuǎn)場(chǎng)模式和來(lái)訪故事描述字幕；

44、基于所述來(lái)訪視頻集剪輯時(shí)間、所述來(lái)訪對(duì)象轉(zhuǎn)場(chǎng)模式和所述來(lái)訪故事描述字幕生成對(duì)所述多個(gè)安防監(jiān)控端視頻的來(lái)訪視頻集剪輯腳本。

45、在一種可行的實(shí)施方式中，所述基于所述來(lái)訪視頻集剪輯腳本從所述多個(gè)安防監(jiān)控端視頻提取針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集，包括：

46、基于所述來(lái)訪視頻集剪輯腳本中的來(lái)訪視頻集剪輯時(shí)間從所述多個(gè)安防監(jiān)控端視頻中確定針對(duì)所述來(lái)訪對(duì)象的多個(gè)關(guān)鍵剪輯片段；

47、根據(jù)所述來(lái)訪視頻集剪輯腳本中的來(lái)訪對(duì)象轉(zhuǎn)場(chǎng)模式，確定各所述關(guān)鍵剪輯片段之間的轉(zhuǎn)場(chǎng)切換顯示效果配置，基于所述轉(zhuǎn)場(chǎng)切換顯示效果配置和多個(gè)所述關(guān)鍵剪輯片段生成視頻片段拼接序列；

48、基于所述來(lái)訪視頻集剪輯腳本中的來(lái)訪故事描述字幕對(duì)所述視頻片段拼接序列添加故事描述字幕，生成針對(duì)所述來(lái)訪對(duì)象對(duì)應(yīng)的對(duì)象來(lái)訪場(chǎng)景視頻集。

49、在一種可行的實(shí)施方式中，所述基于各所述安防監(jiān)控端視頻進(jìn)行來(lái)訪目標(biāo)檢測(cè)處理得到來(lái)訪目標(biāo)檢測(cè)元信息，包括：

50、將各所述安防監(jiān)控端視頻輸入來(lái)訪目標(biāo)檢測(cè)模型中，通過(guò)來(lái)訪目標(biāo)檢測(cè)模型確定來(lái)訪目標(biāo)檢測(cè)信息、來(lái)訪事件信息、來(lái)訪目標(biāo)跨端跟蹤信息、來(lái)訪目標(biāo)特征信息以及來(lái)訪事件行為信息；

51、基于所述來(lái)訪目標(biāo)檢測(cè)信息、來(lái)訪事件信息、來(lái)訪目標(biāo)跨端跟蹤信息、來(lái)訪目標(biāo)特征信息以及來(lái)訪事件行為信息生成來(lái)訪目標(biāo)檢測(cè)元信息。

52、在一種可行的實(shí)施方式中，所述在安防監(jiān)控界面展示各所述來(lái)訪對(duì)象和所述來(lái)訪對(duì)象對(duì)應(yīng)的來(lái)訪對(duì)象事件之后，還包括：

53、響應(yīng)于針對(duì)目標(biāo)來(lái)訪對(duì)象的目標(biāo)來(lái)訪對(duì)象事件的事件選中操作，輸出對(duì)象來(lái)訪場(chǎng)景視頻集。

54、第三方面，本說(shuō)明書(shū)實(shí)施例提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有多條指令，所述指令適于由處理器加載并執(zhí)行上述的方法步驟。

55、第四方面，本說(shuō)明書(shū)實(shí)施例提供一種電子設(shè)備，可包括：處理器和存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序適于由所述處理器加載并執(zhí)行上述的方法步驟。

56、本說(shuō)明書(shū)一些實(shí)施例提供的技術(shù)方案帶來(lái)的有益效果至少包括：

57、在本說(shuō)明書(shū)一個(gè)或多個(gè)實(shí)施例中，通過(guò)采集安防場(chǎng)景下的多個(gè)安防監(jiān)控端視頻，基于各安防監(jiān)控端視頻，采用安防處理大模型進(jìn)行來(lái)訪對(duì)象跨端識(shí)別得到至少一個(gè)來(lái)訪對(duì)象的對(duì)象來(lái)訪場(chǎng)景視頻集，確定來(lái)訪對(duì)象與用戶(hù)對(duì)象的來(lái)訪對(duì)象關(guān)系標(biāo)簽，基于來(lái)訪對(duì)象關(guān)系標(biāo)簽和對(duì)象來(lái)訪場(chǎng)景視頻集生成各來(lái)訪對(duì)象的來(lái)訪對(duì)象事件，在安防監(jiān)控界面展示各來(lái)訪對(duì)象和來(lái)訪對(duì)象對(duì)應(yīng)的來(lái)訪對(duì)象事件，實(shí)現(xiàn)了高效、準(zhǔn)確且故事化的安防監(jiān)控?cái)?shù)據(jù)整合，避免了相關(guān)技術(shù)中安防監(jiān)控場(chǎng)景下訪客處理不智能的局限，不僅提高了智能家居安防場(chǎng)景下多攝像頭數(shù)據(jù)處理的時(shí)空連續(xù)性和智能化水平，還使用戶(hù)能夠快速定位和回放特定訪客的完整來(lái)訪事件，極大地提升了安防監(jiān)控系統(tǒng)的實(shí)時(shí)性、準(zhǔn)確性和用戶(hù)體驗(yàn)。