本技術(shù)涉及深度學(xué)習(xí)，尤其涉及一種基于深度學(xué)習(xí)與dft技術(shù)的列車底盤配準(zhǔn)方法及系統(tǒng)。

背景技術(shù)：

1、在多個(gè)領(lǐng)域中，需要將不同時(shí)間、不同角度或者不同設(shè)備拍攝的圖像進(jìn)行對(duì)齊，圖像配準(zhǔn)技術(shù)通過尋找一種空間變換，將不同時(shí)間、不同視角或不同傳感器獲取的同一場(chǎng)景的兩幅或多幅圖像進(jìn)行匹配和對(duì)齊，使圖像中的對(duì)應(yīng)特征點(diǎn)能夠精確重合。

2、圖像配準(zhǔn)方法基于特征提取和匹配，例如，使用sift、surf等算法識(shí)別圖像中的關(guān)鍵點(diǎn)，再通過這些關(guān)鍵點(diǎn)計(jì)算圖像之間的變換矩陣來實(shí)現(xiàn)配準(zhǔn)。深度學(xué)習(xí)技術(shù)也被應(yīng)用于圖像配準(zhǔn)，通過借助卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)圖像之間的變換矩陣，從而實(shí)現(xiàn)更準(zhǔn)確的配準(zhǔn)。

3、然而，基于深度學(xué)習(xí)的配準(zhǔn)方法采用gan或resnet等網(wǎng)絡(luò)架構(gòu)，在處理如線陣相機(jī)采集到的高分辨率圖片時(shí)，會(huì)面臨計(jì)算復(fù)雜度增加的問題，導(dǎo)致配準(zhǔn)速度、精度低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種基于深度學(xué)習(xí)與dft技術(shù)的列車底盤配準(zhǔn)方法及系統(tǒng)，以解決配準(zhǔn)速度、精度低的問題。

2、第一方面，本技術(shù)提供一種基于深度學(xué)習(xí)與dft技術(shù)的列車底盤配準(zhǔn)方法，包括：

3、獲取加速度特征向量，所述加速度特征向量為通過列車加速度信號(hào)生成的；

4、獲取待配準(zhǔn)圖像以及模板圖像，并將所述待配準(zhǔn)圖像與模板圖像進(jìn)行通道拼接，以生成拼接圖像；

5、將所述加速度特征向量與所述拼接圖像輸入至編碼器，以通過所述編碼器預(yù)測(cè)生成低維空間形變域；

6、對(duì)所述低維空間形變域執(zhí)行頻域轉(zhuǎn)換，以得到低頻空間形變場(chǎng)；

7、通過解碼器對(duì)所述低頻空間形變場(chǎng)重建，以生成空間形變場(chǎng)；

8、基于所述空間形變場(chǎng)對(duì)所述待配準(zhǔn)圖像進(jìn)行形變矯正，輸出目標(biāo)配準(zhǔn)圖像。

9、在一些可行的實(shí)施例中，所述獲取加速度特征向量，包括：

10、獲取加速度信號(hào)；

11、通過嵌入層將所述加速度信號(hào)轉(zhuǎn)換為嵌入向量；

12、將所述嵌入向量輸入多層感知器層，以生成嵌入向量，所述多層感知器層的數(shù)量為預(yù)設(shè)數(shù)量，多個(gè)所述嵌入向量的長(zhǎng)度不同；

13、對(duì)所述嵌入向量執(zhí)行向量復(fù)制操作，以擴(kuò)展所述嵌入向量的維度為預(yù)設(shè)維度，以得到加速度特征向量。

14、在一些可行的實(shí)施例中，所述編碼器包括神經(jīng)網(wǎng)絡(luò)層以及頻域特征提取層，所述神經(jīng)網(wǎng)絡(luò)層包括卷積層以及注意力模塊；

15、所述將所述加速度特征向量與所述拼接圖像輸入至編碼器，以通過所述編碼器預(yù)測(cè)生成低維空間形變域，包括：

16、將拼接圖像輸入至所述卷積層，以通過所述卷積層執(zhí)行下采樣，并生成多尺度特征圖；

17、將所述加速度特征向量與所述多尺度特征圖按向量相加，以輸出通道調(diào)整特征圖；

18、通過所述注意力模塊，提取所述通道調(diào)整特征圖的局部特征，以生成低維空間形變域。

19、在一些可行的實(shí)施例中，所述提取所述通道調(diào)整特征圖的局部特征，以生成低維空間形變域，包括：

20、將所述通道調(diào)整特征圖劃分為局部區(qū)域，多個(gè)所述局部區(qū)域的尺寸相同；

21、將所述局部區(qū)域展開為特征單元，所述特征單元為一維形式；

22、對(duì)所述特征單元執(zhí)行自注意力計(jì)算，以輸出特征表示，所述自注意力計(jì)算為將所述特征單元經(jīng)過預(yù)設(shè)數(shù)量的線性層；

23、基于所述特征表示，對(duì)所述特征單元執(zhí)行交叉注意力運(yùn)算，以輸出融合結(jié)果，所述交叉注意力運(yùn)算為對(duì)所述特征單元執(zhí)行不同尺度信息融合；

24、基于所述融合結(jié)果，輸出低維空間形變域。

25、在一些可行的實(shí)施例中，所述對(duì)所述低維空間形變域執(zhí)行頻域轉(zhuǎn)換，以得到低頻空間形變場(chǎng)，包括：

26、通過離散傅里葉變換層對(duì)所述低維空間形變域執(zhí)行頻域轉(zhuǎn)換，以得到頻域形變域，所述頻域形變域包含低頻信息；

27、通過離散傅里葉變換層對(duì)所述頻域形變域執(zhí)行頻域轉(zhuǎn)換，以得到低頻空間形變場(chǎng)。

28、在一些可行的實(shí)施例中，所述解碼器包括零填充層以及逆離散傅里葉變換層；

29、所述通過解碼器對(duì)所述低頻空間形變場(chǎng)重建，以生成空間形變場(chǎng)，包括：

30、通過所述零填充層將低頻空間形變場(chǎng)執(zhí)行零填充，并生成恢復(fù)圖像，所述恢復(fù)圖像與所述待配準(zhǔn)圖像尺寸相同；

31、將所述恢復(fù)圖像輸入至所述逆離散傅里葉變換層，以通過所述逆離散傅里葉變換層執(zhí)行逆離散傅里葉變換，并將所述低頻空間形變場(chǎng)從恢復(fù)為空間形變場(chǎng)，所述空間形變場(chǎng)為全分辨率的空間形變場(chǎng)。

32、在一些可行的實(shí)施例中，所述空間形變場(chǎng)包含第一坐標(biāo)軸位移量和第二坐標(biāo)軸位移量；

33、所述基于所述空間形變場(chǎng)對(duì)所述待配準(zhǔn)圖像進(jìn)行形變矯正，輸出目標(biāo)配準(zhǔn)圖像，包括：

34、基于所述第一坐標(biāo)軸位移量以及第二坐標(biāo)軸位移量，計(jì)算像素點(diǎn)的原始圖像坐標(biāo)，所述像素點(diǎn)為所述目標(biāo)配準(zhǔn)圖像中的像素點(diǎn)；

35、如果所述原始圖像坐標(biāo)為非整數(shù)坐標(biāo)，獲取相鄰坐標(biāo)，所述相鄰坐標(biāo)為所述非整數(shù)坐標(biāo)周圍的相鄰四個(gè)整數(shù)坐標(biāo)點(diǎn)的像素值；

36、基于所述相鄰坐標(biāo)，通過雙線性插值法計(jì)算插值結(jié)果，所述插值結(jié)果為所述非整數(shù)坐標(biāo)的像素值；

37、將所述插值結(jié)果作為目標(biāo)配準(zhǔn)圖像中對(duì)應(yīng)像素點(diǎn)的像素值，生成目標(biāo)配準(zhǔn)圖像。

38、在一些可行的實(shí)施例中，所述通過雙線性插值法計(jì)算插值結(jié)果，包括：

39、根據(jù)所述非整數(shù)坐標(biāo)與相鄰坐標(biāo)的水平方向距離比例，計(jì)算水平方向權(quán)重值；以及，根據(jù)所述非整數(shù)坐標(biāo)與相鄰坐標(biāo)的垂直方向距離比例，計(jì)算垂直方向權(quán)重值；

40、基于所述水平方向權(quán)重值以及垂直方向權(quán)重值，對(duì)所述相鄰坐標(biāo)執(zhí)行兩次線性插值，以得到插值結(jié)果。

41、在一些可行的實(shí)施例中，所述獲取待配準(zhǔn)圖像，包括：

42、記錄所述加速度特征向量的獲取時(shí)間；

43、基于所述獲取時(shí)間生成預(yù)設(shè)時(shí)間段；

44、在所述預(yù)設(shè)時(shí)間段內(nèi)獲取所述待配準(zhǔn)圖像，以使所述待配準(zhǔn)圖像的獲取時(shí)間與所述加速度特征向量的獲取時(shí)間同步。

45、第二方面，本技術(shù)提供一種基于深度學(xué)習(xí)與dft技術(shù)的列車底盤配準(zhǔn)系統(tǒng)，包括：

46、獲取單元，用于獲取加速度特征向量，所述加速度特征向量為通過列車加速度信號(hào)生成的；以及，獲取待配準(zhǔn)圖像以及模板圖像，并將所述待配準(zhǔn)圖像與模板圖像進(jìn)行通道拼接，以生成拼接圖像；

47、處理單元，用于將所述加速度特征向量與所述拼接圖像輸入至編碼器；

48、編碼器，用于預(yù)測(cè)生成低維空間形變域；以及，對(duì)所述低維空間形變域執(zhí)行頻域轉(zhuǎn)換，以得到低頻空間形變場(chǎng)；

49、解碼器，用于重建所述低頻空間形變場(chǎng)，以生成空間形變場(chǎng)；

50、重建單元，用于基于所述空間形變場(chǎng)對(duì)所述待配準(zhǔn)圖像進(jìn)行形變矯正，輸出目標(biāo)配準(zhǔn)圖像。

51、由以上技術(shù)方案可知，本技術(shù)提供一種基于深度學(xué)習(xí)與dft技術(shù)的列車底盤配準(zhǔn)方法及系統(tǒng)，包括：獲取加速度特征向量，所述加速度特征向量為通過列車加速度信號(hào)生成的，再獲取待配準(zhǔn)圖像以及模板圖像，并將待配準(zhǔn)圖像與模板圖像進(jìn)行通道拼接，以生成拼接圖像，將加速度特征向量與拼接圖像輸入至編碼器，編碼器預(yù)測(cè)生成低維空間形變域，再對(duì)低維空間形變域執(zhí)行頻域轉(zhuǎn)換得到低頻空間形變場(chǎng)，通過解碼器對(duì)低頻空間形變場(chǎng)重建生成空間形變場(chǎng)，基于空間形變場(chǎng)對(duì)待配準(zhǔn)圖像進(jìn)行形變矯正，輸出目標(biāo)配準(zhǔn)圖像。通過將dft技術(shù)引入到圖像配準(zhǔn)中，用小規(guī)模神經(jīng)網(wǎng)絡(luò)獲得其低頻空間形變場(chǎng)，再進(jìn)行idft變換獲得空間形變場(chǎng)，可加速圖像配準(zhǔn)的速度及質(zhì)量。