本公開的各方面整體涉及圖像處理，并且更具體地涉及對圖像幀執(zhí)行以校正圖像幀內(nèi)的移動的圖像處理。一些特征可實現(xiàn)并提供改進(jìn)的圖像處理，包括以改進(jìn)的方式使用運(yùn)動補(bǔ)償時間濾波(mctf)以減小使用mctf技術(shù)來校正圖像幀所需的總體計算資源，尤其是對于已捕獲視頻的圖像幀。

背景技術(shù)：

1、圖像捕獲設(shè)備是可捕獲一個或多個數(shù)字圖像(無論是用于照片的靜止圖像還是用于視頻的圖像序列)的設(shè)備。捕獲設(shè)備可以被結(jié)合到各種設(shè)備中。以舉例的方式，圖像捕獲設(shè)備可包括獨(dú)立數(shù)字相機(jī)或數(shù)字視頻攝像機(jī)、配備有相機(jī)的無線通信設(shè)備手機(jī)(諸如移動電話、蜂窩或衛(wèi)星無線電電話)、個人數(shù)字助理(pda)、面板或平板設(shè)備、游戲設(shè)備、計算設(shè)備(諸如網(wǎng)絡(luò)相機(jī)、視頻監(jiān)測相機(jī))或具有數(shù)字成像或視頻能力的其他設(shè)備。

2、由圖像傳感器捕獲的圖像數(shù)據(jù)量已經(jīng)通過后續(xù)幾代的圖像捕獲設(shè)備而增加。由圖像傳感器捕獲的信息量與圖像捕獲設(shè)備的圖像傳感器中的像素數(shù)量有關(guān)，像素數(shù)量可測量為指示圖像傳感器中數(shù)百萬計的傳感器的數(shù)量的百萬像素的數(shù)量。例如，1200萬像素的圖像傳感器具有1200萬個像素。更高的百萬像素值通常表示更適合用戶觀看的更高分辨率圖像。

3、由圖像捕獲設(shè)備捕獲的增加的圖像數(shù)據(jù)量會隨著附加圖像數(shù)據(jù)獲得的分辨率增加而產(chǎn)生一些負(fù)面影響。附加圖像數(shù)據(jù)會增加圖像捕獲設(shè)備在從圖像數(shù)據(jù)中確定圖像幀和視頻以及執(zhí)行與圖像數(shù)據(jù)相關(guān)的其他操作時執(zhí)行的處理量。例如，在顯示器上向用戶顯示圖像數(shù)據(jù)或在消息中向接收方發(fā)送圖像數(shù)據(jù)之前，可通過若干處理塊來處理圖像數(shù)據(jù)以增強(qiáng)圖像。處理塊中的每一者消耗與圖像捕獲中的圖像數(shù)據(jù)量或百萬像素數(shù)量成比例的附加功率。附加功耗可縮短使用電池電力的圖像捕獲設(shè)備(諸如移動電話)的操作時間。

技術(shù)實現(xiàn)思路

1、下文概括了本公開的一些方面，以提供對所討論的技術(shù)的基本理解。該概括不是對本公開的全部預(yù)期特征的詳盡概述，并且既不旨在標(biāo)識本公開的全部方面的關(guān)鍵或重要元素，也不旨在描繪本公開的任何或全部方面的范圍。該
技術(shù)實現(xiàn)要素：
的唯一目的是以概括的形式給出本公開的一個或多個方面的一些概念，作為稍后給出的更多具體實施方式的前序。

2、在本公開的一些方面，時間濾波可基于在圖像幀內(nèi)檢測到的運(yùn)動來應(yīng)用于或不應(yīng)用于圖像幀的部分。對圖像數(shù)據(jù)的部分的時間濾波的選擇性操作減小由應(yīng)用時間濾波的處理器執(zhí)行的處理量，這可減小功耗并增加操作速度?？蓱?yīng)用時間濾波以移除圖像幀內(nèi)的由在捕獲用于合成為單個靜止圖像或作為視頻序列的一部分的圖像幀時對象的移動引起的失真。例如，選擇性地應(yīng)用于圖像幀的區(qū)域的時間濾波可減小由圖像幀內(nèi)的模糊和/或混合在一起的一個或多個對象的移動引起的失真。

3、運(yùn)動圖可指示在第一圖像幀中的第二圖像幀內(nèi)描繪的對象的局部移動。附加地或另選地，運(yùn)動圖可反映用于捕獲圖像幀的設(shè)備的全局運(yùn)動。還可基于運(yùn)動圖來標(biāo)識運(yùn)動熱點(diǎn)。運(yùn)動熱點(diǎn)可標(biāo)識第二圖像幀的包含或可能包含運(yùn)動失真和/或運(yùn)動偽影的對應(yīng)部分。具體地，可確定運(yùn)動熱點(diǎn)以標(biāo)識第二圖像幀的具有大于或等于預(yù)定閾值的運(yùn)動的部分。然后可將時間濾波過程應(yīng)用于該第二圖像幀的位于運(yùn)動熱點(diǎn)內(nèi)的部分以生成校正圖像幀。應(yīng)用時間濾波過程可包括確定圖像變換矩陣，諸如運(yùn)動補(bǔ)償變換矩陣?？苫谶\(yùn)動圖和/或第一圖像幀和第二圖像幀來確定圖像變換矩陣?？纱_定圖像變換矩陣，使得當(dāng)應(yīng)用于第二圖像幀的像素或其他部分(例如，塊、超級塊、宏塊、區(qū)域)時，運(yùn)動失真和/或運(yùn)動偽影被校正(例如，移除、減少)。然后可將校正圖像幀添加到輸出文件?？芍貜?fù)該過程以處理多個圖像幀。例如，可跨全部所接收的圖像幀順序地重復(fù)該過程(例如，以捕獲和/或接收圖像幀的順序)。

4、在一些方面，應(yīng)用于校正圖像幀的時間濾波過程是運(yùn)動補(bǔ)償時間濾波(mctf)過程。mctf通過基于當(dāng)前幀相對于前一幀的全局和/或局部運(yùn)動確定對運(yùn)動區(qū)域進(jìn)行濾波來減少視頻中的噪聲和/或運(yùn)動偽影。當(dāng)處理在視場(fov)內(nèi)的具有有限運(yùn)動的場景時，僅對滿足某些標(biāo)準(zhǔn)的標(biāo)識區(qū)域選擇性地執(zhí)行mctf濾波可減小核心功耗。

5、在一些方面，本文所描述的技術(shù)涉及一種方法，該方法包括：接收第一圖像幀和第二圖像幀；基于該第二圖像幀和該第一圖像幀來確定運(yùn)動圖；基于該運(yùn)動圖來確定該第二圖像幀的具有滿足至少一個標(biāo)準(zhǔn)的運(yùn)動的區(qū)域；以及通過將時間濾波過程應(yīng)用于該區(qū)域來確定校正圖像幀。

6、在一些方面，本文所描述的技術(shù)涉及一種裝置，該裝置包括：存儲器，該存儲器存儲處理器可讀代碼；和至少一個處理器，該至少一個處理器耦合到該存儲器，該至少一個處理器被配置為執(zhí)行該處理器可讀代碼以使該至少一個處理器執(zhí)行包括以下的操作：接收第一圖像幀和第二圖像幀；基于該第二圖像幀和該第一圖像幀來確定運(yùn)動圖；基于該運(yùn)動圖來確定該第二圖像幀的具有滿足至少一個標(biāo)準(zhǔn)的運(yùn)動的區(qū)域；以及通過將時間濾波過程應(yīng)用于該區(qū)域來確定校正圖像幀。

7、在一些方面，本文所描述的技術(shù)涉及一種存儲指令的非暫態(tài)計算機(jī)可讀介質(zhì)，該指令在由處理器執(zhí)行時使該處理器執(zhí)行包括以下的操作：接收第一圖像幀和第二圖像幀；基于該第二圖像幀和該第一圖像幀來確定運(yùn)動圖；基于該運(yùn)動圖來確定該第二圖像幀的具有滿足至少一個標(biāo)準(zhǔn)的運(yùn)動的區(qū)域；以及通過將時間濾波過程應(yīng)用于該區(qū)域來確定校正圖像幀。

8、在一些方面，本文所描述的技術(shù)涉及一種圖像捕獲設(shè)備，該圖像捕獲設(shè)備包括：圖像傳感器；存儲器，該存儲器存儲處理器可讀代碼；和至少一個處理器，該至少一個處理器耦合到該存儲器和該圖像傳感器，該至少一個處理器被配置為執(zhí)行該處理器可讀代碼以使該至少一個處理器：在從該圖像傳感器接收的圖像數(shù)據(jù)中接收第一圖像幀和第二圖像幀；基于該第二圖像幀和該第一圖像幀來確定運(yùn)動圖；基于該運(yùn)動圖來確定該第二圖像幀的具有滿足至少一個標(biāo)準(zhǔn)的運(yùn)動的區(qū)域；以及通過將時間濾波過程應(yīng)用于該區(qū)域來確定校正圖像幀。

9、本文中所描述的圖像處理方法可由圖像捕獲設(shè)備執(zhí)行并且/或者對由一個或多個圖像捕獲設(shè)備捕獲的圖像數(shù)據(jù)執(zhí)行。圖像捕獲設(shè)備(可捕獲一個或多個數(shù)字圖像，無論是靜止圖像照片還是視頻的圖像序列的設(shè)備)可被結(jié)合到各種設(shè)備中。以舉例的方式，圖像捕獲設(shè)備可包括獨(dú)立數(shù)字相機(jī)或數(shù)字視頻攝像機(jī)、配備有相機(jī)的無線通信設(shè)備手機(jī)(諸如移動電話、蜂窩或衛(wèi)星無線電電話)、個人數(shù)字助理(pda)、面板或平板設(shè)備、游戲設(shè)備、計算設(shè)備(諸如網(wǎng)絡(luò)相機(jī)、視頻監(jiān)測相機(jī))或具有數(shù)字成像或視頻能力的其他設(shè)備。

10、本文所描述的圖像處理技術(shù)可涉及具有圖像傳感器和處理電路(例如，專用集成電路(asic)、數(shù)字信號處理器(dsp)、圖形處理單元(gpu)或中央處理單元(cpu))的數(shù)字相機(jī)。圖像信號處理器(isp)可包括這些處理電路中的一者或多者并且被配置為執(zhí)行操作以獲得圖像數(shù)據(jù)以供根據(jù)本文所描述的和/或本文所描述的圖像處理技術(shù)中所涉及的圖像處理技術(shù)進(jìn)行處理。isp可被配置為控制對來自一個或多個圖像傳感器的圖像幀的捕獲并且確定來自該一個或多個圖像傳感器的一個或多個圖像幀以生成輸出圖像幀中的場景的視圖。輸出圖像幀可以是形成視頻序列的圖像幀序列的一部分。視頻序列可包括從圖像傳感器或其他圖像傳感器接收的其他圖像幀。

11、在示例應(yīng)用中，圖像信號處理器(isp)可響應(yīng)于軟件(諸如相機(jī)應(yīng)用)的加載來接收用于捕獲圖像幀序列的指令，以從圖像捕獲設(shè)備產(chǎn)生預(yù)覽顯示。圖像信號處理器可被配置為基于從一個或多個圖像傳感器接收的圖像幀產(chǎn)生單個輸出圖像幀流。單個輸出圖像幀流可包括來自圖像傳感器的原始圖像數(shù)據(jù)、來自圖像傳感器的合并圖像數(shù)據(jù)，或由圖像信號處理器內(nèi)的一個或多個算法處理的校正圖像數(shù)據(jù)。例如，可通過圖像后處理引擎(ipe)和/或其他圖像處理電路來處理圖像幀以在圖像信號處理器中處理從圖像傳感器獲得的圖像幀(該圖像幀在輸出到圖像信號處理器之前可能已對數(shù)據(jù)執(zhí)行一些處理)，從而執(zhí)行色調(diào)映射、肖像照明、對比度增強(qiáng)、伽馬校正等中的一者或多者。來自isp的輸出圖像幀可存儲在存儲器中并且由執(zhí)行相機(jī)應(yīng)用的應(yīng)用處理器檢索，該應(yīng)用處理器可對輸出圖像幀執(zhí)行進(jìn)一步處理以調(diào)整輸出圖像幀的外觀并且在顯示器上再現(xiàn)輸出圖像幀以供用戶觀看。

12、在由圖像信號處理器和/或應(yīng)用處理器(諸如通過本文各個實施方案中所描述的圖像處理技術(shù))確定表示場景的輸出幀之后，輸出圖像幀可作為單個靜止圖像和/或作為視頻序列的一部分顯示在設(shè)備顯示器上，作為圖片或視頻序列保存到存儲設(shè)備，通過網(wǎng)絡(luò)發(fā)送，和/或打印到輸出介質(zhì)。例如，圖像信號處理器(isp)可被配置為從一個或多個圖像傳感器獲得圖像數(shù)據(jù)(例如，像素值)的輸入幀，并且繼而產(chǎn)生對應(yīng)的輸出圖像幀(例如，預(yù)覽顯示幀、靜止圖像捕獲、用于視頻的幀、用于對象跟蹤的幀等)。在其他示例中，圖像信號處理器可將圖像幀輸出到各種輸出設(shè)備和/或相機(jī)模塊以供進(jìn)一步處理，諸如用于3a參數(shù)同步(例如，自動對焦(af)、自動白平衡(awb)和自動曝光控制(aec))、經(jīng)由輸出幀產(chǎn)生視頻文件、配置幀以供顯示、配置幀以供存儲、通過網(wǎng)絡(luò)連接來發(fā)送幀等。一般來說，圖像信號處理器(isp)可從一個或多個圖像傳感器獲得傳入幀，產(chǎn)生輸出幀流并且將輸出幀流輸出到各種輸出目的地。

13、在一些方面，可通過將本公開的圖像校正的各方面與諸如高動態(tài)范圍(hdr)攝影或多幀噪聲減少(mfnr)的其他計算攝影技巧組合來產(chǎn)生輸出圖像幀。在hdr攝影的情況下，使用不同曝光時間、不同光圈、不同鏡頭和/或在組合兩個圖像幀時可使得改進(jìn)融合圖像的動態(tài)范圍的其他特性來捕獲第一圖像幀和第二圖像幀。在一些方面，可針對mfnr攝影執(zhí)行該方法，其中使用相同或不同的曝光時間捕獲第一圖像幀和第二圖像幀，并且將第一圖像幀和第二圖像幀融合以生成校正的第一圖像幀，該校正的第一圖像幀與捕獲的第一圖像幀相比具有減少的噪聲。

14、在一些方面，設(shè)備可包括圖像信號處理器或處理器(例如，應(yīng)用處理器)，該圖像信號處理器或處理器包括用于相機(jī)控制和/或處理的特定功能性，諸如啟用或停用合并模塊或以其他方式控制圖像校正的各方面。本文中所描述的方法和技術(shù)可完全由圖像信號處理器或處理器執(zhí)行，或者各種操作可在圖像信號處理器和處理器之間分割，并且在一些方面跨附加處理器分割。

15、該設(shè)備可包括一個、兩個或更多個圖像傳感器，諸如第一圖像傳感器。當(dāng)存在多個圖像傳感器時，這些圖像傳感器的配置可能不同。例如，第一圖像傳感器可具有比第二圖像傳感器更大的視場(fov)，或者第一圖像傳感器可具有與第二圖像傳感器不同的靈敏度或不同的動態(tài)范圍。在一個示例中，第一圖像傳感器可以是廣角圖像傳感器，并且第二圖像傳感器可以是遠(yuǎn)程圖像傳感器。在另一示例中，第一傳感器被配置為通過具有第一光軸的第一鏡頭獲得圖像，并且第二傳感器被配置為通過具有與第一光軸不同的第二光軸的第二鏡頭獲得圖像。附加地或另選地，第一鏡頭可具有第一放大率，并且第二鏡頭可具有與第一放大率不同的第二放大率。這些或其他配置中的任一配置都可以是移動設(shè)備上的鏡頭群集的一部分，諸如其中多個圖像傳感器和相關(guān)聯(lián)的鏡頭位于移動設(shè)備的前側(cè)或后側(cè)上的偏移位置?？砂ň哂懈?、更小或相同視場的附加圖像傳感器。本文中所描述的圖像處理技術(shù)可應(yīng)用于從多傳感器設(shè)備中的圖像傳感器中的任一者捕獲的圖像幀。

16、在本公開的附加方面，公開了一種被配置用于圖像處理和/或圖像捕獲的設(shè)備。該裝置包括用于捕獲圖像幀的部件。該裝置還包括用于捕獲表示場景的數(shù)據(jù)的一個或多個部件，諸如圖像傳感器(包括電荷耦合器件(ccd)、拜耳濾波器傳感器、紅外(ir)檢測器、紫外(uv)檢測器、互補(bǔ)金屬氧化物半導(dǎo)體(cmos)傳感器)和飛行時間檢測器。該裝置還可以包括用于將光線聚集和/或聚焦到一個或多個圖像傳感器(包括簡單鏡頭、復(fù)合鏡頭、球面鏡頭和非球面鏡頭)中的一個或多個部件?？梢钥刂七@些組件以捕獲輸入到本文中所描述的圖像處理技術(shù)的第一圖像幀和/或第二圖像幀。

17、對于本領(lǐng)域普通技術(shù)人員來說，在結(jié)合附圖回顧特定示例性方面的以下描述時，其他方面、特征和具體實施將變得顯而易見。盡管各特征在以下可能是針對某些方面和附圖來討論的，但各種方面可包括本文所討論的有利特征中的一者或多者。換言之，雖然一個或多個方面可能被討論具有某些有利的特征，但是根據(jù)各種方面，也可以使用這樣的特征中的一個或多個特征。以類似方式，盡管示例性方面在下文可能是作為設(shè)備、系統(tǒng)或方法方面進(jìn)行討論的，但是示例性方面可以在各種設(shè)備、系統(tǒng)、和方法中實現(xiàn)。

18、該方法可以作為計算機(jī)程序代碼嵌入在計算機(jī)可讀介質(zhì)中，該計算機(jī)程序代碼包括使處理器執(zhí)行該方法的步驟的指令。在一些實施方案中，該處理器可以是移動設(shè)備的一部分，該移動設(shè)備包括：第一網(wǎng)絡(luò)適配器，該第一網(wǎng)絡(luò)適配器被配置為通過多個網(wǎng)絡(luò)連接中的第一網(wǎng)絡(luò)連接來發(fā)送數(shù)據(jù)，諸如作為記錄數(shù)據(jù)或作為流數(shù)據(jù)的圖像或視頻；和處理器，該處理器耦合到第一網(wǎng)絡(luò)適配器和存儲器。該處理器可使本文所描述的輸出圖像幀通過無線通信網(wǎng)絡(luò)(諸如5g?nr通信網(wǎng)絡(luò))發(fā)送。

19、上文已相當(dāng)廣泛地概述了根據(jù)本公開的示例的特征和技術(shù)優(yōu)點(diǎn)，以便可更好地理解下面的具體實施方式。下文將描述附加特征和優(yōu)點(diǎn)。所公開的概念和特定示例可容易地被用作用于修改或設(shè)計用于實現(xiàn)本公開的相同目的的其他結(jié)構(gòu)的基礎(chǔ)。此類等效構(gòu)造不脫離所附權(quán)利要求書的范圍。當(dāng)結(jié)合附圖考慮時，根據(jù)以下描述將更好地理解本文中所公開的概念的特性(其組織和操作方法兩者)以及相關(guān)聯(lián)的優(yōu)點(diǎn)。提供附圖中的每個附圖是出于例示和描述的目的，而不是作為對權(quán)利要求的限制的定義。

20、雖然在本技術(shù)中通過一些示例的例示來描述各方面和具體實施，但是本領(lǐng)域技術(shù)人員將理解的是，在許多不同布置和場景中可能產(chǎn)生附加的具體實施和用例。本文所描述的創(chuàng)新可跨許多不同的平臺類型、設(shè)備、系統(tǒng)、形狀、大小和封裝布置來實現(xiàn)。例如，方面和/或使用可經(jīng)由集成芯片具體實施和其他基于非模塊組件的設(shè)備(例如，終端用戶設(shè)備、交通工具、通信設(shè)備、計算設(shè)備、工業(yè)裝備、零售/購買設(shè)備、醫(yī)療設(shè)備、啟用人工智能(ai)的設(shè)備等)來產(chǎn)生。雖然一些示例可以專門或可以不專門指向用例或應(yīng)用，但是可出現(xiàn)所描述的創(chuàng)新的各類的適用性。具體實施的范圍可從芯片級或模塊組件至非模塊、非芯片級具體實施，并進(jìn)一步至結(jié)合所描述創(chuàng)新的一個或多個方面的聚合的、分布式或原始裝備制造商(oem)設(shè)備或系統(tǒng)。在一些實踐環(huán)境中，結(jié)合所描述的各方面和特征的設(shè)備還可必要地包括用于實施和實踐所要求保護(hù)并描述的各方面的附加組件和特征。例如，無線信號的發(fā)送和接收必要地包括用于模擬和數(shù)字目的的多個組件(例如，硬件組件，包括天線、射頻(rf)鏈、功率放大器、調(diào)制器、緩沖器、處理器、交織器、加法器/求和器等)。本文所描述的創(chuàng)新旨在可在具有不同大小、形狀和構(gòu)造的各種設(shè)備、芯片級組件、系統(tǒng)、分布式布置、終端用戶設(shè)備等中實踐。