本公開的各方面一般涉及圖像處理，并且更具體地涉及處理圖像以校正運動偽影和其他誤差。一些特征可實現和提供改進的圖像處理，包括使用時間濾波處理圖像。

背景技術：

1、圖像捕獲設備是可捕獲一個或多個數字圖像(無論是用于照片的靜止圖像還是用于視頻的圖像序列)的設備。捕獲設備可以被結合到各種設備中。以舉例的方式，圖像捕獲設備可包括獨立數字相機或數字視頻攝像機、配備有相機的無線通信設備手機(諸如移動電話、蜂窩或衛(wèi)星無線電電話)、個人數字助理(pda)、面板或平板設備、游戲設備、計算設備(諸如網絡相機、視頻監(jiān)測相機)或具有數字成像或視頻能力的其他設備。

2、在捕獲圖像幀(即，用于合成為單個靜止圖像的圖像幀、用作視頻序列的一部分的圖像幀)時對象的移動可能在圖像幀內產生各種失真。例如，圖像幀內的一個或多個對象的移動可能使這些對象模糊和/或混合在一起或者可能在捕獲的圖像幀內留下運動偽影。

技術實現思路

1、下文概括了本公開的一些方面，以提供對所討論的技術的基本理解。該概括不是對本公開的全部預期特征的詳盡概述，并且既不旨在標識本公開的全部方面的關鍵或重要元素，也不旨在描繪本公開的任何或全部方面的范圍。該
技術實現要素：
的唯一目的是以概括的形式給出本公開的一個或多個方面的一些概念，作為稍后給出的更多具體實施方式的前序。

2、圖像幀可被接收，以檢測和校正圖像幀內的運動失真和運動偽影。圖像幀可被分析(例如，順序地分析)以校正這些誤差。較早的第一圖像幀可與較晚的第二圖像幀進行比較以生成運動圖，該運動圖可指示第一圖像幀內相對于第二圖像幀的運動。例如，運動圖可指示第二圖像幀內描繪的對象在第一圖像幀中的局部移動。附加地或另選地，運動圖可反映用于捕獲圖像幀的設備的全局運動。增益圖可針對第一圖像幀計算。例如，增益圖可被計算，以校正或平衡第一圖像幀內的亮度值。用于時間濾波過程的一個或多個參數可基于運動圖和/或增益圖計算。例如，動態(tài)運動混合強度可基于運動圖確定，并且/或者動態(tài)空間混合強度可基于增益圖確定。

3、時間濾波過程可根據一個或多個參數應用于第一圖像幀，以生成第一圖像幀的校正圖像幀。時間濾波過程可混合第一圖像幀的多個版本，包括第一圖像幀的原始版本、第一圖像幀的對齊版本和第一圖像幀的去噪版本。動態(tài)運動混合強度可調整第一圖像幀的對齊版本被混合以生成校正圖像幀的強度。動態(tài)空間混合強度可調整第一圖像幀的去噪版本被混合以生成校正圖像幀的強度。時間濾波過程可在每像素的基礎上應用，以生成校正圖像幀。然后校正圖像幀可被添加到輸出文件。該過程可被重復以處理多個圖像幀。例如，該過程可跨接收到的圖像幀中的所有圖像幀順序地重復(例如，以圖像幀被捕獲和/或接收的順序)。

4、時間濾波混合來自相鄰圖像的像素以減少時間噪聲。在一些具體實施中，差異閾值通知混合強度。此外，幀可基于局部增益對齊，并且可被調整以補償待混合的幀之間的運動和/或亮度變化。這些調整可能由于局部增益補償而導致對齊失真和/或不平衡的噪聲水平。本公開部分地描述了使用運動量值和增益圖來調整圖像幀內的混合強度(諸如在逐像素的基礎上)的技術。更具體地，運動量值可用于調整時間濾波閾值和混合強度，因為運動扭曲區(qū)域可能在噪聲和真實信號之間具有更近的間隙。例如，時間濾波閾值在具有較高運動的區(qū)域中可被減小，以保持小的局部運動扭曲的益處，同時避免由具有大量運動的混合像素引入的偽影。此外，增益圖可用于調整時間濾波強度，因為噪聲和信號兩者都由局部增益放大。

5、在本公開的一個方面，一種用于圖像處理的方法包括：接收包括第一圖像幀的圖像數據；確定第一圖像幀的增益圖或第一圖像幀的運動圖中的至少一者；基于增益圖和運動圖中的至少一者確定用于時間濾波過程的至少一個參數；以及通過基于至少一個參數對第一圖像幀進行時間濾波來確定校正圖像幀。

6、在本公開的附加方面，一種裝置包括至少一個處理器和耦合到該至少一個處理器的存儲器。該至少一個處理器被配置為接收包括第一圖像幀的圖像數據；確定第一圖像幀的增益圖或第一圖像幀的運動圖中的至少一者；基于增益圖和運動圖中的至少一者確定用于時間濾波過程的至少一個參數；以及通過基于至少一個參數對第一圖像幀進行時間濾波來確定校正圖像幀。

7、在本公開的一個方面，一種用于圖像處理的方法包括：接收包括第一圖像幀的圖像數據；確定第一圖像幀的運動圖，該運動圖標識第一圖像幀內的移動；基于運動圖和第一圖像幀確定對齊幀，其中對齊幀校正第一圖像幀內的移動失真；基于運動圖確定動態(tài)運動混合強度；以及通過基于動態(tài)運動混合強度對第一圖像幀和對齊幀進行時間濾波來確定校正圖像幀。

8、在本公開的附加方面，一種裝置包括至少一個處理器和耦合到該至少一個處理器的存儲器。該至少一個處理器被配置為執(zhí)行處理器可讀代碼，以使該至少一個處理器執(zhí)行操作，該操作包括：接收包括第一圖像幀的圖像數據；確定第一圖像幀的運動圖，該運動圖標識第一圖像幀內的移動；基于運動圖和第一圖像幀確定對齊幀，其中對齊幀校正第一圖像幀內的移動失真；基于運動圖確定動態(tài)運動混合強度；以及通過基于動態(tài)運動混合強度對第一圖像幀和對齊幀進行時間濾波來確定校正圖像幀。

9、本文中所描述的圖像處理方法可由圖像捕獲設備執(zhí)行并且/或者對由一個或多個圖像捕獲設備捕獲的圖像數據執(zhí)行。圖像捕獲設備(可捕獲一個或多個數字圖像，無論是靜止圖像照片還是視頻的圖像序列的設備)可被結合到各種設備中。以舉例的方式，圖像捕獲設備可包括獨立數字相機或數字視頻攝像機、配備有相機的無線通信設備手機(諸如移動電話、蜂窩或衛(wèi)星無線電電話)、個人數字助理(pda)、面板或平板設備、游戲設備、計算設備(諸如網絡相機、視頻監(jiān)測相機)或具有數字成像或視頻能力的其他設備。

10、本文所描述的圖像處理技術可涉及具有圖像傳感器和處理電路(例如，專用集成電路(asic)、數字信號處理器(dsp)、圖形處理單元(gpu)或中央處理單元(cpu))的數字相機。圖像信號處理器(isp)可包括這些處理電路中的一者或多者并且可被配置為執(zhí)行操作以獲得圖像數據以供根據本文所描述的和/或本文所描述的圖像處理技術中所涉及的圖像處理技術進行處理。isp可被配置為控制對來自一個或多個圖像傳感器的圖像幀的捕獲并且確定來自該一個或多個圖像傳感器的一個或多個圖像幀以生成輸出圖像幀中的場景的視圖。輸出圖像幀可以是形成視頻序列的圖像幀序列的一部分。視頻序列可包括從圖像傳感器或其他圖像傳感器接收的其他圖像幀。

11、在示例應用中，圖像信號處理器(isp)可響應于軟件(諸如相機應用)的加載來接收用于捕獲圖像幀序列的指令，以從圖像捕獲設備產生預覽顯示。圖像信號處理器可被配置為基于從一個或多個圖像傳感器接收的圖像幀產生單個輸出圖像幀流。單個輸出圖像幀流可包括來自圖像傳感器的原始圖像數據、來自圖像傳感器的合并圖像數據，或由圖像信號處理器內的一個或多個算法處理的校正圖像數據。例如，可通過圖像后處理引擎(ipe)和/或其他圖像處理電路來處理圖像幀以在圖像信號處理器中處理從圖像傳感器獲得的圖像幀(該圖像幀在輸出到圖像信號處理器之前可能已對數據執(zhí)行一些處理)，從而執(zhí)行色調映射、肖像照明、對比度增強、伽馬校正等中的一者或多者。來自isp的輸出圖像幀可存儲在存儲器中并且由執(zhí)行相機應用的應用處理器檢索，該應用處理器可對輸出圖像幀執(zhí)行進一步處理以調整輸出圖像幀的外觀并且在顯示器上再現輸出圖像幀以供用戶觀看。

12、在由圖像信號處理器和/或應用處理器(諸如通過本文各個實施方案中所描述的圖像處理技術)確定表示場景的輸出幀之后，輸出圖像幀可作為單個靜止圖像和/或作為視頻序列的一部分顯示在設備顯示器上，作為圖片或視頻序列保存到存儲設備，通過網絡發(fā)送，并且/或者打印到輸出介質。例如，圖像信號處理器(isp)可被配置為從一個或多個圖像傳感器獲得圖像數據(例如，像素值)的輸入幀，并且繼而產生對應的輸出圖像幀(例如，預覽顯示幀、靜止圖像捕獲、用于視頻的幀、用于對象跟蹤的幀等)。在其他示例中，圖像信號處理器可將圖像幀輸出到各種輸出設備和/或相機模塊以供進一步處理，諸如用于3a參數同步(例如，自動對焦(af)、自動白平衡(awb)和自動曝光控制(aec))、經由輸出幀產生視頻文件、配置幀以供顯示、配置幀以供存儲、通過網絡連接來發(fā)送幀等。一般來說，圖像信號處理器(isp)可從一個或多個圖像傳感器獲得傳入幀，以及產生輸出幀流并且將輸出幀流輸出到各種輸出目的地。

13、在一些方面，可通過將本公開的圖像校正的各方面與諸如高動態(tài)范圍(hdr)攝影或多幀噪聲減少(mfnr)的其他計算攝影技巧組合來產生輸出圖像幀。在hdr攝影的情況下，使用不同曝光時間、不同光圈、不同鏡頭和/或在組合兩個圖像幀時可導致融合圖像的改進的動態(tài)范圍的其他特性來捕獲第一圖像幀和第二圖像幀。在一些方面，可針對mfnr攝影執(zhí)行該方法，其中使用相同或不同的曝光時間捕獲第一圖像幀和第二圖像幀，并且將第一圖像幀和第二圖像幀融合以生成校正的第一圖像幀，該校正的第一圖像幀與捕獲的第一圖像幀相比具有減少的噪聲。

14、在一些方面，設備可包括圖像信號處理器或處理器(例如，應用處理器)，該圖像信號處理器或處理器包括用于相機控制和/或處理的特定功能性，諸如啟用或停用合并模塊或以其他方式控制圖像校正的各方面。本文中所描述的方法和技術可完全由圖像信號處理器或處理器執(zhí)行，或者各種操作可在圖像信號處理器和處理器之間分割，并且在一些方面跨附加處理器分割。

15、該設備可包括一個、兩個或更多個圖像傳感器，諸如第一圖像傳感器。當存在多個圖像傳感器時，這些圖像傳感器的配置可能不同。例如，第一圖像傳感器可具有比第二圖像傳感器更大的視場(fov)，或者第一圖像傳感器可具有與第二圖像傳感器不同的靈敏度或不同的動態(tài)范圍。在一個示例中，第一圖像傳感器可以是廣角圖像傳感器，并且第二圖像傳感器可以是遠程圖像傳感器。在另一示例中，第一傳感器被配置為通過具有第一光軸的第一鏡頭獲得圖像，并且第二傳感器被配置為通過具有與第一光軸不同的第二光軸的第二鏡頭獲得圖像。附加地或另選地，第一鏡頭可具有第一放大率，并且第二鏡頭可具有與第一放大率不同的第二放大率。這些或其他配置中的任一配置都可以是移動設備上的鏡頭群集的一部分，諸如其中多個圖像傳感器和相關聯(lián)的鏡頭位于移動設備的前側或后側上的偏移位置?？砂ň哂懈?、更小或相同視場的附加圖像傳感器。本文中所描述的圖像處理技術可應用于從多傳感器設備中的圖像傳感器中的任一者捕獲的圖像幀。

16、在本公開的附加方面，公開了一種被配置用于圖像處理和/或圖像捕獲的設備。該裝置包括用于捕獲圖像幀的部件。該裝置還包括用于捕獲表示場景的數據的一個或多個部件，諸如圖像傳感器(包括電荷耦合器件(ccd)、拜耳濾波器傳感器、紅外(ir)檢測器、紫外(uv)檢測器、互補金屬氧化物半導體(cmos)傳感器)和飛行時間檢測器。該裝置還可以包括用于將光線聚集和/或聚焦到一個或多個圖像傳感器(包括簡單鏡頭、復合鏡頭、球面鏡頭和非球面鏡頭)中的一個或多個部件。可以控制這些組件以捕獲輸入到本文中所描述的圖像處理技術的第一圖像幀和/或第二圖像幀。

17、對于本領域普通技術人員來說，在結合附圖回顧特定示例性方面的以下描述時，其他方面、特征和具體實施將變得顯而易見。盡管各特征在以下可能是針對某些方面和附圖來討論的，但各個方面可包括本文所討論的有利特征中的一者或多者。換言之，雖然一個或多個方面可能被討論具有某些有利的特征，但是根據各個方面，也可以使用這樣的特征中的一個或多個特征。以類似方式，盡管示例性方面在下文可能是作為設備、系統(tǒng)或方法方面進行討論的，但是示例性方面可以在各種設備、系統(tǒng)、和方法中實現。

18、該方法可以作為計算機程序代碼嵌入在計算機可讀介質中，該計算機程序代碼包括使處理器執(zhí)行該方法的步驟的指令。在一些實施方案中，該處理器可以是移動設備的一部分，該移動設備包括：第一網絡適配器，該第一網絡適配器被配置為通過多個網絡連接中的第一網絡連接來發(fā)送數據，諸如記錄的圖像或視頻或者流數據；和處理器，該處理器耦合到第一網絡適配器和存儲器。該處理器可使本文所描述的輸出圖像幀通過無線通信網絡(諸如5g?nr通信網絡)發(fā)送。

19、上文已相當廣泛地概述了根據本公開的示例的特征和技術優(yōu)點，以便可更好地理解下面的具體實施方式。下文將描述附加特征和優(yōu)點。所公開的概念和特定示例可容易地被用作用于修改或設計用于實現本公開的相同目的的其他結構的基礎。此類等效構造不背離所附權利要求書的范圍。當結合附圖考慮時，根據以下描述將更好地理解本文中所公開的概念的特性(其組織和操作方法兩者)以及相關聯(lián)的優(yōu)點。提供附圖中的每個附圖是出于例示和描述的目的，而不是作為對權利要求的限制的定義。

20、雖然在本技術中通過一些示例的例示來描述各方面和具體實施，但是本領域技術人員將理解的是，在許多不同布置和場景中可能產生附加的具體實施和用例。本文所描述的創(chuàng)新可跨許多不同的平臺類型、設備、系統(tǒng)、形狀、大小和封裝布置來實現。例如，方面和/或使用可經由集成芯片具體實施和其他基于非模塊組件的設備(例如，終端用戶設備、交通工具、通信設備、計算設備、工業(yè)裝備、零售/購買設備、醫(yī)療設備、啟用人工智能(ai)的設備等)來產生。雖然一些示例可能專門或可能不專門指向用例或應用，但是可出現所描述的創(chuàng)新的各類的適用性。具體實施的范圍可從芯片級或模塊組件至非模塊、非芯片級具體實施，并進一步至結合所描述創(chuàng)新的一個或多個方面的聚合的、分布式或原始裝備制造商(oem)設備或系統(tǒng)。在一些實踐環(huán)境中，結合所描述的各方面和特征的設備還可必要地包括用于實施和實踐所要求保護并描述的各方面的附加組件和特征。例如，無線信號的發(fā)送和接收必要地包括用于模擬和數字目的的多個組件(例如，硬件組件，包括天線、射頻(rf)鏈、功率放大器、調制器、緩沖器、處理器、交織器、加法器/求和器等)。本文所描述的創(chuàng)新旨在可在具有不同尺寸、形狀和構造的各種設備、芯片級組件、系統(tǒng)、分布式布置、終端用戶設備等中實踐。