一種圖像處理方法及裝置制造方法
【專利摘要】本發(fā)明實(shí)施例公開了一種圖像處理方法及裝置，涉及圖像處理領(lǐng)域，使智能終端運(yùn)動(dòng)的情況下獲得一張場(chǎng)景內(nèi)不同拍攝主題都清晰的圖像。該方法包括：在智能終端運(yùn)動(dòng)的狀態(tài)下采集同一場(chǎng)景的至少兩張不同焦點(diǎn)的圖像；在至少兩張圖像中任意選擇一張作為模板，對(duì)至少兩張圖像提取特征點(diǎn)，分別對(duì)至少兩張圖像中除模板外的圖像的特征點(diǎn)與模板的特征點(diǎn)進(jìn)行匹配，根據(jù)匹配成功的特征點(diǎn)對(duì)，獲取至少兩張圖像中除模板外的圖像與模板之間的變換參數(shù)；根據(jù)變換參數(shù)對(duì)除模板外的圖像進(jìn)行變換，將模板和變換后的圖像作為至少兩張圖像的配準(zhǔn)結(jié)果；將配準(zhǔn)結(jié)果進(jìn)行融合，獲取融合后的圖像。本發(fā)明的實(shí)施例應(yīng)用于圖像處理。
【專利說明】一種圖像處理方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種圖像處理方法及裝置。

【背景技術(shù)】
[0002] 目前移動(dòng)智能終端的圖像攝取方法，主要是智能終端對(duì)圖像攝取的場(chǎng)景進(jìn)行對(duì) 焦，獲取焦點(diǎn)所在的焦平面，通過圖像信號(hào)處理器獲得數(shù)字圖像，其中，不在焦平面附近深 度的主題在照片中的圖像會(huì)顯得模糊。
[0003] 多焦疊加技術(shù)采用數(shù)字圖像處理的方法，把同一場(chǎng)景下拍攝的多張不同焦點(diǎn)的圖 像里的細(xì)節(jié)信息綜合在一起，形成一個(gè)所有主題都清晰的照片，但是，移動(dòng)終端在拍攝時(shí)的 運(yùn)動(dòng)會(huì)導(dǎo)致多張圖像的差異而導(dǎo)致多焦疊加技術(shù)無法正常實(shí)現(xiàn)，獲取的圖像會(huì)有重影。
[0004] 因此，如何在智能終端運(yùn)動(dòng)的情況下獲取一張場(chǎng)景內(nèi)不同拍攝主題都清晰的圖像 是有待解決的問題。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的實(shí)施例提供一種圖像處理方法及裝置，能夠在智能終端運(yùn)動(dòng)的情況下獲 得一張場(chǎng)景內(nèi)不同拍攝主題都清晰的圖像。
[0006] 本發(fā)明的實(shí)施例采用如下技術(shù)方案：
[0007] 第一方面，提供一種圖像處理方法，應(yīng)用于智能智能終端，包括：
[0008] 在所述智能終端運(yùn)動(dòng)的狀態(tài)下采集同一場(chǎng)景的至少兩張圖像，所述至少兩張圖像 采用不同的焦點(diǎn)；
[0009] 在所述至少兩張圖像中任意選擇一張作為模板，對(duì)所述至少兩張圖像提取特征 點(diǎn)，分別對(duì)所述至少兩張圖像中除所述模板外的圖像的特征點(diǎn)與所述模板的特征點(diǎn)進(jìn)行匹 配，獲取匹配成功的特征點(diǎn)對(duì)，根據(jù)所述匹配成功的特征點(diǎn)對(duì)，獲取所述至少兩張圖像中除 所述模板外的圖像與所述模板之間的變換參數(shù)；
[0010] 根據(jù)所述變換參數(shù)對(duì)所述至少兩張圖像中除所述模板外的圖像進(jìn)行變換，將所述 模板和變換后的圖像作為所述至少兩張圖像的配準(zhǔn)結(jié)果；
[0011] 將所述至少兩張圖像的配準(zhǔn)結(jié)果進(jìn)行焦點(diǎn)融合，獲取融合后的圖像。
[0012] 在第一種可能的實(shí)現(xiàn)方式中，結(jié)合第一方面，所述對(duì)所述至少兩張圖像提取特征 點(diǎn)，分別對(duì)所述至少兩張圖像中除所述模板外的圖像的特征點(diǎn)與所述模板的特征點(diǎn)進(jìn)行匹 配，獲取匹配成功的特征點(diǎn)對(duì)，具體包括：
[0013] 根據(jù)特征點(diǎn)提取算法分別在所述至少兩張圖像中提取特征點(diǎn)及所述特征點(diǎn)的特 征描述符；
[0014] 分別將屬于不同圖像中的所述特征點(diǎn)的特征描述符的值與所述模板中的相應(yīng)特 征點(diǎn)的特征描述符的值進(jìn)行對(duì)比，選擇特征描述符的值與所述模板中的相應(yīng)特征點(diǎn)的特征 描述符的值的差在預(yù)設(shè)范圍內(nèi)的特征點(diǎn)作為匹配成功的特征點(diǎn)對(duì)。
[0015] 在第二種可能的實(shí)現(xiàn)方式中，結(jié)合第一種可能的實(shí)現(xiàn)方式，所述特征描述符包括： 特征點(diǎn)所在鄰域的邊緣、輪廓、梯度信息。
[0016] 在第三種可能的實(shí)現(xiàn)方式中，結(jié)合第一方面，所述獲取所述至少兩張圖像中除所 述模板外的圖像與所述模板之間的變換參數(shù)，還包括：
[0017] 獲取采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位移，根據(jù)采集所述至少兩 張圖像時(shí)所述智能終端的鏡頭的位移，獲取所述至少兩張圖像的圖像尺寸差異，根據(jù)匹配 成功的特征點(diǎn)對(duì)以及所述圖像尺寸差異，獲取所述變換參數(shù)；
[0018] 或者，
[0019] 獲取采集所述至少兩張圖像時(shí)所述智能終端的位移，根據(jù)采集所述至少兩張圖像 時(shí)所述智能終端的位移，獲取所述至少兩張圖像的圖像平移參數(shù)，根據(jù)匹配成功的特征點(diǎn) 對(duì)以及所述圖像平移參數(shù)，獲取所述變換參數(shù)；
[0020] 或者，
[0021] 獲取采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位移和采集所述至少兩張 圖像時(shí)所述智能終端的位移，根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位移， 獲取所述至少兩張圖像的圖像尺寸差異，根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的位 移獲取所述至少兩張圖像的圖像平移參數(shù)；
[0022] 根據(jù)匹配成功的特征點(diǎn)對(duì)、所述圖像尺寸差異和所述圖像平移參數(shù)，獲取所述至 少兩張圖像之間的變換參數(shù)。
[0023] 在第四種可能的實(shí)現(xiàn)方式中，結(jié)合第一方面，所述根據(jù)所述配準(zhǔn)結(jié)果將變換后的 所述至少兩張圖像進(jìn)行焦點(diǎn)融合，獲取所述融合后的圖像，具體包括：
[0024] 將所述至少兩張圖像的配準(zhǔn)結(jié)果對(duì)應(yīng)到頻域后，按照頻率進(jìn)行分解，分別獲取所 述至少兩張圖像的配準(zhǔn)結(jié)果的至少一個(gè)頻率成分，每個(gè)頻率成分對(duì)應(yīng)圖像中一段固定的頻 率區(qū)間；
[0025] 分別對(duì)比所述至少兩張圖像的配準(zhǔn)結(jié)果中的所述至少一個(gè)頻率成分中的每一相 應(yīng)頻率成分，選取所述每一相應(yīng)頻率成分中梯度較大的頻率成分作為所述融合后的圖像的 至少一個(gè)頻率成分中的頻率成分；
[0026] 根據(jù)所述至少一個(gè)頻率成分中的每一頻率成分，將所述每一頻率成分對(duì)應(yīng)的選取 的所述融合后的圖像的至少一個(gè)頻率成分中的頻率成分進(jìn)行融合，生成所述融合后的圖 像。
[0027] 第二方面，提供一種圖像處理裝置，包括：
[0028] 圖像采集單元，用于在所述圖像處理裝置運(yùn)動(dòng)的狀態(tài)下采集同一場(chǎng)景的至少兩張 圖像，所述至少兩張圖像采用不同的焦點(diǎn)；
[0029] 運(yùn)動(dòng)估計(jì)單元，用于獲取所述圖像采集單元采集的所述至少兩張圖像，在所述至 少兩張圖像中任意選擇一張作為模板，對(duì)所述至少兩張圖像提取特征點(diǎn)，分別對(duì)所述至少 兩張圖像中除所述模板外的圖像的特征點(diǎn)與所述模板的特征點(diǎn)進(jìn)行匹配，獲取匹配成功的 特征點(diǎn)對(duì)，根據(jù)所述匹配成功的特征點(diǎn)對(duì)，獲取所述至少兩張圖像中除所述模板外的圖像 與所述模板之間的變換參數(shù)；
[0030] 圖像配準(zhǔn)單元，用于獲取所述運(yùn)動(dòng)估計(jì)單元獲取的所述至少兩張圖像和所述運(yùn)動(dòng) 估計(jì)單元獲取的變換參數(shù)，根據(jù)所述變換參數(shù)對(duì)所述至少兩張圖像中除所述模板外的圖像 進(jìn)行變換，將所述模板和變換后的圖像作為所述至少兩張圖像的配準(zhǔn)結(jié)果；
[0031] 圖像融合單元，用于獲取所述圖像配準(zhǔn)單元形成的所述至少兩張圖像的配準(zhǔn)結(jié) 果，將所述至少兩張圖像的配準(zhǔn)結(jié)果進(jìn)行焦點(diǎn)融合，獲取所述融合后的圖像。
[0032] 在第一種可能的實(shí)現(xiàn)方式中，結(jié)合第二方面，所述運(yùn)動(dòng)估計(jì)單元，包括特征提取模 塊、特征匹配模塊及參數(shù)獲取模塊；
[0033] 所述特征提取模塊，用于獲取所述圖像采集單元采集的所述至少兩張圖像，根據(jù) 特征點(diǎn)提取算法分別在所述至少兩張圖像中提取特征點(diǎn)及所述特征點(diǎn)的特征描述符； [0034] 所述特征匹配模塊，用于獲取所述特征提取模塊提取的特征點(diǎn)及所述特征點(diǎn)的特 征描述符，分別將屬于不同圖像中的所述特征點(diǎn)的特征描述符的值與所述模板中的相應(yīng)特 征點(diǎn)的特征描述符的值進(jìn)行對(duì)比，選擇特征描述符的值與所述模板中的相應(yīng)特征點(diǎn)的特征 描述符的值的差在預(yù)設(shè)范圍內(nèi)的特征點(diǎn)作為匹配成功的特征點(diǎn)對(duì)；
[0035] 所述參數(shù)獲取模塊，用于根據(jù)所述匹配成功的特征點(diǎn)對(duì)，獲取所述至少兩張圖像 之間的變換參數(shù)。
[0036] 在第二種可能的實(shí)現(xiàn)方式中，結(jié)合第一種可能的實(shí)現(xiàn)方式，所述特征描述符包括： 特征點(diǎn)所在鄰域的邊緣、輪廓、梯度信息。
[0037] 在第三種可能的實(shí)現(xiàn)方式中，結(jié)合第二方面，所述參數(shù)獲取模塊，還用于：
[0038] 所述圖像采集單元還用于獲取采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的 位移；
[0039] 所述參數(shù)獲取模塊，還用于根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的 位移，獲取所述至少兩張圖像的圖像尺寸差異，根據(jù)匹配成功的特征點(diǎn)對(duì)以及所述圖像尺 寸差異，獲取所述變換參數(shù)；
[0040]或者，
[0041] 所述圖像采集單元還用于獲取采集所述至少兩張圖像時(shí)所述智能終端的位移；
[0042] 所述參數(shù)獲取模塊，還用于根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的位移， 獲取所述至少兩張圖像的圖像平移參數(shù)，根據(jù)匹配成功的特征點(diǎn)對(duì)以及所述圖像平移參 數(shù)，獲取所述至少兩張圖像之間的變換參數(shù)；
[0043]或者，
[0044] 所述圖像采集單元還用于獲取采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的 位移和采集所述至少兩張圖像時(shí)所述智能終端的位移；
[0045] 所述參數(shù)獲取模塊，還用于根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的 位移，獲取所述至少兩張圖像的圖像尺寸差異，根據(jù)采集所述至少兩張圖像時(shí)所述智能終 端的位移獲取所述至少兩張圖像的圖像平移參數(shù)；
[0046] 根據(jù)匹配成功的特征點(diǎn)對(duì)、所述圖像尺寸差異和所述圖像平移參數(shù)，獲取所述至 少兩張圖像之間的變換參數(shù)。
[0047] 在第四種可能的實(shí)現(xiàn)方式中，結(jié)合第二方面，所述圖像融合單元，包括頻帶分解模 塊、頻帶融合模塊及圖像融合模塊：
[0048] 所述頻帶分解模塊，用于將所述至少兩張圖像的配準(zhǔn)結(jié)果對(duì)應(yīng)到頻域后，按照頻 率進(jìn)行分解，分別獲取所述至少兩張圖像的配準(zhǔn)結(jié)果的至少一個(gè)頻率成分，每個(gè)頻率成分 對(duì)應(yīng)圖像中一段固定的頻率區(qū)間；
[0049] 所述頻帶融合模塊，用于分別對(duì)比所述頻帶分解模塊獲取的至少兩張圖像的配準(zhǔn) 結(jié)果中的所述至少一個(gè)頻率成分中的每一相應(yīng)頻率成分，選取所述每一相應(yīng)頻率成分中梯 度較大的頻率成分作為所述融合后的圖像的至少一個(gè)頻率成分中的頻率成分；
[0050] 所述圖像融合模塊，用于根據(jù)所述至少一個(gè)頻率成分中的每一頻率成分，將所述 每一頻率成分對(duì)應(yīng)的所述頻帶融合模塊選取的所述融合后的圖像的至少一個(gè)頻率成分中 的頻率成分進(jìn)行融合，生成所述融合后的圖像。
[0051] 本發(fā)明的實(shí)施例提供的圖像處理方法及裝置，根據(jù)對(duì)采集得到的多張圖像進(jìn)行配 準(zhǔn)及焦點(diǎn)融合，在智能終端運(yùn)動(dòng)的情況下獲得一張場(chǎng)景內(nèi)不同拍攝主題都清晰的圖像。

【專利附圖】

【附圖說明】
[0052] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例。
[0053] 圖1為本發(fā)明的實(shí)施例提供的一種圖像處理裝置結(jié)構(gòu)示意圖；
[0054] 圖2為本發(fā)明的另一實(shí)施例提供的一種圖像處理裝置結(jié)構(gòu)示意圖；
[0055] 圖3為本發(fā)明的實(shí)施例提供的一種應(yīng)用圖像處理裝置的設(shè)備結(jié)構(gòu)示意圖；
[0056] 圖4為本發(fā)明的實(shí)施例提供的一種圖像處理方法流程示意圖；
[0057] 圖5為本發(fā)明的另一實(shí)施例提供的一種圖像處理方法流程示意圖；
[0058] 圖6為本發(fā)明的實(shí)施例提供的圖像處理方法中的圖像處理過程的示意圖一；
[0059] 圖7為本發(fā)明的實(shí)施例提供的圖像處理方法中的圖像處理過程的示意圖二；
[0060] 圖8為本發(fā)明的實(shí)施例提供的圖像處理方法中的圖像處理過程的示意圖三；
[0061] 圖9為本發(fā)明的實(shí)施例提供的圖像處理方法中的圖像處理過程的示意圖四。

【具體實(shí)施方式】
[0062] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。
[0063] 本發(fā)明的實(shí)施例一種圖像處理裝置，該裝置具體可以為照相機(jī)、攝像機(jī)、手機(jī)、掌 上電腦或平板電腦上的照相模塊，具體的，參照?qǐng)D1所示，該裝置包括：
[0064] 圖像采集單元11，用于在圖像處理裝置1運(yùn)動(dòng)的狀態(tài)下采集同一場(chǎng)景的至少兩張 圖像，至少兩張圖像采用不同的焦點(diǎn)。
[0065] 這里圖像采集單元可以根據(jù)設(shè)置在圖像處理裝置上的傳感器獲知圖像處理裝置 的運(yùn)動(dòng)，或者根據(jù)采集到的兩張圖像中同一物體相對(duì)位置的變化獲知圖像處理裝置的運(yùn) 動(dòng)。
[0066] 運(yùn)動(dòng)估計(jì)單元12,用于獲取圖像采集單元11采集的至少兩張圖像，在至少兩張圖 像中任意選擇一張作為模板，分別對(duì)至少兩張圖像提取特征點(diǎn)，分別對(duì)至少兩張圖像中除 模板外的圖像的特征點(diǎn)與模板的特征點(diǎn)進(jìn)行匹配，獲取匹配成功的特征點(diǎn)對(duì)，根據(jù)匹配成 功的特征點(diǎn)對(duì)，獲取至少兩張圖像中除模板外的圖像與模板之間的變換參數(shù)。
[0067] 圖像配準(zhǔn)單元13,用于獲取圖像采集單元11獲取的至少兩張圖像和運(yùn)動(dòng)估計(jì)單 元12獲取的變換參數(shù)，根據(jù)變換參數(shù)對(duì)至少兩張圖像中除模板外的圖像進(jìn)行變換，將模板 和變換后的圖像作為至少兩張圖像的配準(zhǔn)結(jié)果。
[0068] 圖像融合單元14,用于獲取圖像配準(zhǔn)單元13形成的至少兩張圖像的配準(zhǔn)結(jié)果，將 至少兩張圖像的配準(zhǔn)結(jié)果進(jìn)行焦點(diǎn)融合，獲取融合后的圖像。
[0069] 這樣圖像處理裝置可以獲取同一場(chǎng)景不同焦點(diǎn)的圖像，通過運(yùn)動(dòng)估計(jì)消除拍攝過 程中智能終端運(yùn)動(dòng)造成的兩張圖像的差異，并提取出同一場(chǎng)景各個(gè)主題的在不同焦點(diǎn)的影 像，將不同主題最清晰的影像融合，在智能終端運(yùn)動(dòng)的情況下獲取一張場(chǎng)景內(nèi)不同拍攝主 題都清晰的圖像。
[0070] 由于是至少兩個(gè)焦點(diǎn)附近的圖像的融合，因此，相對(duì)融合前的單張圖像，提高了景 深或者景深的層次，例如在圖像一中以主題一為焦點(diǎn)進(jìn)行拍攝，在圖像二中以主題二為焦 點(diǎn)進(jìn)行拍攝，并且主題一在圖像一中和主題二在圖像二中有不同的景深，則融合后的圖像 包括兩個(gè)景深的內(nèi)容，這樣提高了圖像的景深層次；當(dāng)圖像一中對(duì)于主題一的拍攝焦點(diǎn)和 圖像二中對(duì)于主題二的拍攝焦點(diǎn)不在同一個(gè)焦平面時(shí)(焦點(diǎn)所在的平面叫做焦平面，其中 焦平面與鏡頭透鏡的軸線垂直)，則融合后的景深大于融合前任何一個(gè)主題在其圖像中的 景深，并且小于或等于融合前兩個(gè)主題在其圖像中景深的疊加，因此可以提高圖片的整體 景深。
[0071] 本發(fā)明的實(shí)施例提供的圖像處理裝置，根據(jù)對(duì)采集得到的多張圖像進(jìn)行配準(zhǔn)及焦 點(diǎn)融合，在智能終端運(yùn)動(dòng)的情況下獲得一張場(chǎng)景內(nèi)不同拍攝主題都清晰的照片。
[0072] 參照?qǐng)D2所示，以應(yīng)用本發(fā)明的實(shí)施例提供的圖像處理裝置的手機(jī)為例，即以具 備拍照功能的手機(jī)為例進(jìn)行說明，該圖像處理裝置包括：
[0073] 圖像采集單元11，用于采集同一場(chǎng)景的至少兩張圖像，至少兩張圖像采用不同的 焦點(diǎn)，可選的，圖像采集單元11還可以包括如圖2所示的位移傳感器111和速度傳感器 112,其中，位移傳感器111獲取圖像采集時(shí)鏡頭的位移，速度傳感器112獲取智能終端的位 移，具體的，速度傳感器112可以采用陀螺儀或加速度傳感器?？梢岳斫獾氖窃趫D像的采集 過程中鏡頭的位移和智能終端的位移可以當(dāng)做表征采集圖像對(duì)應(yīng)的元數(shù)據(jù)，此時(shí)鏡頭的位 移和智能終端的位移相當(dāng)于圖像的特征；其中，鏡頭的位移是以智能終端為參照物判斷鏡 頭的運(yùn)動(dòng)，通常可以理解的是，當(dāng)鏡頭發(fā)生位移時(shí)會(huì)改變圖片的大小；智能終端的位移是以 拍攝主題為參照物判斷智能終端的運(yùn)動(dòng)，可以理解的是當(dāng)智能終端發(fā)生位移時(shí)，會(huì)改變圖 片所拍攝的場(chǎng)景內(nèi)容。
[0074] 運(yùn)動(dòng)估計(jì)單元12,用于獲取圖像采集單元11采集的圖像，在至少兩張圖像中任 意選擇一張作為模板，對(duì)至少兩張圖像提取特征點(diǎn)，分別對(duì)至少兩張圖像中除模板外的圖 像的特征點(diǎn)與模板的特征點(diǎn)進(jìn)行匹配，獲取匹配成功的特征點(diǎn)對(duì)，并根據(jù)匹配成功的特征 點(diǎn)對(duì)，獲取至少兩張圖像中除模板外的圖像與模板之間的變換參數(shù)。具體的，該運(yùn)動(dòng)估計(jì) 單元12包括如圖3所示的特征提取模塊121、特征匹配模塊122和參數(shù)獲取模塊123,其 中特征提取模塊121用于獲取圖像采集單元11采集的圖像，根據(jù)特征點(diǎn)提取算法分別在 至少兩張圖像中提取特征點(diǎn)及特征點(diǎn)的特征描述符，其中，特征點(diǎn)即圖像中的任意點(diǎn)，特征 描述符可以是特征點(diǎn)所在鄰域的邊緣、輪廓、梯度等信息，具體的，特征提取模塊121選定 特征點(diǎn)的坐標(biāo)，對(duì)特征點(diǎn)坐標(biāo)周圍的區(qū)域，即特征點(diǎn)的鄰域中的局部特征進(jìn)行量化，即將特 征點(diǎn)的鄰域中的邊緣、輪廓、梯度等信息分別用向量表示，將這些信息對(duì)應(yīng)的向量的集合稱 為該特征點(diǎn)的特征描述符；其中，特征點(diǎn)提取算法可以采用尺度不變特征變換算法（Scale Invariant Feature Transform,簡稱 SIFI )〇
[0075] 特征匹配模塊122用于獲取特征提取模塊121提取的特征點(diǎn)及其特征描述符，分 別將屬于不同圖像中的特征點(diǎn)的特征描述符的值與模板中的相應(yīng)特征點(diǎn)的特征描述符的 值進(jìn)行對(duì)比，選擇特征描述符的值與模板中的相應(yīng)特征點(diǎn)的特征描述符的值的差在預(yù)設(shè)范 圍內(nèi)的特征點(diǎn)作為匹配成功的特征點(diǎn)對(duì)，即將特征描述符中的向量與模板中該特征點(diǎn)的特 征描述符中的對(duì)應(yīng)向量分別進(jìn)行對(duì)比，判斷這些特征描述符中的向量與模板中該特征點(diǎn)的 特征描述符中的對(duì)應(yīng)向量的差是否小于預(yù)設(shè)的范圍。
[0076] 參數(shù)獲取模塊123用于獲取特征匹配模塊122匹配成功的特征點(diǎn)對(duì)，根據(jù)匹配成 功的特征點(diǎn)對(duì)，獲取至少兩張圖像之間的變換參數(shù)，具體的，可以是根據(jù)匹配成功的特征點(diǎn) 對(duì)中兩個(gè)特征點(diǎn)的坐標(biāo)獲取特征點(diǎn)在兩個(gè)圖像之間變換的變換參數(shù)，其中該變換參數(shù)至少 可以表征兩個(gè)特征點(diǎn)在各自圖像中的位置關(guān)系，以及圖像縮放比例。
[0077] 可選的，圖像采集單元11還用于通過位移傳感器111獲取采集至少兩張圖像時(shí)手 機(jī)的鏡頭的位移，參數(shù)獲取模塊123根據(jù)手機(jī)的鏡頭的位移獲取至少兩張圖像的圖像尺寸 差異，根據(jù)匹配成功的特征點(diǎn)對(duì)以及圖像尺寸差異，獲取變換參數(shù)；具體的，根據(jù)物理中成 像的原理，可知鏡頭的移動(dòng)會(huì)改變成像原理中的像距，由公式講尸,.、(其中，m為成像后 物體的像的放大倍數(shù)，f為像距，s為物距）獲取像距f，就可以得到物體在圖像中的放大倍 數(shù)，則根據(jù)鏡頭的位移就獲取像距的改變量，進(jìn)而獲取物體在圖像中的放大倍數(shù)的差別，根 據(jù)物體在圖像中的放大倍數(shù)的差別可以計(jì)算出兩張圖像的圖像尺寸差異。
[0078] 然后，將兩張圖像的圖像尺寸差異作為變換參數(shù)的初始值，根據(jù)匹配成功的特征 點(diǎn)對(duì)對(duì)變換參數(shù)的初始值進(jìn)行計(jì)算，獲取變換參數(shù)，其中，兩張圖像的圖像尺寸差異至少可 以表征兩個(gè)物體在各自圖像中的圖像縮放比例，該變換參數(shù)至少可以表征兩個(gè)特征點(diǎn)在各 自圖像中的位置關(guān)系，以及圖像縮放比例。其中，鏡頭的位移是以智能終端為參照物判斷鏡 頭的運(yùn)動(dòng)，通常可以理解的是，當(dāng)鏡頭發(fā)生位移時(shí)會(huì)改變圖片的大?。恢悄芙K端的位移是以 拍攝主題為參照物判斷智能終端的運(yùn)動(dòng)，可以理解的是當(dāng)智能終端發(fā)生位移時(shí)，會(huì)改變圖 片所拍攝的場(chǎng)景內(nèi)容。
[0079] 或者，圖像采集單元11還用于通過速度傳感器112獲取采集至少兩張圖像時(shí)手機(jī) 的位移，參數(shù)獲取模塊123根據(jù)手機(jī)的位移獲取至少兩張圖像的圖像平移參數(shù)，根據(jù)匹配 成功的特征點(diǎn)對(duì)以及圖像平移參數(shù)，獲取變換參數(shù)。
[0080] 具體的，將兩張圖像的圖像平移參數(shù)作為變換參數(shù)的初始值，根據(jù)匹配成功的特 征點(diǎn)對(duì)計(jì)算變換參數(shù)的初始值，獲取變換參數(shù)，其中，兩張圖像的圖像平移參數(shù)至少可以表 征匹配成功的兩個(gè)特征點(diǎn)在各自圖像中的位置關(guān)系，該變換參數(shù)至少可以表征兩個(gè)特征點(diǎn) 在各自圖像中的位置關(guān)系，以及匹配成功的兩個(gè)特征點(diǎn)所在的兩張圖像之間的縮放比例。
[0081] 或者，圖像采集單元11還用于通過位移傳感器111獲取采集至少兩張圖像時(shí)手機(jī) 的鏡頭的位移，通過速度傳感器112獲取采集至少兩張圖像時(shí)手機(jī)的位移，參數(shù)獲取模塊 123根據(jù)手機(jī)的鏡頭的位移獲取至少兩張圖像的圖像尺寸差異，根據(jù)手機(jī)的位移獲取至少 兩張圖像的圖像平移參數(shù)，根據(jù)匹配成功的特征點(diǎn)對(duì)、圖像尺寸差異和圖像平移參數(shù)，獲取 變換參數(shù)。
[0082] 具體的，將兩張圖像的圖像平移參數(shù)和尺寸差異的平均值作為變換參數(shù)的初始 值，根據(jù)匹配成功的特征點(diǎn)對(duì)對(duì)變換參數(shù)的初始值進(jìn)行計(jì)算，獲取變換參數(shù)，其中，兩張圖 像的圖像尺寸差異至少可以表征匹配成功的兩個(gè)特征點(diǎn)在各自圖像中的圖像縮放比例，兩 張圖像的圖像平移參數(shù)至少可以表征匹配成功的兩個(gè)特征點(diǎn)在各自圖像中的位置關(guān)系，該 變換參數(shù)至少可以表征匹配成功的兩個(gè)特征點(diǎn)在各自圖像中的位置關(guān)系，以及匹配成功的 兩個(gè)特征點(diǎn)所在的兩張圖像縮放比例。
[0083] 圖像配準(zhǔn)單元13,用于在至少兩張圖像中任意選擇一張作為模板，根據(jù)變換參數(shù) 對(duì)至少兩張圖像中除模板外的圖像進(jìn)行變換，將模板和變換后的圖像作為至少兩張圖像的 配準(zhǔn)結(jié)果。
[0084] 其中，該變換參數(shù)至少可以表征兩個(gè)特征點(diǎn)在各自圖像中的位置關(guān)系，以及圖像 縮放比例?？梢岳斫獾氖怯捎谧儞Q參數(shù)是表征至少可以表征匹配成功的兩個(gè)特征點(diǎn)在各自 圖像中的位置關(guān)系，以及匹配成功的兩個(gè)特征點(diǎn)所在的兩張圖像縮放比例，因此當(dāng)以其中 一張圖像作為模板時(shí)，按照變換參數(shù)對(duì)另一張圖像進(jìn)行的變換，即采用對(duì)另一張圖像進(jìn)行 縮放調(diào)整，同時(shí)對(duì)另一張圖像按照匹配成功的特征點(diǎn)的位置進(jìn)行平移的方法對(duì)兩張圖像進(jìn) 行配準(zhǔn)。
[0085] 具體的，圖像配準(zhǔn)單元13,用于獲取圖像采集單元11獲取的至少兩張圖像和運(yùn)動(dòng) 估計(jì)單元12獲取的變換參數(shù)，根據(jù)變換參數(shù)對(duì)至少兩張圖像中除模板外的圖像進(jìn)行變換， 將模板和變換后的圖像作為至少兩張圖像的配準(zhǔn)結(jié)果。
[0086] 圖像融合單元14,用于獲取圖像配準(zhǔn)單元13形成的至少兩張圖像的配準(zhǔn)結(jié)果，將 至少兩張圖像的配準(zhǔn)結(jié)果進(jìn)行焦點(diǎn)融合，獲取融合后的圖像。具體的，圖像融合單元14包 括頻帶分解模塊141、頻帶融合模塊142和圖像融合模塊143。其中，頻帶分解模塊141， 用于將至少兩張圖像的配準(zhǔn)結(jié)果對(duì)應(yīng)到頻域后，按照頻率進(jìn)行分解，分別獲取至少兩張圖 像的配準(zhǔn)結(jié)果的至少一個(gè)頻率成分，每個(gè)頻率成分對(duì)應(yīng)圖像中一段固定的頻率區(qū)間，即在 頻域中，通過頻率區(qū)間來表征圖像中的空間間隔；頻帶融合模塊142,用于對(duì)比頻帶分解模 塊141獲取的至少兩張圖像的配準(zhǔn)結(jié)果中的至少一個(gè)頻率成分中的每一相應(yīng)頻率成分，選 取每一相應(yīng)頻率成分中梯度較大的頻率成分作為融合后的圖像的該頻率成分，即頻率變化 更快的頻率成分作為融合后的圖像的至少一個(gè)頻率成分中的該頻率成分；圖像融合模塊 143,用于根據(jù)至少一個(gè)頻率成分中的每一頻率成分，將每一頻率成分對(duì)應(yīng)的頻帶融合模塊 142選取的融合后的圖像的至少一個(gè)頻率成分中的頻率成分進(jìn)行融合，生成融合后的圖像。
[0087] 當(dāng)然以手機(jī)為例時(shí)，該手機(jī)還可以包括顯示器15,其中，圖像融合單元14,還可以 對(duì)輸入的圖像進(jìn)行增強(qiáng)，包含去噪，對(duì)比度增強(qiáng)，銳化，顏色處理，用戶可以通過顯示器15 查看圖像，或者用戶可以傳輸?shù)骄W(wǎng)絡(luò)，個(gè)人計(jì)算機(jī)（personal computer, PC)機(jī)等。
[0088] 本發(fā)明的實(shí)施例提供的圖像處理裝置，根據(jù)對(duì)采集得到的多張圖像進(jìn)行配準(zhǔn)及焦 點(diǎn)融合，有效的提高拍照景深，在智能終端運(yùn)動(dòng)的情況下獲得一張場(chǎng)景內(nèi)不同拍攝主題都 清晰的照片。
[0089] 基于現(xiàn)有的智能智能終端功能，上述裝置實(shí)施例中各個(gè)模塊的功能實(shí)現(xiàn)可以通過 中央處理器（Central Processing Unit, CPU)進(jìn)行整體的控制實(shí)現(xiàn)，即上述本發(fā)明的實(shí)施 例所提供的圖像處理裝置各個(gè)單元所執(zhí)行的功能可由一個(gè)處理器執(zhí)行，其結(jié)構(gòu)參照?qǐng)D3所 示，該圖像處理裝置3包括：至少一個(gè)處理器31、總線32、存儲(chǔ)器33、通信接口 34及鏡頭35， 至少一個(gè)處理器31、存儲(chǔ)器33、通信接口 34及鏡頭35通過總線32連接并完成相互間的通 信，其中：
[0090] 該總線32可以是工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)（Industry Standard Architecture，ISA)總 線、夕卜部設(shè)備互連（Peripheral Component, PCI)總線或擴(kuò)展工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)（Extended Industry Standard Architecture, EISA)總線等。該總線32可以分為地址總線、數(shù)據(jù)總 線、控制總線等。為便于表示，圖3中僅用一條粗線表示，但并不表示僅有一根總線或一種 類型的總線。
[0091] 存儲(chǔ)器33用于存儲(chǔ)可執(zhí)行程序代碼及相應(yīng)的數(shù)據(jù)，該程序代碼包括計(jì)算機(jī)操作 指令。存儲(chǔ)器33可能包含高速RAM存儲(chǔ)器，也可能還包括非易失性存儲(chǔ)器，在本發(fā)明中存 儲(chǔ)器至少用于存儲(chǔ)特征點(diǎn)提取算法、多頻帶圖像分解算法及多頻帶圖像融合算法。
[0092] 通信接口 34,用于實(shí)現(xiàn)圖像處理裝置3與外界的數(shù)據(jù)交換。
[0093] 鏡頭35,用于在智能終端運(yùn)動(dòng)的狀態(tài)下采集同一場(chǎng)景的至少兩張圖像，至少兩張 圖像采用不同的焦點(diǎn)。
[0094] 處理器31，用于在至少兩張圖像中任意選擇一張作為模板，對(duì)至少兩張圖像提取 特征點(diǎn)，分別對(duì)至少兩張圖像中除模板外的圖像的特征點(diǎn)與模板的特征點(diǎn)進(jìn)行匹配，獲取 匹配成功的特征點(diǎn)對(duì)，根據(jù)匹配成功的特征點(diǎn)對(duì)，獲取至少兩張圖像中除模板外的圖像與 模板之間的變換參數(shù)；
[0095] 處理器31還用于根據(jù)變換參數(shù)對(duì)至少兩張圖像中除模板外的圖像進(jìn)行變換，將 模板和變換后的圖像作為至少兩張圖像的配準(zhǔn)結(jié)果；
[0096] 處理器31還用于將至少兩張圖像的配準(zhǔn)結(jié)果進(jìn)行焦點(diǎn)融合，獲取融合后的圖像。
[0097] 可選的，處理器31具體用于根據(jù)特征點(diǎn)提取算法分別在至少兩張圖像中提取特 征點(diǎn)及特征點(diǎn)的特征描述符；分別將不同圖像中的特征點(diǎn)的特征描述符的值與模板中的相 應(yīng)特征點(diǎn)的特征描述符的值進(jìn)行對(duì)比，選擇特征描述符的值與模板中的相應(yīng)特征點(diǎn)的特征 描述符的值的差在預(yù)設(shè)范圍內(nèi)的特征點(diǎn)作為匹配成功的特征點(diǎn)對(duì)。
[0098] 可選的，還包括與總線32連接的位移傳感器36和/或速度傳感器37，
[0099] 位移傳感器36具體用于獲取采集至少兩張圖像時(shí)智能終端的鏡頭的位移，處理 器31根據(jù)采集至少兩張圖像時(shí)智能終端的鏡頭的位移，獲取至少兩張圖像的圖像尺寸差 異，根據(jù)匹配成功的特征點(diǎn)對(duì)以及圖像尺寸差異，獲取變換參數(shù)；
[0100] 或者，
[0101] 速度傳感器37用于獲取采集至少兩張圖像時(shí)智能終端的位移，處理器31根據(jù)采 集至少兩張圖像時(shí)智能終端的位移，獲取至少兩張圖像的圖像平移參數(shù)，根據(jù)匹配成功的 特征點(diǎn)對(duì)以及圖像平移參數(shù)，獲取變換參數(shù)；
[0102] 或者，
[0103] 位移傳感器36用于獲取采集至少兩張圖像時(shí)智能終端的鏡頭的位移，速度傳感 器37用于采集至少兩張圖像時(shí)智能終端的位移，處理器31用于根據(jù)采集至少兩張圖像時(shí) 智能終端的鏡頭的位移，獲取至少兩張圖像的圖像尺寸差異，根據(jù)采集至少兩張圖像時(shí)智 能終端的位移獲取至少兩張圖像的圖像平移參數(shù)；
[0104] 根據(jù)匹配成功的特征點(diǎn)對(duì)、圖像尺寸差異和圖像平移參數(shù)，獲取至少兩張圖像之 間的變換參數(shù)。
[0105] 具體的，處理器31還用于將至少兩張圖像的配準(zhǔn)結(jié)果對(duì)應(yīng)到頻域后，按照頻率進(jìn) 行分解，分別獲取至少兩張圖像的配準(zhǔn)結(jié)果的至少一個(gè)頻率成分，每個(gè)頻率成分對(duì)應(yīng)圖像 中一段固定的頻率區(qū)間；分別對(duì)比至少兩張圖像的配準(zhǔn)結(jié)果中的至少一個(gè)頻率成分中的每 一相應(yīng)頻率成分，選取每一相應(yīng)頻率成分中梯度較大的頻率成分作為融合后的圖像的至少 一個(gè)頻率成分中的頻率成分；根據(jù)至少一個(gè)頻率成分中的每一頻率成分，將每一頻率成分 對(duì)應(yīng)的選取的融合后的圖像的至少一個(gè)頻率成分中的頻率成分進(jìn)行融合，生成融合后的圖 像。
[0106] 用戶可以通過觸摸屏或按鍵的形式實(shí)現(xiàn)人機(jī)交互從而控制本發(fā)明的實(shí)施例所提 供的圖像處理裝置。
[0107] 本發(fā)明的實(shí)施例所提供的圖像處理方法，應(yīng)用于本發(fā)明裝置實(shí)施例提供的裝置， 也可直接應(yīng)用于照相機(jī)、手機(jī)、掌上電腦等智能智能終端，具體的，參照?qǐng)D4所示，該圖像處 理方法包括：
[0108] 401、在智能終端運(yùn)動(dòng)的狀態(tài)下采集同一場(chǎng)景的至少兩張圖像，至少兩張圖像采用 不同的焦點(diǎn)。
[0109] 402、分別對(duì)至少兩張圖像提取特征點(diǎn)，在至少兩張圖像中任意選擇一張作為模 板，分別對(duì)至少兩張圖像中除模板外的圖像的特征點(diǎn)與模板的特征點(diǎn)進(jìn)行匹配，獲取匹配 成功的特征點(diǎn)對(duì)，根據(jù)匹配成功的特征點(diǎn)對(duì)，獲取至少兩張圖像中除模板外的圖像與模板 之間的變換參數(shù)。
[0110] 403、根據(jù)變換參數(shù)對(duì)至少兩張圖像中除模板外的圖像進(jìn)行變換，將模板和變換后 的圖像作為至少兩張圖像的配準(zhǔn)結(jié)果。
[0111] 404、將至少兩張圖像的配準(zhǔn)結(jié)果進(jìn)行焦點(diǎn)融合，獲取融合后的圖像。
[0112] 這樣可根據(jù)本發(fā)明實(shí)施例提供的圖像處理方法獲取同一場(chǎng)景不同焦點(diǎn)的圖像，通 過運(yùn)動(dòng)估計(jì)消除拍攝過程中智能終端運(yùn)動(dòng)產(chǎn)生的影響，并提取出同一場(chǎng)景各個(gè)主題的在不 同焦點(diǎn)的影像，將不同主題最清晰的影像融合，在智能終端運(yùn)動(dòng)的情況下獲取一張場(chǎng)景內(nèi) 不同主題都清晰的圖像。
[0113] 本發(fā)明的實(shí)施例提供的圖像處理方法，通過對(duì)采集得到的多張圖像進(jìn)行特征匹 配、圖像變換及焦點(diǎn)融合，有效的提升了圖像的清晰度。
[0114] 本發(fā)明的實(shí)施例所提供的圖像處理方法，應(yīng)用于本發(fā)明裝置實(shí)施例提供的裝置， 也可直接應(yīng)用于照相機(jī)、手機(jī)、掌上電腦等智能智能終端，具體的，參照?qǐng)D5所示，該圖像處 理方法包括：
[0115] 501a、在智能終端運(yùn)動(dòng)的狀態(tài)下采集同一場(chǎng)景的至少兩張圖像，至少兩張圖像采 用不同的焦點(diǎn)。
[0116] 501b、獲取采集至少兩張圖像時(shí)智能終端的鏡頭的位移和/或采集至少兩張圖像 時(shí)智能終端的位移。鏡頭的位移是以智能終端為參照物判斷鏡頭的運(yùn)動(dòng)，通?？梢岳斫獾?是，當(dāng)鏡頭發(fā)生位移時(shí)會(huì)改變圖片的大??；智能終端的位移是以拍攝主題為參照物判斷智 能終端的運(yùn)動(dòng)，可以理解的是當(dāng)智能終端發(fā)生位移時(shí)，會(huì)改變圖片所拍攝的場(chǎng)景內(nèi)容。
[0117] 502a、在至少兩張圖像中任意選擇一張作為模板，根據(jù)特征點(diǎn)提取算法分別在至 少兩張圖像中提取特征點(diǎn)及特征點(diǎn)的特征描述符。特征描述符包括特征點(diǎn)所在鄰域的邊 緣、輪廓、梯度等信息。
[0118] 502b、根據(jù)采集至少兩張圖像時(shí)智能終端的鏡頭的位移，獲取至少兩張圖像的圖 像尺寸差異，和/或根據(jù)采集至少兩張圖像時(shí)智能終端的位移獲取至少兩張圖像的圖像平 移參數(shù)。
[0119] 503、分別將屬于不同圖像中的特征點(diǎn)的特征描述符與模板中的相應(yīng)特征點(diǎn)的特 征描述符的值進(jìn)行對(duì)比，選擇特征描述符的值與模板中的相應(yīng)特征點(diǎn)的特征描述符的值的 差在預(yù)設(shè)范圍內(nèi)的特征點(diǎn)作為匹配成功的特征點(diǎn)對(duì)。
[0120] 504、根據(jù)匹配成功的特征點(diǎn)對(duì)以及圖像尺寸差異獲取至少兩張圖像之間的變換 參數(shù)；
[0121] 或者，
[0122] 根據(jù)匹配成功的特征點(diǎn)對(duì)以及圖像平移參數(shù)獲取至少兩張圖像之間的變換參 數(shù)；
[0123] 或者，
[0124] 根據(jù)匹配成功的特征點(diǎn)對(duì)、圖像尺寸差異以及圖像平移參數(shù)獲取至少兩張圖像之 間的變換參數(shù)。
[0125] 505、根據(jù)變換參數(shù)對(duì)至少兩張圖像中除模板外的圖像進(jìn)行變換，將模板和變換后 的圖像作為至少兩張圖像的配準(zhǔn)結(jié)果。
[0126] 506、將至少兩張圖像的配準(zhǔn)結(jié)果對(duì)應(yīng)到頻域后，按照頻率進(jìn)行分解，分別獲取至 少兩張圖像的配準(zhǔn)結(jié)果的至少一個(gè)頻率成分。每個(gè)頻率成分對(duì)應(yīng)圖像中一段固定的頻率區(qū) 間，即在頻域中，通過頻率區(qū)間來表征圖像中的空間間隔。
[0127] 507、分別對(duì)比至少兩張圖像的配準(zhǔn)結(jié)果中的至少一個(gè)頻率成分中的每一相應(yīng)頻 率成分，選取每一相應(yīng)頻率成分中梯度較大的頻率成分作為融合后的圖像的至少一個(gè)頻率 成分中的頻率成分。
[0128] 508、根據(jù)至少一個(gè)頻率成分中的每一頻率成分，將每一頻率成分對(duì)應(yīng)的選取的融 合后的圖像的至少一個(gè)頻率成分中的頻率成分進(jìn)行融合，生成融合后的圖像。
[0129] 本發(fā)明的實(shí)施例提供的圖像處理方法，通過對(duì)采集得到的多張圖像進(jìn)行特征匹 配、圖像變換及焦點(diǎn)融合，有效的提升了圖像的清晰度。
[0130] 具體的以手機(jī)拍照為例，參照?qǐng)D2進(jìn)行說明，用戶打開手機(jī)上的圖像采集軟件，如 相機(jī)功能等，光線通過圖像采集單元11中的鏡頭投影到圖像傳感器上，圖像傳感器將光信 號(hào)轉(zhuǎn)變?yōu)殡娦盘?hào)形成至少兩張圖像數(shù)據(jù)(此實(shí)施例以兩張圖像為例進(jìn)行說明)，運(yùn)動(dòng)估計(jì)單 元12在兩張圖像中任意選擇一張作為模板，特征提取模塊121對(duì)圖像數(shù)據(jù)進(jìn)行處理，提取 兩張圖像的特征點(diǎn)，特征匹配模塊122將特征點(diǎn)進(jìn)行匹配，參數(shù)獲取模塊123,根據(jù)匹配成 功的特征點(diǎn)對(duì)獲取兩張圖像之間的變換參數(shù)。圖像配準(zhǔn)單元13,根據(jù)變換參數(shù)對(duì)兩張圖像 中除模板外的圖像進(jìn)行變換，將模板和變換后的圖像作為這兩張圖像的配準(zhǔn)結(jié)果。頻帶分 解模塊141將兩張圖像的配準(zhǔn)結(jié)果采用多頻帶圖像分解的方法對(duì)應(yīng)到頻域后，通過小波按 照頻率分解，獲得兩張圖像的配準(zhǔn)結(jié)果的至少一個(gè)頻率成分，其中，每個(gè)頻率成分對(duì)應(yīng)圖像 中一段固定的頻率區(qū)間；頻帶融合模塊142,分別對(duì)比至少兩張圖像的配準(zhǔn)結(jié)果中的至少 一個(gè)頻率成分中的每一相應(yīng)頻率成分，選取每一相應(yīng)頻率成分中梯度較大的頻率成分作為 融合后的圖像的至少一個(gè)頻率成分中的頻率成分，圖像融合模塊143,采用多頻帶圖像融合 的方法，按照至少一個(gè)頻率成分中的每一頻率成分，將選取的頻率成分在各自的圖像中對(duì) 應(yīng)的部分進(jìn)行融合，生成融合后的圖像。這里，多頻帶圖像融合的方法采用小波分析(全文 其他地方涉及到的"小波"同此處的"小波分析"）進(jìn)行處理，當(dāng)然小波分析只是一種可選方 案，這里不限于此?？蛇x的，在參數(shù)獲取模塊123根據(jù)匹配成功的特征點(diǎn)對(duì)獲取兩張圖像之 間的變換參數(shù)之前，還包括：位移傳感器111獲取采集兩張圖像時(shí)手機(jī)的鏡頭的位移，參數(shù) 獲取模塊123根據(jù)采集兩張圖像時(shí)手機(jī)的鏡頭的位移獲取兩張圖像的圖像尺寸差異，根據(jù) 圖像尺寸差異獲取變換參數(shù)的初始值，再根據(jù)匹配成功的特征點(diǎn)對(duì)，對(duì)變換參數(shù)的初始值 進(jìn)行計(jì)算，獲取兩張圖像之間的變換參數(shù)。鏡頭的位移是以智能終端為參照物判斷鏡頭的 運(yùn)動(dòng)，通?？梢岳斫獾氖牵?dāng)鏡頭發(fā)生位移時(shí)會(huì)改變圖片的大??；智能終端的位移是以拍攝 主題為參照物判斷智能終端的運(yùn)動(dòng)，可以理解的是當(dāng)智能終端發(fā)生位移時(shí)，會(huì)改變圖片所 拍攝的場(chǎng)景內(nèi)容。
[0131] 或者，速度傳感器112獲取手機(jī)的位移，參數(shù)獲取模塊123根據(jù)手機(jī)的位移獲取兩 張圖像的圖像平移參數(shù)，根據(jù)圖像平移參數(shù)獲取變換參數(shù)的初始值，再根據(jù)匹配成功的特 征點(diǎn)對(duì)，對(duì)變換參數(shù)的初始值進(jìn)行計(jì)算，獲取兩張圖像之間的變換參數(shù)。
[0132] 或者，位移傳感器111獲取采集兩張圖像時(shí)手機(jī)的鏡頭的位移，速度傳感器112獲 取手機(jī)的位移，參數(shù)獲取模塊123根據(jù)采集兩張圖像時(shí)手機(jī)的鏡頭的位移獲取兩張圖像的 圖像尺寸差異，根據(jù)手機(jī)的位移獲取兩張圖像的圖像平移參數(shù)；參數(shù)獲取模塊123,根據(jù)圖 像尺寸差異和圖像平移參數(shù)獲取變換參數(shù)的初始值，再根據(jù)匹配成功的特征點(diǎn)對(duì)，對(duì)變換 參數(shù)的初始值進(jìn)行計(jì)算，獲取兩張圖像之間的變換參數(shù)。在該實(shí)施例中生成的兩張圖像之 間的變換參數(shù)以同時(shí)獲取的圖像尺寸差異和圖像平移參數(shù)為參考進(jìn)行說明。
[0133] 參照?qǐng)D2所示的裝置，以手機(jī)對(duì)采集的同一場(chǎng)景的圖像一 61和圖像二62進(jìn)行融 合為例，如圖6所示，圖像一 61的焦點(diǎn)在鏡頭遠(yuǎn)距離，圖像二62的焦點(diǎn)在鏡頭的近距離，即 在圖像一 61中距離鏡頭較遠(yuǎn)的區(qū)域612、613為清晰區(qū)域，距離鏡頭較近的區(qū)域611為模糊 區(qū)域，在圖像二62中距離鏡頭較近的區(qū)域621為清晰區(qū)域，距離鏡頭較遠(yuǎn)的區(qū)域622、623 為模糊區(qū)域。具體的，本發(fā)明的實(shí)施例所提供的處理過程如下所述，整個(gè)圖像處理過程分為 圖像采集(如圖5中步驟501a和501b所示)、圖像配準(zhǔn)(如圖5中步驟502-505所示）和圖 像融合(如圖5中506-508所示）三大部分。
[0134] 圖像采集部分，手機(jī)設(shè)置不同的焦點(diǎn)對(duì)同一場(chǎng)景進(jìn)行圖像采集，獲取圖像一 61和 圖像二62,其中設(shè)置焦點(diǎn)的方法可以是手動(dòng)，也可以是自動(dòng)。此時(shí)，由于焦點(diǎn)不同，因此會(huì) 造成圖像一 61和圖像二62不同的區(qū)域清晰度不同，焦點(diǎn)附近的區(qū)域比較清晰，而其他區(qū)域 因?yàn)椴辉诮裹c(diǎn)附近，出現(xiàn)模糊；此外，在采集圖像一 61和圖像二62的過程中不可避免地手 持不穩(wěn)造成手機(jī)的相對(duì)抖動(dòng)，以及焦點(diǎn)不同造成鏡頭的拉伸移動(dòng)，會(huì)造成圖像一 61和圖像 二62的視野不同，同一物體反映在圖像一 61和圖像二62中的大小也會(huì)稍微不同的現(xiàn)象， 如圖6所示，區(qū)域611與區(qū)域621中圖像位置不同，區(qū)域612與區(qū)域622中物體大小不同。
[0135] 在上述過程中，位移傳感器111獲取采集圖像一 61和圖像二62時(shí)鏡頭的位移，速 度傳感器112獲取采集圖像一 61和圖像二62時(shí)手機(jī)的位移，具體的，速度傳感器112可以 采用陀螺儀或加速度傳感器。
[0136] 圖像配準(zhǔn)部分，如圖7所示，對(duì)上述圖像一 61和圖像二62進(jìn)行配準(zhǔn)，消除視野不 同和同一物體大小不同對(duì)圖像融合焦點(diǎn)融合的影響。具體的，運(yùn)動(dòng)估計(jì)單元12在兩張圖像 中任意選擇一張作為模板(此實(shí)施例中以圖像一 61為模板進(jìn)行說明，以其他圖片作為模板 與此相同)，特征提取模塊121根據(jù)特征點(diǎn)提取算法，對(duì)圖像一 61和圖像二62分別提取特 征點(diǎn)（如圖7中所示圓點(diǎn)）和特征點(diǎn)的特征描述符；如圖8所示，特征匹配模塊122,將屬于 圖像一 61的特征點(diǎn)的特征描述符和圖像二62的相應(yīng)特征點(diǎn)的特征描述符進(jìn)行對(duì)比，在這 些特征點(diǎn)中選擇圖像一 61和圖像二62中特征描述符的值的差在預(yù)設(shè)范圍內(nèi)的一對(duì)特征點(diǎn) 作為匹配成功的特征點(diǎn)對(duì)，具體的，特征描述符可以為特征點(diǎn)所在鄰域的邊緣、角點(diǎn)、輪廓 等信息，即將圖像二62中特征點(diǎn)的特征描述符中的向量與圖像一 61中該特征點(diǎn)的特征描 述符中的對(duì)應(yīng)向量進(jìn)行對(duì)比，判斷這些圖像二62特征描述符中的向量與圖像一 61中該特 征點(diǎn)的特征描述符中的對(duì)應(yīng)向量的差是否小于預(yù)設(shè)的范圍；參數(shù)獲取模塊123,根據(jù)采集 圖像一 61和圖像二62時(shí)鏡頭的位移，獲取圖像一 61和圖像二62的圖像尺寸差異，根據(jù)采 集圖像一 61和圖像二62時(shí)手機(jī)的位移獲取圖像一 61和圖像二62的圖像平移參數(shù)，根據(jù) 圖像一 61和圖像二62的尺寸差異和圖像平移參數(shù)計(jì)算變換參數(shù)的初始值，再根據(jù)匹配成 功的特征點(diǎn)對(duì)，對(duì)該變換參數(shù)的初始值進(jìn)行計(jì)算，獲取圖像一 61和圖像二62的變換參數(shù)。
[0137] 圖像配準(zhǔn)單元13,根據(jù)變換參數(shù)，對(duì)圖像二62進(jìn)行變換，消除由于手機(jī)在拍攝過 程中的運(yùn)動(dòng)造成的兩張圖像的差異，將變換后的圖像二62和作為模板的圖像一 61作為圖 像一 61和圖像二62的配準(zhǔn)結(jié)果。
[0138] 圖像融合部分，頻帶分解模塊141將圖像一 61和圖像二62的配準(zhǔn)結(jié)果采用多頻 帶圖像分解的方法對(duì)應(yīng)到頻域后，通過小波進(jìn)行分解，獲得圖像一 61和圖像二62的配準(zhǔn)結(jié) 果的多個(gè)頻率成分，其中，每個(gè)頻率成分對(duì)應(yīng)圖像中一段固定的頻率區(qū)間，即在頻域中，通 過頻率區(qū)間來表征圖像中的空間間隔。頻帶融合模塊142,對(duì)比圖像一 61和圖像二62的配 準(zhǔn)結(jié)果中的至少一個(gè)頻率成分中的每一相應(yīng)頻率成分，參考圖像一 61和圖像二62中的相 應(yīng)的的頻率區(qū)間，選取圖像一 61和圖像二62的每一相應(yīng)頻率成分中梯度較大的頻率成分 作為融合后的圖像9的至少一個(gè)頻率成分中的該頻率成分，其中，每一圖像焦點(diǎn)附近的圖 像梯度較大，更加清晰，即在圖像一 61中距離鏡頭較遠(yuǎn)的區(qū)域612、613及圖像二62中距離 鏡頭較近的區(qū)域621 ;圖像融合模塊143,采用多頻帶圖像融合的方法，根據(jù)至少一個(gè)頻率 成分中的每一頻率成分，通過小波將每一頻率成分對(duì)應(yīng)的選取的融合后的圖像的至少一個(gè) 頻率成分中的頻率成分進(jìn)行融合，生成融合后的圖像9,即如圖9所示，以圖像二62中距離 鏡頭較近的區(qū)域621做為融合后的圖像9的距離鏡頭較近的區(qū)域91，以圖像一 61中距離鏡 頭較遠(yuǎn)的區(qū)域612做為圖像9的距離鏡頭較遠(yuǎn)的區(qū)域92,以圖像一 61中距離鏡頭較最的區(qū) 域613做為圖像9的距離鏡頭較最的區(qū)域93,獲取圖像一 61和圖像二62的焦點(diǎn)附近主題 都清晰的圖像9。
[0139] 以上所述，僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何 熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵 蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【權(quán)利要求】
1. 一種圖像處理方法，應(yīng)用于智能終端，其特征在于，包括： 在所述智能終端運(yùn)動(dòng)的狀態(tài)下采集同一場(chǎng)景的至少兩張圖像，所述至少兩張圖像采用 不同的焦點(diǎn)； 在所述至少兩張圖像中任意選擇一張作為模板，對(duì)所述至少兩張圖像提取特征點(diǎn)，分 別對(duì)所述至少兩張圖像中除所述模板外的圖像的特征點(diǎn)與所述模板的特征點(diǎn)進(jìn)行匹配，獲 取匹配成功的特征點(diǎn)對(duì)，根據(jù)所述匹配成功的特征點(diǎn)對(duì)，獲取所述至少兩張圖像中除所述 模板外的圖像與所述模板之間的變換參數(shù)； 根據(jù)所述變換參數(shù)對(duì)所述至少兩張圖像中除所述模板外的圖像進(jìn)行變換，將所述模板 和變換后的圖像作為所述至少兩張圖像的配準(zhǔn)結(jié)果； 將所述至少兩張圖像的配準(zhǔn)結(jié)果進(jìn)行焦點(diǎn)融合，獲取融合后的圖像。
2. 根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述對(duì)所述至少兩張圖像提取 特征點(diǎn)，分別對(duì)所述至少兩張圖像中除所述模板外的圖像的特征點(diǎn)與所述模板的特征點(diǎn)進(jìn) 行匹配，獲取匹配成功的特征點(diǎn)對(duì)，具體包括： 根據(jù)特征點(diǎn)提取算法分別在所述至少兩張圖像中提取特征點(diǎn)及所述特征點(diǎn)的特征描 述符； 分別將不同圖像中的所述特征點(diǎn)的特征描述符的值與所述模板中的相應(yīng)特征點(diǎn)的特 征描述符的值進(jìn)行對(duì)比，選擇特征描述符的值與所述模板中的相應(yīng)特征點(diǎn)的特征描述符的 值的差在預(yù)設(shè)范圍內(nèi)的特征點(diǎn)作為匹配成功的特征點(diǎn)對(duì)。
3. 根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，所述特征描述符包括：特征點(diǎn)所 在鄰域的邊緣、輪廓、梯度信息。
4. 根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述獲取所述至少兩張圖像中 除所述模板外的圖像與所述模板之間的變換參數(shù)，還包括： 獲取采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位移，根據(jù)采集所述至少兩張圖 像時(shí)所述智能終端的鏡頭的位移，獲取所述至少兩張圖像的圖像尺寸差異，根據(jù)匹配成功 的特征點(diǎn)對(duì)W及所述圖像尺寸差異，獲取所述變換參數(shù)； 或者， 獲取采集所述至少兩張圖像時(shí)所述智能終端的位移，根據(jù)采集所述至少兩張圖像時(shí)所 述智能終端的位移，獲取所述至少兩張圖像的圖像平移參數(shù)，根據(jù)匹配成功的特征點(diǎn)對(duì)W 及所述圖像平移參數(shù)，獲取所述變換參數(shù)； 或者， 獲取采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位移和采集所述至少兩張圖像 時(shí)所述智能終端的位移，根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位移，獲取 所述至少兩張圖像的圖像尺寸差異，根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的位移獲 取所述至少兩張圖像的圖像平移參數(shù)； 根據(jù)匹配成功的特征點(diǎn)對(duì)、所述圖像尺寸差異和所述圖像平移參數(shù)，獲取所述至少兩 張圖像之間的變換參數(shù)。
5. 根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述將所述至少兩張圖像的配 準(zhǔn)結(jié)果進(jìn)行焦點(diǎn)融合，獲取所述融合后的圖像，具體包括： 將所述至少兩張圖像的配準(zhǔn)結(jié)果對(duì)應(yīng)到頻域后，按照頻率進(jìn)行分解，分別獲取所述至 少兩張圖像的配準(zhǔn)結(jié)果的至少一個(gè)頻率成分，每個(gè)頻率成分對(duì)應(yīng)圖像中一段固定的頻率區(qū) 間； 分別對(duì)比所述至少兩張圖像的配準(zhǔn)結(jié)果中的所述至少一個(gè)頻率成分中的每一相應(yīng)頻 率成分，選取所述每一相應(yīng)頻率成分中梯度較大的頻率成分作為所述融合后的圖像的至少 一個(gè)頻率成分中的頻率成分； 根據(jù)所述至少一個(gè)頻率成分中的每一頻率成分，將所述每一頻率成分對(duì)應(yīng)的選取的所 述融合后的圖像的至少一個(gè)頻率成分中的頻率成分進(jìn)行融合，生成所述融合后的圖像。
6. -種圖像處理裝置，其特征在于，包括： 圖像采集單元，用于在所述圖像處理裝置運(yùn)動(dòng)的狀態(tài)下采集同一場(chǎng)景的至少兩張圖 像，所述至少兩張圖像采用不同的焦點(diǎn)； 運(yùn)動(dòng)估計(jì)單元，用于獲取所述圖像采集單元采集的所述至少兩張圖像，在所述至少兩 張圖像中任意選擇一張作為模板，對(duì)所述至少兩張圖像提取特征點(diǎn)，分別對(duì)所述至少兩張 圖像中除所述模板外的圖像的特征點(diǎn)與所述模板的特征點(diǎn)進(jìn)行匹配，獲取匹配成功的特征 點(diǎn)對(duì)，根據(jù)所述匹配成功的特征點(diǎn)對(duì)，獲取所述至少兩張圖像中除所述模板外的圖像與所 述模板之間的變換參數(shù)； 圖像配準(zhǔn)單元，用于獲取所述運(yùn)動(dòng)估計(jì)單元獲取的所述至少兩張圖像和所述運(yùn)動(dòng)估計(jì) 單元獲取的變換參數(shù)，根據(jù)所述變換參數(shù)對(duì)所述至少兩張圖像中除所述模板外的圖像進(jìn)行 變換，將所述模板和變換后的圖像作為所述至少兩張圖像的配準(zhǔn)結(jié)果； 圖像融合單元，用于獲取所述圖像配準(zhǔn)單元形成的所述至少兩張圖像的配準(zhǔn)結(jié)果，將 所述至少兩張圖像的配準(zhǔn)結(jié)果進(jìn)行焦點(diǎn)融合，獲取所述融合后的圖像。
7. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，所述運(yùn)動(dòng)估計(jì)單元，包括特征提 取模塊、特征匹配模塊及參數(shù)獲取模塊； 所述特征提取模塊，用于獲取所述圖像采集單元采集的所述至少兩張圖像，根據(jù)特征 點(diǎn)提取算法分別在所述至少兩張圖像中提取特征點(diǎn)及所述特征點(diǎn)的特征描述符； 所述特征匹配模塊，用于獲取所述特征提取模塊提取的特征點(diǎn)及所述特征點(diǎn)的特征描 述符，分別將屬于不同圖像中的所述特征點(diǎn)的特征描述符的值與所述模板中的相應(yīng)特征點(diǎn) 的特征描述符的值進(jìn)行對(duì)比，選擇特征描述符的值與所述模板中的相應(yīng)特征點(diǎn)的特征描述 符的值的差在預(yù)設(shè)范圍內(nèi)的特征點(diǎn)作為匹配成功的特征點(diǎn)對(duì)； 所述參數(shù)獲取模塊，用于根據(jù)所述匹配成功的特征點(diǎn)對(duì)，獲取所述至少兩張圖像之間 的變換參數(shù)。
8. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于，所述特征描述符包括：特征點(diǎn)所 在鄰域的邊緣、輪廓、梯度信息。
9. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于： 所述圖像采集單元還用于獲取采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位 移； 所述參數(shù)獲取模塊，還用于根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位 移，獲取所述至少兩張圖像的圖像尺寸差異，根據(jù)匹配成功的特征點(diǎn)對(duì)W及所述圖像尺寸 差異，獲取所述變換參數(shù)； 或者， 所述圖像采集單元還用于獲取采集所述至少兩張圖像時(shí)所述智能終端的位移； 所述參數(shù)獲取模塊，還用于根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的位移，獲取 所述至少兩張圖像的圖像平移參數(shù)，根據(jù)匹配成功的特征點(diǎn)對(duì)W及所述圖像平移參數(shù)，獲 取所述至少兩張圖像之間的變換參數(shù)； 或者， 所述圖像采集單元還用于獲取采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位移 和采集所述至少兩張圖像時(shí)所述智能終端的位移； 所述參數(shù)獲取模塊，還用于根據(jù)采集所述至少兩張圖像時(shí)所述智能終端的鏡頭的位 移，獲取所述至少兩張圖像的圖像尺寸差異，根據(jù)采集所述至少兩張圖像時(shí)所述智能終端 的位移獲取所述至少兩張圖像的圖像平移參數(shù)； 根據(jù)匹配成功的特征點(diǎn)對(duì)、所述圖像尺寸差異和所述圖像平移參數(shù)，獲取所述至少兩 張圖像之間的變換參數(shù)。
10.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，所述圖像融合單元，包括頻帶 分解模塊、頻帶融合模塊及圖像融合模塊； 所述頻帶分解模塊，用于將所述至少兩張圖像的配準(zhǔn)結(jié)果對(duì)應(yīng)到頻域后，按照頻率進(jìn) 行分解，分別獲取所述至少兩張圖像的配準(zhǔn)結(jié)果的至少一個(gè)頻率成分，每個(gè)頻率成分對(duì)應(yīng) 圖像中一段固定的頻率區(qū)間； 所述頻帶融合模塊，用于分別對(duì)比所述頻帶分解模塊獲取的至少兩張圖像的配準(zhǔn)結(jié)果 中的所述至少一個(gè)頻率成分中的每一相應(yīng)頻率成分，選取所述每一相應(yīng)頻率成分中梯度較 大的頻率成分作為所述融合后的圖像的至少一個(gè)頻率成分中的頻率成分； 所述圖像融合模塊，用于根據(jù)所述至少一個(gè)頻率成分中的每一頻率成分，將所述每一 頻率成分對(duì)應(yīng)的所述頻帶融合模塊選取的所述融合后的圖像的至少一個(gè)頻率成分中的頻 率成分進(jìn)行融合，生成所述融合后的圖像。
【文檔編號(hào)】G06T7/00GK104463817SQ201310416756
【公開日】2015年3月25日 申請(qǐng)日期:2013年9月12日 優(yōu)先權(quán)日:2013年9月12日
【發(fā)明者】朱聰超, 羅巍, 鄧斌 申請(qǐng)人:華為終端有限公司