從聚焦堆圖像進行場景分割的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明的示例實施例總地涉及圖像處理和分割，尤其涉及從聚焦堆(focalstack)圖像進行場景分割。
【背景技術(shù)】
[0002]現(xiàn)代數(shù)碼相機可以提供采集多幅聚焦堆圖像的能力。每幅聚焦堆圖像可以聚焦于不同的焦平面。聚焦信息允許聚焦堆圖像的前景和后景的分割。
[0003]通常，針對每個像素計算聚焦測量(focus measure)，將每個銳利像素歸為前景，并將每個模糊像素歸為背景。然而每個像素的聚焦測量不是一直可靠，尤其在深度不連續(xù)的區(qū)域和紋理弱的區(qū)域。進一步而言，當使用尖端分割技術(shù)時，分割計算是低效的。例如，如果使用圖割(graph cut)算法，每個像素在圖像上將會形成一個結(jié)點，使得圖像非常大，導致長的運算時間。
[0004]在分割計算中結(jié)合用戶輸入和減少用戶負擔之間缺乏平衡。用戶輸入要么不應用于計算，要么要求重要的細節(jié)從而導致用戶的負擔。

【發(fā)明內(nèi)容】

[0005]根據(jù)示例實施例提供了一種方法、設(shè)備和計算機程序產(chǎn)品，以便于從聚焦堆圖像進行場景分割。如此，一組聚焦堆圖像可以具有它相關(guān)聯(lián)的像素，這些像素被分組為超像素。針對每個超像素可以計算聚焦測量和顏色概率?；诰劢箿y量并針對顏色概率可以分割超像素。
[0006]在示例實施例中，提供一種方法，該方法包括:接收一組聚焦堆圖像；針對這組聚焦堆圖像的多個像素中的每個像素計算聚焦測量；將已計算聚焦測量的多個像素中的每個像素分組為多個超像素；針對多個超像素中的每個超像素計算聚焦測量；基于多個超像素的聚焦測量，分割相應的聚焦堆圖像；針對相應的超像素計算顏色概率；以及基于相應的超像素的顏色概率，分割相應的聚焦堆圖像。
[0007]示例實施例的該方法也可以包含從這組聚焦堆圖像中選擇典型的多個聚焦圖像。示例實施例的該方法也可以包括對準這組聚焦堆圖像。在另一個實施例中，該方法也可以包括接收對聚焦框的選擇；其中基于聚焦測量分割相應的聚焦堆圖像進一步基于所選的聚焦框；并且其中基于顏色概率分割相應的聚焦堆圖像進一步基于所選的聚焦框。
[0008]示例實施例的該方法也可以包含將多個超像素分類為前景或背景。示例實施例的該方法也可以包括基于分類為前景或背景，縮小由多個超像素組成的分割掩模。在另一個示例實施例中，該方法也可以包括:基于分類為前景或背景，去除島像素；以及基于像素分類為前景或背景，設(shè)置摳圖層。在另一個示例實施例中，提供一種設(shè)備，該設(shè)備包含處理器和存儲器，存儲器包括計算機程序代碼，存儲器和計算機程序代碼被配置成利用處理器使得設(shè)備:接收一組聚焦堆圖像；針對這組聚焦堆圖像的多個像素中的每個像素計算聚焦測量；將已計算聚焦測量的多個像素中的每個像素分組為多個超像素；針對多個超像素中的每個超像素計算聚焦測量；基于多個超像素的聚焦測量，分割相應的聚焦堆圖像；針對相應的超像素計算顏色概率；以及基于相應的超像素的顏色概率分割相應的聚焦堆圖像。
[0009]存儲器和計算機程序代碼可以被配置成利用處理器使得示例實施例的設(shè)備從這組聚焦堆圖像中選擇典型的多個聚焦圖像。存儲器和計算機程序代碼可以被配置成利用處理器使得示例實施例的設(shè)備對準這組聚焦堆圖像。存儲器和計算機程序代碼可以被配置成利用處理器使得示例實施例的設(shè)備接收對聚焦框的選擇；其中基于聚焦測量分割相應的聚焦堆圖像進一步基于所選的聚焦框；并且其中基于顏色概率分割相應的聚焦堆圖像進一步基于所選的聚焦框。
[0010]存儲器和計算機程序代碼可以被配置成利用處理器使得示例實施例的設(shè)備將多個超像素分類為前景或背景。存儲器和計算機程序代碼可以被配置成利用處理器使得示例實施例的設(shè)備基于分類為前景或背景，縮小由多個超像素組成的分割掩模。存儲器和計算機程序代碼也可以被配置成利用處理器使得示例實施例的設(shè)備:基于分類為前景或背景，去除島像素；以及基于分類為前景或背景，設(shè)置摳圖層。
[0011]在進一步的實施例中，提供一種計算機程序產(chǎn)品，其包含其上存儲有程序代碼部分的非瞬態(tài)計算機可讀介質(zhì)，程序代碼部分被配置成在執(zhí)行時:接收一組聚焦堆圖像；從這組聚焦堆圖像中選擇典型的多個聚焦圖像；針對這組聚焦堆圖像的多個像素中的每個像素計算聚焦測量；將已計算聚焦測量的多個像素中的每個像素分組為多個超像素；針對多個超像素中的每個超像素計算聚焦測量；基于多個超像素的聚焦測量分割相應的聚焦堆圖像；針對相應的超像素計算顏色概率；以及基于相應的超像素的顏色概率分割相應的聚焦堆圖像。
[0012]示例實施例的程序代碼部分也可以被配置成在執(zhí)行時:從這組聚焦堆圖像中選擇典型的多個聚焦圖像；以及對準這組聚焦堆圖像。示例實施例的程序代碼部分也可以被配置成在執(zhí)行時:接收對聚焦框的選擇；其中基于聚焦測量分割相應的聚焦堆圖像進一步基于所選的聚焦框；并且其中基于顏色概率分割相應的聚焦堆圖像進一步基于所選的聚焦框。
[0013]示例實施例的程序代碼部分也可以被配置成在執(zhí)行時將多個超像素分類為前景或背景。示例實施例的程序代碼部分可以被配置成在執(zhí)行時基于分類為前景或背景縮小由多個超像素組成的分割掩模。示例實施例的程序代碼部分可以被配置成在執(zhí)行時:基于分類為前景或背景，去除島像素；以及基于分類為前景或背景，設(shè)置摳圖層。
[0014]在又一個示例實施例中，提供一種設(shè)備，其包含用于接收一組聚焦堆圖像的裝置；用于針對這組聚焦堆圖像的每個像素計算聚焦測量的裝置；用于將這組聚焦堆圖像中每個圖像的每個像素分組為多個超像素的裝置；用于針對多個超像素中的每個超像素計算聚焦測量的裝置；用于基于多個超像素中的每個超像素的聚焦測量分割每個聚焦堆圖像的裝置；用于針對多個超像素中的每個超像素計算顏色概率的裝置；以及用于基于多個超像素中的每個超像素的顏色概率分割每個聚焦堆圖像的裝置。
【附圖說明】
[0015]有了發(fā)明的示例實施例的上述概括性描述，現(xiàn)在將參考附圖，附圖并不一定按比例繪制，其中:
[0016]圖1是根據(jù)本發(fā)明示例實施例的相機視野和焦平面的表示；
[0017]圖2是根據(jù)本發(fā)明示例實施例的設(shè)備的框圖，該設(shè)備可以被專門配置用于自動識別一個或多個媒體文件以傳輸?shù)捷敵鲈O(shè)備用于展示；
[0018]圖3是圖示根據(jù)本發(fā)明示例實施例的諸如通過圖2的設(shè)備執(zhí)行的操作的流程圖；以及
[0019]圖4至圖15是根據(jù)本發(fā)明示例實施例的場景分割過程的各個點處圖像的示例性圖示。
【具體實施方式】
[0020]現(xiàn)在將參考附圖在下文更完整地描述本發(fā)明的一些實施例，在附圖中示出本發(fā)明的一些實施例而不是全部實施例。實際上，本發(fā)明的各種實施例可以以很多不同的方式實施，而不應認為局限于這里提出的實施例；更確切地說，提供這些實施例使得本公開內(nèi)容將滿足適用的法律要求。貫穿所有附圖，相似的參考標記指代相似的元素。如這里使用的，術(shù)語“數(shù)據(jù)”、“內(nèi)容”、“信息”以及類似的術(shù)語可以被互換使用以指代能夠根據(jù)本發(fā)明實施例被發(fā)送、接收和/或存儲的數(shù)據(jù)。因此，任何這樣的術(shù)語的使用不應限制本發(fā)明實施例的精神和范圍。
[0021]此外，如這里使用的，術(shù)語“電路系統(tǒng)”指(a)純硬件電路的實現(xiàn)(例如，模擬電路和/或數(shù)字電路的實現(xiàn))；(b)電路和計算機程序產(chǎn)品的結(jié)合，包含軟件和/或固件指令，這些指令存儲在一個或多個計算機可讀存儲器中，這些計算機可讀存儲器協(xié)同工作使設(shè)備執(zhí)行這里所描述的一個或多個功能；以及(C)電路，例如，微處理器或者微處理器的部分，需要軟件或固件來運行，盡管軟件或固件沒有物理上存在?！半娐废到y(tǒng)”的該定義適用于這個術(shù)語在這里的所有使用，包括在任何權(quán)利要求中。作為進一步的例子，如這里使用的，術(shù)語“電路系統(tǒng)”也包括如下實現(xiàn)方式，這種實現(xiàn)方式包含一個或多個處理器和/或一個或多個處理器的部分以及附帶的軟件和/或固件。作為另一個例子，這里使用的術(shù)語“電路系統(tǒng)”也包括，例如，移動電話的基帶集成電路或應用處理器集成電路或存在于服務器、蜂窩網(wǎng)絡設(shè)備、其他網(wǎng)絡設(shè)備和/或其他計算設(shè)備中的類似集成電路。
[0022]如這里定義的，指代非瞬態(tài)物理存儲介質(zhì)(例如，易失性或非易失性存儲器設(shè)備)的“計算機可讀存儲介質(zhì)”可以與指代電磁信號的“計算機可讀傳輸介質(zhì)”區(qū)分開。
[0023]根據(jù)示例實施例提供一種方法、設(shè)備和計算機程序產(chǎn)品用于聚焦堆圖像30的場景分割。相機12可以捕獲多個聚焦堆圖像30，其中每個圖像聚焦在不同的焦平面上。相