專利名稱：圖像處理設(shè)備和方法
技術(shù)領(lǐng)域：
以下描述涉及一種攝影器件，更具體地講，涉及一種利用光場數(shù)據(jù)來處理圖像的設(shè)備和方法。

背景技術(shù)：
在目前使用的攝影系統(tǒng)中，一個拍攝操作僅能使一個圖像被觀看。但是，近來已經(jīng)進行研究具有聚焦重組功能的全光照相機(plenoptic camera)。也被稱為光場照相機的全光照相機利用微透鏡陣列(通常是微粒透鏡(lenticulerlens)陣列)或者光編碼孔板(light coded mask)捕獲關(guān)于場景的4維光場信息。這種全光照相機為用戶提供在一個拍攝操作之后再聚焦和視角改變的功能，所述再聚焦改變焦平面，所述視角改變能使場景從不同的角度被觀看。
同時，在很多領(lǐng)域，例如，監(jiān)控攝像機、用于精確診斷的計算斷層攝影術(shù)(CT)圖像、用于模式識別的計算機視覺、地質(zhì)勘查衛(wèi)星圖像等中需要高分辨率圖像。為了獲得這種高分辨率圖像，正在研究利用信號處理技術(shù)從一系列低分辨率圖像中重建高分辨率圖像的方法。


發(fā)明內(nèi)容
下面的描述涉及一種圖像處理設(shè)備和方法，所述圖像處理設(shè)備通過將光場數(shù)據(jù)限定為在高分辨率復(fù)原中使用的低分辨率圖像，并在所述限定的低分辨率數(shù)據(jù)上采用高分辨率圖像復(fù)原方法來產(chǎn)生高分辨率圖像。
根據(jù)示例性的一方面，提供了一種圖像處理設(shè)備，該圖像處理設(shè)備包括圖像幀確定器，用于利用關(guān)于場景的光場數(shù)據(jù)確定一個標準圖像幀和至少一個參考圖像幀；點擴展函數(shù)確定器，基于所述標準圖像幀和所述至少一個參考圖像幀之間的子像素位移來確定點擴展函數(shù)；圖像插值器，用于將所述標準圖像幀插值為具有比標準圖像幀高的分辨率的高分辨率標準圖像幀；圖像復(fù)原器，通過利用產(chǎn)生的所述高分辨率標準圖像幀、點擴展函數(shù)和所述至少一個參考圖像幀更新高分辨率標準圖像幀，來復(fù)原高分辨率圖像。
這里，所述子像素位移可以是構(gòu)成所述標準圖像幀的至少一個光場數(shù)據(jù)與分別對應(yīng)于所述至少一個光場數(shù)據(jù)的每個參考圖像幀的光場數(shù)據(jù)之間的位置差。
所述圖像幀確定器可以將利用光場數(shù)據(jù)產(chǎn)生并從至少一個角度顯示的圖像幀中的一個圖像幀確定為標準圖像幀，并且將從至少一個角度顯示的所述產(chǎn)生的圖像幀中除了被確定為標準圖像幀的圖像幀之外的至少一個圖像幀確定為所述至少一個參考圖像幀?；蛘撸鰣D像幀確定器可以將利用光場數(shù)據(jù)中的每子孔徑所獲得的光場數(shù)據(jù)的總值產(chǎn)生的圖像幀確定為標準圖像幀，并且將利用在產(chǎn)生標準圖像幀中使用的每子孔徑的光場數(shù)據(jù)產(chǎn)生的至少一個圖像幀確定為所述至少一個參考圖像幀。
點擴展函數(shù)確定器可以將基于標準圖像幀和每個參考圖像幀之間的子像素位移的每個2維高斯函數(shù)確定為點擴展函數(shù)。所述圖像插值器可以利用雙線性插值方法或者雙三次插值方法插值。
所述圖像復(fù)原器可包括殘值(residual value)產(chǎn)生器，利用所述產(chǎn)生的高分辨率標準圖像幀、一個參考圖像幀以及基于所述一個參考圖像幀和標準圖像幀的點擴展函數(shù)來產(chǎn)生殘值；圖像更新器，利用所述殘值來更新所述高分辨率標準圖像幀。這里，所述殘值可以是所述一個參考圖像幀減去高分辨率標準圖像幀與點擴展函數(shù)的卷積所得的值。
此外，當所述高分辨率標準圖像幀被更新時，所述殘值產(chǎn)生器可以利用更新后的高分辨率標準圖像幀、另一個參考圖像幀以及基于所述另一個參考圖像幀和標準圖像幀的點擴展函數(shù)來產(chǎn)生殘值。這里，所述殘值可以是所述另一個參考圖像幀減去更新的高分辨率標準圖像幀與點擴展函數(shù)的卷積所得的值。
所述圖像處理設(shè)備還可包括光場數(shù)據(jù)捕獲器，所述光場數(shù)據(jù)捕獲器包括第一光學(xué)單元，用于形成物體的圖像；光敏元件陣列，用于捕獲光線；第二光學(xué)單元，定位在主透鏡和光敏元件之間，基于光線的方向分離光線，并且將光線引導(dǎo)向所述光敏元件。
根據(jù)另一示例性的方面，提供了一種圖像處理方法，所述方法包括利用關(guān)于場景的光場數(shù)據(jù)確定一個標準圖像幀和至少一個參考圖像幀；基于所述標準圖像幀和所述至少一個參考圖像幀之間的子像素位移來確定點擴展函數(shù)；將所述標準圖像幀插值為具有比所述標準圖像幀的分辨率更高的分辨率的高分辨率標準圖像幀；通過利用產(chǎn)生的所述高分辨率標準圖像幀、點擴展函數(shù)和所述至少一個參考圖像幀更新高分辨率標準圖像幀，來復(fù)原高分辨率圖像。
本發(fā)明的其它方面將在以下描述中進行闡述，一部分從描述中變得清楚，或者通過本發(fā)明的實施可以了解到。
應(yīng)該理解，上述概括性描述和下面具體的描述是示例性和解釋性的，并且目的在于對權(quán)利要求限定的本發(fā)明的進一步解釋。



附圖示出了本發(fā)明的示例性實施例，附圖被包括以提供對本發(fā)明的進一步理解，并且附圖被結(jié)合其中并構(gòu)成說明書的一部分，附圖與描述一起用于解釋本發(fā)明的各方面。
圖1是顯示根據(jù)示例性實施例的圖像處理設(shè)備的結(jié)構(gòu)的圖示。
圖2是顯示全光照相機的方向分辨率(directional resolution)、空間分辨率和光敏元件像素大小之間的關(guān)系的圖示。
圖3A至圖3C是顯示根據(jù)示例性實施例的高分辨率圖像重建概念的圖示。
圖4是顯示根據(jù)示例性實施例的圖像處理設(shè)備的結(jié)構(gòu)的框圖。
圖5A和圖5B是顯示根據(jù)示例性實施例選擇標準圖像幀和參考圖像幀的技巧的圖示。
圖6A至圖6C是顯示根據(jù)示例性實施例的基于光場數(shù)據(jù)相對于標準圖像幀的子像素位移的圖示。
圖7是顯示根據(jù)示例性實施例的基于標準圖像幀產(chǎn)生高分辨率圖像幀的圖示。
圖8是顯示根據(jù)示例性實施例的基于標準圖像幀計算點擴展函數(shù)(PSF)的一個示例的圖示。
圖9是顯示根據(jù)示例性實施例的利用光場數(shù)據(jù)產(chǎn)生高分辨率圖像的方法的流程圖。

具體實施例方式 以下，將參照附圖更加全面地描述本發(fā)明，本發(fā)明的示例性實施例在附圖中被示出。但是，本發(fā)明可以以很多不同的形式被實現(xiàn)，并且不應(yīng)該被解釋為局限于在此闡述的示例性實施例。相反，提供這些示例性實施例使得公開徹底，并且將本發(fā)明的范圍更加完整地傳達給本領(lǐng)域技術(shù)人員。附圖中相同的標號表示相同的元件。
圖1是顯示根據(jù)示例性實施例的圖像處理設(shè)備的結(jié)構(gòu)的圖示。
圖像處理設(shè)備包括光場數(shù)據(jù)捕獲器140，具有用于形成物體圖像的主透鏡110、光敏元件(photosensor))陣列130和微透鏡陣列120，該微透鏡陣列120基于光線的方向來分離穿過主透鏡110的光線，并將所述光線引導(dǎo)向光敏元件陣列130；數(shù)據(jù)處理器150，處理捕獲的光場數(shù)據(jù)。在這種情況下，微透鏡陣列120和光敏元件陣列130可實現(xiàn)為圖像傳感器160。使用這種圖像處理設(shè)備，可以獲取被再聚焦圖像或者從多個角度觀看的圖像群(換句話說，可以調(diào)整圖像的視角)。
來自成像場景中的物體105上的一點的光線可以到達微透鏡陣列120的焦平面中的單個會聚點。在該會聚點的微透鏡122基于光的方向分離光線，并且在微透鏡122之后的光敏元件上產(chǎn)生主透鏡110的孔徑的聚焦圖像。
光敏元件陣列130檢測入射到其上的光，并產(chǎn)生利用多個元件中的至少一個處理過的輸出。例如，當產(chǎn)生包括物體105、106和107的場景的圖像時，輸出的光數(shù)據(jù)和關(guān)于提供數(shù)據(jù)的每個光敏元件的位置信息一起被傳送到數(shù)據(jù)處理器150。
數(shù)據(jù)處理器150可以實現(xiàn)為(例如)由一個公共組件(比如一個芯片)或者不同組件選擇性地構(gòu)成的計算機或者一些其它處理電路。數(shù)據(jù)處理器150的一部分可以實現(xiàn)在光場數(shù)據(jù)捕獲器140中，而另一部分實現(xiàn)在外部計算機中。數(shù)據(jù)處理器150被實現(xiàn)為處理圖像數(shù)據(jù)并計算包括物體105、106和107的場景的圖像。
當利用檢測的光或者檢測的光的特征以及(利用每個光敏元件的已知位置計算的)到達微透鏡陣列的光的已知方向產(chǎn)生可以再聚焦/校正的圖像時，數(shù)據(jù)處理器150選擇性地再聚焦和/或校正數(shù)據(jù)。
根據(jù)應(yīng)用以多個不同的方式實現(xiàn)圖像處理設(shè)備。例如，微透鏡陣列120被示出為多個可辨別的微透鏡，但是，陣列通常由很多(例如，幾千或者幾萬)的微透鏡構(gòu)成。只要穿過主透鏡110的光線基于它們的方向被分離，就可以按照其它形式(例如，光編碼孔板)替代微透鏡陣列120來實現(xiàn)。本領(lǐng)域普通技術(shù)人員將了解到，主透鏡110和微透鏡陣列120可以利用目前可用的或者將來研發(fā)的各種透鏡和/或微透鏡陣列來實現(xiàn)。
光敏元件陣列130通常針對微透鏡陣列120中的每個微透鏡具有多個光敏元件。光敏元件陣列1 30的每個像素的大小(即，間距)相對小于微透鏡陣列120的間距。而且，微透鏡陣列120中的微透鏡和光敏元件陣列130中的光敏元件可以被布置成使得朝著光敏元件陣列傳播通過每個微透鏡的光不與傳播通過相鄰的微透鏡的光重疊。
主透鏡110具有沿著光軸水平地運動的能力，以便以主透鏡110和示意性的拍攝物體105之間示出的期望的深度“d”來聚焦感興趣的物體。因此，主透鏡110能夠基于獲得的光場數(shù)據(jù)使光束再聚焦到期望的位置上。
例如，示出了來自物體105的一點的光線以對其進行解釋。這些光線可以到達微透鏡陣列120的焦平面中的微透鏡122上的單個會聚點。微透鏡122基于光線的方向來分離這些光線，并且在微透鏡之后的像素陣列中的像素集合(pixel set)上產(chǎn)生對應(yīng)于主透鏡的孔徑的聚焦圖像并產(chǎn)生聚焦圖像的光場數(shù)據(jù)。
考慮到圖像處理設(shè)備100內(nèi)的2-平面光場“L”，光場數(shù)據(jù)L(u，v，s，t)表示沿著與主透鏡110相交于(u，v)并且與微透鏡陣列120的平面相交于(s，t)的光線傳播的光。例如，光場數(shù)據(jù)L(u，v，s，t)代表穿過主透鏡110的子孔徑的位置(u，v)且穿過微透鏡的位置(s，t)的光束的強度值。這里，子孔徑表示主透鏡110的方向分辨率的數(shù)量。例如，當子孔徑的數(shù)量是196時，每個微透鏡陣列120對應(yīng)于196個像素。
光敏元件陣列130中的每個光敏元件可實現(xiàn)為提供表示穿過主透鏡110和微透鏡陣列120并被引導(dǎo)向該光敏元件的光線集合的值。也就是說，每個光敏元件響應(yīng)于入射到該光敏元件上的光產(chǎn)生輸出，并且每個光敏元件相對于微透鏡陣列120的位置被用于提供關(guān)于入射光的方向信息。
數(shù)據(jù)處理器150可利用光場數(shù)據(jù)，即L(u，v，s，t)產(chǎn)生再聚焦圖像。此時，數(shù)據(jù)處理器150可利用每個光敏元件相對于微透鏡的位置確定每個光敏元件上的光的方向。此外，數(shù)據(jù)處理器150可確定檢測的光束在其中擴散的場景內(nèi)的物體的景深，并使用檢測的光的方向和景深來計算聚焦在不同焦平面中的合成圖像。
同時，在微透鏡陣列120中的特定微透鏡122之后形成的圖像指示關(guān)于拍攝平面中的位置的系統(tǒng)方向分辨率。主透鏡110可以有效地位于距離微透鏡的無窮光程外，光敏元件陣列130可以位于微透鏡的焦深處的一個平面中，以便于使微透鏡聚焦。主透鏡110和微透鏡陣列120之間的分隔距離“s”可以在微透鏡的景深內(nèi)選擇，以實現(xiàn)清晰圖像。
可選擇主透鏡110的孔徑大小和微透鏡陣列120中的微透鏡的孔徑大小(例如，透鏡中開口的有效尺寸)以適應(yīng)圖像處理設(shè)備100的特定應(yīng)用。通過匹配主透鏡和微透鏡的f數(shù)(焦距比透鏡的有效焦距與孔徑之比)，可以容易地確定主透鏡110的孔徑大小和微透鏡的孔徑大小。
圖2是顯示全光照相機的方向分辨率、空間分辨率和光敏元件像素大小之間的關(guān)系的圖示。
照相機的空間取采樣率和方向采樣率被分別定義為Δx和Δu。照相機的傳感器的寬度被定義為Wx，透鏡孔徑的寬度被定義為Wu。假設(shè)這些定義，光敏元件的空間分辨率Nx＝Wx/Δx，光場照相機的方向分辨率Nu＝Wu/Δu。
為了在期望的距離執(zhí)行再聚焦，需要滿足下面的式子1。
(式子1) F表示主透鏡的焦距，F(xiàn)L表示根據(jù)再聚焦的期望范圍到物體的焦距。也就是說，F(xiàn)和FL表示能夠進行精確再聚焦的焦深的范圍。
例如，當Wu＝20mm，F(xiàn)＝80mm且用于再聚焦的物體的距離直達1m時，帶入上述式子1得到Δx·Nu≥1.59mm。在由4145×4145個像素構(gòu)成的傳感器中，當圖像的目標空間分辨率是1400×1400時，大約3(4145/1400)個像素能夠表示方向分辨率。
但是，當再聚焦范圍被設(shè)置成1m到∞，且傳感器的一個像素的間距是9μm時，需要的方向分辨率Nu至少是58(1.59mm/(3像素×9μm))。也就是說，當再聚焦范圍是1m到∞時，無法獲得1400×1400的空間分辨率。因此，需要改變再聚焦范圍或者目標空間分辨率。
下面的表列出了在上述假定條件下相對于目標空間分辨率，表示方向分辨率所必需的允許的Δx和需要的Nu。
(表1) 參照表1，當再聚焦范圍被設(shè)置成1m到∞，且空間分辨率被設(shè)置成300×300時，方向分辨率13×13是可以的，并且上面的再聚焦范圍能夠得到保證。也就是說，當傳感器尺寸被固定時，難以保證期望的空間分辨率，為了獲得期望的空間分辨率，需要更大的傳感器。
根據(jù)一個示例性實施例，為了獲取高分辨率圖像，光場數(shù)據(jù)被設(shè)置為空間子采樣數(shù)據(jù)(spatially sub-sampled data)并且被定義為用于提高分辨率的低分辨率數(shù)據(jù)。此外，通過相對于低分辨率數(shù)據(jù)中的標準低分辨率圖像的位置定義子采樣低分辨率圖像的位置的子像素位移(sub-pixel displacement)，能夠執(zhí)行低分辨率數(shù)據(jù)的配準(registration)和重建。因此，通過對產(chǎn)生的光場數(shù)據(jù)進行信號處理能夠改善空間分辨率。
圖3A至圖3C是顯示根據(jù)示例性實施例的高分辨率圖像重建概念的圖示。
如圖3A中所示，光場數(shù)據(jù)被捕獲。如上所述，當利用光場數(shù)據(jù)獲得圖像時，與利用相同的光敏元件陣列的普通攝影裝置相比，獲得具有降低了的空間分辨率的多個低分辨率圖像或者子采樣圖像。根據(jù)示例性實施例，多個低分辨率圖像中的一個圖像可以被確定為標準圖像幀，并且可以選擇除了該標準圖像幀之外的子采樣低分辨率圖像幀可被選擇并確定為至少一個參考圖像幀。
圖3B示出了在高分辨率(HR)網(wǎng)格(grid)上記錄光場數(shù)據(jù)的結(jié)果。
圖3B是顯示構(gòu)成根據(jù)示例性實施例選擇的標準圖像幀和參考圖像幀的光場數(shù)據(jù)在HR網(wǎng)格上的記錄的圖示。在圖3B中，●、×、△和*表示關(guān)于物體上的一點的光場數(shù)據(jù)，每個符號表示穿過主透鏡的不同位置的光場數(shù)據(jù)。根據(jù)示例性實施例，當利用由●表示的包括點311和312的光場數(shù)據(jù)形成的圖像幀是標準圖像幀時，其可以如圖3B所示記錄在HR網(wǎng)格上。
如圖3C所示，高分辨率圖像幀被重建。根據(jù)示例性實施例，可以通過利用關(guān)于物體上的一點的光場數(shù)據(jù)在構(gòu)成標準圖像幀的光場數(shù)據(jù)之間插值來增加標準圖像幀的分辨率。例如，利用包括在圖3B的HR網(wǎng)格上的區(qū)域310中的光場數(shù)據(jù)，在光場數(shù)據(jù)311與光場數(shù)據(jù)312之間的HR網(wǎng)格上的值321可以被插值。
圖4是顯示根據(jù)示例性實施例的圖像處理設(shè)備的結(jié)構(gòu)的框圖。
參照圖4，根據(jù)示例性實施例的圖像處理設(shè)備包括光場數(shù)據(jù)捕獲器140和數(shù)據(jù)處理器150?？梢詤⒄請D1所述地構(gòu)造光場數(shù)據(jù)捕獲器140。光場數(shù)據(jù)捕獲器140可包括第一光學(xué)單元，用于形成物體圖像；光敏元件陣列，捕獲光線；第二光學(xué)單元，位于主透鏡和光敏元件陣列之間，基于光線的方向分離光線并朝著光敏元件陣列引導(dǎo)光線。
以下，將詳細描述數(shù)據(jù)處理器150的結(jié)構(gòu)。
數(shù)據(jù)處理器150包括圖像幀確定器410、點擴展函數(shù)(point spreadfunction)確定器420、圖像插值器430和圖像復(fù)原器440。
圖像幀確定器410利用關(guān)于場景的光場數(shù)據(jù)確定一個標準圖像幀和至少一個參考圖像幀，并且可包括標準圖像幀確定器412和參考圖像幀確定器414。
根據(jù)示例性實施例，標準圖像幀確定器412可確定利用光場數(shù)據(jù)產(chǎn)生的并從至少一個角度顯示的圖像幀中的一個圖像幀作為標準圖像幀。參考圖像幀確定器414可將從至少一個角度顯示的至少一個產(chǎn)生的圖像幀(不包括被確定為標準圖像幀的圖像幀)確定為至少一個參考圖像幀。
根據(jù)另一示例性實施例，標準圖像幀確定器412可將利用光場數(shù)據(jù)中的每子孔徑所得的光場數(shù)據(jù)的總值產(chǎn)生的圖像幀確定為標準圖像幀。參考圖像幀確定器414可將利用在產(chǎn)生標準圖像幀的過程中使用的每子孔徑的光場數(shù)據(jù)產(chǎn)生的至少一個圖像幀確定為至少一個參考圖像幀。
點擴展函數(shù)(PSF)確定器420可基于標準圖像幀和每個參考圖像幀之間的子像素位移確定點擴展函數(shù)。子像素位移可以是構(gòu)成標準圖像幀的至少一個光場數(shù)據(jù)與參考圖像幀的分別對應(yīng)于所述至少一個光場數(shù)據(jù)的光場數(shù)據(jù)之間的位置差。子像素位移可以是根據(jù)關(guān)于物體的每個點的光場數(shù)據(jù)在主透鏡上的透射位置或者根據(jù)光場數(shù)據(jù)捕獲器140的結(jié)構(gòu)設(shè)置的值，并且子像素位移可以是根據(jù)與物體之間的距離而改變的值。
根據(jù)示例性實施例，PSF確定器420可以將基于標準圖像幀和每個參考圖像幀之間的子像素位移的每個2維高斯函數(shù)確定為點擴展函數(shù)。相對于標準圖像幀，對于每個參考圖像幀不同地確定PSF，并且通過對應(yīng)于每個預(yù)定的參考圖像幀的子像素位移來確定PSF，而與標準圖像幀的更新無關(guān)。
圖像插值器430將標準圖像幀插值為具有比標準圖像幀更高的分辨率的高分辨率標準圖像幀。圖像插值器430可利用雙線性插值方法或者雙三次插值方法來插值。
圖像復(fù)原器440可通過利用產(chǎn)生的高分辨率圖像幀、點擴展函數(shù)和至少一個參考圖像幀更新高分辨率標準圖像幀來復(fù)原高分辨率圖像。圖像復(fù)原器440可執(zhí)行用于利用多個低分辨率圖像幀產(chǎn)生高分辨率圖像幀的多種高分辨率圖像處理方法。
根據(jù)示例性實施例，圖像復(fù)原器440可包括殘值產(chǎn)生器442和圖像更新器444。
殘值產(chǎn)生器442利用產(chǎn)生的高分辨率標準圖像幀、一個參考圖像幀以及基于所述一個參考圖像幀和標準圖像幀的點擴展函數(shù)來產(chǎn)生殘值。這里，殘值可以是一個參考圖像幀(觀測圖像)減去高分辨率標準圖像幀與點擴展函數(shù)的卷積(convolution)(估計圖像)得到的值。圖像更新器444利用殘值(即，從觀測圖像減去估計圖像而獲得的圖像)更新高分辨率標準圖像幀。
此外，當高分辨率標準圖像幀被更新時，殘值產(chǎn)生器442可利用更新后的高分辨率標準圖像幀、另一個參考圖像幀以及基于所述另一個參考圖像幀和標準圖像幀的點擴展函數(shù)來產(chǎn)生殘值。這里，殘值可以是所述另一個參考圖像幀減去更新的高分辨率標準圖像幀與點擴展函數(shù)的卷積得到的值。圖像更新器444利用該殘值更新高分辨率標準圖像幀。
這些操作可以被重復(fù)地執(zhí)行，直到對多個參考圖像幀中的每個都執(zhí)行過為止。例如，當存在10個參考圖像幀時，執(zhí)行十次上述的更新操作。如上所述的利用產(chǎn)生的殘值更新高分辨率標準圖像幀的方法可采用各種高分辨率圖像復(fù)原技巧，例如，凸集投影(POCS)。
此外，可重復(fù)地執(zhí)行高分辨率標準圖像幀更新操作，直到復(fù)原后的高分辨率圖像的質(zhì)量達到期望的質(zhì)量為止。例如，在利用10個參考圖像幀完成更新操作之后，可重復(fù)地執(zhí)行利用10個參考圖像幀和PSF更新產(chǎn)生的高分辨率圖像的操作，直到殘值小于特定的臨界值為止。
圖5A和圖5B是顯示根據(jù)示例性實施例選擇標準圖像幀和參考圖像幀的技巧的圖示。
圖5A顯示了在捕獲能夠進行精確再聚焦的光場數(shù)據(jù)的情況下的光場數(shù)據(jù)捕獲器的結(jié)構(gòu)，圖5B顯示了在捕獲不能夠進行精確再聚焦的光場數(shù)據(jù)的情況下的光場數(shù)據(jù)捕獲器的結(jié)構(gòu)。
如圖5A所示，根據(jù)示例性實施例，當相對于物體上的一點在方向分辨率上精確的再聚焦可行時，圖像幀確定器410可將利用光場數(shù)據(jù)產(chǎn)生的并且從至少一個角度觀看的多個圖像幀中的一個圖像幀確定為標準圖像幀，并且將從至少一個角度觀看的至少一個產(chǎn)生的圖像幀(不包括被確定為標準圖像幀的圖像幀)確定為至少一個參考圖像幀。
如圖5B所示，根據(jù)示例性實施例，當精確的再聚焦不可行時，圖像幀確定器410可將利用光場數(shù)據(jù)中的每子孔徑所得的光場數(shù)據(jù)的總值產(chǎn)生的圖像幀確定為標準圖像幀。此外，圖像幀確定器410可將利用在產(chǎn)生標準圖像幀的過程中使用的每子孔徑的光場數(shù)據(jù)形成的至少一個圖像幀確定為至少一個參考圖像幀。這里，利用在產(chǎn)生標準圖像幀的過程中使用的每子孔徑的光場數(shù)據(jù)產(chǎn)生的至少一個圖像幀可以與參照圖5A所描述的包括標準圖像幀和至少一個參考圖像幀的圖像幀對應(yīng)。
圖6A至圖6C是顯示根據(jù)示例性實施例的基于光場數(shù)據(jù)的相對于標準圖像幀的子像素位移的圖示。
圖6A顯示了來自場景610的物體611和612的穿過具有9個子孔徑的主透鏡620的光信號和穿過主透鏡620的每子孔徑并入射到光傳感器630中的對應(yīng)于子孔徑的數(shù)量的光像素(light pixel)上的光信號。參考標號640表示在低分辨率(LR)網(wǎng)格的位置中限定的感測數(shù)據(jù)。在圖6A中，在第五光傳感器中感測到的感測值(即，強度)被顯示在LR網(wǎng)格上，但是在剩余的光傳感器的像素中感測到的強度也被限定在LR網(wǎng)格上。
圖6B顯示了感測的LR數(shù)據(jù)(即，光場數(shù)據(jù))是已經(jīng)穿過主透鏡620的子孔徑的數(shù)據(jù)。在圖6A和圖6B中，為了便于描述，主透鏡620的子孔徑的布置和光傳感器630的像素的布置呈直線，但是子孔徑的布置和像素布置可以具有多個不同的形式。
圖6C是顯示了相對于標準圖像幀的參考圖像幀的子像素位移的示例的圖示。
如圖6C所示，穿過主透鏡的子孔徑的數(shù)據(jù)可限定相對于標準圖像幀的子像素位移的量。在圖6C中，假定由穿過第五子孔徑的光場數(shù)據(jù)構(gòu)成的圖像幀被確定為標準圖像幀，則穿過第一子孔徑的光場數(shù)據(jù)與穿過第九子孔徑的光場數(shù)據(jù)之間的排列差(arrangement difference)是1個像素，且子像素位移與主透鏡透射位置成比例，如圖6C所示。在這種情況下，當maxx被定義為0.5時，由穿過第六子孔徑的光場數(shù)據(jù)構(gòu)成的圖像幀可被確定為相對于標準圖像幀具有0.125的像素偏移。
圖7是顯示根據(jù)示例性實施例的基于光場數(shù)據(jù)產(chǎn)生高分辨率圖像幀的圖示。
為了將標準圖像幀形成為高分辨率圖像，確定將要提高的分辨率的大小，并且通過信號處理(例如，通過例如雙線性插值或者雙三次插值的差值方法)將標準圖像幀放大到所確定的分辨率大小。
參考標號710表示感測的光場數(shù)據(jù)，參考標號720表示在LR網(wǎng)格上顯示的標準圖像幀的數(shù)據(jù)，參考標號730表示在HR網(wǎng)格上顯示的標準圖像幀的高分辨率處理過的數(shù)據(jù)的示例?！癖硎緲藴蕡D像幀的數(shù)據(jù)，○表示利用原始的標準圖像幀的數(shù)據(jù)插值的數(shù)據(jù)。
圖8是顯示根據(jù)示例性實施例的基于標準圖像幀計算PSF的一個示例的圖示。
在圖8的左側(cè)顯示的光場數(shù)據(jù)示出了解釋計算PSF的方法所需要的光場數(shù)據(jù)的簡要形式?！?、▲和■表示關(guān)于物體上的一個點的光場數(shù)據(jù)。
根據(jù)示例性實施例，PSF可以按照下面被定義。
(式子2) 例如，■位置XX表示在標準的▲(u，v)域中的點位置上沿著x軸方向定義的子像素位移的總值。R XX表示PSF的高斯函數(shù)的峰值(peak)的中心位置為圓心(round)(XX)。此外，■位置YY表示在標準▲(u，v)域中的點位置上沿著y軸方向定義的子像素位移的總值。R YY表示PSF的高斯函數(shù)的峰值的中心位置為圓心(YY)。也就是說，PSF可以基于光場位置被定義。PSF的高斯包絡(luò)根據(jù)子像素位移的程度而改變。
圖9是顯示根據(jù)示例性實施例的利用光場數(shù)據(jù)產(chǎn)生高分辨率圖像的方法的流程圖。
捕獲關(guān)于場景的光場數(shù)據(jù)(S910)。利用捕獲的光場數(shù)據(jù)確定標準圖像幀和至少一個參考圖像幀(S920)。基于標準圖像幀和至少一個參考圖像幀之間的子像素位移確定點擴展函數(shù)(S930)。
將標準圖像幀插值為具有比標準圖像幀的分辨率高的分辨率的高分辨率標準圖像幀(S940)。通過利用產(chǎn)生的高分辨率圖像幀、點擴展函數(shù)和至少一個參考圖像幀更新高分辨率標準圖像幀來復(fù)原高分辨率圖像(S950)。
可以重復(fù)地執(zhí)行高分辨率圖像的復(fù)原操作，直到對于每個參考圖像都執(zhí)行過為止。根據(jù)示例性實施例，POCS方法可用于產(chǎn)生子像素單元高分辨率圖像。
本發(fā)明可以被實現(xiàn)為計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機可讀記錄介質(zhì)包括能夠存儲計算機可讀數(shù)據(jù)的所有類型的記錄介質(zhì)。計算機可讀記錄介質(zhì)的例子包括只讀存儲器(ROM)、隨機存取存貯器(RAM)、光盤(CD)-ROMs、磁帶、軟盤和光數(shù)據(jù)存儲裝置。此外，記錄介質(zhì)可以載波的形式被實現(xiàn)(例如互聯(lián)網(wǎng)傳輸)。另外，計算機可讀記錄介質(zhì)可分布在其中計算機可讀取編碼以分布的方式被存儲和執(zhí)行的網(wǎng)絡(luò)的計算機系統(tǒng)上。
本領(lǐng)域技術(shù)人員應(yīng)該清楚，在不脫離本發(fā)明的精神或者范圍的情況下，可以對本發(fā)明進行各種修改和改變。因此，本發(fā)明的目的在于覆蓋由權(quán)利要求及其等同物限定的本發(fā)明的范圍內(nèi)的各種修改和改變。
權(quán)利要求
1.一種圖像處理設(shè)備，包括
圖像幀確定器，用于利用關(guān)于場景的光場數(shù)據(jù)確定一個標準圖像幀和至少一個參考圖像幀；
點擴展函數(shù)確定器，基于所述標準圖像幀和所述至少一個參考圖像幀之間的子像素位移來確定點擴展函數(shù)；
圖像插值器，用于將所述標準圖像幀插值為具有比標準圖像幀高的分辨率的高分辨率標準圖像幀；
圖像復(fù)原器，通過利用產(chǎn)生的所述高分辨率標準圖像幀、點擴展函數(shù)和所述至少一個參考圖像幀更新高分辨率標準圖像幀，來復(fù)原高分辨率圖像。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述子像素位移是構(gòu)成所述標準圖像幀的至少一個光場數(shù)據(jù)與每個參考圖像幀的分別對應(yīng)于所述至少一個光場數(shù)據(jù)的光場數(shù)據(jù)之間的位置差。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像幀確定器將利用光場數(shù)據(jù)產(chǎn)生并從至少一個角度顯示的圖像幀中的一個圖像幀確定為標準圖像幀，并且將從至少一個角度顯示的所述產(chǎn)生的圖像幀中除了被確定為標準圖像幀的圖像幀之外的至少一個圖像幀確定為所述至少一個參考圖像幀。
4.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像幀確定器將利用光場數(shù)據(jù)中的每子孔徑所獲得的光場數(shù)據(jù)的總值產(chǎn)生的圖像幀確定為標準圖像幀，并且將利用在產(chǎn)生標準圖像幀的過程中使用的每子孔徑的光場數(shù)據(jù)產(chǎn)生的至少一個圖像幀確定為所述至少一個參考圖像幀。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中，點擴展函數(shù)確定器將基于標準圖像幀和每個參考圖像幀之間的子像素位移的每個2維高斯函數(shù)確定為點擴展函數(shù)。
6.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像插值器利用雙線性插值方法或者雙三次插值方法插值。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像復(fù)原器包括
殘值產(chǎn)生器，利用產(chǎn)生的高分辨率標準圖像幀、一個參考圖像幀以及基于所述一個參考圖像幀和標準圖像幀的點擴展函數(shù)來產(chǎn)生殘值；
圖像更新器，利用所述殘值來更新所述高分辨率標準圖像幀。
8.如權(quán)利要求7所述的圖像處理設(shè)備，其中，所述殘值是所述一個參考圖像幀減去高分辨率標準圖像幀與點擴展函數(shù)的卷積所得的值。
9.如權(quán)利要求7所述的圖像處理設(shè)備，其中，當所述高分辨率標準圖像幀被更新時，所述殘值產(chǎn)生器利用更新后的高分辨率標準圖像幀、另一個參考圖像幀和基于所述另一個參考圖像幀和標準圖像幀的點擴展函數(shù)來產(chǎn)生殘值。
10.如權(quán)利要求9所述的圖像處理設(shè)備，其中，所述殘值是所述另一個參考圖像幀減去更新的高分辨率標準圖像幀與點擴展函數(shù)的卷積所得的值。
11.如權(quán)利要求1所述的圖像處理設(shè)備，還包括光場數(shù)據(jù)捕獲器，
其中，所述光場數(shù)據(jù)捕獲器包括
第一光學(xué)單元，用于形成物體的圖像；
光敏元件陣列，用于捕獲光線；
第二光學(xué)單元，定位在主透鏡和光敏元件之間，基于光線的方向分離光線，并且將光線引導(dǎo)向所述光敏元件。
12.一種圖像處理方法，包括
利用關(guān)于場景的光場數(shù)據(jù)確定一個標準圖像幀和至少一個參考圖像幀；
基于所述標準圖像幀和所述至少一個參考圖像幀之間的子像素位移來確定點擴展函數(shù)；
將所述標準圖像幀插值為具有比所述標準圖像幀的分辨率更高的分辨率的高分辨率標準圖像幀；
通過利用產(chǎn)生的所述高分辨率標準圖像幀、點擴展函數(shù)和所述至少一個參考圖像幀更新高分辨率標準圖像幀，來復(fù)原高分辨率圖像。
13.如權(quán)利要求12所述的方法，其中，所述子像素位移是構(gòu)成所述標準圖像幀的至少一個光場數(shù)據(jù)與每個參考圖像幀的分別對應(yīng)于所述至少一個光場數(shù)據(jù)的光場數(shù)據(jù)之間的位置差。
14.如權(quán)利要求12所述的方法，其中，利用光場數(shù)據(jù)確定一個標準圖像幀和至少一個參考圖像幀的步驟包括
將利用光場數(shù)據(jù)產(chǎn)生并從至少一個角度顯示的圖像幀中的一個圖像幀確定為標準圖像幀；
將從至少一個角度顯示的所述產(chǎn)生的圖像幀中除了被確定為標準圖像幀的圖像幀之外的至少一個圖像幀確定為所述至少一個參考圖像幀。
15.如權(quán)利要求12所述的方法，其中，利用光場數(shù)據(jù)確定一個標準圖像幀和至少一個參考圖像幀的步驟包括
將利用光場數(shù)據(jù)中的每子孔徑所獲得的光場數(shù)據(jù)的總值產(chǎn)生的圖像幀確定為標準圖像幀；
將利用在產(chǎn)生標準圖像幀的過程中使用的每子孔徑的光場數(shù)據(jù)產(chǎn)生的至少一個圖像幀確定為所述至少一個參考圖像幀。
16.如權(quán)利要求12所述的方法，其中，確定點擴展函數(shù)的步驟包括
將基于標準圖像幀和每個參考圖像幀之間的子像素位移的每個2維高斯函數(shù)確定為點擴展函數(shù)。
17.如權(quán)利要求12所述的方法，其中，將所述標準圖像幀插值為高分辨率標準圖像幀的步驟包括
利用雙線性插值方法或者雙三次插值方法插值。
18.如權(quán)利要求12所述的方法，其中，復(fù)原高分辨率圖像的步驟包括
利用產(chǎn)生的高分辨率標準圖像幀、一個參考圖像幀以及基于所述一個參考圖像幀和標準圖像幀的點擴展函數(shù)來產(chǎn)生殘值；
利用所述殘值來更新所述高分辨率標準圖像幀。
19.如權(quán)利要求18所述的方法，其中，所述殘值是所述一個參考圖像幀減去高分辨率標準圖像幀與點擴展函數(shù)的卷積所得的值。
20.如權(quán)利要求18所述的方法，其中，當所述高分辨率標準圖像幀被更新時，利用更新后的高分辨率標準圖像幀、另一個參考圖像幀以及基于所述另一個參考圖像幀和標準圖像幀的點擴展函數(shù)來產(chǎn)生殘值。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備和方法。利用關(guān)于場景的光場數(shù)據(jù)產(chǎn)生一個標準圖像幀和至少一個參考圖像幀。利用所述產(chǎn)生的一個標準圖像幀和所述至少一個參考圖像幀復(fù)原高分辨率圖像。
文檔編號H04N5/225GK101729778SQ20091014654
公開日2010年6月9日 申請日期2009年6月3日 優(yōu)先權(quán)日2008年10月10日
發(fā)明者任宰均, 玉賢旭, 樸炳冠, 李性德, 姜周泳 申請人:三星電子株式會社