利用透鏡移動的增強圖像處理的制作方法
【專利摘要】本發(fā)明涉及利用透鏡移動的增強圖像處理。一種示范性成像系統(tǒng)，通過在圖像曝光期間，在透鏡在所定義的焦距范圍內(nèi)移動時，采集圖像信息進行操作，其中，在處理圖像時，通過使用透鏡移動的曲線，可生成具有擴展景深的聚焦圖像。
【專利說明】利用透鏡移動的增強圖像處理
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理，具體地，涉及利用透鏡移動的增強圖像處理。
【背景技術(shù)】
[0002]拍攝照片時，攝影師通過使用各種透鏡或通過調(diào)節(jié)與記錄圖片的照相機內(nèi)的點相距的快門尺寸和/或透鏡距離，控制焦點距離。該焦點距離為與照相機相距的距離，其中，相對于圖片的剩余部分，最大化聚焦物體。焦點距離周圍為實質(zhì)上至少在某個閾值電平之上聚焦的區(qū)域。圖片可被調(diào)節(jié)為具有某些聚焦區(qū)域和某些模糊區(qū)域。例如，可使得特定距離處的物體聚焦，而使得在其他距離處的物體模糊。或者，圖片可從特定的距離、直到特定的距離、或者在兩個距離之間被聚焦。通常，適當(dāng)清晰度的聚焦區(qū)域被稱為景深。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提供了如下成像系統(tǒng)、成像方法和計算機可讀介質(zhì):
[0004]( I) 一種成像系統(tǒng)，包括:
[0005]成像透鏡，可調(diào)節(jié)至不同的焦距；
[0006]圖像傳感器，被配置為從所述成像透鏡接收圖像信息；
[0007]在所述圖像傳感器的單個圖像幀曝光的持續(xù)時間期間改變透鏡焦點位置的機構(gòu)；以及
[0008]處理電路，被配置為:
[0009]增強所述圖像傳感器采集的圖像中的清晰圖像內(nèi)容；以及
[0010]在所述圖像傳感器所采集的一個或多個圖像曝光期間，改變所述透鏡焦點位置的同時，由所述一個或多個圖像獲得距離圖。
[0011](2)根據(jù)(I)所述的成像系統(tǒng)，其中，采集包括第一幀和第二幀的兩個圖像幀之后，所述處理電路生成場景的所述距離圖，其中，對于所述第一幀，所述透鏡焦點位置以第一速度曲線改變，并且在所述第二幀內(nèi)，所述透鏡焦點位置以不同的速度曲線改變。
[0012](3)根據(jù)(I)所述的成像系統(tǒng)，其中，在所述單個圖像幀的曝光整合期間，所述透鏡在與到對準(zhǔn)焦點的物體的距離的子范圍對應(yīng)的焦點位置的預(yù)定義子范圍內(nèi)移動。
[0013](4)根據(jù)(I)所述的成像系統(tǒng)，其中，采集包括第一幀和第二幀的兩個圖像幀之后，所述處理電路生成場景的所述距離圖，其中，對于所述第一幀，在所述第一幀曝光期間，所述透鏡焦點位置以第一變化速率連續(xù)改變，其中對于所述第二幀，在所述第二幀曝光期間，所述透鏡焦點位置在相反方向上以不同的變化速率連續(xù)改變，其中，所述處理電路被進一步配置為通過結(jié)合距離圖信息和增強的圖像生成立體圖像。
[0014](5)根據(jù)(I)所述的成像系統(tǒng)，進一步包括用于所述圖像傳感器每個像素的單獨的區(qū)分的快門，其中，每個像素快門與所述透鏡的變化的透鏡焦點位置同步，并且在特定像素的設(shè)定透鏡焦點位置被激活以產(chǎn)生對準(zhǔn)焦點的像素數(shù)據(jù)的采集。
[0015](6)根據(jù)(I)所述的成像系統(tǒng)，其中，所述處理電路被進一步配置為確定自動對焦設(shè)置，以用于通過采集包括第一幀和第二幀的兩個圖像幀，以從所述成像裝置到物體的特定距離，采集后續(xù)圖像場景，其中，對于所述第一幀，在所述第一幀曝光期間，所述透鏡焦點位置以第一變化速率連續(xù)改變，并且對于第二幀，在所述第二幀曝光期間，所述透鏡焦點位置以不同的變化速率連續(xù)改變，其中，在所述第一幀和所述第二幀期間采集的所述圖像信息的比較，將要使用的透鏡焦點位置識別為自動對焦設(shè)置，用于改變從所述成像裝置到所述場景中的物體的距離。
[0016](7)根據(jù)(I)所述的成像系統(tǒng)，其中，在所述單個圖像幀曝光期間，所述透鏡焦點位置改變的范圍是用戶可配置的。
[0017](8) 一種成像方法，包括:
[0018]在透鏡在定義的焦掃描內(nèi)移動時，在第一圖像幀曝光期間采集圖像數(shù)據(jù)；以及
[0019]利用在所述曝光期間使用的焦掃描上整合的點擴散函數(shù)(PSF)，對所述圖像數(shù)據(jù)去卷積，以生成具有擴展景深的校正圖像，而無需散焦像素數(shù)據(jù)。
[0020](9)根據(jù)(8)所述的成像方法，其中，在所述第一圖像幀曝光期間，以不均勻的速率改變所述焦掃描的速度。
[0021](10)根據(jù)(8)所述的成像方法，進一步包括:
[0022]在定義的第二焦掃描內(nèi)，在相鄰的第二圖像幀曝光期間，采集同一圖像場景的圖像數(shù)據(jù)，其中，所述第二焦掃描包括與所述第一焦掃描相同的透鏡焦點位置范圍；以及
[0023]比較所述第二圖像幀的圖像數(shù)據(jù)和所述第一圖像幀的圖像數(shù)據(jù)，以在所述同一圖像場景的所述透鏡焦點位置范圍內(nèi)，識別像素的最清晰焦深位置。
[0024](11)根據(jù)(10)所述的成像方法，其中，在所述第一焦掃描中使用的透鏡移動的速度曲線與在所述第二焦掃描中使用的透鏡移動的速度曲線不同。
[0025](12)根據(jù)(10)所述的成像方法，其中，在所述第一焦掃描中使用的透鏡移動的曲線與在所述第二焦掃描中使用的透鏡移動的曲線相同。
[0026]( 13)根據(jù)(10)所述的成像方法，進一步包括在識別所述像素的所述最清晰焦深位置之后，生成所述同一圖像場景的距離圖。
[0027](14)根據(jù)(13)所述的成像方法，進一步包括通過結(jié)合距離圖信息和所述校正圖像生成立體圖像。
[0028](15)根據(jù)(10)所述的成像方法，進一步包括:
[0029]存儲與從所述透鏡到所述圖像場景中與所識別的最清晰焦深位置對應(yīng)的物體的距離相關(guān)聯(lián)的透鏡焦點位置，作為自動對焦設(shè)置；以及
[0030]在后續(xù)圖像采集中，使用存儲的所述自動對焦設(shè)置以從所述透鏡到所述圖像場景內(nèi)物體的同一距離采集物體的場景，其中，所述自動對焦設(shè)置包括存儲的所述透鏡焦點位置。
[0031](16)根據(jù)(8)所述的成像方法，進一步包括在特定像素的設(shè)定透鏡焦點位置，同步激活用于圖像傳感器的每個像素的單獨快門，這將產(chǎn)生對準(zhǔn)焦點的像素數(shù)據(jù)的采集。
[0032](17) 一種永久性計算機可讀介質(zhì)，存儲處理器可執(zhí)行的成像程序，所述程序包括:
[0033]在透鏡在定義的焦掃描內(nèi)移動時，在第一圖像幀曝光期間采集圖像數(shù)據(jù)的代碼；
[0034]在定義的第二焦掃描內(nèi)，在相鄰的第二圖像幀曝光期間，采集同一圖像場景的圖像數(shù)據(jù)，其中，所述第二焦掃描包括與所述第一焦掃描相同的透鏡焦點位置范圍的代碼；以及
[0035]比較所述第二圖像幀的圖像數(shù)據(jù)和所述第一圖像幀的圖像數(shù)據(jù)，以在所述同一圖像場景的所述透鏡焦點位置范圍內(nèi)，識別像素的最清晰的焦深位置的代碼。
[0036](18)根據(jù)(17)所述的計算機可讀介質(zhì)，所述程序進一步包括:
[0037]存儲與從所述透鏡到所述圖像場景中與所識別的最清晰焦深位置對應(yīng)的物體的距離相關(guān)聯(lián)的透鏡焦點位置，作為自動對焦設(shè)置的代碼；以及
[0038]在后續(xù)圖像采集中，使用所存儲的自動對焦設(shè)置以從所述透鏡到所述同一圖像場景內(nèi)物體的相同距離采集物體的場景，其中，所述自動對焦設(shè)置包括存儲的所述透鏡焦點位置的代碼。
[0039]( 19)根據(jù)(17)所述的計算機可讀介質(zhì)，所述程序進一步包括在識別在其各自最清晰的透鏡焦點位置像素的深度位置之后，生成所述同一圖像場景的距離圖的代碼。
[0040](20)根據(jù)(17)所述的計算機可讀介質(zhì)，所述程序進一步包括在特定像素的設(shè)定透鏡焦點位置，同步激活用于圖像傳感器的每個像素的單獨快門，這將產(chǎn)生對準(zhǔn)焦點的像素數(shù)據(jù)的采集的代碼。
【專利附圖】

【附圖說明】
[0041]參看下圖，可更好地理解本公開的多個方面。圖中的元件不必按比例繪出，而是重點清晰地示出本公開的各原理。而且，在圖中，在這幾幅示圖中，相似的參考數(shù)字表示相應(yīng)的部件。
[0042]圖1為根據(jù)本發(fā)明的成像裝置的圖像處理電路的示例性實施方式的方框圖。
[0043]圖2為示出根據(jù)本發(fā)明的成像裝置的透鏡焦距(focal length)、焦點距離(focaldistance)、以及透鏡到對準(zhǔn)焦點的物體的距離之間的關(guān)系的示圖。
[0044]圖3至圖4為示出根據(jù)本發(fā)明實施方式的在圖像幀的一系列曝光期間成像透鏡隨著時間的移動速率的圖表的示圖。
[0045]圖5A至圖5E為示出根據(jù)本發(fā)明實施方式的用于處理圖像數(shù)據(jù)的示例性電子裝置的方框圖。
[0046]圖6至圖9為描述根據(jù)本發(fā)明的圖像處理方法的各種實施方式的流程圖。
【具體實施方式】
[0047]本發(fā)明涉及各種裝置、方法、計算機可用介質(zhì)、以及處理器，其被設(shè)計為在進行幀曝光的過程中，利用照相機鏡頭移動進行圖像處理和/或確定最佳的圖像聚焦設(shè)置。作為一個可能的實例，在定義的范圍內(nèi)移動透鏡的過程中所采集的圖像信息可用于抽取景深擴展的聚焦圖像，作為數(shù)字?jǐn)z像機、數(shù)碼攝像機或其他成像裝置內(nèi)的圖像處理管線的一部分。此外，圖像處理管線可從所采集的圖像信息中抽取自動對焦信息和/或生成距離圖(或深度圖)，其中，在曝光單個幀或相鄰幀的過程中，可使用透鏡移動的不同曲線。本領(lǐng)域的技術(shù)人員會認(rèn)識到，所公開的技術(shù)也可用于其他背景以及應(yīng)用中。對于嵌入式裝置內(nèi)的攝像機而言，例如，數(shù)字?jǐn)z像機、數(shù)碼攝像機、移動電話、個人數(shù)字助理(PDA)、平板電腦、便攜式音樂播放器、以及臺式電腦或膝上型電腦，諸如本文中所公開的那些的技術(shù)可提高圖像質(zhì)量。[0048]為了獲取圖像數(shù)據(jù)，數(shù)字成像裝置可包括圖像傳感器，該圖像傳感器提供多個光檢測元件(例如，光探測器)，其被配置為將圖像傳感器所檢測的光轉(zhuǎn)換成電信號。圖像傳感器還可包括濾色器陣列，該濾色器陣列過濾圖像傳感器所采集的光，以便采集顏色信息。圖像傳感器所采集的圖像數(shù)據(jù)然后可由圖像處理管線電路處理，圖像處理管線電路可將多個不同的圖像處理操作用于圖像數(shù)據(jù)以生成全色圖像或一系列視頻幀，可顯示該全色圖像或視頻幀序列用于在顯示裝置或屏幕上查看。
[0049]參看圖1，示出了用于圖像采集或成像裝置150的圖像處理電路100的一個實施方式的方框圖。示出的成像裝置150可裝配有數(shù)字?jǐn)z像機，其被配置為獲取靜止圖像和活動圖像(例如，視頻)。裝置150可包括透鏡110和一個或多個圖像傳感器101，該圖像傳感器被配置為采集光并且將光轉(zhuǎn)換成電信號。僅僅通過實例，圖像傳感器可包括CMOS(complementary metal-oxi de-semi conductor,互補金屬氧化物半導(dǎo)體)圖像傳感器(例如，CMOS有源像素傳感器(APS))或CXD (電荷耦合器件)傳感器。
[0050]在某些實施方式中，閃光光源(例如，發(fā)光二極管)109也可被設(shè)置在透鏡110附近，以有助于在黑暗的環(huán)境中提供光。如果成像裝置150檢測到環(huán)境光不夠亮，從而不能恰當(dāng)?shù)貙D像曝光，那么成像裝置150啟用閃光109并且拍攝照片。
[0051]在某些實施方式中，圖像處理電路100可包括各種子元件和/或邏輯或電路的離散元件，其共同形成圖像處理“管線”，用于執(zhí)行各種圖像處理步驟中的每個步驟。這些子元件可通過使用硬件(例如，數(shù)字信號處理器或ASICs (application-specific integratedcircuits,專用集成電路))或軟件,或者通過組合硬件和軟件元件實施。圖像處理電路100可提供各種圖像處理操作。
[0052]此外，圖像處理電路100可包括前端處理邏輯或電路103、管線處理邏輯或電路104、以及控制邏輯或電路105。圖像傳感器101可包括濾色器陣列(例如，Bayer濾波器)并且因此可提供圖像傳感器101的每個成像像素所采集的光強度以及波長信息，以提供可由前端處理邏輯103處理的一組原始圖像數(shù)據(jù)。
[0053]在某些實施方式中，圖像處理電路內(nèi)可采用單個透鏡110和單個圖像傳感器101。然而在其他實施方式中，可采用多個透鏡Iio和多個圖像傳感器101。在一個實施方式中，圖像傳感器101操作每個像素單元的電子快門102。因此，像素單元的電子快門102可允許每個單元在單獨的起點和終點時間接收和整合輸入光。
[0054]而且，成像裝置150的實施方式可具有多個操作模式，使得一個模式可允許成像裝置150生成景深擴展的圖像；第二模式可允許成像裝置150生成距離圖，第三模式可允許成像裝置150確定自動對焦設(shè)置，等等。成像裝置150的實施方式可采用從裝置的接口元件可選擇的操作模式。接口元件可包括從顯示器106可選擇的圖形接口元件、或從成像裝置150的外殼可選擇的或可切換的機械按鈕或開關(guān)、或用于通過其他程序和/或應(yīng)用程序進行控制的應(yīng)用程序接口。
[0055]前端處理邏輯103也可從存儲器108接收像素數(shù)據(jù)。例如，原始像素數(shù)據(jù)可從圖像傳感器101被發(fā)送到存儲器108中。然后，位于存儲器108內(nèi)的原始像素數(shù)據(jù)可被提供給前端處理邏輯103進行處理。
[0056](從圖像傳感器101或從存儲器108)接收到原始圖像數(shù)據(jù)時，前端處理邏輯103可執(zhí)行一個或多個圖像處理操作。然后，處理過的圖像數(shù)據(jù)可被提供給管線處理邏輯104，用于在(例如，在顯示裝置106上)顯示之前進行額外處理，或者可被發(fā)送到存儲器108。管線處理邏輯104直接從前端處理邏輯103或從存儲器108接收“前端”處理數(shù)據(jù)，并且根據(jù)具體情況，在原始域內(nèi)以及在RGB和YCbCr顏色空間內(nèi)，可提供對圖像數(shù)據(jù)的額外處理。然后，由管線處理邏輯104處理的圖像數(shù)據(jù)可被輸出到用于用戶查看的顯示器106(或取景器)，和/或進一步由圖形引擎處理。此外，管線處理邏輯104的輸出可被發(fā)送到存儲器108，并且顯示器106可從存儲器108讀取圖像數(shù)據(jù)。而且，在某些實施方式中，管線處理邏輯104也可包括編碼器107，例如，壓縮引擎，編碼器107用于在顯示器106讀取之前、在存儲器108內(nèi)存儲之前、或者通過網(wǎng)絡(luò)進行傳輸之前，對圖像數(shù)據(jù)編碼。
[0057]編碼器107可以是用于編碼靜止圖像的JPEG (聯(lián)合圖像專家組)壓縮引擎、用于編碼視頻圖像的H.264壓縮引擎、或者用于靜止圖像或視頻的另一種編碼器。而且，應(yīng)注意的是，管線處理邏輯104也可從存儲器108接收原始圖像數(shù)據(jù)。
[0058]控制邏輯105可包括處理器和/或微型控制器，被配置為執(zhí)行一個或多個程序(例如，固件)，這些程序可被配置為確定成像裝置150的控制參數(shù)以及管線處理邏輯104的控制參數(shù)。僅僅通過實例，控制參數(shù)可包括傳感器控制參數(shù)、照相機閃光燈控制參數(shù)、透鏡控制參數(shù)(例如，用于進行聚焦或變焦的透鏡組的位置、曝光長度或持續(xù)時間、焦掃描范圍等等)、快門控制參數(shù)、或圖像傳感器101的這種參數(shù)的組合?？刂茀?shù)也可包括圖像處理命令，例如，對管線處理邏輯104的顏色調(diào)節(jié)、自動白平衡、自動對焦、自動曝光、景深擴展、距離圖、透鏡位置、快門控制以及立體圖?？刂茀?shù)可進一步包括管線處理邏輯104的多路復(fù)用信號或命令?；谀承┎僮髂Ｊ降募せ?，可激活控制參數(shù)和邏輯的實施。
[0059]控制邏輯105可進一步包括透鏡移動邏輯或電路113。透鏡移動邏輯113的實施方式根據(jù)用戶命令和/或處理器命令控制透鏡110的移動。處理器可使用各種技術(shù)實施透鏡移動。一種技術(shù)包括在單個幀曝光期間，將透鏡110從最小的焦點位置移動到最大的焦點位置。在另一個實施方式中，移動范圍可以是最小的焦點位置和最大的焦點位置之間的焦掃描范圍內(nèi)的子范圍。因此，在各種實施方式中，在單個圖像幀曝光整合期間，透鏡Iio在與到對準(zhǔn)焦點的物體的距離的子范圍對應(yīng)的焦點位置的某個子范圍內(nèi)移動，以便提高圖像質(zhì)量、距離圖分辨率或者所產(chǎn)生的其他優(yōu)點。
[0060]圖2為示出透鏡焦距(focal length)f、透鏡到圖像傳感器的距離(后文中稱為焦點距離)D、以及透鏡到焦點對準(zhǔn)的物體(object infocus)的
[0061]距離L之間的關(guān)系的示圖。薄透鏡等式將這些距離聯(lián)系為:
【權(quán)利要求】
1.一種成像系統(tǒng)，包括: 成像透鏡，可調(diào)節(jié)至不同的焦距； 圖像傳感器，被配置為從所述成像透鏡接收圖像信息； 在所述圖像傳感器的單個圖像幀曝光的持續(xù)時間期間改變透鏡焦點位置的機構(gòu)；以及 處理電路，被配置為: 增強所述圖像傳感器采集的圖像中的清晰圖像內(nèi)容；以及 在所述圖像傳感器所采集的一個或多個圖像曝光期間，改變所述透鏡焦點位置的同時，由所述一個或多個圖像獲得距離圖。
2.根據(jù)權(quán)利要求1所述的成像系統(tǒng)，其中，采集包括第一幀和第二幀的兩個圖像幀之后，所述處理電路生成場景的所述距離圖，其中，對于所述第一幀，所述透鏡焦點位置以第一速度曲線改變，并且在所述第二幀內(nèi)，所述透鏡焦點位置以不同的速度曲線改變。
3.根據(jù)權(quán)利要求1所述的成像系統(tǒng)，其中，在所述單個圖像幀的曝光整合期間，所述透鏡在與到對準(zhǔn)焦點的物體的距離的子范圍對應(yīng)的焦點位置的預(yù)定義子范圍內(nèi)移動。
4.根據(jù)權(quán)利要求1所述的成像系統(tǒng)，其中，采集包括第一幀和第二幀的兩個圖像幀之后，所述處理電路生成場景的所述距離圖，其中，對于所述第一幀，在所述第一幀曝光期間，所述透鏡焦點位置以第一變化速率連續(xù)改變，其中對于所述第二幀，在所述第二幀曝光期間，所述透鏡焦點位置在相反方向上以不同的變化速率連續(xù)改變，其中，所述處理電路被進一步配置為通過結(jié)合距離圖信息和增強的圖像生成立體圖像。
5.根據(jù)權(quán)利要求1所述的成像系統(tǒng)，進一步包括用于所述圖像傳感器每個像素的單獨的區(qū)分的快門，其中，每`個像素快門與所述透鏡的變化的透鏡焦點位置同步，并且在特定像素的設(shè)定透鏡焦點位置被激活以產(chǎn)生對準(zhǔn)焦點的像素數(shù)據(jù)的采集。
6.根據(jù)權(quán)利要求1所述的成像系統(tǒng)，其中，所述處理電路被進一步配置為確定自動對焦設(shè)置，以用于通過采集包括第一幀和第二幀的兩個圖像幀，以從所述成像裝置到物體的特定距離，采集后續(xù)圖像場景，其中，對于所述第一幀，在所述第一幀曝光期間，所述透鏡焦點位置以第一變化速率連續(xù)改變，并且對于第二幀，在所述第二幀曝光期間，所述透鏡焦點位置以不同的變化速率連續(xù)改變，其中，在所述第一幀和所述第二幀期間采集的所述圖像信息的比較，將要使用的透鏡焦點位置識別為自動對焦設(shè)置，用于改變從所述成像裝置到所述場景中的物體的距離。
7.一種成像方法，包括: 在透鏡在定義的焦掃描內(nèi)移動時，在第一圖像幀曝光期間采集圖像數(shù)據(jù)；以及 利用在所述曝光期間使用的焦掃描上整合的點擴散函數(shù)(PSF)，對所述圖像數(shù)據(jù)去卷積，以生成具有擴展景深的校正圖像，而無需散焦像素數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的成像方法，進一步包括: 在定義的第二焦掃描內(nèi)，在相鄰的第二圖像幀曝光期間，采集同一圖像場景的圖像數(shù)據(jù)，其中，所述第二焦掃描包括與所述第一焦掃描相同的透鏡焦點位置范圍；以及 比較所述第二圖像幀的圖像數(shù)據(jù)和所述第一圖像幀的圖像數(shù)據(jù)，以在所述同一圖像場景的所述透鏡焦點位置范圍內(nèi)，識別像素的最清晰焦深位置。
9.根據(jù)權(quán)利要求8所述的成像方法，進一步包括: 存儲與從所述透鏡到所述圖像場景中與所識別的最清晰焦深位置對應(yīng)的物體的距離相關(guān)聯(lián)的透鏡焦點位置，作為自動對焦設(shè)置；以及 在后續(xù)圖像采集中，使用存儲的所述自動對焦設(shè)置以從所述透鏡到所述圖像場景內(nèi)物體的同一距離采集物體的場景，其中，所述自動對焦設(shè)置包括存儲的所述透鏡焦點位置。
10.根據(jù)權(quán)利要求7所述的成像方法，進一步包括在特定像素的設(shè)定透鏡焦點位置，同步激活用于圖像傳感器的每個像 素的單獨快門，這將產(chǎn)生對準(zhǔn)焦點的像素數(shù)據(jù)的采集。
【文檔編號】H04N5/235GK103516988SQ201210593508
【公開日】2014年1月15日 申請日期:2012年12月31日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】伊利亞·布萊瓦斯, 諾姆·索里克, 伊利亞·維特斯努德爾 申請人:美國博通公司