大于第一感測(cè)單元的物理噪聲值，則最終深度值確定單元2450可將不含噪聲的深度值確定為第一深度圖像信息的最終深度值。
[0253]在這種情況下，如果不含噪聲的深度值大于第一感測(cè)單元的物理噪聲值，則可對(duì)深度圖像的靈敏度和對(duì)比度的增強(qiáng)產(chǎn)生影響。然而，如果不含噪聲的深度值等于或小于第一感測(cè)單元的物理噪聲值，則不對(duì)深度圖像的靈敏度和對(duì)比度的增強(qiáng)產(chǎn)生影響。因此，不含噪聲的深度值可被忽略。
[0254]以下描述根據(jù)本發(fā)明的數(shù)字裝置處理3D圖像的方法。
[0255]圖16和圖17是根據(jù)本發(fā)明的數(shù)字裝置處理三維圖像的方法的流程圖。參照?qǐng)D3所示的3D圖像處理裝置來(lái)說(shuō)明圖16和圖17。
[0256]如圖16和圖17所示，首先，如果從外部接收到圖像模式請(qǐng)求信號(hào)[S11]，則控制單元1400檢查該圖像模式請(qǐng)求信號(hào)是否對(duì)應(yīng)于3D圖像模式請(qǐng)求信號(hào)[S13]。
[0257]此后，如果圖像模式請(qǐng)求信號(hào)對(duì)應(yīng)于3D圖像模式請(qǐng)求信號(hào)，則控制單元1400檢查光接收單元1100的分辨率模式是否對(duì)應(yīng)于第一分辨率[S15]。
[0258]此后，如果光接收單元1100的分辨率模式對(duì)應(yīng)于第一分辨率，則控制單元1400可將光接收單元1100的分辨率從第一分辨率切換為比第一分辨率低的第二分辨率[S17]。
[0259]然而，如果圖像模式請(qǐng)求信號(hào)對(duì)應(yīng)于2D圖像模式請(qǐng)求信號(hào)[S19]，則控制單元1400檢查光接收單元1100的分辨率模式是否對(duì)應(yīng)于第二分辨率[S21]。
[0260]如果光接收單元1100的分辨率模式對(duì)應(yīng)于第二分辨率，則控制單元1400將光接收單元1100的分辨率從第二分辨率切換為比第二分辨率高的第一分辨率[S23]，并且可實(shí)現(xiàn)2D圖像[S25] ο
[0261]如前所述，控制單元1400可將光接收單元1100的分辨率從第一分辨率切換為比第一分辨率低的第二分辨率[S100]。
[0262]光接收單元1100的分辨率被切換以降低串?dāng)_。
[0263]在這種情況下，串?dāng)_對(duì)應(yīng)于獲得彩色圖像信息的RGB幀與獲得深度圖像信息的IR幀之間的干擾。
[0264]具體地講，IR幀需要IR照明，RGB幀不需要IR照明。當(dāng)IR幀的IR照明影響RGB幀時(shí)，在RGB圖像中發(fā)生噪聲或失真。這一現(xiàn)象稱(chēng)為串?dāng)_。
[0265]因此，為了不給位于IR幀之前和IR幀之后的RGB幀帶來(lái)串?dāng)_影響，應(yīng)該瞬時(shí)地打開(kāi)IR照明。
[0266]然而，如果IR照明打開(kāi)的時(shí)間太短，則IR幀無(wú)法識(shí)別IR照明，深度圖像的靈敏度劣化。
[0267]因此，根據(jù)本發(fā)明，在3D圖像模式下光接收單兀1100的分辨率從第一分辨率切換為比第一分辨率低的第二分辨率，以消除串?dāng)_現(xiàn)象。
[0268]例如，如果光接收單元1100的分辨率從最高分辨率降低大約25%，則RGB幀與IR幀之間的時(shí)間間隔增加。
[0269]因此，由于時(shí)間間隔增加多少，IR照明打開(kāi)的時(shí)間增加多少，所以IR幀能夠充分識(shí)別IR照明，從而改進(jìn)深度圖像的靈敏度。
[0270]此后，控制單元1440可參照定時(shí)器1700的時(shí)間測(cè)量在第一時(shí)間期間關(guān)閉光發(fā)射單元1500的操作以不輸出紅外光[SI 10]。
[0271]此后，光接收單元1100可從對(duì)象1800接收可見(jiàn)光[S120]。
[0272]此后，控制單元1400可按照控制圖像處理單元1200的方式在第一時(shí)間期間從光接收單元1100的第一感測(cè)單元1110所感測(cè)的可見(jiàn)光提取彩色圖像信息[S130]。
[0273]此后，控制單元140可參照定時(shí)器1700的時(shí)間測(cè)量在第二時(shí)間期間打開(kāi)光發(fā)射單元1500的操作以向?qū)ο?800輸出紅外光[S140]。
[0274]在這種情況下，光發(fā)射單元1500的操作時(shí)間可對(duì)應(yīng)于彩色圖像信息的前一幀的結(jié)束時(shí)間與下一幀的開(kāi)始時(shí)間之間的時(shí)間。
[0275]此后，光接收單元1100可從對(duì)象1800接收紅外光[S150]。
[0276]此后，控制單元1400可按照控制圖像處理單元1200的方式在第二時(shí)間期間從光接收單元1100的第二感測(cè)單元1120所感測(cè)的紅外光提取深度圖像信息[S160]。
[0277]在一些情況下，光接收單元1100可從對(duì)象1800接收可見(jiàn)光和紅外光二者。
[0278]此后，控制單元1400可按照控制圖像處理單元1200的方式在第二時(shí)間期間從光接收單元1100的第一感測(cè)單元1110和第二感測(cè)單元1120所感測(cè)的紅外光提取所有深度圖像信息。
[0279]此后，控制單元1400可確定對(duì)象1800的彩色圖像信息和深度圖像信息二者的提取是否完成[S170]。
[0280]此后，如果確定對(duì)象1800的彩色圖像信息和深度圖像信息二者的提取完成，則控制單元1400可按照控制3D圖像實(shí)現(xiàn)單元1300的方式基于所提取的彩色圖像信息和深度圖像信息實(shí)現(xiàn)對(duì)象1800的3D圖像[S180]。
[0281]如果確定對(duì)象1800的彩色圖像信息和深度圖像信息二者的提取未完成，則可重復(fù)地執(zhí)行步驟SllO至步驟S160。
[0282]在一些情況下，可在執(zhí)行步驟SllO至步驟130之前執(zhí)行步驟S140至步驟S160。
[0283]具體地講，根據(jù)本發(fā)明，首先在第二時(shí)間期間按照打開(kāi)光發(fā)射單元500的操作的方式提取深度圖像信息，然后在第一時(shí)間期間按照關(guān)閉光發(fā)射單元500的操作的方式提取彩色圖像信息。
[0284]圖18至圖23是說(shuō)明根據(jù)本發(fā)明的數(shù)字裝置的三維圖像處理過(guò)程的示意圖。
[0285]如圖18所示，在3D圖像模式下，數(shù)字裝置的3D圖像處理裝置在第一時(shí)間期間提取彩色圖像信息并且在第二時(shí)間期間提取深度圖像信息。
[0286]具體地講，本發(fā)明使用依次接收RGB幀和IR幀的逐幀技術(shù)。
[0287]因此，根據(jù)本發(fā)明，彩色圖像信息和深度圖像信息并非同時(shí)獲得。相反，可按照彼此不同的定時(shí)獲得彩色圖像信息和深度圖像信息。
[0288]并且，如圖19和圖20所示，根據(jù)本發(fā)明，當(dāng)實(shí)現(xiàn)3D圖像時(shí)，光接收單元的分辨率可從高分辨率模式切換為低分辨率模式。
[0289]光接收單元的分辨率被切換以降低串?dāng)_。
[0290]在這種情況下，串?dāng)_對(duì)應(yīng)于獲得彩色圖像信息的RGB幀與獲得深度圖像信息的IR幀之間的干擾。
[0291 ] 具體地講，IR幀需要IR照明，RGB幀不需要IR照明。當(dāng)IR幀的IR照明影響RGB幀時(shí)，在RGB圖像中發(fā)生噪聲或失真。這一現(xiàn)象稱(chēng)為串?dāng)_。
[0292]因此，為了不給位于IR幀之前和IR幀之后的RGB幀帶來(lái)串?dāng)_影響，應(yīng)該瞬時(shí)地打開(kāi)IR照明。
[0293]然而，如圖19所示，如果IR照明打開(kāi)的時(shí)間太短，則IR幀無(wú)法識(shí)別IR照明，深度圖像的靈敏度劣化。
[0294]因此，根據(jù)本發(fā)明，在3D圖像模式下光接收單元的分辨率從第一分辨率切換為比第一分辨率低的第二分辨率，以消除串?dāng)_現(xiàn)象。
[0295]例如，如果光接收單元的分辨率從最高分辨率降低大約25%，則RGB幀與IR幀之間的時(shí)間間隔增加。
[0296]因此，如圖20所示，由于時(shí)間間隔增加多少，IR照明打開(kāi)的時(shí)間增加多少，所以IR幀能夠充分識(shí)別IR照明，從而改進(jìn)深度圖像的靈敏度。
[0297]此外，根據(jù)本發(fā)明，可按照彼此不同的定時(shí)而非按照相同的定時(shí)獲得彩色圖像信息和深度圖像信息。
[0298]具體地講，根據(jù)本發(fā)明，彩色圖像信息的獲得時(shí)間和深度圖像信息的獲得時(shí)間可彼此不同。
[0299]這是因?yàn)槟軌蛟鰪?qiáng)深度圖像的靈敏度和對(duì)比度的深度圖像處理方法應(yīng)該獨(dú)立地執(zhí)行。
[0300]例如，如圖21所示，根據(jù)本發(fā)明對(duì)獲得的彩色圖像信息執(zhí)行像素疊加處理。
[0301]在這種情況下，像素疊加處理指示通過(guò)將光接收單元的多個(gè)像素彼此組合而獲得新像素。由于兩個(gè)或更多個(gè)像素彼此組合，所以與通過(guò)一個(gè)像素獲得靈敏度和SNR(信噪比)的情況相比，靈敏度和SNR變得更好。因此，可在暗的照明下獲得清楚的彩色圖像。
[0302]并且，如圖22所示，根據(jù)本發(fā)明對(duì)獲得的彩色圖像信息執(zhí)行紅外(IR)像素的子采樣處理。
[0303]在這種情況下，子采樣處理指示僅從IR幀收集IR像素的深度信息的處理。由于僅收集并輸出IR像素的深度信息，可增強(qiáng)深度圖像的靈敏度和對(duì)比度。
[0304]例如，圖23是在RGB-1R傳感器(光接收單元)處于比高分辨率模式低25%的低分辨率模式下并按照大約60幀/秒操作的情況下的IR照明時(shí)間的示圖。
[0305]在這種情況下，RGB幀可按照大約30幀/秒操作，IR幀可按照大約30幀/秒操作。
[0306]如圖23所示，根據(jù)本發(fā)明，RGB-1R傳感器(光接收單元)在實(shí)現(xiàn)2D圖像的情況下在高分辨率模式下操作。并且，RGB-1R傳感器(光接收單元)在實(shí)現(xiàn)3D圖像的情況下在低分辨率模式下操作并將幀分成RGB幀和IR幀。
[0307]并且，通過(guò)在RGB幀中執(zhí)行像素疊加處理來(lái)提取彩色圖像信息，并且可通過(guò)在IR幀中執(zhí)行子采樣處理來(lái)提取深度圖像信息。
[0308]在這種情況下，如果光接收單元的分辨率從最高分辨率降低大約25 %，則RGB幀與IR幀之間的時(shí)間間隔增加。因此，由于時(shí)間間隔增加多少，IR照明打開(kāi)的時(shí)間增加多少，所以IR幀能夠充分識(shí)別IR照明，從而改進(jìn)深度圖像的靈敏度。
[0309]具體地講，IR光發(fā)射單元的操作時(shí)間可對(duì)應(yīng)于前一 RGB幀的結(jié)束時(shí)間與下一 RGB幀的開(kāi)始時(shí)間之間的時(shí)間。
[0310]圖24是根據(jù)時(shí)間的光發(fā)射單元的開(kāi)/關(guān)的示圖。如圖24所示，根據(jù)本發(fā)明的光發(fā)射單元1500可根據(jù)控制單元1400的控制信號(hào)重復(fù)地依次執(zhí)行在第一時(shí)間期間不輸出紅外光的步驟和在第二時(shí)間期間輸出紅外光的步驟。
[0311]圖25是根據(jù)時(shí)間的圖像處理單元的圖像信息處理的示圖。如圖25所示，根據(jù)本發(fā)明的圖像處理單元1200可根據(jù)控制單元1400的控制信號(hào)重復(fù)地依次執(zhí)行在第一時(shí)間期間提取彩色圖像信息的步驟和在第二時(shí)間期間提取深度圖像信息的步驟。
[0312]圖26是圖16的提取彩色圖像信息的方法的詳細(xì)流程圖。參照?qǐng)D12所示的第一圖像處理單元來(lái)說(shuō)明圖26。
[0313]如圖12和圖26所示，第一圖像處理單元2100的第一檢測(cè)單元2120可在第一時(shí)間期間檢測(cè)由圖3所示的第一感測(cè)單元1110感測(cè)到的可見(jiàn)光的光量[S132]。
[0314]第一轉(zhuǎn)換單元2140將所感測(cè)到的可見(jiàn)光的光量轉(zhuǎn)換為電信號(hào)[S134]，并且彩色圖像信息提取單元2160可根據(jù)控制單元的控制信號(hào)從可見(jiàn)光提取彩色圖像信息[S135]。
[0315]在這種情況下，盡管第一圖像處理單元2100能夠從圖3所示的第一感測(cè)單元1110和第二感測(cè)單元1120檢測(cè)紅外光，但是由于從對(duì)象反射的紅外光的光量較小，所以可忽略紅外光的光量。
[0316]具體地講，盡管紅外光可能充當(dāng)彩色圖像信息上的噪聲，但是由于光發(fā)射單元不輸出紅外光，所以紅外光的光量非常小。
[0317]因此，由于所提取的影響彩色圖像信息的噪聲非常小，所以第一圖像處理單元2100可不執(zhí)行附加噪聲消除作業(yè)。
[0318]圖27是圖16的提取深度圖像信息的方法的詳細(xì)流程圖。參照?qǐng)D14所示的第二圖像處理單元來(lái)說(shuō)明圖27。
[0319]如圖14和圖27所示，第二圖像處理單元2300的第二檢測(cè)單元2310可在第一時(shí)間期間檢測(cè)由圖1所示的第一感測(cè)單元1110和第二感測(cè)單元1120感測(cè)到的紅外光的光量[S162]。
[0320]并且，第二轉(zhuǎn)換單元2330將所檢測(cè)到的紅外光的光量轉(zhuǎn)換為電信號(hào)[S164]。
[0321]此后，第一深度圖像信息提取單元2350從第一感測(cè)單元所感測(cè)的紅外光提取第一深度圖像信息并且可從所提取的第一深度圖像信息消除噪聲[S166]。
[0322]并且，第二深度圖像信息提取單元2370可從第二感測(cè)單元所感測(cè)的紅外光提取第二深度圖像信息[S166]。
[0323]此后，結(jié)合單元2390可將不含噪聲的第一深度圖像信息和第二深度圖像信息彼此結(jié)合[S168] ο
[0324]如以上描述中提及的，根據(jù)本發(fā)明，可按照經(jīng)由圖3所示的第一感測(cè)單元1110提取不含噪聲的第一深度圖像信息并且將所提取的第一深度圖像信息與第二深度圖像信息結(jié)合的方式來(lái)增強(qiáng)對(duì)象的深度圖像信息的靈敏度和對(duì)比度。
[0325]如果利用僅由圖3所示的第二感測(cè)單元1120感測(cè)的第二深度圖像信息來(lái)實(shí)現(xiàn)對(duì)象的3D圖像，而不結(jié)合第一深度圖像信息，則關(guān)于對(duì)象的深度圖像信息可能劣化。
[0326]圖28是第一深度圖像信息和第二深度圖像信息未結(jié)合的貝爾圖案的示圖，圖29是由光接收單元感測(cè)的紅外光的分布的示圖，圖30是第一深度圖像信息和第二深度圖像信息結(jié)合的貝爾圖案的示圖。
[0327]如圖28所示，光接收單元1100可包括由感測(cè)紅色、綠色和藍(lán)色波長(zhǎng)范圍的可見(jiàn)光的第一感測(cè)單元和感測(cè)紅外光的第二感測(cè)單元構(gòu)成的多個(gè)單元像素。
[0328]在這種情況下，如果根據(jù)本發(fā)明的第一圖像處理單元從第一感測(cè)單元提取彩色圖像信息，并且根據(jù)本發(fā)明的第二圖像處理單元僅從第二感測(cè)單元提取第二深度圖像信息而不從第一感測(cè)單元提取第一深度圖像信息，則如圖26所示，彩色圖像信息包括:第一彩色圖像信息(R1 -R4)，其由被配置為感測(cè)紅色波長(zhǎng)范圍的光的第一感測(cè)單元的第一像素提?。坏诙噬珗D像信息(G1 -G4)，其由被配置為感測(cè)綠色波長(zhǎng)范圍的光的第一感測(cè)單元的第二像素提取；以及第三彩色圖像信息(B1-B4)，其由被配置為感測(cè)藍(lán)色波長(zhǎng)范圍的光的第一感測(cè)單元的第三像素提取。深度圖像信息可包括深度圖像信息(IR1-1R4)，其僅由被配置為感測(cè)紅外光的第二感測(cè)單元提取。
[0329]因此，當(dāng)實(shí)現(xiàn)對(duì)象的3D圖像時(shí)，如果通過(guò)僅由第二感測(cè)單元提取的深度圖像信息(IRl -1R4)來(lái)實(shí)現(xiàn)3D圖像，則深度圖像的靈敏度和對(duì)比度較小，從而降低了 3D圖像的深度。
[0330]例如，如圖29所示，光接收單元1100可感測(cè)從對(duì)象反射