獲得可視信息的裝置、驅(qū)動其光源的方法和系統(tǒng)的制作方法
【專利摘要】提供了一種用于獲得三維(3D)信息的裝置、用于驅(qū)動其光源的方法、以及用于獲得3D信息的系統(tǒng)。該裝置包括：投射器、拍攝單元和使得驅(qū)動信號施加于投射器的控制器。該驅(qū)動信號在顯示模式中具有第一峰值電流，并且在3D模式中具有比第一峰值電流高的第二峰值電流。
【專利說明】獲得可視信息的裝置、驅(qū)動其光源的方法和系統(tǒng)
[0001 ] 本申請是申請日為2011年I月5日、申請?zhí)枮?01110001424.6、發(fā)明名稱為“獲得3D信息的裝置、驅(qū)動其光源的方法、和獲得3D信息的系統(tǒng)”的發(fā)明專利申請的分案申請。
[0002]對相關(guān)申請的交叉引用
[0003]本申請要求于2010年I月5日向韓國知識產(chǎn)權(quán)局提交的專利申請N0.10-2010-0000447的優(yōu)先權(quán)，該在先申請的內(nèi)容以整體引用的方式并入本文。
技術(shù)領(lǐng)域
[0004]本發(fā)明涉及一種用于獲得三維(3D)信息的裝置、用于驅(qū)動其光源的方法、和用于獲得3D信息的系統(tǒng)，更具體地，涉及一種用于使用結(jié)構(gòu)光(structured-light)方法獲得3D信息的裝置、用于驅(qū)動其光源的方法、和用于獲得3D信息的系統(tǒng)。
【背景技術(shù)】
[0005]3D(三維)圖像技術(shù)應用于各種領(lǐng)域，諸如信息通信、廣播、醫(yī)療護理、教育和訓練、軍事、游戲、動畫、虛擬現(xiàn)實、計算機輔助設計(CAD)、工業(yè)技術(shù)等等。3D圖像技術(shù)被認為是在這些各種領(lǐng)域中共同需要的下一代3D多媒體信息通信的核心技術(shù)。
[0006]一般說來，人感覺到的3D效果是通過由將要觀察的對象的位置的變化引起的晶狀體的厚度變化度、兩眼和對象之間的角度差、左右眼看見的對象的位置和形狀差、由對象的運動引起的視差(disparity)、和其它各種心理學和記憶效應等等的合成動作產(chǎn)生的。
[0007]在上述因素當中，由于人的左右眼之間的大約6cm到大約7cm的水平距離引起的雙目視差被認為是3D效果的最重要的因素。換句話說，由于雙目視差，人看對象時具有角度差，并且由于該角度差，進入左眼和右眼的圖像實際上是不同的。當這兩個不同的圖像被發(fā)送到人的大腦時，大腦準確地聯(lián)合這兩個不同的圖像的信息以使得人感受到原始的3D圖像。
[0008]為了產(chǎn)生這樣的3D圖像，使用如下方法:使用幾個照相機的立體視覺方法、在對象的表面上掃描激光源的方法、將結(jié)構(gòu)圖像發(fā)射(radiate)到對象上并捕獲該對象以獲得3D信息的結(jié)構(gòu)光方法，等等。具體地，根據(jù)結(jié)構(gòu)光方法，需要具有足夠克服周圍環(huán)境光的亮度的光量的結(jié)構(gòu)光以發(fā)射到對象上。

【發(fā)明內(nèi)容】

[0009]根據(jù)本公開的一方面，一種用于獲得三維(3D)信息的裝置可以包括投射器、拍攝單元和控制器。該投射器可以被配置為投射光。該拍攝單元可以被配置為捕獲光已被到其上的對象的圖像。該控制器可以被配置為使得:在顯示模式中將具有第一峰值電流的驅(qū)動信號施加于該投射器，以及在3D模式中將具有比第一峰值電流高的第二峰值電流的驅(qū)動信號施加于該投射器。
[0010]根據(jù)本公開的另一方面，一種用于驅(qū)動用于獲得3D信息的裝置的光源的方法可以確定該裝置工作在顯示模式還是3D模式。如果確定該裝置工作在顯示模式，則將具有第一峰值電流的驅(qū)動信號施加到該光源。如果確定該裝置工作在3D模式，則將具有比第一峰值電流高的第二峰值電流的驅(qū)動信號施加到該光源。投射基于該驅(qū)動信號的光。
[0011]根據(jù)本公開的另一方面，一種用于獲得3D信息的系統(tǒng)可以包括投射裝置和拍攝單元。該投射裝置可以包括光源并且可以被配置為投射光。該拍攝裝置可以被配置為捕獲光已被投射到其上的對象的圖像。該投射裝置可以在顯示模式中將具有第一峰值電流的驅(qū)動信號施加于該光源，以及在3D模式中將具有比第一峰值電流高的第二峰值電流的驅(qū)動信號施加于該光源。
[0012]根據(jù)本公開的另一方面，一種用于獲得可視信息的裝置，包括:投射器，被配置為投射光；拍攝單元，被配置為捕獲光已被投射到其上的對象的圖像;和控制器，被配置為使得，在顯示模式中將具有第一峰值電流的驅(qū)動信號施加于該投射器，以及在可視信息獲得模式中將具有比第一峰值電流高的第二峰值電流的驅(qū)動信號施加于該投射器，其中，所述可視信息獲得模式是其中裝置將模式光投射到對象上并捕獲模式光被投射到其上的對象以獲得該對象的深度信息的模式，其中，所述模式是可交換的。
[0013]根據(jù)本公開的另一方面，一種用于驅(qū)動用于獲得可視信息的裝置的光源的方法，包括:確定該裝置工作在顯示模式還是可視信息獲得模式;如果確定該裝置工作在顯示模式，則將具有第一峰值電流的驅(qū)動信號施加到該光源，并且如果確定該裝置工作在可視信息獲得模式，則將具有比第一峰值電流高的第二峰值電流的驅(qū)動信號施加到該光源；以及基于該驅(qū)動信號投射光，其中，所述可視信息獲得模式是其中裝置將模式光投射到對象上并捕獲模式光被投射到其上的對象以獲得該對象的深度信息的模式，其中，所述模式是可交換的。
[0014]根據(jù)本公開的另一方面，一種用于獲得可視信息的系統(tǒng)，包括:投射裝置，具有被配置為投射光的光源；以及拍攝裝置，被配置為捕獲光已被投射到其上的對象的圖像，其中該投射裝置在顯示模式中將具有第一峰值電流的驅(qū)動信號施加于該光源，以及在可視信息獲得模式中將具有比第一峰值電流高的第二峰值電流的驅(qū)動信號施加于該光源，其中，所述可視信息獲得模式是其中裝置將模式光投射到對象上并捕獲模式光被投射到其上的對象以獲得該對象的深度信息的模式，其中，所述模式是可交換的。
【附圖說明】
[0015]通過下面結(jié)合附圖對實施例的描述，本發(fā)明的實施例的各個特征、方面和益處將變得明顯且更易理解，其中:
[0016]圖1是示出了根據(jù)本發(fā)明的實施例的用于獲得三維(3D)信息的裝置的框圖；
[0017]圖2A至圖2D是示出了模式光(patterned light)的圖；
[0018]圖3是示出了由投射器將模式光發(fā)射到對象上并由拍攝單元捕獲該對象的過程的圖；
[0019]圖4是示出了由拍攝單元捕獲的對象的圖像的圖；
[0020]圖5是示出了根據(jù)本發(fā)明的實施例的控制光量的方法的圖；
[0021]圖6是示出了根據(jù)本發(fā)明的實施例的獲得3D信息的方法的流程圖；和
[0022]圖7是示出了根據(jù)本發(fā)明的實施例的用于獲得3D信息的系統(tǒng)的圖。
【具體實施方式】
[0023]現(xiàn)在參考附圖更詳細地描述本發(fā)明的某些實施例。
[0024]在下面的描述中，相同的附圖標記即使在不同的附圖中也用于相同的元件。盡管利用詳細的結(jié)構(gòu)和元件來描述實施例以幫助全面理解實施例的各個應用和優(yōu)點，但是應當理解，可以在不用那些詳細的特定物的情況下實現(xiàn)實施例。此外，將不會詳細描述公知的功能或結(jié)構(gòu)以避免用不必要的細節(jié)混淆該描述。應當注意，在附圖中，特征的尺寸不一定是真正的比例，并且為了使得更好地理解，可能被放大。
[0025]具體地，將參考圖1至圖4描述用于獲得三維(3D)信息的裝置的結(jié)構(gòu)和用于獲得3D信息的方法，并且將參考圖5描述用于控制光量的方法。此外，將參考圖6描述用于獲得3D信息的操作流，并且將參考圖7描述用于獲得3D信息的系統(tǒng)的結(jié)構(gòu)。
[0026]1.用于獲得3D信息的裝置的結(jié)構(gòu)和用于獲得3D信息的方法
[0027]圖1是示出了根據(jù)本發(fā)明的實施例的用于獲得3D信息的裝置100的框圖。參考圖1，裝置100可以是移動設備并且使用結(jié)構(gòu)光方法獲得對象的3D信息。
[0028]結(jié)構(gòu)光方法是指將編碼的模式光(結(jié)構(gòu)光)連續(xù)地發(fā)射到對象上并捕獲該模式光已被發(fā)射到其上的對象的圖像，以由所捕獲的圖像獲得對象的3D深度信息的方法。換句話說，如果使用結(jié)構(gòu)光方法，則需要用于連續(xù)地發(fā)射模式光的單元和用于捕獲對象的圖像的單元。
[0029]根據(jù)本實施例的裝置100包括控制器110、驅(qū)動器120、投射器130、拍攝單元140和存儲單元150。
[0030]控制器110控制裝置100的總體操作。具體地，控制器110基于裝置100的模式來操作裝置100。
[0031]裝置100的模式分為顯示模式和用于獲得3D信息的3D模式。
[0032]顯示模式是指其中如果裝置100作為一般設備工作則根據(jù)用戶控制的模式產(chǎn)生光并且發(fā)射光的模式。
[0033]由于根據(jù)本實施例的裝置100可以是移動設備，因此與裝置100不是移動設備或是僅僅為了獲得3D信息而生產(chǎn)的移動設備相比較，裝置100具有更低的光輸出。
[0034]3D模式是指產(chǎn)生具有不同模式的光并且發(fā)射到對象上以獲得3D信息的模式。需要提供足夠亮以克服周圍環(huán)境光的亮度的光以獲得3D信息。例如，如果周圍環(huán)境的亮度是lOOlux，則具有大約201ux或更大的亮度的光量能夠獲得3D信息。
[0035]但是，如上所述，由于根據(jù)本實施例的裝置100可以是移動設備，因此與裝置100不是移動設備或是僅僅為了獲得3D信息而生產(chǎn)的移動設備相比較，裝置100可能具有更低的光輸出。為了解決此問題，在裝置100中，在3D模式下光源的占空比可以比顯示模式下的占空比低，以增大光源的瞬時峰值電流以便產(chǎn)生高的光輸出。
[0036]為了增大光源的瞬時峰值電流，發(fā)光二極管(LED)或激光二極管(LD)可以用作光源。如果如上所述故意降低光源的占空比，則所產(chǎn)生的光可能看上去在閃爍。但是，由于3D模式的目的是獲得對象的3D信息，因此光的閃爍不影響3D模式。如果通過在3D模式下與顯示模式下相比降低光源的占空比來在3D模式下與顯示模式相比減少光量，則可以通過長時間開啟拍攝單元140的快門以增加曝光時間來補償光量的減少，這將在后面進行描述。
[0037]控制器110可以將控制信號發(fā)送到驅(qū)動器120以指示顯示模式或者3D模式。
[0038]驅(qū)動器120可以基于從控制器110接收到的控制信號來驅(qū)動投射器130。具體地，如果接收到與顯示模式對應的控制信號，則驅(qū)動器120可以產(chǎn)生用于顯示模式的驅(qū)動信號并將驅(qū)動信號發(fā)送到投射器130。如果接收到與3D模式對應的控制信號，則驅(qū)動器120可以產(chǎn)生用于3D模式的驅(qū)動信號并將驅(qū)動信號發(fā)送到投射器130。
[0039]投射器130包括諸如LED、LD等的光源，根據(jù)從驅(qū)動器120接收到的驅(qū)動信號產(chǎn)生光，并在顯示模式下發(fā)射具有任何期望的(或沒有)模式的光，但是在3D模式下將該光已被調(diào)制成的模式光發(fā)射到對象上。
[0040]現(xiàn)在將參考圖2A至圖2D描述發(fā)射到對象上的模式光。圖2A至圖2D是示出了模式光的圖。
[0041]如圖2A至圖2D所示，模式光可以包括多個模式的光。
[0042]參考圖2A，模式光可以包括多個不同的模式。具體地，可以形成模式光以使得，在多個模式光的每一個中交替排列較暗部分和較亮部分，并且在多個模式光的每一個中的較亮部分和較暗部分的數(shù)目和排列彼此不同。
[0043]參考圖2B，模式光可以具有變化的強度分布。
[0044]參考圖2C和圖2D，可以按照具有不同類型的顏色信息(RGB信息)的不同模式形成模式光。
[0045]再一次參考圖1，投射器130可以以預設時間間隔將參考圖2A至圖2D描述的模式光依次發(fā)射到對象上。
[0046]當投射器130將模式光依次發(fā)射到對象上時，拍攝單元140可以捕獲該對象的圖像以基于控制器110的控制信號產(chǎn)生捕獲的圖像。
[0047]現(xiàn)在將參考圖3和圖4進行描述。
[0048]圖3是示出了由投射器130將模式光發(fā)射到對象300上并由拍攝單元140捕獲該對象300的圖像的過程的圖。如圖3所示，投射器130和拍攝單元140隔開預設的距離“d”，且投射器130在離拍攝單元140距離“d”處將模式光發(fā)射到對象300上。拍攝單元140捕獲模式光已被投射到其上的對象300的圖像，以便用算術(shù)計算從拍攝單元140到對象300的各個部分的距離。
[0049]圖4是示出了由拍攝單元140捕獲的對象300的圖像的圖。具體地，圖4是示出了圖2A的模式光已被投射到其上的對象300的捕獲的圖像的圖。如圖4所示，在離拍攝單元140—定距離處捕獲由模式光照亮的對象300的圖像，因而顯示在捕獲的圖像上的模式光具有與由投射器130發(fā)射的模式光的原始形式不同的形式?；诖?，計算作為對象300的3D信息的深度信息，即從拍攝單元140到對象300的各個部分的距離。
[0050]再一次參考圖1，拍攝單元140可以捕獲由一系列模式光照亮的對象的圖像并將捕獲的圖像發(fā)送到控制器110?？刂破?10可以分析該圖像以從如上所述的圖像中提取對象300的3D信息?？刂破?10可以將元數(shù)據(jù)增加到與施加于該對象的光的模式有關(guān)的每個圖像。
[0051]存儲單元150可以存儲用于操作裝置100的所有程序和由拍攝單元140捕獲的圖像，并且可以被實現(xiàn)為硬盤驅(qū)動器(HDD)、存儲器等等。
[0052]2.用于控制光量的方法
[0053]圖5是示出了根據(jù)本發(fā)明的實施例用于控制光量的方法的圖。為了方便起見，在圖5中一起示出了在顯示模式中使用的驅(qū)動電流和在3D模式中使用的驅(qū)動電流。
[0054]如上所述，在顯示模式的情況下，驅(qū)動電流具有峰值“a”和占空比b/cο由于在顯示模式中使用峰值“a”和占空比“b/c”，因此可以優(yōu)化峰值“a”和占空比“b/c”以防止來自于光源的光看起來像是在閃爍。
[0055]在3D模式的情況下，驅(qū)動電流具有比顯示模式下的驅(qū)動電流的峰值“a”高的峰值“a’”，和占空比“b’/c”’。在3D模式下的驅(qū)動電流的占空比“b’/c’”可以比顯示模式下的驅(qū)動電流的占空比“b/c”低。峰值“a’”可以隨占空比“b/c”的減小而增大。
[0056]因而，在顯示模式的情況下，裝置100可以驅(qū)動光源以使得光源具有峰值“a”和占空比“b/c”。如果顯示模式轉(zhuǎn)變?yōu)?D模式，則裝置100可以將驅(qū)動電流的占空比“b/c”減小到占空比“b’/c’”，并且將峰值“a”增大到峰值“a’”。此外，如果如上所述光量隨著占空比的減小而減小，則裝置100可以長時間開啟拍攝單元140的快門以增加曝光時間，以便保證光量足夠獲得3D彳目息。
[0057]3D模式下的峰值“a’”可以是顯示模式下的峰值“a”的5倍或更小倍數(shù)。如果使用此方法，則盡管裝置100可以是移動設備，但是可以提取占據(jù)人的身體的上半部分或更多的對象的深度。
[0058]3.用于獲得3D信息的操作流
[0059]現(xiàn)在將參考圖6描述裝置100的操作流。圖6是示出了根據(jù)本發(fā)明的實施例的獲得3D信息的方法的流程圖。
[0060]裝置100確定工作模式(S610)。如上所述，裝置100可以至少工作在顯示模式和用于獲得3D信息的3D模式。
[0061 ]如果確定裝置100的模式是3D模式(S610)，則裝置100產(chǎn)生具有比在顯示模式下低的占空比和高的峰值的驅(qū)動信號(S620)。根據(jù)所產(chǎn)生的驅(qū)動信號來驅(qū)動光源以將模式光發(fā)射到對象上(S630)。
[0062]裝置100捕獲模式光已被發(fā)射到其上的對象的圖像以產(chǎn)生圖像(S640)。裝置100確定圖像的捕獲是否已經(jīng)結(jié)束(S650)。如果確定圖像的捕獲已經(jīng)結(jié)束(S650-是)，則裝置100分析所產(chǎn)生的圖像以提取對象的3D信息(S660)。
[0063]如果確定裝置100的模式是顯示模式(S610)，則裝置100產(chǎn)生具有比在3D模式下高的占空比和低的峰值的驅(qū)動信號(S670)。根據(jù)所產(chǎn)生的驅(qū)動信號來驅(qū)動光源以發(fā)射光(S680)。任何特定模式的光，或者實際上未被模式化的光，可以由控制器110控制。發(fā)射的光可以被施加于顯示面板。
[0064]裝置100確定顯示是否已經(jīng)結(jié)束。如果確定顯示已經(jīng)結(jié)束(S690-是)，則裝置100結(jié)束顯示模式。
[0065]因此，可以提供足夠克服周圍環(huán)境光的亮度并且獲得3D信息的光量。
[0066]4.用于獲得3D信息的系統(tǒng)
[0067]圖7是示出了根據(jù)本發(fā)明的實施例的用于獲得3D信息的系統(tǒng)的圖。如上所述，裝置100可以被實現(xiàn)為合并了投射器130和拍攝單元140的設備。但是，如圖7所示，分離的設備可以被集成到用于獲得3D信息的系統(tǒng)中。
[0068]為此，該系統(tǒng)包括投射裝置710、拍攝裝置720和控制裝置730，并且也工作在顯示模式和3D模式。
[0069]投射裝置710、拍攝裝置720和控制裝置730的操作和角色可以與圖1的裝置100的投射器130、拍攝單元140和控制器110相同或者可以由其推出，因而將省略它們的詳細描述。
[0070]因此，可以提供足夠克服周圍環(huán)境光的亮度并且獲得3D信息的光源。
[0071]雖然在上面的描述中，參考DSLR照相機描述了實施例，但是可以在具有焦點檢測器件的任何SLR照相機中實踐所述的實施例的教導。
[0072]前述實施例和優(yōu)點僅僅是示范性的，并且不應被理解為限制本發(fā)明。本教導可以容易地應用于其它類型的裝置。此外，實施例的描述預期是說明性的，本領(lǐng)域技術(shù)人員將理解，可以在不脫離本公開的教導的原理和精神的情況下，做出許多改變、替換、修改和變化，本公開的范圍由所附權(quán)利要求書和它們的等價物定義。
【主權(quán)項】
1.一種用于獲得可視信息的裝置，包括: 投射器，被配置為投射光； 拍攝單元，被配置為捕獲光已被投射到其上的對象的圖像;和 控制器，被配置為使得，在顯示模式中將具有第一峰值電流的驅(qū)動信號施加于該投射器，以及在可視信息獲得模式中將具有比第一峰值電流高的第二峰值電流的驅(qū)動信號施加于該投射器， 其中，所述可視信息獲得模式是其中裝置將模式光投射到對象上并捕獲模式光被投射到其上的對象以獲得該對象的深度信息的模式， 其中，所述模式是可交換的。2.如權(quán)利要求1所述的裝置，其中，所述可視信息是三維(3D)信息，并且所述深度信息是對象的3D?米度彳目息，并且 其中，該控制器使得在3D信息獲得模式中施加于該投射器的驅(qū)動信號的占空比比在顯示模式中施加于該投射器的驅(qū)動信號的占空比低，以使得該驅(qū)動信號具有比第一峰值電流高的第二峰值電流。3.如權(quán)利要求2所述的裝置，其中，該第二峰值電流是第一峰值電流的5倍或更小倍數(shù)。4.如權(quán)利要求1所述的裝置，其中，在所述可視信息獲得模式中，該投射器將多個模式光依次投射到該對象上，該拍攝單元依次捕獲多個模式光已被投射到其上的對象的圖像以產(chǎn)生多個圖像，并且該控制器分析該多個圖像以獲得該對象的深度信息。5.如權(quán)利要求4所述的裝置，其中，該控制器控制該存儲單元單獨地存儲該多個圖像的每一個或者將與該多個模式光有關(guān)的元數(shù)據(jù)增加到該多個圖像。6.如權(quán)利要求4所述的裝置，其中，在該多個模式光的每一個中交替排列較暗部分和較亮部分來形成該多個模式光。7.如權(quán)利要求1所述的裝置，其中，在該顯示模式中，該投射器將光投射到顯示面板上，并且該控制器在該顯示面板上產(chǎn)生圖像。8.如權(quán)利要求1所述的裝置，其中，該投射器使用發(fā)光二極管(LED)或激光二極管(LD)作為光源來投射光。9.如權(quán)利要求1所述的裝置，其中，該裝置是移動顯示裝置。10.—種用于驅(qū)動用于獲得可視信息的裝置的光源的方法，包括: 確定該裝置工作在顯示模式還是可視信息獲得模式； 如果確定該裝置工作在顯示模式，則將具有第一峰值電流的驅(qū)動信號施加到該光源，并且如果確定該裝置工作在可視信息獲得模式，則將具有比第一峰值電流高的第二峰值電流的驅(qū)動信號施加到該光源；以及 基于該驅(qū)動信號投射光， 其中，所述可視信息獲得模式是其中裝置將模式光投射到對象上并捕獲模式光被投射到其上的對象以獲得該對象的深度信息的模式， 其中，所述模式是可交換的。11.如權(quán)利要求10所述的方法，其中，所述可視信息是三維(3D)信息，并且所述深度信息是對象的3D深度信息，并且 其中，施加該驅(qū)動信號包括:與在顯示模式中施加的驅(qū)動信號的占空比相比，減小在3D信息獲得模式中施加的驅(qū)動信號的占空比，以施加具有比第一峰值電流高的第二峰值電流的驅(qū)動信號。12.如權(quán)利要求10所述的方法，其中，在所述可視信息獲得模式中，投射的光包括依次投射的多個模式光， 其中該方法還包括:依次捕獲多個模式光已被依次投射到其上的對象的圖像以產(chǎn)生多個圖像，并分析該多個圖像以獲得深度信息。13.如權(quán)利要求12所述的方法，還包括:單獨存儲該多個圖像或?qū)⑴c該多個模式光有關(guān)的元數(shù)據(jù)增加到該多個圖像。14.如權(quán)利要求12所述的方法，其中，在該多個模式光的每一個中交替排列較暗部分和較亮部分來形成該多個模式光。15.—種用于獲得可視信息的系統(tǒng)，包括: 投射裝置，具有被配置為投射光的光源；以及 拍攝裝置，被配置為捕獲光已被投射到其上的對象的圖像， 其中該投射裝置在顯示模式中將具有第一峰值電流的驅(qū)動信號施加于該光源，以及在可視信息獲得模式中將具有比第一峰值電流高的第二峰值電流的驅(qū)動信號施加于該光源， 其中，所述可視信息獲得模式是其中裝置將模式光投射到對象上并捕獲模式光被投射到其上的對象以獲得該對象的深度信息的模式， 其中，所述模式是可交換的。
【文檔編號】H04N13/02GK106060525SQ201610511449
【公開日】2016年10月26日
【申請日】2011年1月5日
【發(fā)明人】鄭澤成
【申請人】三星電子株式會社