專利名稱：深度圖像采集裝置、系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于一種深度圖像采集裝置、系統(tǒng)及其方法。
背景技術(shù)：
傳統(tǒng)圖像傳感器發(fā)展相當(dāng)成熟，但僅能取得二維圖像信息，因此如何有效、即時且穩(wěn)定的取得其第三維(即深度)的信息一直是技術(shù)發(fā)展上的課題。由于深度圖像提供更完整的空間圖像信息，因此可以用來設(shè)計作為3D游戲、互動瀏覽裝置操作介面。其次，在安全圖像監(jiān)控、機器人視覺及醫(yī)療圖像應(yīng)用上也有相當(dāng)?shù)陌l(fā)展?jié)摿Α?010 年底，微軟正式發(fā)表新世代體感游戲裝置Kinect，采用人體動作為游戲的互動媒介，其中就是以深度傳感器為主要核心元件，預(yù)料未來一年內(nèi)，手勢與人體互動介面相關(guān)技術(shù)與應(yīng)用將掀起一波熱潮。過去被動式圖像比對方法，雖然也能夠計算深度圖像，但因為過于仰賴圖像本身的特征信息，因此非常容易受到圖像色彩、亮度變化的影響，如果圖像特征不明顯(例如，同一色系的區(qū)塊或白色的墻面)，或者環(huán)境亮度發(fā)生變化(例如，過暗或過亮)，往往造成比對結(jié)果不佳，穩(wěn)定性因此大打折扣。另外一深度傳感技術(shù)是所謂的TOF(Time of Flight)技術(shù)，但目前解析度(160x120 320x240)不足，反應(yīng)速率受到限制。有文獻(xiàn)公開圖像匹配(image matching)的方法。其公開了利用立體視覺(stereo vision)所取得的雙圖像(dual-image)來直接進(jìn)行平方差和SSD (sum-of-square-differences)的比對運算，并用GPU加速。此外，另有采用主動式光源，投射色碼(color code)制造圖像特征,然后以金字塔演算法(pyramid algorithm)進(jìn)行比對加速運算。再者，有文獻(xiàn)公開了一種采用投射一組多張結(jié)構(gòu)光源(graycode pattern),并利用兩臺相機采集一序列立體雙圖像組(stereo image pairs)來解碼其空間位置。此外，文獻(xiàn)提出投射主斑點圖紋，再建立多個不同距離下取得的參考圖像，將量測圖像與參考圖案進(jìn)行圖像相關(guān)性計算，得出被測物的距離。其采取一投光裝置組與一取像裝組。另有文獻(xiàn)公開了只建立I張參考圖像，將所取得被測物圖像與該參考圖像進(jìn)行相關(guān)性計算，依對應(yīng)相關(guān)性最高區(qū)域的位置偏移量而得到深度值。一文獻(xiàn)公開了一個獲取三維場景圖像的系統(tǒng)和方法。該系統(tǒng)包括一個投影裝置投射區(qū)域性獨特圖案(locally unique pattern)到一個場景,多個傳感器由兩個或更多的觀測點取得場景的圖像。進(jìn)行圖像的相應(yīng)像素匹配計算，建立出深度圖。一文獻(xiàn)公開了一產(chǎn)生深度信息的裝置，其包括一臺投影機及左右兩臺攝影機。投影機投射出預(yù)定的結(jié)構(gòu)光圖案至被測物，左右攝影機各取得一結(jié)構(gòu)光圖像，經(jīng)由結(jié)構(gòu)光解碼計算決定兩圖像與投出圖案三者對應(yīng)點而得深度信息。當(dāng)結(jié)構(gòu)光圖案無法應(yīng)用在圖像時由左右圖像進(jìn)行立體匹配(stereo matching),計算出深度信息
發(fā)明內(nèi)容
依據(jù)一實施范例，提出一種深度圖像采集裝置，包括至少一投光裝置、第一與一第二圖像傳感裝置以及圖像處理單元。該投光裝置用以投射投影圖案到被測物上，其中投光裝置做為虛擬圖像傳感裝置，以該投影圖案的本源圖像做為虛擬圖像。第一與第二圖像傳感裝置分別傳感投影到被測物上的投影圖案，以產(chǎn)生第一真實圖像與第二真實圖像。該圖像處理單元耦接至該投光裝置以及該第一與第二圖像傳感裝置。該圖像處理單元將該第一真實圖像的像素與第二真實圖像的像素進(jìn)行匹配比對，以獲得第一匹配圖像；將第一真實圖像的像素與該虛擬圖像的像素進(jìn)行匹配比對，以獲得第二匹配圖像。利用該第一與第二匹配圖像進(jìn)行匹配驗證，輸出一驗證后的匹配圖像，其中該驗證后的匹配圖像的像素為該第一與第二匹配圖像的像素的其中之一。依據(jù)第一真實圖像的各像素與該驗證后的匹配圖像的各像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生深度圖像。該投光裝置更包括光源，用以發(fā)出投光光束；以及投影圖案產(chǎn)生元件，配置于該光源的光路上，由該光源照射而產(chǎn)生該投影圖案。
該投光裝置更包括透鏡組，配置于該投影圖案產(chǎn)生元件的光路上，將該光源通過該投影圖案產(chǎn)生元件產(chǎn)生的該投影圖案，投影到該被測物上。該透鏡組更包含一片或以上的透鏡。該投影圖案產(chǎn)生元件為衍射光學(xué)元件。該衍射光學(xué)元件包括計算機生成的全息圖或光柵與相位式衍射元件。該投影圖案產(chǎn)生元件為光罩。該光罩為鉻金屬薄膜的石英玻璃片、網(wǎng)點印刷板與金屬板的其中之一。該光源為紅外線激光、發(fā)光二極管、紫外光與可見光的其中之一。更包括第一與第二光學(xué)濾鏡，分別配置在該第一與該第二圖像傳感裝置前。該投影圖案為預(yù)先設(shè)計或隨機產(chǎn)生。該投影圖案為隨機分布的散亂光點圖案。更包括控制器，耦接到該投光裝置、該第一與該第二圖像傳感裝置，以脈波驅(qū)動方式來驅(qū)動該光源。依據(jù)另一實施范例，提出一種深度圖像的采集裝置，包括第一與第二投光裝置、圖像傳感裝置以及圖像處理單元。該第一與第二投光裝置分別用以投射投影圖案到被測物上，其中第一與第二投光裝置做為第一與第二虛擬圖像傳感裝置，以投影圖案的本源圖像做為第一與第二虛擬圖像傳感裝置所成像的第一與第二虛擬圖像。該圖像傳感裝置傳感投影到該被測物上的投影圖案，以產(chǎn)生真實圖像。該圖像處理單元耦接至該第一與第二投光裝置以及該圖像傳感裝置。該圖像處理單元將該真實圖像的像素與第一虛擬圖像的像素進(jìn)行匹配比對，以獲得一第一匹配圖像；將該真實圖像的像素與第二虛擬圖像的像素進(jìn)行匹配比對，以獲得第二匹配圖像。利用該第一與第二匹配圖像進(jìn)行匹配驗證，輸出一驗證后的匹配圖像，其中該驗證后的匹配圖像的像素為該第一與第二匹配圖像的像素的其中之一。依據(jù)該真實圖像的各像素與該驗證后的匹配圖像的各像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生深度圖像。該第一與該第二投光裝置分別更包括光源，用以發(fā)出投光光束；以及投影圖案產(chǎn)生元件，配置于該光源的光路上，由該光源照射而產(chǎn)生該投影圖案。該第一與該第二投光裝置分別更包括透鏡組，配置于該投影圖案產(chǎn)生元件的光路上，將該光源通過該投影圖案產(chǎn)生元件產(chǎn)生的該投影圖案，投影到該被測物上。該透鏡組包含一片或以上的透鏡。該投影圖案產(chǎn)生元件為衍射光學(xué)元件。該衍射光學(xué)元件包括計算機生成的全息圖或光柵與相位式衍射元件。該投影圖案產(chǎn)生元件為光罩。該光罩為鉻金屬薄膜的石英玻璃片、網(wǎng)點印刷板與金屬板的其中之一。該光源為紅外線激光、發(fā)光二極管、紫外光與可見光的其中之一。配置在該圖像傳感裝置前。該投影圖案為預(yù)先設(shè)計或隨機產(chǎn)生。該投影圖案為隨機分布的散亂光點圖案。該第一與該第二投光裝置的各該光源以時間分割或頻譜分割的方式來控制。依據(jù)另一實施范例，提出一種深度圖像采集方法，對被測物采集深度圖像，用于具有投光裝置、第一與第二圖像傳感裝置的深度圖像采集裝置。根據(jù)此方法，投光裝置將投影圖案投影到被測物，第一與第二圖像傳感裝置傳感投影到被測物上的投影圖案，以產(chǎn)生第一真實圖像與第二真實圖像。該投光裝置做為虛擬圖像傳感裝置，將投影圖案的本源圖像轉(zhuǎn)換為虛擬圖像。接著，將該第一真實圖像的像素與該第二真實圖像的像素進(jìn)行匹配比對，以獲得第一匹配圖像；將該第一真實圖像的像素與該虛擬圖像的像素進(jìn)行匹配比對，以獲得一第二匹配圖像。利用該第一與第二匹配像素進(jìn)行匹配驗證，輸出一驗證后的匹配圖像，其中該驗證后的匹配圖像的像素為該第一與第二匹配圖像的像素的其中之一。依據(jù)該第一真實圖像的各像素與該驗證后的匹配圖像的各像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生深度圖像。更包括將該第一真實圖像與該第二真實圖像分別進(jìn)行反扭曲修正；將該反扭曲修正的該第一真實圖像與該第二真實圖像分別進(jìn)行圖像重整；以及將該圖像重整后的該第一真實圖像與該第二真實圖像進(jìn)行匹配比對，以獲得該第二匹配結(jié)果。更包括將該第一真實圖像進(jìn)行高通濾波處理，并將該本源圖像進(jìn)行低通濾波，以產(chǎn)生該虛擬圖像；將該高通濾波處理后的該第一真實圖像進(jìn)行反扭曲修正；將該反扭曲修正后的該第一真實圖像以及該虛擬圖像分別進(jìn)行圖像重整；以及將該圖像重整后的該第一真實圖像與該虛擬圖像進(jìn)行匹配比對，以獲得該第一匹配結(jié)果。輸出各該匹配圖像更包括判斷該第一與該第二匹配圖像的像素是否均為適當(dāng)匹配；若該第一與該第二匹配圖像的像素只有其中之一為適當(dāng)匹配，輸出適當(dāng)匹配的該第一或該第二匹配圖像的像素的匹配結(jié)果，若該第一與該第二匹配圖像的像素均非適當(dāng)匹配，輸出無適當(dāng)匹配的匹配結(jié)果；若該第一或該第二匹配圖像的像素均為適當(dāng)匹配，則驗證該第一與該第二匹配圖像的像素是否符合一致；若該第一與該第二匹配圖像的像素為一致，則輸出該第一與該第二匹配圖像的像素任一個的匹配結(jié)果，若不一致，則輸出無適當(dāng)匹配的匹配結(jié)果。判斷該第一與該第二匹配圖像的像素是否均為適當(dāng)匹配是利用第一與該第二匹配圖像的像素的匹配成本函數(shù)。驗證該第一與該第二匹配圖像的像素是否符合一致是依據(jù)相機成像原則。當(dāng)該第一與該第二匹配圖像的像素為一致時更包括在該虛擬圖像上取得與該第一匹配圖像的像素相匹配的一第三匹配圖像；判斷該第三匹配圖像的像素是否為適當(dāng)匹配；當(dāng)該第三匹配圖像的像素不是適當(dāng)匹配，則輸出該第一或該第二匹配圖像的像素任一個的匹配結(jié)果；當(dāng)該第三匹配圖像的像素為適當(dāng)匹配，則在該第二真實圖像上取得與該第二匹配圖像的像素相匹配的一第四匹配圖像的像素；判斷該第四匹配圖像的像素是否為適當(dāng)匹配，并且輸出該第一或該第二匹配圖像的像素任一個的匹配結(jié)果，其中該第四匹配圖像的像素為適當(dāng)匹配時的匹配結(jié)果精度大于該第四匹配圖像的像素不是適當(dāng)匹配時的匹配結(jié)果精度。該像差圖像是利用三角測距法產(chǎn)生。
依據(jù)另一實施范例，提出一種深度圖像采集方法，對被測物采集深度圖像，用于具有第一與第二投光裝置以及圖像傳感裝置的深度圖像采集裝置。依據(jù)此方法，該第一與第二投光裝置將投影圖案投影到被測物，該圖像傳感裝置傳感投影到被測物上的投影圖案，以產(chǎn)生真實圖像，其中該第一與第二投光裝置做為第一與第二虛擬圖像傳感裝置，將投影圖案的本源圖像轉(zhuǎn)換為第一與第二虛擬圖像。將該真實圖像的像素與該第一虛擬圖像的像素進(jìn)行匹配比對，以獲得第一匹配圖像；將該真實圖像的像素與該第二虛擬圖像的像素進(jìn)行匹配比對，以獲得一第二匹配圖像。利用該第一與第二匹配圖像進(jìn)行匹配驗證，輸出一驗證后的匹配圖像，其中該驗證后的匹配圖像的像素為該第一與第二匹配圖像像素的其中之一。依據(jù)該真實圖像的各像素與該驗證后的匹配圖像的各像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生深度圖像。更包括將該真實圖像進(jìn)行高通濾波處理，并將該本源圖像進(jìn)行低通濾波，以產(chǎn)生該第一與該第二虛擬圖像；將該高通濾波處理后的該真實圖像進(jìn)行反扭曲修正；將該反扭曲修正后的該真實圖像以及該第一與該第二虛擬圖像分別進(jìn)行圖像重整；以及將該圖像重整后的該真實圖像與該第一、該第二虛擬圖像進(jìn)行匹配比對，以分別獲得該第一匹配圖像與該第二匹配圖像。輸出各該匹配圖像更包括判斷該第一與該第二匹配圖像的像素是否均為適當(dāng)匹配；若該第一與該第二匹配圖像的像素只有其中的一為適當(dāng)匹配，輸出適當(dāng)匹配的該第一或該第二匹配圖像的像素的匹配結(jié)果，若該第一與該第二匹配圖像的像素均非適當(dāng)匹配，輸出無適當(dāng)匹配的匹配結(jié)果；若該第一或該第二匹配圖像的像素均為適當(dāng)匹配，則驗證該第一與該第二匹配圖像的像素是否符合一致；若該第一與該第二匹配圖像的像素為一致，則輸出該第一與該第二匹配圖像的像素的任一個的匹配結(jié)果，若不一致，則輸出無適當(dāng)匹配的匹配結(jié)果。判斷該第一與該第二匹配圖像的像素是否均為適當(dāng)匹配是利用第一與該第二匹配圖像的像素的匹配成本函數(shù)。驗證該第一與該第二匹配圖像的像素是否符合一致是依據(jù)相機成像原則。該像差圖像是利用三角測距法產(chǎn)生。依據(jù)另一實施范例，提出一種深度圖像采集裝置，包括投光裝置、圖像傳感裝置與圖像處理單元。投光裝置用以投射投影圖案到被測物上，其中該投光裝置做為虛擬圖像傳感裝置，以該投影圖案的本源圖像做為虛擬圖像。圖像傳感裝置傳感投影到該被測物上的該投影圖案，以產(chǎn)生真實圖像。圖像處理單元耦接至該投光裝置以及該圖像傳感裝置。該圖像處理單元將該真實圖像的各像素與該虛擬圖像的各像素進(jìn)行匹配比對，以獲得一匹配圖像。依據(jù)該真實圖像的各該像素與該匹配圖像的各像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的一深度值，產(chǎn)生一深度圖像。該投光裝置更包括光源，用以發(fā)出投光光束；以及投影圖案產(chǎn)生元件，配置于該光源的光路上，由該光源照射而產(chǎn)生該投影圖案；該投光裝置更包括透鏡組，配置于該投影圖案產(chǎn)生元件的光路上，將該光源通過該投影圖案產(chǎn)生元件產(chǎn)生的該投影圖案，投影到該被測物上。該透鏡組包含一片或以上的透鏡該投影圖案產(chǎn)生元件為衍射光學(xué)元件。該衍射光學(xué)元件包括計算機生成的全息圖或光柵與相位式衍射元件。該投影圖案產(chǎn)生元件為光罩。 該光罩為鉻金屬薄膜的石英玻璃片、網(wǎng)點印刷板與金屬板的其中之一。該光源為紅外線激光、發(fā)光二極管、紫外光與可見光的其中之一。更包括一光學(xué)濾鏡，配置在該圖像傳感裝置前。該投影圖案為預(yù)先設(shè)計或隨機產(chǎn)生。該投影圖案為隨機分布的散亂光點圖案。更包括控制器，耦接到該投光裝置與該圖像傳感裝置，以脈波驅(qū)動方式來驅(qū)動該光源。依據(jù)另一實施范例，提出一種深度圖像采集裝置，包括至少一投光裝置、第一與第二圖像傳感裝置以及圖像處理單元。投光裝置用以投射一投影圖案到一被測物上。第一與第二圖像傳感裝置分別傳感投影到該被測物上的該投影圖案，以產(chǎn)生一第一真實圖像與一第二真實圖像。圖像處理單元耦接至該投光裝置以及該第一與該第二圖像傳感裝置。該圖像處理單元將該第一真實圖像的各像素與該第二真實圖像的各像素分別進(jìn)行匹配比對，以獲得一匹配圖像。依據(jù)該第一真實圖像各該像素與該匹配圖像的各像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的一深度值，產(chǎn)生一深度圖像。該投光裝置更包括光源，用以發(fā)出投光光束；以及投影圖案產(chǎn)生元件，配置于該光源的光路上，由該光源照射而產(chǎn)生該投影圖案。該投光裝置更包括透鏡組，配置于該投影圖案產(chǎn)生元件的光路上，將該光源通過該投影圖案產(chǎn)生元件產(chǎn)生的該投影圖案，投影到該被測物上。該透鏡組包含一片或以上的透鏡。該投影圖案產(chǎn)生元件為衍射光學(xué)元件。該衍射光學(xué)元件包括計算機生成的全息圖或光柵與相位式衍射元件。該投影圖案產(chǎn)生元件為光罩。該光罩為鉻金屬薄膜的石英玻璃片、網(wǎng)點印刷板與金屬板的其中之一。該光源為紅外線激光、發(fā)光二極管、紫外光與可見光的其中之一。更包括光學(xué)濾鏡，配置在該圖像傳感裝置前。該投影圖案為預(yù)先設(shè)計或隨機產(chǎn)生。該投影圖案為隨機分布的散亂光點圖案。更包括控制器，耦接到該投光裝置以及該第一與該第二圖像傳感裝置，以脈波驅(qū)動方式來驅(qū)動該光源。
依據(jù)另一實施范例，提出一種深度圖像采集系統(tǒng)，用以取得被測物的深度圖像。深度圖像采集系統(tǒng)包括多數(shù)個深度圖像采集裝置，其中各所述深度圖像采集裝置可以使用上述各種深度圖像采集裝置。各所述深度圖像采集裝置分別以不同波長光源來進(jìn)行取像。各所述深度圖像采集裝置是以時間分割來進(jìn)行取像。為更明顯易懂，下文特舉實施范例，并配合附圖做詳細(xì)說明如下。



圖I是本實施范例的深度圖像采集裝置的架構(gòu)示意圖。圖2A是大面積分布光點模塊構(gòu)成的投光裝置的示意圖。圖2B是大面積分布光點模塊構(gòu)成的投光裝置的示意圖。圖2C是一種隨機圖像投光裝置的示意圖。圖3是另一個實施范例的深度圖像采集裝置的架構(gòu)示意圖。圖4是另一個實施范例的深度圖像采集裝置的架構(gòu)示意圖。圖5是圖3中控制器的非同步脈波驅(qū)動方式的波形示意圖。圖6A是另一實施范例的采用多組深度圖像傳感裝置的深度圖像采集系統(tǒng)。圖6B是對應(yīng)圖6A架構(gòu)的控制信號時序示意圖。圖7是投光裝置當(dāng)做虛擬相機時的本源圖像與虛擬圖像之間的關(guān)系示意圖。圖8與圖9A至9E為本實施范例所列舉出的各種虛擬三相機系統(tǒng)的例子。圖10是兩真實相機與一虛擬相機所構(gòu)成虛擬三機系統(tǒng)的量測流程。圖11是兩個真實相機的圖像比對流程示意圖。圖12是真實圖像與虛擬圖像的比對流程示意圖。圖13是虛擬三相機系統(tǒng)中使用三個雙相機組合的比對與驗證流程。圖14是兩虛擬相機與一真實相機所構(gòu)成虛擬三相機系統(tǒng)的量測流程。圖15是虛擬三相機系統(tǒng)中使用兩個雙相機組的比對與驗證流程。附圖標(biāo)記說明100,400,500 :深度圖像采集裝置110、110A、110B、110C、410、510、512 :投光裝置120、130、420、430、520 :圖像傳感裝置140、150、440、450、540 :光學(xué)濾光鏡160、460、560 :被測物170、470、570 :圖像處理單元210,302 :光源220 :衍射光學(xué)元件222 :光罩230 :透鏡、透鏡組240,340 :投影面304 :毛玻璃310:半反射鏡
320:同軸取像校正裝置480 :控制單元P:投光裝置C1、C2:真實相機VC、VC1、VC2 :虛擬相機
具體實施例方式本實施范例提出一深度圖像采集裝置及其方法，以光源(例如主動式光源)將投
影圖案投射在被測物件上，再利用圖像比對技術(shù)計算其深度圖像信息。主動式投光裝置是由光源及一組經(jīng)過設(shè)計的投影圖案產(chǎn)生元件，即衍射光學(xué)元件或光罩并搭配透鏡組所組成，可產(chǎn)生分布不規(guī)則的亮點圖像，構(gòu)成一隨機分布的圖案?？刂迫肷涔馐笮〔⒖筛淖兞咙c圖像的解析度。深度圖像的計算原則上是以圖像比對技術(shù)為基礎(chǔ)，除了由至少兩組同步圖像傳感裝置同時取得投射圖案的圖像，本實施范例更進(jìn)一步將投光裝置當(dāng)成虛擬圖像傳感裝置使用，計算每組圖像傳感裝置與投光裝置間的空間對應(yīng)關(guān)系，因此得以補償圖像遮蔽的問題并提升其精確度。圖I是本實施范例的深度圖像采集裝置的架構(gòu)示意圖。本實施范例的深度圖像采集裝置包括至少一投光裝置110、至少兩臺圖像傳感裝置120、130以及一圖像處理單元170。投光裝置110例如是光學(xué)投影裝置、數(shù)位投影裝置等，主要是將隨機分布的散亂光點的投影圖案投射在被測物160上。此隨機分布的散亂光點圖案可以是預(yù)先設(shè)計，或者是自動、隨機產(chǎn)生。圖像傳感裝置120、130主要是采集將投影圖案投影在被測物后的圖像，以取得圖像信息。圖像傳感裝置120、130例如可以是一般的攝影機或相機等各種可以用來采集圖像信息的裝置。此外，在各圖像傳感裝置120、130前更可以配設(shè)光學(xué)濾光鏡140、150，其可以過濾掉不需要波長的光線后，再進(jìn)入圖像傳感裝置120及130，以有效避免環(huán)境光源及被測物本身顏色的影響。此外，本實施范例中，上述的投光裝置110更當(dāng)做一虛擬圖像傳感裝置來使用(后文會詳加說明)。圖像傳感裝置120及130取得的圖像以及投光裝置110當(dāng)做虛擬圖像傳感裝置產(chǎn)生的成像則一并傳送至圖像處理單元170，將上述各個圖像進(jìn)行圖像比對后，以獲得被測物160的深度圖像圖。例如，圖像處理單元170將圖像傳感裝置120傳感到的第一真實圖像的各像素與圖像傳感裝置130傳感到的第二真實圖像的各像素進(jìn)行匹配比對，以獲得一第一匹配圖像；將第一真實圖像的各像素與虛擬圖像的各像素進(jìn)行匹配比對，以獲得一第二匹配圖像。利用第一與第二匹配圖像進(jìn)行一匹配驗證，輸出一驗證后的匹配圖像。依據(jù)該第一真實圖像各像素與該驗證后的匹配圖像的各像素值，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，便可以計算出對應(yīng)的深度值，產(chǎn)生深度圖像。另外，在本實施范例中，投光裝置110例如可以采用大面積分布光點模塊。投光裝置110基本上可以包括光源、投影圖案產(chǎn)生元件與透鏡組等。光源用以發(fā)出投光光束。投影圖案產(chǎn)生元件可配置于光源的光路上，由光源照射而產(chǎn)生投影圖案。透鏡組配置于投影圖案產(chǎn)生元件的光路上，將光源通過投影圖案產(chǎn)生元件產(chǎn)生的投影圖案，投影到被測物160上。接著說明幾種投光裝置的實施范例。圖2A是大面積分布光點模塊構(gòu)成的投光裝置的示意圖。如圖2A所示，投光裝置IlOA包括光源210、透鏡組230、衍射光學(xué)元件220 (即上述投影圖案產(chǎn)生元件)，其中透鏡組230為選擇性構(gòu)件。光源210發(fā)出光后，投射到衍射光學(xué)元件(diffractive opticalelements, DOE) 220，經(jīng)衍射光學(xué)元件220產(chǎn)生如光點分布一般的衍射圖案，再投射到投影面240(即相當(dāng)于圖I的被測物160)上。此外，衍射圖案也可以再經(jīng)由透鏡組230，將投射面積擴大后，再投射到投影面240。此外，此透鏡組可以包含一片或一片以上的透鏡。上述光源210可采用具有特定頻譜的光源，例如激光二極管(laser diode，LD)、發(fā)光二極管(LED)、其他頻譜的紫外線或者可見光等。光源210可以調(diào)變出光口徑，亦即控制發(fā)出的光束投射到衍射光學(xué)元件220上的范圍。衍射光學(xué)元件220可以是計算機生成的全息圖(computer generated hologram, CGH)、光柵(grating)或相位式衍射元件(phaseDOE)等，其能將光源210的光波前調(diào)制產(chǎn)生成另一衍射圖案，如光點分布。之后，在另一實施范例中，可再利用透鏡組230將衍射圖案的光點的發(fā)散角增大，且由于是非成像設(shè)計，得 以使光點至任一位置的平面分布面積擴大。此外，參考圖1，在圖像傳感裝置120、130前更可以搭配與光源210對應(yīng)的特定頻譜的光學(xué)濾波裝置140、150等。目前以紅外激光二極管光源效果良好，例如波長780nm的紅外線激光二極管(IR laser diode)。此時在圖像傳感裝置120、130前，使用對應(yīng)該波段的光學(xué)濾波裝置140、150，例如紅外線狹窄帶通濾光鏡。此紅外線狹窄帶通濾光鏡的主波長在780nm，帶寬為20nm，只讓投射在被測物該波段的光經(jīng)散射返回，由光學(xué)濾波裝置140、150過濾掉其余波長的光線后，再進(jìn)入圖像傳感裝置120及130，以有效避免環(huán)境光源及被測物本身顏色的影響。上述的大面積分布光點模塊乃結(jié)合透鏡將衍射光學(xué)元件(DOE)產(chǎn)生的光點分布再擴大，亦即增加其發(fā)散角。藉此，衍射光學(xué)元件的制作尺寸得以避免高成本的納米光刻工藝(nanolithography),以一般集成電路工藝(VLSI)即可。此外,此模塊可利用光源210的激光光徑調(diào)變光點大小。若要使穿過衍射光學(xué)元件220投射出來的光點變小，增加激光的光徑即可，如此一來光點的解析度提高，進(jìn)而提升系統(tǒng)精確度。圖2B是大面積分布光點模塊構(gòu)成的投光裝置的另一種實施方式的示意圖，在此具有與圖2A類似或相同的功能的兀件賦予相同的標(biāo)號。大面積分布光點模塊另一實施方式為結(jié)合透鏡組將穿透光罩(mask)的光源光線分布做投射放大。如圖2B所示，投光裝置110B包括光源210、透鏡組230、光罩222 (即上述投影圖案產(chǎn)生元件)，其中透鏡組230為選擇性構(gòu)件。光源210發(fā)出光后，投射到光罩222，經(jīng)光罩222后產(chǎn)生如光點分布一般的圖案，再投射到投影面240 (即相當(dāng)于圖I的被測物160)上。此外，光點分布也可以再經(jīng)由透鏡組230，將投射面積擴大后，再投射到投影面240。此外，此透鏡組230可以包含一片或一片以上的透鏡。使用透鏡組230可以將穿透光罩222的光投射放大，使其于特定空間中形成大面積光點分布。上述光源可為激光二極管(LD)、發(fā)光二極管(LED)等。光罩可為一般鉻金屬薄膜的石英玻璃片、網(wǎng)點印刷板或金屬板等。光罩222的制作可以一般集成電路工藝中的光罩工藝即可。投影圖案中所設(shè)計的光點分布區(qū)域即為光罩222上的透光區(qū)。此實施方式除了在元件的制作上更節(jié)省時間及成本之外，更使得大數(shù)量光點分布如VGA、XGA解析度的圖像得以產(chǎn)生，進(jìn)而提升系統(tǒng)精確度。此外，在本實施范例中，圖像傳感裝置也可選擇對應(yīng)光源波段有較佳反應(yīng)曲線的傳感器。例如光源采用780nm的激光二極管時，圖像傳感裝置可采“PointGrey cameraFirefly MV FFMV_03M2M(商品名)”，其近紅外的反應(yīng)佳，但這只是一個元件可以采用的范例，非一定得使用此列舉的商品來做為必要的實施元件。圖2C是一種隨機圖像投光裝置的示意圖。圖2A與圖2B的投光裝置所投影出來的圖案基本上是預(yù)先設(shè) 計好的，如可以依據(jù)需求來制作光罩的圖案或者衍射光學(xué)元件上的圖案。但是，圖案也是有可能是隨機產(chǎn)生的，圖2C所示即為這樣的一個范例。例如，投光裝置IlOC內(nèi)具有光源302和毛玻璃304。光源302發(fā)出的光經(jīng)由毛玻璃304而產(chǎn)生隨機圖像圖案，之后再將此圖像圖案投影到投影面340 (即相當(dāng)于圖I的被測物160)上。另外，因為投影的圖像是隨機產(chǎn)生的，所以無法預(yù)先得知投射出去的圖像圖案。因此，再運用此投光裝置時，可以先在投影光路上配設(shè)半反射鏡310，而被半反射鏡310反射的光路上再配設(shè)一取像裝置320。取像裝置320例如是一個同軸取像校正裝置。透過此同軸取像校正裝置便可以測量并校正投光裝置IlOC所投影出的圖像圖案。待取得并校正完投光裝置IlOC所投影出的投影圖案，便可以將投光裝置IlOC配設(shè)到深度圖像采集裝置。圖3是另一個實施范例的深度圖像采集裝置的架構(gòu)示意圖。如圖3所示，深度圖像采集裝置400包括至少一投光裝置410、至少兩臺圖像傳感裝置420、430、控制單元480以及圖像處理單元470。圖像傳感裝置420、430用來采集被投射到被測物460上的圖像信息，其可為一般的攝影機等或任何可以采集圖像資料的元件?？刂茊卧?80耦接到投光裝置410以及圖像傳感裝置420、430(可以使用有線、無線等任何方式，只要確定控制信號與資料可以傳遞即可)，用以控制投光裝置410內(nèi)的光源(未繪出，可參考圖2A至2C)與圖像傳感裝置420、430。投光裝置410例如可以是上述圖2A至2C的任何一種形式，如將預(yù)先設(shè)計的隨機分布的散亂光點圖案投射在被測物460上。圖像傳感裝置420、430取得投射在被測物460上的圖像。圖像處理單元470耦接到圖像傳感裝置420、430，可接收來自圖像傳感裝置420、430的圖像資料，再進(jìn)行圖像比對，以獲得被測物460的深度圖像。此外，在各圖像傳感裝置420、430前更可以配設(shè)光學(xué)濾光鏡440、450，其可以過濾掉不需要波長的光線后，再進(jìn)入圖像傳感裝置420及430，以有效避免環(huán)境光源及被測物本身顏色的影響。關(guān)于上述光源的控制，控制單元480可以采用脈波驅(qū)動方式以控制投光裝置410的特定頻譜光源的點亮與關(guān)閉(0N/0FF)，并可選擇控制或不控制圖像傳感裝置420、430的同步取像。當(dāng)選擇控制同步取像，由控制單元480發(fā)出同步信號，控制圖像傳感裝置420、430取像時，同步驅(qū)動投光裝置410的光源點亮。當(dāng)圖像傳感裝置420、430取像完畢，將投光裝置410的光源關(guān)閉。此外，當(dāng)選擇不控制同步取像時，可直接周期性脈波驅(qū)動方式以控制投光裝置410的光源的0N/0FF。在此可調(diào)整投光裝置410的光源0N/0FF頻率與工作周期(duty cycle,點亮所占時間比例)以及光通量(即光源發(fā)光強度)。一般而言，相較于取像，光源可以采取較高頻率，以維持較穩(wěn)定的圖像亮度控制。
本實施范例所提到的光源控制可以節(jié)省電源，可以提高光源單一脈波強度而對環(huán)境光及其他雜光干擾更有抵抗力，也可降低對人眼的傷害。圖4是另一個實施范例的深度圖像采集裝置的架構(gòu)示意圖。如圖4所示，深度圖像采集裝置500包括兩個投光裝置510、512以及一圖像傳感裝置520。如前述的數(shù)個范例，投光裝置510、512也可以是上述圖2A至2C的任何一種形式，將投影圖案投射在被測物560上。圖像傳感裝置520取得投射在被測物560上的圖像。圖像處理單元570耦接到圖像傳感裝置520，可接收來自圖像傳感裝置520圖像資料，再進(jìn)行圖像比對，以獲得被測物560的深度圖像。與圖I的架構(gòu)類似，本實施范例是使用兩個投光裝置510、512，相對應(yīng)的也就有兩個虛擬圖像傳感裝置。同樣地，圖像傳感裝置520取得的圖像以及投光裝置510、512當(dāng)做虛擬圖像傳感裝置產(chǎn)生的成像則一并傳送至圖像處理單元570，將上述各個圖像進(jìn)行圖像
比對后，以獲得被測物560的深度圖像圖。此圖像處理單元570將真實圖像(例如圖像傳感裝置520取得的圖像)的各像素與第一虛擬圖像(例如來自投光裝置510的本源圖像)進(jìn)行匹配比對，以獲得一第一匹配圖像。將真實圖像的各像素與第二虛擬圖像(例如來自投光裝置512的本源圖像)進(jìn)行匹配比對，以獲得一第二匹配圖像。利用第一與第二匹配圖像進(jìn)行匹配驗證，輸出一驗證后的匹配圖像。其中此驗證后的匹配圖像的像素為第一與第二匹配圖像像素之一。接著依據(jù)第一真實圖像各像素與驗證后的匹配圖像的各像素值，產(chǎn)生一像差圖像，并且依據(jù)像差圖像，計算出對應(yīng)的深度值，產(chǎn)生深度圖像。此外，在圖像傳感裝置520前更可以配設(shè)光學(xué)濾光鏡540，其可以過濾掉不需要波長的光線后，再進(jìn)入圖像傳感裝置520，以有效避免環(huán)境光源及被測物本身顏色的影響。在投光裝置510、512所投出的色光不同時(即頻譜不同時)，濾光鏡540的頻帶可以設(shè)計成包含兩種不同色光的頻帶，使兩種不同頻譜的圖像都可以通過濾光鏡540。此外，圖像傳感裝置520可以接收迭合兩個色光的圖像，而在后端的圖像處理單元570可以再將迭合的圖像分離，分別處理。此外，本實施范例可采用非同步脈波驅(qū)動方式，其可以是周期性方波控制信號，如圖5所示，其中周期T，工作周期Tp以及驅(qū)動電壓Vp可視實際應(yīng)用場合而調(diào)整。脈波驅(qū)動也可以是其他周期性波型信號控制，只要能達(dá)到周期控制光源0N/0FF。而控制同步取像時，則以同步信號觸發(fā)每次取像與光源打亮(ON)同步。圖6A是另一實施范例的深度圖像采集系統(tǒng)，圖6B是對應(yīng)圖6A架構(gòu)的控制信號時序示意圖。如圖6A所示，根據(jù)此實施范例，在應(yīng)用上時，使用了三組深度圖像采集裝置1-3來對同一被測物進(jìn)行深度圖像的量測。深度圖像采集裝置1-3可以使用圖1、3或4所示的深度圖像采集裝置。如圖6B所示，在控制各組深度圖像采集裝置時，可以利用上述的脈波驅(qū)動方式，但是將各組的光源打開時段錯開。從圖6B可以看出，各組深度圖像采集裝置1-3 (圖6B所示的范例是三組，但不以此為限)的光源的工作周期的光源打亮(ON)期間是彼此錯開的。亦即，三組深度圖像采集裝置1-3的各個控制脈沖信號具有相同周期但相位不同。此時，各組深度圖像采集裝置1-3的圖像傳感裝置是與對應(yīng)的投光裝置的光源開關(guān)同步；亦即深度圖像采集裝置I的光源打開期間，深度圖像采集裝置I的圖像傳感裝置進(jìn)行取像，而深度圖像采集裝置2-3的圖像傳感裝置則不動作。藉此，各組深度圖像采集裝置1-3便可以采取相同周期而彼此互不干擾，使得多組深度圖像采集裝置1-3可對同一場景或被測物同時運作。另 外，各組深度圖像采集裝置1-3的控制脈沖信號也可以采用不同周期的信號，但是要注意各組的光源打亮(ON)期間必須彼此錯開。此外，在圖1、3或4的架構(gòu)中，改變圖像傳感裝置間的距離，可以獲得不同深度精度。在較近距離的應(yīng)用場合，可以將圖像傳感裝置之間距設(shè)定較小，而在較遠(yuǎn)距離的應(yīng)用時，圖像傳感裝置間距則要設(shè)定大一點，以便得到較佳的距離精度。在實際應(yīng)用上，參考設(shè)定是取像工作距離為I. 5m 5m,兩臺圖像傳感裝置之間距設(shè)定在18cm,例如使用640x480像素的相機，深度圖像采集裝置可以達(dá)到3 5cm的深度解析度。若取像工作距離降至O. 5m I. 5m,且使用同樣圖像傳感裝置，則間距可調(diào)至6cm左右,此時便可達(dá)到I 2cm的深度解析度。關(guān)于應(yīng)用本實施范例的的詳細(xì)圖像比對方式，會在后文做更詳細(xì)的說明。接著說明本實施范例的圖像比對處理流程。在說明處理流程之前，先解釋將光學(xué)投影裝置當(dāng)做虛擬圖像傳感裝置的方式與原理。圖7是投光裝置當(dāng)做虛擬圖像傳感裝置時的本源圖像與虛擬圖像之間的關(guān)系示意圖。在此例中，虛擬圖像傳感裝置為一虛擬相機。如圖7所示，本實施范例所稱的虛擬相機(非實際存在的相機，或?qū)⒉皇窍鄼C的裝置當(dāng)做相機使用)即是投光裝置。如前所述，投光裝置是將散亂光點圖案投射在被測物上，而此被投影出去的散亂光點圖案便是本源圖像(inherent image)。一般而言,此本源圖像可以是例如以扇形發(fā)散方式投射出去而到達(dá)被測物上。在進(jìn)行測量時，投光裝置有兩個主要用途一是當(dāng)做光源，讓實際存在真實的相機(如上述的圖I的圖像傳感裝置120、130等)能夠采集圖像；二是制造亮暗或色彩變化，讓真實相機所取得的圖像含有豐富的特征或變化，方便后續(xù)的圖像分析處理。亮暗或色彩的變化可以用一張本源圖像來描述。上述本源圖像不是圖像傳感裝置取得的資料，而是一種二維的資料描述方式。在實施上，可以設(shè)計各種的投光裝置，將光源投射到空間中，讓光線在空間中依本源圖像描述的方式，產(chǎn)生各種亮暗或色彩的變化。假如投光裝置是一般的數(shù)位投影機，本源圖像就是被投射的那張數(shù)位圖像。假如投光裝置是自行設(shè)計的光學(xué)系統(tǒng)，本源圖像可以直接從設(shè)計資料推算出來，或者設(shè)計一套校正方法，把本源圖像估算出來。在此,本實施范例是以針孔模型(pin-hole model)來描述虛擬相機,故本源圖像也就必須是符合針孔模型的理想圖像。此外，當(dāng)投光裝置有缺陷時，也可以設(shè)計一套反扭曲圖像修正(anti-distortion correction)方法,得到符合針孔模型的本源圖像。如圖7所示，以針孔模型描述投光裝置時，可以想象此投光裝置相當(dāng)于一臺虛擬的相機(虛擬的圖像傳感裝置，以下均以虛擬相機稱的)。虛擬相機的光軸AX與投影中心C，與投光裝置的光軸與投影中心完全一致，故虛擬相機所成像的虛擬圖像V(i，j)的位置和圖像大小與投光裝置的本源圖像H(i，j)完全一致或成比例。如上所述，虛擬相機所取得的數(shù)位圖像可以有以下數(shù)式⑴來描述V(i, j) = aH(i, j)R(i, j)0 ^ i < M 0 ^ j < N (I)
上述各參數(shù)與函數(shù)的定義如下所述V(i，j):虛擬相機的虛擬圖像的第j列第i行的像素值。M，N:圖像解析度a :比例值，為虛擬圖像和本源圖像之間的比例值。H(i，j):本源圖像第j列第i行的像素值。R(i，j):從投影中心C穿過本源圖像第j列第i行的像素H(i，j)的一條直線，所碰觸到拍攝場景的一點，此點的反光系數(shù)(reflectance)。這個數(shù)值與光源的性質(zhì)、反射角度以及物體材質(zhì)有關(guān)。上述像素值V(i，j)可以是RGB彩色或者亮度值，而使用其他系統(tǒng)的彩色或者亮度 值也是可行的，并沒有特別的限制。在實際的應(yīng)用中，相對于反光系數(shù)R(i，j)而言，本源圖像H(i，j)是比較高頻的信號。因此，如果只看局部的區(qū)域的圖像，反光系數(shù)R(i，j)近似于常數(shù)值，即如下列述式(2)所表示。(m，η)表示以第j列第i行的像素(i，j)為中心的周圍的鄰近區(qū)域neighborhood的范圍，而α為一比例值。V(m, ) = CCH(/, j) (m, n) e neighborhood of (i, j) (2)所以當(dāng)只對圖像的局部區(qū)域做比對操作時，可以直接使用投光裝置的本源圖像，不必真的使用虛擬圖像。例如虛擬相機與真實相機做圖像比對時，可以使用本源圖像H(i，j)，與真實相機取得的數(shù)位圖像F(i，j)做比對。此外，假設(shè)函數(shù)D(vl，v2)計算vl和v2的差距值，函數(shù)N(i，j，F(xiàn)(i，j))定義為將圖像F的第(i，j)個像素正規(guī)化(normalize)，使像素的數(shù)值介于O和I之間。則虛擬圖像V的像素(i，j)與真實圖像F的像素(m，n)的局部比對運算可定義如下列數(shù)式(3)的匹配成本函數(shù)MatchingCost (i, j, m, η, V, F),其中鄰近區(qū)域neighborhood的形狀與大小則
可依實際狀況來定義。
MatchingCo st(i, j,m,n,V,F) = [ D(N(i + s,j +1, V(i + s,j +1)), N(m + s,n + t,F(m + s,n +1)))
(s,t )eneighborho od= ^ D(N(i + s,j +1,H(i + s,j +1)), N(m + s,n + t, F(m + s,n + 0))
(s，i)efieighborho od(3)根據(jù)本實施范例，通過導(dǎo)入虛擬相機的概念，使得投光裝置增加了第三個功能，SP讓投光裝置具有本源圖像，可與真實相機的圖像進(jìn)行比對、分析。因此，使用一個相機和一個投光裝置即可構(gòu)成一個雙相機系統(tǒng)，進(jìn)行圖像比對(image matching)和三角測距?；谏鲜鎏摂M相機的概念，在如圖1、3或4的深度圖像采集裝置中，一投光裝置與兩個圖像傳感裝置(或者兩個投光裝置與一圖像傳感裝置)便可以轉(zhuǎn)化成三個圖像傳感裝置，即一虛擬相機加上兩個真實相機(或者兩個虛擬相機與一真實相機)的系統(tǒng)。下面便接著詳細(xì)解說此架構(gòu)下的虛擬三相機系統(tǒng)。圖8與圖9A至9E為本實施范例所列舉出的各種虛擬三相機系統(tǒng)的例子。圖8所示為圖I所說明的一投光裝置P和兩個相機C1、C2所構(gòu)成的架構(gòu)，圖9A則是依據(jù)本實施范例的概念，將投光裝置轉(zhuǎn)換為虛擬相機的架構(gòu)示意圖。原本投光裝置的目的只是制造光源以及亮暗或色彩變化。但是如圖9所示，當(dāng)以虛擬相機來描述投光裝置的時候，這個系統(tǒng)就變成一個虛擬的三相機系統(tǒng)，亦即一個虛擬相機VC加上兩個真實相機Cl、C2。虛擬三相機系統(tǒng)比原先主動投光的雙相機系統(tǒng)至少多了以下所述的效果。首先，虛擬三相機系統(tǒng)可以驗證圖像比對結(jié)果，排除錯誤。一虛二實相機所構(gòu)成系統(tǒng)中的相機兩兩配對，可以得到三組雙相機系統(tǒng)。三個系統(tǒng)各自進(jìn)行圖像比對，得到三組結(jié)果，這三組結(jié)果互相之間必須符合相機成像原理。舉例言的，假如相機一的像素
與相機二的像素(i2, J2)匹配，相機一的像素(il，jl)與相機三的像素(i3, J3)匹配，則(i2, J2)與(i3，j3)必須符合三相機系統(tǒng)的成像關(guān)系式(例如，經(jīng)由相機校正與系統(tǒng)校正得到)。同時，相機二與相機三之間進(jìn)行圖像比對時，相機二的像素(i2，j2)必須與相機三的像素(i3，j3)匹配，相機三的像素(i3，j3)也必須與相機二的像素(i2，j2)匹配。其次，增加量測結(jié)果的完整性。進(jìn)行三角測距時，常因遮蔽(occlusion)的問題導(dǎo) 致某些區(qū)域無法量測到資料，本實施范例的虛擬三相機系統(tǒng)可以減少這個問題。虛擬三相機系統(tǒng)的兩兩配對，可以得到三組雙相機系統(tǒng)，當(dāng)其中一組因遮蔽問題無法量測時，可由其余兩組雙相機系統(tǒng)補足量測資料。只有三組雙相機系統(tǒng)同時發(fā)生遮蔽問題時，才無法量測到資料。圖9B是虛擬三相機系統(tǒng)的另一種配置方式，其中兩個真實相機Cl、C2之間有水平像差，而真實相機Cl與虛擬相機VC之間有垂直像差。這種配置方式主要是為了減少遮蔽問題。圖9C則是虛擬三相機系統(tǒng)的另一種折衷配置方式。例如虛擬相機VC(投光裝置)大致上是位在兩真實相機Cl、C2連線的上方位置，當(dāng)然下方位置也是可行的。此外，上述說明的深度圖像采集裝置的架構(gòu)是以一投光裝置與兩臺圖像傳感裝置(例如，相機)所構(gòu)成，但是也可以使用兩臺投光裝置搭配一臺圖像傳感裝置(例如，相機)。此實施范例的架構(gòu)便可等效于兩臺虛擬相機與一臺真實相機所構(gòu)成的虛擬三相機系統(tǒng)。圖9D與圖9E是出兩個配置的架構(gòu)范例，而其他的配置位置也是可行的。圖9D所示的架構(gòu)是虛擬相機VC1、VC2與真實相機Cl是大致上配置在一直線上，此架構(gòu)與圖9A類似。圖9E的架構(gòu)則類似于圖9B，其中真實相機Cl分別與虛擬相機VC2之間有水平像差，而真實相機Cl與虛擬相機VCl之間有垂直像差。圖9E的架構(gòu)同時具有水平和垂直像差，可以減少遮蔽問題。此范例的三相機系統(tǒng)只能配對出兩組雙相機系統(tǒng)，此乃因為兩個虛擬相機之間無法做圖像比對。此架構(gòu)有個好處，就是只須使用一個相機。除了沒有第三組雙相機系統(tǒng)進(jìn)行額外的比對外，此架構(gòu)也同樣具有「驗證圖像比對結(jié)果」與「增加量測結(jié)果的完整性」兩個特點。在配置成圖9D或9E的架構(gòu)時，投光裝置的控制可以使用時間分割(timedivision)或頻譜分割方式(spectrum division)來區(qū)別兩個投光裝置的信號。時間分割是讓兩個投光裝置在不同時間點亮，相機則分別在相對應(yīng)的時間取相。頻譜分割是讓兩個投光裝置的光源具有不同波長的光源。此時，兩個投光裝置同時點亮，但是相機則能分辨不同的波長。例如，兩個投光裝置的光源分別投出綠光與紅光，使用RGB彩色相機則能同時取到圖像，并且分離出兩種光源所產(chǎn)生的圖像。接著，說明本實施范例在應(yīng)用此虛擬三相機的深度圖像采集裝置時進(jìn)行圖像比對的資料處理流程。虛擬三相機架構(gòu)中至少有一個是虛擬相機。此外，為了描述方便，在此將上述深度圖像采集裝置中的圖像傳感裝置均以“相機”為例子來說明，并稱的為真實相機。圖像比對處理可以分別由兩個真實像機所取得的真實圖像直接進(jìn)行比對運算，或通過一個投影裝置(虛擬相機)與一個真實相機圖像進(jìn)行比對。接著一一來說明。圖10是兩個真實相機與一虛擬像機所構(gòu)成虛擬三相機系統(tǒng)的量測流程。此架構(gòu)可以是圖9A至9C的一種情形。在本實施范例中，兩真實相機分別與虛擬像機組成「實-實」、「實-虛」以及「實-虛」三組雙相機組合(stereo pair)。參照圖10，首先在步驟S300，深度圖像采集系統(tǒng)分別取得第一真實圖像、第二真實圖像以及虛擬圖像。第一真實圖像與第二真實圖像例如由圖像處理單元取得兩個圖像傳感裝置所取得的圖·像，而虛擬圖像則使用投光裝置的投影圖像。接著，在步驟S302、S306、S312等，例如深度圖像采集系統(tǒng)的圖像處理單元將第二真實圖像與虛擬圖像進(jìn)行比對，將第二真實圖像與第一真實圖像進(jìn)行比對以及將第一真實圖像與虛擬圖像進(jìn)行比對。進(jìn)行比對時，例如以第一真實圖像為基準(zhǔn)，先擇一像素，然后在第二真實圖像和虛擬圖像上，以區(qū)塊比對的方式，找對可以與該像素匹配的像素。之后，在步驟S304、S308、S314分別將此比對結(jié)果記錄下來。關(guān)于真實圖像與真實圖像之間(即兩真實相機構(gòu)成的雙相機)的比對基本流程可以參考圖11，真實圖像與虛擬圖像之間(即真實相機與虛擬相機構(gòu)成的雙相機)的比對基本流程可以參考圖12。接著，在步驟S320，系統(tǒng)進(jìn)行三組雙相機系統(tǒng)的匹配比對，以產(chǎn)生匹配像素。詳細(xì)的處理流程可以參考圖13的說明。在步驟S330，以第一真實圖像為主，記錄每一個像素的匹配結(jié)果，以二維圖像格式來描述匹配結(jié)果，這張圖像稱為像差(disparity)圖像。在步驟S340，可以使用習(xí)知的圖像處理技術(shù)(例如平滑化、雜訊消除等)，對像差圖像進(jìn)行后處理。同時也可以依據(jù)相機的幾何配置，對像差圖像進(jìn)行分析處理，例如當(dāng)兩部相機是以水平位移方式配置時，沿著一圖像的任意一條水平線從左到右的每一個像素，我們可以要求它們的匹配點，也是從左到右順序排列。之后，在步驟S350，根據(jù)像差圖像和相機系統(tǒng)的校正結(jié)果，便可以計算出每一個像素的深度。在步驟S360，當(dāng)整個測量區(qū)域的像素深度都計算出來后，便可以具此取得圖像的深度圖像。此外，在圖10所示的基準(zhǔn)圖像(第一個圖像)是真實圖像，但這并不是必要的。依據(jù)實際需要，也可以使用虛擬圖像當(dāng)做基準(zhǔn)圖像。接下來詳細(xì)說明圖10各個流程。圖11是兩個真實相機的圖像比對流程示意圖，其主要處理流程包括鏡頭扭曲補正、圖像轉(zhuǎn)正與圖像比對等步驟。首先在步驟S200、S200’各真實相機1、2(例如圖I或4所示的圖像傳感裝置)分別取得真實圖像(real image)。接著，在步驟S202A、S202A’將經(jīng)過反扭曲修正(anti-distortion correction),將相機的各種圖像扭曲效應(yīng)消除，讓圖像成為符合針孔模型(pin-hole model)的理想圖像。接著，在步驟S202B、S202B’將兩張真實圖像再分別經(jīng)過圖像重整(imagerectification)，讓兩張真實圖像變成只有水平像差或只有垂直像差(因為位置擺放的關(guān)系而造成的)。例如，原本兩臺相機在設(shè)置時，會有前后位置的差異，或者鏡頭角度仰角的差異等等。透過圖像重整，可以將真實圖像轉(zhuǎn)換成相機是擺放同一取像平面，只剩下水平或垂直位置有差異。藉此，除了減少因視角產(chǎn)生的圖像變形，更可以讓圖像比對更容易在軟體或硬體上實施。上述反扭曲修正與圖像重整可以整合成一個單一的復(fù)合式圖像轉(zhuǎn)換(composite transformation)步驟 S202、S202，。接著，在步驟S204進(jìn)行圖像比對。兩張真實圖像經(jīng)過重整之后，可以在兩張真實圖像上沿著同一條水平線或垂直線進(jìn)行比對，計算每一個像素的像素差值(disparity)。計算時，比對匹配函數(shù)(matching function)可以依據(jù)系統(tǒng)和量測物的特性進(jìn)行設(shè)計,例如可以采用區(qū)塊比對(block matching)的方式。也就是說，在兩個比對位置上設(shè)定一區(qū)域的范圍，統(tǒng)計在此區(qū)域范圍內(nèi)兩個真實圖像的像素值的像差值。區(qū)塊的大小和形狀、像素差值的運算式，都可依據(jù)實際需求指定和設(shè)計。像素差值總和稱為匹配成本(matching cost),匹配成本的值愈小表示兩者愈相似、愈匹配。在此步驟S204，可以使用雙重確認(rèn)(doublecheck)方式來增加比對的正確性。舉例言的，以第一真實圖像的像素(il，j I)為主，在第二真實圖像中找到像素(i2，j2)與第一 真實圖像的像素(il，j I)最匹配；反過來，當(dāng)以第二真實圖像的像素(i2，j2)為主，在第一真實圖像中找到的最匹配的像素必須是(il，jl)。接著，在步驟S206，以第一真實圖像(或者第二真實圖像)為基準(zhǔn)，記錄每一個像素的比對結(jié)果(match records)。此比對結(jié)果可以包含最佳匹配位置以及匹配成本等的信息。這些比對結(jié)果可供后續(xù)產(chǎn)生深度圖像的處理使用。圖12是真實圖像與虛擬圖像的比對流程示意圖。例如，將圖I或4的其中一個圖像傳感裝置(真實相機)所得的真實圖像以及將投光裝置做為虛擬相機所得到的虛擬圖像進(jìn)行比對。根據(jù)上述的說明，在做局部比對時，可以直接使用投光裝置的本源圖像來產(chǎn)生虛擬圖像。在步驟S302，取得投光裝置的本源圖像。接著，在步驟S304、S306對該本源圖像進(jìn)行低通濾波，以移除高頻信號，產(chǎn)生虛擬圖像。本源圖像通常是一種理想圖像，且常由數(shù)學(xué)方式直接產(chǎn)生或者推算出來。因此，相較于一般的真實圖像，本源圖像會呈現(xiàn)較為銳利的樣子，這部分主要是來自高頻信號。因此，可以利用低通濾波器，將高頻信號過濾，使本源圖像模糊化，藉此可以比較相似于真實圖像，如此可以得到較佳的比對結(jié)果。本源圖像通過低通濾波處理后，可稱的為虛擬圖像。之后，可以使用虛擬圖像與真實圖像進(jìn)行圖像比對。此外，在步驟S312，真實相機取得真實圖像。之后在步驟S314，將該真實圖像進(jìn)行高通濾波處理(例如使用高通濾波器)，移除低頻信號。本實施范利的深度圖像采集裝置是將投光裝置(亦即虛擬相機)的本源圖像投射到空間中，再照射到被測物上，然后成像在真實相機內(nèi)成為所謂的真實圖像。從頻譜來看，場景內(nèi)被測物對真實圖像的貢獻(xiàn)大部份屬于低頻部份。故，將低頻信號濾除便可以減少物體對真實圖像的影響，保留較多的本源圖像成分。透過對本源圖像的低通濾波處理以及對真實圖像的高通濾波處理，真實圖像與虛擬圖像會變得比較接近，而比對效果也可以提高。因此，本源圖像的低通濾波器與真實圖像的高通濾波器需要互相匹配，使得經(jīng)過處理的兩組圖像具有相似的頻譜特征，以得到最佳的圖像比對結(jié)果。接著，在步驟S316A，通過高通濾波處理的真實圖像需要再經(jīng)過反扭曲修正，將真實相機的各種圖像扭曲效應(yīng)消除，讓圖像成為符合針孔模型的理想圖像。反的，虛擬相機一般不需要這個步驟，因為在產(chǎn)生或計算出本源圖像時，就已經(jīng)考慮扭曲效應(yīng)。本源圖像本身已經(jīng)是符合針孔模型的理想圖像。接著，在步驟S316B、S308，上述兩個圖像均再經(jīng)過圖像重整，讓兩張圖像變成只有水平像差或只有垂直像差。同圖11的說明，上述S316A、S316B的反扭曲修正與圖像重整可以整合成一個單一的復(fù)合式圖像轉(zhuǎn)換步驟S316。接著，在步驟S330與S340則進(jìn)行與圖11相同的圖像比對以及比對結(jié)果的記錄，所不同的是圖像比對的對象是真實圖像與虛擬圖像。詳細(xì)可參考圖11的步驟S204、S206的說明。另外，本源圖像的低通濾波處理是一次性的操作，可以事先處理。為了簡化實施流程，也可以考慮將真實圖像的高通濾波器移除。在此，本實施范例也提出一個求得匹配高通濾波器(high-pass filter)與低通濾波器(low-pass filter)的方法(I)首先,將本源圖像投射到一個材質(zhì)單一且均勻的平面上(例如，白色墻壁)，再用真實相機取像，然后計算此圖像頻譜；(2)計算本源圖像的頻譜；(3)將真實圖像頻譜與本源圖像頻譜各別做二值化處理；(4)取二值化后兩頻譜的交集；(五)兩個二值化頻譜各別扣除交集部份，然后再反相，即可得到各別所需的高通或低通濾波器。圖13是虛擬三相機系統(tǒng)中使用三組雙相機組的比對與驗證流程。假設(shè)三個相機所取得的圖像分別為圖像image I、圖像image 2、和圖像image 3,并且以圖像image I為主。在步驟S402，取得圖像image I上的第一像素(il，jl)。在步驟S404，在圖像image 2中尋找與第一像素(il，jl)的最佳第一匹配像素(i2，j2)，稱的為匹配A。此外，在步驟S406，在圖像image 3上的尋找與第一像素(il，jl)的最佳第二匹配像素(i3，j3)，稱的為匹配B。接著，在步驟S410判斷上述找到的匹配像素，即匹配A與匹配B是否匹配適當(dāng)。在判斷時，例如使用上述說明的匹配成本函數(shù)以及像素差值等的整體分析結(jié)果，判斷匹配A與匹配B是否為適當(dāng)?shù)钠ヅ浣Y(jié)果。若步驟S410的判斷結(jié)果是兩個匹配A、B均是適當(dāng)?shù)?，則在步驟S430可以使用三相機系統(tǒng)的校正參數(shù)，來驗證匹配A和匹配B是否符合相機成像原則。亦即若是符合成像原則，則匹配A和匹配B基本上應(yīng)該是一致的。故在步驟S432，判斷匹配A和匹配B是否一致。若一致，則對此結(jié)果再進(jìn)一步的進(jìn)行比對驗證。在步驟S500，系統(tǒng)進(jìn)一步地在圖像image 3上找與圖像image2的第一像素(il,jl)匹配的第三匹配像素(ia, ja),即匹配C。接著判斷此第三匹配像素(ia，ja)是否為匹配適當(dāng)?shù)漠嬎?步驟S502)，若不是，則依然輸出精度等級L2的匹配A或B的比對結(jié)果(步驟S504)。如果在步驟S502，系統(tǒng)判斷匹配C(匹配像素(ia，ja))是適當(dāng)?shù)?，則進(jìn)一步地執(zhí)行步驟S510。在步驟S510，在圖像image 2上找與第二匹配像素(i3，j3)匹配的第四匹配像素(讓，北)，即匹配0。接著判斷此第四匹配像素(ib，jb)是否為匹配適當(dāng)?shù)漠嬎?步驟S512)。如果判斷為適當(dāng)，則輸出匹配A或B。此時的匹配A或B因位經(jīng)過進(jìn)一步的匹配比對與驗證，所以精度等級可以進(jìn)一步地達(dá)到3級(L3)，亦即此時的匹配結(jié)果是屬于正確指數(shù)最高的比對結(jié)果。另外，即使步驟S512判斷為不適當(dāng)，仍然可以輸出精度等級L2的匹配A或B的比對結(jié)果(步驟S510)。此時的匹配結(jié)果是屬于正確指數(shù)中等(L2)的比對結(jié)果。正確指數(shù)的高低可以幫助后續(xù)資料的分析處理。此外，若在步驟S432，判斷匹配A和匹配B為不一致，則輸出無適當(dāng)匹配的結(jié)果(步驟 S436)。、
另外，若在步驟S410的判斷結(jié)果只是其中一個匹配是適當(dāng)?shù)脑?，則進(jìn)行S412、S414、S416、S418的處理。亦即，如果只有匹配A是適當(dāng)?shù)钠ヅ浣Y(jié)果，則輸出匹配A (步驟3412、5414)。假如只有匹配8是適當(dāng)?shù)钠ヅ浣Y(jié)果，則輸出匹配8(步驟5416、5418)。以上兩種匹配結(jié)果是屬于正確指數(shù)較低的比對結(jié)果，可將此比對結(jié)果定義為精度等級LI (accuracylevel LI)。此乃因為無第三個圖像來做進(jìn)一步的驗證。這種狀況通常是因為某一組雙相機發(fā)生遮蔽(occlusion)，但還是可以從另一組得到匹配結(jié)果。假如兩個匹配A、B都不是適當(dāng)?shù)钠ヅ浣Y(jié)果，則輸出無適當(dāng)匹配(no valid match),即步驟S420。正確指數(shù)的高低可以幫助后續(xù)資料的分析處理，因此正確指數(shù)越高，即精度等級越高是越好的，后續(xù)所得到的深度圖像也就越正確。透過上述三組雙相機的比對方式，可以獲得LI L3各種不同等級的比對結(jié)果。一般在比對時，可以進(jìn)行到匹配A、B即可。如果可驗在進(jìn)行匹配C、D的補充驗證，則精確度可以更加地提聞。圖14是由一臺真實相機與兩個虛擬相機所構(gòu)成虛擬三相機系統(tǒng)的量測流程(如圖9D或9E的架構(gòu))，即深度圖像采集系統(tǒng)主要是由一圖像傳感裝置(真實相機)與兩個投光裝置(虛擬相機)構(gòu)成。在此實施范例中，只能構(gòu)成兩個雙相機組合，這是因為兩個虛擬相機之間無法進(jìn)行圖像比對。圖9D或9E的架構(gòu)中，真實相機分別與兩臺虛擬像機組成兩個「實-虛」雙相機組合。參照圖14，首先在步驟S602，深度圖像采集系統(tǒng)分別取得真實圖像、第一虛擬圖像以及第二虛擬圖像。接著，在步驟S610、系統(tǒng)將真實圖像與第二虛擬圖像進(jìn)行比對，而在步驟S620，將真實圖像與第一虛擬圖像進(jìn)行比對。進(jìn)行比對時，例如以真實圖像為基準(zhǔn)，先擇一像素，然后在第一與第二虛擬圖像上，以區(qū)塊比對的方式，找出可以與該像素匹配的像素。之后，在步驟S612、S622分別將此比對結(jié)果記錄下來。關(guān)于真實圖像與虛擬圖像之間(即真實相機與虛擬相機構(gòu)成的雙相機)的比對基本流程可以參考圖12。接著，在步驟S630，系統(tǒng)進(jìn)行兩組雙相機系統(tǒng)的匹配比對，以產(chǎn)生匹配像素。詳細(xì)的處理流程可以參考圖15的說明。在步驟S640，以真實圖像為主，記錄每一個像素的匹配結(jié)果，成為像差圖像。步驟S650與圖10步驟S340相同，對像差圖像進(jìn)行后處理。之后，在步驟S660，根據(jù)像差圖像和相機系統(tǒng)的校正結(jié)果，便可以計算出每一個像素的深度。在步驟S670，當(dāng)整個測量區(qū)域的像素深度都計算出來后，便可以具此取得圖像的深度圖像。圖15是虛擬三相機系統(tǒng)中使用兩個雙相機組合的比對與驗證流程。圖15與圖13的差異在于省去第三組雙相機的比對程序。因此，與圖13執(zhí)行相同或類似的程序者，給予相同的標(biāo)號。當(dāng)在步驟S432，系統(tǒng)判斷匹配A與B —致時，于步驟S434，便輸出精度等級L2的匹配A或B，做為比對結(jié)果。正確指數(shù)的高低可以幫助后續(xù)資料的分析處理，因此正確指數(shù)越高，即精度等級越高是越好的，后續(xù)所得到的深度圖像也就越精密。透過上述兩組雙相機的比對方式，可以獲得LI L2各種不同等級的比對結(jié)果。此外，除了上述虛擬三相機的架構(gòu)外，本案尚有其他的變化應(yīng)用例。例如，深度圖像采集裝置可使用一個投光裝置以及一個圖像傳感裝置。此時，投光裝置投射投影圖案到被測物上。此投光裝置仍然做為一虛擬圖像傳感裝置，以投影圖案的本源圖像做為虛擬圖像。圖像傳感裝置可以傳感投影到該被測物上的投影圖案，以產(chǎn)生真實圖像。在此架構(gòu)下，利用虛擬圖像以及真實圖像來做匹配，找到匹配的像素，進(jìn)而產(chǎn)生深度圖像。在此架構(gòu)下，可以不需要進(jìn)行上述所提到的驗證程序，圖像比對則可以使用圖12的流程來進(jìn)行。另外，深度圖像采集裝置可使用一個投光裝置以及兩個圖像傳感裝置。此時，投光裝置僅單純做投射投影圖案到被測物上。兩個圖像傳感裝置可以傳感投影到該被測物上的投影圖案，分別產(chǎn)生真實圖像。在此架構(gòu)下 ，利用兩個真實圖像來做匹配，找到匹配的像素，進(jìn)而產(chǎn)生深度圖像。在此架構(gòu)下，也可以不需要進(jìn)行上述所提到的驗證程序，圖像比對則可以使用圖11的流程來進(jìn)行。綜上所述，本申請采取兩臺以上圖像傳感裝置，不需建立參考圖像組比對，直接由圖像傳感裝置取得的圖像進(jìn)行區(qū)塊比對，并參考了投影裝置(虛擬相機)與真實相機的比對信息以獲得深度信息。透過真實相機與虛擬相機的虛擬三相機架構(gòu)，可以提高深度測量的精確度。此外，借由此配置，可以克服三角測距時可能造成的遮蔽問題。另外，本申請尚可使用一虛擬圖像與一真實圖像之間的匹配比對，或者兩真實圖像之間的匹配比對，因此沒有相互驗證的程序，雖然結(jié)果的正確性與完整度可能因此變差，卻可減少硬體設(shè)計成本與計算時間。雖然本發(fā)明已以實施例公開如上，然其并非用以限定本發(fā)明，任何本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的更動與潤飾，故本發(fā)明的保護范圍以權(quán)利要求書為準(zhǔn)。
權(quán)利要求
1.一種深度圖像采集裝置，包括 至少一投光裝置，用以投射投影圖案到被測物上，其中該投光裝置做為虛擬圖像傳感裝置，以該投影圖案的本源圖像做為虛擬圖像； 第一與第二圖像傳感裝置，分別傳感投影到該被測物上的該投影圖案，以產(chǎn)生第一真實圖像與第二真實圖像；以及 圖像處理單元，耦接至該投光裝置以及該第一與該第二圖像傳感裝置， 其中該圖像處理單元將該第一真實圖像的各像素與該第二真實圖像的各像素分別進(jìn)行匹配比對，以獲得一第一匹配圖像， 將該第一真實圖像的各該像素與該虛擬圖像的各像素分別進(jìn)行匹配比對，以獲得一第二匹配圖像； 利用該第一與該第二匹配圖像進(jìn)行匹配驗證，輸出一驗證后的匹配圖像，其中該驗證后的匹配圖像的像素為該第一與該第二匹配圖像的像素的其中之一；以及 依據(jù)該第一真實圖像的各該像素與該驗證后的匹配圖像的各該像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生一深度圖像。
2.如權(quán)利要求I所述的深度圖像采集裝置，其特征在于，該投光裝置更包括 光源，用以發(fā)出投光光束；以及 投影圖案產(chǎn)生元件，配置于該光源的光路上，由該光源照射而產(chǎn)生該投影圖案。
3.如權(quán)利要求2所述的深度圖像采集裝置，其特征在于，該投光裝置更包括 透鏡組，配置于該投影圖案產(chǎn)生元件的光路上，將該光源通過該投影圖案產(chǎn)生元件產(chǎn)生的該投影圖案，投影到該被測物上。
4.如權(quán)利要求3所述的深度圖像采集裝置，其特征在于，該透鏡組更包含一片或以上的透鏡。
5.如權(quán)利要求2所述的深度圖像采集裝置，其特征在于，該投影圖案產(chǎn)生元件為衍射光學(xué)兀件。
6.如權(quán)利要求5所述的深度圖像采集裝置，其特征在于，該衍射光學(xué)元件包括計算機生成的全息圖或光柵與相位式衍射元件。
7.如權(quán)利要求2所述的深度圖像采集裝置，其特征在于，該投影圖案產(chǎn)生元件為光罩。
8.如權(quán)利要求7所述的深度圖像采集裝置，其特征在于，該光罩為鉻金屬薄膜的石英玻璃片、網(wǎng)點印刷板與金屬板的其中之一。
9.如權(quán)利要求2所述的深度圖像采集裝置，其特征在于，該光源為紅外線激光、發(fā)光二極管、紫外光與可見光的其中之一。
10.如權(quán)利要求I所述的深度圖像采集裝置，其特征在于，更包括第一與第二光學(xué)濾鏡，分別配置在該第一與該第二圖像傳感裝置前。
11.如權(quán)利要求I所述的深度圖像采集裝置，其特征在于，該投影圖案為預(yù)先設(shè)計或隨機產(chǎn)生。
12.如權(quán)利要求I所述的深度圖像采集裝置，其特征在于，該投影圖案為隨機分布的散亂光點圖案。
13.如權(quán)利要求2所述的深度圖像采集裝置，其特征在于，更包括控制器，耦接到該投光裝置、該第一與該第二圖像傳感裝置，以脈波驅(qū)動方式來驅(qū)動該光源。
14.一種深度圖像的采集裝置，包括 第一與第二投光裝置，分別用以投射投影圖案到被測物上，其中該第一與該第二投光裝置做為第一與第二虛擬圖像傳感裝置，以該投影圖案的本源圖像做為該第一與該第二虛擬圖像傳感裝置所成像的第一與第二虛擬圖像； 圖像傳感裝置，傳感投影到該被測物上的該投影圖案，以產(chǎn)生一真實圖像；以及 圖像處理單元，耦接至該第一與該第二投光裝置以及該圖像傳感裝置， 其中該圖像處理單元將該真實圖像的各像素與該第一虛擬圖像的各像素進(jìn)行匹配比對，以獲得第一匹配圖像， 將該真實圖像的各該像素與該第二虛擬圖像的各像素進(jìn)行匹配比對，以獲得第二匹配圖像； 利用該第一與該第二匹配圖像進(jìn)行匹配驗證，輸出一驗證后的匹配圖像，其中該驗證后的匹配圖像的像素為該第一與該第二匹配圖像的像素的其中之一；以及 依據(jù)該真實圖像的各該像素與該驗證后的匹配圖像的各該像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生一深度圖像。
15.如權(quán)利要求14述的深度圖像采集裝置，其特征在于，該第一與該第二投光裝置分別更包括 光源，用以發(fā)出投光光束；以及 投影圖案產(chǎn)生元件，配置于該光源的光路上，由該光源照射而產(chǎn)生該投影圖案。
16.如權(quán)利要求14述的深度圖像采集裝置，其特征在于，該第一與該第二投光裝置分別更包括 透鏡組，配置于該投影圖案產(chǎn)生元件的光路上，將該光源通過該投影圖案產(chǎn)生元件產(chǎn)生的該投影圖案，投影到該被測物上。
17.如權(quán)利要求16述的深度圖像采集裝置，其特征在于，該透鏡組包含一片或以上的透鏡。
18.如權(quán)利要求15所述的深度圖像采集裝置，其特征在于，該投影圖案產(chǎn)生元件為衍射光學(xué)兀件。
19.如權(quán)利要求18所述的深度圖像采集裝置，其特征在于，該衍射光學(xué)元件包括計算機生成的全息圖或光柵與相位式衍射元件。
20.如權(quán)利要求15所述的深度圖像采集裝置，其特征在于，該投影圖案產(chǎn)生元件為光罩。
21.如權(quán)利要求20所述的深度圖像采集裝置，其特征在于，該光罩為鉻金屬薄膜的石英玻璃片、網(wǎng)點印刷板與金屬板的其中之一。
22.如權(quán)利要求15所述的深度圖像采集裝置，其特征在于，該光源為紅外線激光、發(fā)光二極管、紫外光與可見光的其中之一。
23.如權(quán)利要求14所述的深度圖像采集裝置，其特征在于，更包括光學(xué)濾鏡，配置在該圖像傳感裝置前。
24.如權(quán)利要求14所述的深度圖像采集裝置，其特征在于，該投影圖案為預(yù)先設(shè)計或隨機產(chǎn)生。
25.如權(quán)利要求14所述的深度圖像采集裝置，其特征在于，該投影圖案為隨機分布的散亂光點圖案。
26.如權(quán)利要求14所述的深度圖像采集裝置，其特征在于，該第一與該第二投光裝置的各該光源以時間分割或頻譜分割的方式來控制。
27.一種深度圖像采集方法，對被測物采集一深度圖像，用于具有投光裝置、第一與第二圖像傳感裝置的深度圖像采集裝置，該深度圖像采集方法包括 該投光裝置將投影圖案投影到該被測物，該第一與該第二圖像傳感裝置傳感投影到該被測物上的該投影圖案，以產(chǎn)生第一真實圖像與第二真實圖像，其中該投光裝置做為虛擬圖像傳感裝置，將該投影圖案的本源圖像轉(zhuǎn)換為虛擬圖像； 將該第一真實圖像的各像素與該第二真實圖像的各像素進(jìn)行匹配比對，以獲得一第一匹配圖像； 將該第一真實圖像的各該像素與該虛擬圖像的各像素進(jìn)行匹配比對，以獲得一第二匹配圖像； 利用該第一與該第二匹配圖像進(jìn)行匹配驗證，輸出一驗證后的匹配圖像，其中該驗證后的匹配圖像的像素為該第一與該第二匹配圖像的像素的其中之一；以及 依據(jù)該第一真實圖像的各該像素與該驗證后的匹配圖像的各該像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生一深度圖像。
28.如權(quán)利要求27所述的深度圖像采集方法，其特征在于，更包括 將該第一真實圖像與該第二真實圖像分別進(jìn)行反扭曲修正； 將該反扭曲修正的該第一真實圖像與該第二真實圖像分別進(jìn)行圖像重整；以及將該圖像重整后的該第一真實圖像與該第二真實圖像進(jìn)行匹配比對，以獲得該第二匹配結(jié)果。
29.如權(quán)利要求27所述的深度圖像采集方法，其特征在于，更包括 將該第一真實圖像進(jìn)行高通濾波處理，并將該本源圖像進(jìn)行低通濾波，以產(chǎn)生該虛擬圖像； 將該高通濾波處理后的該第一真實圖像進(jìn)行反扭曲修正； 將該反扭曲修正后的該第一真實圖像以及該虛擬圖像分別進(jìn)行圖像重整；以及 將該圖像重整后的該第一真實圖像與該虛擬圖像進(jìn)行匹配比對，以獲得該第一匹配結(jié)
30.如權(quán)利要求27所述的深度圖像采集方法，其特征在于，輸出各該匹配圖像更包括 判斷該第一與該第二匹配圖像的各該像素是否均為適當(dāng)匹配； 若該第一與該第二匹配圖像的各該像素只有其中之一為適當(dāng)匹配，輸出適當(dāng)匹配的該第一或該第二匹配圖像的各該像素的匹配結(jié)果，若該第一與該第二匹配圖像的各該像素均非適當(dāng)匹配，輸出無適當(dāng)匹配的匹配結(jié)果； 若該第一或該第二匹配圖像的各該像素均為適當(dāng)匹配，則驗證該第一與該第二匹配圖像的各該像素是否符合一致； 若該第一與該第二匹配圖像的各該像素為一致，則輸出該第一與該第二匹配圖像的各該像素任一個的匹配結(jié)果，若不一致，則輸出無適當(dāng)匹配的匹配結(jié)果。
31.如權(quán)利要求30所述的深度圖像采集方法，其特征在于，判斷該第一與該第二匹配圖像的各該像素是否均為適當(dāng)匹配是利用該第一與該第二匹配圖像的各該像素的匹配成本函數(shù)。
32.如權(quán)利要求31所述的深度圖像采集方法，其特征在于，驗證該第一與該第二匹配圖像的各該像素是否符合一致是依據(jù)相機成像原則。
33.如權(quán)利要求30所述的深度圖像采集方法，其特征在于，當(dāng)該第一與該第二匹配圖像的像素為一致時更包括 在該虛擬圖像上取得與該第一匹配圖像相匹配的第三匹配圖像； 判斷該第三匹配圖像的各像素是否為適當(dāng)匹配； 當(dāng)該第三匹配圖像的各該像素不是適當(dāng)匹配，則輸出該第一或該第二匹配圖像的各該像素任一個的匹配結(jié)果； 當(dāng)該第三匹配圖像的各該像素為適當(dāng)匹配，則在該第二真實圖像上取得與該第二匹配圖像的各該像素相匹配的第四匹配圖像； 判斷該第四匹配圖像的各像素是否為適當(dāng)匹配，并且輸出該第一或該第二匹配圖像的各該像素任一個的匹配結(jié)果，其中該第四匹配圖像的各該像素為適當(dāng)匹配時的匹配結(jié)果精度大于該第四匹配圖像的各該像素不是適當(dāng)匹配時的匹配結(jié)果精度。
34.如權(quán)利要求30所述的深度圖像采集方法，其特征在于，該像差圖像是利用三角測距法產(chǎn)生。
35.一種深度圖像采集方法，對被測物采集一深度圖像，用于具有第一與第二投光裝置以及圖像傳感裝置的深度圖像采集裝置，該深度圖像采集方法包括 該第一與該第二投光裝置將投影圖案投影到該被測物，該圖像傳感裝置傳感投影到該被測物上的該投影圖案，以產(chǎn)生一真實圖像，其中該第一與該第二投光裝置做為第一與第二虛擬圖像傳感裝置，將該投影圖案的本源圖像轉(zhuǎn)換為第一與第二虛擬圖像； 將該真實圖像的各像素與該第一虛擬圖像的各像素進(jìn)行匹配比對，以獲得一第一匹配圖像， 將該真實圖像的各該像素與該第二虛擬圖像的各像素進(jìn)行匹配比對，以獲得一第二匹配圖像； 利用該第一與該第二匹配圖像的像素進(jìn)行匹配驗證，輸出一驗證后的匹配圖像，其中該驗證后的匹配圖像的各像素為該第一與該第二匹配圖像的各該像素的其中之一；以及依據(jù)該真實圖像的各該像素與該驗證后的匹配圖像的各該像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生一深度圖像。
36.如權(quán)利要求35所述的深度圖像采集方法，其特征在于，更包括 將該真實圖像進(jìn)行高通濾波處理，并將該本源圖像進(jìn)行低通濾波，以產(chǎn)生該第一與該第二虛擬圖像； 將該高通濾波處理后的該真實圖像進(jìn)行反扭曲修正； 將該反扭曲修正后的該真實圖像以及該第一與該第二虛擬圖像分別進(jìn)行圖像重整；以及 將該圖像重整后的該真實圖像與該第一、該第二虛擬圖像進(jìn)行匹配比對，以分別獲得該第一匹配圖像與該第二匹配圖像。
37.如權(quán)利要求35所述的深度圖像采集方法，其特征在于，輸出各該匹配像素更包括 判斷該第一與該第二匹配圖像的像素是否均為適當(dāng)匹配；若該第一與該第二匹配圖像的各該像素只有其中的一者為適當(dāng)匹配，輸出適當(dāng)匹配的該第一或該第二匹配圖像的各該像素的匹配結(jié)果，若該第一與該第二匹配圖像的各該像素均非適當(dāng)匹配，輸出無適當(dāng)匹配的匹配結(jié)果； 若該第一或該第二匹配圖像的各該像素均為適當(dāng)匹配，則驗證該第一與該第二匹配圖像的各該像素是否符合一致； 若該第一與該第二匹配圖像的各該像素為一致，則輸出該第一與該第二匹配圖像的各該像素的任一個的匹配結(jié)果，若不一致，則輸出無適當(dāng)匹配的匹配結(jié)果。
38.如權(quán)利要求37所述的深度圖像采集方法，其特征在于，判斷該第一與該第二匹配圖像的各該像素是否均為適當(dāng)匹配是利用該第一與該第二匹配圖像的各該像素的匹配成本 函數(shù)。
39.如權(quán)利要求38所述的深度圖像采集方法，其特征在于，驗證該第一與該第二匹配圖像的各該像素是否符合一致是依據(jù)相機成像原則。
40.如權(quán)利要求35所述的深度圖像采集方法，其特征在于，該像差圖像是利用三角測距法產(chǎn)生。
41.一種深度圖像采集裝置，包括 投光裝置，用以投射投影圖案到被測物上，其中該投光裝置做一虛擬圖像傳感裝置，以該投影圖案的本源圖像做為虛擬圖像； 圖像傳感裝置，傳感投影到該被測物上的該投影圖案，以產(chǎn)生真實圖像；以及 圖像處理單元，耦接至該投光裝置以及該圖像傳感裝置， 其中該圖像處理單元將該真實圖像的各像素與該虛擬圖像的各像素進(jìn)行匹配比對，以獲得一匹配圖像；以及 依據(jù)該真實圖像的各該像素與該匹配圖像的各像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生一深度圖像。
42.如權(quán)利要求41所述的深度圖像采集裝置，其特征在于，該投光裝置更包括 光源，用以發(fā)出投光光束；以及 投影圖案產(chǎn)生元件，配置于該光源的光路上，由該光源照射而產(chǎn)生該投影圖案。
43.如權(quán)利要求42所述的深度圖像采集裝置，其特征在于，該投光裝置更包括 透鏡組，配置于該投影圖案產(chǎn)生元件的光路上，將該光源通過該投影圖案產(chǎn)生元件產(chǎn)生的該投影圖案，投影到該被測物上。
44.如權(quán)利要求43所述的深度圖像采集裝置，其特征在于，該透鏡組包含一片或以上的透鏡。
45.如權(quán)利要求42所述的深度圖像采集裝置，其特征在于，該投影圖案產(chǎn)生元件為衍射光學(xué)兀件。
46.如權(quán)利要求45所述的深度圖像采集裝置，其特征在于，該衍射光學(xué)元件包括計算機生成的全息圖或光柵與相位式衍射元件。
47.如權(quán)利要求42所述的深度圖像采集裝置，其特征在于，該投影圖案產(chǎn)生元件為光罩。
48.如權(quán)利要求47所述的深度圖像采集裝置，其特征在于，該光罩為鉻金屬薄膜的石英玻璃片、網(wǎng)點印刷板與金屬板的其中之一。
49.如權(quán)利要求42所述的深度圖像采集裝置，其特征在于，該光源為紅外線激光、發(fā)光二極管、紫外光與可見光的其中之一。
50.如權(quán)利要求41所述的深度圖像采集裝置，其特征在于，更包括光學(xué)濾鏡，配置在該圖像傳感裝置前。
51.如權(quán)利要求41所述的深度圖像采集裝置，其特征在于，該投影圖案為預(yù)先設(shè)計或隨機產(chǎn)生。
52.如權(quán)利要求41所述的深度圖像采集裝置，其特征在于，該投影圖案為隨機分布的散亂光點圖案。
53.如權(quán)利要求42所述的深度圖像采集裝置，其特征在于，更包括控制器，耦接到該投光裝置與該圖像傳感裝置，以脈波驅(qū)動方式來驅(qū)動該光源。
54.一種深度圖像采集裝置，包括 至少一投光裝置，用以投射投影圖案到被測物上； 第一與第二圖像傳感裝置，分別傳感投影到該被測物上的該投影圖案，以產(chǎn)生第一真實圖像與第二真實圖像；以及 圖像處理單元，耦接至該投光裝置以及該第一與該第二圖像傳感裝置， 其中該圖像處理單元將該第一真實圖像的各像素與該第二真實圖像的各像素分別進(jìn)行匹配比對，以獲得一匹配圖像；以及 依據(jù)該第一真實圖像的各該像素與該匹配圖像的各像素，產(chǎn)生一像差圖像，并且依據(jù)該像差圖像，計算出對應(yīng)的深度值，產(chǎn)生一深度圖像。
55.如權(quán)利要求54所述的深度圖像采集裝置，其特征在于，該投光裝置更包括 光源，用以發(fā)出投光光束；以及 投影圖案產(chǎn)生元件，配置于該光源的光路上，由該光源照射而產(chǎn)生該投影圖案。
56.如權(quán)利要求55所述的深度圖像采集裝置，其特征在于，該投光裝置更包括 透鏡組，配置于該投影圖案產(chǎn)生元件的光路上，將該光源通過該投影圖案產(chǎn)生元件產(chǎn)生的該投影圖案，投影到該被測物上。
57.如權(quán)利要求56所述的深度圖像采集裝置，其特征在于，該透鏡組包含一片或以上的透鏡。
58.如權(quán)利要求55所述的深度圖像采集裝置，其特征在于，該投影圖案產(chǎn)生元件為衍射光學(xué)兀件。
59.如權(quán)利要求58所述的深度圖像采集裝置，其特征在于，該衍射光學(xué)元件包括計算機生成的全息圖或光柵與相位式衍射元件。
60.如權(quán)利要求55所述的深度圖像采集裝置，其特征在于，該投影圖案產(chǎn)生元件為光罩。
61.如權(quán)利要求60所述的深度圖像采集裝置，其特征在于，該光罩為鉻金屬薄膜的石英玻璃片、網(wǎng)點印刷板與金屬板的其中之一。
62.如權(quán)利要求55所述的深度圖像采集裝置，其特征在于，該光源為紅外線激光、發(fā)光二極管、紫外光與可見光的其中之一。
63.如權(quán)利要求54所述的深度圖像采集裝置，其特征在于，更包括光學(xué)濾鏡，配置在該圖像傳感裝置前。
64.如權(quán)利要求54所述的深度圖像采集裝，其特征在于，該投影圖案為預(yù)先設(shè)計或隨機產(chǎn)生。
65.如權(quán)利要求54所述的深度圖像采集裝置，其特征在于，該投影圖案為隨機分布的散亂光點圖案。
66.如權(quán)利要求55所述的深度圖像采集裝置，其特征在于，更包括控制器，耦接到該投光裝置以及該第一與該第二圖像傳感裝置，以脈波驅(qū)動方式來驅(qū)動該光源。
67.一種深度圖像采集系統(tǒng)，用以取得被測物的深度圖像，該深度圖像采集系統(tǒng)包括多數(shù)個深度圖像采集裝置，其中各所述深度圖像采集裝置如權(quán)利要求I至第26以及第41至66的任一所述的深度圖像采集裝置。
68.如權(quán)利要求67所述的一種深度圖像采集系統(tǒng)，其特征在于，各所述深度圖像采集裝置分別以不同波長光源來進(jìn)行取像。
69.如權(quán)利要求67所述的一種深度圖像采集系統(tǒng)，其特征在于，各所述深度圖像采集裝置是以時間分割來進(jìn)行取像。
全文摘要
一種深度圖像采集裝置，包括至少一投光裝置與至少一圖像傳感裝置。其中投光裝置用以投射投影圖案到被測物上。圖像傳感裝置則用以傳感真實圖像。另外，投光裝置也可以作為虛擬圖像傳感裝置。深度圖像采集裝置可以利用兩真實圖像與虛擬圖像的三組雙圖像匹配比對，以產(chǎn)生像差圖像，并且依據(jù)像差圖像，產(chǎn)生深度圖像。另外，深度圖像采集裝置也可以只利用兩真實圖像之間或者真實-虛擬的比對，來產(chǎn)生深度圖像，而不需要驗證程序。
文檔編號G06K9/60GK102760234SQ20121010478
公開日2012年10月31日 申請日期2012年4月6日 優(yōu)先權(quán)日2011年4月14日
發(fā)明者劉通發(fā), 曲昌盛, 羅文秀, 鐘雙兆, 陳加珍, 黎育騰 申請人:財團法人工業(yè)技術(shù)研究院