帶有包含用于照明受試主題的固定圖案光學(xué)部的圖案移動裝置的便攜式結(jié)構(gòu)光測量模塊 ...的制作方法
【技術(shù)領(lǐng)域】
[0001] -般來說，本發(fā)明涉及利用結(jié)構(gòu)光照明（SLI)技術(shù)的表面三維（3-D)測量的領(lǐng)域。 如所使用的"SLI"表示術(shù)語結(jié)構(gòu)光照明或經(jīng)常簡化為結(jié)構(gòu)光。更具體的說，本發(fā)明涉及一 種新型便攜式模塊/設(shè)備以及測量和記錄受試目標(biāo)/受檢主題的3-D表面的特性的相關(guān)光 學(xué)技術(shù)。模塊采用光源，來自光源的光沿著包括固定圖案光學(xué)部的線性或旋轉(zhuǎn)圖案移動裝 置通過的通路引導(dǎo)，疊加/重疊的SLI圖案隨著由多個SLI圖案組成的所選的疊加SLI圖 案從線性或旋轉(zhuǎn)圖案移動裝置顯現(xiàn)。從線性圖案移動裝置顯現(xiàn)的新型SLI圖案通過偏振分 束器引導(dǎo)，然后，在操作中，通過鏡頭組件引導(dǎo)的偏振光唯一被構(gòu)造成輔助SLI圖案和攝像 機(jī)功能的投影。然后偏振的、投影SLI圖案光前行以被重新引導(dǎo)（例如，通過反射）以照明 受試區(qū)域/受試目標(biāo)或受檢主題的3-D表面。
[0002] 模塊/設(shè)備設(shè)計的進(jìn)一步獨特之處是遠(yuǎn)離感興趣（諸如在受檢哺乳動物牙齒的情 況下，子表面的性質(zhì)是否為半透明）的被照明3-D表面反射的光被反向引導(dǎo)至模塊中并進(jìn) 一步通過鏡頭組件（優(yōu)選包括多個透鏡元件）反向重新引導(dǎo)。這種已經(jīng)通過獨特的鏡頭組 件反向重新引導(dǎo)的反光同樣離開，然后被引導(dǎo)至攝像機(jī)圖像傳感器中。通過圖像傳感器捕 獲的數(shù)字SLI圖像信息包含用于傳統(tǒng)處理和存儲的感興趣的3-D表面特性的信息。
[0003] 可使用本發(fā)明的模塊/設(shè)備和相關(guān)技術(shù)來檢查3-D目標(biāo)/主題的各種感興趣區(qū) 域。雖然在此表示為適于手動操作的便攜式裝置，但是將理解的是，也可縮小在需要更小或 微型模塊的區(qū)域/內(nèi)部中使用的新型組件的尺寸或可增大尺寸以收集關(guān)于覆蓋更大區(qū)域 的感興趣3-D區(qū)域的信息。這種感興趣區(qū)域包括：當(dāng)研究牙齒健康時哺乳動物口腔內(nèi)的區(qū) 域或皮膚或組織區(qū)域；或以表征管線內(nèi)部（對受試管線內(nèi)部進(jìn)行測量）或檢查正在制造的 半導(dǎo)體晶片的3-D表面；或以檢查印刷電路板/印刷電線板（PCB/PWB);和物品或制造產(chǎn)品 (部件、組件、食品、包裝）的其它這種表面檢查。
[0004] 可在代表其受托人承認(rèn)并提交的美國專利申請?zhí)?3/297, 233和13/297, 246中找 到附加的背景信息和技術(shù)支持。
【背景技術(shù)】
[0005] 歷史回顧
[0006] 多年來，已經(jīng)使用被稱為結(jié)構(gòu)光（或SLI)的目標(biāo)測量技術(shù)測量目標(biāo)的3-D特征。 然而，目前的實施計算繁重且可用的系統(tǒng)具有很大的占地面積。因為常規(guī)SLI表面測量系 統(tǒng)利用復(fù)雜的電子驅(qū)動的SLI信號處理投影單元以投影SLI圖案一且投影的每一個SLI圖 案需要專用的投影單元一不現(xiàn)實的是利用常規(guī)SLI表面測量系統(tǒng)來執(zhí)行實時測量以監(jiān)控 位于相對小空間（體積）中的諸如位于哺乳動物的口腔或耳內(nèi)的表面（口腔內(nèi)表面和耳 內(nèi)表面）；位于機(jī)械（例如，在制造工廠中發(fā)現(xiàn)的機(jī)械）內(nèi)部的表面；位于管線內(nèi)等的表面。 另外，用于進(jìn)行3-D表面測量的多個復(fù)雜SLI圖案必需的投影的性質(zhì)-其中投影的每一個 SLI圖案需要專用的投影單元-已經(jīng)進(jìn)一步引領(lǐng)常規(guī)SLI表面測量系統(tǒng)以進(jìn)行3-D表面實 時測量的應(yīng)用。
[0007] 結(jié)構(gòu)光（即，結(jié)構(gòu)光照明）、共焦成像、飛行時間、和并行共焦顯微鏡各均被認(rèn)為是 3-D測量技術(shù)。目前使用SLI在利用攝像機(jī)（鏡頭和處理單元）測量遠(yuǎn)離感興趣表面反射 的圖像的同時通過利用投影儀將多個SLI圖案（柵、條紋、橢圓圖案等）投影至感興趣表面 上來觀測感興趣表面以推斷在感興趣表面上生成的圖案的合成失真。已知攝像機(jī)和投影儀 的幾何形狀（存在用于這種映射的許多種傳統(tǒng)技術(shù)），通過三角測量的方式計算關(guān)于表面 失真的逐點深度信息。利用諸如在vision,caltech.edu/bouguetj/calib_doc/ :"這種工 具箱在Windows系統(tǒng)、Unix系統(tǒng)和Linux系統(tǒng)的Matlab5.x、Matlab6·χ和Matlab7·χ 上工作并不需要任何具體Matlab工具箱（例如，不需要優(yōu)化工具箱）"等傳統(tǒng)熟知的映射 技術(shù)來計算攝像機(jī)的世界坐標(biāo)。利用用于Matlab的傳統(tǒng)攝像機(jī)校準(zhǔn)工具箱，計算將世界坐 標(biāo)整合至攝像機(jī)和投影儀的坐標(biāo)系統(tǒng)上的必需系數(shù)。以這種方式，限定攝像機(jī)（即，在攝像 機(jī)每個單獨的像素）、投影儀（即，信息投影行的原點）和位于常常被稱為"真實世界"坐標(biāo) 系的外部參照系中的受試目標(biāo)之間的數(shù)學(xué)關(guān)系。
[0008] 題目為"利用數(shù)字視頻投影系統(tǒng)用于三維表面輪廓和測距的方法和設(shè)備"的美國 專利US6, 788, 210利用一系列復(fù)雜的相互連接的專用投影儀單元嚙合以在感興趣表面上 生成期望的投影多圖案圖像。US6, 788, 210的圖5示出了一種用于投影系統(tǒng)的傳統(tǒng)光學(xué)結(jié) 構(gòu)。美國專利US5, 633, 755提供了關(guān)于光學(xué)系統(tǒng)的結(jié)構(gòu)及其電子控制方法的附加細(xì)節(jié)。題 目為"裝備投影儀的DMD"的美國專利US6, 874, 894B2詳述了稱為"德州儀器DMD"的投影 儀，即投影設(shè)備的"DLP裝置"的系統(tǒng)。
[0009] 正如人們可以理解的，US6,788,210的圖5中所描繪的系統(tǒng)和US6,874,894 的圖5中所描繪的系統(tǒng)在結(jié)構(gòu)上和功能上是相同的。如US6, 788, 210所解釋的，利 用組件46以生成圖像。這種組件如現(xiàn)有技術(shù)已經(jīng)標(biāo)記在US6, 874, 894的圖6中 標(biāo)記為113。也被稱為DMD或DLP裝置的德州儀器DMD是復(fù)雜的半導(dǎo)體器件，具體 稱為光學(xué)MEMS裝置。在Hornbeck,LarryJ.的"DigitalLightProcessingfor High-Brightness,High-ResolutionApplications,"SPIEVol. 3013pps. 27-40 中進(jìn)一步 詳述了DMD。僅以背景的方式，在域dip.com.的因特網(wǎng)找到其內(nèi)容。
[0010] 美國專利US6, 977, 732描述了DMD測量小目標(biāo)的三維形狀的應(yīng)用。如此處解釋的， 需要附加的復(fù)雜電子系統(tǒng)以操作基于DMD的投影系統(tǒng)：其具有用于三維測量的電子微型顯 示器。精工愛普生（SEIK0-EPS0N)制造了用于投影應(yīng)用的液晶裝置。索尼、豪威科技和JVC 都在硅器件上制造了用于投影應(yīng)用的液晶。如DMD-樣，電子控制的常規(guī)裝置使得光圖案 的投影需要復(fù)雜的光學(xué)控制電子結(jié)構(gòu)和光學(xué)結(jié)構(gòu)。
[0011] 計算機(jī)化裝置、存儲器和存儲裝置/介質(zhì)
[0012] I.數(shù)字計筧機(jī)。處理器是一組響應(yīng)于和處理驅(qū)動計算機(jī)化裝置的指令的邏輯裝置 /電路。中央處理單元（CPU)被認(rèn)為是數(shù)字或其它類型計算機(jī)化系統(tǒng)的計算部分。經(jīng)常簡 稱為處理器，CPU由控制單元、程序定序器和算術(shù)邏輯單元（ALU)-進(jìn)行計算和比較的高速 電路組成。將數(shù)從存儲器傳送到ALU進(jìn)行計算并將結(jié)果發(fā)送回存儲器。將字母數(shù)字?jǐn)?shù)據(jù)從 存儲器發(fā)送到ALU進(jìn)行比較。在由于其物理尺寸極小，所以通常被稱為微處理器的單個"芯 片"上可包含計算機(jī)的CPU。眾所周知，簡單計算機(jī)的基本元件包括CPU、時鐘和主存儲器； 而完整的計算機(jī)系統(tǒng)需要加入控制單元、輸入裝置、輸出裝置和存儲裝置以及操作系統(tǒng)。稱 為"微處理器"的微小裝置典型地包含作為集成電路連同相關(guān)聯(lián)的總線接口的CPU的處理 組件。微控制器典型地包含一個或多個微處理器、存儲器和作為集成電路（1C)的I/O電路。 使用計算機(jī)指令來觸發(fā)通過CPU進(jìn)行的計算。
[0013] II.計算機(jī)存儲器和計算機(jī)可讀存儲裝置。同時單詞"存儲器（memory) "舊稱為 暫時存儲數(shù)據(jù)，"存儲裝置（storage) "傳統(tǒng)上用來指將諸如用戶輸入的用于長時間保存的 數(shù)字?jǐn)?shù)據(jù)半永久或永久保存在一個地方，然而，這些術(shù)語的定義已經(jīng)模糊。在此將與各種 計算機(jī)處理結(jié)構(gòu)兼容的眾所周知的計算機(jī)可讀存儲裝置技術(shù)的非窮盡列表分類用于參考： (1)磁帶技術(shù)；（2)磁盤技術(shù)，其包括軟盤/磁盤、固定硬盤（通常處于臺式機(jī)、筆記本電腦、 工作站、主機(jī)和大型主機(jī)互連以創(chuàng)造一個"云"環(huán)境等中；（3)固態(tài)硬盤（SSD)技術(shù)，其包括 DRAM和"閃速存儲器"；（4)光盤技術(shù)，其包括磁光盤、PD、CD-ROM、CD-R、CD-RW、DVD-ROM、 DVD-R、DVD-RAM、WORM、0R0M、全息光盤技術(shù)、固態(tài)光盤技術(shù)等。
[0014] 多頻圖案的用途
[0015] 本文所公開的新技術(shù)和系統(tǒng)利用劉等人于2010年8月6日提交的題目為"在3D 結(jié)構(gòu)光系統(tǒng)中的多頻相位多路復(fù)用（DFPM)和周期編碼相位測量（PCPM)圖案策略和用于相 位測量圖案策略的基于查找表（LUT)的實時數(shù)據(jù)處理"（"ProvApp'626"）的美國臨時專 利申請61/371，626公開的獨特技術(shù)，為了其技術(shù)背景討論，在此全部引入以作參考。劉等 人于2011年8月8日提交的美國實用新型申請13/205,607("UtilApp'607"）的授權(quán)先 于劉等人的ProvApp' 626:ProvApp' 626和UtilApp' 607兩者的技術(shù)公開以符合本技術(shù) 規(guī)范的程度在此全部引入以作參考。請注意的是，ProvApp'626或UtilApp'607兩者都 不歸本實用新型專利申請的專利權(quán)人共有。
[0016]ProvApp' 626和UtilApp' 607中所公開的獨特SLI圖案技術(shù)包括：
[0017] (1)獨特圖案策略組件（如在標(biāo)有部分A"用于高速3D形狀測量的雙頻圖案方 案"、標(biāo)有部分B"用于3D實時獲取和數(shù)據(jù)處理的周期編碼相位測量策略"的ProvApp' 626 中找到的技術(shù)討論中進(jìn)一步詳述一這些部分A和部分B的每一個涵蓋了通過以如下面進(jìn)一 步解釋的下述兩種傳統(tǒng)電路信號/電流傳播型：AC交流電和DC直流電類比的方式引入的 新型多頻圖案的示例）；
[0018] (2)獨特解碼圖像處理組件（在ProvApp' 626的技術(shù)討論和標(biāo)有部分C"用于結(jié) 構(gòu)光照明實時相位和3D表面重構(gòu)的基于LUT的處理"中進(jìn)一步詳述。）
[0019] 如上所述和ProvApp'626和UtilApp'607中的詳述，與傳統(tǒng)電路信號/電流傳 播型：AC特點和DC特點類比來說，引入在ProvApp' 626中所公開的新型多頻圖案的部分A 和部分B中提出的兩個示例。
[0020] 在負(fù)責(zé)人控制AC電氣系統(tǒng)被創(chuàng)造為"雙頻相位復(fù)用"（DFPM)之后，部分A中詳述 的多頻圖案流行。
[0021] 部分A中的材料早期發(fā)布在 2010年 3 月 1 日 /Vol. 18,No. 5/0pticsExpress5233 并記錄在標(biāo)有示例01的UtilApp' 607中。在負(fù)責(zé)人控制AC電氣系統(tǒng)被創(chuàng)造為"周期編碼 相位測量"(PCPM)之后，部分B中詳述的多頻圖案流行。雙頻相位復(fù)用（DFPM)圖案包括兩 個疊加正弦曲線，一個是單頻相位正弦曲線，另一個是高頻相位正弦曲線，在通過圖像傳感 器接收/獲取圖案數(shù)據(jù)后，分離兩種圖案的相位。使用單頻相位來展開高頻相位。然后，利 用展開的高頻相位用于3-D重構(gòu)。直流電流傳播之后流行的周期編碼相位測量（PCPM)圖 案與直接嵌入至高頻基本圖案中的周期信息一起生成使得能暫時從PCPM圖案展開高頻相 位。
[0022] 如UtilApp'607所解釋的一下面大量引用了其說明書一利用獨特的多頻圖 案，'607技術(shù)完成：
[0023] ------從UtilApp' 607引用的文本開始------
[0024] …通過投影在感興趣表面上利用至少一個攝像機(jī)對觀察中的外形感興趣表面進(jìn) 行基于3D三角測量的圖像獲取，多頻圖案包括表示至少第一疊加正弦曲線和第二疊加正 弦曲線的同時投影的多個像素，每一個通過像素表示的正弦曲線具有獨特時間頻率且每一 個投影的像素滿足：
[0025]
[0026] 其中If是在特殊瞬時/時刻用于第η個投影圖像的投影儀的像素的強(qiáng)度（p代表 投影儀）；Κ是表示分量正弦曲線數(shù)的整數(shù)（例如，對于雙頻正弦曲線圖案Κ等于2,對于三 頻正弦曲線Κ等于3等），每一個分量正弦曲線具有不同時間頻率，其中Κ< (Ν+1) /2 ;參數(shù) 蹲表示確定分量正弦曲線的幅度或信號強(qiáng)度的常量;Αρ是用于確保Zf所有的值大于0 (也 就是說，投影儀單元不會投影幅度小于〇的光）的標(biāo)量；fk是對應(yīng)于時間頻率k的第k個 正弦曲線的空間頻率；/表示在投影圖像的空間坐標(biāo)。例如，yp可表示投影圖像的垂直行 坐標(biāo)或水平列坐標(biāo)；η表示相移指數(shù)或序列順序（例如，先投影η= 0圖案，然后投影η= 1 圖案等，有效表示離散時間的特定時刻）。Ν是相移的總數(shù)，S卩，投影圖案的總數(shù)量，對于每 一個投影圖案，通過攝像機(jī)（或者說，攝像機(jī)的圖像傳感器）會捕獲相應(yīng)圖像。當(dāng)整個使用 時，上標(biāo)"c"涉及與攝像機(jī)捕獲的圖像或一系列圖像（視頻）相關(guān)的參數(shù)，而上標(biāo)"P"涉及 投影儀。
[0027] 投影像素以滿足等式1. 1，根據(jù)由下述表達(dá)式控制的特殊技術(shù)限定然后通過攝像 機(jī)捕獲的圖像的像素：
[0028]
[0029] 項q( "eta"）表示因通過攝像機(jī)的光傳感器引入至