專利名稱：以對(duì)象為基礎(chǔ)三維信息產(chǎn)生裝置與方法及使用的互動(dòng)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是涉及一種以對(duì)象為基礎(chǔ)的三維立體信息產(chǎn)生裝置與方 法，以及使用該裝置與方法的互動(dòng)系統(tǒng)。
背景技術(shù)：
目前已有各種偵測(cè)使用者端之動(dòng)作，而進(jìn)行互動(dòng)的系統(tǒng)，例如射 擊游戲等。在此種游戲中，使用者手持游戲機(jī)組所附設(shè)的指向裝置(例 如模擬槍枝)，根據(jù)屏幕上的畫(huà)面而互動(dòng)采取反應(yīng)(例如射擊)；游戲 機(jī)組偵測(cè)該指向裝置的移動(dòng)，而相應(yīng)地在屏幕上產(chǎn)生反應(yīng)，例如敵人 中彈、房屋爆破，等等。此種互動(dòng)系統(tǒng)的缺點(diǎn)在于，只能偵測(cè)手持對(duì)象的二維位置變化， 而無(wú)法將前后方向的"深度"變化納入進(jìn)去。因此，雖然此種互動(dòng)游 戲已經(jīng)相當(dāng)具有臨場(chǎng)感，但仍未能完全真實(shí)地反應(yīng)使用者的動(dòng)作狀態(tài)。有鑒于此，美國(guó)專利第6，795，068號(hào)乃提出一種根據(jù)對(duì)象的二維位 置來(lái)決定其三維狀態(tài)的方法。如圖1A、圖1B所示，該案提供一個(gè)具 有強(qiáng)烈色差的對(duì)象(例如球棒)，此對(duì)象分為上下兩部分301與303， 此兩部分必需具有強(qiáng)烈的色差，以便利捕捉影像。圖1B的305為攝影 機(jī)或影像感測(cè)裝置所捕捉的二維影像，其中的影像307為對(duì)象上方部 分301的二維影像。在二維影像中，所有x-y方向上的信息均為已知， 并利用對(duì)象的上方寬度w2與下方寬度wl間的比例，來(lái)求?、俳嵌?， 藉以獲得z方向上的信息J旦由于該對(duì)象可能在真實(shí)三維空間的各種位 置間移動(dòng)，造成二維影像的各種尺寸變化，故為求精確起見(jiàn)，并不能 任意選取上方寬度w2與下方寬度wl的位置；根據(jù)該案所述，必須將 該對(duì)象上下兩端間進(jìn)行等距劃分，取得多個(gè)寬度數(shù)值，并予以平均。雖然該案己經(jīng)成功地商品化，但仍具有以下缺點(diǎn)。首先，整體系 統(tǒng)必須事先定義對(duì)象的形狀，亦卽使用者不能使用任意形狀的對(duì)象， 而僅能使用預(yù)設(shè)好的對(duì)象。其次，捕捉對(duì)象的影像時(shí)，色差對(duì)比非常 重要，若因使用者手持位置或其它原因造成遮蔽，將影響系統(tǒng)對(duì)對(duì)象 形狀的判斷。第三，系統(tǒng)必須對(duì)對(duì)象不斷進(jìn)行多個(gè)寬度值的運(yùn)算，造 成處理器的運(yùn)算負(fù)擔(dān)。本發(fā)明針對(duì)以上先前技術(shù)的缺點(diǎn)，提出一種完全不同的作法，而 得以產(chǎn)生三維立體信息，但無(wú)上述的缺點(diǎn)。又，本發(fā)明所謂"產(chǎn)生三 維立體信息"，并不局限于必須根據(jù)該三維信息，而在屏幕上對(duì)應(yīng)產(chǎn)生 三維影像；例如，可以是因應(yīng)所產(chǎn)生的三維信息，進(jìn)行進(jìn)一步的處理 而產(chǎn)生相應(yīng)的反應(yīng)，如展現(xiàn)受球棒打擊的強(qiáng)度等等，亦屬本發(fā)明的范 圍。發(fā)明內(nèi)容本發(fā)明的第一目的在于提供一種以對(duì)象為基礎(chǔ)的三維立體信息產(chǎn) 生裝置，而無(wú)前述先前技術(shù)的缺點(diǎn)。本發(fā)明的第二目的在于提供一種以對(duì)象為基礎(chǔ)的三維立體信息產(chǎn) 生方法。本發(fā)明的第三目的在于提供一種使用上述裝置或方法而構(gòu)成的互 動(dòng)系統(tǒng)。為達(dá)上述之目的，在本發(fā)明的其中一個(gè)實(shí)施例中，提供了一種以 對(duì)象為基礎(chǔ)的三維立體信息產(chǎn)生方法，包含在一時(shí)間點(diǎn)，對(duì)同一區(qū) 域，取得至少兩個(gè)二維影像；從該至少兩個(gè)二維影像中，個(gè)別萃取出 具有特征的對(duì)象；建立對(duì)象間之對(duì)應(yīng)關(guān)系；以及根據(jù)對(duì)應(yīng)之對(duì)象，產(chǎn) 生三維信息。上述方法中，尚可在萃取出對(duì)象之后，對(duì)該二維對(duì)象，給予標(biāo)記， 或在產(chǎn)生三維信息之后，對(duì)該三維信息中的對(duì)象，給予標(biāo)記，以簡(jiǎn)化 后續(xù)的運(yùn)算。此外，根據(jù)本發(fā)明的另一 個(gè)實(shí)施例，提出了一種產(chǎn)生三維立^f本信 息的電子裝置，包含.，至少兩個(gè)影像擷取單元，用以個(gè)別擷取模擬影 像，而產(chǎn)生數(shù)字二維影像，其中該兩影像擷取單元間之距離與各自的 聚焦距離為已知；對(duì)象萃取裝置，其接收該兩影像擷取單元所個(gè)別擷 取的數(shù)字二維影像，并萃取其中的對(duì)象信息；以及處理裝置，其豐艮據(jù) 對(duì)象信息、該兩影像擷取單元間之距離、與該兩影像擷取單元各自的 聚焦距離，而產(chǎn)生三維信息。上述電子裝置中，可更包含有一個(gè)具有低頻寬的通訊界面，-設(shè)置 在該處理裝置與該至少兩個(gè)影像擷取單元之間，或整合在處理裝置之 內(nèi)。此外，根據(jù)本發(fā)明的再另一個(gè)實(shí)施例，也提供一種用以產(chǎn)生三維 立體信息的互動(dòng)系統(tǒng)，包含至少兩個(gè)影像擷取單元，用以個(gè)別擷取 模擬影像，經(jīng)過(guò)模擬數(shù)字轉(zhuǎn)換而產(chǎn)生數(shù)字二維影像，其中該兩影像擷 取單元間之距離、與該兩影像擷取單元各自之聚焦距離為已知；〗付象 萃取裝置，其接收該兩影像擷取單元所個(gè)別擷取的數(shù)字二維影像，并 萃取其中的對(duì)象信息；處理裝置，其根據(jù)對(duì)象信息、該兩影像擷取單 元間之距離、與該兩影像擷取單元各自之聚焦距離，而產(chǎn)生三維信息； 以及輸出界面，用以輸出該三維信息。上述實(shí)施例中所述的互動(dòng)系統(tǒng)，可再包含發(fā)光源，且該發(fā)光、源以 紅外線發(fā)光源為佳。發(fā)光源與該至少兩個(gè)影像擷取單元可分設(shè)于一個(gè) 空間區(qū)域的兩端，或設(shè)于一個(gè)空間區(qū)域的同一端，在后者情況下，互 動(dòng)系統(tǒng)另包括有反光區(qū)塊，設(shè)于該空間區(qū)域的另一端。上述實(shí)施例中所述的互動(dòng)系統(tǒng)，可更包含有一個(gè)具有低頻寬的通 訊界面，設(shè)置在該處理裝置與該至少兩個(gè)影像擷取單元之間，或整合 在處理裝置之內(nèi)。以下通過(guò)具體實(shí)施例詳加說(shuō)明，當(dāng)更容易了解本發(fā)明之目的、技 術(shù)內(nèi)容、特點(diǎn)及其所達(dá)成之功效。


圖1A與圖1B為先前技術(shù)，根據(jù)對(duì)象的二維位置來(lái)決定其三維狀 態(tài)的方法。圖2為本發(fā)明方法的其中一個(gè)實(shí)施例。圖3舉例說(shuō)明萃取出對(duì)象后，如何建立對(duì)象在空間上和時(shí)間上的 對(duì)應(yīng)關(guān)系。圖4A至圖4C說(shuō)明如何將各組對(duì)應(yīng)對(duì)象的二維信息，轉(zhuǎn)換成三維的立體信息。圖5A與圖5B為本發(fā)明方法的另外一個(gè)實(shí)施例。圖6舉例說(shuō)明萃取出對(duì)象后，如何建立對(duì)象在空間上和時(shí)間上的對(duì)應(yīng)關(guān)系。圖7舉例說(shuō)明可能造成對(duì)應(yīng)關(guān)系誤判的情況。圖8A和圖8B示意顯示達(dá)成本發(fā)明的硬件電路實(shí)施例。圖9至圖11標(biāo)出使用本發(fā)明方法/電路之互動(dòng)系統(tǒng)的三個(gè)實(shí)施例。圖中符號(hào)說(shuō)明I, 2,3,4,5,6,7,8對(duì)象II, 12, 13， 14, 15， 16， 17, 18對(duì)象 25， 26,27， 28對(duì)象S21 - S24步驟 S31 — S34步驟S41-S46步驟80L、 80R集成電路81L、 81R傳感器82L、 82R對(duì)象萃取電路83L、 83R處理器84處理器86輸出界面卯屏幕91L、 91R發(fā)光源 92L、 92R傳感器 93手持機(jī)組 94反光區(qū)塊具體實(shí)施方式
本發(fā)明不論在系統(tǒng)硬件和產(chǎn)生三維立體信息的方法上，均與先前 技術(shù)不同。在本發(fā)明中，設(shè)置至少一個(gè)發(fā)光源與至少兩個(gè)傳感器，并 根據(jù)傳感器對(duì)發(fā)光源的感測(cè)結(jié)果，將其轉(zhuǎn)換成三維的立體信息。根據(jù) 本發(fā)明，發(fā)光源以采用紅外線發(fā)光源為佳，例如可為紅外線發(fā)光二極 管(IRLED);傳感器也宜對(duì)應(yīng)地采用紅外線傳感器。但釆用其它發(fā)光源 與傳感器，亦屬本案范圍。以下首先說(shuō)明本發(fā)明的方法流程。請(qǐng)參閱圖2，此為本發(fā)明方法 的其中一個(gè)實(shí)施例，如圖所示，假設(shè)使用兩個(gè)傳感器(左方傳感器L 與右方傳感器R)來(lái)觀測(cè)同一個(gè)區(qū)域，則這兩個(gè)傳感器先根據(jù)^1測(cè)所得 的模擬影像，轉(zhuǎn)換產(chǎn)生數(shù)字二維影像信息。所謂的模擬影像，事實(shí)上 是由傳感器所捕捉的多個(gè)含有亮度和色度信息的光點(diǎn)；這些光點(diǎn)可能 來(lái)自光源、或來(lái)自物體的反射光。傳感器將這些光點(diǎn)轉(zhuǎn)換成數(shù)字二維 影像信息之后，該數(shù)字二維影像信息首先經(jīng)過(guò)一個(gè)"萃取對(duì)象"的步 驟(步驟S21)，在此步驟中對(duì)二維影像信息進(jìn)行分析，將其歸類成若 干個(gè)"對(duì)象"。必須說(shuō)明的是，所"對(duì)象"，并非指真實(shí)環(huán)境中的一個(gè)實(shí)際物體。 在本案中，"對(duì)象"事實(shí)上是指一張影像中具有相似特性的一群像素， 因此其不但不必對(duì)應(yīng)于真實(shí)環(huán)境中的一個(gè)實(shí)際物體，甚至也未必需要 是一個(gè)連續(xù)的整體。例如，有可能將屏幕左上方與右下方的兩個(gè)不相 連接的區(qū)塊，視為一個(gè)對(duì)象。將二維影像信息歸類成對(duì)象的作法有多種，例如，在使用一般發(fā) 光源的情況下，可根據(jù)二維影像的顏色予以分類、或根據(jù)形狀、面積、 或根據(jù)影像的局部亮點(diǎn)/暗點(diǎn)密度、或根據(jù)影像紋理(相似像素的連 接關(guān)系)等等。在使用紅外線發(fā)光源的情況下，可根據(jù)所感測(cè)到的亮度，將其歸類。在以上各種作法中，并不需要將二維影像信息的所有 部分都予以歸類成為對(duì)象。例如，亮度不到某種強(qiáng)度的部分，可視做 背景'，等等。更進(jìn)言之，在本發(fā)明的較佳作法中，萃取出對(duì)象后，甚至不需要 針對(duì)整個(gè)對(duì)象進(jìn)行運(yùn)算，而只要取得具有意義的對(duì)象特征即可。例如， 可先將二維影像根據(jù)某一判斷條件(例如亮度臨界值)予以二分(binarization)，將較亮的部分定義為對(duì)象，再?gòu)膶?duì)象中取出其特征； 所謂特征，例如可為對(duì)象的重心、邊界、形狀、大小、長(zhǎng)寬比、特殊 點(diǎn)(如端點(diǎn)、角落點(diǎn)、高曲率點(diǎn))等等。取出特征的目的，是可^^復(fù)雜運(yùn)算予以單純化。例如，可參考同 一申請(qǐng)人所申請(qǐng)的第94147531號(hào)申請(qǐng)案，將多筆資料，簡(jiǎn)化成一個(gè)單 純的重心向量，以加速后續(xù)的運(yùn)算處理。通過(guò)上述萃取對(duì)象的步驟S21，可將任意二維影像信息，萃取出 對(duì)象、或進(jìn)一步萃取出其特征。因此，并不需要如先前技術(shù)一般，預(yù) 先定義對(duì)象的形狀，并用強(qiáng)烈色差來(lái)突顯之。在步驟S21中，針對(duì)左右兩傳感器所得的二維影像信息，個(gè)別萃取出對(duì)象之后，接著于步驟S22中，系 左右兩個(gè)影像中的對(duì)象， 賦予對(duì)應(yīng)關(guān)系。請(qǐng)參閱圖3，假設(shè)于T1的時(shí)間點(diǎn)，從左方傳感器所得 的二維影像中，萃取出的對(duì)象為1，2，從右方傳感器所得的二維影像中， 萃取出的對(duì)象為3， 4,則賦予對(duì)應(yīng)關(guān)系的方法，可以是根據(jù)各對(duì)象的重 心位置，取最接近者，建立對(duì)應(yīng)關(guān)系；或根據(jù)面積重疊范圍，取重疊 大者，來(lái)建立對(duì)應(yīng)關(guān)系；或根據(jù)形狀邊數(shù)(圓形視為無(wú)限多邊形)，將 接近者建立對(duì)應(yīng)關(guān)系；或根據(jù)紋理，將紋理內(nèi)容最接近者建立對(duì)應(yīng)關(guān) 系；或根據(jù)對(duì)象針對(duì)一預(yù)設(shè)條件之符合情況，如包圍在一黑色背景內(nèi) 而形成一空心之對(duì)象、二空心之對(duì)象、沒(méi)有空心之對(duì)象、……，而建 立對(duì)應(yīng)關(guān)系，等等。于圖3上方所示的實(shí)例中，左方傳感器所得影像 的對(duì)象l，和右方傳感器所得影像的對(duì)象3，被視為對(duì)應(yīng)；而左方傳感 器所得影像的對(duì)象2，和右方傳感器所得影像的對(duì)象4，被視為對(duì)應(yīng)。建立對(duì)應(yīng)關(guān)系之后，在步驟S23中，便可將各組對(duì)象的二維信息， 轉(zhuǎn)換成三維的立體信息。其轉(zhuǎn)換方式如圖4A所示，假設(shè)左右兩傳感器 的中心位置距離為T，傳感器的聚焦距離為f，某對(duì)象在左方傳感器所 得二維影像中的x坐標(biāo)是Xl，在右方傳感器所得二維影像中的x坐標(biāo)是 xj假設(shè)以傳感器的中心位置為原點(diǎn)，則&在右方傳感器中心位置的左 方，故為負(fù)值)，而該對(duì)象距離傳感器的距離為Z，則根據(jù)相似三角形 定理，Xl/f=X/Z ，且-xr/f=(T-X)/Z故可求出該對(duì)象的三維信息 X = (T X X()/(Xt-Xr)Y=(T X yO/(x,-x0 (其中力在圖中未示出)Z = f X [T/(X廣Xr)]藉此方式，卽可產(chǎn)生對(duì)象各點(diǎn)的三維信息。圖4A所示為左右兩傳感器平行并位于同一準(zhǔn)線上的情況，但本發(fā) 明并不局限于此。如圖4B所示，假設(shè)左右兩傳感器并未位于同一準(zhǔn)線15上，且彼此具有一相對(duì)角度，則仍可根據(jù)兩傳感器的內(nèi)部參數(shù)、相對(duì) 角度、相對(duì)距離，來(lái)計(jì)算得出對(duì)象的三維信息。至于具體的計(jì)算方式，己為本技術(shù)領(lǐng)域者所熟知，在此不予贅述，可參考Brooks/Cole Publishing Company所出版，由Sonka， Hlavac，與Boyle三位所著之 "Image Processing, Analysis, and Machine Vision，，第二版，例如第 460-469頁(yè)。若在萃取對(duì)象的過(guò)程中，為求加速運(yùn)算而并未保存整體對(duì)象信息， 僅取出對(duì)象特征，則請(qǐng)參考圖4C，仍可根據(jù)對(duì)象的特征，以及既定的 轉(zhuǎn)換原則，來(lái)還原三維對(duì)象的整體信息。當(dāng)然，此整體信息未必和原 始的整體對(duì)象信息完全相符，但就應(yīng)用層面而言，經(jīng)常并不需要得知 完整的三維對(duì)象信息；例如，應(yīng)用上，可能只需要知道兩個(gè)不同時(shí)間 點(diǎn)間，對(duì)象的三維位移，在此種情況下，精確的形狀，并沒(méi)有詳知的 必要。如圖4C所示，假設(shè)所萃取的特征為兩個(gè)端點(diǎn)，則在得出端點(diǎn)的 三維坐標(biāo)后，可根據(jù)既定的長(zhǎng)寬比或形狀等轉(zhuǎn)換原則，來(lái)還原出對(duì)象 的整體三維信息。根據(jù)本發(fā)明，獲得各對(duì)象的三維信息后，可在下一步驟S24中， 對(duì)該三維對(duì)象作一個(gè)標(biāo)記(例如，賦予一個(gè)特征代碼、或ID代碼)。 此步驟的目的是簡(jiǎn)化系統(tǒng)的記憶與運(yùn)算。請(qǐng)?jiān)賲㈤唸D3，假設(shè)于T1之后的時(shí)間點(diǎn)Tn，左右兩傳感器所得的 二維對(duì)象如圖中下方所示，則同樣經(jīng)過(guò)賦予對(duì)應(yīng)關(guān)系(5-7對(duì)應(yīng)，6-8 對(duì)應(yīng))后，可計(jì)算出兩個(gè)對(duì)象的三維信息，并給予標(biāo)記。此時(shí)，藉由 比對(duì)可知根據(jù)5-7對(duì)應(yīng)關(guān)系所得的三維對(duì)象信息，與先前l(fā)-3對(duì)應(yīng)關(guān)系 所得的三維對(duì)象信息，兩者最為接近，故可計(jì)算兩者之間的三維位移； 而互動(dòng)系統(tǒng)便可根據(jù)此位移，而產(chǎn)生相應(yīng)的反應(yīng)。以下說(shuō)明本發(fā)明的另一個(gè)方法實(shí)施例，請(qǐng)參閱圖5A、 5B和圖6。 請(qǐng)先看圖5A，時(shí)間點(diǎn)Tl時(shí)的方法步驟。本實(shí)施例與前例的不同處在于，于萃取對(duì)象的步驟S31之后，先針對(duì)二維對(duì)象進(jìn)行標(biāo)記(步驟S32)。 進(jìn)行標(biāo)記之后，才建立對(duì)應(yīng)關(guān)系(步驟S33，此時(shí)建立了圖6對(duì)象U-i3 和12-14在空間上的對(duì)應(yīng)關(guān)系)。建立對(duì)應(yīng)關(guān)系之后，進(jìn)行步驟S34， 根據(jù)各組對(duì)應(yīng)對(duì)象的二維信息來(lái)產(chǎn)生三維信息；但于產(chǎn)生三維信息之 后，卽不再對(duì)該三維對(duì)象做任何標(biāo)記。請(qǐng)?jiān)倏磮D5B，時(shí)間點(diǎn)Tn時(shí)的方法步驟；Tn為Tl之后的某個(gè)時(shí) 間點(diǎn)。于萃取對(duì)象的步驟S41之后，系統(tǒng)先將所萃取出之二維對(duì)象， 與先前時(shí)間點(diǎn)T1的標(biāo)記對(duì)象進(jìn)行比對(duì)，確立該對(duì)象與先前標(biāo)記對(duì)象之 間的關(guān)系(步驟S42);這表示在圖6中，分別建立了 11-15和13-17 在時(shí)間軸上的對(duì)應(yīng)關(guān)系。由于11-13之間有對(duì)應(yīng)關(guān)系，因此15-17之間 不需要通過(guò)比對(duì)的過(guò)程，卽可直接通過(guò)邏輯運(yùn)算得出其對(duì)應(yīng)關(guān)系。如 此，可省略多個(gè)對(duì)象互相比對(duì)所需要的運(yùn)算時(shí)間與硬件負(fù)擔(dān)。之后， 再于步驟S43中，針對(duì)二維對(duì)象進(jìn)行標(biāo)記。標(biāo)記之后，卽可根據(jù)各組 對(duì)應(yīng)的二維對(duì)象，產(chǎn)生其三維信息(步驟S45)。根據(jù)本發(fā)明，在步驟 S45之前或之后，尚可選擇性地進(jìn)行步驟S44或S46 (可兩者擇一，或 皆省略之，當(dāng)然也可兩者皆釆)，其中對(duì)于對(duì)象間的對(duì)應(yīng)關(guān)系，再做一 次驗(yàn)證。可能需要驗(yàn)證的情況如下。假設(shè)對(duì)象之對(duì)應(yīng)關(guān)系是根據(jù)形狀來(lái)建 立，如圖7所示，對(duì)象25、 26之實(shí)際三維形體為圓柱體；對(duì)象25為 第一圓柱體之頂面，對(duì)象28為同一圓柱體之側(cè)面，而對(duì)象26為第二 圓柱體之側(cè)面，對(duì)象27為同一圓柱體之頂面。由于傳感器的觀測(cè)角度、 及實(shí)際物體的移動(dòng)，造成時(shí)間點(diǎn)Tn時(shí)，對(duì)象25和27的形狀十分相近， 且對(duì)象26與28的形狀十分相近。此時(shí)，系統(tǒng)可能誤判對(duì)象25和27 相對(duì)應(yīng)，而對(duì)象26與28相對(duì)應(yīng)。請(qǐng)注意，若僅有一個(gè)實(shí)際物體的角 度變動(dòng)時(shí)(例如僅有第一圓柱體變動(dòng)，而第二圓柱體不動(dòng))，因系統(tǒng)運(yùn) 算系在多個(gè)對(duì)應(yīng)關(guān)系組合中，選取差距值最低者，故此時(shí)并不會(huì)造成 誤判。僅有在兩個(gè)實(shí)際物體的移動(dòng)恰巧造成相互對(duì)應(yīng)時(shí)，才會(huì)造成誤 判。雖然這種誤判情形發(fā)生的可能性極低，但根據(jù)本發(fā)明，可在步驟 S45進(jìn)行運(yùn)算產(chǎn)生三維信息之前，先審慎地驗(yàn)證二維對(duì)象之間的對(duì)應(yīng)關(guān) 系。驗(yàn)證的方法，例如可先求出各二維對(duì)象之重心，并檢查各組具有 對(duì)應(yīng)關(guān)系的二維對(duì)象，其重心距離是否為最近。在圖7的例子中，當(dāng) 將左右兩傳感器取得的二維影像疊置時(shí)，對(duì)象25和28的重心位置最 接近，而對(duì)象26與27的重心位置最接近，故系統(tǒng)可據(jù)此重建對(duì)應(yīng)關(guān) 系。重建對(duì)應(yīng)關(guān)系之后，再重新給予標(biāo)記。上述根據(jù)重心位置是否接近來(lái)做判斷，僅為驗(yàn)證方法之一而已。 其它方法也是可行的，例如可計(jì)算各組具有對(duì)應(yīng)關(guān)系的二維對(duì)象之重 疊面積，是否在所有可能的對(duì)應(yīng)關(guān)系中，面積最大；或如果原本不是 根據(jù)形狀來(lái)建立對(duì)應(yīng)關(guān)系，則此時(shí)便可根據(jù)形狀是否對(duì)應(yīng)來(lái)檢查所有 對(duì)應(yīng)關(guān)系。如不在步§聚S45之前進(jìn)行步驟S44的驗(yàn)證，則亦可在步驟S45之 后，于已產(chǎn)生三維信息后，檢查原先所給的二維對(duì)象標(biāo)記，與三維對(duì) 象是否相符(步驟S46)。如不符合，卽重新建立對(duì)應(yīng)關(guān)系并重新進(jìn)行 三維信息的計(jì)算。如前所述，步驟S44和S46，可兩者取一，或皆省略， 或皆執(zhí)行(但實(shí)用上，僅采其一應(yīng)已非常足夠)。本發(fā)明之前述各種實(shí)施方法，其硬件電路，可用圖8A或圖8B所 示的做法來(lái)達(dá)成。先參閱圖8A，左右兩傳感器81L、 81R所感測(cè)到的 影像，各別傳送給對(duì)應(yīng)的對(duì)象萃取電路82L、 82R (對(duì)象萃取電路例如 可為分析亮度的電路)，并將對(duì)象萃取電路所產(chǎn)生的對(duì)象信息，傳送給 對(duì)應(yīng)的處理器83L、 83R。處理器可以是任何具有資料運(yùn)算功能的電路， 例如可以是CPU、 MCU、 DSP、甚或是ASIC。傳感器、對(duì)象萃取電路 和處理器可以各自為一個(gè)集成電路，或三者整合成一個(gè)集成電路，或 如圖所示，將傳感器與對(duì)象萃取電路整合成一個(gè)集成電路80L、 80R, 而處理器單獨(dú)為一個(gè)集成電路。在圖8A^f示的安排方式中，兩處理器之一(例如83L)，將其運(yùn)算所得的二維資料傳送給另一個(gè)處理器(例如83R)，而后者針對(duì)對(duì)應(yīng)的二維對(duì)象資料加以計(jì)算，產(chǎn)生三維信息， 并通過(guò)輸出界面86予以輸出。圖SB所示為另外一種硬件做法，其中經(jīng)過(guò)萃取后取得的二維對(duì)象 資料傳送給同一個(gè)處理器84，在該處進(jìn)行計(jì)算產(chǎn)生三維信息，并通過(guò) 輸出界面86予以輸出。如前所述，與先前技術(shù)相較，本發(fā)明并不需要預(yù)先定義對(duì)象的形 狀，且對(duì)象之使用也無(wú)色差條件限制。此外，從上述硬件電路架構(gòu)， 可看出本發(fā)明尚有一個(gè)重要的優(yōu)點(diǎn)。在圖8A的兩處理器83L、 83R之 間，或圖8B所示的電路80L、 80R和處理器之間，由于只需要傳遞少 量的對(duì)象信息、甚至更少量的特征信息(而非復(fù)雜的整個(gè)影像信息)， 故其傳送和接收界面(通訊界面)所需的頻寬很低，而處理速度很高。例如，在影像取樣率(Frame Rate) = 200 F/sec的情況下，每張影像的對(duì) 象信息少于100Byte/sec，因此頻寬僅需20KByte/sec。尤其，若采用 本發(fā)明的最佳實(shí)施型態(tài)，使用紅外線發(fā)光源、以亮度方式來(lái)萃取對(duì)象、 并搭配重心計(jì)算與對(duì)象標(biāo)記，更可大幅減輕硬件負(fù)擔(dān)，不但是傳送接 收界面，也可將處理器所需的計(jì)算量降至最低。因此，如前所述，處 理器未必需要采用髙階的CPU、 MCU、 DSP，而甚至可用ASIC來(lái)制 作。所述通訊界面，圖中并未示出，可獨(dú)立設(shè)置在圖8A的兩處理器 83L、 83R之間，或也可整合在處理器83L、 83R之內(nèi)，或圖8B所示的 電路80L、 80R和處理器84之間，或也可整合在處理器84之內(nèi)。使用本發(fā)明的方法與/或電路，可建構(gòu)各種形式的互動(dòng)系統(tǒng)，例 如圖9-ll所示。在圖9中，是將發(fā)光源91L、 91R設(shè)置在屏幕90的一 端，而將傳感器92L、 92R設(shè)置在手持機(jī)組93的一端。(發(fā)光源以紅 外線發(fā)光源較佳，下同；又，圖中顯示兩個(gè)發(fā)光源，僅是舉例，發(fā)光 源的數(shù)目最低只需要一個(gè)。)圖10中，是將發(fā)光源91L、 91R設(shè)置在 手持機(jī)組93的一端，而將傳感器92L、 92R設(shè)置在屏幕90的一端。以上兩種方式中，發(fā)光源與傳感器分設(shè)于一個(gè)空間區(qū)域的兩端。圖11中，則是將發(fā)光源91L、 91R與傳感器92L、 92R皆設(shè)置在屏幕卯的一端， 而手持機(jī)組93上僅需要具備以反光材質(zhì)制成的反光區(qū)塊94即可。反 光區(qū)塊94可以為一塊或多塊，且形狀不拘。圖11所示的安排方式， 更具有一項(xiàng)優(yōu)點(diǎn)，此即手持機(jī)組93完全不需要電源，較先前技術(shù)更4圭。本發(fā)明的互動(dòng)系統(tǒng)可應(yīng)用于各種游戲平臺(tái)，亦可供作為三維指針 裝置，例如作為PDA、手機(jī)、筆記型計(jì)算機(jī)等攜帶式裝置的輸入裝置， 或是應(yīng)用于任何需要追蹤三維物體位置變化的裝置。以上已針對(duì)較佳實(shí)施例來(lái)說(shuō)明本發(fā)明，唯以上所述者，僅系為使 熟悉本技術(shù)者易于了解本發(fā)明的內(nèi)容而已，并非用來(lái)限定本發(fā)明之權(quán) 利范圍。對(duì)于熟悉本技術(shù)者，當(dāng)可在本發(fā)明精神內(nèi)，立即思及各種等 效變化。舉例而言，各實(shí)施例均以兩個(gè)傳感器為例，但當(dāng)然也可使用 兩個(gè)以上的傳感器；所示兩個(gè)傳感器為左右配置，但當(dāng)然也可改為上 下配置。傳感器為了擷取影像，故如不使用傳感器，而使用其它可擷 取影像的裝置來(lái)代換，當(dāng)然亦屬可行。又，所示之各電路，未必均需 要各自成為一顆獨(dú)立的集成電路；除已經(jīng)說(shuō)明者外，其它部分，也可 以整合成同一個(gè)集成電路，例如輸出界面與處理器之整合、甚或傳感 器、對(duì)象萃取電路、處理器、輸出界面全部整合成一顆集成電路，等 等。此外如屏幕90可為電視屏幕或?qū)儆螒蚱聊坏鹊?，有各種等效變 化的可能。故凡依本發(fā)明之概念與精神所為之均等變化或修飾，均應(yīng) 包括于本發(fā)明之申請(qǐng)專利范圍內(nèi)。
權(quán)利要求
1. 一種用以產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，包含至少兩個(gè)影像擷取單元，用以個(gè)別擷取模擬影像，經(jīng)過(guò)模擬數(shù)字轉(zhuǎn)換而產(chǎn)生數(shù)字二維影像，其中該兩影像擷取單元間之距離、與該兩影像擷取單元各自之聚焦距離為已知；對(duì)象萃取裝置，其接收該兩影像擷取單元所個(gè)別擷取之?dāng)?shù)字二維影像，并萃取其中之對(duì)象信息；處理裝置，其根據(jù)對(duì)象信息與該兩影像擷取單元間之距離、與該兩影像擷取單元各自之聚焦距離，而產(chǎn)生三維信息；以及輸出界面，用以輸出該三維信息。
2. 如權(quán)利要求1所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，更包含有 發(fā)光源。
3. 如權(quán)利要求2所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該發(fā)光源為紅外線發(fā)光源，且該至少兩個(gè)影像擷取單元系擷取紅外線亮度 影像。
4. 如權(quán)利要求2所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該發(fā)光源與該至少兩個(gè)影像擷取單元分設(shè)于一個(gè)空間區(qū)域的兩端。
5. 如權(quán)利要求4所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該互 動(dòng)系統(tǒng)包含有一個(gè)手持機(jī)組，其上設(shè)有該發(fā)光源、或該至少兩個(gè)影像 擷取單元。
6. 如權(quán)利要求2所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該發(fā) 光源與該至少兩個(gè)影像擷取單元設(shè)于一個(gè)空間區(qū)域的同一端，且互動(dòng) 系統(tǒng)另包括有反光區(qū)塊，設(shè)于該空間區(qū)域的另一端。
7. 如權(quán)利要求6所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該互 動(dòng)系統(tǒng)包含有一 個(gè)手持機(jī)組，前述反光區(qū)塊設(shè)于其上。
8. 如權(quán)利要求1所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該對(duì) 象萃取裝置包含至少兩個(gè)單元，分別與該至少兩個(gè)影像擷取單元對(duì)應(yīng) 搭配。
9. 如權(quán)利要求8所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該至 少兩個(gè)對(duì)象萃取裝置單元，分別與對(duì)應(yīng)之該至少兩個(gè)影像擷取單元， 個(gè)別整合成集成電路。
10. 如權(quán)利要求1所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該對(duì)象萃取裝置根據(jù)以下方式之一來(lái)萃取對(duì)象根據(jù)影像的顏色、根據(jù)影像的形狀、根據(jù)影像的面積、根據(jù)影像的局部亮點(diǎn)/暗點(diǎn)密度、根 據(jù)影像的亮度、根據(jù)影像紋理、或以上兩者以上之綜合。
11. 如權(quán)利要求1所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，更包含 有一個(gè)具有低頻寬的通訊界面，設(shè)置在該處理裝置與該對(duì)象萃取裝置之間，或整合在處理裝置之內(nèi)。
12. 如權(quán)利要求1所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該處理裝置包含至少兩個(gè)單元，分別與該至少兩個(gè)影像擷取單元對(duì)應(yīng)搭 配。
13. 如權(quán)利要求12所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，更包含 有一個(gè)具有低頻寬的通訊界面，設(shè)置在該處理裝置的兩個(gè)單元之間， 或整合在其中一個(gè)處理裝置單元之內(nèi)。
14. 如權(quán)利要求8所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該 處理裝置包含至少兩個(gè)單元，分別與該至少兩個(gè)對(duì)象萃取裝置單元對(duì)應(yīng)搭配。
15. 如權(quán)利要求14所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，更包含 有一個(gè)具有低頻寬的通訊界面，設(shè)置在該處理裝置的兩個(gè)單元之間，或整合在其中一個(gè)處理裝置單元之內(nèi)。
16. 如權(quán)利要求1所述的產(chǎn)生三維立體信息的互動(dòng)系統(tǒng)，其中該互動(dòng)系統(tǒng)為以下系統(tǒng)之一游戲用之互動(dòng)系統(tǒng)、或攜帶式電子裝置、或三維物體追蹤裝置。
17. 如權(quán)利要求11, 13或15所述的產(chǎn)生三維立體信息的互動(dòng)系 統(tǒng)，其中所述具有低頻寬的通訊界面，其頻寬為20KByte/sec或以下。
18. —種產(chǎn)生三維立體信息的電子裝置，包含 至少兩個(gè)影像擷取單元，用以個(gè)別擷取模擬影像，而產(chǎn)生數(shù)字二維影像，其中該兩影像擷取單元間之距離與各自之聚焦距離為已知；對(duì)象萃取裝置，其接收該兩影像擷取單元所個(gè)別擷取之?dāng)?shù)字二維影像，并萃取其中之對(duì)象信息；以及處理裝置，其根據(jù)對(duì)象信息、該兩影像擷取單元間之距離、與該 兩影像擷取單元各自之聚焦距離，而產(chǎn)生三維信息。
19. 如權(quán)利要求18所述的產(chǎn)生三維立體信息的電子裝置，其中該 對(duì)象萃取裝置包含至少兩個(gè)單元，分別與該至少兩個(gè)影像擷取單元對(duì) 應(yīng)搭配。
20. 如權(quán)利要求19所述的產(chǎn)生三維立體信息的電子裝置，其中該 至少兩個(gè)對(duì)象萃取裝置單元，分別與對(duì)應(yīng)之該至少兩個(gè)影像擷取單元， 個(gè)別整合成集成電路。
21.如權(quán)利要求18所述的產(chǎn)生三維立體信息的電子裝置，其中該對(duì)象萃取裝置根據(jù)以下方式之一來(lái)萃取對(duì)象根據(jù)影像的顏色、根據(jù) 影像的形狀、根據(jù)影像的面積、根據(jù)影像的局部亮點(diǎn)/暗點(diǎn)密度、根 據(jù)影像的亮度、根據(jù)影像紋理、或以上兩者以士之綜合。
22. 如權(quán)利要求18所述的產(chǎn)生三維立體信息的電子裝置，更包含有一個(gè)具有低頻寬的通訊界面，設(shè)置在該處理裝置與該對(duì)象萃取裝置 之間，或整合在處理裝置之內(nèi)。
23. 如權(quán)利要求18所述的產(chǎn)生三維立體信息的電子裝置，其中該 處理裝置包含至少兩個(gè)單元，分別與該至少兩個(gè)影像擷取單元對(duì)應(yīng)搭 配。
24. 如權(quán)利要求23所述的產(chǎn)生三維立體信息的電子裝置，更包含 有一個(gè)具有低頻寬的通訊界面，設(shè)置在該處理裝置的兩個(gè)單元之間，或整合在其中一個(gè)處理裝置單元之內(nèi)。
25. 如權(quán)利要求20所述的產(chǎn)生三維立體信息的電子裝置，其中該 處理裝置包含至少兩個(gè)單元，分別與該至少兩個(gè)對(duì)象萃取裝置單元對(duì) 應(yīng)搭配。
26. 如權(quán)利要求25所述的產(chǎn)生三維立體信息的電子裝置，更包含 有一個(gè)具有低頻寬的通訊界面，設(shè)置在該處理裝置的兩個(gè)單元之間，或整合在其中一個(gè)處理裝置單元之內(nèi)。
27. 如權(quán)利要求22, 24或26所述的產(chǎn)生三維立體信息的電子裝 置，其中所述具有低頻寬的通訊界面，其頻寬為20KByte/sec或以下。
28. —種以對(duì)象為基礎(chǔ)的三維立體信息產(chǎn)生方法，包含 在第一時(shí)間點(diǎn)，對(duì)同一區(qū)域，取得至少兩個(gè)二維影像； 從該至少兩個(gè)二維影像中，個(gè)別萃取出對(duì)象信息；建立對(duì)象間之對(duì)應(yīng)關(guān)系；以及 根據(jù)對(duì)應(yīng)之對(duì)象，產(chǎn)生三維信息。
29. 如權(quán)利要求28所述的三維立體信息產(chǎn)生方法，進(jìn)一步包含 在第二時(shí)間點(diǎn)，對(duì)同一區(qū)域，取得另外至少兩個(gè)二維影像； 從該另外至少兩個(gè)二維影像中，個(gè)別萃取出對(duì)象信息； 建立對(duì)象間之對(duì)應(yīng)關(guān)系；根據(jù)對(duì)應(yīng)之對(duì)象，產(chǎn)生三維信息；以及 比對(duì)第一時(shí)間點(diǎn)與第二時(shí)間點(diǎn)之三維信息，決定位移。
30. 如權(quán)利要求28所述的三維立體信息產(chǎn)生方法，進(jìn)一步包含在產(chǎn)生三維信息之后，對(duì)該三維信息中之對(duì)象，給予標(biāo)記。
31. 如權(quán)利要求29所述的三維立體信息產(chǎn)生方法，進(jìn)一步包含在產(chǎn)生三維信息之后，對(duì)該三維信息中之對(duì)象，給予標(biāo)記，且其中"比 對(duì)第一時(shí)間點(diǎn)與第二時(shí)間點(diǎn)之三維信息"，根據(jù)三維信息之標(biāo)記，而 決定比對(duì)之對(duì)象。
32. 如權(quán)利要求28所述的三維立體信息產(chǎn)生方法，進(jìn)一步包含在萃取出對(duì)象信息之后，對(duì)該二維對(duì)象，給予標(biāo)記。
33. 如權(quán)利要求32所述的三維立體信息產(chǎn)生方法，進(jìn)一步包含 在第二時(shí)間點(diǎn)，對(duì)同一區(qū)域，取得另外至少兩個(gè)二維影像； 從該另外至少兩個(gè)二維影像中，個(gè)別萃取出對(duì)象信息； 根據(jù)前述對(duì)象標(biāo)記，得到對(duì)象之對(duì)應(yīng)關(guān)系；以及 根據(jù)對(duì)應(yīng)之對(duì)象，產(chǎn)生三維信息。
34. 如權(quán)利要求33所述的三維立體信息產(chǎn)生方法，進(jìn)一步包含 比對(duì)第一時(shí)間點(diǎn)與第二時(shí)間點(diǎn)之三維信息，決定位移。
35. 如權(quán)利要求33所述的三維立體信息產(chǎn)生方法，進(jìn)一步包含 在根據(jù)前述對(duì)象標(biāo)記，得到對(duì)象對(duì)應(yīng)關(guān)系之后，驗(yàn)證該對(duì)應(yīng)關(guān)系是否 正確。
36. 如權(quán)利要求35所述的三維立體信息產(chǎn)生方法，其中根據(jù)以下 方式之一來(lái)驗(yàn)證對(duì)應(yīng)關(guān)系根據(jù)對(duì)象的重心位置，驗(yàn)證對(duì)應(yīng)關(guān)系是否 為最接近者；或根據(jù)面積重疊范圍，驗(yàn)證對(duì)應(yīng)關(guān)系是否為重疊最大者； 或根據(jù)形狀邊數(shù)，驗(yàn)證對(duì)應(yīng)關(guān)系是否為最接近者；或以上兩者以上之 綜合。
37. 如權(quán)利要求33所述的三維立體信息產(chǎn)生方法，進(jìn)一步包含 在第二時(shí)間點(diǎn)產(chǎn)生三維信息之后，驗(yàn)證該三維信息與標(biāo)記是否相符。
38. 如權(quán)利要求28所述的三維立體信息產(chǎn)生方法，其中所述萃取 對(duì)象信息步驟系根據(jù)以下方式之一來(lái)萃取對(duì)象根據(jù)影像的顏色、根 據(jù)影像的形狀、根據(jù)影像的面積、根據(jù)影像的局部亮點(diǎn)/暗點(diǎn)密度、 根據(jù)影像的亮度、根據(jù)影像紋理、或以上兩者以上之綜合。
39. 如權(quán)利要求28所述的三維立體信息產(chǎn)生方法，其中所述萃取 對(duì)象信息步驟進(jìn)一步包含萃取出對(duì)象中之特征信息。
40. 如權(quán)利要求39所述的三維立體信息產(chǎn)生方法，其中所述對(duì)象 特征為以下之一對(duì)象重心、對(duì)象邊界、對(duì)象形狀、對(duì)象大小、對(duì)象特殊點(diǎn)、或以上兩者或兩者以上之綜合。
41. 如權(quán)利要求28所述的三維立體信息產(chǎn)生方法，其中所述建立對(duì)應(yīng)關(guān)系步驟是根據(jù)以下方式之一來(lái)建立對(duì)應(yīng)關(guān)系根據(jù)對(duì)象的重心位置，取最接近者;或根據(jù)面積重疊范圍，取重疊大者；或根據(jù)形狀 邊數(shù)，取接近者；或根據(jù)紋理，取紋理內(nèi)容最接近者；或根據(jù)對(duì)象針 對(duì)一預(yù)設(shè)條件之符合情況；或以上兩者以上之綜合。
42.如權(quán)利要求28所述的三維立體信息產(chǎn)生方法，其中所収得之二維影像為紅外線影像。
全文摘要
本發(fā)明是有關(guān)于一種以對(duì)象為基礎(chǔ)之三維立體信息產(chǎn)生裝置與方法，以及使用該裝置與方法的互動(dòng)系統(tǒng)。方法系在一時(shí)間點(diǎn)，對(duì)同一區(qū)域，取得至少兩個(gè)二維影像；從該至少兩個(gè)二維影像中，個(gè)別萃取出具有特征的對(duì)象；建立對(duì)象間之對(duì)應(yīng)關(guān)系；以及根據(jù)對(duì)應(yīng)之對(duì)象，產(chǎn)生三維立體信息。裝置與互動(dòng)系統(tǒng)包含至少兩個(gè)影像擷取單元，用以個(gè)別擷取二維影像；以及根據(jù)該兩影像擷取單元所個(gè)別擷取之二維影像，而產(chǎn)生三維信息之處理裝置。
文檔編號(hào)A63F13/00GK101281422SQ20071009217
公開(kāi)日2008年10月8日 申請(qǐng)日期2007年4月2日 優(yōu)先權(quán)日2007年4月2日
發(fā)明者李泉欣, 趙子毅, 陳信嘉 申請(qǐng)人:原相科技股份有限公司