專利名稱：全向視覺系統(tǒng)、圖像處理方法、控制程序和可讀記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理利用全向攝像機(jī)所獲得的圖像數(shù)據(jù)所表示的圖像的全向視覺系統(tǒng)，該全向攝像機(jī)使用雙曲面鏡生成一種用于顯示的透視投影圖像。本發(fā)明還涉及一種使用該全向視覺系統(tǒng)的圖像處理方法、一種控制程序和一種可讀記錄介質(zhì)。
然而，在使用攝影機(jī)時(shí)，存在下述問(wèn)題形成一幀圖像費(fèi)時(shí)間；難以處理圖像的結(jié)合部分；而且，攝影機(jī)的驅(qū)動(dòng)部分需要維修。因而，需要一種能夠一次獲得包含圍繞攝像機(jī)360°投影區(qū)域的信息的圖像的全向攝像機(jī)。
因此，人們已經(jīng)做過(guò)研究，采用下述方法獲得了一種能夠一次捕捉包含360°投影區(qū)域信息圖像的全向攝像機(jī)，所述方法是指使用一種利用諸如球面鏡或錐形鏡等凸鏡的反射光捕捉圖像的方法，或者一種使用超廣角鏡頭捕捉圖像的方法。但是，即使采用這種全向攝像機(jī)，在形成透視投影圖像時(shí)仍然遇到困難，該透視投影圖像看起來(lái)好象是被一種攝像機(jī)實(shí)時(shí)捕捉的圖像。
為了解決這個(gè)問(wèn)題，發(fā)明名稱為“全向視覺系統(tǒng)”的日本專利文獻(xiàn)平成6-295333描述了一種全向攝像機(jī)，它利用一種兩片(two-sheeted)雙曲面鏡能夠捕捉包含360°投影區(qū)域信息的圖像；它還介紹了一種基于視覺信息執(zhí)了所規(guī)定的轉(zhuǎn)換從而快速地獲得具有一個(gè)投影中心的透視投影圖像的技術(shù)，該投影中心就是所述兩片雙曲面鏡的一個(gè)焦點(diǎn)。
人們一直致力于獲得一種能夠基于由一全向攝像機(jī)所捕捉的圖像而實(shí)時(shí)生成和顯示透視投影圖像的全向視覺系統(tǒng)的研究，該全向攝像機(jī)使用一種符合上述技術(shù)的兩片雙曲面鏡，從而使透視投影圖像的投影中心位于所述兩片雙曲面鏡的一個(gè)焦點(diǎn)上，并且在由表示水平方向上一個(gè)角的搖攝角(pan angle)以及表示仰角或俯角的傾角所表示的一個(gè)任意方向上傾斜。
下面將結(jié)合圖7-12描述一種使用兩片雙曲面鏡的傳統(tǒng)全向攝像機(jī)和生成一透視投影圖像的方法，上述日本專利文獻(xiàn)平成6-295333公開了這些內(nèi)容。
首先，將結(jié)合圖7和8介紹一種使用兩片雙曲面鏡的全向攝像機(jī)。
圖7為一個(gè)顯示兩個(gè)雙曲面的視圖。如圖7所示，所述兩個(gè)雙曲面是指通過(guò)使雙曲線圍繞一實(shí)軸(一Z0軸)旋轉(zhuǎn)所獲得的曲面。這兩個(gè)雙曲面具有兩個(gè)焦點(diǎn)，也就是兩個(gè)雙曲面中一個(gè)曲面的焦點(diǎn)Om和另一個(gè)曲面的焦點(diǎn)Oc。建立一個(gè)三維坐標(biāo)系O-X0Y0Z0，其中Z0軸是一條垂直軸。兩個(gè)雙曲面的兩個(gè)焦點(diǎn)分別位于(0，0，+c)和(0，0，-c)。所述兩個(gè)雙曲面由表達(dá)式(1)表示。X02+Y02a2-Z02b2=-1]]>c=a2+b2---(1)]]>其中，a和b是用于確定雙曲線形狀的常數(shù)。
在該全向攝像機(jī)中，兩個(gè)雙曲面中位于區(qū)域Z0＞0內(nèi)的一個(gè)曲面被用作鏡子。
圖8為一種普通全向攝像機(jī)20的示意性視圖。如圖8所示，該全向攝像機(jī)20包括一雙曲面鏡21和一被設(shè)置在雙曲面鏡21下方以便在垂直方面面向上的攝像機(jī)22，該雙曲面鏡21被設(shè)置在垂直方向上以便面向下并且位于Z0＞0的區(qū)域內(nèi)。在此情況下，雙曲面鏡21的焦點(diǎn)Om和攝像機(jī)22的棱鏡23的主點(diǎn)Oc分別位于一個(gè)兩片雙曲面的兩個(gè)焦點(diǎn)(0，0，+c)和0，0，-c)上。設(shè)置一諸如CCD成像元件或CMOS成像器的成像元件24，從而距該棱鏡主點(diǎn)Oc的距離等于該棱鏡的焦距f。
接下來(lái)，將結(jié)合圖9和

圖10介紹采用雙曲面鏡21的全向攝像機(jī)20的光學(xué)系統(tǒng)的特性以及一種基于采用雙曲面鏡21的全向攝像機(jī)20所捕捉圖像生成透視投影圖像的方法。
圖9是一個(gè)用于解釋圖8所示光學(xué)系統(tǒng)和透視投影圖像的視圖。
在圖9所示的一種光學(xué)系統(tǒng)中，從雙曲面鏡21周圍向雙曲面鏡21的焦點(diǎn)Om傳播的光被雙曲面鏡21反射。反射光通過(guò)棱鏡23并被諸如CCD的成像元件24轉(zhuǎn)換成一圖像。在圖9中，建立一個(gè)三維坐標(biāo)系Om-XYZ，其中雙曲面鏡21的焦點(diǎn)Om是該坐標(biāo)系的原點(diǎn)，棱鏡23的光軸就是坐標(biāo)系的Z軸，還建立了一個(gè)二維坐標(biāo)系xy。
如圖9所示，圖像表面25即xy平面的原點(diǎn)位于Z軸上，沿Z軸正向，該原點(diǎn)距棱鏡23焦點(diǎn)Oc的距離等于棱鏡23的焦距f。該xy平面垂直于Z軸，并與XY平面平行。在圖像表面25的xy平面內(nèi)，x軸和y軸分別對(duì)應(yīng)于成像元件24的長(zhǎng)邊方向和短邊方向(也就是圖像的水平軸和垂直軸)，Om-XYZ坐標(biāo)系中的X軸和Y軸是分別平行于x軸和y軸的直線?；趶睦忡R23焦點(diǎn)Oc通過(guò)圖像表面25傳送并被雙曲面鏡21所反射的光，采用雙曲面鏡21的全向攝像機(jī)20捕捉圖像。反射光和圖像表面25之間的交點(diǎn)被表示為映象點(diǎn)p(x，y)。
現(xiàn)在，討論三維坐標(biāo)系Om-XYZ中P點(diǎn)所發(fā)射的光在xy平面上的映象點(diǎn)p的位置。假設(shè)圖像表面25上對(duì)應(yīng)于三維坐標(biāo)系內(nèi)一任意點(diǎn)P(X，Y，Z)的映象點(diǎn)是p(x，y)。在此情況下，從點(diǎn)P(X，Y，Z)向焦點(diǎn)Om傳送的光被雙曲面鏡21反射，以便被引導(dǎo)至棱鏡23的焦點(diǎn)Oc并穿過(guò)圖像表面25上的點(diǎn)P(x，y)，從而捕捉圖像。在采用雙曲面鏡的全向攝像機(jī)21中，從點(diǎn)P向焦點(diǎn)Om傳送的光完全被雙曲面鏡21反射，從而被引導(dǎo)至棱鏡23的主點(diǎn)Oc，因此，沿一直線Om-P傳送的光被全部影射到映象點(diǎn)p(x，y)。在此情況下，保持反射光的水平角，通過(guò)計(jì)算由y/x確定的點(diǎn)p的方位角θ，就獲得由Y/X所確定的點(diǎn)P的方位角。
這里，該方位角θ被稱作“搖攝角”。具體地說(shuō)，沿X軸正向的搖攝角是0度，沿X軸反方向的搖攝角是180度，沿Y軸正向的搖攝角是90度，沿Y軸反方向的搖攝角是270度。
圖10是一個(gè)表示包含圖9所示的點(diǎn)P(X，Y，Z)和Z軸的垂直橫截面的狀態(tài)圖。假設(shè)該垂直橫截面包括原點(diǎn)是圖10所示Om(0，0，0)的坐標(biāo)系內(nèi)的P點(diǎn)和Z軸，P點(diǎn)和映象點(diǎn)p之間的關(guān)系由下面的表達(dá)式(2)、(3)和(4)表示。Z=X2+Y2tanα---(2)]]>α=tan-1(b2+c2)sinβ-2bc(b2-c)2cosβ---(3)]]>β=tan-1(fx2+y2)---(4)]]>其中，圖10所示的由表達(dá)式(3)所表示的角度α被稱作P點(diǎn)的“傾角”。具體地說(shuō)，一個(gè)與滿足Z＝0的平面的夾角也就是傾角可以由一個(gè)是正值的仰角和一個(gè)是負(fù)值的俯角表示。
如上所述，將攝像機(jī)22的棱鏡23主點(diǎn)設(shè)置在雙曲面的焦點(diǎn)Oc位置，從而，根據(jù)映象點(diǎn)p(x，y)，由X軸和從雙曲面鏡21的焦點(diǎn)Om到P點(diǎn)的延伸直線所確定的搖攝角θ和傾角α被唯一地獲得。在此情況下，通過(guò)變換表達(dá)式(1)-(4)獲得表達(dá)式(5)和(6)，從而計(jì)算出x和y值。x=Xf(b2-c2)(b2+c2)z-2bcX2+Y2+Z2---(5)]]>y=Yf(b2-c2)(b2+c2)Z-2bcX2+Y2+Z2---(6)]]>表達(dá)式(5)和(6)不包含三角函數(shù)，從而能快速地進(jìn)行計(jì)算。通過(guò)將三維坐標(biāo)系內(nèi)的點(diǎn)P(X，Y，Z)的值賦予上述表達(dá)式(5)和(6)，可以快速地獲得圖像表面25上對(duì)應(yīng)于點(diǎn)P的點(diǎn)p(x，y)的值。
接下來(lái)，將介紹透視投影圖像。
畫從雙曲面鏡21的焦點(diǎn)Om到三維坐標(biāo)系內(nèi)的點(diǎn)G延伸的直線Om-G，如圖9所示，點(diǎn)G距焦點(diǎn)Om的距離為D，并確定一透視投影圖像表面26，其中直線Om-G是一條垂直于圖像表面26的直線。從點(diǎn)P(X，Y，Z)向焦點(diǎn)Om傳送的光線穿過(guò)透視投影圖像表面26上的點(diǎn)P’(X’，Y’，Z’)。此時(shí)，透視投影圖像是指在下述假設(shè)下通過(guò)對(duì)環(huán)境信息進(jìn)行轉(zhuǎn)換所獲得的圖像，所述假設(shè)是指透視投影圖像表面26是一個(gè)屏幕，其中投影中心位于雙曲面鏡21的焦點(diǎn)Om，代表這樣一種透視投影圖像的數(shù)字圖像數(shù)據(jù)被稱作“透視投影圖像數(shù)據(jù)”。
現(xiàn)在，討論位于透視投影圖表面26上的點(diǎn)P’(X’，Y’，Z’)的圖像。由于雙曲面鏡21的特性，這種圖像代表一個(gè)位于直線Om-P’延長(zhǎng)線上的目標(biāo)。在此情況下，當(dāng)最靠近雙曲面鏡21并位于直線Om-P’延長(zhǎng)線上的目標(biāo)位于點(diǎn)P(X，Y，Z)時(shí)，根據(jù)來(lái)自點(diǎn)P(X，Y，Z)的光線，獲得在透視投影圖像表面26上點(diǎn)P’的圖像。
然而，沿直線Om-P’的延長(zhǎng)線傳輸?shù)墓饩€被映射到圖像表面25上的映射點(diǎn)p(x，y)，通過(guò)將點(diǎn)P’(X’，Y’，Z’)的值賦予上述表達(dá)式(5)和(6)，就可以容易地獲得映射點(diǎn)p(x，y)的值，而無(wú)須考慮點(diǎn)P(X，Y，Z)的位置。因此，根據(jù)透視投影圖像表面26上每個(gè)點(diǎn)的三維坐標(biāo)值，就能循序地獲得圖像表面25上的映射點(diǎn)p(x，y)，從而生成一透視投影圖像。
接下來(lái)，將結(jié)合圖11和12介紹一種生成透視投影圖像的方法，其中，設(shè)置有一個(gè)包含如圖9所示全向攝像機(jī)20的攝像機(jī)22，從而具有一垂直光軸(比如，Z軸即為一垂直軸)。
圖11為一視圖，用于說(shuō)明在設(shè)置有普通攝像機(jī)22以便光軸(Z軸)為一垂直軸的情況下生成透視投影圖像的方法。在圖11中，結(jié)合圖9所描述的情形，設(shè)置一個(gè)三維坐標(biāo)系Om-XYZ，其中坐標(biāo)系的原點(diǎn)位于雙曲面鏡21的焦點(diǎn)Om。
如圖11所示，設(shè)置所述攝像機(jī)22，以便Z軸即雙曲面鏡21的光軸為一垂直軸。在此情況下，沿Z軸的向上垂直方向是正方向。圖像表面25對(duì)應(yīng)于攝像機(jī)22所獲得的一輸入圖像。當(dāng)將二維坐標(biāo)系(x，y)的原點(diǎn)設(shè)置在雙曲面鏡21的光軸和圖像表面25之間的交點(diǎn)g時(shí)，x軸和y軸分別是平行于攝像機(jī)22的成像元件24的長(zhǎng)邊和短邊的直線，三維坐標(biāo)系Om-XYZ的X軸和Y軸分別平行于x軸和y軸。
透視投影圖像表面26為一個(gè)平面，其中，直線Om-G為一垂直軸。設(shè)定一個(gè)二維坐標(biāo)系(i，j)，其原點(diǎn)位于點(diǎn)G，i軸是一條平行于XY平面的水平軸，j軸是一條以90°角與i軸和Om-G軸垂直相交的垂直軸。從透視投影圖像表面26到雙曲面鏡21的焦點(diǎn)Om之間的距離是D，而透視投影圖像表面26的寬度和高度分別是W和H。在此情況下，i軸始終平行于XY平面，因此當(dāng)Z軸是垂直軸時(shí)，在所獲得的透視投影圖像內(nèi)，水平表面總是被水平地顯示。
這里，直線Om-G和點(diǎn)G分別被稱作“轉(zhuǎn)換中心軸”和“轉(zhuǎn)換中心點(diǎn)”。使用搖攝角θ、傾角φ和距離D表示轉(zhuǎn)換中心軸。搖攝角θ是X軸和伸進(jìn)XY平面的直線Om-G之間的夾角，其大小在0°-360°之間，并可以由下面的表達(dá)式(7)表示。θ=tan-1YX=tan-1yx---(7)]]>在此情況下，上述傾角φ是指XY平面與直線Om-G之間的夾角，其大小在-90°至+90°之間，其中，XY平面與在XY平面上方(Z＞0)延伸的直線Om-G之間的夾角是正值，而XY平面與在XY平面下方(Z＜0)延伸的直線Om-G之間的夾角是負(fù)值。距離D與圖9所示的距離D相同。根據(jù)透視投影圖像表面26的距離D、寬度W和高度H，確定透視投影圖像的視角。
接下來(lái)，將介紹生成透視投影圖像的過(guò)程。
第一步，確定轉(zhuǎn)換中心軸的搖攝角θ、傾角φ和距離D。然后，第二步驟，獲得對(duì)應(yīng)于透視投影圖像表面26上二維坐標(biāo)點(diǎn)P(i，j)的三維坐標(biāo)系內(nèi)點(diǎn)P(X，Y，Z)的坐標(biāo)值。根據(jù)搖攝角θ、傾角φ和距離D，用于得到三維坐標(biāo)系內(nèi)點(diǎn)的坐標(biāo)值的表達(dá)式可以由以下的表達(dá)式(8)表示。
X＝R·cosθ-i·sinθY＝R·sinθ+i·cosθZ＝D·sinφ-j·cosφ(R＝D·cosφ+j·sinφ)...............(8)此外，第三步，將點(diǎn)P(X，Y，Z)的值賦予上述表達(dá)式(5)和(6)，從而獲得與透視投影圖像表面26上的點(diǎn)P(i，j)對(duì)應(yīng)的圖像表面25上的映射點(diǎn)p(x，y)。
采用此方法，通過(guò)獲得圖像表面25上與透視投影圖像26上所有點(diǎn)對(duì)應(yīng)的點(diǎn)值，就能夠生成其投影中心位于雙曲面鏡21的焦點(diǎn)Om上的透視投影圖像。
圖12為用于說(shuō)明一個(gè)示例的視圖，其中，一水平放置的物體“ABC”的圖像被一全向攝像機(jī)捕獲，該攝像機(jī)采用一雙曲面鏡，從而使其光軸為一垂直軸。
如圖12所示，當(dāng)圖11所示攝像機(jī)22的光軸是一條垂直軸時(shí)，當(dāng)假設(shè)透視投影圖像表面261是一個(gè)屏幕時(shí)，根據(jù)從水平放置物體27即字母“ABC”傳輸?shù)诫p曲面鏡21的光線所獲得的圖像看上去象一個(gè)透視投影圖像281。當(dāng)攝像機(jī)22的光軸是一條垂直軸時(shí)，透視投影圖像表面261的橫向軸線是一條水平軸。因此，當(dāng)看水平放置物體27時(shí)，物體27被顯示成在透視投影圖像281上水平放置的物體。
根據(jù)以下假設(shè)，即在全向攝像機(jī)20內(nèi)設(shè)置攝像機(jī)22，透視投影圖像281生成并被顯示在攝像機(jī)22上，以便光軸總是位于垂直方向上，人們已經(jīng)研制出上述普通全向視覺系統(tǒng)。然而，由于使用一凸鏡的全向攝像機(jī)20的特性，攝像機(jī)22自身所反射的光被轉(zhuǎn)換成一圖像，因此就存在下述問(wèn)題，即當(dāng)捕捉一個(gè)圍繞普通全向視覺系統(tǒng)的圖像時(shí)，基本上位于攝像機(jī)22正下方的區(qū)域變成一盲點(diǎn)。
為了捕捉基本上位于使用雙曲面鏡21的全向視覺系統(tǒng)正下方的通常盲區(qū)的圖像，可以想象到，將全向攝像機(jī)20傾斜設(shè)置，從而將基本上位于系統(tǒng)正下方區(qū)域的圖像投影到雙曲面鏡21上，投影圖像的映射數(shù)據(jù)被用作圖像數(shù)據(jù)。
圖13是一個(gè)用于解釋當(dāng)全向攝像機(jī)被傾斜設(shè)置從而其光軸(Z軸)傾斜時(shí)生成透視投影圖像方法的視圖。
在圖13中，結(jié)合圖12所示的情形，當(dāng)假設(shè)透視投影圖像表面262是一個(gè)屏幕時(shí)，根據(jù)從其上寫有字母“ABC”的水平放置物體27傳輸?shù)诫p曲面鏡21的光線所獲得的圖像看上去象一個(gè)透視投影圖像282。
在此情況下，光軸相對(duì)于垂直軸傾斜，因而，當(dāng)使用普通的生成透視投影圖像的方法時(shí)，透視投影圖像表面262傾斜，從而透視投影圖像表面262的傾斜與光軸的傾斜有關(guān)。因此，如圖13所示，在假設(shè)透視投影圖像表面262是一個(gè)屏幕時(shí)所所生成的透視投影圖像282內(nèi)，該水平放置的物體被顯示成好象物體是傾斜的。
此外，由于包含在全向攝像機(jī)20內(nèi)的攝像機(jī)22的傾角是XY平面和轉(zhuǎn)換中心軸之間的夾角，在該光軸是一垂直軸的情況下，仰角和俯角就被準(zhǔn)確地表示，以便一具有正值的傾角是仰角，一具有負(fù)值的傾角是俯角。因而，通過(guò)指定搖攝角θ、傾角φ和距離D，就能生成所規(guī)定的透視投影圖像。然而，在光軸傾斜時(shí)，XY平面也相對(duì)于水平面傾斜，即使象普通情況那樣指定搖攝角θ、傾角φ和距離D時(shí)，所生成的透視投影圖像282與根據(jù)普通方法所生成的透視投影圖像282相比具有不同的傾角。
具體地說(shuō)，在普通的全向視覺(攝像機(jī))系統(tǒng)中，當(dāng)為了減少位于攝像機(jī)22正下方的盲區(qū)而使攝像機(jī)22的光軸相對(duì)于垂直軸傾斜時(shí)，所生成的透視投影圖像282相對(duì)于水平面傾斜。因此，存在不能用肉眼看到正常圖像的問(wèn)題。
在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)所述全向攝像機(jī)的光軸對(duì)應(yīng)于XYZ三維坐標(biāo)系的Z軸，其中X、Y、Z坐標(biāo)軸以該雙曲面鏡的焦點(diǎn)為原點(diǎn)并在該原點(diǎn)彼此相互垂直時(shí)，通過(guò)將Z軸與該垂直軸的傾角分解成一個(gè)其X軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角、一個(gè)其Y軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角和一個(gè)其Z軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角，基于由此獲得的每個(gè)角度分量信息，所述坐標(biāo)旋轉(zhuǎn)處理部分獲得新的三維坐標(biāo)。
在本發(fā)明的另一實(shí)施例中，所述XYZ三維坐標(biāo)系內(nèi)XY平面的X軸和Y軸分別平行于所述全向攝像機(jī)的成像元件的長(zhǎng)邊和短邊。
在本發(fā)明的再一實(shí)施例中，所述坐標(biāo)旋轉(zhuǎn)處理部分是一個(gè)單軸或雙軸坐標(biāo)旋轉(zhuǎn)處理部分，它使用X軸或Y軸中至少一個(gè)作為旋轉(zhuǎn)角。
根據(jù)本發(fā)明的另一方面，提供一種全向視覺系統(tǒng)，包括一基于圖像光的用于捕捉圖像的全向攝像機(jī)，所述圖像光通過(guò)收集被雙曲面鏡所反射的光而獲得；以及一圖像處理部分，用于根據(jù)全向攝像機(jī)所獲得的輸入圖像數(shù)據(jù)，生成用于顯示的代表透視投影圖像的透視投影圖像數(shù)據(jù)，該圖像的投影中心位于雙曲面鏡的焦點(diǎn)；其特征在于設(shè)置所述全向攝像機(jī)以使其光軸與垂直軸傾斜一指定角度；所述圖像處理部分包括一用于旋轉(zhuǎn)三維坐標(biāo)系的坐標(biāo)旋轉(zhuǎn)處理部分，通過(guò)沿相對(duì)于所述垂直軸傾斜的所述光軸的傾斜方向相反的方向使所述光軸傾斜一傾角從而獲得新的三維坐標(biāo)系，所述三維坐標(biāo)系表示透視投影圖像數(shù)據(jù)的每個(gè)點(diǎn)；而且所述圖像處理部分生成能夠水平地顯示透視投影圖像的透視投影圖像數(shù)據(jù)。
在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)所述全向攝像機(jī)的光軸對(duì)應(yīng)于XYZ三維坐標(biāo)系的Z軸，而且其X、Y、Z坐標(biāo)軸以雙曲面鏡的焦點(diǎn)為原點(diǎn)并在該原點(diǎn)彼此相互垂直時(shí)，通過(guò)將Z軸與垂直軸的傾角分解成一個(gè)其X軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角、一個(gè)其Y軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角和一個(gè)其Z軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角，根據(jù)由此獲得的每個(gè)角度分量信息，所述坐標(biāo)旋轉(zhuǎn)處理部分獲得新的三維坐標(biāo)。
在本發(fā)明的另一實(shí)施例中，所述XYZ三維坐標(biāo)系內(nèi)XY平面的X軸和Y軸分別平行于全向攝像機(jī)的成像元件的長(zhǎng)邊和短邊。
在本發(fā)明的再一實(shí)施例中，所述坐標(biāo)處理部分是一個(gè)單軸或雙軸坐標(biāo)旋轉(zhuǎn)處理部分，它使用X軸或Y軸中至少一個(gè)作為一旋轉(zhuǎn)角。
在本發(fā)明的另一實(shí)施例中，所述圖像處理部分能夠響應(yīng)于透視投影圖像的搖攝角操作，順序地生成透視投影圖像數(shù)據(jù)，其中傾斜角是可變的，因?yàn)橥ㄟ^(guò)所述雙曲面鏡焦點(diǎn)的一垂直軸被用作一旋轉(zhuǎn)角。
在本發(fā)明的再一實(shí)施例中，所述圖像處理部分能夠響應(yīng)于透視投影圖像的搖攝角操作，順序地生成透視投影圖像數(shù)據(jù)，其中傾斜角是可變的，因?yàn)橥ㄟ^(guò)所述雙曲面鏡焦點(diǎn)的一垂直軸被用作一旋轉(zhuǎn)角。
根據(jù)本發(fā)明的再一方面，提供一種圖像處理方法，包括如下步驟根據(jù)使用一雙曲面鏡的全向攝像機(jī)所發(fā)送的圖像數(shù)據(jù)，執(zhí)行用于獲得三維坐標(biāo)系的操作，所述三維坐標(biāo)系表示透視投影圖像的每個(gè)點(diǎn)；執(zhí)行坐標(biāo)旋轉(zhuǎn)操作，用于沿與一垂直軸傾斜的所述光軸的傾斜方向相反的方向使光軸傾斜一傾角。
在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)所述全向攝像機(jī)的光軸對(duì)應(yīng)于XYZ三維坐標(biāo)系的Z軸，而且其X、Y、Z坐標(biāo)軸以雙曲面鏡的焦點(diǎn)為原點(diǎn)并在該原點(diǎn)彼此相互垂直時(shí)，通過(guò)將Z軸與所述垂直軸的傾角分解成一個(gè)其X軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角、一個(gè)其Y軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角和一個(gè)其Z軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角，根據(jù)由此獲得的每個(gè)角度分量信息，所述坐標(biāo)旋轉(zhuǎn)步驟獲得新的三維坐標(biāo)。
根據(jù)本發(fā)明的另一方面，提供一種允許計(jì)算機(jī)執(zhí)行本發(fā)明第三個(gè)方面所述圖像處理方法中每個(gè)處理過(guò)程的控制程序。
根據(jù)本發(fā)明的另一方面，提供一種存儲(chǔ)有本發(fā)明第四個(gè)方面所述控制程序的計(jì)算機(jī)可讀取記錄介質(zhì)。
采用上述結(jié)構(gòu)，一透視投影圖像上的每個(gè)點(diǎn)被指定的三維坐標(biāo)系被沿一個(gè)相對(duì)于所述垂直軸傾斜的光軸傾斜方向相反的方向旋轉(zhuǎn)一個(gè)光軸傾角，從而獲得一新的三維坐標(biāo)系。因此，當(dāng)光軸相對(duì)于垂直軸傾斜一指定角時(shí)，就能生成一允許透視投影圖像被顯示的透視投影圖像數(shù)據(jù)，從而透視投影圖像上水平放置的物體就被水平地顯示，好象用肉眼就能看見該物體。
下面將結(jié)合圖5詳細(xì)地介紹本發(fā)明的功能。
圖5是一個(gè)解釋全向攝像機(jī)的透視投影圖像表面數(shù)據(jù)的視圖，在該攝像機(jī)中，光軸與垂直軸傾斜。
在圖5中，為了生成透視投影圖像表面數(shù)據(jù)，假設(shè)搖攝角θ、傾斜角φ和距離D已被指定。建立一透視投影圖像表面82，以便一傾斜的光軸對(duì)應(yīng)于Z軸。建立一透視投影圖像表面83，以使垂直軸81對(duì)應(yīng)于該Z軸。所述透視投影圖像表面83對(duì)應(yīng)于普通透視投影圖像表面。具體地說(shuō)，通過(guò)使透視投影圖像表面83相對(duì)于所述垂直軸81傾斜一個(gè)光軸80的傾角(傾角α)，就得到所述透視投影圖像表面82。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，根據(jù)這樣的假設(shè)，即基于搖攝角θ、傾斜角φ和距離D，所述透視投影圖像表面82使用光軸80作為一基準(zhǔn)軸，就得到三維坐標(biāo)系內(nèi)的透視投影圖像表面82上的每個(gè)點(diǎn)P(X，Y，Z)的坐標(biāo)。然后，得到對(duì)應(yīng)于透視投影圖像表面82上的點(diǎn)P(X，Y，Z)的透視投影圖像表面83上的點(diǎn)P′(X′，Y′，Z′)的值。如圖5所示，通過(guò)使用一坐標(biāo)旋轉(zhuǎn)處理部分142a(圖1)使透視投影圖像表面82沿與方向A相反的方向B傾斜，其中方向A是指光軸80相對(duì)于垂直軸81傾斜一個(gè)角度比如α的方向，也就是說(shuō)，通過(guò)使用坐標(biāo)旋轉(zhuǎn)處理部分142a執(zhí)行坐標(biāo)旋轉(zhuǎn)，而獲得透視投影圖像表面83。順序重復(fù)執(zhí)行上述操作，得到透視投影圖像表面83上每個(gè)點(diǎn)的坐標(biāo)值。通過(guò)將透視投影圖像表面83上每個(gè)點(diǎn)P′(X′，Y′Z′)的值賦予上述表達(dá)式(5)和(6)，即使當(dāng)全向攝像機(jī)12被設(shè)置成其光軸被傾斜一指定角α?xí)r，也能夠生成允許目標(biāo)物體(目標(biāo))被以水平方式顯示的透視投影圖像數(shù)據(jù)。
因此，能夠?qū)⒋怪痹O(shè)置的所述透視投影圖像表面82轉(zhuǎn)換成通常的透視投影圖像表面83(也就是能夠執(zhí)行坐標(biāo)旋轉(zhuǎn)處理)，并基于普通透視投影圖像表面83生成透視投影圖像數(shù)據(jù)。與通常情況類似，通過(guò)指定相對(duì)于垂直軸81的搖攝角θ和傾斜角φ，就能在顯示屏幕上水平地顯示水平設(shè)置的物體，好象可以用肉眼看見該物體一樣。
通常，物體的傾斜可以被劃分成在O-XYZ三維坐標(biāo)系內(nèi)的旋轉(zhuǎn)角，其旋轉(zhuǎn)中心對(duì)應(yīng)于坐標(biāo)系原點(diǎn)，也就是一繞X軸的旋轉(zhuǎn)角、一繞Y軸的旋轉(zhuǎn)角和一繞Z軸的旋轉(zhuǎn)角。
下列表達(dá)式是用于獲得P′(X′，Y′，Z′)的值的旋轉(zhuǎn)行列式(表達(dá)式9-11)，該點(diǎn)P′對(duì)應(yīng)于通過(guò)使O-XYZ三維坐標(biāo)系內(nèi)的點(diǎn)P(X，Y，Z)繞X軸傾斜一α角、繞Y軸傾斜一β角、繞Z軸傾斜一γ角所獲得的點(diǎn)。X′Y′Z′=1000cosαsinα0-sinαcosαXYZ---(9)]]>X′Y′Z′=cosβ0-sinβ010sinβ0cosβXYZ---(10)]]>X′Y′Z′=cosγsinγ0-sinγcosγ0001XYZ---(11)]]>在此情況下，根據(jù)上述旋轉(zhuǎn)行列式(表達(dá)式9-11)，通過(guò)使點(diǎn)P(X，Y，Z)繞X、Y和Z軸沿一個(gè)與全向攝像機(jī)12的光軸的傾斜方向相反的方向傾斜所獲得的點(diǎn)，獲得與此點(diǎn)相對(duì)應(yīng)的點(diǎn)P′(X′，Y′，Z′)的值，以便生成相對(duì)于一水平面水平的透視投影圖像的數(shù)據(jù)。例如，當(dāng)全向攝像機(jī)12繞X軸傾斜一α角，繞Y軸傾斜一β角，繞Z軸傾斜一γ角時(shí)，通過(guò)將-α、-β和-γ賦予由表達(dá)式9-11的旋轉(zhuǎn)矩陣組合而成的行列式，可以獲得點(diǎn)P′(X′，Y′，Z′)。
然而，如上所述，在實(shí)際中，基于由全向攝像機(jī)12所捕捉的圖像確定繞X、Y、Z軸的每個(gè)旋轉(zhuǎn)角是很困難的，并且由于確定繞X、Y、Z軸的旋轉(zhuǎn)角所做的計(jì)算會(huì)引起增加計(jì)算復(fù)雜性的問(wèn)題。
要使一個(gè)被全向攝像機(jī)獲得的透視投影圖像包含圍繞全向攝像機(jī)360°投影區(qū)域的信息，因而在獲得透視投影圖像的目的僅僅是為了生成用于水平顯示被水平放置物體的透視投影圖像數(shù)據(jù)的情況下，當(dāng)全向攝像機(jī)的光軸對(duì)應(yīng)于Z軸時(shí)，繞Z軸的旋轉(zhuǎn)角可以被忽略。自然地，可以使用一種Z軸不能旋轉(zhuǎn)的全向攝像機(jī)。因此，通過(guò)省略表達(dá)式(11)就能夠減少計(jì)算的復(fù)雜性。
此外，當(dāng)使用一種可以繞旋轉(zhuǎn)軸旋轉(zhuǎn)一指定角度的機(jī)構(gòu)時(shí)，其中所述旋轉(zhuǎn)軸對(duì)應(yīng)于與包含在全向攝像機(jī)內(nèi)的成像元件的縱軸或橫軸平行的一軸線，僅僅需要一用于確定繞X軸或Y軸旋轉(zhuǎn)角的表達(dá)式，因此，可以進(jìn)一步降低計(jì)算的復(fù)雜性。
因此，上文所述的本發(fā)明能夠提供如下優(yōu)點(diǎn)一個(gè)能夠獲得用于水平顯示一物體的透視投影圖像數(shù)據(jù)的全向視覺系統(tǒng)，該物體圍繞該視覺系統(tǒng)被水平地設(shè)置，好象能夠用肉眼看見該物體一樣，即使全向攝像機(jī)被設(shè)置成其光軸相對(duì)于一水平面傾斜，以便捕捉基本上位于全向攝像機(jī)正下方區(qū)域內(nèi)的圖像；一種采用該視覺系統(tǒng)的圖像處理方法；一種采用該視覺系統(tǒng)的控制程序；一種采用該系統(tǒng)的可讀取記錄介質(zhì)。
通過(guò)下面結(jié)合附圖所進(jìn)行的詳細(xì)介紹，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，本發(fā)明的這些和其它優(yōu)點(diǎn)將變得更加清楚。
優(yōu)選實(shí)施例介紹下面，將結(jié)合附圖和一用于生成透視投影圖像數(shù)據(jù)的全向攝像系統(tǒng)的示例描述本發(fā)明的全向視覺系統(tǒng)，從而即使全向攝像機(jī)被設(shè)置成其光軸傾斜，也能以水平方式顯示一水平設(shè)置的目標(biāo)。
圖1為一方塊圖，顯示本發(fā)明一實(shí)施例的全向視覺系統(tǒng)的主要結(jié)構(gòu)。
在圖1中，一全向視覺系統(tǒng)10包括一攝像機(jī)連接部分11；一設(shè)置在所述攝像機(jī)連接部分11上從而能夠自由傾斜的全向攝像機(jī)12；一允許用戶執(zhí)行輸入操作的操作部分13；一圖像處理部分14；和一圖像顯示部分15。
如圖2所示，攝像機(jī)連接部分11包括一對(duì)攝像機(jī)連接元件111。每個(gè)攝像機(jī)連接元件111的一端被固定在天花板、墻壁等上，另一端與全向攝像機(jī)12相連，從而全向攝像機(jī)12被夾在一對(duì)攝像機(jī)連接元件111之間。具體地說(shuō)，一對(duì)攝像機(jī)連接元件111采用這種方式固定全向攝像機(jī)12，從而軸向方向平行于圖2所示的X軸，同時(shí)支承全向攝像機(jī)12使其能夠繞X軸旋轉(zhuǎn)。采用這種結(jié)構(gòu)，全向攝像機(jī)12繞一單軸旋轉(zhuǎn)(本實(shí)施例中的X軸)，從而其光軸(Z軸)與一垂直軸傾斜，兩者之間的夾角是一指定角α。
所述全向攝像機(jī)12包括一個(gè)包含一收集鏡和一CCD成像元件的CCD攝像頭121；一用于在一個(gè)方向上收集360°投影區(qū)域的周圍光線的雙曲面鏡122；一用于保持雙曲面鏡122的鏡保持器123；以及一個(gè)用于覆蓋被連接在鏡保持器123上的雙曲面鏡122的透明保持體124。該全向攝像機(jī)12將利用全向攝像機(jī)12自身所捕捉的360°投影區(qū)域的周圍光線所獲得的輸入圖像數(shù)據(jù)發(fā)送到圖像處理部分14。在此情況下，上述X軸是指一條平行于該CCD攝像頭121的所述成像元件(對(duì)應(yīng)于圖11中的成像元件24)的長(zhǎng)邊(或短邊)并垂直穿過(guò)聽述垂直軸和光軸的一條直線。所述一對(duì)攝像機(jī)連接元件111與所述攝像機(jī)保持器123的外周面相連。
所述操作部分13是一個(gè)用戶與圖像處理部分14的界面，它包括一個(gè)鍵盤或一專用控制器。操作部分13允許用戶執(zhí)行輸入操作，從而改變諸如透視投影圖像的搖攝角θ、傾斜角φ、變焦距距離D以及光軸的傾角α等參數(shù)。應(yīng)該指出的是，當(dāng)傾角α不是0度時(shí)，全向攝像機(jī)12被設(shè)置成其光軸(Z軸)傾斜，而當(dāng)傾角α是0度時(shí)，全向攝像機(jī)12被設(shè)置成其光軸(Z軸)不傾斜，也就是光軸位于一垂直方向。
所述圖像處理部分14包括一輸入圖像存儲(chǔ)部分141、一透視投影圖像轉(zhuǎn)換部分142和一透視投影圖像存儲(chǔ)部分143。圖像處理部分14在輸入圖像存儲(chǔ)部分141規(guī)定的輸入?yún)^(qū)域內(nèi)臨時(shí)存儲(chǔ)全向攝像機(jī)12所傳送的輸入圖像信息?；诖鎯?chǔ)在輸入圖像存儲(chǔ)部分141內(nèi)的輸入圖像數(shù)據(jù)以及用戶的輸入操作(諸如透視投影圖像的搖攝角θ、傾斜角φ、變焦距距離D以及光軸的傾角α等不同參數(shù))，圖像處理部分14可以通過(guò)透視投影圖像轉(zhuǎn)換部分142將透視投影圖像數(shù)據(jù)發(fā)送到透視投影圖像存儲(chǔ)部分143進(jìn)行存儲(chǔ)。輸入圖像數(shù)據(jù)和透視投影圖像可以被圖像處理部分14發(fā)送到圖像顯示部分15。應(yīng)該指出的是，輸入圖像存儲(chǔ)部分141和透視投影圖像存儲(chǔ)部分143每個(gè)都使用高速數(shù)據(jù)可再寫性存儲(chǔ)器。
所述透視投影圖像轉(zhuǎn)換部分142包括一坐標(biāo)旋轉(zhuǎn)處理部分142a，基于通過(guò)將全向攝像機(jī)12的光軸設(shè)置成與所述垂直軸傾斜并被全向攝像機(jī)12發(fā)送的輸入圖像數(shù)據(jù)，它生成透視投影圖像數(shù)據(jù)。在此情況下，坐標(biāo)旋轉(zhuǎn)處理部分142a所進(jìn)行的坐標(biāo)旋轉(zhuǎn)處理允許坐標(biāo)轉(zhuǎn)換，例如，水平放置的物體在圖像顯示部分15上被水平地顯示，根據(jù)所轉(zhuǎn)換的坐標(biāo)，獲得用于顯示的透視投影圖像數(shù)據(jù)。具體地說(shuō)，由于坐標(biāo)旋轉(zhuǎn)處理部分142a是本發(fā)明的一個(gè)特征，將在下面詳細(xì)地進(jìn)行介紹，該坐標(biāo)旋轉(zhuǎn)處理部分142a在三維坐標(biāo)系內(nèi)沿相對(duì)于所述垂直軸傾斜的光軸的傾斜方向相反的方向旋轉(zhuǎn)，所述光軸與垂直軸的傾角為α，所述三維坐標(biāo)系表示透視投影圖像上的每個(gè)點(diǎn)，從而水平地顯示水平設(shè)置的物體，因此獲得新的三維坐標(biāo)系。與通用方法不同，為了在即使全向攝像機(jī)12的光軸傾斜情況下生成與水平平面平行的水平透視投影圖像，坐標(biāo)旋轉(zhuǎn)處理部分142a并不使用XYZ坐標(biāo)系計(jì)算透視投影圖像表面的三維位置，在該XYZ坐標(biāo)系中，光軸對(duì)應(yīng)于Z軸。然而，為了生成這種透視投影圖像，基于X-、Y-、Z軸，其中Z軸對(duì)應(yīng)于垂直軸，坐標(biāo)旋轉(zhuǎn)處理部分142a計(jì)算透視投影圖像表面。
所述圖像顯示部分15包括一CRT或一液晶監(jiān)視器(液晶顯示設(shè)備)并將上述輸入圖像數(shù)據(jù)或透視投影圖像數(shù)據(jù)作為一圖像進(jìn)行顯示。
下面將結(jié)合圖3更詳細(xì)地描述被全向攝像機(jī)12發(fā)送的輸入圖像數(shù)據(jù)。
如圖3所示，一輸入圖像101具有一個(gè)沿從左上角的原點(diǎn)(0，0)到右側(cè)橫軸方向延伸的k軸以及一個(gè)沿從原點(diǎn)向下的一垂直軸延伸的1軸。輸入圖像101的寬度和高度分別是w和h。一反射圖像區(qū)域102對(duì)應(yīng)于圍繞全向視覺系統(tǒng)10的360°投影區(qū)域基于雙曲面鏡122的反射光所捕捉的圖像。一盲區(qū)103對(duì)應(yīng)于攝像機(jī)設(shè)備也就是包含攝像收集鏡或成像元件的成像設(shè)備自身的盲區(qū)。一直接輸入?yún)^(qū)域104對(duì)應(yīng)于雙曲面鏡122的反射光不能被投射到的區(qū)域，并對(duì)應(yīng)于攝像設(shè)備(成像設(shè)備)直接捕捉到的圖像。圖3所示中心點(diǎn)g(gx，gy)對(duì)應(yīng)于一表示棱鏡中心的坐標(biāo)點(diǎn)，所述光軸(Z軸)穿過(guò)該坐標(biāo)點(diǎn)。一xy平面，即其X軸從作為原點(diǎn)的中心點(diǎn)g(gx，gy)朝向右的方向沿一橫軸延伸，其Y軸從原點(diǎn)向上沿一垂直軸方向延伸，所述xy平面對(duì)應(yīng)于圖11所示的圖像表面25。在此情況下，在輸入圖像101上xy坐標(biāo)系統(tǒng)的點(diǎn)p(x，y)可以被表示成輸入圖像101上kl坐標(biāo)系內(nèi)的點(diǎn)p(k-gx，gy-l)。
接下來(lái)，將利用圖4所示示范性透視投影圖像，介紹透視投影圖像轉(zhuǎn)換部分142所進(jìn)行的透視投影圖像數(shù)據(jù)生成程序。
在圖4中，在圖11所示透視投影圖像表面26的條件下，生成一透視投影圖像105。該透視投影圖像105具有一個(gè)沿從左上角的原點(diǎn)(0，0)到右側(cè)的橫軸延伸的k軸以及一個(gè)沿從原點(diǎn)向下的垂直軸方向延伸的l軸。該透視投影圖像105的寬度和高度分別是w和h。轉(zhuǎn)換中心點(diǎn)G(Gx，Cy)對(duì)應(yīng)于圖11所示的G點(diǎn)，并直接由搖攝角θ、傾斜角φ和距離D表示。建立一i軸和j軸，所述i軸從被當(dāng)作原點(diǎn)的點(diǎn)G(Gx，Gy)向右沿一橫軸方向延伸，所述j軸從點(diǎn)G(Gx，Gy)向下沿一垂直軸向下延伸。使用坐標(biāo)系i和j表示圖11所示透視投影圖像表面26上的點(diǎn)。在此情況下，ij坐標(biāo)系內(nèi)的點(diǎn)P(i，j)可以被kl坐標(biāo)系統(tǒng)內(nèi)的點(diǎn)P(k-Gx，Gy-l)和XYZ坐標(biāo)系統(tǒng)中的點(diǎn)P(X，Y，Z)所表示。
利用上述結(jié)構(gòu)，下面將結(jié)合圖5和6介紹生成透視投影圖像數(shù)據(jù)的步驟。
圖6為一流程圖，顯示生成透視投影圖像數(shù)據(jù)的步驟，用于獲得在透視投影圖像上一任意點(diǎn)所表示圖像的數(shù)據(jù)。
如圖6所示，在步驟S1，基于圖4所示透視投影圖像上的點(diǎn)P(k，l)，獲得透視投影圖像上的i和j軸上的坐標(biāo)。如上所述，坐標(biāo)點(diǎn)P(i，j)被表示成P(i，j)＝P(k-Gx，Gy-l)。如圖5所示，根據(jù)利用上述表達(dá)式(8)所獲得的坐標(biāo)點(diǎn)P(i，j)，獲得使用光軸80作為基準(zhǔn)軸的透視投影圖像表面82上的點(diǎn)P(X，Y，Z)。
接下來(lái)，在步驟S2，獲得與使用光軸80作為基準(zhǔn)軸的透視投影圖像表面82上的點(diǎn)P(X，Y，Z)相對(duì)應(yīng)的透視投影圖像表面83上的點(diǎn)P′(X′，Y′，Z′)。如圖5所示，通過(guò)使透視投影圖像表面82沿與方向A相反的方向B傾斜，得到所述透視投影圖像表面83，全向攝像機(jī)12的光軸80沿方向A與垂直軸81傾斜。在該實(shí)施例中，假設(shè)全向攝像機(jī)12被設(shè)置成其光軸80與所述垂直軸81繞X軸傾斜一個(gè)角度α，通過(guò)將-α的值賦予坐標(biāo)旋轉(zhuǎn)表達(dá)式(9)，能夠獲得透視投影圖像表面上一個(gè)點(diǎn)的值，通過(guò)使原始透視投影圖像表面沿一個(gè)相對(duì)于一垂直軸傾斜的光軸方向相反的方向傾斜而獲得上述該透視投影圖像表面。當(dāng)將-α的值賦予坐標(biāo)旋轉(zhuǎn)表達(dá)式(9)時(shí)，獲得下述表達(dá)式(12)。X′Y′Z′=1000cosα-sinα0sinαcosαXYZ---(12)]]>當(dāng)展開表達(dá)式(12)時(shí)，獲得下述表達(dá)式(13)。X′＝XY′＝Y(jié)·cosα-Z·sinαZ′＝Y(jié)·sinα+Z·cosα...............(13)在本實(shí)施例中，基于表達(dá)式(13)進(jìn)行旋轉(zhuǎn)處理，從而獲得采用所述垂直軸81作為基準(zhǔn)軸的透視投影圖像表面83上的點(diǎn)P′(X′，Y′，Z′)的值。
此外，在步驟S3，旋轉(zhuǎn)處理之后的三維坐標(biāo)值P′(X′，Y′，Z′)被賦予表達(dá)式(5)和(6)，用于計(jì)算圖5所示輸入圖像上的點(diǎn)p(x，y)。
最后，在步驟S4，圖像表面上的點(diǎn)p(x，y)被轉(zhuǎn)換成kl坐標(biāo)系中的點(diǎn)p(k，l)。點(diǎn)p(k，l)的坐標(biāo)被表示成點(diǎn)p(x+gx，gy-y)。從輸入圖像存儲(chǔ)部分141獲得點(diǎn)p(k，l)所表示的圖像數(shù)據(jù)，并將其復(fù)制到透視投影圖像存儲(chǔ)部分143上的一位置，該位置被指定為在透視投影圖像上的點(diǎn)p(k，l)。
采用上述方式，根據(jù)圖6所示流程圖，獲得對(duì)應(yīng)于透視投影圖像上所有點(diǎn)的輸入圖像上的點(diǎn)以復(fù)制圖像數(shù)據(jù)，從而生成一透視投影圖像。這種透視投影圖像被按順序地生成并在圖像顯示部分15上顯示，從而處理動(dòng)態(tài)圖像。
已經(jīng)對(duì)X軸是單軸的情形介紹了本實(shí)施例，即當(dāng)所述全向攝像機(jī)12被設(shè)置成其光軸(Z軸)被傾斜時(shí)，全向攝像機(jī)12能繞X軸旋轉(zhuǎn)。然而，本發(fā)明并不局限于此。Y軸可以是一單軸，全向攝像機(jī)12可以繞它旋轉(zhuǎn)。此外，全向攝像機(jī)12可以繞兩條軸線也就是X軸和Y軸旋轉(zhuǎn)。最好是，全向攝像機(jī)12僅繞X軸或Y軸也就是一單軸旋轉(zhuǎn)，與全向攝像機(jī)12繞兩條或三條軸線旋轉(zhuǎn)相比，上述情況降低了坐標(biāo)旋轉(zhuǎn)處理中的計(jì)算復(fù)雜性。
作為選擇，在全向攝像機(jī)12繞例如三條軸線旋轉(zhuǎn)時(shí)，當(dāng)全向攝像機(jī)12的光軸被用作三維坐標(biāo)系的Z軸時(shí)，在該三維坐標(biāo)系中，X、Y、Z軸以雙曲面鏡122的焦點(diǎn)為坐標(biāo)原點(diǎn)并在該原點(diǎn)彼此相互垂直。通過(guò)將Z軸與所述垂直軸的傾角分解成一個(gè)其X軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角、一個(gè)其Y軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角和一個(gè)其Z軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角，根據(jù)由此獲得的每個(gè)角度分量信息，能夠獲得新的三維坐標(biāo)。
雖然本發(fā)明沒有具體介紹透視投影圖像轉(zhuǎn)換部分142的具體結(jié)構(gòu)，透視投影圖像轉(zhuǎn)換部分142可以是一個(gè)包含程序的微型計(jì)算機(jī)或者可以是一專用IC芯片。
如圖1所示，所述透視投影圖像轉(zhuǎn)換部分142包括一CPU(中央處理器)142c(一控制部分)，例如一微型計(jì)算機(jī)、一MPU(微處理器)，等等。根據(jù)存儲(chǔ)在程序存儲(chǔ)器內(nèi)的計(jì)算機(jī)可操作控制程序和多種類型數(shù)據(jù)，透視投影圖像轉(zhuǎn)換部分142執(zhí)行本發(fā)明的圖像處理方法中的每個(gè)步驟。根據(jù)本發(fā)明的所述控制程序包括根據(jù)使用雙曲面鏡的全向攝像機(jī)12所發(fā)送的圖像數(shù)據(jù)，生成透視投影圖像坐標(biāo)以獲得表示透視投影圖像上每個(gè)點(diǎn)的三維坐標(biāo)的一坐標(biāo)生成步驟；以及，通過(guò)使坐標(biāo)生成步驟所生成的三維坐標(biāo)沿相對(duì)于一垂直軸傾斜的光軸的傾斜方向相反的方向旋轉(zhuǎn)一個(gè)光軸傾角而獲得新的三維坐標(biāo)的一坐標(biāo)旋轉(zhuǎn)步驟。坐標(biāo)生成部分142b和坐標(biāo)旋轉(zhuǎn)處理部分142a分別執(zhí)行所述坐標(biāo)生成步驟和坐標(biāo)旋轉(zhuǎn)步驟。當(dāng)全向攝像機(jī)12的光軸被用作三維坐標(biāo)系的Z軸時(shí)，該三維坐標(biāo)系的X、Y、Z坐標(biāo)軸以雙曲面鏡122的焦點(diǎn)為原點(diǎn)，并在該原點(diǎn)彼此相互垂直。通過(guò)將Z軸與所述垂直軸的傾角分解成一個(gè)其X軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角、一個(gè)其Y軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角和一個(gè)其Z軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角，根據(jù)由此獲得的每個(gè)角度分量信息，坐標(biāo)旋轉(zhuǎn)步驟能夠獲得新的三維坐標(biāo)。一記錄有本發(fā)明控制程序的計(jì)算機(jī)可讀取記錄介質(zhì)(程序存儲(chǔ)器142d)例如是一ROM(包括CD-ROM)、一EPROM、一EEPROM等，其起到所述全向視覺系統(tǒng)10的一存儲(chǔ)部分的作用。
如上所述，根據(jù)本發(fā)明，即使當(dāng)全向攝像機(jī)被設(shè)置成其光軸與一水平面傾斜，通過(guò)沿一個(gè)與光軸傾斜方向相反的方向使透視投影圖像表面進(jìn)行坐標(biāo)旋轉(zhuǎn)，就能夠提供用于水平顯示一水平放置物體的透視投影圖像數(shù)據(jù)，好象該物體能被用肉眼看見。因此，即使全向攝像機(jī)采用傾斜方式設(shè)置，以便捕捉基本上位于全向攝像機(jī)正下方區(qū)域的圖像，通過(guò)執(zhí)行類似于傳統(tǒng)全向視覺系統(tǒng)內(nèi)所采用的操作步驟，也能夠顯示一透視投影圖像，其中，水平放置的物體被水平地顯示，好象該物體能被用肉眼看見。
以上已經(jīng)對(duì)本發(fā)明作了十分詳細(xì)的描述，所以閱讀和理解了本說(shuō)明書后，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明的各種改變和修改將變得明顯。所以，所有這樣的改動(dòng)和修正也包括在此發(fā)明中，因此它們?cè)跈?quán)利要求書的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種全向視覺系統(tǒng)，用于通過(guò)對(duì)一使用雙曲面鏡的全向攝像機(jī)所發(fā)送圖像數(shù)據(jù)進(jìn)行處理而生成用于顯示的透視投影圖像數(shù)據(jù)，該系統(tǒng)包括一個(gè)用于旋轉(zhuǎn)三維坐標(biāo)系的坐標(biāo)旋轉(zhuǎn)處理部分，所述三維坐標(biāo)系表示所述透視投影圖像數(shù)據(jù)的每個(gè)點(diǎn)，通過(guò)沿相對(duì)于一垂直軸與雙曲面鏡的光軸的傾斜方向相反的方向使該雙曲面鏡的光軸傾斜一個(gè)角度，從而獲得新的三維坐標(biāo)系。
2.一種全向視覺系統(tǒng)，包括一基于圖像光而捕捉圖像的全向攝像機(jī)，通過(guò)收集被一雙曲面鏡反射的光而獲得所述圖像光；一圖像處理部分，用于基于全向攝像機(jī)所獲得的輸入圖像數(shù)據(jù)，生成用于顯示的代表一透視投影圖像的透視投影圖像數(shù)據(jù)，該投影圖像的投影中心位于所述雙曲面鏡的焦點(diǎn)；其特征在于，所述全向攝像機(jī)被設(shè)置成其光軸相對(duì)于一垂直軸傾斜一指定角度，所述圖像處理部分包括一個(gè)用于旋轉(zhuǎn)三維坐標(biāo)系的坐標(biāo)旋轉(zhuǎn)處理部分，所述三維坐標(biāo)系表示透視投影圖像數(shù)據(jù)的每個(gè)點(diǎn)，通過(guò)沿相對(duì)于一垂直軸與雙曲面鏡的光軸的傾斜方向相反的方向使該雙曲面鏡的光軸傾斜一個(gè)角度，從而獲得新的三維坐標(biāo)系，和所述圖像處理部分生成用于顯示的透視投影圖像數(shù)據(jù)，并能夠水平地顯示所述透視投影圖像。
3.根據(jù)權(quán)利要求1所述全向視覺系統(tǒng)，其特征在于當(dāng)所述全向攝像機(jī)的光軸對(duì)應(yīng)于一個(gè)XYZ三維坐標(biāo)系的Z軸，其中X、Y、Z軸以所述雙曲面鏡的焦點(diǎn)為原點(diǎn)，并在該原點(diǎn)彼此相互垂直時(shí)，通過(guò)將所述Z軸與所述垂直軸的傾角分解成一個(gè)其X軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角、一個(gè)其Y軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角和一個(gè)其Z軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角，根據(jù)由此獲得的每個(gè)角度分量信息，所述坐標(biāo)旋轉(zhuǎn)處理部分獲得新的三維坐標(biāo)。
4.根據(jù)權(quán)利要求2所述全向視覺系統(tǒng)，其特征在于當(dāng)所述全向攝像機(jī)的光軸對(duì)應(yīng)于一個(gè)XYZ三維坐標(biāo)系的Z軸，其中X、Y、Z坐標(biāo)軸以雙曲面鏡的焦點(diǎn)為原點(diǎn)，并在該原點(diǎn)彼此相互垂直時(shí)，通過(guò)將所述Z軸與所述垂直軸的傾角分解成一個(gè)其X軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角、一個(gè)其Y軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角和一個(gè)其Z軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角，根據(jù)由此獲得的每個(gè)角度分量信息，所述坐標(biāo)旋轉(zhuǎn)處理部分獲得新的三維坐標(biāo)。
5.根據(jù)權(quán)利要求3所述全向視覺系統(tǒng)，其特征在于所述XYZ三維坐標(biāo)系XY平面內(nèi)的X軸和Y軸分別平行于所述全向攝像機(jī)的一成像元件的長(zhǎng)邊和短邊。
6.根據(jù)權(quán)利要求4所述全向視覺系統(tǒng)，其特征在于所述XYZ三維坐標(biāo)系XY平面內(nèi)的X軸和Y軸分別平行于所述全向攝像機(jī)的一成像元件的長(zhǎng)邊和短邊。
7.根據(jù)權(quán)利要求5所述全向視覺系統(tǒng)，其特征在于所述坐標(biāo)旋轉(zhuǎn)處理部分為一個(gè)單軸或雙軸坐標(biāo)旋轉(zhuǎn)處理部分，它使用X軸或Y軸中的至少一個(gè)作為一旋轉(zhuǎn)角。
8.根據(jù)權(quán)利要求6所述全向視覺系統(tǒng)，其特征在于所述坐標(biāo)旋轉(zhuǎn)處理部分為一個(gè)單軸或雙軸坐標(biāo)旋轉(zhuǎn)處理部分，它使用X軸或Y軸中的至少一個(gè)作為一旋轉(zhuǎn)角。
9.根據(jù)權(quán)利要求2所述全向視覺系統(tǒng)，其特征在于所述圖像處理部分能夠響應(yīng)于一透視投影圖像的一搖攝角操作，順序地生成透視投影圖像數(shù)據(jù)，其中由于通過(guò)所述雙曲面鏡焦點(diǎn)的一垂直軸被用作一旋轉(zhuǎn)角，傾斜角是可變的。
10.根據(jù)權(quán)利要求4所述全向視覺系統(tǒng)，其特征在于所述圖像處理部分能夠響應(yīng)于一透視投影圖像的一搖攝角操作，順序地生成透視投影圖像數(shù)據(jù)，其中由于通過(guò)所述雙曲面鏡焦點(diǎn)的一垂直軸被用作一旋轉(zhuǎn)角，傾斜角是可變的。
11.根據(jù)權(quán)利要求6所述全向視覺系統(tǒng)，其特征在于所述圖像處理部分能夠響應(yīng)于一透視投影圖像的一搖攝角操作，順序地生成透視投影圖像數(shù)據(jù)，其中由于通過(guò)所述雙曲面鏡焦點(diǎn)的一垂直軸被用作一旋轉(zhuǎn)角，傾斜角是可變的。
12.一種圖像處理方法，包括如下步驟基于一個(gè)使用一雙曲面鏡的全向攝像機(jī)所發(fā)送的圖像數(shù)據(jù)，執(zhí)行用于獲得三維坐標(biāo)系的操作，所述三維坐標(biāo)系表示一透視投影圖像的每個(gè)點(diǎn)；通過(guò)沿相對(duì)于一垂直軸與所述光軸的傾斜方向相反的方向使一光軸傾斜一個(gè)角度，執(zhí)行用于三維坐標(biāo)系旋轉(zhuǎn)的坐標(biāo)旋轉(zhuǎn)操作。
13.根據(jù)權(quán)利要求12所述圖像處理方法，其特征在于當(dāng)所述全向攝像機(jī)的光軸對(duì)應(yīng)于一XYZ三維坐標(biāo)系的Z軸，其中X、Y、Z坐標(biāo)軸以雙曲面鏡的焦點(diǎn)為原點(diǎn)，并在該原點(diǎn)彼此相互垂直時(shí)，通過(guò)將所述Z軸與所述垂直軸的傾角分解成一個(gè)其X軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角、一個(gè)其Y軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角和一個(gè)其Z軸被用作一旋轉(zhuǎn)軸時(shí)的旋轉(zhuǎn)角，根據(jù)由此獲得的每個(gè)角度分量信息，所述坐標(biāo)旋轉(zhuǎn)操作獲得新的三維坐標(biāo)。
14.一種允許計(jì)算機(jī)執(zhí)行權(quán)利要求12所述圖像處理方法中每個(gè)處理過(guò)程的控制程序。
15.一種存儲(chǔ)有權(quán)利要求14所述控制程序的計(jì)算機(jī)可讀取記錄介質(zhì)。
16一種允許計(jì)算機(jī)執(zhí)行權(quán)利要求13所述圖像處理方法中每個(gè)處理過(guò)程的控制程序。
17.一種存儲(chǔ)有權(quán)利要求16所述控制程序的計(jì)算機(jī)可讀取記錄介質(zhì)。
全文摘要
本發(fā)明提供一種全向視覺系統(tǒng)，其用于通過(guò)對(duì)一使用雙曲面鏡的全向攝像機(jī)所發(fā)送圖像數(shù)據(jù)進(jìn)行處理而生成用于顯示的透視投影圖像數(shù)據(jù)，該系統(tǒng)包括一個(gè)用于旋轉(zhuǎn)三維坐標(biāo)系的坐標(biāo)旋轉(zhuǎn)處理部分，所述三維坐標(biāo)系表示所述透視投影圖像數(shù)據(jù)的每個(gè)點(diǎn)，通過(guò)沿相對(duì)于一垂直軸與雙曲面鏡的光軸的傾斜方向相反的方向使該雙曲面鏡的光軸傾斜一個(gè)角度，從而獲得新的三維坐標(biāo)系。
文檔編號(hào)H04N15/00GK1441386SQ0312009
公開日2003年9月10日 申請(qǐng)日期2003年1月29日 優(yōu)先權(quán)日2002年1月29日
發(fā)明者川上健一, 熊田清, 中野孝一 申請(qǐng)人:夏普公司