專利名稱：圖像提供方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像提供方法和設(shè)備，該圖像提供方法和設(shè)備在顯示平面上在魚眼圖像(全向圖像(all-direction image)中在任何視線方向非線性地形成圖像，本發(fā)明更特別地涉及一種可以在觀察者希望的方向?qū)崟r(shí)提供運(yùn)動(dòng)圖像的交互式圖像提供方法和設(shè)備。
背景技術(shù)：
在采用監(jiān)視攝像機(jī)的監(jiān)視系統(tǒng)中，例如，一種已知的方法是，利用具有魚眼式鏡頭的監(jiān)視攝像機(jī)代替具有普通鏡頭的監(jiān)視攝像機(jī)采集廣角圖像，以獲得更廣的監(jiān)視區(qū)。在這種情況下，與利用具有普通鏡頭的監(jiān)視攝像機(jī)提供的圖像相比，具有魚眼式鏡頭的監(jiān)視攝像機(jī)提供的魚眼圖像更失真。因此，進(jìn)行非線性變換處理，以根據(jù)魚眼圖像，在平面上顯示在任何視線方向消除了失真的圖像是已知的。這種非線性變換處理被稱為歸一化處理(去翹曲(dewarp))。
例如，用于歸一化魚眼圖像的已知方法包括第3051173號(hào)和第3126955號(hào)日本專利公開的方法。歸一化邏輯被公式化為通常類似的變換方程。因此，已經(jīng)以具有編程語言的設(shè)備的方式，利用任一變換方程實(shí)現(xiàn)了歸一化方法，或者在固定了在多個(gè)位置的區(qū)域要被繪畫的區(qū)域并根據(jù)方程以查表的方式先前建立了變換規(guī)則后，實(shí)現(xiàn)該歸一化方法。
在第3051173號(hào)日本專利的第5頁上的第19行至30行的右欄以及圖4公開的方法中，X-MAP處理器和Y-MAP處理器加速球體上的映射。此外，在第3126955號(hào)日本專利的第5頁、第0021段以及圖1公開的方法中，兩個(gè)坐標(biāo)運(yùn)算部分使用查用表加速對(duì)球體的坐標(biāo)計(jì)算。
然而，在上述第3051173號(hào)和第3126955號(hào)日本專利公開的這兩種方法中，非線性變換處理過程將球體上的映射用作順序計(jì)算顯示像素的基礎(chǔ)，而且僅在從多個(gè)預(yù)定的有限空間出發(fā)的視野(visual field)內(nèi)進(jìn)行歸一化，因此所實(shí)現(xiàn)的交互性差。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面的圖像提供設(shè)備包括魚眼圖像輸入設(shè)備，用于輸入魚眼圖像；魚眼圖像存儲(chǔ)設(shè)備，用于存儲(chǔ)所述輸入魚眼圖像；視野信息輸入設(shè)備，用于實(shí)時(shí)輸入視野信息，該視野信息包括關(guān)于所述魚眼圖像的視野區(qū)的視線方向(θ，φ)和視場角(γ)的信息；繪圖區(qū)計(jì)算設(shè)備，用于根據(jù)所述輸入視野信息，實(shí)時(shí)計(jì)算與所述視線方向垂直(orthogonal)并利用所述視場角確定了其大小的平面上的繪圖區(qū)的每一像素；以及歸一化處理設(shè)備，確定所述魚眼圖像上對(duì)應(yīng)于所述計(jì)算的繪圖區(qū)上的每個(gè)像素位置的像素位置，以根據(jù)魚眼圖像，實(shí)時(shí)形成消除了失真的歸一化圖像。


圖1示出根據(jù)本發(fā)明的歸一化處理過程的基本原理。
圖2示出根據(jù)本發(fā)明的歸一化處理過程的基本原理。
圖3示出根據(jù)本發(fā)明的歸一化處理過程的基本原理。
圖4示出根據(jù)本發(fā)明第一實(shí)施例的交互式圖像顯示系統(tǒng)的配置。
圖5是圖4所示顯示系統(tǒng)中的圖像提供設(shè)備的運(yùn)行過程的流程圖。
圖6示出圖5所示圖像提供設(shè)備內(nèi)的歸一化計(jì)算模塊的運(yùn)行過程。
圖7是圖6所示歸一化計(jì)算模塊的運(yùn)行過程的流程圖。
圖8示出根據(jù)本發(fā)明第二實(shí)施例的圖像提供設(shè)備的處理過程。
圖9示出根據(jù)本發(fā)明第三實(shí)施例的圖像提供設(shè)備處理的、被分割為多個(gè)塊的魚眼圖像。
圖10示出根據(jù)本發(fā)明第四實(shí)施例的立體圖像顯示系統(tǒng)。
圖11示出圖10所示系統(tǒng)的工作過程。
圖12示出圖10所示系統(tǒng)的工作過程。
具體實(shí)施例方式
現(xiàn)在，參考

本發(fā)明實(shí)施例。
<歸一化處理的基本原理>
圖1至3示出根據(jù)本發(fā)明實(shí)施例的歸一化處理過程的基本原理。
如圖1所示，可以將魚眼圖像看作從在虛擬建立的、在平面(半球體S的圓形底表面)上形成(develop)的半球體S的半球面上成像的對(duì)象獲得的圖像(失真全向圖像)。在該半球體S上，原點(diǎn)O位于其底圓的中心，建立三維坐標(biāo)系，其中從原點(diǎn)O伸出的正交的方向X軸和Y軸在包括底圓的平面上，而方向Z軸從原點(diǎn)O向半球體S的頂點(diǎn)延伸。
現(xiàn)在，從原點(diǎn)O到半球面的視線方向B作為輸入信息給出。利用與Z軸的夾角的天頂角(zenithal angle)θ(傾角(tilt))和與X軸的夾角的方位角(全角(pan))φ給出視線方向B。該視線方向B是觀眾的視野中心。如圖2所示，附加規(guī)定的變焦距放大率(zoommagnification)(視場角(field angle)γ)規(guī)定要繪制成(看成)平面A(虛擬透視攝像機(jī)的成像面)的部分，平面A與視線方向B垂直，而與圖1所示半球面正切。可以將平面A內(nèi)的任何位置表示為Eu和Ev的二維坐標(biāo)系，其中原點(diǎn)位于與指出視線方向B的直線的交點(diǎn)P。該平面A被稱為“繪圖區(qū)”?！皻w一化處理”相當(dāng)于根據(jù)原始魚眼圖像(顯影在半球體S的圓形底表面上的失真全向圖像)重構(gòu)該繪圖區(qū)。
現(xiàn)在，將說明根據(jù)魚眼圖像重構(gòu)繪圖區(qū)的處理過程。例如，平面A上的點(diǎn)Ps被表示為平面A與光線C的相交點(diǎn)，利用天頂角θs和方位角φs確定該相交點(diǎn)。因此，通過利用視線方向B的θ和φ計(jì)算點(diǎn)Ps的三維坐標(biāo)以確定通過點(diǎn)Ps的光線C的θs和φs，并通過根據(jù)魚眼投影的模型方程確定魚眼圖像上的對(duì)應(yīng)點(diǎn)Ps’的像素位置，可以確定點(diǎn)Ps的亮度。
具體地說，假定半球體S是半徑為1的單位球體，而指出繪圖區(qū)的平面A在Eu軸方向的長度為2Ku，而在Ev方向的長度為2Kv，如圖2所示，則可以利用變焦距放大率(視場角γ)和繪圖區(qū)的寬高比α如下確定Ku和Kv。
Ku＝tan(γ/2)Kv＝α*tan(γ/2) (方程1)寬高比α取決于繪圖區(qū)的窗口大小。假定平面A上的Eu軸方向上的位置是u，而平面A上的Ev軸方向的位置是v，則可以如下確定點(diǎn)Ps的三維坐標(biāo)(Px，Py，Pz)。
Px＝-u*Ku*sinφ-v*Kv*cosφ*cosθ+sinθ*cosφPy＝u*Ku*cosφ-v*Kv*sinφ*cosθ+sinθ*sinφPz＝v*Kv*sinθ+cosθ (方程2)因此，利用確定的Px、Py和Pz，可以如下確定點(diǎn)Ps的天頂角θs和方位角φs。
θs＝tan#-1#((Px#2#+Py#2#)#1/2#/Pz)φs＝tan#-1#(Py/Px) (方程3)所確定的θs和φs可以提供魚眼圖像G上對(duì)應(yīng)于平面A上的點(diǎn)Ps的點(diǎn)Ps’的極坐標(biāo)(L，φs)。如圖3所示，L通常被表示為單值函數(shù)L＝f(θ)，而L＝f*θs用作等距投影的模型方程，L＝2f*tan(θ/2)用作等立體角投影的模型方程。f是魚眼式鏡頭的焦距。
如果魚眼圖像G的半徑為r_px，而且使用下面的方程4所示的模型方程，當(dāng)天頂角θs從0至pi/2變化時(shí)，方程4中點(diǎn)Ps’從魚眼圖像G的中心位置O被等距投影到魚眼圖像G的最外圍，則可以如下確定L。
L＝2*r_px*θs/pi(方程4)因此，利用下面的方程5可以確定魚眼圖像G上對(duì)應(yīng)于平面A上的點(diǎn)Ps的點(diǎn)Ps’在X-Y坐標(biāo)系上的位置。
X_pixel＝L*cos(φs)Y_pixel＝L*sin(φs) (方程5)在上面的每個(gè)方程中，魚眼式鏡頭的焦點(diǎn)位置和成像單元(element)的分辨率等可以改變魚眼圖像G的半徑r_px以及魚眼圖像與歸一化圖像之間的像素對(duì)應(yīng)。因此，在Ku和Kv計(jì)算過程和歸一化處理過程中，優(yōu)先考慮透鏡特性和CMOS(或CCD)特性。
這些圖像變換計(jì)算過程通常花費(fèi)很長時(shí)間，而且難以實(shí)現(xiàn)實(shí)時(shí)處理。為了以高速進(jìn)行這種圖像變換計(jì)算過程，最好使用于一般管理的管理功能設(shè)備與用于歸一化失真的計(jì)算模塊功能分離，一般管理包括從外部輸入圖像和將圖像輸出到外部以及與輸入設(shè)備連接。歸一化計(jì)算模塊優(yōu)先使用3個(gè)并行處理計(jì)算模塊。
<第一實(shí)施例>
圖4示出根據(jù)本發(fā)明第一實(shí)施例的交互式圖像顯示系統(tǒng)的配置。該系統(tǒng)包括圖像提供設(shè)備1，用于在指定的視野內(nèi)，將魚眼圖像變換為歸一化圖像；魚眼式成像設(shè)備2，用于實(shí)時(shí)地將全向圖像，特別是運(yùn)動(dòng)圖像提供到圖像提供設(shè)備1；數(shù)字圖像文件存儲(chǔ)部分3，用于以諸如MPEG 2文件和JPEG文件組等的數(shù)字圖像文件方式，累積魚眼式成像設(shè)備等先前成像的魚眼圖像；輸入設(shè)備4，用于輸入諸如用戶希望的視線方向(θ，φ)以及變焦距放大率(視場角γ)的信息，作為外部控制；以及輸出設(shè)備5，例如監(jiān)視器，用于顯示圖像提供設(shè)備1歸一化的歸一化圖像。
圖像提供設(shè)備1包括主輸入處理部分11，用于對(duì)魚眼圖像進(jìn)行輸入處理(例如，A/D變換和各種解碼處理)；變換設(shè)備12，是設(shè)備1的核心部分；以及D/A變換部分13，作為輸出部分。圖像提供設(shè)備1還包括輸入接口14，用于從輸入設(shè)備4輸入諸如視線方向的信息；魚眼圖像存儲(chǔ)部分16，用于存儲(chǔ)原始魚眼圖像；以及歸一化圖像存儲(chǔ)部分18，用于存儲(chǔ)歸一化圖像。
變換設(shè)備12進(jìn)一步包括管理功能部分21，用于進(jìn)行全面管理，包括從外部輸入魚眼圖像和歸一化圖像和將魚眼圖像和歸一化圖像輸出到外部以及與輸入設(shè)備4的連接；以及歸一化計(jì)算模塊22，用于歸一化魚眼圖像的失真。
在管理功能部分21的管理下，上述配置使魚眼式成像設(shè)備2成像的圖像通過輸入處理部分11實(shí)時(shí)地插入內(nèi)部，并使該圖像保持在魚眼圖像存儲(chǔ)部分16內(nèi)，作為魚眼圖像。還可以通過對(duì)先前在數(shù)字圖像文件存儲(chǔ)部分3內(nèi)累積的數(shù)字圖像文件(例如，MPEG 2文件和JPEG文件組)的任何文件進(jìn)行輸入處理，輸入圖像，并且還可以保持該圖像，作為魚眼圖像。為了在希望的方向觀看圖像，用戶(觀眾)可以使用諸如游戲桿鼠標(biāo)的輸入設(shè)備4將用戶希望的視線方向(θ，φ)、變焦距放大率(視場角γ)輸入到該實(shí)施例的設(shè)備。通過接口14，將該輸入信息通知管理功能部分21。簡單的鍵盤鼠標(biāo)輸入也可以用作輸入信息的輸入方法。
圖5是圖像提供設(shè)備1的處理流程的流程圖。
管理功能部分21包括多種管理模式。這些管理模式有(1)用于從魚眼式照相系統(tǒng)輸入實(shí)時(shí)圖像的模式；(2)用于從文件輸入累積圖像的模式；(3)用于輸入顯示的視線方向和變焦距放大率并用于控制顯示的模式。
管理功能部分21首先工作，以確定魚眼圖像讀取是實(shí)時(shí)型圖像輸入模式，還是累積圖像輸入模式(S1)。如果讀取是實(shí)時(shí)型圖像輸入模式，則通過輸入處理部分11，實(shí)時(shí)地從魚眼式成像設(shè)備2讀取圖像(S2)。如果讀取是累積圖像輸入模式，則通過輸入處理部分11，從數(shù)字圖像文件存儲(chǔ)部分3讀取數(shù)字圖像文件(S3)。讀取后，將魚眼圖像順序存儲(chǔ)到魚眼圖像存儲(chǔ)部分16內(nèi)。
與此同時(shí)，管理功能部分21執(zhí)行輸入顯示的視線方向和變焦距放大率并控制顯示的模式，以從輸入設(shè)備4讀取視線方向(θ，φ)和變焦距放大率(γ)，作為輸入信息(S4)。為了在希望的方向觀看圖像，用戶(觀眾)可以使用諸如游戲桿鼠標(biāo)的輸入設(shè)備4實(shí)時(shí)改變要求的視線方向和變焦距放大率，如同攝像機(jī)進(jìn)行攝像操作。管理功能部分21實(shí)時(shí)讀取輸入信息。
讀取了視線方向(θ，φ)和變焦距放大率(γ)后，管理功能部分21計(jì)算Ku和Kv的值，根據(jù)上述方程1，Ku和Kv規(guī)定繪圖區(qū)的大小(S5)。還優(yōu)先根據(jù)特性參數(shù)，例如先前存儲(chǔ)的鏡頭特性和CMOS(或CCD)特性，規(guī)定Ku和Kv。歸一化計(jì)算模塊22對(duì)繪圖區(qū)進(jìn)行歸一化處理(S7)。管理功能部分21使用歸一化圖像在諸如監(jiān)視器的輸出設(shè)備5上繪圖(S8)。在每次讀取輸入信息時(shí)，都要執(zhí)行上面的處理過程。
現(xiàn)在，說明歸一化處理過程。圖6示出歸一化模塊的處理過程的原理圖。歸一化計(jì)算模塊22對(duì)繪圖區(qū)內(nèi)的每個(gè)像素的三維位置進(jìn)行計(jì)算處理(S11)，然后，進(jìn)行三維非線性紋理映射(mapping)處理(S12)，以對(duì)魚眼圖像進(jìn)行歸一化處理，從而產(chǎn)生歸一化圖像。
通過首先輸入管理功能部分21計(jì)算的繪圖區(qū)的大小(extent)Ku和Kv、輸入設(shè)備4提供的視線方向(θ，φ)以及先前存儲(chǔ)的鏡頭和成像系統(tǒng)等的特性參數(shù)，然后，運(yùn)算上面的方程2以計(jì)算平面A上的每個(gè)像素(Ps)的三維位置(Px，Py，Pz)，平面A表示具有更新的u和v的繪圖區(qū)，可以對(duì)繪圖區(qū)內(nèi)的每個(gè)像素的三維位置進(jìn)行計(jì)算處理(S11)。
非線性紋理映射處理(S12)將每個(gè)像素的三維位置(Px，Py，Pz)的計(jì)算結(jié)果代入上面的方程3至5，以計(jì)算原始魚眼圖像G上對(duì)應(yīng)于要在繪圖區(qū)上繪制的歸一化圖像上的每個(gè)像素位置的像素位置(x_pixel，y_pixel)，然后，使該原始魚眼圖像G的像素位置上的顏色信息(例如，RGB和YUV)映射到繪圖區(qū)上的相應(yīng)像素。
從方程(方程1至5)可以看出，可以對(duì)每個(gè)像素，獨(dú)立地進(jìn)行三維位置計(jì)算處理(S11)和非線性紋理映射處理(S12)。因此，可以并行計(jì)算對(duì)多個(gè)像素的處理。因此，如圖7所示，更多的可用硬件資源，例如CPU可以提供更高的并行性，而且計(jì)算處理過程的計(jì)算時(shí)間更短(S11和S12)。這樣可以以交互方式實(shí)時(shí)繪制高圖像質(zhì)量的圖像。
<第二實(shí)施例>
利用圖形功能，例如圖形專用處理器(GPU)，甚至可以以更快的速度執(zhí)行歸一化計(jì)算模塊22的處理。具體地說，通過將表示圖1所示繪圖區(qū)的平面A看作以三維方式進(jìn)行紋理映射的對(duì)象，可以在圖板側(cè)進(jìn)行有效處理。
圖8示出采用圖形功能的歸一化處理過程。該處理過程屬于應(yīng)用軟件和圖形處理。應(yīng)用軟件計(jì)算繪圖區(qū)四角的每個(gè)點(diǎn)(圖2所示的P0、P1、P2和P3)的三維位置(S21)。在圖板側(cè)執(zhí)行的圖形處理的三維紋理映射和縮進(jìn)(indent)處理對(duì)繪圖區(qū)上的每個(gè)像素位置進(jìn)行計(jì)算(S22)并進(jìn)行非線性紋理映射處理(S23)。根據(jù)四角的三維位置進(jìn)行的內(nèi)插處理計(jì)算繪圖區(qū)上的每個(gè)像素位置。
根據(jù)作為輸入信息提供的視線方向(θ，φ)、變焦距放大率(視場角γ)以及特性參數(shù)，對(duì)繪圖區(qū)四角的每個(gè)點(diǎn)的三維位置進(jìn)行的計(jì)算處理過程確定方向矢量V，如圖2所示?？梢源_定軸向矢量(axisvector)Eu，因?yàn)槠鋃分量是0，而且它與方向矢量V正交。
下面的方程6可以計(jì)算軸向矢量Ev。
Ev＝V×Eu(矢量外積) (方程6)因?yàn)樽兘咕喾糯舐?視場角γ)被確定，所以要顯示的平面A的大小在Eu軸上的(-tanγ/2，tanγ/2)范圍內(nèi)。由于根據(jù)繪圖窗口大小得知寬高比α，大小在Ev軸上的(-α*tanγ/2，α*tanγ/2)范圍內(nèi)。因此，利用矢量記法(notation)，如下確定四角的三維坐標(biāo)值。
V+(-tanγ/2)Eu+(-α*tanγ/2)EvV+(-tanγ/2)Eu+(α*tanγ/2)EvV+(tanγ/2)Eu+(-α*tanγ/2)EvV+(tanγ/2)Eu+(α*tanγ/2)Ev (方程7)然后，在圖板側(cè)計(jì)算內(nèi)插的每個(gè)點(diǎn)的三維坐標(biāo)(Px，Py，Pz)。通過利用四維有理多項(xiàng)式近似分子和分母，甚至可以更快地處理非線性紋理映射處理過程(S23)中采用的上述方程3的三角函數(shù)的反函數(shù)。
<第三實(shí)施例>
如果先前建立了繪圖區(qū)，而且處理局限于該繪圖區(qū)，則僅對(duì)部分原始魚眼圖像G進(jìn)行處理。因此，圖4所示的管理功能部分21將截取原始魚眼圖像G的一部分，進(jìn)行處理。
例如，假定魚眼圖像G分割為多個(gè)塊g，然后，對(duì)每塊進(jìn)行解碼處理，如圖9所示。在本發(fā)明實(shí)施例中，假定方程1所示的Ku和Kv以及方程7所示的四角的三維位置被確定。因此，該實(shí)施例利用該信息計(jì)算圍繞該要處理的區(qū)域的8個(gè)點(diǎn)P1至P8的坐標(biāo)值，然后，僅插入含有這些坐標(biāo)值的塊g(圖9中的陰影塊)，作為要在輸入處理部分11處理的塊。例如，通過指定要處理的宏塊，這在MPEG 2和JPEG等中是可能的。在CMOS攝像機(jī)中，僅捕獲要處理的單元。
圖5中的步驟6示出該處理過程。計(jì)算了Ku和Kv的值后(S5)，計(jì)算原始魚眼圖像上的截取塊(cut-out block)(S6)，而且為了以更高速進(jìn)行處理，讀取有限數(shù)量的圖像。
<第四實(shí)施例>
圖10示出根據(jù)本發(fā)明第四實(shí)施例的立體圖像顯示系統(tǒng)。該系統(tǒng)包括并行設(shè)置的兩個(gè)裝備了魚眼式鏡頭攝像機(jī)31和32；計(jì)算機(jī)33，含有兩臺(tái)用于歸一化處理攝像機(jī)31和32輸出的右魚眼圖像和左魚眼圖像的圖像提供設(shè)備；輸入設(shè)備34，用于使視線方向和變焦距放大率輸入到計(jì)算機(jī)33；輸出設(shè)備35，例如，監(jiān)視器，用于交替顯示計(jì)算機(jī)33歸一化的右歸一化圖像和左歸一化圖像；以及液晶光閘眼鏡(liquidcrystal shutter glass)36，與輸出設(shè)備35同步工作。為了省略眼鏡光閘眼鏡，輸出設(shè)備35可以使用肉眼立體觀察顯示器。
如圖11所示，可以對(duì)用戶提供各虛擬攝像平面，該平面對(duì)對(duì)應(yīng)于右眼和左眼的兩個(gè)攝像機(jī)分別規(guī)定同樣的視線方向和變焦距放大率，甚至通過以交互方式同時(shí)改變虛擬攝像平面，可以提供立體圖像。具體地說，可以以交互方式立體觀察希望的方向上的圖像。在視線從前面改變時(shí)，一個(gè)虛擬攝像平面與另一個(gè)虛擬攝像平面之間的深度始終存在差值，如圖12所示。因此，可以對(duì)一個(gè)平面進(jìn)行校正，以便與該視線方向平行，以致可以立體觀察圖像。
如上所述，可以迅速歸一化魚眼式鏡頭的失真，以便有助于以任何視線和變焦距迅速繪制運(yùn)動(dòng)圖像。此外，利用交互式立體圖像，可以進(jìn)行監(jiān)視和欣賞。
這種系統(tǒng)可以迅速繪制運(yùn)動(dòng)圖像，而且可以應(yīng)用于現(xiàn)有實(shí)時(shí)廣播領(lǐng)域、車輛內(nèi)使用的圖像監(jiān)視等。此外，例如，以立體觀察方式使用該系統(tǒng)可以擴(kuò)展欣賞廣播領(lǐng)域的內(nèi)容。對(duì)于監(jiān)視用途，該系統(tǒng)可以安裝在車輛上以廣闊環(huán)顧周圍情況，并以立體觀察方式在諸如平行停車場的狹窄空間內(nèi)操縱車輛，這非常有用。
<工業(yè)可應(yīng)用性>
本發(fā)明適合應(yīng)用于諸如廣播和移動(dòng)電話業(yè)務(wù)的實(shí)時(shí)分布內(nèi)容、諸如封裝介質(zhì)等的累積與再現(xiàn)型內(nèi)容，本發(fā)明尤其適合應(yīng)用于實(shí)現(xiàn)車輛操縱支持的環(huán)境監(jiān)視和工廠監(jiān)視。
此外，以立體觀察方式使用該系統(tǒng)可以擴(kuò)展欣賞廣播領(lǐng)域的內(nèi)容。對(duì)于監(jiān)視用途，該系統(tǒng)可以安裝在車輛上以廣闊環(huán)顧周圍情況，并以立體觀察方式在諸如平行停車場的狹窄空間內(nèi)操縱車輛，這非常有用。
權(quán)利要求
1.一種圖像提供設(shè)備，包括魚眼圖像輸入設(shè)備，用于輸入魚眼圖像；魚眼圖像存儲(chǔ)設(shè)備，用于存儲(chǔ)所述輸入魚眼圖像；視野信息輸入設(shè)備，用于實(shí)時(shí)輸入視野信息，該視野信息包括關(guān)于所述魚眼圖像的視野區(qū)的視線方向(θ，φ)和視場角(γ)的信息；繪圖區(qū)計(jì)算設(shè)備，用于根據(jù)所述輸入視野信息，實(shí)時(shí)計(jì)算與所述視線方向垂直并利用所述視場角確定了其大小的平面上的繪圖區(qū)的每一像素；以及歸一化處理設(shè)備，確定所述魚眼圖像上對(duì)應(yīng)于所述計(jì)算的繪圖區(qū)上的每個(gè)像素位置的像素位置，以根據(jù)魚眼圖像，實(shí)時(shí)形成消除了失真的歸一化圖像。
2.根據(jù)權(quán)利要求1所述的圖像提供設(shè)備，其中所述魚眼圖像是運(yùn)動(dòng)圖像。
3.根據(jù)權(quán)利要求1所述的圖像提供設(shè)備，其中假定所述魚眼圖像是根據(jù)在虛擬建立的、在平面上形成的半球體的半球面上成像的對(duì)象獲得的圖像，所述繪圖區(qū)計(jì)算設(shè)備計(jì)算所述半球面的切面，作為繪圖區(qū)，所述歸一化處理設(shè)備包括三維位置計(jì)算設(shè)備，用于在其原點(diǎn)位于所述半球體底圓的中心的三維坐標(biāo)系中，計(jì)算所述計(jì)算的繪圖區(qū)上的每個(gè)像素的三維位置；以及非線性映射設(shè)備，用于計(jì)算通過所述原點(diǎn)的軸的天頂角θs和方位角φs以及所述計(jì)算的繪圖區(qū)上的每個(gè)像素的三維位置，并將該天頂角和方位角用作確定所述魚眼圖像上的像素位置的基礎(chǔ)。
4.根據(jù)權(quán)利要求1所述的圖像提供設(shè)備，其中所述繪圖區(qū)計(jì)算設(shè)備計(jì)算位于所述繪圖區(qū)的四角的像素位置，通過進(jìn)行內(nèi)插處理，根據(jù)所述繪圖區(qū)四角的像素位置，所述歸一化處理設(shè)備計(jì)算所述繪圖區(qū)上的每個(gè)像素位置。
5.根據(jù)權(quán)利要求1所述的圖像提供設(shè)備，其中所述魚眼圖像被分割為多個(gè)塊，可以分別使用每個(gè)塊，所述圖像提供設(shè)備進(jìn)一步包括要讀取塊計(jì)算設(shè)備，所述要讀取塊計(jì)算設(shè)備用于根據(jù)所述計(jì)算的繪圖區(qū)計(jì)算要讀取的所述塊，以及所述魚眼圖像輸入設(shè)備僅輸入所述計(jì)算的要讀取塊。
6.根據(jù)權(quán)利要求1所述的圖像提供設(shè)備，其中所述魚眼圖像包括右和左兩個(gè)系統(tǒng)圖像，以便實(shí)現(xiàn)立體顯示，根據(jù)所述輸入視野信息，所述繪圖區(qū)計(jì)算設(shè)備計(jì)算所述兩個(gè)系統(tǒng)魚眼圖像的每一個(gè)的繪圖區(qū)，以及對(duì)于每個(gè)所述計(jì)算的兩個(gè)系統(tǒng)繪圖區(qū)的每一個(gè)，所述歸一化處理設(shè)備根據(jù)每個(gè)魚眼圖像形成歸一化圖像。
7.一種圖像提供方法，包括輸入魚眼圖像并將它存儲(chǔ)在存儲(chǔ)設(shè)備中；實(shí)時(shí)輸入視野信息，該視野信息包括關(guān)于所述魚眼圖像的視野區(qū)的視線方向(θ，φ)和視場角(γ)的信息；根據(jù)所述輸入視野信息，實(shí)時(shí)計(jì)算與所述視線方向垂直并利用所述視場角確定了其大小的平面上的繪圖區(qū)的每一像素；以及確定所述魚眼圖像上對(duì)應(yīng)于所述計(jì)算的繪圖區(qū)上的每個(gè)像素位置的像素位置，以根據(jù)該魚眼圖像，實(shí)時(shí)形成消除了失真的歸一化圖像。
8.根據(jù)權(quán)利要求7所述的圖像提供方法，其中所述魚眼圖像是運(yùn)動(dòng)圖像。
9.根據(jù)權(quán)利要求7所述的圖像提供方法，其中假定所述魚眼圖像是根據(jù)在虛擬建立的、在平面上形成的半球體的半球面上成像的對(duì)象獲得的圖像，所述實(shí)時(shí)計(jì)算繪圖區(qū)的步驟計(jì)算所述半球面的切面，作為繪圖區(qū)，以及所述實(shí)時(shí)形成歸一化圖像的步驟包括在其原點(diǎn)位于所述半球體底圓的中心的三維坐標(biāo)系中，計(jì)算所述計(jì)算的繪圖區(qū)上的每個(gè)像素的三維位置；以及計(jì)算通過所述原點(diǎn)的軸的天頂角θs和方位角φs以及所述計(jì)算的繪圖區(qū)上的每個(gè)像素的三維位置，并將該天頂角和方位角用作確定所述魚眼圖像上的像素位置的基礎(chǔ)。
10.根據(jù)權(quán)利要求7所述的圖像提供方法，其中所述實(shí)時(shí)計(jì)算繪圖區(qū)的步驟計(jì)算位于所述繪圖區(qū)的四角的像素位置，通過進(jìn)行內(nèi)插處理，根據(jù)所述繪圖區(qū)四角的像素位置，所述實(shí)時(shí)形成歸一化圖像的步驟計(jì)算所述繪圖區(qū)上的每個(gè)像素位置。
11.根據(jù)權(quán)利要求7所述的圖像提供方法，該方法進(jìn)一步包括將所述魚眼圖像分割為多個(gè)塊，可以分別使用每個(gè)塊；以及根據(jù)所述計(jì)算的繪圖區(qū)計(jì)算要讀取的所述塊。
12.根據(jù)權(quán)利要求7所述的圖像提供方法，其中所述魚眼圖像包括右和左兩個(gè)系統(tǒng)圖像，以便實(shí)現(xiàn)立體顯示，根據(jù)所述輸入視野信息，所述實(shí)時(shí)計(jì)算繪圖區(qū)的步驟計(jì)算所述兩個(gè)系統(tǒng)魚眼圖像的每一個(gè)的繪圖區(qū)，以及對(duì)于所述計(jì)算的兩個(gè)系統(tǒng)繪圖區(qū)的每一個(gè)，所述實(shí)時(shí)形成歸一化圖像的步驟根據(jù)每個(gè)魚眼圖像形成歸一化圖像。
全文摘要
實(shí)時(shí)輸入視野信息，該視野信息包括關(guān)于所述魚眼圖像的視野區(qū)的視線方向(θ，φ)和視場角(γ)的信息。根據(jù)輸入視野信息，實(shí)時(shí)計(jì)算與視線方向垂直并利用該視場角確定了其大小的平面上的繪圖區(qū)。確定魚眼圖像上對(duì)應(yīng)于計(jì)算的繪圖區(qū)上的每個(gè)像素位置的像素位置。這樣根據(jù)該魚眼圖像，實(shí)時(shí)形成消除了失真的歸一化圖像。
文檔編號(hào)H04N7/00GK1702693SQ20051000826
公開日2005年11月30日 申請(qǐng)日期2005年2月7日 優(yōu)先權(quán)日2004年5月28日
發(fā)明者尾崎信之 申請(qǐng)人:株式會(huì)社東芝