国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      全景圖像式虛擬現(xiàn)實(shí)實(shí)時(shí)播放系統(tǒng)和方法

      文檔序號(hào):6413778閱讀:322來(lái)源:國(guó)知局
      專利名稱:全景圖像式虛擬現(xiàn)實(shí)實(shí)時(shí)播放系統(tǒng)和方法
      技術(shù)領(lǐng)域
      本發(fā)明涉及一可在圖像式虛擬現(xiàn)實(shí)中以實(shí)時(shí)速度利用電腦產(chǎn)生各種不同視角的圖像的方法及裝置。
      在一般圖形式虛擬現(xiàn)實(shí)的應(yīng)用中,利用電腦快速繪出高品質(zhì)的圖形和圖像技術(shù)是非常重要的,因?yàn)樵趫D形式虛擬現(xiàn)實(shí)中,使用者可以毫無(wú)限制地漫游于其中,為了達(dá)到此目的,電腦必須以極快的速度來(lái)執(zhí)行三維空間中的物體坐標(biāo)與屏幕二維坐標(biāo)間的幾何轉(zhuǎn)換,才可以達(dá)到使用者所需要的實(shí)時(shí)互動(dòng)性。因此,一般而言,虛擬現(xiàn)實(shí)的應(yīng)用通常需要利用計(jì)算能力極強(qiáng)的高速圖形處理器,才可有令人滿意的效果。然而,高性能的處理器因價(jià)格較高,使用者未必都愿意付出此代價(jià)。因此,為了遷就于低價(jià)位個(gè)人電腦的性能限制,虛擬現(xiàn)實(shí)的設(shè)計(jì)者不得不將其所設(shè)計(jì)的虛擬現(xiàn)實(shí)限制于較低復(fù)雜度的規(guī)模,如此也就導(dǎo)致了虛擬現(xiàn)實(shí)的真實(shí)度降低,而使使用者對(duì)其品質(zhì)不滿意。
      鑒于以上所述的原因,有些研究人員提出了另外一種方式來(lái)構(gòu)建虛擬現(xiàn)實(shí),用這種方式所構(gòu)建的虛擬現(xiàn)實(shí)可降低對(duì)處理器性能的需求,我們稱用此方式所要構(gòu)建的虛擬現(xiàn)實(shí)為“圖像式虛擬現(xiàn)實(shí)”。在圖像式(image-based)虛擬現(xiàn)實(shí)的構(gòu)建中,主要是將幾張由照相機(jī)所拍出的照片由圖像掃描器輸入電腦成為數(shù)字圖像(或以數(shù)字照相機(jī)直接拍攝),然后以人工方式或電腦軟件經(jīng)過(guò)圖像處理,將這些數(shù)字圖像接合成為一個(gè)全景圖像(panoramic image)。有了此一全景圖像之后,接著就將此全景圖像貼到一個(gè)簡(jiǎn)單的幾何形狀(例如立方體、圓柱或球體)表面上于是該幾何形狀表面上的圖像就構(gòu)成一個(gè)虛擬現(xiàn)實(shí)的環(huán)境圖(Environment Map)。使用者要瀏覽此圖像式虛擬現(xiàn)實(shí)時(shí),就將觀測(cè)位置設(shè)于該幾何形狀的幾何中心,然后就可利用該環(huán)境圖上的像素(Pixel)值,來(lái)合成不同視角的圖像并展現(xiàn)給使用者觀看。有關(guān)于此的相關(guān)技術(shù)的說(shuō)明可參看《IEEE(電氣與電子工程師學(xué)會(huì))計(jì)算機(jī)圖形和應(yīng)用》1996年11月第6卷第11號(hào)的第21-29頁(yè)由Greene所寫(xiě)的文章《環(huán)境圖和萬(wàn)物投影的其它應(yīng)用》(“Environment Mapping and Other Application of WorldProjections”)以及《信號(hào)圖形進(jìn)程》95版(SIGGRAPH′95 Proceeding)1995年的第29-38頁(yè)由S.E.Chen所寫(xiě)的文章《真實(shí)環(huán)境導(dǎo)航的快速VR-圖像式方法)》(“QuickTime VR-AnImage-Based Approachto Virtual EnvironmentNavigation”)。在這兩篇文章中分別以在立方體和圓柱上的圖像舉出了作為環(huán)境圖的例子。
      基本來(lái)講,要從虛擬現(xiàn)實(shí)的環(huán)境圖上合成不同視角的圖像,就必須根據(jù)此視角經(jīng)過(guò)幾何坐標(biāo)的轉(zhuǎn)換,將此幾何形狀上的三維坐標(biāo)投射至二維的視平面(即電腦屏幕)坐標(biāo)上。與一般虛擬現(xiàn)實(shí)最大的不同之處是,圖像式虛擬現(xiàn)實(shí)的幾何轉(zhuǎn)換相當(dāng)簡(jiǎn)單,而且也與虛擬現(xiàn)實(shí)中各種物體的復(fù)雜度無(wú)關(guān)。唯一影響圖像式虛擬現(xiàn)實(shí)的復(fù)雜度的是所使用的幾何形狀及其視平面(view plane)大小。只要形狀及視平面大小固定,不管虛擬現(xiàn)實(shí)多復(fù)雜,所需的計(jì)算量都是固定的。此外,圖像式虛擬現(xiàn)實(shí)所呈現(xiàn)出來(lái)的圖像完全與實(shí)景相同,并非人工設(shè)計(jì)的三維圖形物體,因此可得到更高的逼真度和自然度。
      在相關(guān)技術(shù)的專利中,美國(guó)專利第5,359,363號(hào)、第5,384,588號(hào)、第5,313,306號(hào)以及第5,185,667號(hào),都是用球體作為環(huán)境圖的幾何形狀。球狀環(huán)境圖的最大好處是使用者可在虛擬現(xiàn)實(shí)中得到全方位的視角方向,不像圓柱只有在水平方向的全方位視角而在垂直方向則受限于圓柱的高度。也不像立方體的環(huán)境圖,在棱線部分會(huì)產(chǎn)生圖像的扭曲。不過(guò),球狀環(huán)境圖有一個(gè)最大的問(wèn)題是環(huán)境圖的制作相當(dāng)困難,尤其在照片的拍攝上相當(dāng)不易,目前大多是采用特殊的魚(yú)眼鏡頭來(lái)拍攝較為方便可行,但是此種鏡頭價(jià)位不低,這不符合一般使用者的經(jīng)濟(jì)原則。
      雖然全方位的視角是一個(gè)優(yōu)點(diǎn),然而,此優(yōu)點(diǎn)通常只在一些特殊的應(yīng)用中才會(huì)有需求,例如想制作一個(gè)很值得看的天花板的圖像式虛擬現(xiàn)實(shí),在大部分的圖像虛擬現(xiàn)實(shí)應(yīng)用中,使用者不必去瀏覽正上方的景物。因此,目前大部分的圖像式虛擬現(xiàn)實(shí)應(yīng)用中用圓柱環(huán)境圖即可滿足需求。美國(guó)專利第5,396,583號(hào)專利即是以圓柱環(huán)境圖作為圖像式虛擬現(xiàn)實(shí)的基礎(chǔ)的技術(shù),本發(fā)明所公開(kāi)的方法及裝置也是以圓柱環(huán)境圖作為圖像式虛擬現(xiàn)實(shí)的基礎(chǔ)。
      要從環(huán)境圖中合成出任意視角的圖像可利用電腦繪圖中的“貼圖技術(shù)”(Texture Mapping,參考

      圖1),在貼圖步驟中,一個(gè)平面矩形圖像被貼到一幾何物體上(即本發(fā)明所稱的環(huán)境圖),假設(shè)此環(huán)境圖的每一個(gè)像素都可以用坐標(biāo)(u,v)來(lái)表示,并且此環(huán)境圖的幾何物體上的每一點(diǎn)都可以用三維空間坐標(biāo)(XW,Yw,Zw)來(lái)表示?,F(xiàn)在假設(shè)視平面上每一點(diǎn)坐標(biāo)以(XS,YS)來(lái)表示,因此,要在視平面上合成圖像,則對(duì)于視平面的每一點(diǎn)必須找到其在環(huán)境圖上的對(duì)應(yīng)像素,也就是說(shuō),我們必須找到(u,v)坐標(biāo)系統(tǒng)與(XS,YS)坐標(biāo)系統(tǒng)之間的對(duì)應(yīng)關(guān)系。
      由于在圖像式虛擬現(xiàn)實(shí)中,如果使用者經(jīng)常變換觀測(cè)位置,則視平面上每一像素點(diǎn)須經(jīng)常更新,這種頻繁的坐標(biāo)轉(zhuǎn)換計(jì)算須占用大部分的處理器時(shí)間,對(duì)低價(jià)位的中央處理器而言,負(fù)擔(dān)極重。因此,為了簡(jiǎn)化起見(jiàn),目前所有的圖像式虛擬現(xiàn)實(shí)都把使用者的觀測(cè)位置限制在其環(huán)境圖的幾何物體的幾何中心,使用者只能在該觀測(cè)點(diǎn)上變換其視角以觀測(cè)不同景物。雖然這種限制降低了使用者對(duì)虛擬現(xiàn)實(shí)的互動(dòng)性,但是此圖像式虛擬現(xiàn)實(shí)仍然很適用于一些應(yīng)用中,例如虛擬旅游,房屋中介,虛擬商場(chǎng)等等。如果要以幾何式虛擬現(xiàn)實(shí)來(lái)作這些應(yīng)用,可能需要的代價(jià)遠(yuǎn)比圖像式虛擬現(xiàn)實(shí)要高,而這也正是圖像式虛擬現(xiàn)實(shí)越來(lái)越受歡迎的原因。
      在圖1中,我們圖示了從柱狀環(huán)境圖將某一視角圖像合成到視平面的方法,此后我們將稱此程序?yàn)閳D像反扭曲程序,其目的是要將環(huán)境圖所在的柱狀表面10映射至視平面12上。已知此圓柱14的半徑為r(實(shí)際上,可由全景圖像的寬度除以二倍圓周率算出),且從觀測(cè)點(diǎn)到視平面12的距離為d,而視平面12與水平面的夾角為φ。因此,要在此圖像虛擬現(xiàn)實(shí)中做的視角的水平移動(dòng),代表將視平面沿著水平方向移以圓柱14的中心軸旋轉(zhuǎn);同理,使用者的抬頭或低頭的動(dòng)作代表角度φ的變動(dòng);而d的變動(dòng)則代表使用者在做圖像放大或縮小的動(dòng)作。
      圓柱環(huán)境圖的反扭曲程序有一個(gè)很特殊的特性,那就是如果d和φ不變,則不管使用者的水平視角如何,視平面12對(duì)映至柱狀環(huán)境圖的區(qū)域形狀不變,變的只是一個(gè)水平位移量?;诖颂攸c(diǎn),則可以設(shè)計(jì)特殊的技巧來(lái)加速反扭曲程序。例如在美國(guó)專利第5,396,583號(hào)中,其發(fā)明人就提出一種查表法作為加速的手段。在他們的反扭曲程序中可分為兩個(gè)階段,在第一階段中,他們先將視平面12上每一條垂直掃描線,映射至其在柱狀環(huán)境圖上的對(duì)應(yīng)的垂直掃描線,這種對(duì)應(yīng)關(guān)系只是一個(gè)垂直方向放大或縮小的關(guān)系,因此他們就將此垂直掃描線的起始位置及其放大或縮小比例記在表中;在第二階段中,他們將做過(guò)垂直方向掃描線縮放動(dòng)作的圖像,再做一次水平方向的掃描線縮放動(dòng)作,而得到最后的反扭曲結(jié)果。這種方法的好處是再做水平視角的改變時(shí),無(wú)須重新更新表中的數(shù)據(jù),因此,有了此表,在播放時(shí)視平面上的像素點(diǎn)在環(huán)境圖上的對(duì)應(yīng)點(diǎn)可以很快地被找到。
      不過(guò),這種好處只在d和φ兩個(gè)變量不變時(shí)才可利用,如果d或φ任一值有所變化,那么視平面12對(duì)映至柱狀環(huán)境圖的形狀就會(huì)改變,因此,也就導(dǎo)致了記錄在表中的數(shù)據(jù)必須重新計(jì)算,而此重新計(jì)算也會(huì)影響到播放速度,須注意的是d或φ的變動(dòng)是非常頻繁的,因?yàn)槭褂谜呓?jīng)常會(huì)改變視角(φ)以及作鏡頭拉近或拉遠(yuǎn)的動(dòng)作(d的改變)。因此,本發(fā)明公開(kāi)了一種新的播放技術(shù),并利用新的查表技術(shù)來(lái)減少重新計(jì)算表中數(shù)據(jù)的頻率,以改進(jìn)播放速度。
      本發(fā)明的目的是提供一可以從柱狀環(huán)境圖像上映射一部分圖像至矩形視平面,而合成任一視角畫(huà)面的方法。本方法的特點(diǎn)在于計(jì)算量小,因此,可以達(dá)到實(shí)時(shí)播放的速度。本發(fā)明中使用到一全景圖像(即前述的柱狀環(huán)境圖),包含復(fù)數(shù)個(gè)像素點(diǎn)、一投影緩沖區(qū)、以及一視平面。其主要執(zhí)行過(guò)程為先將代表全景圖像上某一選定的第一區(qū)域第一部分的圖像的復(fù)數(shù)個(gè)像素點(diǎn)投影至投影緩沖區(qū)上,然后再?gòu)拇说谝徊糠值耐队熬彌_區(qū)選取其中某一第二部分的圖像像素點(diǎn),映射至視平面上,而視平面上的這些像素點(diǎn)即構(gòu)成所需要的合成圖像。
      本發(fā)明也提出一個(gè)可以按上述方法制作的全景圖像式虛擬現(xiàn)實(shí)實(shí)時(shí)播放系統(tǒng),此系統(tǒng)包含一視頻存儲(chǔ)器,用來(lái)存儲(chǔ)全景圖像的復(fù)數(shù)個(gè)像素點(diǎn)、代表投影緩沖區(qū)的第一像素點(diǎn)區(qū)或第一位元對(duì)映區(qū)域、以及代表視平面的第二像素點(diǎn)區(qū)或第二位元對(duì)映區(qū)域。同時(shí)此系統(tǒng)也包括一個(gè)輸入裝置例如鼠標(biāo)或鍵盤等,以便使用者可以改變其視角和作鏡頭拉近拉遠(yuǎn)的動(dòng)作,并且標(biāo)出全景圖像中某一要看的第一區(qū)域圖像。本系統(tǒng)也須有一微處理器及存儲(chǔ)器來(lái)負(fù)責(zé)全景圖像、投影緩沖區(qū)、以及視平面間像素點(diǎn)對(duì)映的計(jì)算,以及計(jì)算數(shù)據(jù)的儲(chǔ)存。微處理器將全景圖像上某一選定的第一區(qū)域的圖像像素點(diǎn)映射至第一像素點(diǎn)區(qū)。最后,本系統(tǒng)還須有一視頻處理器,它根據(jù)微處理器的指令,將代表要選定的全景圖像區(qū)域的第一部分中的第二部分圖像像素點(diǎn),映射至第二像素點(diǎn)區(qū)。以及本系統(tǒng)還有一用來(lái)顯示全景圖像第二部分的圖像的視頻屏幕。
      上述系統(tǒng)的具體實(shí)施步驟為,先將全景圖像貼至一柱狀的表面而形成一個(gè)環(huán)境圖。本發(fā)明再由此柱狀環(huán)境圖根據(jù)使用者的視角方向,決定出第一區(qū)域的圖像像素點(diǎn)。然后將此區(qū)域的圖像像素點(diǎn)依三維空間的投影方式,將其投影至一與使用者視角垂直且與圓柱正切的投影緩沖區(qū)。
      代表全景圖像的復(fù)數(shù)個(gè)像素點(diǎn),分割成第一復(fù)數(shù)條掃描線(scanlines)。同樣,代表全景圖像上某一選定的第一區(qū)域的第一部分的圖像,分割成第二復(fù)數(shù)條掃描線。而該全景圖像第一部分中的第二部分圖像,分割成第三復(fù)數(shù)條掃描線。該第二復(fù)數(shù)條掃描線形成一第一矩形塊,且該第三復(fù)數(shù)條掃描線形成一比第一矩形塊小的第二矩形塊。
      映射第一部分中第二部分圖像像素點(diǎn)的步驟,經(jīng)過(guò)起點(diǎn)及終點(diǎn)相同或相近相鄰掃描線的合并后,此第二復(fù)數(shù)條掃描線形成第三復(fù)數(shù)個(gè)矩形塊。本發(fā)明將該第三復(fù)數(shù)個(gè)矩形塊的起始位置存入一檢測(cè)表中,由于我們可以動(dòng)態(tài)給定一個(gè)條件來(lái)決定兩相鄰掃描線是否要合并到一個(gè)矩形塊內(nèi),而此矩形塊的大小將決定所播放的圖像質(zhì)量。換句話說(shuō),本發(fā)明可以在播放時(shí)動(dòng)態(tài)調(diào)整圖像質(zhì)量及播放速度。例如在使用者作快速的視角變換時(shí),他們對(duì)圖像質(zhì)量較不注意,因此,本發(fā)明可以動(dòng)態(tài)改變掃描線合并的規(guī)則,使所形成的矩形塊較少,以利于播放速度的提高。相反地,如果使用者在慢速瀏覽時(shí),對(duì)圖像質(zhì)量要求較高(因?yàn)樗麄兛赡苷诩?xì)看某個(gè)視角方向的景物),所以本發(fā)明會(huì)改變合并規(guī)則來(lái)產(chǎn)生較多的矩形塊,以得到較佳的圖像質(zhì)量。
      基本上來(lái)講,本發(fā)明在效果上與先前技術(shù)最大的差別在于本發(fā)明所使用的檢測(cè)表遠(yuǎn)較先前技術(shù)小,而且表中數(shù)據(jù)重新計(jì)算的頻率也遠(yuǎn)較先前技術(shù)低,同時(shí),本發(fā)明也可充分利用一些視頻處理器上的加速功能,以得到更好的播放效果。有關(guān)本發(fā)明的方法和裝置的詳細(xì)描述,將在后文中敘述。
      圖1為將一柱狀環(huán)境圖映射至視平面的側(cè)視圖。
      圖2為本發(fā)明中所用到的貼圖技術(shù)的基本步驟。
      圖3A和3B分別是視平面的仰角(φ)為0°及45°時(shí)視平面映射至柱狀環(huán)境圖上的區(qū)域形狀。
      圖4是本發(fā)明所用的柱狀環(huán)境圖、投影緩沖區(qū)及視平面的位置關(guān)系圖。
      圖5是用來(lái)制作本發(fā)明的電腦系統(tǒng)結(jié)構(gòu)圖。
      圖6繪出由投影緩沖區(qū)映射至柱狀環(huán)境圖的圖像區(qū)域(由復(fù)數(shù)條垂直掃描線組成)。
      圖7為本發(fā)明所用的柱狀環(huán)境圖、投影緩沖區(qū)及視平面的幾何關(guān)系圖。
      圖8繪出將相鄰掃描線合并成復(fù)數(shù)個(gè)矩形塊。
      圖9A是一個(gè)由矩形塊合并成的柱狀環(huán)境圖的部分。
      圖9B是圖9A的環(huán)境圖對(duì)映至投影緩沖區(qū)的例子。
      圖9C是本發(fā)明所使用的檢測(cè)表數(shù)據(jù)結(jié)構(gòu)。
      參考圖2,貼圖(Texture Mapping)技術(shù)主要包含兩個(gè)步驟,第一步驟(100)是將圖像坐標(biāo)系統(tǒng)30轉(zhuǎn)換成一三維幾何曲面32上的坐標(biāo)系統(tǒng)。此過(guò)程我們稱為扭曲程序(Warping process),與此相關(guān)的技術(shù)可以參考Alan Wate所著的3D計(jì)算機(jī)圖形(Computer Graphics)(1993年Addision-Wesley公司出版),圖像經(jīng)過(guò)扭曲程序后就形成了一個(gè)環(huán)境圖。有了這個(gè)環(huán)境圖,第二步驟(102)就是根據(jù)觀測(cè)方向,將此幾何曲面32的環(huán)境圖上的某一區(qū)塊的圖像投射到一視平面(或屏幕)34,我們稱此程序?yàn)榉磁で绦颉?br> 對(duì)一柱狀圖像虛擬現(xiàn)實(shí)的應(yīng)用而言,此幾何曲面32為一圓柱形曲面。要產(chǎn)生柱狀環(huán)境圖可有兩種方法,第一種方法為使用特殊的全景圖像照像機(jī)(例如Globuscore公司所生產(chǎn)的35mm Globuscore照相機(jī))來(lái)拍攝,此方式成本較高。第二種方法為利用一般照相機(jī)固定在三角架上,將照相機(jī)依水平方向旋轉(zhuǎn),在幾個(gè)方向上拍攝照片(注意二相鄰角度的照片間須有部分相同的景物重復(fù)),先將每一張單張照片作前述的柱狀扭曲程序處理,然后再以人工或圖像處理軟件來(lái)將所有扭曲的照片依相重疊的景物作接合,即可產(chǎn)生一柱狀環(huán)境圖。
      接著,在播放過(guò)程亦即第二步驟圖像反扭曲程序中,我們使用一種新的查表技術(shù)來(lái)改進(jìn)播放速度。在先前技術(shù)中,美國(guó)專利5,396,583提出了使用一查表法來(lái)記錄視平面映射至環(huán)境圖上的圖像區(qū)域中每一條掃描線的起始和終止位置,因此,此表中的數(shù)據(jù)數(shù)目至少是視平面寬度的二倍。但由于使用者經(jīng)常須改變其視角方向,所以,此表中的固定數(shù)據(jù)仍不夠,有些數(shù)據(jù)仍須在播放時(shí)以實(shí)時(shí)速度產(chǎn)生,再配合查表技術(shù)來(lái)產(chǎn)生所需圖像。本發(fā)明所提出的新的反扭曲技術(shù)可改進(jìn)上述的缺點(diǎn)。
      如前所述,在先前技術(shù)中有兩種狀況須對(duì)檢測(cè)表中的數(shù)據(jù)作更新處理,這兩種狀況包括仰角(φ)的改變,以及鏡頭拉近或拉遠(yuǎn)的動(dòng)作(觀測(cè)點(diǎn)與視平面距離d的改變)。例如在圖3A與圖3B中,我們繪出了在仰角φ為0°和45°時(shí),視平面映射至環(huán)境圖的形狀(d值不變)。由于形狀改變,因此檢測(cè)表中的數(shù)據(jù)無(wú)法被直接使用,必須作實(shí)時(shí)更新才可。由于仰角φ和距離d值在使用者瀏覽過(guò)程中經(jīng)常變化,因此,其播放速度亦會(huì)受到嚴(yán)重影響。有鑒于此,本發(fā)明采用了一種新的反扭曲程序,同時(shí)還使用了一個(gè)投影緩沖區(qū)。
      參考圖4,此投影緩沖區(qū)40(由矩形ABCD表示)位于與使用者視角方向44垂直,且與柱狀環(huán)境圖42正切的位置。其高度等于此柱狀環(huán)境圖的高度,而且此投影緩沖區(qū)40的中心位置46與觀測(cè)位置48等高(觀測(cè)位置48位于圓柱的幾何中心)。另外還有一個(gè)視平面50(由矩形EFGH表示)其大小決定于使用者所要的觀測(cè)視窗大小。而投影緩沖區(qū)40的寬度則至少與視平面的寬度相等。
      本發(fā)明的反扭曲程序包含兩個(gè)步驟,第一步驟中是從柱狀環(huán)境圖42中映射一非矩形區(qū)域的圖像至投影緩沖區(qū)40,第二步驟是再?gòu)耐队熬彌_區(qū)中映射一矩形區(qū)域至視平面上,即構(gòu)成最后顯示給使用者觀看的圖像。由于觀測(cè)時(shí)從觀測(cè)點(diǎn)48到投影緩沖區(qū)40的距離是固定的(等于圓柱的半徑),而且投影緩沖區(qū)40也不會(huì)在垂直方向移動(dòng),因此d與φ值對(duì)投影緩沖區(qū)40而言都是固定的。所以,投影緩沖區(qū)映射至柱狀環(huán)境圖的形狀和大小是不變的。亦即,本發(fā)明無(wú)須在播放時(shí)對(duì)檢測(cè)表數(shù)據(jù)作更新處理。
      當(dāng)使用者在做抬頭或低頭的動(dòng)作時(shí),在本發(fā)明的反扭曲程序中,我們只將視平面50向上或向下平移一個(gè)角度(φ),但是視平面50本身還是維持與投影緩沖區(qū)40平行。由于視平面50與投影緩沖區(qū)40是平行的,所以從視平面50映射至投影緩沖區(qū)40的區(qū)域依然是一個(gè)矩形區(qū)域52(由矩形efgh表示)。定位此矩形區(qū)域52只須算出其左上頂點(diǎn)及其右下頂點(diǎn)區(qū)域即可,而無(wú)須決定所有像素點(diǎn)的對(duì)應(yīng)點(diǎn)。因此,在本發(fā)明中,播放時(shí)需要?jiǎng)討B(tài)決定的就是此二頂點(diǎn)坐標(biāo)。至于該檢測(cè)表中的數(shù)據(jù),除非投影緩沖區(qū)40大小改變(表示視平面大小有改變),否則根本不須更新。
      圖5是一個(gè)本發(fā)明的電腦播放系統(tǒng)結(jié)構(gòu)示意圖。在此播放系統(tǒng)中,使用者利用一輸入裝置60(如鼠標(biāo)或鍵盤)來(lái)作其視角方向控制,或作鏡頭拉近或拉遠(yuǎn)的動(dòng)作。而此圖像虛擬現(xiàn)實(shí)的環(huán)境圖42(圖4)被儲(chǔ)存在外部存儲(chǔ)裝置62(例如硬碟機(jī))中,在起始時(shí),此全景環(huán)境圖42會(huì)被存入視頻存儲(chǔ)器64中。微處理器68負(fù)責(zé)計(jì)算和查詢檢測(cè)表中的數(shù)據(jù),而此檢測(cè)表存儲(chǔ)于系統(tǒng)存儲(chǔ)器70中,并被上述反扭曲程序所使用。另外,還有一個(gè)視頻處理器66負(fù)責(zé)接收檢測(cè)表送來(lái)的數(shù)據(jù),以及從微處理器68來(lái)的指令,處理視頻存儲(chǔ)器中的數(shù)據(jù),并將合成的圖像顯示于屏幕上。在本系統(tǒng)中,投影緩沖區(qū)40為視頻存儲(chǔ)器64中的一塊并非屏幕顯示緩沖區(qū)域65,而視平面(或屏幕72)則為視頻存器64中的一塊并非屏幕顯示緩沖區(qū)域65,而視平面(或屏幕72)則為視頻存儲(chǔ)器64上另外一塊屏幕顯示位元對(duì)應(yīng)區(qū)域67。
      參見(jiàn)圖6,從投影緩沖區(qū)40映射至環(huán)境圖42的形狀如該圖所示,在投影緩沖區(qū)40中的每一垂直掃描線43對(duì)應(yīng)于環(huán)境圖42中一投影部分42a的一條垂直掃描線45。由于此映射形狀不變,所以如果要作水平方向的視角方向移動(dòng),則只要在作投影緩沖區(qū)40至環(huán)境圖42的映射中,加上一個(gè)水平方向的位移即可。投影緩沖區(qū)40與環(huán)境圖42間的映射關(guān)系,以及視平面50與投影緩沖區(qū)40間映射關(guān)系可用基本的幾何學(xué)計(jì)算求得,如下面所示可推得此二者映射關(guān)系,假設(shè)投影緩沖區(qū)40上的像素點(diǎn)坐標(biāo)以(x,)表示,而環(huán)境圖42的像素點(diǎn)坐標(biāo)以(u,v)表示,則(u,v)與(x,y)間的關(guān)系為u=rtan-1(xr)----(1)]]>y=yr/x2+r2----(2)]]>其中r為圓柱的半徑。
      參考圖7,投影緩沖區(qū)40上的像素點(diǎn)坐標(biāo)(x,y)與視平面上的像素點(diǎn)坐標(biāo)(x′,y′)間的關(guān)系如下
      其中d表示觀測(cè)點(diǎn)至視平面間的距離的水平分量,而φ則為抬頭或低頭的仰角。根據(jù)以上說(shuō)明,我們可以將本發(fā)明的反扭曲過(guò)程以下面的方塊圖表示環(huán)境圖像--+ 投影緩沖區(qū)-- →視平面(u,v)映射關(guān)系 (x,y)映射關(guān)系由式 (x′,y′)由式(1)及 (3)求得;在播放式(2)求得;時(shí),實(shí)時(shí)計(jì)算對(duì)應(yīng)矩并在計(jì)算后, 形區(qū)域的左上及右下建立一一檢測(cè)表 頂點(diǎn)。
      本發(fā)明扭曲程序如果用更高性能的視頻處理器將更能發(fā)揮特長(zhǎng),因?yàn)檫@些高性能的視頻處理器,一般都能運(yùn)用繪圖卡的高速存儲(chǔ)區(qū)塊搬移或復(fù)制的硬件加速功能(BITBLT,bit block transfer),如圖5所示的快速存儲(chǔ)器區(qū)塊搬移或復(fù)制的硬件裝置69。而且它們還允許存儲(chǔ)區(qū)塊在搬移或復(fù)制后的大小不一樣,也就是說(shuō)它們可做快速的圖像放大或縮小。此外,由于視頻處理器與中央微處理器間是可以獨(dú)立工作的,因此,在視頻處理器在做存儲(chǔ)區(qū)域的搬移或復(fù)制時(shí),不會(huì)占用到微處理器內(nèi)數(shù)據(jù)總線的頻寬,因此微處理器仍然可以繼續(xù)其他的計(jì)算工作。
      為了合理利用視頻處理器的快速區(qū)塊搬移功能,本發(fā)明改進(jìn)了先前的以垂直掃描線為單位的查表法技術(shù)。參考圖8,先前技術(shù)將所有垂直掃描線80的起始及終止位置存入檢測(cè)表中,但在大部分的情況下,許多相鄰的垂直掃描線都會(huì)有相同或接近的起始位置及終止位置,對(duì)與這些起始及終止位置相同或接近的相鄰垂直掃描線,我們可以將它們集合起來(lái)形成一個(gè)矩形塊82。所以,在本發(fā)明的檢測(cè)表中,記錄的不是垂直掃描線的位置,而是這些矩形塊82的位置。因此,本發(fā)明的檢測(cè)表大小較先前技術(shù)所用的查表小,而且記錄的矩形區(qū)更適合于視頻處理器中的區(qū)塊搬移或復(fù)制硬件69的處理。
      本發(fā)明的檢測(cè)表中所記錄的矩形塊的寬度大小,將影響所合成的圖像質(zhì)量,寬度越小,則所需的矩形塊相對(duì)也增多,也就會(huì)有較佳的圖像質(zhì)量。但在有些時(shí)候,圖像質(zhì)量并不一定很重要,例如使用者在作快速的視角方向變換時(shí),他們可能希望能有較快的播放速度,以便他們會(huì)快速將視線移至所要看的部分,此時(shí),圖像質(zhì)量并非極為重要。因此,本發(fā)明會(huì)根據(jù)使用者的視角方向變換速度來(lái)改變垂直掃描線合并的規(guī)則,合并出較大但較少的矩形塊以得到更快的播放速度。相反地,如果使用者視角度變換速度變慢時(shí),本發(fā)明則會(huì)自動(dòng)合并出較小但較多的矩形塊來(lái)提高圖像質(zhì)量。
      目前本發(fā)明用來(lái)群組或合并相鄰掃描線的方法,是由一可變門檻值T來(lái)決定,假設(shè)第一條垂直掃描線的起始和終止位置為V1和V2則將接續(xù)其后的垂直掃描線均組群或合并為一矩形塊,直到找到一條垂直掃描的起始位置(或終止位置)與V1(或V2)相差超過(guò)T值、才將此垂直掃描視為下一個(gè)矩形塊的第一條掃描線。以此垂直掃描線為基準(zhǔn),將起始及終止位置與此垂直掃描線相差都不超過(guò)T值的后續(xù)掃描線均合并入同一矩形塊。其余掃描線的合并依此類推。因此,如果要做動(dòng)態(tài)圖像質(zhì)量的自動(dòng)調(diào)節(jié),只要?jiǎng)討B(tài)改變T值即可。要注意的是,T值改變,則檢測(cè)表須重新計(jì)算。如果不作動(dòng)態(tài)圖像質(zhì)量調(diào)節(jié),則本發(fā)明的檢測(cè)表只在變動(dòng)視平面大小時(shí)才須重新計(jì)算,否則數(shù)據(jù)都不需更新。
      參考圖9A及9B,對(duì)一長(zhǎng)2976像素點(diǎn),寬768像素點(diǎn)的柱狀環(huán)境像90而言,可求得圓柱半徑為2976/2π=473.6像素點(diǎn)。假設(shè)視平面大小為800×600像素,所以投影緩沖區(qū)92的大小為800×768像素。接著,依據(jù)前述的建表方法,我們建立一檢測(cè)表94,其數(shù)據(jù)結(jié)構(gòu)如圖9C所示。此表中記錄著合并出來(lái)的矩形塊98(見(jiàn)圖9A)的位置數(shù)據(jù)96,以及這些合并后的矩形塊98對(duì)映至投影緩沖區(qū)的矩形塊99(見(jiàn)圖9B)的位置數(shù)據(jù)100。而動(dòng)態(tài)圖像質(zhì)量控制參數(shù)、門檻值T,可被設(shè)為任何大于或等于0的值。
      上述的描述只是用來(lái)輔助說(shuō)明本發(fā)明的主旨,更可利用本發(fā)明原理以不同的實(shí)施例實(shí)踐。
      權(quán)利要求
      1.一種全景圖像式虛擬現(xiàn)實(shí)實(shí)時(shí)播放方法,可以從全景圖像上映射一被選部分的圖像到一視平面,而合成任一視角畫(huà)面,此方法至少包含提供一個(gè)包含復(fù)數(shù)個(gè)代表全景圖像的像素值的環(huán)境圖;從該環(huán)境圖,將代表環(huán)境圖像中一被選的第一區(qū)域的第一部分圖像像素值,映射至一投影緩沖區(qū);從該投影緩沖區(qū),將該第一部分中的第二部分的圖像像素值映射至一視平面上,該第二部分像素值代表全景圖像中欲播放的區(qū)域;及最后將視平面上的圖像顯示在屏幕上。
      2.如權(quán)利要求1所述的圖像播放方法,其中所述的環(huán)境圖為,將拍攝的照片利用貼圖技術(shù)貼于一圓柱形曲面上,并將該投影緩沖區(qū)置于與圓柱正切且和使用者視線垂直的位置,該投影緩沖區(qū)的中心點(diǎn)高度與觀測(cè)位置(圓柱的幾何中心)等高。
      3.如權(quán)利要求2所述的圖像播放方法,其中所述的復(fù)數(shù)個(gè)代表全景圖像的像素值劃分成第一復(fù)數(shù)條掃描線,所述的代表全景圖像中該被選上的第一區(qū)域的第一部分圖像像素值劃分成第二復(fù)數(shù)條掃描線,且該第一部分中的第二部分的圖像像素值劃分成第三復(fù)數(shù)條掃描線。
      4.如權(quán)利要求3所述的圖像播放方法,其中所述的映射第一部分中的第二部分圖像像素值的步驟,包含計(jì)算每一該第二復(fù)數(shù)條掃描線的起始及終止位置。
      5.如權(quán)利要求4所述的圖像播放方法,其中所述的第二復(fù)數(shù)條掃描線合并成一第一矩形塊,且所述的第三復(fù)數(shù)條掃描線合并成一較該第一矩形塊小的第二矩形塊。
      6.如權(quán)利要求5所述的圖像播放方法,其中所述的映射代表全景圖像中一被選的第一區(qū)域的第一部分的圖像像素值的步驟,包含產(chǎn)生一檢測(cè)表,該檢測(cè)表用來(lái)存儲(chǔ)每一該第二復(fù)數(shù)條掃描線的起始及終止位置。
      7.如權(quán)利要求5所述的圖像播放方法,其中所述的映射代表全景圖像中一被選的第一區(qū)域的第一部分的圖像像素值的步驟,包含產(chǎn)生一檢測(cè)表,該檢測(cè)表用來(lái)存儲(chǔ)被群組過(guò)的該第二復(fù)數(shù)條掃描線的相鄰掃描線所合并成的矩形塊的位置。
      8.如權(quán)利要求7所述的圖像播放方法,其中所述的第二復(fù)數(shù)條掃描線的群組方式,是將具有相同的起始或終止位置的相鄰掃描線加從以組群成為矩形塊。
      9.如權(quán)利要求7所述的圖像播放方法,其中所述的第二復(fù)數(shù)條掃描線的群組內(nèi)相鄰掃描線數(shù)目是由一可變門檻值T來(lái)動(dòng)態(tài)決定,將起始或終止位置差值小于T值的相鄰掃描線加以組群成為矩形塊。
      10.一種全景圖像式虛擬現(xiàn)實(shí)實(shí)時(shí)播放系統(tǒng),可以從全景圖像上映射一被選部分的圖像至一視平面,而合成任一視角畫(huà)面,此系統(tǒng)至少包含一視頻存儲(chǔ)器,用以存儲(chǔ)一包含復(fù)數(shù)個(gè)代表全景圖像的像素值的環(huán)境圖,一代表投影緩沖區(qū)的第一位元對(duì)映區(qū)域,及一代表視平面的第二位元對(duì)映區(qū)域;一輸入裝置,用來(lái)讓使用者控制其視角方向,標(biāo)出要看的某一第一部分全景圖像;一微處理器,用來(lái)做像素點(diǎn)位置坐標(biāo)系統(tǒng)的轉(zhuǎn)換計(jì)算,負(fù)責(zé)將代表被選的全景圖像區(qū)域的第一部分圖像像素值,映射至該第一位元對(duì)映區(qū)域;一視頻處理器,根據(jù)微處理器的指令,將該第一部分圖像像素點(diǎn)中的第二部分圖像像素點(diǎn),映射至該第二位元對(duì)映區(qū)域;及一顯示裝置,顯示映射的第二部分圖像。
      11.如權(quán)利要求10所述的圖像播放系統(tǒng),其中所述的環(huán)境圖為,將拍攝的照片利用貼圖技術(shù)貼于一圓柱形曲面上,并將該投影緩沖區(qū)置于與圓柱正切且和使用者視線垂直的位置,該投影緩沖區(qū)的中心點(diǎn)高度與觀測(cè)位置(圓柱的幾何中心)等高。
      12.如權(quán)利要求11所述的圖像播放系統(tǒng),其中所述的復(fù)數(shù)個(gè)代表全景圖像的像素值劃分成第一復(fù)數(shù)條掃描線,所述的代表全景圖像中該被選上的第一區(qū)域的第一部分圖像像素值劃分成第二復(fù)數(shù)條掃描線,且該第一部分中的第二部分的圖像像素值劃分成第三復(fù)數(shù)條掃描線。
      13.如權(quán)利要求12所述的圖像播放系統(tǒng),其中所述的微處理器計(jì)算每一該第二復(fù)數(shù)條掃描線的起始及終止位置,并將第二復(fù)數(shù)條掃描線合并成一第一矩形塊,且將第三復(fù)數(shù)條掃描線合并成一較該第一矩形塊小的第二矩形塊。
      14.如權(quán)利要求13所述的圖像播放系統(tǒng),其中所述的微處理器映射復(fù)數(shù)圖像像素值時(shí),產(chǎn)生一用來(lái)存儲(chǔ)每一該第二復(fù)數(shù)條掃描線的起始及終止點(diǎn)位置的檢測(cè)表。
      15.如權(quán)利要求13所述的圖像播放系統(tǒng),其中所述的微處理器映射復(fù)數(shù)圖像像素值時(shí)會(huì)產(chǎn)生一檢測(cè)表,該檢測(cè)表用來(lái)存儲(chǔ)被群組過(guò)的該第二復(fù)數(shù)條掃描線的相鄰掃描線所合并成的矩形塊的位置。
      16.如權(quán)利要求15所述的圖像播放系統(tǒng),其中所述的第二復(fù)數(shù)條掃描線的群組方式,是將具有相同的起始或終止位置的相鄰掃描線加以組群成為矩形塊。
      17.如權(quán)利要求15所述的圖像播放系統(tǒng),其中所述的第二復(fù)數(shù)條掃描線的群組內(nèi)相鄰掃描線數(shù)目是由一可變門檻值T來(lái)動(dòng)態(tài)決定,將起始或終止位置差值小于T值的相鄰掃描線加以組群成為矩形塊。
      18.如權(quán)利要求11所述的圖像播放系統(tǒng),其中該視頻處理器包含一存儲(chǔ)器區(qū)塊快速搬移及復(fù)制的硬件裝置。
      全文摘要
      本發(fā)明提供可以從全景圖像上映射一部分圖像至矩形視平面,從而合成任一視角畫(huà)面的方法和裝置。本方法的特點(diǎn)是計(jì)算量小,因此可以達(dá)到實(shí)時(shí)播放的速度。本發(fā)明使用到一包含復(fù)數(shù)像素點(diǎn)的全景圖像(即前述的柱狀環(huán)境圖)、一投影緩沖區(qū)、以及一視平面。其主要執(zhí)行過(guò)程為先將全景圖像上某一選定區(qū)域的復(fù)數(shù)像素點(diǎn),投影至投影緩沖區(qū)上,再?gòu)拇送队熬彌_區(qū)的某一區(qū)域的像素點(diǎn),映射至視平面上,而此視平面上的像素點(diǎn)即構(gòu)成所要的合成圖像。
      文檔編號(hào)G06T3/00GK1225541SQ9810406
      公開(kāi)日1999年8月11日 申請(qǐng)日期1998年2月6日 優(yōu)先權(quán)日1998年2月6日
      發(fā)明者江政欽, 謝君偉, 程治 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院
      網(wǎng)友詢問(wèn)留言 已有0條留言
      • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
      1