街景圖像過(guò)渡方法和裝置制造方法
【專利摘要】本發(fā)明提供了一種街景圖像過(guò)渡方法和裝置。所述方法包括：獲取原始街景圖像和目標(biāo)街景圖像；對(duì)所述原始街景圖像進(jìn)行三維建模得到對(duì)應(yīng)的三維模型；獲取從所述原始街景圖像和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)所述特征點(diǎn)匹配對(duì)在所述三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列；通過(guò)所述街景圖像序列由所述原始街景圖像切換至目標(biāo)街景圖像。所述裝置包括街景圖像獲取模塊、建模模塊、相機(jī)模擬模塊和切換模塊。采用本發(fā)明能提高街景圖像過(guò)渡的穩(wěn)定性。
【專利說(shuō)明】街景圖像過(guò)渡方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)，特別是涉及一種街景圖像過(guò)渡方法和裝置。
【背景技術(shù)】
[0002]街景(Streetview)漫游是電子地圖中的一項(xiàng)重要功能，為人們提供了一個(gè)足不出戶即可身臨其境地感受當(dāng)前所查看的地方。電子地圖中人們通過(guò)點(diǎn)擊街景模式的按鈕即可進(jìn)入街景漫游，查看所選地點(diǎn)的全景圖像。
[0003]在街景漫游過(guò)程中，用戶在某一時(shí)刻所看到的只是全景圖像中的某一部分，當(dāng)觸發(fā)前往下一地點(diǎn)的指令時(shí)，下一地點(diǎn)所對(duì)應(yīng)的全景圖像將被加載，進(jìn)而從當(dāng)前全景圖像中的某一部分過(guò)渡到下一地點(diǎn)所對(duì)應(yīng)的全景圖像中的某一部分。
[0004]傳統(tǒng)的過(guò)渡方法是直接通過(guò)互聯(lián)網(wǎng)絡(luò)從服務(wù)器向用戶傳輸并播放預(yù)先錄制的影片，然而，這一基于服務(wù)器和互聯(lián)網(wǎng)絡(luò)的過(guò)渡方法將受到網(wǎng)絡(luò)帶寬、服務(wù)器存儲(chǔ)空間狀況等眾多因素的影響，無(wú)法保證街景圖像過(guò)渡的穩(wěn)定性。

【發(fā)明內(nèi)容】

[0005]基于此，有必要針對(duì)街景圖像過(guò)渡缺乏穩(wěn)定性的問(wèn)題，提供一種能提高穩(wěn)定性的街景圖像過(guò)渡方法。
[0006]此外，還有必要提供一種能提高穩(wěn)定性的街景圖像過(guò)渡裝置。
[0007]一種街景圖像過(guò)渡方法，包括如下步驟:
[0008]獲取原始街景圖像和目標(biāo)街景圖像；
[0009]對(duì)所述原始街景圖像進(jìn)行三維建模得到對(duì)應(yīng)的三維模型；
[0010]獲取從所述原始街景圖像和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)所述特征點(diǎn)匹配對(duì)在所述三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列；
[0011 ] 通過(guò)所述街景圖像序列由所述原始街景圖像切換至目標(biāo)街景圖像。
[0012]一種街景圖像過(guò)渡裝置，包括:
[0013]街景圖像獲取模塊，用于獲取原始街景圖像和目標(biāo)街景圖像；
[0014]建模模塊，用于對(duì)所述原始街景圖像進(jìn)行三維建模得到對(duì)應(yīng)的三維模型；
[0015]相機(jī)模擬模塊，用于獲取從所述原始街景圖像和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)所述特征點(diǎn)匹配對(duì)在所述三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列；
[0016]切換模塊，用于通過(guò)所述街景圖像序列由所述原始街景圖像切換至目標(biāo)街景圖像。
[0017]上述街景圖像過(guò)渡方法和裝置，獲取原始街景圖像和目標(biāo)街景圖像，對(duì)原始街景圖像進(jìn)行三維建模得到對(duì)應(yīng)的三維模型，獲取從原始街景圖像和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)該特征點(diǎn)匹配對(duì)在三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列，進(jìn)而通過(guò)街景圖像序列實(shí)現(xiàn)原始街景圖像至目標(biāo)街景圖像的過(guò)渡，不需要從通過(guò)互聯(lián)網(wǎng)絡(luò)從服務(wù)器中獲取預(yù)先錄制的過(guò)度影片，只需要通過(guò)原始街景圖像和目標(biāo)街景圖像即可在本地快速地生成用于過(guò)渡的街景圖像序列，屏蔽了各種因素的影響，提高了街景圖像過(guò)渡的穩(wěn)定性。
【專利附圖】

【附圖說(shuō)明】
[0018]圖1為一個(gè)實(shí)施例中街景圖像過(guò)渡方法的流程圖；
[0019]圖2為圖1中獲取原始街景圖像和目標(biāo)街景圖像的方法流程圖；
[0020]圖3為一個(gè)實(shí)施例中全景圖像截取的示意圖；
[0021]圖4為圖1中對(duì)原始街景圖像進(jìn)行三維建模得到對(duì)應(yīng)的三維模型的方法流程圖；
[0022]圖5為一個(gè)實(shí)施例中對(duì)原始街景圖像構(gòu)建長(zhǎng)方盒模型的示意圖；
[0023]圖6為一個(gè)實(shí)施例中長(zhǎng)方盒模型的示意圖；
[0024]圖7為圖5中檢測(cè)原始街景圖像中的道路延伸方向的方法流程圖；
[0025]圖8為另一個(gè)實(shí)施例中街景圖像過(guò)渡方法的流程圖；
[0026]圖9為一個(gè)實(shí)施例中獲取從原始街景圖像和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)特征點(diǎn)匹配對(duì)在三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列的方法流程圖；
[0027]圖10為一個(gè)實(shí)施例中通過(guò)街景圖像序列由原始街景圖像切換至目標(biāo)街景圖像的方法流程圖；
[0028]圖11為一個(gè)實(shí)施例中街景圖像過(guò)渡方法的應(yīng)用示意圖；
[0029]圖12為一個(gè)實(shí)施例中街景圖像過(guò)渡裝置的結(jié)構(gòu)示意圖；
[0030]圖13為圖12中街景圖像獲取模塊的結(jié)構(gòu)示意圖；
[0031]圖14為圖12中建模模塊的結(jié)構(gòu)示意圖；
[0032]圖15為另一個(gè)實(shí)施例中街景過(guò)渡裝置的結(jié)構(gòu)示意圖；
[0033]圖16為一個(gè)實(shí)施例中相機(jī)模擬模塊的結(jié)構(gòu)示意圖；
[0034]圖17為一個(gè)實(shí)施例中切換模塊的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0035]如圖1所示，在一個(gè)實(shí)施例中，一種街景圖像過(guò)渡方法，包括如下步驟:
[0036]步驟S110,獲取原始街景圖像和目標(biāo)街景圖像。
[0037]本實(shí)施例中，原始街景圖像為顯示窗口當(dāng)前所顯示的街景圖像，目標(biāo)街景圖像是期望加載并顯示的街景圖像。例如，原始街景圖像和目標(biāo)街景圖像對(duì)應(yīng)了兩個(gè)緊鄰的地點(diǎn)，用戶在顯示窗口中瀏覽原始街景圖像，對(duì)原始街景圖像觸發(fā)前往下一地點(diǎn)的指令時(shí)，即將加載并顯示于顯示窗口中的街景圖像即為目標(biāo)街景圖像。
[0038]步驟S130，對(duì)原始街景圖像進(jìn)行三維建模得到對(duì)應(yīng)的三維模型。
[0039]本實(shí)施例中，構(gòu)建原始街景圖像的三維模型，通過(guò)構(gòu)建的三維模型可以獲知原始街景圖像中每一點(diǎn)的幾何信息。
[0040]步驟S150，獲取從原始街景圖像和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)特征點(diǎn)匹配對(duì)在三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列。
[0041]本實(shí)施例中，每一特征點(diǎn)匹配對(duì)均包括了原始街景圖像中的某一特征點(diǎn)以及目標(biāo)街景圖像中的特征點(diǎn)，其中，目標(biāo)街景圖像中的特征點(diǎn)是與原始街景圖像中的特征點(diǎn)相匹配的。
[0042]根據(jù)特征點(diǎn)匹配對(duì)在三維模型中模擬虛擬相機(jī)，并移動(dòng)虛擬相機(jī)，以攝取得到街景圖像序列，該街景圖像序列包括了攝取得到的一系列街景圖像。
[0043]步驟S170，通過(guò)街景圖像序列由原始街景圖像切換至目標(biāo)街景圖像。
[0044]本實(shí)施例中，以原始街景圖像為起始，逐幀播放街景圖像序列，在顯示窗口中--
展示街景圖像序列所包含的街景圖像，進(jìn)而實(shí)現(xiàn)原始街景圖像到目標(biāo)街景圖像的順暢過(guò)渡，向用戶展示自然順暢的原始街景圖像到目標(biāo)街景圖像之間的變換過(guò)程。
[0045]如圖2所示,在一個(gè)實(shí)施例中，上述步驟SllO包括:
[0046]步驟S111，獲取原始街景圖像所在的第一全景圖像和目標(biāo)街景圖像所在的第二全景圖像。
[0047]本實(shí)施例中，全景圖像是拍攝設(shè)備于某一固定點(diǎn)進(jìn)行360度拍攝得到的，街景圖像是單次拍攝得到的圖像，成為全景圖像的組成部分，多個(gè)街景圖像集合在一起便可拼接得到全景圖像。
[0048]步驟S113，分別對(duì)第一全景圖像和第二全景圖像進(jìn)行截取得到原始街景圖像和目標(biāo)街景圖像。 [0049]本實(shí)施例中，如圖3所示，在第一全景圖像301中截取出合適的一部分作為原始街景圖像303，在第二全景圖像305中截取出合適的一部分作為目標(biāo)街景圖像307。
[0050]在一個(gè)實(shí)施例中，上述步驟SI 13的過(guò)程為:
[0051]根據(jù)顯示窗口的尺寸設(shè)置像平面尺寸，并按照像平面尺寸截取得到第一全景圖像上的第一像平面和第二全景圖像上的第二像平面，即原始街景圖像和目標(biāo)街景圖像。
[0052]本實(shí)施例中，顯示窗口用于向用戶展示圖像畫(huà)面，例如，顯示窗口為瀏覽器窗口。
[0053]按照設(shè)定的像平面尺寸對(duì)第一全景圖像和第二全景圖像進(jìn)行截取，以得到第一像平面和第二像平面，該第一像平面即為原始街景圖像，第二像平面即為目標(biāo)街景圖像。
[0054]在優(yōu)選的實(shí)施例中，為保證圖像過(guò)渡的準(zhǔn)確性，像平面尺寸將大于顯示窗口的尺寸，例如，若顯示窗口的尺寸為(W，H)，則(AW，λΗ)為像平面尺寸，其中，λ為大于I的數(shù)值，例如，通常設(shè)置為2或者更大的數(shù)值。
[0055]設(shè)置像平面尺寸大于顯示窗口的尺寸，以使得從全景圖像上截取得到的像平面大于用戶所實(shí)際看到的圖像大小，進(jìn)而使得用戶從當(dāng)前顯示的街景圖像后退到上一張街景圖像時(shí)，也能夠準(zhǔn)確順暢地實(shí)現(xiàn)過(guò)渡。
[0056]在一個(gè)實(shí)施例中，上述按照像平面尺寸截取得到第一全景圖像上的第一像平面和第二全景圖像上的第二像平面的具體過(guò)程為:
[0057]將第一全景圖像和第二全景圖像投影至球的內(nèi)表面，并按照像平面尺寸分別進(jìn)行截取得到原始街景圖像和目標(biāo)街景圖像。
[0058]本實(shí)施例中，分別對(duì)第一全景圖像和第二全景圖像進(jìn)行投影，并對(duì)投影的第一全景圖像和第二全景圖像進(jìn)行截取，以得到第一像平面和第二像平面，以及顯示的像素值，第一像平面和第二像平面即為第一全景圖像和第二全景圖像中某一視角某一方向上的局部圖像，即原始街景圖像和目標(biāo)街景圖像。
[0059]進(jìn)行投影之后再截取得到原始街景圖像和目標(biāo)街景圖像，可有效避免圖像中出現(xiàn)明顯扭曲的情況發(fā)生。
[0060]進(jìn)一步的，分別將第一全景圖像和第二全景圖像置于投影球內(nèi)，其中，該投影球的周長(zhǎng)將與全景圖的寬相近似或者相同。在將第一像平面或第二像平面置于投影球內(nèi)時(shí)，將像平面與球心之間的距離設(shè)置為焦距f，通過(guò)從球心出發(fā)經(jīng)過(guò)像平面各點(diǎn)的射線與球面的交點(diǎn)即可得到該像平面所對(duì)應(yīng)的圖像顯示的像素值。
[0061]如圖4所示,在一個(gè)實(shí)施例中，上述步驟S130包括:
[0062]步驟S131，檢測(cè)原始街景圖像中的道路延伸方向。
[0063]本實(shí)施例中，對(duì)原始街景圖像中的景物進(jìn)行檢測(cè)，以得到原始街景圖像中道路所對(duì)應(yīng)的延伸方向。
[0064]步驟S133，將道路延伸方向與長(zhǎng)方盒模型的內(nèi)矩形相匹配，以道路延伸方向?qū)?yīng)的消失點(diǎn)為原點(diǎn)構(gòu)建原始街景圖像中的長(zhǎng)方盒模型。
[0065]本實(shí)施例中，原始街景圖像所在的三維模型為長(zhǎng)方盒模型，將道路延伸方向與長(zhǎng)方盒模型的內(nèi)矩形相匹配，使得原始街景圖像中道路延伸方向上的景物置于內(nèi)矩形上，并根據(jù)道路延伸方向確定消失點(diǎn)，以消失點(diǎn)作為長(zhǎng)方盒模型的原點(diǎn)。消失點(diǎn)為原始街景圖像中道路一直延伸至無(wú)窮遠(yuǎn)時(shí)匯聚成的點(diǎn)，道路兩邊的延長(zhǎng)線相交的位置即為消失點(diǎn)。
[0066]進(jìn)一步的，如圖5所示，將原始街景圖像劃分為五個(gè)區(qū)域，這五個(gè)區(qū)域分別是:內(nèi)矩形、左側(cè)面(左墻)、右側(cè)面(右墻)、底面和頂端。由于原始街景圖像中街景整體可被近似為一個(gè)長(zhǎng)方盒，即，如圖6所示，可將原始街景圖像中的道路對(duì)應(yīng)長(zhǎng)方盒模型中的底面，將原始街景圖像中道路兩旁的建筑分別對(duì)應(yīng)長(zhǎng)方盒模型中的左側(cè)面和右側(cè)面，將原始街景圖像中的天空對(duì)應(yīng)長(zhǎng)方盒模型中的頂端，而線段QD和PC相交到點(diǎn)0，該點(diǎn)即為消失點(diǎn)，此時(shí)，虛擬相機(jī)在原點(diǎn)所攝取到的圖像將與原始街景圖像相一致，并且若虛擬相機(jī)在長(zhǎng)方盒模型中脫離原點(diǎn)移動(dòng)至新的視點(diǎn)時(shí)，將會(huì)得到在三維效果，保證了通過(guò)虛擬相機(jī)和長(zhǎng)方盒模型所攝取得到的圖像的真實(shí)性和準(zhǔn)確性。
[0067]如圖7所示，在一個(gè)實(shí)施例中，上述步驟S131包括:
[0068]步驟S1311，檢測(cè)原始街景圖像中的輪廓線，提取強(qiáng)度最強(qiáng)的水平輪廓線作為地平線。
[0069]本實(shí)施例中，輪廓是只保留圖像中梯度變化的部分，通常呈線條狀，即輪廓線，例如，圖像中某個(gè)物體和背景相接觸的邊緣梯度變化很劇烈，因此能夠從圖像中檢測(cè)得到所擁有的輪廓線。
[0070]檢測(cè)原始街景圖像的輪廓，以得到水平方向上強(qiáng)度最大的水平輪廓線，進(jìn)而將這一水平輪廓線設(shè)置為地平線。在優(yōu)選的實(shí)施例中，將按照從上到下的順序查看原始街景圖像中水平方向上輪廓線的強(qiáng)度。
[0071]步驟S1313，遍歷地平線上的點(diǎn)與原始街景圖像底邊的連線，將連線方向上輪廓線強(qiáng)度最強(qiáng)的兩個(gè)方向構(gòu)成道路延伸方向。
[0072]本實(shí)施例中，依次遍歷地平線上的點(diǎn)與原始街景圖像底邊的連線，連線方向上輪廓線強(qiáng)度最強(qiáng)的兩個(gè)方向即為道路兩側(cè)的延伸方向，即道路延伸方向。
[0073]如圖8所示，在另一個(gè)實(shí)施例中，上述步驟S150之前還包括如下步驟:
[0074]步驟S210，分別在原始街景圖像和目標(biāo)街景圖像中提取特征點(diǎn)。
[0075]本實(shí)施例中，提取的特征點(diǎn)可以選用SIFT (Scale Invariant FeatureTransform)特征點(diǎn)，或者其它的特征點(diǎn),在此不做限定。
[0076]步驟S230，在長(zhǎng)方盒模型中設(shè)置遮罩，以保留長(zhǎng)方盒模型中位于兩側(cè)的特征點(diǎn)。
[0077]本實(shí)施例中，為了使得街景圖像中提取得到的特征點(diǎn)以及后續(xù)的處理更為適用于街景圖像，在長(zhǎng)方盒模型中設(shè)置遮罩，只保留長(zhǎng)方盒模型中位于左側(cè)面和右側(cè)面的特征點(diǎn)，以提高后續(xù)匹配特征點(diǎn)的速度和效率。
[0078]步驟S250，將保留的特征點(diǎn)與目標(biāo)街景圖像中提取的特征點(diǎn)進(jìn)行匹配，以得到特征點(diǎn)匹配對(duì)。
[0079]本實(shí)施例中，對(duì)特征點(diǎn)進(jìn)行匹配，以得到原始街景圖像和目標(biāo)街景圖像中特征點(diǎn)之間的匹配關(guān)系，進(jìn)而形成特征點(diǎn)匹配對(duì)。
[0080]進(jìn)一步的，在得到原始街景圖像和目標(biāo)街景圖像的特征點(diǎn)之后，可采用RANSAC(Random Sample Consensus)算法進(jìn)行特征點(diǎn)匹配,也可采用其它的特征點(diǎn)匹配算法,在此不做限定。
[0081]進(jìn)一步的，在通過(guò)RANSAC算法進(jìn)行特征點(diǎn)匹配之后，將得到原始街景圖像中的特征點(diǎn)和目標(biāo)街景圖像中的特征點(diǎn)之間的匹配關(guān)系以及對(duì)應(yīng)的單應(yīng)矩陣H，應(yīng)用得到的特征點(diǎn)匹配對(duì)數(shù)目和單應(yīng)矩陣H評(píng)價(jià)當(dāng)前匹配的效果，即，判斷特征點(diǎn)匹配對(duì)數(shù)量是否達(dá)到閾值，并判斷單應(yīng)矩陣中的旋轉(zhuǎn)分量是否小于設(shè)定的旋轉(zhuǎn)閾值，若特征點(diǎn)匹配對(duì)數(shù)目小于閾值和旋轉(zhuǎn)分量超出設(shè)定的 旋轉(zhuǎn)閾值均認(rèn)為匹配的效果較差，需要重新進(jìn)行特征點(diǎn)的匹配。例如，經(jīng)過(guò)RANSAC算法所得到的特征點(diǎn)匹配對(duì)數(shù)目通常在10~40個(gè)，若當(dāng)前所得到的特征點(diǎn)匹配對(duì)數(shù)目少于閾值6，則說(shuō)明匹配結(jié)果差。
[0082]如圖9所示,在一個(gè)實(shí)施例中，上述步驟S150包括:
[0083]步驟S151，獲取通過(guò)匹配原始街景圖像和目標(biāo)街景圖像中的特征點(diǎn)所得到的特征點(diǎn)匹配對(duì)。
[0084]步驟S153，獲取特征點(diǎn)匹配對(duì)在三維模型中的幾何信息，通過(guò)最小二乘法計(jì)算得到虛擬相機(jī)的移動(dòng)參數(shù)。
[0085]本實(shí)施例中，特征點(diǎn)匹配對(duì)在三維模型中的幾何信息即為特征點(diǎn)在三維模型的坐標(biāo)。特征點(diǎn)匹配對(duì)中，來(lái)自于原始街景圖像的特征點(diǎn)和來(lái)自于目標(biāo)街景圖像的特征點(diǎn)是相同或者相近似的兩個(gè)點(diǎn)，因此這兩個(gè)特征點(diǎn)所對(duì)應(yīng)的幾何信息將是相同的，即相同的位置坐標(biāo)。
[0086]利用街景圖像變換前后特征點(diǎn)在三維模型中位置不變的特征，根據(jù)俯視圖的幾何關(guān)系得到如下方程:
[0087]
【權(quán)利要求】
1.一種街景圖像過(guò)渡方法，包括如下步驟: 獲取原始街景圖像和目標(biāo)街景圖像； 對(duì)所述原始街景圖像進(jìn)行三維建模得到對(duì)應(yīng)的三維模型； 獲取從所述原始街景圖像和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)所述特征點(diǎn)匹配對(duì)在所述三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列； 通過(guò)所述街景圖像序列由所述原始街景圖像切換至目標(biāo)街景圖像。
2.根據(jù)權(quán)利要求1所述的街景圖像過(guò)渡方法，其特征在于，所述獲取原始街景圖像和目標(biāo)街景圖像的步驟包括: 獲取所述原始街景圖像所在的第一全景圖像和所述目標(biāo)街景圖像所在的第二全景圖像； 分別對(duì)所述第一全景圖像和第二全景圖像進(jìn)行截取得到所述原始街景圖像和目標(biāo)街景圖像。
3.根據(jù)權(quán)利要求2所述的街景圖像過(guò)渡方法，其特征在于，所述分別對(duì)所述第一全景圖像和第二全景圖像進(jìn)行截取得到所述原始街景圖像和目標(biāo)街景圖像的步驟包括:根據(jù)顯示窗口的尺寸設(shè)置像平面尺寸，并按照所述像平面尺寸截取得到所述第一全景圖像上的第一像平面和第二全景圖像上的第二像平面，即為原始街景圖像和目標(biāo)街景圖像。所述像平面尺寸大于所述顯示窗口的尺寸。
4.根據(jù)權(quán)利要求3所述的街景圖像過(guò)渡方法，其特征在于，所述按照所述像平面尺寸截取得到第一全景圖像上的第一像平面和第二全景圖像上的第二像平面，即為原始街景圖像和目標(biāo)街景圖像的步驟為: 將所述第一全景圖像和第二全景圖像投影至球的內(nèi)表面，并按照所述像平面尺寸分別進(jìn)行截取得到原始街景圖像和目標(biāo)街景圖像。
5.根據(jù)權(quán)利要求1所述的街景圖像過(guò)渡方法，其特征在于，所述對(duì)所述原始街景圖像進(jìn)行三維建模得到對(duì)應(yīng)的三維模型的步驟包括: 檢測(cè)所述原始街景圖像中的道路延伸方向； 將所述道路延伸方向與長(zhǎng)方盒模型的內(nèi)矩形相匹配，以所述道路延伸方向?qū)?yīng)的消失點(diǎn)為原點(diǎn)構(gòu)建所述原始街景圖像中的長(zhǎng)方盒模型。
6.根據(jù)權(quán)利要求5所述的街景圖像過(guò)渡方法，其特征在于，所述檢測(cè)所述原始街景圖像中的道路延伸方向的步驟包括: 檢測(cè)原始街景圖像中的輪廓線，提取強(qiáng)度最強(qiáng)的水平輪廓線作為地平線； 遍歷地平線上的點(diǎn)與原始街景圖像底邊的連線，將連線方向上輪廓線強(qiáng)度最強(qiáng)的兩個(gè)方向構(gòu)成所述道路延伸方向。
7.根據(jù)權(quán)利要求5所述的街景圖像過(guò)渡方法，其特征在于，所述獲取從所述原始街景圖像和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)所述特征點(diǎn)匹配對(duì)在所述三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列的步驟之前還包括: 分別在所述原始街景圖像和目標(biāo)街景圖像中提取特征點(diǎn)； 在所述長(zhǎng)方盒模型中設(shè)置遮罩，以保留長(zhǎng)方盒模型中位于兩側(cè)的特征點(diǎn)； 將所述保留的特征點(diǎn)與所述目標(biāo)街景圖像中提取的特征點(diǎn)進(jìn)行匹配，以得到特征點(diǎn)匹配對(duì)。
8.根據(jù)權(quán)利要求1所述的街景圖像過(guò)渡方法，其特征在于，所述獲取從原始街景和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)所述特征點(diǎn)匹配對(duì)在所述三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列的步驟包括: 獲取通過(guò)匹配原始街景圖像和目標(biāo)街景圖像中的特征點(diǎn)所得到的特征點(diǎn)匹配對(duì)； 獲取特征點(diǎn)匹配對(duì)在三維模型中的幾何信息，通過(guò)最小二乘法計(jì)算得到虛擬相機(jī)的移動(dòng)參數(shù)； 根據(jù)所述移動(dòng)參數(shù)在所述三維模型中移動(dòng)虛擬相機(jī)，并攝取得到街景圖像序列。
9.根據(jù)權(quán)利要求1所述的街景圖像過(guò)渡方法，其特征在于，所述通過(guò)所述街景圖像序列由所述原始街景圖像切換至目標(biāo)街景圖像的步驟包括: 將所述街景圖像序列生成過(guò)渡動(dòng)畫(huà)； 播放所述過(guò)渡動(dòng)畫(huà)，并由所述過(guò)渡動(dòng)畫(huà)漸變出所述目標(biāo)街景圖像。
10.一種街景圖像過(guò)渡裝置，其特征在于，包括: 街景圖像獲取模塊，用于獲取原始街景圖像和目標(biāo)街景圖像； 建模模塊，用于對(duì)所述原始街景圖像進(jìn)行三維建模得到對(duì)應(yīng)的三維模型； 相機(jī)模擬模塊，用于獲取從所述原始街景圖像和目標(biāo)街景圖像中提取得到的特征點(diǎn)匹配對(duì)，根據(jù)所述特征點(diǎn)匹配對(duì)在所述三維模型中進(jìn)行虛擬相機(jī)模擬，以攝取得到街景圖像序列； 切換模塊，用于通過(guò)所述街景圖像序列由所述原始街景圖像切換至目標(biāo)街景圖像。
11.根據(jù)權(quán)利要求10所述的街景圖像過(guò)渡裝置，其特征在于，所述街景圖像獲取模塊包括: 全景圖像獲取單元，用于獲取所述原始街景圖像所在的第一全景圖像和所述目標(biāo)街景圖像所在的第二全景圖像； 圖像截取單元，用于分別對(duì)所述第一全景圖像和第二全景圖像進(jìn)行截取得到所述原始街景圖像和目標(biāo)街景圖像。
12.根據(jù)權(quán)利要求11所述的街景圖像過(guò)渡裝置，其特征在于，所述圖像截取單元還用于根據(jù)顯示窗口的尺寸設(shè)置像平面尺寸，并按照所述像平面尺寸截取得到所述第一全景圖像上的第一像平面和第二全景圖像上的第二像平面，即為原始街景圖像和目標(biāo)街景圖像； 所述像平面尺寸大于所述顯示窗口的尺寸。
13.根據(jù)權(quán)利要求11所述的街景圖像過(guò)渡裝置，其特征在于，所述圖像截取單元還用于將第一全景圖像和第二全景圖像投影至球的內(nèi)表面，并按照所述像平面尺寸分別進(jìn)行截取得到原始街景圖像和目標(biāo)街景圖像。
14.根據(jù)權(quán)利要求10所述的街景圖像過(guò)渡裝置，其特征在于，所述建模模塊包括: 方向檢測(cè)單元，用于檢測(cè)所述原始街景圖像中的道路延伸方向； 長(zhǎng)方盒模型構(gòu)建單元，用于將所述道路延伸方向與長(zhǎng)方盒模型的內(nèi)矩形相匹配，以所述道路延伸方向?qū)?yīng)的消失點(diǎn)為原點(diǎn)構(gòu)建所述原始街景圖像中的長(zhǎng)方盒模型。
15.根據(jù)權(quán)利要求14所述的街景圖像過(guò)渡裝置，其特征在于，所述方向檢測(cè)單元還用于檢測(cè)原始街景圖像中的輪廓線，提取強(qiáng)度最強(qiáng)的水平輪廓線作為地平線，遍歷地平線上的點(diǎn)與原始街景圖像底邊的連線，將連線方向上輪廓線強(qiáng)度最強(qiáng)的兩個(gè)方向構(gòu)成所述道路延伸方向。
16.根據(jù)權(quán)利要求14所述的街景過(guò)渡裝置，其特征在于，還包括: 提取模塊，用于分別在所述原始街景圖像和目標(biāo)街景圖像中提取特征點(diǎn)； 遮罩模塊，用于在所述長(zhǎng)方盒模型中設(shè)置遮罩，以保留長(zhǎng)方盒模型中位于兩側(cè)的特征占.匹配模塊，用于將所述保留的特征點(diǎn)與所述目標(biāo)街景圖像中提取的特征點(diǎn)進(jìn)行匹配，以得到特征點(diǎn)匹配對(duì)。
17.根據(jù)權(quán)利要求10所述的街景圖像過(guò)渡裝置，其特征在于，所述相機(jī)模擬模塊包括: 匹配對(duì)獲取單元，用于獲取通過(guò)匹配原始街景圖像和目標(biāo)街景圖像中的特征點(diǎn)所得到的特征點(diǎn)匹配對(duì)； 運(yùn)算單元，用于獲取特征點(diǎn)匹配對(duì)在三維模型中的幾何信息，通過(guò)最小二乘法計(jì)算得到虛擬相機(jī)的移動(dòng)參數(shù)； 攝取單元，用于根據(jù)所述移動(dòng)參數(shù)在所述三維模型中移動(dòng)虛擬相機(jī)，并攝取得到街景圖像序列。
18.根據(jù)權(quán)利要求10所述的街景圖像過(guò)渡裝置，其特征在于，所述切換模塊包括: 動(dòng)畫(huà)生成單元，用于將所述街景圖像序列生成過(guò)渡動(dòng)畫(huà)； 播放單元，用于播放所述過(guò)渡動(dòng)畫(huà)，并由所述過(guò)渡動(dòng)畫(huà)漸變出所述目標(biāo)街景圖像。
【文檔編號(hào)】G06T7/00GK103971399SQ201310037566
【公開(kāi)日】2014年8月6日 申請(qǐng)日期:2013年1月30日 優(yōu)先權(quán)日:2013年1月30日
【發(fā)明者】徐昆, 王建宇, 李保利, 李成軍, 黃浩智 申請(qǐng)人:深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司, 清華大學(xué)