用于對場景的交互視圖導(dǎo)航的綜合分組的制作方法
【專利說明】
【背景技術(shù)】
[0001]許多用戶可以使用諸如數(shù)字?jǐn)z像機、平板設(shè)備、移動設(shè)備、智能電話等之類的各種不同的設(shè)備來創(chuàng)建圖像數(shù)據(jù)。例如，用戶可以在度假的同時使用移動電話捕獲描繪海濱的一組圖像。該用戶可以將該組圖像組織為影集、基于云的照片共享流、可視化等等。在可視化的示例中，該組圖像可以被拼接(Stitch)在一起以創(chuàng)建由該組圖像所描繪的場景的全景。在另一個可視化的示例中，該組圖像可以被用來創(chuàng)建旋轉(zhuǎn)電影。不幸的是，由于從各種不同觀察點(viewpoint)描繪場景的該組圖像，所以對可視化進行的導(dǎo)航可以是非直覺的和/或過于復(fù)雜的。

【發(fā)明內(nèi)容】

[0002]本
【發(fā)明內(nèi)容】
被提供來以簡化的形式介紹在下文【具體實施方式】中被進一步描述的概念的選擇。本
【發(fā)明內(nèi)容】
不是旨在識別所要求保護的主題的關(guān)鍵因素或必要特征，也不是旨在被用來限制所要求保護的主題的范圍。
[0003]除了別的之外，用于生成綜合分組(synch packet)和/或用于通過利用該綜合分組提供交互視圖導(dǎo)航體驗的一個或多個系統(tǒng)和/或技術(shù)在本文中被提供。
[0004]在生成綜合分組的某些實施例中，與描繪場景的一組輸入圖像相關(guān)聯(lián)的導(dǎo)航模型可以被識別。該導(dǎo)航模型可以對應(yīng)于與被用來捕獲該組輸入圖像的攝像機的位置信息和/或旋轉(zhuǎn)信息相關(guān)聯(lián)的捕獲模式。例如，捕獲模式可以對應(yīng)于輸入圖像從中被捕獲的一個或多個觀察點。在示例中，用戶可以在每隔幾英尺對建筑物正面進行拍照的同時沿著街道步行，其可以對應(yīng)于掃射(strafe)捕獲模式。在另一個示例中，用戶可以在對雕像進行拍照的同時以圓周運動繞著該雕像步行，其可以對應(yīng)于旋轉(zhuǎn)(spin)捕獲模式。
[0005]根據(jù)導(dǎo)航模型所構(gòu)造(structured)的本地圖可以被構(gòu)建(construct)。本地圖可以指定在該組圖像內(nèi)的相應(yīng)的輸入圖像之間的關(guān)系信息。例如，本地圖可以包括表示第一輸入圖像的第一節(jié)點以及表示第二輸入圖像的第二節(jié)點。第一邊緣可以基于指示第二圖像具有與第一圖像的關(guān)系(例如，用戶可能已經(jīng)拍攝了雕像的第一圖像、走了幾英尺并且然后拍攝了該雕像的第二圖像，以使得該場景的當(dāng)前視圖可以從第一圖像被可視地導(dǎo)航到第二圖像)的導(dǎo)航模型在第一節(jié)點和第二節(jié)點之間被創(chuàng)建。第一邊緣可以表示在第一輸入圖像和第二輸入圖像之間的平移(translat1nal)視圖信息，其可以被用來從第一圖像以及第二圖像所貢獻的圖像數(shù)據(jù)來生成場景的平移視圖。在另一個示例中，導(dǎo)航模型可以指示第三圖像是從距離拍攝第一圖像以及第二圖像的觀察點充分遠的觀察點而被拍攝的(即，用戶在拍攝第三圖像之前可能必須繞雕像步行半圈)。因此，在本地圖內(nèi)第一節(jié)點和第二節(jié)點可以不被連接到表示第三圖像的第三節(jié)點，這是由于從第一圖像或者第二圖像可視地導(dǎo)航到第三圖像可能導(dǎo)致各種不同的可視質(zhì)量問題(例如，模糊、跳躍、對場景的不正確描繪、接縫線、和/或其他可視的錯誤)。
[0006]包括該組輸入圖像以及本地圖的綜合分組可以被生成。本地圖可以被用來在對場景(例如，可視化)的交互視圖導(dǎo)航期間在該組輸入圖像之間進行導(dǎo)航。用戶可以能夠使用交互視圖導(dǎo)航輸入(例如，變換成場景的當(dāng)前視圖的直接操縱的在觸摸設(shè)備上的一個或多個手勢)連續(xù)地在一維空間和/或二維空間中對場景進行導(dǎo)航。與在單獨輸入圖像之間進行導(dǎo)航相對，場景的交互視圖導(dǎo)航可以作為單個可導(dǎo)航的可視化(例如，全景、繞著對象的旋轉(zhuǎn)電影、沿著走廊移動等)而對用戶出現(xiàn)。在某些實施例中，綜合分組包括攝像機姿勢集合(pose manifold)(例如，場景從其中被觀看的視圖視角(perspective))、粗略幾何構(gòu)型(geometry)(例如，一個或多個輸入圖像可以被投影在其上的場景的表面的多維度表示)，和/或其他圖像信息。
[0007]在提供交互視圖導(dǎo)航體驗的某些實施例中，綜合分組包括一組輸入圖像、攝像機姿勢集合、粗略幾何構(gòu)型以及本地圖。交互視圖導(dǎo)航體驗可以顯示一組輸入圖像(例如，雕像的面部視圖)所描繪的場景的一個或多個當(dāng)前視圖。交互視圖導(dǎo)航體驗可以允許用戶基于交互視圖導(dǎo)航輸入來連續(xù)地和/或無縫地在多維空間中對該場景進行導(dǎo)航。例如，與在單獨的輸入圖像之間可視地轉(zhuǎn)換相對，用戶可以可視地繞著雕像步行好像該雕像的場景是單個多維可視化一樣。交互視圖導(dǎo)航體驗可以基于導(dǎo)航在綜合分組內(nèi)的本地圖而被提供。例如，響應(yīng)于接收到交互視圖導(dǎo)航輸入，本地圖可以基于交互視圖導(dǎo)航輸入而從第一部分(例如，第一節(jié)點或者第一邊緣)被導(dǎo)航到(例如，遍歷(traverse))第二部分(例如，第二節(jié)點或者第二邊緣)(例如，從表示描繪雕像的面部的第一圖像的第一節(jié)點導(dǎo)航到表示描繪雕像左側(cè)的第二圖像的第二節(jié)點)。該場景的當(dāng)前視圖(例如，雕像的面部視圖)可以被轉(zhuǎn)換到對應(yīng)于本地圖的第二部分的場景的新的當(dāng)前視圖(例如，雕像的左側(cè)的視圖)。在節(jié)點和/或邊緣之間的轉(zhuǎn)換可以被變換成對該場景的無縫的三維導(dǎo)航。
[0008]為了實現(xiàn)前述和相關(guān)目標(biāo)，下面的說明書和附圖闡述某些說明性的方面以及實現(xiàn)方式。這些僅僅指示了可以以其使用一個或多個方面的各種不同的方式中的一些方式。當(dāng)結(jié)合附圖一起考慮時，本公開的其他方面、優(yōu)點以及新穎的特征將從下文的【具體實施方式】中變得顯然。
【附圖說明】
[0009]圖1是圖示了生成綜合分組的示例性方法的流程圖。
[0010]圖2是一維導(dǎo)航模型的示例。
[0011]圖3是二維導(dǎo)航模型的示例。
[0012]圖4是圖示了用于生成綜合分組的示例性系統(tǒng)的組件框圖。
[0013]圖5是在輸入圖像捕獲期間為攝像機提供建議的攝像機位置的示例。
[0014]圖6是圖示了利用綜合分組提供交互視圖導(dǎo)航體驗的示例性方法的流程圖。
[0015]圖7是圖示了用于通過使用綜合分組提供諸如場景的可視化之類的交互視圖導(dǎo)航體驗的示例性系統(tǒng)的組件框圖。
[0016]圖8是示例性計算設(shè)備可讀介質(zhì)的圖示，其中被配置來包括本文所闡述的規(guī)定中的一個或多個規(guī)定(provis1n)的處理器可執(zhí)行指令可以被包括。
[0017]圖9圖示了示例性計算環(huán)境，其中本文所闡述的規(guī)定中的一個或多個規(guī)定可以被實現(xiàn)。
【具體實施方式】
[0018]現(xiàn)在，參考附圖來描述所要求保護的主題，其中相同的附圖標(biāo)記一般被用來在全文中指代相同的元件。在下面的說明書中，為了解釋的目的，眾多特定的細(xì)節(jié)被闡述以便提供對要求保護的主題的理解。但是，顯然的是，要求保護的主題可以在沒有這些特定細(xì)節(jié)的情況下而被實踐。在其他示例中，結(jié)構(gòu)和設(shè)備以框圖的形式被圖示，以促進對要求保護的主題的描述。
[0019]圖1的示例性方法圖示了生成綜合分組的實施例。在102處，方法開始。一組輸入圖像可以從各種不同的觀察點來描繪場景(例如，房屋的外部)。在104處，與該組輸入圖像相關(guān)聯(lián)的導(dǎo)航模型可以被識別。在示例中，導(dǎo)航模型可以基于用戶對導(dǎo)航模型的選擇而被識別(例如，一個或多個潛在的導(dǎo)航模型可以被呈現(xiàn)給用戶以用于作為導(dǎo)航模型的選擇)。在另一個示例中，導(dǎo)航模型可以基于該組輸入圖像而被自動生成。例如，攝像機姿勢集合可以基于該組輸入圖像而被估計(例如，可以根據(jù)該組輸入圖像而構(gòu)建的房屋的各種不同的視圖視角)。粗略的幾何構(gòu)型基于該組輸入圖像而被構(gòu)建(例如，基于來自運動過程的結(jié)構(gòu)，基于深度信息等等)。粗略的幾何構(gòu)型可以包括該場景的表面的多維表示(例如，房屋的三維表示，其可以通過將該組輸入圖像投影到粗略的幾何構(gòu)型而被織構(gòu)化(textured)以便生成具有諸如顏色值之類的紋理信息的織構(gòu)化粗略幾何構(gòu)型)。導(dǎo)航模型可以基于攝像機姿勢集合以及粗略幾何構(gòu)型而被識別。導(dǎo)航模型可以指示在輸入圖像之間的關(guān)系信息(例如，第一圖像是從描繪房屋的前門部分的第一視圖視角被拍攝的，并且第一圖像是與從第二視圖視角而被拍攝的第二圖像相關(guān)的，所述第二視圖視角是距離第一視圖視角幾英尺遠，描繪了從前門部分稍微偏移的房屋的前部)。
[0020]因為該組輸入圖像可能不以所期望的質(zhì)量和/或分辨率描繪場景的每個方面，所以從導(dǎo)航模型以及一個或多個之前捕獲的輸入圖像導(dǎo)出的建議的攝像機位置可以在輸入圖像的捕獲期間被提供以用于包括在該組輸入圖像內(nèi)。建議的攝像機位置可以對應(yīng)于沒有被一個或多個之前捕獲的輸入圖像描繪的場景的視圖。例如，導(dǎo)航模型可以對應(yīng)于旋轉(zhuǎn)捕獲模式，其中用戶在對房屋拍照的同時繞著房屋步行。但是，用戶可能尚未充分捕獲該房屋的第二層的側(cè)視圖，其可以基于旋轉(zhuǎn)捕獲模式以及該房屋的一個或多個之前所捕獲的輸入圖像而被識別。相應(yīng)地，對應(yīng)于第二層側(cè)視圖的建議的攝像機位置可以被提供。在另一個