專利名稱：顯示控制設(shè)備、顯示控制方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及顯示控制設(shè)備、顯示控制方法和程序。
背景技術(shù)：
常規(guī)回放顯示和菲林膠巻顯示(film roll display)可用作顯示利用諸如視頻相 機(jī)之類的成像裝置所拾取并且攝錄下來(lái)的運(yùn)動(dòng)圖像的視頻顯示方法。常規(guī)回放顯示方法將 通過(guò)沿時(shí)間軸t從頭開始依次再現(xiàn)其攝錄下來(lái)的運(yùn)動(dòng)圖像來(lái)顯示視頻(成像屏幕的x軸和 y軸)。用戶可以通過(guò)觀看這樣常規(guī)地再現(xiàn)的視頻來(lái)把握成像內(nèi)容(imaged content)，但是 需要相當(dāng)長(zhǎng)一段時(shí)間。為了減少時(shí)間，一種方法可用于在回放顯示中使運(yùn)動(dòng)圖像快進(jìn)，但是 在某一程度上仍然需要一段時(shí)間以便在整體上把握運(yùn)動(dòng)圖像的成像內(nèi)容。
另一方面，菲林膠巻顯示方法將以預(yù)定時(shí)間間隔從攝錄下來(lái)的運(yùn)動(dòng)圖像中選擇 多個(gè)幀圖像并且按時(shí)間順序依次將幀圖像顯示為縮略圖像(例如，見(jiàn)日本專利申請(qǐng)?zhí)亻_ 2007-134771號(hào)公報(bào)和特開2008-166988號(hào)公報(bào))。根據(jù)菲林膠巻顯示方法，如果從以列表 顯示的縮略圖像中選擇任意一個(gè)縮略圖像，則也可以通過(guò)從與該縮略圖像相對(duì)應(yīng)的回放位 置開始常規(guī)地再現(xiàn)這些運(yùn)動(dòng)圖像來(lái)顯示它們。根據(jù)這樣的菲林膠巻顯示，用戶可以比常規(guī) 回放顯示更容易地在整體上理解運(yùn)動(dòng)圖像的成像內(nèi)容。

發(fā)明內(nèi)容
然而，在菲林膠巻顯示方法的情況中，如果拾取縮略圖像的時(shí)間間隔太短，則用戶 需要觀看許多縮略圖像因而花費(fèi)長(zhǎng)時(shí)間來(lái)把握成像內(nèi)容。另一方面，如果時(shí)間間隔太長(zhǎng)，則 縮略圖像之間的相互關(guān)系減少，因此使得用戶難以把握成像內(nèi)容。此外，通過(guò)菲林膠巻顯示 方法，縮略圖像僅按時(shí)間順序被布置在兩維平面上，所以很難理解例如拍攝時(shí)成像裝置的 位置以及該成像裝置與拍攝對(duì)象之間的相對(duì)位置關(guān)系之類的成像狀況。 已經(jīng)鑒于以上問(wèn)題做出了本發(fā)明，并且希望提供能夠以易于理解的方式顯示所拾 取的運(yùn)動(dòng)圖像的拾取內(nèi)容和成像狀況的、新穎和改進(jìn)的顯示控制設(shè)備、顯示控制方法和程序。 根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種顯示控制設(shè)備，包括存儲(chǔ)單元，該存儲(chǔ)單 元存儲(chǔ)通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作所拾取的運(yùn)動(dòng)圖像；顯示圖像生成單 元，該顯示圖像生成單元在布置了所述運(yùn)動(dòng)圖像中所包含的物體的三維模型的虛擬三維空 間中，將從運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像畫到這些縮略圖像被拾取時(shí)成像裝置的相應(yīng) 位置上，并且在虛擬三維空間中畫出按照縮略圖像被拾取的順序來(lái)關(guān)聯(lián)縮略圖像的信息， 從而生成鳥瞰顯示圖像，該鳥瞰顯示圖像提供對(duì)包含三維模型和所述縮略圖像的所述虛擬 三維空間的鳥瞰繪圖；以及顯示控制單元，所述顯示控制單元使得所述顯示單元顯示所述 鳥瞰顯示圖像。 該存儲(chǔ)單元可以存儲(chǔ)運(yùn)動(dòng)軌跡信息作為運(yùn)動(dòng)圖像的附加信息，運(yùn)動(dòng)軌跡信息表示 成像裝置在拾取所述運(yùn)動(dòng)圖像時(shí)成像裝置的運(yùn)動(dòng)軌跡；并且該顯示圖像生成單元可基于運(yùn)動(dòng)軌跡信息在虛擬三維空間中縮略圖像被拾取時(shí)成像裝置的相應(yīng)位置處畫出縮略圖像。
按照縮略圖像被拾取的順序關(guān)聯(lián)縮略圖像的信息可以是表示成像裝置在拾取運(yùn) 動(dòng)圖像時(shí)成像裝置的運(yùn)動(dòng)軌跡的運(yùn)動(dòng)軌跡線，并且該顯示圖像生成單元可基于運(yùn)動(dòng)軌跡 信息、以按照縮略圖像被拾取的順序連接縮略圖像的方式在虛擬三維空間中畫出運(yùn)動(dòng)軌跡 線。 顯示圖像生成單元可以根據(jù)縮略圖之間的運(yùn)動(dòng)圖像的內(nèi)容或成像狀況、以各種線 的類型畫出連接縮略圖像的運(yùn)動(dòng)軌跡線。 顯示圖像生成單元可以將表示所述縮略圖像中的至少一些縮略圖像的內(nèi)容或成 像狀況的替換圖像畫到所述縮略圖像的繪圖位置來(lái)替代所述縮略圖像。 顯示圖像生成單元可以根據(jù)虛擬三維空間中的縮略圖像的繪圖位置來(lái)改變要被 畫出的縮略圖像的大??；并且如果要被畫出的縮略圖像的大小是預(yù)定的大小或更小，則可 以畫出替換圖像來(lái)替代所述縮略圖像。 顯示圖像生成單元可以在元數(shù)據(jù)與縮略圖像相關(guān)聯(lián)的條件下，在虛擬三維空間中 畫出有關(guān)縮略圖像的元數(shù)據(jù)。 顯示控制設(shè)備還可以包括圖像編輯單元，該圖像編輯單元響應(yīng)于對(duì)顯示單元中所
示出的鳥瞰顯示圖像中的三維模型或縮略圖像的用戶操作來(lái)編輯運(yùn)動(dòng)圖像。 顯示控制設(shè)備還可以包括圖像編輯單元，該圖像編輯單元響應(yīng)于顯示單元中所示
出的鳥瞰顯示圖像中的角度的指定，生成在所指定的角度觀看到的運(yùn)動(dòng)圖像。 顯示控制設(shè)備還可以包括圖像檢索單元，該圖像檢索單元檢索包含與從所述顯示
單元上所顯示的鳥瞰顯示圖像中選出的三維模型相同或相似的三維模型或與該三維模型
相對(duì)應(yīng)的物體的圖像。 根據(jù)本發(fā)明另一實(shí)施例，提供了一種顯示控制方法，包括以下步驟將從運(yùn)動(dòng)圖像 中提取出的多個(gè)縮略圖像畫到虛擬三維空間中所述縮略圖像被拾取時(shí)成像裝置的相應(yīng)位 置上，運(yùn)動(dòng)圖像是通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作所拾取的，運(yùn)動(dòng)圖像中所包 含的物體的三維模型被布置在虛擬三維空間中，并且在虛擬三維空間中畫出按照縮略圖像 被拾取的順序關(guān)聯(lián)縮略圖像的信息，從而生成鳥瞰顯示圖像，鳥瞰顯示圖像提供對(duì)包含三 維模型和所述縮略圖像的虛擬三維空間的鳥瞰繪圖；以及使得顯示單元顯示所述鳥瞰顯示 圖像。 根據(jù)本發(fā)明另一實(shí)施例，提供了 一種程序，使得計(jì)算機(jī)執(zhí)行以下步驟將從運(yùn)動(dòng)圖 像中提取出的多個(gè)縮略圖像畫到虛擬三維空間中所述縮略圖像被拾取時(shí)成像裝置的相應(yīng) 位置上，運(yùn)動(dòng)圖像是通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作所拾取的，運(yùn)動(dòng)圖像中所 包含的物體的三維模型被布置在虛擬三維空間中，并且在虛擬三維空間中畫出按照縮略圖 像被拾取的順序關(guān)聯(lián)縮略圖像的信息，從而生成鳥瞰顯示圖像，鳥瞰顯示圖像提供對(duì)包含 三維模型和所述縮略圖像的虛擬三維空間的鳥瞰繪圖；以及使得顯示單元顯示所述鳥瞰顯 示圖像。 根據(jù)以上配置，在顯示通過(guò)成像裝置的一系列成像操作所拾取的運(yùn)動(dòng)圖像中所包 含的物體的三維模型的虛擬三維空間中，從所述運(yùn)動(dòng)圖像中所提取的多個(gè)縮略圖像被畫到 這些縮略圖像被拾取時(shí)其相應(yīng)的成像裝置的位置處。此外，按照縮略圖像被拾取的順序關(guān) 聯(lián)縮略圖像的信息被畫出。結(jié)果，提供對(duì)包含三維模型和縮略圖像的虛擬三維空間的鳥瞰繪圖的鳥瞰顯示圖像被生成。此外，鳥瞰顯示圖像被顯示在顯示單元上。因此，通過(guò)使用一
個(gè)圖像來(lái)適當(dāng)?shù)乇硎具\(yùn)動(dòng)圖像的拾取內(nèi)容和成像狀況的鳥瞰顯示圖像可以被顯示。 因此，根據(jù)本發(fā)明，可以以其內(nèi)容和成像狀況能夠被容易地把握的方式來(lái)顯示所
拾取的運(yùn)動(dòng)圖像。


圖1示出顯示了根據(jù)本發(fā)明的一個(gè)實(shí)施例的鳥瞰顯示圖像的顯示裝置； 圖2示出顯示了根據(jù)該實(shí)施例的常規(guī)回放顯示圖像的顯示裝置； 圖3示出顯示了根據(jù)該實(shí)施例的菲林膠巻顯示圖像的顯示裝置； 圖4示出根據(jù)本發(fā)明第一實(shí)施例的顯示鳥瞰顯示圖像的成像裝置； 圖5是示出根據(jù)該實(shí)施例的成像裝置的硬件結(jié)構(gòu)的框圖； 圖6是示出根據(jù)該實(shí)施例的成像裝置的功能結(jié)構(gòu)的框圖； 圖7是示出根據(jù)該實(shí)施例的用于顯示鳥瞰顯示圖像的方法的流程圖； 圖8示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例1 ; 圖9示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例2 ; 圖10示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例3 ; 圖11示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例4 ; 圖12示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例5 ; 圖13示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例6 ; 圖14示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例7 ; 圖15示出根據(jù)本發(fā)明第二實(shí)施例的顯示鳥瞰顯示圖像的信息處理設(shè)備； 圖16是示出根據(jù)該實(shí)施例的信息處理設(shè)備的硬件結(jié)構(gòu)的框圖； 圖17是示出根據(jù)該實(shí)施例的信息處理設(shè)備的功能結(jié)構(gòu)的框圖； 圖18示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例1 ; 圖19示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例2 ; 圖20示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例3 ; 圖21示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例4 ; 圖22示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例5 ;以及 圖23示出根據(jù)該實(shí)施例的鳥瞰顯示圖像的顯示示例6。
具體實(shí)施例方式
以下，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在說(shuō)明書和附圖中，用相 同的標(biāo)號(hào)表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)說(shuō) 明。 將按以下順序給出描述。
1.鳥瞰顯示的概覽 2.第一實(shí)施例(在通過(guò)成像裝置成像時(shí)的鳥瞰顯示) 3.第二實(shí)施例(在通過(guò)信息處理設(shè)備進(jìn)行回放時(shí)的鳥瞰顯示) 〈1.鳥瞰顯示的概覽>
首先，將參考圖1給出對(duì)根據(jù)本發(fā)明第一實(shí)施例的鳥瞰顯示的概覽的描述。圖1
示出顯示裝置1的示例，在顯示裝置1上顯示根據(jù)本實(shí)施例的鳥瞰顯示圖像3。 根據(jù)本實(shí)施例的鳥瞰顯示是一種視頻顯示方法，其用于在利用成像裝置所拾取的
視頻(運(yùn)動(dòng)圖像)被顯示在顯示裝置l上時(shí)，輔助用戶把握該視頻的拾取內(nèi)容和成像狀況。 如圖1中所示，在顯示裝置1的顯示屏幕2上，顯示鳥瞰顯示圖像3。鳥瞰顯示圖
像3是示意性地表示通過(guò)成像裝置的一系列成像操作拾取的成像圖像的內(nèi)容的靜止圖像。
一系列成像操作例如是指從成像裝置上的成像開始按鈕被按下的時(shí)間點(diǎn)到成像裝置上的
成像停止按鈕被按下的時(shí)間點(diǎn)(即，"lrec")連續(xù)地拾取對(duì)象的運(yùn)動(dòng)圖像。通過(guò)執(zhí)行這一
系列成像操作，運(yùn)動(dòng)圖像數(shù)據(jù)被獲得作為一個(gè)成像單元，并且之后通常被記錄在記錄介質(zhì)
中作為一個(gè)文件。鳥瞰顯示圖像3用作被用來(lái)把握通過(guò)這一系列成像操作拾取的運(yùn)動(dòng)圖像
的整體的數(shù)據(jù)的內(nèi)容和成像狀況的索引圖像。 具體而言，如圖1中所示，鳥瞰顯示圖像3提供虛擬三維空間6的鳥瞰繪圖，虛擬 三維空間6包括所拾取的運(yùn)動(dòng)圖像中的物體的三維模型4和從該運(yùn)動(dòng)圖像提取的多個(gè)縮略 圖像5。虛擬三維空間6示意性地表示由成像裝置成像的現(xiàn)實(shí)世界(reality)的三維空間 (成像范圍中的對(duì)象)。在虛擬三維空間6中，所拾取的運(yùn)動(dòng)圖像中所包含的物體的三維模 型4被布置在現(xiàn)實(shí)世界的三維空間中的相應(yīng)位置。 物體是指所拾取的運(yùn)動(dòng)圖像中所包含的目標(biāo)(即，成像范圍內(nèi)存在的某些對(duì)象)。 被表示為三維模型4的物體例如可以是諸如東西、人、交通工具或建筑物之類的任意有形 實(shí)體，但是優(yōu)選地應(yīng)至少具有一定的大小，以被顯示為在虛擬三維空間6中能夠被容易地 理解的某些事物。這樣的物體的三維模型4可以被布置為與現(xiàn)實(shí)世界的三維空間中存在的 成像物體具有幾乎相同的形狀、幾乎相同的位置并且在幾乎相同的方向上。在圖1的鳥瞰 顯示圖像3的示例中，小學(xué)的健身房被表示為虛擬三維空間6，而成像時(shí)存在的多個(gè)桌子4a 和一個(gè)舞臺(tái)4b被顯示為物體的三維模型4。 此外，在鳥瞰顯示圖像3的虛擬三維空間6中，從運(yùn)動(dòng)圖像中提取的多個(gè)縮略圖像 5被畫到當(dāng)縮略圖像5被拾取時(shí)它們相應(yīng)的、成像裝置的位置和方向上?？s略圖像5是通 過(guò)成像裝置的一系列成像操作而被拾取并且攝錄下來(lái)的運(yùn)動(dòng)圖像的數(shù)據(jù)中提取的幀圖像 (靜止圖像)。在從運(yùn)動(dòng)圖像中提取縮略圖像的一種方法中，可以以預(yù)定的時(shí)間間隔從運(yùn)動(dòng) 圖像提取預(yù)定數(shù)目的縮略圖像5。此外，在不將成像裝置從固定位置移開的情況下拾取的縮 略圖像或具有良好圖像質(zhì)量的縮略圖像可以從運(yùn)動(dòng)圖像中被選擇并且被提取出。因此，可 以將要顯示在鳥瞰顯示圖像3上的縮略圖像5限制為適當(dāng)?shù)臄?shù)目。因此，將在鳥瞰顯示圖 像3中畫出許多縮略圖像5從而防止復(fù)雜和多余的顯示。 在圖1的示例中，在虛擬三維空間6中按照?qǐng)D像被拾取的順序畫出5個(gè)縮略圖像 5a、5b、5c、5d和5e?？s略圖像5a_5e被布置在分別與縮略圖像5a_5e被拾取時(shí)成像裝置的 實(shí)際位置和方向相對(duì)應(yīng)的位置和方向上。例如，運(yùn)動(dòng)圖像中開頭的縮略圖像5a(第一縮略 圖像5a)被布置在與成像裝置的成像開始位置相對(duì)應(yīng)的位置，S卩，朝向用戶并且在虛擬三 維空間6的左側(cè)。此外，縮略圖像5a被布置在縮略圖像5a被拾取時(shí)成像裝置的方向(從 成像開始位置朝向舞臺(tái)的三維模型4b的方向)上。 此外，縮略圖像5在虛擬三維空間6中以如下方式按照透視法被畫出，即以它們?cè)?虛擬三維空間6中可朝向前方較大、朝向后方較小的方式。例如，第一縮略圖像5a和第五縮略圖像5e是從朝向前方的實(shí)際成像位置被拾取的，并且因此在虛擬三維空間6中被畫成 朝向你擴(kuò)大。另一方面，第三縮略圖像5c是從朝向最后方(朝向舞臺(tái))的實(shí)際成像位置被 拾取的，并且因此在虛擬三維空間6中被畫成朝向后方縮小。 以這種方式，縮略圖像5在虛擬三維空間6中被以如下方式畫出，即以它們的位 置、方向和大小可與它們被拾取時(shí)它們相應(yīng)的、成像裝置的位置和方向相對(duì)應(yīng)。
并且，在虛擬三維空間6中，成像裝置的運(yùn)動(dòng)軌跡線7被以依次互連多個(gè)縮略圖像 5的方式畫出。運(yùn)動(dòng)軌跡線7是如下信息的示例，該信息按照?qǐng)D像被拾取的順序關(guān)聯(lián)多個(gè)縮 略圖像5并且表示成像裝置實(shí)際拾取運(yùn)動(dòng)圖像時(shí)成像裝置的運(yùn)動(dòng)軌跡。運(yùn)動(dòng)軌跡線7按照 圖像被拾取的順序沿時(shí)間序列互連多個(gè)縮略圖像5并且沿成像裝置的實(shí)際運(yùn)動(dòng)路徑(即， 成像位置)被畫出。通過(guò)畫出這樣的運(yùn)動(dòng)軌跡線7，可以恰當(dāng)?shù)乇硎究s略圖像5的相互關(guān)系 和拾取位置。因此，基于運(yùn)動(dòng)軌跡線7，用戶可以容易地理解縮略圖像5被拾取的順序以及 成像裝置在拾取運(yùn)動(dòng)圖像時(shí)成像裝置的運(yùn)動(dòng)軌跡。注意，盡管沒(méi)有詳細(xì)描述，但是運(yùn)動(dòng)軌跡 線7是基于利用成像裝置上所安裝的各個(gè)傳感器獲得的成像位置信息來(lái)畫出的。
以這樣的方式，在鳥瞰顯示圖像3和布置了所拾取的運(yùn)動(dòng)圖像中所包含的物體的 三維模型4的虛擬三維空間6中，從該運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像5被畫到成像時(shí) 它們相應(yīng)的、成像裝置的位置和方向上。然后，提供包含縮略圖像5和這樣的物體的三維模 型4的虛擬三維空間6的鳥瞰繪圖的鳥瞰顯示圖像3被生成并且被顯示在顯示裝置1的顯 示屏幕2上。因此，在虛擬三維空間6中，鳥瞰顯示圖像3可以在實(shí)際拾取的運(yùn)動(dòng)圖像的縮 略圖像5與運(yùn)動(dòng)圖像中出現(xiàn)的物體的三維模型4相關(guān)聯(lián)的條件下，提供縮略圖像5和三維 模型4的鳥瞰顯示。以下，該顯示方法稱為"四維時(shí)空鳥瞰顯示"。 通過(guò)觀看該四維鳥瞰顯示中給出的鳥瞰顯示圖像3，用戶可以同時(shí)把握深度軸z 和拍攝時(shí)間軸t以及當(dāng)運(yùn)動(dòng)圖像數(shù)據(jù)被獲得時(shí)成像平面的x軸和y軸。S卩，用戶基于鳥瞰顯 示圖像3中的三維模型4和縮略圖像5之間的位置關(guān)系、縮略圖像5的布局、方向和大小、 以及運(yùn)動(dòng)軌跡線7，不僅可以容易地把握運(yùn)動(dòng)圖像的內(nèi)容，還可以容易地把握其成像狀況。 因此，用戶可以觀看提供運(yùn)動(dòng)圖像的索引顯示的鳥瞰顯示圖像3，從而容易地理解運(yùn)動(dòng)圖像 是在哪兒以及怎樣被拾取的。 注意，用于顯示鳥瞰顯示圖像3的顯示裝置1可以是兩維顯示(x， y)或三維顯示 (x， y， z)。 此外，用于生成物體的三維模型4的方法不限于任何預(yù)定方法，并且可以是任何 進(jìn)入公知的方法，例如，以下方法(a)-(d)。 (a)用于通過(guò)利用成像裝置上所安裝的各種傳感器來(lái)生成三維模型4的方法
例如，成像裝置可以裝有距離傳感器和運(yùn)動(dòng)軌跡傳感器，距離傳感器測(cè)量成像時(shí) 成像裝置與物體之間的距離，運(yùn)動(dòng)軌跡傳感器測(cè)量成像時(shí)成像裝置的距離軌跡或姿勢(shì)。運(yùn) 動(dòng)軌跡傳感器例如可以是角速度傳感器、加速度傳感器、磁傳感器、全球定位系統(tǒng)(GPS)傳 感器等。諸如成像裝置或信息處理設(shè)備之類的顯示控制設(shè)備使用各種傳感器來(lái)測(cè)量運(yùn)動(dòng)圖 像被拾取時(shí)成像裝置與物體之間的距離以及成像裝置的運(yùn)動(dòng)軌跡或姿勢(shì)。之后，顯示控制 設(shè)備分析測(cè)量數(shù)據(jù)和運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)估計(jì)成像空間中存在的物體的形狀、位置和方向，從 而生成其三維模型4。
(b)用于通過(guò)使用軟件從運(yùn)動(dòng)圖像數(shù)據(jù)中自動(dòng)提取三維模型4的方法
用于生成三維模型的軟件(程序)被安裝到諸如成像裝置或信息處理設(shè)備之類的 顯示控制設(shè)備上。該軟件分析運(yùn)動(dòng)圖像的數(shù)據(jù)并且識(shí)別和提取由運(yùn)動(dòng)圖像數(shù)據(jù)給出的視 頻中所包含的物體，來(lái)估計(jì)其形狀、位置和大小，從而生成三維模型4。注意，顯示控制設(shè)備 可以被布置為經(jīng)由記錄介質(zhì)或網(wǎng)絡(luò)從任何其它裝置獲取由該裝置類似地生成的三維模型4 的數(shù)據(jù)。
(c)用于手動(dòng)生成三維模型4的方法 用戶在觀看基于所再現(xiàn)的運(yùn)動(dòng)圖像數(shù)據(jù)而顯示的圖像時(shí)，手動(dòng)生成三維模型4。可 以在諸如成像裝置或信息處理設(shè)備之類的顯示控制設(shè)備或任何其它裝置中執(zhí)行三維模型4 的手動(dòng)再現(xiàn)。在后一情況中，顯示控制設(shè)備可以經(jīng)由網(wǎng)絡(luò)從這些任何其它裝置或記錄介質(zhì) 中獲取有關(guān)三維模型4的信息。
(d)通過(guò)方法(a) _ (c)生成的三維模型4的組合 顯示控制設(shè)備將通過(guò)方法(a)-(c)生成的三維模型4進(jìn)行組合來(lái)生成要被布置在 虛擬三維空間6中的最終的三維模型4。 已經(jīng)給出對(duì)用于生成運(yùn)動(dòng)圖像中所包含的物體的三維模型4的方法的描述。注 意，要在虛擬三維空間6中畫出的三維模型4可以是實(shí)際物體的忠實(shí)表示或簡(jiǎn)化表示或已 經(jīng)省略了不必要的實(shí)體的簡(jiǎn)化的三維模型4。例如，在鳥瞰顯示圖像3中，可以簡(jiǎn)單地以黑 和白顯示三維模型4。因此可以強(qiáng)調(diào)三維模型4周圍所布置的縮略圖像5使得可以容易地 觀看縮略圖像5。注意，在鳥瞰顯示圖像3中，不是完全不畫出虛擬三維空間6中的三維模 型4，而是可以僅畫出縮略圖像5，或者可以在不畫出三維模型4的情況下，畫出縮略圖像5 和后述運(yùn)動(dòng)軌跡線7或者畫出元數(shù)據(jù)16作為替代。 此外，顯示控制設(shè)備可以根據(jù)由用戶指定的運(yùn)動(dòng)圖像中的成像時(shí)間，選擇要在鳥 瞰顯示圖像3中畫出三維模型4的位置。例如，通過(guò)針對(duì)三維模型4選擇僅一個(gè)時(shí)間、所有 時(shí)間、或周期時(shí)間，可以控制其畫出位置以及是否被畫出。 此外，盡管在鳥瞰顯示圖像3中不僅可以表示成像位置的水平運(yùn)動(dòng)還可以表示其 垂直運(yùn)動(dòng)，但是適當(dāng)時(shí)，在繪圖中可以省略不便于俯視的、物體的三維模型(例如，屋頂或 地板)。 此外，顯示控制設(shè)備能夠根據(jù)用戶選擇，任意地改變提供在以上鳥瞰顯示圖像3 的鳥瞰顯示時(shí)用作基準(zhǔn)的視點(diǎn)(四維時(shí)空鳥瞰顯示中的視點(diǎn))。例如，顯示控制設(shè)備能夠分 析運(yùn)動(dòng)圖像從而獲得最佳視點(diǎn)以在整體上把握運(yùn)動(dòng)圖像的內(nèi)容，并且將最佳視點(diǎn)作為推薦 視點(diǎn)呈現(xiàn)給用戶。 將參考圖2和圖3給出鳥瞰顯示圖像3(圖1)、常規(guī)回放顯示的圖像8(圖2)和菲 林膠巻顯示的圖像9(圖3)之間的比較。 如圖2中所示，常規(guī)回放顯示是沿時(shí)間t軸依次再現(xiàn)攝錄下來(lái)的運(yùn)動(dòng)圖像的視頻
(圖像平面的x軸和y軸)的常規(guī)顯示方法。在這樣的常規(guī)回放顯示中，僅顯示被再現(xiàn)的圖
像8中的一個(gè)，因此，需要較長(zhǎng)的時(shí)間來(lái)在整體上把握運(yùn)動(dòng)圖像的內(nèi)容。 此外，如圖3中所示，菲林膠巻顯示是以預(yù)定時(shí)間間隔從攝錄下來(lái)的運(yùn)動(dòng)圖像中
提取多個(gè)縮略圖像(幀圖像)lla-lle并且按時(shí)間順序來(lái)依次顯示圖像lla-lle的方法。相
比于以上常規(guī)回放顯示，這樣的菲林膠巻顯示提供容易把握的成像內(nèi)容。然而，如果提取縮
略圖像lla-lle的時(shí)間間隔太短，則一次顯示多個(gè)縮略圖像lla-lle所以復(fù)雜，因此需要較長(zhǎng)時(shí)間來(lái)把握成像內(nèi)容。另一方面，如果時(shí)間間隔太長(zhǎng)，則縮略圖像lla-lle之間的相互關(guān)系劣化，因此使得不能把握成像內(nèi)容。 同時(shí)，如圖1中所示，在根據(jù)本實(shí)施例的鳥瞰顯示圖像3中，不僅可以同時(shí)把握成像平面的x軸、y軸和深度z軸和所拾取的運(yùn)動(dòng)圖像的拍攝時(shí)間t軸，還可以把握縮略圖像5的拍攝順序、成像位置和方向。因此，用戶可以把握他是在哪里如何拾取該運(yùn)動(dòng)圖像的，從而容易地理解成像內(nèi)容和成像狀況。 以上已經(jīng)概述了使用四維時(shí)空鳥瞰顯示的鳥瞰顯示圖像3。接著，將給出對(duì)用于顯示鳥瞰顯示圖像3的顯示控制設(shè)備和顯示控制方法的合適的實(shí)施例的描述。
〈2.第一實(shí)施例> 首先，將給出對(duì)根據(jù)本發(fā)明第一實(shí)施例的顯示控制設(shè)備和方法的描述。 如圖4中所示，第一實(shí)施例可以是本發(fā)明的顯示控制設(shè)備已經(jīng)應(yīng)用到成像裝置
IO(例如，視頻相機(jī))的示例。作為成像裝置10進(jìn)行的成像中的實(shí)時(shí)應(yīng)用，在裝配在成像
裝置IO上的顯示裝置130上顯示鳥瞰顯示圖像3。例如，如果用戶想要在利用成像裝置10
拾取并攝錄下lrec的運(yùn)動(dòng)圖像之時(shí)或之后確認(rèn)這lrec的運(yùn)動(dòng)圖像的攝錄下來(lái)的內(nèi)容，則
有關(guān)該運(yùn)動(dòng)圖像的數(shù)據(jù)的鳥瞰顯示圖像3將被顯示在顯示裝置130上。[成像裝置的硬件結(jié)構(gòu)] 首先，將參考圖5給出對(duì)根據(jù)本實(shí)施例的成像裝置10的硬件結(jié)構(gòu)的描述。圖5是示出根據(jù)該實(shí)施例的成像裝置10的硬件結(jié)構(gòu)的框圖。 如圖5中所示，根據(jù)該實(shí)施例的成像裝置10示意性地包括成像單元110、信號(hào)處理單元120、顯示裝置130、記錄裝置140、控制單元150、操作單元160、距離傳感器170和運(yùn)動(dòng)軌跡傳感器172。 成像單元110對(duì)對(duì)象進(jìn)行成像并且輸出模擬圖像信號(hào)。成像單元110包括成像光學(xué)系統(tǒng)111、成像元件112、定時(shí)發(fā)生器113和光學(xué)元件驅(qū)動(dòng)單元114。 成像光學(xué)系統(tǒng)111包括諸如聚焦透鏡和變焦透鏡之類的各種透鏡、去除不必要的波長(zhǎng)的光濾波器以及諸如孔徑光闌(aperture di即hragm)之類的光學(xué)元件。從對(duì)象入射的光經(jīng)過(guò)成像光學(xué)系統(tǒng)111中的光學(xué)元件到達(dá)成像元件112。成像元件112包括固態(tài)成像元件，例如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)。成像元件112對(duì)經(jīng)由成像光學(xué)系統(tǒng)111導(dǎo)入的光執(zhí)行電光轉(zhuǎn)換，并且輸出表示所拾取的圖像的電信號(hào)(模擬圖像信號(hào))。 致動(dòng)器(未示出)機(jī)械地連接到成像光學(xué)系統(tǒng)lll，該致動(dòng)器是用于調(diào)節(jié)孔徑光闌和移動(dòng)聚焦透鏡的驅(qū)動(dòng)機(jī)構(gòu)。致動(dòng)器還連接到控制其驅(qū)動(dòng)的光學(xué)元件驅(qū)動(dòng)單元114。光學(xué)元件驅(qū)動(dòng)單元114根據(jù)來(lái)自后述中央處理單元(CPU) 151的指令來(lái)控制對(duì)成像光學(xué)系統(tǒng)lll的光學(xué)元件的驅(qū)動(dòng)。定時(shí)發(fā)生器(TG)113根據(jù)來(lái)自CPU 151的指令來(lái)生成成像元件112需要的操作脈沖。例如，TG 113生成各種脈沖并且向成像元件112提供這些脈沖，所述脈沖例如是垂直傳動(dòng)(vertical transfer)所需的四相脈沖和場(chǎng)轉(zhuǎn)移脈沖(field-shift pulse)以及水平傳動(dòng)所需要的兩相脈沖和快門脈沖。TG113使得能夠驅(qū)動(dòng)成像元件112(電子快門功能)。 從成像元件112輸出的圖像信號(hào)被輸入到信號(hào)處理單元120。信號(hào)處理單元120對(duì)從成像元件112提供的圖像信號(hào)執(zhí)行預(yù)定的信號(hào)處理，并且將信號(hào)處理后的圖像信號(hào)輸出給顯示裝置130和記錄裝置140。信號(hào)處理單元120包括模擬信號(hào)處理單元121、模擬/數(shù)字(A/D)轉(zhuǎn)換單元122和數(shù)字信號(hào)處理單元123。 模擬信號(hào)處理單元121是用于對(duì)圖像信號(hào)執(zhí)行預(yù)處理的所謂的模擬前端。例如，模擬信號(hào)處理單元121對(duì)作為從成像元件112輸出的所拾取的圖像的電信號(hào)執(zhí)行相關(guān)雙采樣(CDS)處理和使用可編程增益放大器(PGA)的增益處理。然后，模擬信號(hào)處理單元121將作為該預(yù)處理的結(jié)果獲得的圖像信號(hào)提供給A/D轉(zhuǎn)換單元122。 A/D轉(zhuǎn)換單元122將所提供的模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)并且將數(shù)字圖像信號(hào)提供給數(shù)字信號(hào)處理單元123。數(shù)字信號(hào)處理單元123對(duì)所提供的數(shù)字圖像信號(hào)執(zhí)行數(shù)字信號(hào)處理(例如，伽馬校正處理和白平衡處理)，從而生成所拾取的圖像的視頻信號(hào)。數(shù)字信號(hào)處理單元123將這樣生成的所拾取的圖像數(shù)據(jù)的視頻信號(hào)輸出給顯示裝置130和記錄裝置140。
顯示裝置130包括液晶顯示器(LCD)或有機(jī)EL顯示器。顯示裝置130顯示提供給它的各種類型的圖像數(shù)據(jù)。例如，當(dāng)圖像數(shù)據(jù)在成像期間被實(shí)時(shí)地從信號(hào)處理單元120提供時(shí)，顯示裝置130在拾取中間顯示圖像的數(shù)據(jù)。這允許用戶在觀看正由成像裝置10拾取的圖像的同時(shí)執(zhí)行拍攝。此外，如果記錄裝置140中所記錄的、所拾取的圖像的數(shù)據(jù)被再現(xiàn)，則顯示裝置130顯示從記錄裝置140輸入的所再現(xiàn)的圖像數(shù)據(jù)。這允許用戶確認(rèn)記錄裝置140中記錄的所拾取的圖像數(shù)據(jù)的內(nèi)容。注意，顯示裝置130顯示以上鳥瞰顯示圖像3(見(jiàn)圖1)，稍后將描述鳥瞰顯示圖像3的細(xì)節(jié)。 記錄裝置140在記錄介質(zhì)中記錄各種數(shù)據(jù)，例如這樣拾取的圖像的數(shù)據(jù)及其元數(shù)據(jù)。記錄裝置140可以包括任意記錄裝置，例如，光盤驅(qū)動(dòng)或硬盤驅(qū)動(dòng)(HDD)。要使用的記錄介質(zhì)可以是可移除介質(zhì)，例如光盤、諸如存儲(chǔ)卡之類的半導(dǎo)體存儲(chǔ)器或硬盤。光盤例如可以是藍(lán)光盤、數(shù)字通用光盤(DVD)或緊致光盤(CD)。要使用的記錄介質(zhì)可以已經(jīng)被建立在成像裝置10中。 控制單元100包括微控制器并且整體上控制成像裝置10的操作?？刂茊卧?00例如包括CPU 151、EEPR0M 152、只讀存儲(chǔ)器(ROM) 153、隨機(jī)存取存儲(chǔ)器(RAM) 155。注意，EEPROM表示"電可擦除可編程ROM"。 CPU 151控制成像單元110中的TG 113和光學(xué)元件驅(qū)動(dòng)單元114，從而控制成像單元110的成像處理。例如，CPU 151通過(guò)調(diào)節(jié)成像光學(xué)系統(tǒng)111的孔徑光闌并且設(shè)置成像元件112的電子快門速度和模擬信號(hào)處理單元121中的AGC的增益來(lái)執(zhí)行自動(dòng)曝光控制。此外，CPU 151例如通過(guò)驅(qū)動(dòng)成像光學(xué)系統(tǒng)111中的聚焦透鏡來(lái)執(zhí)行自動(dòng)聚焦控制以使透鏡自動(dòng)聚焦到對(duì)象上。此外，CPU 151對(duì)通過(guò)使用記錄裝置140來(lái)對(duì)記錄和再現(xiàn)所拾取的圖像數(shù)據(jù)的處理進(jìn)行控制。此外，CPU 151對(duì)在顯示裝置130上顯示各種類型的顯示數(shù)據(jù)執(zhí)行顯示控制。注意，CPU 151執(zhí)行用來(lái)生成鳥瞰顯示圖像3(見(jiàn)圖1)的處理和用于在顯示裝置130上顯示鳥瞰顯示圖像3的顯示控制處理，稍后將描述細(xì)節(jié)。
在控制單元100的ROM 153中，存儲(chǔ)用來(lái)使CPU 151執(zhí)行各種類型的控制處理的程序。CPU 151基于該程序進(jìn)行操作，以便在使用RAM 154時(shí)執(zhí)行以上各種類型的控制所需的算術(shù)運(yùn)算和控制處理。該程序可以預(yù)先存儲(chǔ)在成像裝置中所建立的存儲(chǔ)裝置(例如，ROM153)中。此外，該程序可以在其被存儲(chǔ)在諸如CD、DVD、藍(lán)光盤或存儲(chǔ)卡之類的可移除記錄介質(zhì)上的條件下被提供給程序裝置，或者經(jīng)由諸如LAN或因特網(wǎng)之類的網(wǎng)絡(luò)被下載到成像裝置。
操作單元160和顯示裝置130用作用戶接口 。操作單元160包括操作按鈕或觸摸面板，并且根據(jù)用戶操作向控制單元100輸出所指派的信息。注意，操作單元160和顯示裝置130可以各包括與成像裝置10分開的裝置。 距離傳感器170被用來(lái)測(cè)量要被成像的對(duì)象與成像裝置10之間的距離。距離傳感器170使得能夠在成像裝置IO進(jìn)行的成像期間，測(cè)量作為對(duì)象被包含在成像范圍中的物體與成像裝置10之間的距離。另一方面，運(yùn)動(dòng)軌跡傳感器172被用來(lái)測(cè)量成像期間成像裝置10的位置、運(yùn)動(dòng)軌跡和姿勢(shì)，并且例如可以包括角速度傳感器、加速度傳感器、磁傳感器或GPS傳感器。距離傳感器170和運(yùn)動(dòng)軌跡傳感器172被用來(lái)畫出鳥瞰顯示圖像3中存在的三維模型4和運(yùn)動(dòng)軌跡線7，稍后將描述細(xì)節(jié)。
[成像裝置的功能結(jié)構(gòu)] 接著，將參考圖6詳細(xì)給出對(duì)根據(jù)該實(shí)施例的成像裝置10的功能結(jié)構(gòu)的描述。圖6是示出根據(jù)該實(shí)施例的成像裝置10的功能結(jié)構(gòu)的框圖。注意，圖6示意性地示出了用來(lái)顯示表征本實(shí)施例的特征的鳥瞰顯示圖像3的功能單元。 如圖6中所示，成像裝置10包括存儲(chǔ)單元20、成像處理單元40、預(yù)處理單元50、顯示圖像生成單元60、顯示控制單元70、顯示裝置130、操作單元160、距離傳感器170和運(yùn)動(dòng)軌跡傳感器172。這些裝置中，預(yù)處理單元50、顯示圖像生成單元60和顯示控制單元70例如是由成像裝置10中所安裝的軟件實(shí)現(xiàn)的。即，例如，圖5中所示的CPU 151根據(jù)ROM153等中所存儲(chǔ)的程序進(jìn)行操作，從而用作預(yù)處理單元50、顯示圖像生成單元60和顯示控制單元70。注意，該程序可以經(jīng)由記錄介質(zhì)或網(wǎng)絡(luò)提供給成像裝置IO。接著，將詳細(xì)給出對(duì)各個(gè)單元的描述。 存儲(chǔ)單元20存儲(chǔ)各種信息塊21-31，例如運(yùn)動(dòng)圖像數(shù)據(jù)21和縮略圖像信息26。存儲(chǔ)單元20例如包括圖5中所示的記錄裝置140或EEPR0M152。 成像處理單元40對(duì)對(duì)象進(jìn)行成像并且獲得運(yùn)動(dòng)圖像數(shù)據(jù)21。成像處理單元40例如包括圖5中所示的成像單元110和信號(hào)處理單元120。成像處理單元40將所獲得的運(yùn)動(dòng)圖像數(shù)據(jù)21記錄在存儲(chǔ)單元20中。 預(yù)處理單元50執(zhí)行預(yù)處理以生成為產(chǎn)生例如圖1中所示的鳥瞰顯示圖像3所需的各種類型的信息和數(shù)據(jù)。預(yù)處理單元50包括距離估計(jì)單元51、語(yǔ)音估計(jì)單元52、運(yùn)動(dòng)軌跡估計(jì)單元53、三維形狀估計(jì)單元54、縮略圖像提取單元55、替換圖像生成單元56、成像信息鏈接單元57和對(duì)象估計(jì)單元58。 距離估計(jì)單元51執(zhí)行處理以估計(jì)成像裝置10與物體之間的距離關(guān)系。如上所述，成像裝置10裝配有例如利用激光器或聲波或毫米波雷達(dá)的距離傳感器170。距離傳感器170在成像裝置10進(jìn)行的成像期間，測(cè)量成像裝置10與作為對(duì)象存在于成像范圍中的物體之間的距離。距離估計(jì)單元51基于由距離傳感器170測(cè)量出的距離信息和之后對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)24的分析的結(jié)果來(lái)估計(jì)從成像裝置10到成像空間中存在的多個(gè)物體之間的距離和這些物體之間的距離。然后，距離估計(jì)單元51基于所估計(jì)出的距離信息來(lái)生成距離地圖22，并且將距離地圖22保存在存儲(chǔ)單元20中，距離地圖22指示成像時(shí)成像裝置10與物體之間的位置關(guān)系。注意，為了測(cè)量從成像裝置到目標(biāo)之間的距離，可以使用基于使用多個(gè)相機(jī)(成像單元)的立體觀測(cè)(雙目立體觀測(cè))的測(cè)距方法。通過(guò)使用基于立體觀測(cè)(雙目立體觀測(cè))的測(cè)距方法，距離估計(jì)單元51能夠估計(jì)出從成像裝置10到成像空間中存在的多個(gè)物體之間的距離和這些物體之間的距離。 語(yǔ)音估計(jì)單元52分析添加到運(yùn)動(dòng)圖像數(shù)據(jù)21的音頻數(shù)據(jù)，以檢測(cè)運(yùn)動(dòng)圖像中感興趣的聲音被記錄的圖像位置(圖像位置對(duì)應(yīng)于成像時(shí)間)。感興趣的聲音例如是指與運(yùn)動(dòng)圖像的內(nèi)容相關(guān)聯(lián)的聲音，例如，人所講的話(語(yǔ)音)或物體的聲音效果，不包括諸如噪聲和環(huán)境聲音之類的聲音。語(yǔ)音估計(jì)單元52生成語(yǔ)音信息23并且將其保存在存儲(chǔ)單元20中，語(yǔ)音信息23表示有意義的聲音被記錄的圖像位置。注意，盡管在圖5中示出的成像裝置的框圖中已經(jīng)省略了用來(lái)獲取成像時(shí)的聲音的聲音獲取單元(麥克風(fēng)等)，但是成像裝置10可以包括聲音獲取單元。 運(yùn)動(dòng)軌跡估計(jì)單元53基于運(yùn)動(dòng)圖像數(shù)據(jù)21的分析結(jié)果和運(yùn)動(dòng)軌跡傳感器172的測(cè)量數(shù)據(jù)來(lái)估計(jì)運(yùn)動(dòng)圖像被拾取時(shí)成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)。如上所述，成像裝置10裝配有距離傳感器170。距離傳感器170例如可以是角速度傳感器、加速度傳感器、磁傳感器或GPS傳感器。角速度傳感器和加速度傳感器分別測(cè)量在成像期間成像裝置IO移動(dòng)時(shí)的角速度和角速度。磁傳感器檢測(cè)成像裝置10周圍的磁場(chǎng)，從而檢測(cè)出成像裝置10的方向。GPS傳感器檢測(cè)成像裝置10的位置信息(緯度和經(jīng)度)。運(yùn)動(dòng)軌跡傳感器172將例如這樣檢測(cè)出的成像裝置10的角速度、加速度、磁場(chǎng)中的變化、成像位置之類的測(cè)量數(shù)據(jù)(提供給運(yùn)動(dòng)軌跡估計(jì)單元53。運(yùn)動(dòng)軌跡估計(jì)單元53分析這樣的測(cè)量數(shù)據(jù)和以上的運(yùn)動(dòng)圖像數(shù)據(jù)21，從而估計(jì)當(dāng)運(yùn)動(dòng)圖像被拾取時(shí)成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)。然后，運(yùn)動(dòng)軌跡估計(jì)單元53將指示所估計(jì)出的成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)的運(yùn)動(dòng)軌跡信息24保存在存儲(chǔ)單元20中。 三維形狀估計(jì)單元54基于距離地圖22和有關(guān)成像裝置10的運(yùn)動(dòng)軌跡信息24，估計(jì)運(yùn)動(dòng)圖像中所包含的物體(例如，圖1中的桌子和舞臺(tái))的三維形狀和位置。運(yùn)動(dòng)圖像中所包含的物體是指成像時(shí)作為對(duì)象存在于成像范圍中的物體。然后，三維形狀估計(jì)單元54將表示所估計(jì)出的物體的三維形狀和位置的物體信息25存儲(chǔ)在存儲(chǔ)單元20中。三維形狀估計(jì)單元54可以基于所估計(jì)出的物體的三維形狀和位置來(lái)生成各個(gè)物體的三維模型4，并且將三維模型4的信息保存在存儲(chǔ)單元20中。 縮略圖像提取單元55從由成像裝置10拾取的運(yùn)動(dòng)圖像的數(shù)據(jù)中提取多個(gè)縮略圖像5?？s略圖像5是表示該運(yùn)動(dòng)圖像的特征圖像的幀圖像?？s略圖像提取單元55可以以預(yù)定的時(shí)間間隔從運(yùn)動(dòng)圖像中自動(dòng)提取預(yù)定數(shù)目的縮略圖像5或者選擇性的提取在裝置被停止的條件下拾取的縮略圖像5或具有良好圖像質(zhì)量的縮略圖像5?？s略圖像提取單元55將所提取出的多個(gè)縮略圖像5按原樣或?qū)⒅甘鞠鄳?yīng)成像位置(成像時(shí)間)的信息保存在存儲(chǔ)單元20中，作為縮略圖像信息26。 替換圖像生成單元56生成表示這樣提取的縮略圖像5的內(nèi)容或成像狀況的替換圖像。該替換圖像被顯示來(lái)代替鳥瞰顯示圖像3中的縮略圖像5，該替換圖像例如是圖標(biāo)、插圖、靜止圖像或文本?？s略圖像5的成像狀況例如包括拾取縮略圖像5時(shí)成像裝置10的方向、相機(jī)的預(yù)設(shè)值(例如，縮放、焦距、曝光、圖像質(zhì)量)、成像裝置的運(yùn)動(dòng)速度、成像裝置10的操作條件和相機(jī)晃動(dòng)。縮略圖像5的內(nèi)容(成像內(nèi)容)是有關(guān)縮略圖像5中所包含的對(duì)象的信息，例如，對(duì)象的名稱、識(shí)別信息、操作、大小和成像環(huán)境。替換圖像生成單元56能夠?qū)⒖s略圖像5轉(zhuǎn)換成圖標(biāo)和插圖，從而生成縮略圖像5的內(nèi)容的圖標(biāo)和插圖(例如，縮略圖像5中所包含的人臉的插圖)。替換圖像生成單元56將這樣生成的替換圖像27保
13存在存儲(chǔ)單元20中。 成像信息鏈接單元57將包含成像人信息30和成像裝置信息31的成像信息與運(yùn)動(dòng)圖像數(shù)據(jù)21相關(guān)聯(lián)，從而生成成像信息的鏈接信息28。成像人信息30表示對(duì)該運(yùn)動(dòng)圖像進(jìn)行了成像的人，例如這個(gè)人的姓名、標(biāo)識(shí)信息和行為等。成像裝置信息31與給出運(yùn)動(dòng)圖像數(shù)據(jù)21的成像裝置10相關(guān)聯(lián)，因此表示例如成像裝置10的制造商名稱、型號(hào)名稱、標(biāo)識(shí)信息、相機(jī)安裝值之類的成像條件、成像裝置10的操作條件、視頻的類型、圖像的格式以及操作。成像人信息30和成像裝置信息31可以基于操作單元160上的用戶操作來(lái)生成或由成像裝置10自動(dòng)地生成。 包括這類成像人信息30和成像裝置信息31的成像信息表示通過(guò)成像獲得運(yùn)動(dòng)圖像數(shù)據(jù)21所處于的成像條件，并且用作運(yùn)動(dòng)圖像數(shù)據(jù)21的標(biāo)識(shí)信息或?qū)傩孕畔?。因此，通過(guò)將這樣的成像信息與運(yùn)動(dòng)圖像數(shù)據(jù)21相關(guān)聯(lián)，可以識(shí)別運(yùn)動(dòng)圖像數(shù)據(jù)并且更準(zhǔn)確地把握運(yùn)動(dòng)圖像數(shù)據(jù)21的內(nèi)容。因此，成像信息鏈接單元57將成像信息與運(yùn)動(dòng)圖像數(shù)據(jù)21相關(guān)聯(lián)來(lái)生成成像信息的鏈接信息28，并且將其保存在存儲(chǔ)單元20中。注意，成像信息可以與lrec運(yùn)動(dòng)圖像數(shù)據(jù)21整體相關(guān)聯(lián)，或者取決于成像信息的內(nèi)容、針對(duì)lrec運(yùn)動(dòng)圖像數(shù)據(jù)21的每個(gè)預(yù)定圖像單元(例如，每一幀)來(lái)關(guān)聯(lián)。在后一情況中，可以將成像信息與縮略圖像5中的每一個(gè)圖像相關(guān)聯(lián)，從而在鳥瞰顯示圖像3 (見(jiàn)圖10)中顯示縮略圖像5和指示它們的內(nèi)容或成像狀況的元數(shù)據(jù)。 對(duì)象估計(jì)單元58分析運(yùn)動(dòng)圖像數(shù)據(jù)21來(lái)估計(jì)所拾取的運(yùn)動(dòng)圖像中所包含的對(duì)象，從而生成對(duì)象信息29。對(duì)象信息29包含該運(yùn)動(dòng)圖像中所包含的對(duì)象的名稱、行為、大小和成像環(huán)境。對(duì)象估計(jì)單元58將所生成的對(duì)象信息29保存在存儲(chǔ)單元20中。
顯示圖像生成單元60基于運(yùn)動(dòng)圖像數(shù)據(jù)21和由預(yù)處理單元50生成的各種信息塊(即，數(shù)據(jù)塊22-29)來(lái)生成鳥瞰顯示圖像3。具體而言，顯示圖像生成單元60基于以上距離地圖22、運(yùn)動(dòng)軌跡信息24、物體信息25等來(lái)畫出如下虛擬三維空間6，運(yùn)動(dòng)圖像數(shù)據(jù)21中所包含的物體的三維模型4被布置在所述虛擬三維空間6中。然后，顯示圖像生成單元60基于運(yùn)動(dòng)軌跡信息24、縮略圖像信息26等在虛擬三維空間6中的相應(yīng)成像位置處畫出從運(yùn)動(dòng)圖像數(shù)據(jù)21中提取出的多個(gè)縮略圖像5。此外，顯示圖像生成單元60基于運(yùn)動(dòng)軌跡信息24等畫出按照縮略圖像5被拾取的順序關(guān)聯(lián)縮略圖像5的運(yùn)動(dòng)軌跡線7。結(jié)果，如圖1中所示，生成了鳥瞰顯示圖像3，其提供包含三維模型4和縮略圖像5的虛擬三維空間6的鳥瞰繪圖。 顯示圖像生成單元60基于運(yùn)動(dòng)軌跡信息24識(shí)別在成像裝置10拾取縮略圖像5時(shí)成像裝置10的位置(縮略圖像5的成像位置)和方向，并且將這些縮略圖像分別畫在虛擬三維空間6中的位置和方向上。在這種情況中，顯示圖像生成單元60根據(jù)縮略圖像5和三維模型4在虛擬三維空間6中被畫出的位置而改變它們的大小。例如，如果縮略圖像5被畫在虛擬三維空間6中的后方，則它們將比較小，而如果縮略圖像5被畫在虛擬三維空間6的前方，則它們將較大。因此，虛擬三維空間6可以被顯示為就像是從斜上方視角觀看一樣，使得可以容易地把握成像狀況。 注意，顯示圖像生成單元60可以將所生成的鳥瞰顯示圖像3與運(yùn)動(dòng)圖像數(shù)據(jù)21相關(guān)聯(lián)并且將其保存到存儲(chǔ)單元20中。這消除了重新生成具有相同運(yùn)動(dòng)圖像數(shù)據(jù)21的鳥瞰顯示圖像3的必要。此外，顯示圖像生成單元60能夠基于語(yǔ)音信息23、替換圖像27、成像信息的鏈接信息28或?qū)ο笮畔?9來(lái)畫出鳥瞰顯示圖像3中的各種附加信息，稍后將描述細(xì)節(jié)。 顯示控制單元70控制顯示裝置130(例如，LCD)使得顯示裝置130可以顯示由顯示圖像生成單元60生成的鳥瞰顯示圖像3。這使得顯示裝置130顯示鳥瞰顯示圖像3。注意，由顯示控制單元70進(jìn)行的顯示控制和由顯示圖像生成單元60進(jìn)行的鳥瞰顯示圖像3的生成可以響應(yīng)于操作單元160上的用戶操作被執(zhí)行或根據(jù)設(shè)置被自動(dòng)執(zhí)行。[cm7][顯示控制流程] 接著，將參考圖7給出對(duì)根據(jù)本實(shí)施例的用于顯示成像裝置10中的鳥瞰顯示圖像3的方法的描述。圖7是示出根據(jù)本實(shí)施例的用于顯示鳥瞰顯示圖像3的方法的流程圖。
如圖7中所示，首先成像裝置10中的CPU 151分析圖6中所示的存儲(chǔ)單元20中所存儲(chǔ)的運(yùn)動(dòng)成像數(shù)據(jù)21和由距離傳感器170和運(yùn)動(dòng)軌跡傳感器172測(cè)量出的數(shù)據(jù)(S10)。因此，獲得如圖6中所示的各種信息和數(shù)據(jù)塊22-29。 接著，CPU 151基于距離地圖22、運(yùn)動(dòng)軌跡信息24和物體信息25來(lái)生成存在于所拾取的運(yùn)動(dòng)圖像中的多個(gè)物體的三維模型4(S12)。此外，CPU 151根據(jù)預(yù)定的提取標(biāo)準(zhǔn)來(lái)從運(yùn)動(dòng)圖像數(shù)據(jù)21中提取多個(gè)縮略圖像5(S14)。 然后，CPU 151畫出虛擬三維空間6，該虛擬三維空間6中，在S12生成的物體的三維模型4被布置到與物體的實(shí)際位置相對(duì)應(yīng)的位置(S16)。隨后，CPU 151在虛擬三維空間6中將在S14提取出的多個(gè)縮略圖像5畫到縮略圖像5被拾取時(shí)成像裝置10的位置和方向(S18)。此外，CPU 151基于運(yùn)動(dòng)軌跡信息24等來(lái)畫出按照縮略圖像5被拾取的順序使縮略圖像5相關(guān)聯(lián)的運(yùn)動(dòng)軌跡線7(S20)。因此，可以生成提供虛擬三維空間6的鳥瞰繪圖的鳥瞰顯示圖像3，該虛擬三維空間6包括與通過(guò)執(zhí)行一次成像操作獲得的運(yùn)動(dòng)圖像有關(guān)的三維模型4、縮略圖像5和運(yùn)動(dòng)軌跡線7 (見(jiàn)圖1)。 此外，必要時(shí)，CPU 151基于語(yǔ)音信息23、替換圖像27、成像信息的鏈接信息28或?qū)ο笮畔?9來(lái)畫出鳥瞰顯示圖像3中的附加信息(S22)。例如，可以允許畫出例如圖標(biāo)或插圖之類的替換圖像來(lái)代替縮略圖像5，在檢測(cè)到語(yǔ)音的縮略圖像5中畫出標(biāo)記，或畫出縮略圖像5的元數(shù)據(jù)。 然后，CPU 151向顯示裝置130發(fā)送這樣生成的鳥瞰顯示圖像3的數(shù)據(jù)使得顯示裝置130可以在其上顯示鳥瞰顯示圖像3 (S24)。結(jié)果，如圖1中所示的鳥瞰顯示圖像3出現(xiàn)在顯示裝置130上，從而允許用戶恰當(dāng)?shù)匕盐者\(yùn)動(dòng)圖像的拾取內(nèi)容和成像狀況。
[鳥瞰顯示圖像的顯示示例] 接著，將參考圖8至圖14給出對(duì)根據(jù)本實(shí)施例的鳥瞰顯示圖像3的顯示示例的描述。注意，下述鳥瞰顯示圖像3將由以上成像裝置10中的顯示圖像生成單元60生成并且由顯示控制單元70顯示在顯示裝置130上。
(1)鳥瞰顯示和常規(guī)回放顯示的組合(圖8) 如圖8中所示，顯示控制單元70提供對(duì)鳥瞰顯示圖像3與常規(guī)回放顯示圖像8的組合的顯示。如果用戶從鳥瞰顯示圖像3中選出一個(gè)縮略圖像5c，則顯示控制單元70從與所選擇的縮略圖像5c相對(duì)應(yīng)的時(shí)間開始常規(guī)地再現(xiàn)運(yùn)動(dòng)圖像數(shù)據(jù)21，從而將常規(guī)回放顯示圖像8再現(xiàn)為運(yùn)動(dòng)圖像。以這種方式，通過(guò)在鳥瞰顯示圖像3中選擇希望確認(rèn)的縮略圖像5c，用戶能夠從該位置開始觀看常規(guī)回放顯示運(yùn)動(dòng)圖像8。因此，用戶可以更準(zhǔn)確地把握所拾取的運(yùn)動(dòng)圖像的內(nèi)容。 此外，常規(guī)回放顯示圖像8中的成像位置和正被再現(xiàn)的視頻將以可以與其他部分區(qū)分開來(lái)的方式被顯示。在所示示例中，在常規(guī)回放顯示中正被再現(xiàn)的縮略圖像5c上畫出箭頭狀指針12。這使得用戶能夠識(shí)別當(dāng)前正在常規(guī)回放顯示中被再現(xiàn)的縮略圖像5c和隨后的圖像的視頻以及其再現(xiàn)位置。
(2)鳥瞰顯示與菲林膠巻顯示的組合(圖9) 如圖9中所示，顯示控制單元70提供對(duì)鳥瞰顯示圖像3與菲林膠巻顯示圖像9的組合顯示。鳥瞰顯示圖像3的縮略圖像5a-5e分別對(duì)應(yīng)于菲林膠巻顯示圖像9的縮略圖像lla-lle。如果用戶從鳥瞰顯示圖像3中選擇一個(gè)縮略圖像5c，則顯示控制單元70在菲林膠巻顯示圖像9中從與所選擇的縮略圖像5c相對(duì)應(yīng)的縮略圖像llc的位置開始再現(xiàn)視頻。以這種方式，通過(guò)對(duì)鳥瞰顯示圖像3和菲林膠巻顯示圖像9進(jìn)行組合，可以以更容易理解的方式來(lái)顯示所拾取的運(yùn)動(dòng)圖像的內(nèi)容，特別是時(shí)間軸t的信息。 此外，在菲林膠巻顯示圖像9中的成像位置和正被再現(xiàn)的視頻將以可以與其他部分區(qū)分開來(lái)的方式被顯示。在所示示例中，鳥瞰顯示圖像3的縮略圖像5a與菲林膠巻顯示圖像9中的縮略圖像llc分別被框13和14包圍。這使得用戶能夠識(shí)別當(dāng)前正被再現(xiàn)的縮略圖像5c和隨后的圖像的視頻以及其成像位置。
(3)鳥瞰顯示中的替換圖像和元數(shù)據(jù)的顯示(圖10) 如圖10中所示，顯示控制單元70可以在鳥瞰顯示圖像3中顯示指示縮略圖像5的成像狀況的內(nèi)容的替換圖像15(例如圖標(biāo)、插圖、靜止圖像或文本)來(lái)替代縮略圖像5?？s略圖像5和替換圖像15中的哪一個(gè)應(yīng)該被顯示可以由用戶任意地選擇，或者由顯示圖像生成單元60根據(jù)縮略圖像5的大小來(lái)自動(dòng)確定。 現(xiàn)在，將給出對(duì)替換圖像15的特定示例的描述。例如，替換圖像15b可以是縮略圖像5b中被部分?jǐn)U大的靜止圖像(例如，僅縮略圖像5中的人臉的剪切圖像)。另一個(gè)替換圖像15c可以是縮略圖像5c的內(nèi)容的簡(jiǎn)化插圖(例如，縮略圖像5c中對(duì)象(舞臺(tái))整體的插圖)。另一替換圖像15d可以是表示成像裝置10的圖標(biāo)。應(yīng)當(dāng)優(yōu)選以指示成像裝置10拾取縮略圖像5b時(shí)成像裝置10的方向的方式來(lái)畫出該圖標(biāo)。這使得用戶能夠觀看圖標(biāo)化的替換圖像15c，從而容易地把握該位置處的成像方向。此外，作為替換圖像15，可以顯示表示縮略圖像5的內(nèi)容的文本(未示出)。這樣的替換圖像15b、15c和15d使得用戶可以容易的把握縮略圖像5的內(nèi)容。 此外，如果縮略圖像5在鳥瞰顯示圖像3中被顯示得太小，則可以用替換圖像15來(lái)代替縮略圖像5。如上所述，在鳥瞰顯示圖像3中，給出包含縮略圖像5的虛擬三維空間6的鳥瞰顯示。因此，顯示圖像生成單元60根據(jù)虛擬三維空間6中縮略圖像5和三維模型4的繪圖位置來(lái)改變要畫出的相應(yīng)縮略圖像5和三維模型4的大小。例如，如果縮略圖像5的繪圖位置在虛擬三維空間6中的后方，則縮略圖像5被畫得小，而如果它在前方，則被畫得大。因此，可以三維地提供虛擬三維空間6的鳥瞰顯示。 然而，如圖1中所示，縮略圖像5b、5c和5d由于被畫在虛擬三維空間6的后方所以被顯示得小，使得在某些情況中，它們的內(nèi)容可能難以被把握。因此，如果縮略圖像5b、5c和5d采用預(yù)定的大小或更小，則顯示圖像生成單元60自動(dòng)畫出以上替換圖像15b、15c和15d來(lái)替代要畫出的縮略圖像5b、5c和5d。這給出了對(duì)簡(jiǎn)單地表示小的縮略圖像5b、5c和
165d的內(nèi)容的替換圖像15b、15c和15d的顯示。以這種方式，用戶通過(guò)觀看鳥瞰顯示圖像3中顯示在前方的大的縮略圖像5a和5e以及顯示在后方的容易觀看的替換圖像15b、 15c和15d，能夠容易地把握成像內(nèi)容和成像狀況。 接著，將進(jìn)一步參考圖10給出對(duì)有關(guān)縮略圖像5的元數(shù)據(jù)16的顯示的描述。如圖10中所述，顯示控制單元70在數(shù)據(jù)16與縮略圖像5相關(guān)聯(lián)的條件下，在鳥瞰顯示圖像3中顯示伴隨縮略圖像5的各種元數(shù)據(jù)16。元數(shù)據(jù)16是表示縮略圖像5的拾取內(nèi)容和成像狀況的信息。例如，元數(shù)據(jù)16可以是以上成像者信息30(姓名、行為等)、成像裝置信息31 (成像裝置10的制造商名稱、類型、標(biāo)識(shí)信息、相機(jī)設(shè)置值、操作)、對(duì)象信息29 (對(duì)象的名稱、大小、行為、環(huán)境等)等。在圖10的示例中，顯示成像裝置10的制造商的"制造商A"、類型"ABC123"和對(duì)象的名稱"兒子和老師"，作為元數(shù)據(jù)16。通過(guò)使用對(duì)象估計(jì)單元58來(lái)分析運(yùn)動(dòng)圖像數(shù)據(jù)21和縮略圖像5，并且執(zhí)行臉部識(shí)別處理，可以確定縮略圖像5中所包含的對(duì)象中的人。因此可以顯示縮略圖像5中的對(duì)象的名稱，作為縮略圖像5的元數(shù)據(jù)16。通過(guò)在這樣的元數(shù)據(jù)16與縮略圖像5相關(guān)聯(lián)的條件下顯示元數(shù)據(jù)16，用戶能夠更準(zhǔn)確地把握視頻內(nèi)容和成像狀況。 (4)鳥瞰模式中運(yùn)動(dòng)軌跡線7的顯示(圖11和圖12) 如圖11中所示，顯示控制單元70減小縮略圖像5的顯示間隔，并且代替地，顯示成像裝置10的運(yùn)動(dòng)路徑信息。要使用的成像裝置10的運(yùn)動(dòng)路徑信息例如可以是互連多個(gè)縮略圖像5的運(yùn)動(dòng)軌跡線7。運(yùn)動(dòng)軌跡線7表示虛擬三維空間6中成像裝置10的運(yùn)動(dòng)軌跡，并且以按照縮略圖像5被拾取的順序來(lái)連接縮略圖像5的方式被顯示。運(yùn)動(dòng)軌跡線7是使多個(gè)縮略圖像5按照它們被拾取的順序彼此關(guān)聯(lián)的信息的一個(gè)示例。顯示圖像生成單元60例如基于由運(yùn)動(dòng)軌跡傳感器172獲得的運(yùn)動(dòng)軌跡信息24來(lái)畫出運(yùn)動(dòng)軌跡線7。在這種情況中，顯示圖像生成單元60以按照縮略圖像5被拾取的順序連接虛擬三維空間6中的縮略圖像5的方式，沿著實(shí)際成像時(shí)成像裝置10的運(yùn)動(dòng)軌跡畫出運(yùn)動(dòng)軌跡線7。
例如，運(yùn)動(dòng)軌跡線7a連接縮略圖像5a和5b，并且沿著成像裝置10拾取縮略圖像5a至5b的運(yùn)動(dòng)圖像時(shí)成像裝置10的運(yùn)動(dòng)軌跡被畫出。類似地，運(yùn)動(dòng)軌跡線7b、7c和7d分別被畫在縮略圖像5b和5c之間、縮略圖像5c和5d之間以及縮略圖像5d和5c之間。
以這種方式，不是在鳥瞰顯示圖像3中顯示許多縮略圖像5，而是減小縮略圖像5的顯示間隔以顯示將縮略圖像5彼此連接的運(yùn)動(dòng)軌跡線7(成像裝置10的路徑信息)。因此，可以從鳥瞰顯示圖像3中排除多余的縮略圖像5和當(dāng)成像裝置10正移動(dòng)時(shí)拾取的不希望的縮略圖像5，從而以易于理解的方式在鳥瞰顯示圖像3中顯示縮略圖像5。并且，通過(guò)利用運(yùn)動(dòng)軌跡線7將縮略圖像5彼此連接，可以示出縮略圖像5被拾取的順序(5a — 5b — 5c — 5d — 5e)并且表示它們的相互關(guān)系。此外，以在三維模型4之間穿過(guò)的方式將運(yùn)動(dòng)軌跡線7畫為直線、曲線或折線，可以準(zhǔn)確地表示成像裝置10拾取運(yùn)動(dòng)圖像時(shí)成像裝置10的運(yùn)動(dòng)路徑。通過(guò)在鳥瞰顯示圖像3中利用這種運(yùn)動(dòng)軌跡線7來(lái)將縮略圖像5按照它們被拾取的順序彼此相關(guān)聯(lián)，用戶能夠更容易和更準(zhǔn)確地把握運(yùn)動(dòng)圖像的內(nèi)容和成像狀況。 此外，鳥瞰顯示圖像3可以多容易地被觀看可能受到縮略圖像5要被顯示在虛擬三維空間6中的哪個(gè)成像位置以及運(yùn)動(dòng)軌跡線7要被顯示在虛擬三維空間6的哪個(gè)其他成像位置的影響。例如，如果縮略圖像5是以預(yù)定的時(shí)間間隔從運(yùn)動(dòng)圖像數(shù)據(jù)21中提取出的，則存在這樣的可能性縮略圖像5中的某些縮略圖像可能質(zhì)量不好。因此，在本實(shí)施例中，當(dāng)從運(yùn)動(dòng)圖像數(shù)據(jù)21中提取多個(gè)縮略圖像5時(shí)，選擇性地提取由于是由靜止的成像裝置10拾取的因此沒(méi)有相機(jī)晃動(dòng)的良好的縮略圖像5以及具有高圖像質(zhì)量的縮略圖像5。因此，可以顯示提供成像場(chǎng)景中的基點(diǎn)的(靜止時(shí)拾取的)縮略圖像5和具有高圖像質(zhì)量的縮略圖像5，從而改善鳥瞰顯示圖像3的易于觀看的程度。 接著，將參考圖12給出對(duì)如何通過(guò)使用運(yùn)動(dòng)軌跡線7來(lái)表示成像狀況和視頻內(nèi)容的描述。在鳥瞰顯示圖像3中，可以根據(jù)成像時(shí)成像裝置10的操作狀況和視頻內(nèi)容來(lái)使用線的類型、文本等恰當(dāng)?shù)乇硎具\(yùn)動(dòng)路徑信息(例如，運(yùn)動(dòng)軌跡線7)。例如，如圖12中所示，對(duì)于縮略圖像5之間的運(yùn)動(dòng)圖像的不同內(nèi)容和成像狀況，可以利用不同的線的類型來(lái)畫出將縮略圖像5彼此連接的運(yùn)動(dòng)軌跡線7。運(yùn)動(dòng)軌跡線7的類型例如包括線的形狀(直線、點(diǎn)線、虛線、滾花線等)、線的顏色、線的粗細(xì)、線的閃爍/不閃爍等。以下將參考圖12的鳥瞰顯示圖像3的示例，給出對(duì)根據(jù)運(yùn)動(dòng)圖像的內(nèi)容和成像狀況來(lái)改變運(yùn)動(dòng)軌跡線7的線的類型的示例的描述。 (a)根據(jù)拍攝期間成像裝置10的運(yùn)動(dòng)速度來(lái)改變線的類型的示例
如圖12中所示，縮略圖像5a和5b通過(guò)所顯示出的實(shí)線運(yùn)動(dòng)軌跡線7e和點(diǎn)線運(yùn)動(dòng)軌跡線7g來(lái)彼此連接。點(diǎn)線運(yùn)動(dòng)軌跡線7g表示成像裝置IO在所顯示出的區(qū)間中的拾取該運(yùn)動(dòng)圖像時(shí)成像裝置10的運(yùn)動(dòng)速度。在顯示中，例如，點(diǎn)線越細(xì)，成像裝置10的運(yùn)動(dòng)速度越慢。此外，實(shí)線運(yùn)動(dòng)軌跡線7e表示成像裝置IO在所顯示的區(qū)間中的平緩運(yùn)動(dòng)。顯示圖像生成單元60基于表示成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)的運(yùn)動(dòng)軌跡信息24(見(jiàn)圖6)，確定成像裝置IO在各個(gè)區(qū)間中的運(yùn)動(dòng)速度，從而根據(jù)成像裝置10的運(yùn)動(dòng)速度來(lái)改變運(yùn)動(dòng)軌跡線7的線的類型。 (b)根據(jù)視頻的相機(jī)晃動(dòng)情況來(lái)改變線的類型的示例 如圖12中所示，縮略圖像5d和5e通過(guò)所顯示的滾花線運(yùn)動(dòng)軌跡線7f來(lái)彼此連接。滾花線運(yùn)動(dòng)軌跡線7f表示在所顯示的區(qū)間中所拾取的運(yùn)動(dòng)圖像的相機(jī)晃動(dòng)情況。在顯示中，例如，線越凹凸，相機(jī)晃動(dòng)越大。顯示圖像生成單元60基于表示成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)的運(yùn)動(dòng)軌跡信息24(見(jiàn)圖6)，確定各個(gè)區(qū)間中的運(yùn)動(dòng)圖像的相機(jī)晃動(dòng)情況，從而根據(jù)相機(jī)晃動(dòng)情況來(lái)改變運(yùn)動(dòng)軌跡線7的線的類型。
(c)根據(jù)視頻中的對(duì)象來(lái)改變線的類型(線的顏色)的示例 盡管未被示出，然而，可以使用運(yùn)動(dòng)軌跡線7的顏色來(lái)表示任何給定區(qū)間中的運(yùn)動(dòng)圖像中所出現(xiàn)的對(duì)象。例如，藍(lán)色的運(yùn)動(dòng)軌跡線7可以指示A先生，紅色的運(yùn)動(dòng)軌跡線7可以指示B先生，藍(lán)點(diǎn)和紅點(diǎn)的運(yùn)動(dòng)軌跡線7可以指示A先生和B先生都出現(xiàn)了 。顯示圖像生成單元60可以基于通過(guò)分析運(yùn)動(dòng)圖像(例如，臉部識(shí)別)所獲得的對(duì)象信息29(見(jiàn)圖6)來(lái)確定各個(gè)區(qū)間中的運(yùn)動(dòng)圖像中所包含的對(duì)象，從而根據(jù)對(duì)象改變運(yùn)動(dòng)軌跡線7的顏色。
(d)根據(jù)視頻中的對(duì)象來(lái)改變線的類型(線的粗細(xì))的示例 盡管未被示出，然而，可以通過(guò)運(yùn)動(dòng)軌跡線7的粗細(xì)來(lái)表示在任意給定區(qū)間中的運(yùn)動(dòng)圖像中出現(xiàn)的對(duì)象的重要性。例如，運(yùn)動(dòng)軌跡線7越粗，該區(qū)間中的視頻中出現(xiàn)的對(duì)象的重要性越高。例如，粗線指示C先生出現(xiàn)了。顯示圖像生成單元60基于通過(guò)分析運(yùn)動(dòng)圖像(例如，臉部識(shí)別)所獲得的對(duì)象信息29(見(jiàn)，圖6)來(lái)確定各個(gè)區(qū)間中的運(yùn)動(dòng)圖像中所包含的對(duì)象，從而根據(jù)對(duì)象的重要性來(lái)改變運(yùn)動(dòng)軌跡線7的粗細(xì)。對(duì)象的重要性例如可以由用戶來(lái)預(yù)先設(shè)置。 (e)根據(jù)成像裝置10的操作內(nèi)容來(lái)改變線的類型(閃爍/不閃爍)的示例
盡管未被示出，然而，可以用運(yùn)動(dòng)軌跡線7的顯示模式(例如，閃爍/不閃爍)來(lái) 表示成像裝置10在各個(gè)區(qū)間中拾取運(yùn)動(dòng)圖像時(shí)成像裝置10的操作。例如，如果運(yùn)動(dòng)軌跡 線7閃爍，則其指示成像裝置10中的透鏡在該區(qū)間的成像期間被變焦。顯示圖像生成單元 60基于成像期間所獲得的成像裝置信息31 (見(jiàn)圖6)中所包含的相機(jī)安裝值來(lái)確定各個(gè)區(qū) 間中成像裝置10的操作內(nèi)容，從而根據(jù)操作內(nèi)容來(lái)改變運(yùn)動(dòng)軌跡線7的顯示模式(閃爍/ 不閃爍) (f)根據(jù)聲音內(nèi)容來(lái)改變線的類型(附加信息被追加/不被追加到線上)的示例
盡管未被示出，然而，可以通過(guò)將或不將諸如音部記號(hào)",'之類的附加信息追加 到運(yùn)動(dòng)軌跡線7上來(lái)指示有意義的聲音是否被記錄到給定區(qū)間中的運(yùn)動(dòng)圖像中。例如，如 果該音部記號(hào)被添加，則其指示除噪聲和環(huán)境聲音以外的有意義的聲音(例如，男人的語(yǔ) 音)被記錄。顯示圖像生成單元60基于通過(guò)分析聲音數(shù)據(jù)獲得的語(yǔ)音信息23(見(jiàn)圖6)來(lái) 確定各個(gè)區(qū)間中的聲音內(nèi)容，從而根據(jù)聲音內(nèi)容將附加信息追加到運(yùn)動(dòng)軌跡線7上。
如這樣參考圖12所述，在鳥瞰顯示圖像3中，將根據(jù)多個(gè)縮略圖像5之間的運(yùn)動(dòng) 圖像的內(nèi)容和成像狀況，以各種線的類型來(lái)顯示運(yùn)動(dòng)軌跡線7。這使得用戶能夠容易并且恰 當(dāng)?shù)匕盐者\(yùn)動(dòng)圖像被拾取的各個(gè)區(qū)間中的視頻內(nèi)容或成像狀況。
(5)鳥瞰模式中多個(gè)運(yùn)動(dòng)圖像的顯示(圖13和圖14) 已經(jīng)參考如下情況描述了以上示例，所述情況是通過(guò)使用一個(gè)鳥瞰顯示圖像3 來(lái)提供對(duì)通過(guò)一系列程序操作(lrec)而成像并攝錄下來(lái)的一個(gè)文件(一個(gè)運(yùn)動(dòng)圖像文件) 的運(yùn)動(dòng)圖像的鳥瞰顯示?，F(xiàn)在，將給出對(duì)通過(guò)使用一個(gè)鳥瞰顯示圖像17來(lái)顯示由不同的成 像裝置10拾取的或在不同時(shí)間拾取的多個(gè)運(yùn)動(dòng)圖像的示例的描述。 如圖13中所示，顯示控制單元70可以顯示在相同地點(diǎn)由不同的多個(gè)成像裝置 10(相機(jī)1-4)拾取的多個(gè)運(yùn)動(dòng)圖像的縮略圖像5f-5i。在所示示例中，顯示鳥瞰顯示圖像 17，其示出小學(xué)的運(yùn)動(dòng)場(chǎng)上運(yùn)動(dòng)會(huì)的場(chǎng)面。鳥瞰顯示圖像17給出虛擬三維空間6的鳥瞰顯 示，虛擬三維空間6包含運(yùn)動(dòng)場(chǎng)上的軌道的三維模型4c以及該場(chǎng)地上由不同的多個(gè)成像裝 置10(相機(jī)l-4)拾取的四個(gè)運(yùn)動(dòng)圖像的縮略圖像5f-5i。在這些縮略圖像中，三個(gè)縮略圖 像5f-5h是在2008年的運(yùn)動(dòng)會(huì)上拾取的，而剩下一個(gè)縮略圖像5i是在2007年在相同地點(diǎn) 舉行的運(yùn)動(dòng)會(huì)上拾取的。 因此可以通過(guò)使用一個(gè)鳥瞰顯示圖像17來(lái)同時(shí)顯示在相同地點(diǎn)拾取的多個(gè)運(yùn)動(dòng) 圖像的縮略圖像5f-5i，而不論成像裝置10或成像日期/時(shí)間的差別如何。因此，即使多個(gè) 運(yùn)動(dòng)圖像是通過(guò)在相同地點(diǎn)執(zhí)行多次成像操作而攝錄下來(lái)的，這多個(gè)運(yùn)動(dòng)圖像在它們與成 像地點(diǎn)相關(guān)的條件下也可以顯示在一個(gè)鳥瞰顯示圖像17中。因此，用戶能夠準(zhǔn)確地把握鳥 瞰顯示圖像17中攝錄下來(lái)的多個(gè)運(yùn)動(dòng)圖像的內(nèi)容和成像狀況。此外，還可以將它們與過(guò)去 在相同地點(diǎn)攝錄下來(lái)的運(yùn)動(dòng)圖像相比較。 并且，顯示控制單元70可以在圖13中所示的多個(gè)運(yùn)動(dòng)圖像的鳥瞰顯示圖像17和 如圖1中所示的一個(gè)這樣的運(yùn)動(dòng)圖像的鳥瞰顯示圖像3被相互切換的條件下顯示它們。例 如，假定用戶已經(jīng)從圖13的鳥瞰顯示圖像17中所顯示的多個(gè)縮略圖像5f-5i中選擇一個(gè) 縮略圖像5f。之后，顯示控制單元70顯示有關(guān)所選擇的縮略圖像5f的運(yùn)動(dòng)圖像的、如圖1中所示的這樣一個(gè)鳥瞰顯示圖像3，來(lái)替代圖13的鳥瞰顯示圖像17。這使得用戶能夠通過(guò) 觀看圖13的鳥瞰顯示圖像17來(lái)把握多個(gè)運(yùn)動(dòng)圖像的總體圖像，從而通過(guò)觀看圖1的鳥瞰 顯示圖像3來(lái)確認(rèn)運(yùn)動(dòng)圖像文件的細(xì)節(jié)。 此外，如圖14中所示，顯示控制單元70也可以耦合與在空間上連續(xù)的地點(diǎn)處拾取 的運(yùn)動(dòng)圖像有關(guān)的多個(gè)鳥瞰顯示圖像3a-3c，從而顯示表示較大范圍的虛擬三維空間6的 一個(gè)鳥瞰顯示圖像18。這使得用戶能夠更容易地把握和管理多個(gè)運(yùn)動(dòng)圖像文件。通過(guò)使用 組合這樣的多個(gè)運(yùn)動(dòng)圖像文件的合成鳥瞰顯示圖像17和18，多個(gè)用戶能夠集體顯示在不 同時(shí)間由不同成像裝置IO拾取的多個(gè)運(yùn)動(dòng)圖像文件的主旨。因此可以容易地把握和管理 許多運(yùn)動(dòng)圖像。 已經(jīng)參考圖8至圖14描述了根據(jù)本實(shí)施例的鳥瞰顯示圖像3的以上顯示示例。通 過(guò)使用根據(jù)本實(shí)施例的鳥瞰顯示圖像3，用戶能夠容易并且準(zhǔn)確地在整體上把握由成像裝
置io拾取的運(yùn)動(dòng)圖像的拾取內(nèi)容和成像狀況。 〈3.第二實(shí)施例> 接著，將給出對(duì)根據(jù)本發(fā)明第二實(shí)施例的顯示控制設(shè)備和方法的描述。
如圖15中所示，第二實(shí)施例可以是本發(fā)明的顯示控制設(shè)備被應(yīng)用于信息處理設(shè) 備200(例如，個(gè)人計(jì)算機(jī))的示例。作為在記錄介質(zhì)中所記錄的運(yùn)動(dòng)圖像的再現(xiàn)中的回放 應(yīng)用，以上鳥瞰顯示圖像3被顯示在信息處理設(shè)備200中的顯示裝置209上。例如，如果用
戶想要觀看或編輯由成像裝置io拾取并且攝錄下來(lái)的運(yùn)動(dòng)圖像的數(shù)據(jù)，則與該運(yùn)動(dòng)圖像
的數(shù)據(jù)有關(guān)的鳥瞰顯示圖像3將被顯示在顯示裝置209上。此外，第二實(shí)施例提供向以上
使用鳥瞰顯示圖像3的視頻顯示方法添加視頻再現(xiàn)操作、視頻編輯和視頻檢索的功能的視
頻再現(xiàn)/編輯系統(tǒng)。[信息處理設(shè)備的硬件結(jié)構(gòu)] 首先，將參考圖16給出對(duì)根據(jù)本實(shí)施例的信息處理設(shè)備200的硬件結(jié)構(gòu)的描述。 圖16是示出根據(jù)本實(shí)施例的信息處理設(shè)備200的硬件結(jié)構(gòu)的框圖。 如圖16中所示，信息處理設(shè)備200例如包括CPU 201、 ROM 202、 RAM 203、主機(jī)總 線204、橋接器205、外部總線206和接口 207。信息處理設(shè)備200還包括輸入裝置208、顯 示裝置209、存儲(chǔ)裝置(HDD)210、驅(qū)動(dòng)器211、連接端口 212和通信裝置213。以這種方式， 信息處理設(shè)備200可以包括通用計(jì)算機(jī)設(shè)備(例如，PC)。 CPU 201用作根據(jù)各種程序進(jìn)行操作以控制信息處理設(shè)備200中的單元的算術(shù)處 理設(shè)備和控制設(shè)備。CPU 201根據(jù)ROM 202中所存儲(chǔ)的程序或從存儲(chǔ)裝置210裝載到RAM 203的程序來(lái)執(zhí)行各種處理。ROM 202存儲(chǔ)由CPU 201使用的程序和算術(shù)參數(shù)，并且用作減 少?gòu)腃PU 201置于存儲(chǔ)裝置210的存取的緩沖器。RAM 203臨時(shí)存儲(chǔ)由CPU 201在執(zhí)行處 理和參數(shù)等時(shí)使用的、在執(zhí)行期間適當(dāng)改變的程序。這些裝置通過(guò)由CPU總線等構(gòu)成的主 機(jī)總線204相互連接。主機(jī)總線204經(jīng)由橋接器205連接到外部總線206 (例如，外圍組件 互連/接口 (PCI)總線) 輸入裝置208例如包括諸如鼠標(biāo)、鍵盤、觸摸面板、按鈕、開關(guān)或操縱桿之類的操 作裝置以及用來(lái)生成輸入信號(hào)并且將輸入信號(hào)發(fā)送給CPU201的輸入控制電路。顯示裝置 209例如包括液晶顯示器(LCD)、有機(jī)EL顯示器、等離子顯示器、陰極射線管(CRT)顯示器 等。此外，其還裝配了諸如揚(yáng)聲器之類的聲音輸出裝置(未示出)。
20
存儲(chǔ)裝置210被用來(lái)存儲(chǔ)各種數(shù)據(jù)，并且例如包括外部裝置，所述外部裝置例如 是HDD或內(nèi)建光盤驅(qū)動(dòng)器。存儲(chǔ)裝置210驅(qū)動(dòng)作為記錄介質(zhì)的硬盤來(lái)將由CPU 201執(zhí)行的 程序和各種數(shù)據(jù)存儲(chǔ)在硬盤中。驅(qū)動(dòng)器211被用來(lái)執(zhí)行對(duì)記錄介質(zhì)的讀操作和寫操作，并 且內(nèi)建在信息處理設(shè)備200中或從外部安裝到信息處理設(shè)備200。驅(qū)動(dòng)器211對(duì)可移除記 錄介質(zhì)執(zhí)行各種數(shù)據(jù)的讀/寫操作，可移除記錄介質(zhì)例如是磁盤、光盤、磁光盤或裝載在信 息處理設(shè)備200中的半導(dǎo)體存儲(chǔ)器。 連接端口 212被用來(lái)連接外部外圍裝置并且具有諸如USB或IEEE1394之類的連 接端子。連接端口 212經(jīng)由接口 207、外部總線206、橋接器205或主機(jī)總線204連接到CPU 201等。通信裝置213是用來(lái)連接到網(wǎng)絡(luò)的、例如由通信裝置構(gòu)成的通信接口。通信裝置 213經(jīng)由網(wǎng)絡(luò)向具有網(wǎng)絡(luò)通信功能的外部裝置發(fā)送各種數(shù)據(jù)或從外部裝置接收各種數(shù)據(jù)。
例如，信息處理設(shè)備200可以經(jīng)由網(wǎng)絡(luò)從具有網(wǎng)絡(luò)通信功能的成像裝置10或任何 其它裝置獲得運(yùn)動(dòng)圖像數(shù)據(jù)21及其附加信息。此外，信息處理設(shè)備200可以從記錄數(shù)據(jù)的 記錄介質(zhì)中獲取由成像裝置10獲得的運(yùn)動(dòng)圖像數(shù)據(jù)21及其附加數(shù)據(jù)等。
[信息處理設(shè)備的功能結(jié)構(gòu)] 接著，將參考圖17詳細(xì)給出對(duì)根據(jù)本實(shí)施例的信息處理設(shè)備200的功能結(jié)構(gòu)的說(shuō) 明。圖17是示出根據(jù)本實(shí)施例的信息處理設(shè)備200的功能結(jié)構(gòu)的框圖。注意，圖17示意 性地示出用來(lái)顯示表征本實(shí)施例的特征的鳥瞰顯示圖像3的功能單元。
如圖17中所示，信息處理設(shè)備200包括存儲(chǔ)單元20、預(yù)處理單元50、顯示圖像生 成單元60、顯示控制單元70、圖像處理單元80、顯示裝置209和輸入裝置208。在這些裝置 中，預(yù)處理單元50、顯示圖像生成單元60、顯示控制單元70和圖像處理單元80例如是由安 裝在信息處理設(shè)備200中的軟件來(lái)實(shí)現(xiàn)的。即，例如，圖16中所示的CPU 201根據(jù)R0M202 等中所存儲(chǔ)的程序來(lái)進(jìn)行操作，從而用作預(yù)處理單元50、顯示圖像生成單元60、顯示控制 單元70和圖像處理單元80。注意，可以經(jīng)由記錄介質(zhì)或網(wǎng)絡(luò)向信息處理設(shè)備200提供程 序。 與以上根據(jù)第一實(shí)施例的成像裝置IO(圖5)相比，根據(jù)第二實(shí)施例的信息處理設(shè) 備200圖17)沒(méi)有裝配成像處理單元40、距離傳感器170也沒(méi)有裝配運(yùn)動(dòng)軌跡傳感器172， 但是包括圖像處理單元80。除了該差異以外，第二實(shí)施例與第一實(shí)施例相同，并且將省略對(duì) 相同組件存儲(chǔ)單元20、預(yù)處理單元50、顯示圖像生成單元60和顯示控制單元70的重復(fù)描 述。 如圖17中所示，信息處理設(shè)備200經(jīng)由記錄介質(zhì)或網(wǎng)絡(luò)從任何其它裝置(例如， 成像裝置10)獲得運(yùn)動(dòng)圖像數(shù)據(jù)21、成像者信息30、成像裝置信息31和傳感器測(cè)量出的數(shù) 據(jù)32，并且將它們存儲(chǔ)在存儲(chǔ)單元20中。傳感器測(cè)量出的數(shù)據(jù)32與由圖6中所述的距離 傳感器170或運(yùn)動(dòng)軌跡傳感器172所測(cè)量出的數(shù)據(jù)相對(duì)應(yīng)。 與第一實(shí)施例類似，預(yù)處理單元50基于輸入數(shù)據(jù)(例如運(yùn)動(dòng)圖像數(shù)據(jù)21和傳感 器測(cè)量出的數(shù)據(jù)32)生成各種信息和數(shù)據(jù)塊22-29。注意，如果信息處理設(shè)備200能夠從諸 如成像裝置10之類的外部裝置獲得那些信息和數(shù)據(jù)塊22-29，則預(yù)處理單元50是不必要 的。 此外，如果不可以從成像裝置10獲得傳感器測(cè)量出的數(shù)據(jù)32，則預(yù)處理單元50中 的運(yùn)動(dòng)軌跡估計(jì)單元53可以分析運(yùn)動(dòng)圖像數(shù)據(jù)21來(lái)估計(jì)成像時(shí)成像裝置10的運(yùn)動(dòng)軌跡、來(lái)識(shí)別和提取由運(yùn)動(dòng)圖像 數(shù)據(jù)21表示的視頻中所包含的物體，從而估計(jì)其三維形狀、位置等。 與第一實(shí)施例類似，顯示圖像生成單元60生成鳥瞰顯示圖像3，然后，鳥瞰顯示圖 像3由顯示控制單元70顯示在顯示裝置209上。 圖像處理單元80響應(yīng)于輸入裝置208上由用戶進(jìn)行的輸入操作來(lái)處理(編輯、生 成、檢索等)諸如運(yùn)動(dòng)圖像數(shù)據(jù)21之類的圖像。圖像處理單元80包括圖像編輯單元82和 圖像檢索單元84。 圖像編輯單元82響應(yīng)于對(duì)顯示裝置209上所顯示的鳥瞰顯示圖像3中的三維模 型4或縮略圖像5的用戶操作，編輯運(yùn)動(dòng)圖像數(shù)據(jù)21。這使得用戶能夠僅通過(guò)拖放鳥瞰顯 示圖像3上的編輯目標(biāo)三維模型4或縮略圖像5來(lái)編輯視頻，因此輔助了編輯工作。稍后 將描述這樣的編輯處理的細(xì)節(jié)(見(jiàn)圖18和圖19)。 此外，圖像編輯單元82響應(yīng)于對(duì)顯示裝置209上所顯示的鳥瞰顯示圖像3的用戶 操作，基于運(yùn)動(dòng)圖像數(shù)據(jù)21來(lái)生成圖像。例如，如果運(yùn)動(dòng)圖像的角度是由用戶在鳥瞰顯示 圖像3中指定的，則圖像編輯單元82根據(jù)所指定的角度來(lái)處理運(yùn)動(dòng)圖像數(shù)據(jù)21，從而生成 在該角度觀看到的運(yùn)動(dòng)圖像的數(shù)據(jù)。稍后將描述這樣的角度改變處理的細(xì)節(jié)(見(jiàn)圖20)。
圖像檢索單元84檢索與由用戶從顯示裝置209上所顯示的鳥瞰顯示圖像3中選 擇的三維模型4相同或相似的任何其它三維模型4或包含三維模型4的圖像。圖像檢索單 元84可以通過(guò)不僅指定三維模型4的形狀并且指定其顏色和大小來(lái)檢索三維模型4。此 外，圖像檢索單元84可以在多塊運(yùn)動(dòng)圖像數(shù)據(jù)21中，通過(guò)使用三維模型4來(lái)執(zhí)行檢索。稍 后將描述這樣的檢索處理的細(xì)節(jié)(見(jiàn)圖21)。
[鳥瞰顯示圖像的顯示示例] 接著，將 參考圖18至圖23來(lái)給出根據(jù)該實(shí)施例的鳥瞰顯示圖像3的顯示示例的 描述。通常使用信息處理設(shè)備200來(lái)觀看、編輯和檢索由記錄儀(例如成像裝置10)攝錄 下來(lái)的運(yùn)動(dòng)圖像。以下，將描述將鳥瞰顯示圖像3應(yīng)用于對(duì)這樣的運(yùn)動(dòng)圖像的觀看、編輯和 檢索的顯示示例的描述。 (1)用來(lái)添加/刪除圖像的視頻編輯(圖18) 如圖18中所示，顯示控制單元70在顯示裝置209上顯示有關(guān)給定運(yùn)動(dòng)圖像的鳥 瞰顯示圖像3、指示附加圖像的圖標(biāo)220和221、以及指示場(chǎng)景的選擇或刪除的圖標(biāo)230和 231 。附加圖像可以是運(yùn)動(dòng)圖像或靜止圖像中的任何一種。 首先，將給出對(duì)現(xiàn)有運(yùn)動(dòng)圖像進(jìn)行圖像的添加編輯的描述。用戶能夠通過(guò)將指示 希望添加的場(chǎng)景的圖像的圖標(biāo)220和221拖放到鳥瞰顯示圖像3中的縮略圖像5上來(lái)編輯 該運(yùn)動(dòng)圖像。當(dāng)編輯后的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，所添加的場(chǎng)景的圖像將按照它們被添加的順 序被再現(xiàn)。 更詳細(xì)地描述，圖18中所示的示例在鳥瞰顯示圖像3的左側(cè)顯示指示開始場(chǎng)景的 圖像的圖標(biāo)220和指示結(jié)束場(chǎng)景的圖像的圖標(biāo)221。用戶將開始場(chǎng)景的圖標(biāo)220拖放到開 頭的縮略圖像5a上并且將結(jié)束場(chǎng)景的圖標(biāo)221拖放到結(jié)尾縮略圖像5e上。響應(yīng)于這樣的 用戶操作，圖像編輯單元82將開始場(chǎng)景的圖像添加到由縮略圖像5a-5e給出的運(yùn)動(dòng)圖像的 開頭并且將結(jié)束場(chǎng)景的圖像添加到該運(yùn)動(dòng)圖像的結(jié)尾。以這種方式，用戶可以通過(guò)在鳥瞰 顯示圖像3中執(zhí)行簡(jiǎn)單的操作來(lái)編輯視頻。
接著，將給出對(duì)運(yùn)動(dòng)圖像中的場(chǎng)景的選擇和刪除的描述。用戶可以通過(guò)將鳥瞰顯 示圖像3中的縮略圖像5拖放到分別指示場(chǎng)景選擇和刪除的圖標(biāo)230和231上來(lái)編輯運(yùn)動(dòng) 圖像。當(dāng)編輯后的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，所選擇的場(chǎng)景將被再現(xiàn)，而所刪除的場(chǎng)景將不被再 現(xiàn)。 更具體地描述，圖18中所示的示例在鳥瞰顯示圖像3的右側(cè)顯示指示場(chǎng)景選擇的
圖標(biāo)230和指示場(chǎng)景刪除的圖標(biāo)231。用戶通過(guò)將縮略圖像5c拖放到選擇圖標(biāo)230上來(lái)選
擇包含縮略圖像5c的場(chǎng)景。此外，用戶通過(guò)將縮略圖像5c拖放到刪除圖標(biāo)231上來(lái)刪除
包含縮略圖像5c的場(chǎng)景。響應(yīng)于這樣的用戶操作，圖像編輯單元82以包含縮略圖像5c的
場(chǎng)景可以被留下或被刪除的方式來(lái)編輯原始運(yùn)動(dòng)圖像。通過(guò)這樣的使用縮略圖像5的場(chǎng)景
選擇和刪除，包含縮略圖像5的預(yù)定區(qū)間中的運(yùn)動(dòng)圖像被選擇或被刪除。 以這種方式，通過(guò)在鳥瞰顯示圖像3上進(jìn)行簡(jiǎn)單的操作來(lái)選擇和刪除運(yùn)動(dòng)圖像的
場(chǎng)景，用戶可以編輯視頻。此外，在編輯后，在鳥瞰顯示圖像3中，可以將與所刪除的場(chǎng)景相
對(duì)應(yīng)的運(yùn)動(dòng)軌跡線7用點(diǎn)線表示，或可以使該場(chǎng)景的縮略圖像5半透明。這使得用戶能夠
認(rèn)識(shí)到運(yùn)動(dòng)圖像中的某些場(chǎng)景已被刪除。 (2)通過(guò)使用三維模型進(jìn)行的視頻編輯(圖19) 如圖19中所示，顯示控制單元70使得顯示裝置209顯示有關(guān)給定運(yùn)動(dòng)圖像的鳥 瞰顯示圖像3、指示對(duì)三維模型4的選擇或刪除的圖標(biāo)240以及指示希望添加的三維模型的 物體的圖標(biāo)241。 首先，將使用三維模型4從鳥瞰顯示圖像3中的刪除來(lái)給出對(duì)視頻編輯的描述。用 戶可以通過(guò)將鳥瞰顯示圖像3中的三維模型4d拖放到指示三維模型刪除的圖標(biāo)240上來(lái) 編輯運(yùn)動(dòng)圖像。響應(yīng)于這樣的用戶操作，圖像編輯單元82刪除與所刪除的三維模型4相對(duì) 應(yīng)的物體的圖像部分，以通過(guò)利用所刪除部分周圍的圖像以及刪除前后的圖像來(lái)補(bǔ)充適當(dāng) 的圖像。結(jié)果，當(dāng)編輯后的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，與所刪除的三維模型4d相對(duì)應(yīng)的物體(示 圖示例中右后方的桌子)的圖像不被示出，并且所產(chǎn)生的空缺部分通過(guò)使用周圍的有關(guān)時(shí) 間和有關(guān)空間的信息而被適當(dāng)?shù)膱D像的繪圖填充。通過(guò)這樣利用三維模型4來(lái)編輯視頻， 可以容易地選擇和刪除拍攝期間被不希望地成像的人和物。 接著，將使用將三維模型4到鳥瞰顯示圖像3的添加來(lái)給出對(duì)視頻編輯的描述。用 戶可以通過(guò)將指示希望添加的三維模型的物體的圖標(biāo)241拖放到鳥瞰顯示圖像3中任何給 定的部分上來(lái)編輯運(yùn)動(dòng)圖像。響應(yīng)于這樣的用戶操作，圖像編輯單元82將與所添加的三維 模型4相對(duì)應(yīng)的物體(所示示例中的圣誕樹)的圖像添加到指定的位置。結(jié)果，當(dāng)編輯后 的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，與所添加的三維模型4相對(duì)應(yīng)的圖像被畫到圖標(biāo)所放落的位置使得 三維模型4可以被添加，從而避免畫出被所添加的圖像遮住的部分的背景圖像。
接著，將使用三維模型4的移動(dòng)來(lái)給出對(duì)視頻編輯的描述。用戶可以通過(guò)將鳥瞰 顯示圖像3中的任意三維模型4a拖放到鳥瞰顯示圖像3的任意給定部分來(lái)編輯運(yùn)動(dòng)圖像。 響應(yīng)于這樣的用戶操作，圖像編輯單元82在原來(lái)的位置刪除與所移動(dòng)的三維模型4a相對(duì) 應(yīng)的物體(所示示例中的左上方的桌子)的圖像并且將它畫到移動(dòng)目的地位置。在原來(lái)的 位置，圖像編輯單元82通過(guò)利用所刪除的部分周圍的圖像以及刪除前后的圖像來(lái)補(bǔ)充適 當(dāng)?shù)膱D像。結(jié)果，當(dāng)編輯后的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，三維模型4a的物體被畫到移動(dòng)目的地位 置，而不是原來(lái)的位置。
以這種的方式，通過(guò)在鳥瞰顯示圖像3上進(jìn)行簡(jiǎn)單的操作來(lái)添加、刪除和移動(dòng)三
維模型4，用戶可以編輯視頻。
(3)通過(guò)角度指定的視頻編輯(圖20) 如圖20中所示，用戶可以調(diào)節(jié)鳥瞰顯示圖像3中的角度指定箭頭250，從而指定與 運(yùn)動(dòng)圖像被拾取時(shí)的角度(箭頭250)不同的角度(箭頭251)。該角度是指對(duì)象被成像的相 機(jī)角度(視點(diǎn))。根據(jù)所指定的角度，圖像編輯單元82對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)21執(zhí)行圖像處理， 從而生成以該角度觀看到的運(yùn)動(dòng)圖像的數(shù)據(jù)。結(jié)果，當(dāng)視頻被再現(xiàn)時(shí)，生成并且顯示以指定 角度觀看到的運(yùn)動(dòng)圖像(常規(guī)回放顯示圖像8)。以這樣的方式，用戶可以容易地指定所希 望的角度，使得信息處理設(shè)備200能夠生成并顯示將該角度作為其視點(diǎn)的運(yùn)動(dòng)圖像。通過(guò) 這樣在不同角度觀看運(yùn)動(dòng)圖像，用戶能夠更準(zhǔn)確地把握運(yùn)動(dòng)圖像的內(nèi)容和成像狀況。
(4)使用三維模型的圖像檢索(圖21) 如圖21中所示，用戶可以選擇鳥瞰顯示圖像3中的任何給定的三維模型4a，并且 檢索與三維模型4a相同或相似的三維模型4e-4i。更具體地，首先，用戶選擇鳥瞰顯示圖 像3中的一個(gè)三維模型4a。然后，圖像檢索單元84在檢索窗261中顯示所選擇的三維模 型4a。如果用戶按壓檢索按鈕262，則圖像檢索單元84檢索與所選擇的三維模型4a相似 的三維模型4e-4i，并且還搜索整個(gè)運(yùn)動(dòng)圖像以找出包含由所檢索出的三維模型4e-4i表 示的物體的圖像部分。因此，用戶能夠容易地檢索到出現(xiàn)了所希望的物體(對(duì)象)的視頻。
此外，通過(guò)不僅指定三維模型4的形狀還指定其顏色和大小，可以檢索包含類似 的三維模型4的圖像。也可以通過(guò)使用三維模型4來(lái)在多個(gè)運(yùn)動(dòng)圖像中檢索類似的圖像。
此外，用戶可以選擇鳥瞰顯示圖像3中的任何給定三維模型4并且給三維模型4 添加元信息。圖像檢索單元84能夠基于該元信息來(lái)檢索三維模型4，從而檢索到包含三維 模型4的圖像。還可以通過(guò)使用三維模型4的元信息來(lái)在多個(gè)運(yùn)動(dòng)圖像中檢索類似的圖像。
如上所述，鳥瞰顯示圖像3示出運(yùn)動(dòng)圖像中的物體的三維模型4使得三維模型4 可以被恰當(dāng)?shù)赜米鳈z索條件。通過(guò)使用三維模型4作為檢索條件來(lái)檢索類似的圖像或相關(guān) 的圖像，用戶能夠容易并且迅速地找出所希望的圖像。
(5)包含移動(dòng)體的對(duì)象的鳥瞰顯示(圖22和圖23) 圖22示出在從固定點(diǎn)對(duì)包含移動(dòng)體(例如，火車)的對(duì)象進(jìn)行成像的情況中的鳥 瞰顯示圖像3。在該情況中，移動(dòng)體例如可以是所示出的交通工具(例如，火車)、動(dòng)物、人 等。顯示控制單元70顯示移動(dòng)體的三維模型4j、任何其它物體(例如，高架橋)的三維模 型4k、以及包含在任意時(shí)間拍攝的一個(gè)縮略圖像5j的鳥瞰顯示圖像3。在該情況中，由于 移動(dòng)體隨著時(shí)間消逝在運(yùn)動(dòng)圖像中移動(dòng)，所以產(chǎn)生了應(yīng)當(dāng)在虛擬三維空間6中的哪個(gè)位置 畫出移動(dòng)體的三維模型4j的問(wèn)題。 在所示示例中，顯示圖像生成單元60將移動(dòng)體的三維模型4j畫到給定成像時(shí)間 的位置，以畫出該成像時(shí)間的縮略圖像5j。在基于運(yùn)動(dòng)圖像整體的情況中，顯示圖像生成 單元60在成像時(shí)間的縮略圖像5j中填充未出現(xiàn)的移動(dòng)體的部分271，從而畫出移動(dòng)體的 三維模型4j。圖22中由實(shí)線橢圓包圍的部分272是移動(dòng)體的三維模型4j中的填充部分。 以這種方式，用戶可以恰當(dāng)?shù)匕盐諒墓潭c(diǎn)拾取的運(yùn)動(dòng)圖像的內(nèi)容，特別是移動(dòng)體的位置 和大小。 此外，如圖23中所示，用戶可以通過(guò)使用指針273選擇鳥瞰顯示圖像3中移動(dòng)體
24的三維模型4j并且拖動(dòng)(即，移動(dòng))三維模型4j來(lái)控制常規(guī)回放顯示圖像8中的再現(xiàn)時(shí) 間。 S卩，如果移動(dòng)體是以這種方式成像的，則在運(yùn)動(dòng)圖像中，在移動(dòng)體的位置和再現(xiàn)時(shí) 間之間存在關(guān)聯(lián)。因此，如果移動(dòng)體的三維模型4j在鳥瞰顯示圖像3中被用戶移動(dòng)了，則 顯示控制單元70根據(jù)三維模型4j的位置、移動(dòng)方向和移動(dòng)速度來(lái)控制常規(guī)回放顯示圖像 8中的再現(xiàn)時(shí)間、再現(xiàn)方向和再現(xiàn)速度。在圖23的示例中，如果三維模型4j被從右往左移 動(dòng)，則在正的再現(xiàn)方向中再現(xiàn)常規(guī)回放顯示圖像8。通過(guò)這樣將移動(dòng)體的三維模型4的移 動(dòng)和常規(guī)回放顯示相互聯(lián)鎖，用戶能夠通過(guò)簡(jiǎn)單的操作以希望的再現(xiàn)時(shí)間、在希望的方向 上并且以希望的再現(xiàn)速度提供運(yùn)動(dòng)圖像的常規(guī)回放顯示，從而恰當(dāng)?shù)匕盐赵撨\(yùn)動(dòng)圖像的內(nèi) 容?！葱Ч?gt; 因此，已經(jīng)描述了根據(jù)本發(fā)明第一和第二實(shí)施例的用于顯示鳥瞰顯示圖像的顯示 控制設(shè)備和顯示方法。相關(guān)技術(shù)(圖2)中的常規(guī)回放顯示和菲林膠巻顯示(圖3)具有需 要許多時(shí)間和精力來(lái)把握運(yùn)動(dòng)圖像的拾取內(nèi)容并且還不能夠把握成像狀況的問(wèn)題。
相比之下，根據(jù)按照這些實(shí)施例的鳥瞰顯示圖像3，物體的三維模型4被畫到其在 虛擬三維空間6中的實(shí)際位置并且被畫到多個(gè)縮略圖像5被拾取時(shí)的位置和方向上。此外， 作為使縮略圖像5相互關(guān)聯(lián)的信息，按照縮略圖像5被拾取的順序互連多個(gè)縮略圖像5的 運(yùn)動(dòng)軌跡線7被沿著成像裝置10的運(yùn)動(dòng)軌跡畫出。然后，鳥瞰顯示圖像3提供對(duì)包含縮略 圖像5和三維模型4的虛擬三維空間6的鳥瞰顯示，從而使得通過(guò)利用成像裝置10的運(yùn)動(dòng) 路徑和縮略圖像5之間的關(guān)聯(lián)可以容易地把握拾取內(nèi)容和成像狀況。 因此，用戶可以容易地且即時(shí)地把握成像視頻(運(yùn)動(dòng)圖像)的內(nèi)容和成像狀況兩
者。因此，用戶可以有效地對(duì)由成像裝置10記錄的多個(gè)視頻進(jìn)行分類、布置和編輯。結(jié)果，
可以逆轉(zhuǎn)許多視頻在用戶處囤積以致用戶不知道如何處理它們的現(xiàn)狀。 此外，除了這樣容易地把握視頻內(nèi)容以外，在視頻編輯中，用戶還可以通過(guò)諸如拖
放操作之類的簡(jiǎn)單操作而容易并且快速地對(duì)視頻進(jìn)行再現(xiàn)、檢索和編輯。因此，即使由于怕
麻煩而不愿編輯的用戶也能欣然使用本發(fā)明。 可以肯定地預(yù)期成像裝置未來(lái)的進(jìn)步致力于添加用于獲得三維信息的功能，而根 據(jù)本實(shí)施例的視頻顯示方法對(duì)該功能具有非常高的親合力。此外，近年來(lái)信息處理設(shè)備和 圖像分析技術(shù)的進(jìn)步已經(jīng)提高了從視頻中自動(dòng)提取出三維信息的能力。因此，根據(jù)本實(shí)施 例的視頻顯示方法也能夠適應(yīng)相關(guān)技術(shù)中的、在拍攝時(shí)尚不能獲得其三維信息的視頻資 料。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)需要和其它因素，可以進(jìn)行各種修改、組合、 子組合和更改，只要它們?cè)谒綑?quán)利要求的范圍及其等價(jià)物以內(nèi)即可。 例如，以上實(shí)施例將顯示控制設(shè)備應(yīng)用到成像裝置10 (數(shù)字視頻相機(jī))或信息處 理設(shè)備200(PC)，然而，本發(fā)明不限于它們。例如，本發(fā)明的顯示控制設(shè)備可以應(yīng)用到包括數(shù) 字靜止相機(jī)和監(jiān)視器相機(jī)在內(nèi)的各種成像裝置，以及具有成像功能的任何給定裝置，例如， 帶攝像頭的蜂窩電話等。此外，它還可以應(yīng)用到任何給定的電子裝置，這些電子裝置盡管沒(méi) 有成像功能，但是只要具有視頻再現(xiàn)功能即可。這些電子裝置可以包括視頻記錄/再現(xiàn)設(shè) 備，例如藍(lán)光光盤/DVD/HDD播放器、個(gè)人數(shù)字助理(PDA)、便攜式視頻播放器、游戲機(jī)和TV接收機(jī)。 此外，已經(jīng)參考個(gè)人用戶拍攝個(gè)人內(nèi)容(自己記錄的視頻)的情況描述了以上實(shí) 施例，但是本發(fā)明的鳥瞰顯示方法可以應(yīng)用于包括廣播節(jié)目和視頻媒體的再現(xiàn)在內(nèi)的寬范 圍的領(lǐng)域。 此外，用于顯示本發(fā)明的鳥瞰顯示圖像3的裝置不限于兩維監(jiān)視器。例如，通過(guò)使 用三維監(jiān)視器，可以以更立體的方式來(lái)再現(xiàn)鳥瞰顯示圖像。 此外，盡管以上實(shí)施例已經(jīng)顯示了運(yùn)動(dòng)軌跡線7作為按照縮略圖像5被拾取的順 序?qū)⒖s略圖像5相互關(guān)聯(lián)的信息，但是本發(fā)明不限于此。例如，作為該信息，指示縮略圖像5 被拾取的順序的文本信息可以被顯示，或者標(biāo)記和圖標(biāo)可以以沿鳥瞰顯示圖像3中的成像 裝置10的運(yùn)動(dòng)途徑移動(dòng)的方式被顯示。 本申請(qǐng)包含與2008年10月10日在日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2008-264112中所公開的主題相關(guān)的主題，其全部?jī)?nèi)容通過(guò)引用被結(jié)合于此。
權(quán)利要求
一種顯示控制設(shè)備，包括存儲(chǔ)單元，所述存儲(chǔ)單元存儲(chǔ)通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作所拾取的運(yùn)動(dòng)圖像；顯示圖像生成單元，所述顯示圖像生成單元，在布置了所述運(yùn)動(dòng)圖像中所包含的物體的三維模型的虛擬三維空間中，將從所述運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像畫到所述縮略圖像被拾取時(shí)所述成像裝置的相應(yīng)位置上，并且在所述虛擬三維空間中畫出按照所述縮略圖像被拾取的順序來(lái)關(guān)聯(lián)所述縮略圖像的信息，從而生成鳥瞰顯示圖像，所述鳥瞰顯示圖像提供對(duì)包含所述三維模型和所述縮略圖像的所述虛擬三維空間的鳥瞰繪圖；以及顯示控制單元，所述顯示控制單元使得所述顯示單元顯示所述鳥瞰顯示圖像。
2. 根據(jù)權(quán)利要求l所述的顯示控制設(shè)備，其中所述存儲(chǔ)單元存儲(chǔ)運(yùn)動(dòng)軌跡信息作為所述運(yùn)動(dòng)圖像的附加信息，所述運(yùn)動(dòng)軌跡信息表 示所述成像裝置在拾取所述運(yùn)動(dòng)圖像時(shí)的運(yùn)動(dòng)軌跡；并且所述顯示圖像生成單元基于所述運(yùn)動(dòng)軌跡信息在所述虛擬三維空間中所述縮略圖像 被拾取時(shí)所述成像裝置的相應(yīng)位置處畫出所述縮略圖像。
3. 根據(jù)權(quán)利要求2所述的顯示控制設(shè)備，其中按照所述縮略圖像被拾取的順序關(guān)聯(lián)所述縮略圖像的信息是表示所述成像裝置在拾 取所述運(yùn)動(dòng)圖像時(shí)所述成像裝置的運(yùn)動(dòng)軌跡的運(yùn)動(dòng)軌跡線，并且所述顯示圖像生成單元基于所述運(yùn)動(dòng)軌跡信息、以按照所述縮略圖像被拾取的順序連 接所述縮略圖像的方式在所述虛擬三維空間中畫出所述運(yùn)動(dòng)軌跡線。
4. 根據(jù)權(quán)利要求3所述的顯示控制設(shè)備，其中，所述顯示圖像生成單元根據(jù)所述縮略 圖之間的運(yùn)動(dòng)圖像的內(nèi)容或成像狀況、以各種線的類型畫出連接所述縮略圖像的運(yùn)動(dòng)軌跡 線。
5. 根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，其中，所述顯示圖像生成單元將表示所述縮 略圖像中的至少一些縮略圖像的內(nèi)容或成像狀況的替換圖像畫到所述縮略圖像的繪圖位 置來(lái)替代所述縮略圖像。
6. 根據(jù)權(quán)利要求5所述的顯示控制設(shè)備，其中，所述顯示圖像生成單元 根據(jù)所述虛擬三維空間中的縮略圖像的繪圖位置來(lái)改變要被畫出的縮略圖像的大??；并且如果要被畫出的縮略圖像的大小是預(yù)定的大小或更小，則畫出所述替換圖像來(lái)替代所 述縮略圖像。
7. 根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，其中，所述顯示圖像生成單元在元數(shù)據(jù)與所 述縮略圖像相關(guān)的條件下，在所述虛擬三維空間中畫出有關(guān)所述縮略圖像的所述元數(shù)據(jù)。
8. 根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，還包括圖像編輯單元，所述圖像編輯單元響 應(yīng)于對(duì)所述顯示單元中所示出的鳥瞰顯示圖像中的三維模型或縮略圖像的用戶操作來(lái)編 輯所述運(yùn)動(dòng)圖像。
9. 根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，還包括圖像編輯單元，所述圖像編輯單元響 應(yīng)于所述顯示單元中所示出的鳥瞰顯示圖像中的角度的指定，生成在所指定的角度觀看到 的運(yùn)動(dòng)圖像。
10. 根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，還包括圖像檢索單元，所述圖像檢索單元檢索包含與從所述顯示單元上所顯示的鳥瞰顯示圖像中選出的三維模型相同或相似的三維 模型或與該三維模型相對(duì)應(yīng)的物體的圖像。
11. 一種顯示控制方法，包括以下步驟將從運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像畫到虛擬三維空間中所述縮略圖像被拾取時(shí) 成像裝置的相應(yīng)位置上，所述運(yùn)動(dòng)圖像是通過(guò)使用所述成像裝置執(zhí)行一次連續(xù)的成像操作 所拾取的，所述運(yùn)動(dòng)圖像中所包含的物體的三維模型被布置在所述虛擬三維空間中，并且 在所述虛擬三維空間中畫出按照所述縮略圖像被拾取的順序關(guān)聯(lián)所述縮略圖像的信息，從 而生成鳥瞰顯示圖像，所述鳥瞰顯示圖像提供對(duì)包含所述三維模型和所述縮略圖像的所述 虛擬三維空間的鳥瞰繪圖；以及使得顯示單元顯示所述鳥瞰顯示圖像。
12. —種程序，使得計(jì)算機(jī)執(zhí)行以下步驟將從運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像畫到虛擬三維空間中所述縮略圖像被拾取時(shí) 所述成像裝置的相應(yīng)位置上，所述運(yùn)動(dòng)圖像是通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作 所拾取的，所述運(yùn)動(dòng)圖像中所包含的物體的三維模型被布置在所述虛擬三維空間中，并且 在所述虛擬三維空間中畫出按照所述縮略圖像被拾取的順序關(guān)聯(lián)所述縮略圖像的信息，從 而生成鳥瞰顯示圖像，所述鳥瞰顯示圖像提供對(duì)包含所述三維模型和所述縮略圖像的所述 虛擬三維空間的鳥瞰繪圖；以及使得顯示單元顯示所述鳥瞰顯示圖像。
全文摘要
本發(fā)明公開了一種顯示控制設(shè)備、顯示控制方法和程序。所述顯示控制設(shè)備在被布置了通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作所拾取的運(yùn)動(dòng)圖像中所包含的物體的三維模型的虛擬三維空間中，將從運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像畫到縮略圖像被拾取時(shí)成像裝置的相應(yīng)位置上，并且畫出按照所述縮略圖像被拾取的順序關(guān)聯(lián)所述縮略圖像的信息，從而生成鳥瞰顯示圖像，所述鳥瞰顯示圖像提供對(duì)包含三維模型和縮略圖像的虛擬三維空間的鳥瞰繪圖；并且使得顯示單元顯示鳥瞰顯示圖像。
文檔編號(hào)H04N5/225GK101729781SQ20091017936
公開日2010年6月9日 申請(qǐng)日期2009年10月10日 優(yōu)先權(quán)日2008年10月10日
發(fā)明者鹿島浩司 申請(qǐng)人:索尼株式會(huì)社