專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及圖像處理裝置、圖像處理方法和程序，具體而言例如涉及使得用戶能夠在單個內(nèi)容項中同時觀看用戶感興趣的多個場景等等的多個地方的圖像處理裝置、圖像處理方法和程序。
背景技術(shù)：
例如，為了觀看視頻的內(nèi)容內(nèi)用戶感興趣的場景，用戶必須給出再現(xiàn)該場景的指示，也就是說給出關(guān)于作為再現(xiàn)對象的場景(的位置)的指示。為了給出關(guān)于作為再現(xiàn)對象的場景的指示，用戶必須獲得內(nèi)容中包括的場景的概
要。 作為用戶獲得內(nèi)容中包括的場景的概要的方法，有顯示內(nèi)容的縮略圖的方法。作為顯示內(nèi)容的縮略圖的方法，例如，有檢測廣告和主節(jié)目之間的切換、圖像中反映的人和物體之間的切換等等作為場景變化，并且生成和顯示壓縮了緊跟場景變化后的幀的縮略圖的方法(例如參考2008-312183號日本專利申請公布)。

發(fā)明內(nèi)容
根據(jù)本公開的實施例，提供了一種視頻管理應(yīng)用，其以膠卷形式顯示內(nèi)容的一部分的巾貞的縮略圖并且在縮略圖被點擊時從與縮略圖相對應(yīng)的巾貞開始再現(xiàn)。根據(jù)該視頻管理應(yīng)用，用戶能夠通過查看縮略圖、獲得以與縮略圖相對應(yīng)的幀等等開始的場景的概要并且點擊感興趣的場景的縮略圖來觀看場景。這里，在上述視頻應(yīng)用中，當(dāng)與縮略圖A相對應(yīng)的(從與縮略圖A相對應(yīng)的巾貞開始的)場景由于用戶對縮略圖A的點擊而正在再現(xiàn)中時,在用戶查看另一縮略圖B、對與縮略圖B相對應(yīng)的場景感興趣并且通過點擊縮略圖B來嘗試觀看該場景的情況下，在此之前播放的與縮略圖A相對應(yīng)的場景的再現(xiàn)被停止，并且與縮略圖B相對應(yīng)的場景的再現(xiàn)開始。因此，即使在用戶查看以膠卷形式顯示的縮略圖并且對分別與多個例如兩個縮略圖A和B相對應(yīng)的場景感興趣的情況下，也難以同時觀看分別與兩個縮略圖A和B相對應(yīng)的場景。本技術(shù)是鑒于上述情況而作出的，并且使得用戶能夠同時觀看單個或多個內(nèi)容項內(nèi)的多個地方。根據(jù)本技術(shù)的一個實施例，提供了一種圖像處理裝置或者使得計算機(jī)具有作為該圖像處理裝置的功能的程序，其中該圖像處理裝置包括顯示控制單元，該顯示控制單元在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過將內(nèi)容劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及再現(xiàn)控制單元，該再現(xiàn)控制單元根據(jù)對于片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操作來控制與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)，其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，再現(xiàn)控制單元在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對應(yīng)的視頻片段的另一視頻片段。根據(jù)本技術(shù)的一個實施例，提供了一種圖像處理方法，包括在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過將內(nèi)容劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及根據(jù)對于片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操作來控制與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)，其中，在對視頻片段的再現(xiàn)的控制中，在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對應(yīng)的視頻片段的另一視頻片段。根據(jù)本公開的一個實施例，在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過將內(nèi)容劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像。從而，根據(jù)對于片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操作來再現(xiàn)與該片段代表圖像相對應(yīng)的視頻片段。在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對應(yīng)的視頻片段的另一視頻片段。此外，圖像處理裝置可以是獨立的裝置，或者可以是構(gòu)成一個裝置的內(nèi)部塊。此外，能夠通過經(jīng)由傳送介質(zhì)傳送或者通過記錄在記錄介質(zhì)上來提供程序。根據(jù)本技術(shù)的實施例，用戶將能夠同時觀看單個內(nèi)容項內(nèi)用戶感興趣的多個場景內(nèi)的多個地方。



圖1是示出應(yīng)用了本技術(shù)的圖像處理裝置的實施例的構(gòu)成示例的框圖。圖2是示出圖像處理裝置的瀏覽處理的流程圖。圖3是示出片段地圖生成單元的構(gòu)成示例的框圖。圖4是示出集群化單元的構(gòu)成示例的框圖。圖5是示出集群化模型學(xué)習(xí)單元的構(gòu)成示例的框圖。圖6是示出集群判定單元的構(gòu)成示例的框圖。圖7是示出地圖生成單元的構(gòu)成示例的框圖。圖8是示出地圖描繪單元描繪的模型地圖的示例的示圖。圖9是示出片段地圖生成單元的片段地圖生成處理的概要的示圖。圖10是示出片段地圖生成單元生成的片段地圖的示例的示圖。圖11是示出確定狀態(tài)的重要度的方法的示圖。圖12是示出片段地圖生成單元執(zhí)行的片段地圖生成處理的流程圖。圖13是示出疊加有磚塊圖像的片段地圖的顯示示例的示圖。圖14是示出當(dāng)顯示磚塊圖像時顯示控制單元的顯示控制處理的流程圖。圖15是示出固定磚塊圖像的顯示示例的示圖。圖16是示出固定磚塊圖像的細(xì)節(jié)的示圖。
圖17是示出關(guān)注代表圖像的突出顯示的顯示示例的示圖。圖18是示出時間線圖像的顯示示例的示圖。圖19是示出當(dāng)顯示時間線圖像時顯示控制單元的顯示控制處理的流程圖。圖20是示出作為時間線圖像中布置的構(gòu)成圖像的片段代表圖像的滾動的顯示示例的示圖。圖21是示出在再現(xiàn)控制單元中再現(xiàn)的視頻片段的圖像的顯示示例的示圖。圖22是示出再現(xiàn)窗口的顯示示例的示圖。圖23是示出在收藏信息被存儲在收藏信息存儲單元中的情況下的片段地圖的顯示示例的示圖。圖24是示出通過雙次點擊片段地圖中突出顯示的片段代表圖像而執(zhí)行的視頻片段的再現(xiàn)的示圖。圖25A和25B是示出顯示模式的轉(zhuǎn)變和在每種顯示模式中執(zhí)行的處理的示圖。圖26是示出應(yīng)用了本技術(shù)的計算機(jī)的實施例的構(gòu)成示例的框圖。
具體實施例方式[應(yīng)用了本技術(shù)的圖像處理裝置的實施例]圖1是示出應(yīng)用了本技術(shù)的圖像處理裝置的實施例的構(gòu)成示例的框圖。在圖1中，圖像處理裝置由內(nèi)容存儲單元11、操作事件處理單元12、收藏信息存儲單元13、片段地圖生成單元14、`再現(xiàn)控制單元15、顯示控制單元16和顯示單元17構(gòu)成。內(nèi)容存儲單元11例如存儲(記錄)諸如電視廣播的節(jié)目等等之類的內(nèi)容。存儲在內(nèi)容存儲單元11中的內(nèi)容例如根據(jù)用戶的操作被再現(xiàn)。操作事件處理單元12根據(jù)用戶的操作生成事件(操作事件)，并且根據(jù)這些操作事件執(zhí)行各種處理，例如對構(gòu)成圖像處理裝置的每個塊的控制。這里，作為用戶的操作(操作事件)，有(單次)點擊、雙次點擊、叩擊、雙次叩擊等等，它們是對諸如鼠標(biāo)或觸摸面板之類的指點設(shè)備的操作。另外，操作事件處理單元12生成的操作事件例如包括諸如隨著鼠標(biāo)移動的光標(biāo)的位置或者在觸摸面板上觸摸的位置之類的信息。根據(jù)操作事件處理單元12的控制，收藏信息存儲單元13存儲與集群有關(guān)的信息等等作為收藏信息，在所述集群中如后文所述集群化了用戶感興趣的(收藏)視頻片段。根據(jù)操作事件處理單元12的控制等等，片段地圖生成單元14生成二維或三維片段地圖并且執(zhí)行將其提供給顯示控制單元16，所述片段地圖是其中布置了片段代表圖像的地圖，片段代表圖像是代表通過將內(nèi)容存儲單元11中存儲的內(nèi)容劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像。根據(jù)操作事件處理單元12的控制，再現(xiàn)控制單元15控制內(nèi)容存儲單元11中存儲的內(nèi)容的再現(xiàn)。也就是說，根據(jù)用戶請求對片段代表圖像的再現(xiàn)的再現(xiàn)操作，再現(xiàn)控制單元15例如控制與片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)。具體而言，再現(xiàn)控制單元15讀取作為內(nèi)容存儲單元11中存儲的內(nèi)容的一部分的視頻片段，執(zhí)行諸如解碼之類的必要處理，并且獲得視頻片段的圖像和音頻(數(shù)據(jù))。這里，除了將視頻片段的圖像提供給顯示控制單元16以外，再現(xiàn)控制單元15還將視頻片段的音頻提供給揚(yáng)聲器(未示出)以便輸出。顯示控制單元16執(zhí)行顯示控制以將從再現(xiàn)控制單元15提供來的視頻片段的圖像、從片段地圖生成單元14提供來的片段地圖等等顯示在顯示單元17上。此外，顯示控制 單元16根據(jù)收藏信息存儲單元13中存儲的收藏信息來控制片段地圖的顯示。顯示單元17由液晶面板、有機(jī)EL(電致發(fā)光)顯示器之類的構(gòu)成，并且根據(jù)顯示控制單元16的控制顯示圖像。圖2是示出圖1的圖像處理裝置執(zhí)行的處理(瀏覽處理)的流程圖。當(dāng)用戶執(zhí)行給出再現(xiàn)內(nèi)容的指示的操作時，在步驟Sll中，操作事件處理單元12選擇有對其的再現(xiàn)指示的內(nèi)容作為再現(xiàn)對象內(nèi)容(該再現(xiàn)對象內(nèi)容是作為再現(xiàn)的對象的內(nèi)容)，并且控制片段地圖生成單元14以生成再現(xiàn)對象內(nèi)容的片段地圖，由此處理進(jìn)行到步驟S12。在步驟S12中，片段地圖生成單元14從內(nèi)容存儲單元11中讀取再現(xiàn)對象內(nèi)容，并且執(zhí)行生成再現(xiàn)對象內(nèi)容的片段地圖的片段地圖生成處理。換言之，片段地圖生成單元14將再現(xiàn)對象內(nèi)容劃分成視頻片段，并且生成二維或三維片段地圖，其中視頻片段是一個或多個時間上連續(xù)的幀的幀集合，片段地圖是其中布置(顯示)了作為代表每個視頻片段的圖像的片段代表圖像的地圖。這里，片段地圖生成單元14將再現(xiàn)對象內(nèi)容的片段地圖提供給顯示控制單元16，由此處理從步驟S12進(jìn)行到步驟S13。這里，內(nèi)容的片段地圖能夠在內(nèi)容被存儲在內(nèi)容存儲單元11之后的任意定時被預(yù)先生成并存儲在內(nèi)容存儲單元11中。在此情況下，在步驟S12中，可以簡單地從內(nèi)容存儲單元11讀取再現(xiàn)對象內(nèi)容的內(nèi)容地圖。在步驟S13中，顯示控制單元16在顯示單元17上顯示來自片段地圖生成單元14的再現(xiàn)對象內(nèi)容的片段地圖，由此處理進(jìn)行到步驟S14。在步驟S14中，根據(jù)用戶的操作，也就是由操作事件處理單元12生成的操作事件，再現(xiàn)控制單元15執(zhí)行再現(xiàn)對象內(nèi)容的再現(xiàn)控制，并且與此同時，顯示控制單元16執(zhí)行片段地圖的顯示控制。然后，當(dāng)用戶執(zhí)行結(jié)束瀏覽處理的操作時(當(dāng)生成請求結(jié)束瀏覽處理的操作事件時)，圖像處理裝置結(jié)束瀏覽處理。這里，在步驟S14中，作為由顯示控制單元16執(zhí)行的片段地圖的顯示控制，有后文將描述的磚塊圖像顯示、突出顯示以及對片段地圖的顯示模式的設(shè)定(改變)等等，它們是根據(jù)由用戶利用光標(biāo)或手指指示的、作為顯示片段地圖的顯示單元17的顯示畫面上的位置的指示位置執(zhí)行的。此外，在步驟S14中，作為由再現(xiàn)控制單元15執(zhí)行的再現(xiàn)對象內(nèi)容的再現(xiàn)控制，例如有諸如并行再現(xiàn)再現(xiàn)對象內(nèi)容的多個視頻片段的控制。換言之，對于在顯示單元17上顯示的再現(xiàn)對象內(nèi)容的片段地圖的片段代表圖像，用戶能夠執(zhí)行雙次點擊或雙次叩擊作為請求針對該片段代表圖像的視頻片段的再現(xiàn)的再現(xiàn)操作。
在在作為內(nèi)容存儲單元11中存儲的再現(xiàn)對象內(nèi)容的視頻片段#A的再現(xiàn)期間，也就是在視頻片段#八的圖像被顯示在顯示單元17上的同時，針對再現(xiàn)對象內(nèi)容的另一視頻片段#B的片段代表圖像的再現(xiàn)操作被執(zhí)行的情況下，再現(xiàn)控制單元15在正被再現(xiàn)的視頻片段#A的再現(xiàn)被維持原樣的同時開始針對被執(zhí)行了再現(xiàn)操作的片段代表圖像的視頻片段#B的再現(xiàn)，并且視頻片段#B的圖像被提供給顯示控制單元16。從而，根據(jù)步驟S14的再現(xiàn)控制，用戶將能夠在單個再現(xiàn)對象內(nèi)容內(nèi)同時觀看用戶感興趣的多個場景等等的多個地方。[片段地圖生成單元14的構(gòu)成示例]圖3是示出圖1的片段地圖生成單元14的構(gòu)成示例的框圖。在圖3中，片段地圖生成單元14包括集群化單元21、片段劃分單元22、片段代表圖像生成單元23以及地圖生成單元24。

再現(xiàn)對象內(nèi)容被從內(nèi)容存儲單元11 (圖1)提供到集群化單元21。例如，集群化單元21將來自內(nèi)容存儲單元11的再現(xiàn)對象內(nèi)容的每個幀集群化到預(yù)先確定的多個集群中的任何一個的集群中，并且將表示該集群化結(jié)果的集群信息提供(輸出)到片段劃分單元22。這里，集群信息至少包括指定再現(xiàn)對象內(nèi)容的每個幀所屬的集群的信息(例如表示集群的唯一號碼等等)。對于由集群化單元21集群化的多個集群，片段劃分單元22將屬于這些集群的幀劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段。也就是說，片段劃分單元22順次選擇由集群化單元21集群化的多個集群作為要關(guān)注的關(guān)注集群，并且基于來自集群化單元21的集群信息識別屬于關(guān)注集群的再現(xiàn)對象內(nèi)容的幀。此外，當(dāng)屬于關(guān)注集群的幀被按時間順序排列時，片段劃分單元22將這些幀劃分成視頻片段，其中一個或多個時間上連續(xù)的幀的幀集合作為一個視頻片段。從而，例如，這里，在從作為從再現(xiàn)對象內(nèi)容的開頭起的第tl號的幀tl起連續(xù)的nl個巾貞和從作為從再現(xiàn)對象內(nèi)容的開頭起的第t2( > tl+nl)號的巾貞t2起連續(xù)的n2個中貞屬于關(guān)注集群的情況下，在片段劃分單元22中，屬于關(guān)注集群的nl+n2個幀被劃分成具有從再現(xiàn)對象內(nèi)容的幀tl起連續(xù)的nl個幀和從再現(xiàn)對象內(nèi)容的幀t2起連續(xù)的n2個幀的視頻片段。這里，片段劃分單元22把從屬于關(guān)注集群的幀獲得的視頻片段設(shè)定為屬于關(guān)注集群的視頻片段，并且將表示此視頻片段的片段信息提供給片段代表圖像生成單元23。這里，片段信息至少包括指定包括視頻片段的幀的幀信息(例如表示從再現(xiàn)對象內(nèi)容的開頭起的幀的號碼的號碼)和表示視頻片段(或者視頻片段中包括的幀)所屬的集群的集群信息。再現(xiàn)對象內(nèi)容的每個視頻片段的片段信息被從片段劃分單元22提供到片段代表圖像生成單元23，并且再現(xiàn)對象內(nèi)容也被從內(nèi)容存儲單元11提供到片段代表圖像生成單元23。片段代表圖像生成單元23對于再現(xiàn)對象內(nèi)容的每個視頻片段，生成代表視頻片段的片段代表圖像。
換言之，片段代表圖像生成單元23基于來自片段劃分單元22的片段信息識別再現(xiàn)對象內(nèi)容的所有視頻片段，并且順次選擇它們作為要關(guān)注的關(guān)注視頻片段。此外，基于來自片段劃分單元22的片段信息，片段代表圖像生成單元23識別關(guān)注視頻片段中包括的幀，并且利用來自內(nèi)容存儲單元11的關(guān)注視頻片段中包括的幀，生成代表關(guān)注視頻片段(的內(nèi)容)的片段代表圖像。接下來，片段代表圖像生成單元23將關(guān)注視頻片段的片段代表圖像與關(guān)注視頻片段的片段信息一起提供給地圖生成單元24。這里，作為視頻片段的片段代表圖像，例如可以采用其中壓縮了諸如視頻片段的開頭幀之類的預(yù)定幀的縮略圖。此外，作為視頻片段的片段代表圖像，例如可以采用諸如動畫GIF之類的圖像，該動畫GIF利用動畫(視頻)顯示其中壓縮了視頻片段中包括的幀之中的多個幀的圖像。地圖生成單元24生成片段地圖并執(zhí)行將其提供給顯示控制單元16 (圖1)，片段地圖是其中布置了來自片段代表圖像生成單元23的作為代表再現(xiàn)對象內(nèi)容的視頻片段的圖像的片段代表圖像的地圖。[集群化單元21的構(gòu)成示例]圖4是示出圖3中的集群化單元21的構(gòu)成示例的框圖。在圖4中，集群化單元21包括集群化模型學(xué)習(xí)單元31、集群化模型存儲單元32以及集群判定單元33。集群化模型學(xué)習(xí)單元31學(xué)習(xí)集群化模型并將其提供給集群化模型存儲單元32，集群化模型是用于對內(nèi)容的每個幀進(jìn)行集群化的模型。這里，作為集群化模型，例如，可以采用包括狀態(tài)和狀態(tài)轉(zhuǎn)變的狀態(tài)轉(zhuǎn)變模型。作為是集群化模型的狀態(tài)轉(zhuǎn)變模型，例如可以采用HMM之類的。例如，集群化模型學(xué)習(xí)單元31從內(nèi)容存儲單元11等中存儲的內(nèi)容之內(nèi)選擇屬于預(yù)定類別的一項或多項內(nèi)容作為學(xué)習(xí)內(nèi)容，并且根據(jù)類別對學(xué)習(xí)內(nèi)容分類。這里，屬于預(yù)定類別的內(nèi)容例如意味著相同體裁的節(jié)目、一系列的節(jié)目、每周、每日或周期性廣播的節(jié)目(具有相同標(biāo)題的節(jié)目)等等的內(nèi)容內(nèi)包括的具有共同內(nèi)容結(jié)構(gòu)的內(nèi)容。例如，可以采用體裁的“粗略”分類，例如體育節(jié)目、新聞節(jié)目之類的；然而，諸如足球比賽節(jié)目或棒球比賽節(jié)目之類的“窄”分類是優(yōu)選的。另外，例如，在足球比賽節(jié)目的情況下，可以對于每個不同頻道(廣播臺)執(zhí)行分類成屬于不同類別的內(nèi)容。此外，要采用作為內(nèi)容的類別的類別的種類例如是在圖1的圖像處理裝置中預(yù)先設(shè)定的。此外，例如，能夠從與電視廣播中的節(jié)目一起發(fā)送的諸如節(jié)目標(biāo)題或體裁之類的元數(shù)據(jù)或者互聯(lián)網(wǎng)上的站點提供的節(jié)目的信息等等來識別內(nèi)容存儲單元11中存儲的內(nèi)容的類別。 對于每個類別，集群化模型學(xué)習(xí)單元31使用該類別的學(xué)習(xí)內(nèi)容，學(xué)習(xí)該類別的集群化模型，并且對于每個類別生成(獲取)集群化模型。也就是說，作為集群化模型，例如，當(dāng)采用HMM時，對于每個類別，集群化模型學(xué)習(xí)單元31使用該類別的學(xué)習(xí)內(nèi)容并且執(zhí)行對作為集群化模型的HMM的學(xué)習(xí)。這里，在集群化模型學(xué)習(xí)單元31中，可以利用例如諸如互聯(lián)網(wǎng)上的站點之類的外部內(nèi)容以及內(nèi)容存儲單元11中存儲的內(nèi)容作為學(xué)習(xí)內(nèi)容來執(zhí)行作為集群化模型的HMM的學(xué)習(xí)。集群化模型存儲單元32存儲由集群化模型學(xué)習(xí)單元31等等生成的每個類別的集群化模型。這里，集群化模型的學(xué)習(xí)例如能夠在互聯(lián)網(wǎng)上的站點等處執(zhí)行，并且集群化模型存儲單元32能夠從這種站點下載(獲取)并存儲集群化模型。在這種情況下，能夠在不設(shè)有集群化模型學(xué)習(xí)單元31的情況下構(gòu)成集群化單元21。集群判定單元33使用集群化模型存儲單元32中存儲的集群化模型，判定從內(nèi)容存儲單元11提供來的再現(xiàn)對象內(nèi)容的每個幀所屬的集群，并且將表示作為該集群的集群化結(jié)果的集群信息提供(輸出)到片段劃分單元22。[集群化模型學(xué)習(xí)單元31的構(gòu)成示例]圖5是示出 圖4的集群化模型學(xué)習(xí)單元31的構(gòu)成示例的框圖。集群化模型學(xué)習(xí)單元31例如將HMM(隱藏馬爾科夫模型)設(shè)定為集群化模型，并且提取作為在集群化模型的學(xué)習(xí)中使用的內(nèi)容的學(xué)習(xí)內(nèi)容的每個幀的特征量，其中HMM是由狀態(tài)將會轉(zhuǎn)變的狀態(tài)轉(zhuǎn)變概率和從狀態(tài)將會觀測到預(yù)定觀測值的觀測似然限定的一個狀態(tài)轉(zhuǎn)變模型。此外，集群化模型學(xué)習(xí)單元31使用學(xué)習(xí)內(nèi)容的每個幀的特征量(按時間順序的特征量)并且執(zhí)行HMM學(xué)習(xí)。換言之，集群化模型學(xué)習(xí)單元31由學(xué)習(xí)內(nèi)容選擇單元41、特征量提取單元42、特征量存儲單元43和學(xué)習(xí)單元44構(gòu)成。學(xué)習(xí)內(nèi)容選擇單元41從內(nèi)容存儲單元11中存儲的內(nèi)容之內(nèi)選擇用于HMM學(xué)習(xí)的內(nèi)容作為學(xué)習(xí)內(nèi)容，并且將其提供給特征量提取單元42。特征量提取單元42提取來自學(xué)習(xí)內(nèi)容選擇單元41的學(xué)習(xí)內(nèi)容的每個幀的提取特征量(向量)，并將其提供給特征量存儲單元43。這里，作為幀#€的特征量，例如，可以采用GIST等等的幀#€的圖像的特征量、MFCC(美爾頻率倒譜系數(shù))等等的包括幀#f在內(nèi)的多個幀的區(qū)間的音頻的特征量、表示幀#f 內(nèi)的人的整個身體或臉部的位置的位置信息或者上述這些項之中的多項的組合等等。特征量存儲單元43按時間順序存儲從特征量提取單元42提供來的學(xué)習(xí)內(nèi)容的每個中貞的特征量。學(xué)習(xí)單元44利用特征量存儲單元43中存儲的學(xué)習(xí)內(nèi)容的每個幀的每個類別的特征量對每個類別執(zhí)行HMM學(xué)習(xí)。另外，學(xué)習(xí)單元44將學(xué)習(xí)后的HMM與HMM學(xué)習(xí)中使用的學(xué)習(xí)內(nèi)容的類別相關(guān)聯(lián)，并執(zhí)行將其作為集群化模型提供給集群化模型存儲單元32。這里，HMM是由狀態(tài)Si的初始概率1、狀態(tài)轉(zhuǎn)變概率au以及從狀態(tài)Si觀測到預(yù)定觀測值的觀測似然h (ο)限定的。i和j是表示HMM的狀態(tài)的索引并且在HMM的狀態(tài)的數(shù)目是N的情況下是I至N的范圍內(nèi)的整數(shù)。初始概率i表示狀態(tài)Si是初始狀態(tài)(第一狀態(tài))的概率，并且狀態(tài)轉(zhuǎn)變概率au表示從狀態(tài)Si轉(zhuǎn)變到狀態(tài)S」的概率。
觀測似然h (O)表示在轉(zhuǎn)變狀態(tài)到狀態(tài)Si時從狀態(tài)Si將觀測到觀測值O的似然(概率)。作為觀測似然bi (O)，在觀測值O是離散值的情況下，使用概率值(離散值)，而在觀測值O是連續(xù)值的情況下，使用概率分布函數(shù)。作為概率分布函數(shù)，例如，可以采用由平均值(平均向量)和方差(協(xié)方差矩陣)限定的高斯分布等等。這里，觀測值ο是離散值的HMM也被稱為離散HMM，并且觀測值ο是連續(xù)值的HMM也被稱為連續(xù)HMM。HMM學(xué)習(xí)例如能夠利用Baum-Welch算法來執(zhí)行，Baum-Welch算法是利用EM算法的統(tǒng)計學(xué)習(xí)方法。根據(jù)作為集群化模型的ΗΜΜ，學(xué)習(xí)內(nèi)容內(nèi)包括的內(nèi)容的結(jié)構(gòu)(例如由節(jié)目構(gòu)成、相機(jī)工作等等產(chǎn)生的結(jié)構(gòu))是以自組織方式獲取的。結(jié)果，作為集群化模型的HMM的每個狀態(tài)對應(yīng)于通過學(xué)習(xí)獲取的內(nèi)容的結(jié)構(gòu)的元素，并且狀態(tài)轉(zhuǎn)變表現(xiàn)內(nèi)容的結(jié)構(gòu)的元素之間的時間性轉(zhuǎn)變。這里，HMM狀態(tài)收集并表現(xiàn)特征量空間(由特征量提取單元42提取的特征量的空間)中的空間距離接近并且時間情境相似的幀群組(即，“相似場景”)。這里，例如，學(xué)習(xí)內(nèi)容是智力問答節(jié)目，粗略來說，給出題目、提供提示、參與者回答以及揭示正確答案的流程被設(shè)定為該節(jié)目的基本流程，并且當(dāng)節(jié)目利用此基本流程的重復(fù)來進(jìn)行時，節(jié)目的基本流程相當(dāng)于內(nèi)容的結(jié)構(gòu)，并且構(gòu)成該流程(結(jié)構(gòu))的各個給出題目、提供提示、參與者回答和揭示正確答案相當(dāng)于內(nèi)容的結(jié)構(gòu)的元素。

另外，例如，從給出題目到提供提示的進(jìn)行等等相當(dāng)于內(nèi)容的結(jié)構(gòu)的元素之間的時間轉(zhuǎn)變。此外，作為HMM觀測值O，可以使用從幀提取的特征量本身，或者可以使用從幀提取的特征量被離散化的離散值。在從幀提取的特征量本身被用作HMM觀測值ο的情況下，作為觀測值ο的特征量是連續(xù)值，并且在學(xué)習(xí)單元44中，作為連續(xù)HMM學(xué)習(xí)的結(jié)果獲得的連續(xù)HMM被確定為集群化模型。另一方面，在從幀提取的特征量被離散化的離散值被用作HMM觀測值ο的情況下，在學(xué)習(xí)單元44中，在HMM學(xué)習(xí)之前必須執(zhí)行從幀提取的特征量的離散化。作為對從幀提取的特征量(向量)進(jìn)行離散化的方法，例如有向量量化。在向量量化中，參考其中特征量空間內(nèi)的有限質(zhì)心向量和表示質(zhì)心向量的代碼(符號)相關(guān)聯(lián)的碼書，從幀提取的連續(xù)值的特征量被轉(zhuǎn)換(離散化)成表示與該特征量的(歐幾里德)距離最近的質(zhì)心向量。此外，例如能夠?qū)τ诿總€類別利用內(nèi)容存儲單元11中存儲的內(nèi)容等等利用k-means方法等等來確定用于向量量化的碼書。在此情況下，在學(xué)習(xí)單元44中，從學(xué)習(xí)內(nèi)容的每個幀提取的特征量經(jīng)歷參考該學(xué)習(xí)內(nèi)容的類別的碼書的向量量化。此外，在學(xué)習(xí)單元44中，利用作為向量量化的結(jié)果獲得的從學(xué)習(xí)內(nèi)容的每個幀提取的特征量的代碼，執(zhí)行離散HMM學(xué)習(xí)并且將作為結(jié)果獲得的離散HMM和特征量的向量量化中使用的碼書確定為集群化模型。此外，在學(xué)習(xí)單元44中，還可以將上述向量量化中使用的碼書(僅該碼書)確定為集群化模型。
在這種情況下，在集群判定單元33(圖4)中，從再現(xiàn)對象內(nèi)容的每個幀提取的特征量經(jīng)歷利用(參考)作為集群化模型的碼書的向量量化，并且作為結(jié)果獲得的代碼被輸出作為表示幀的集群化結(jié)果(幀的集群)的集群信息。[集群判定單元33的構(gòu)成示例]圖6是示出圖4的集群化單元21的集群判定單元33的構(gòu)成示例的框圖。集群判定單元33由內(nèi)容選擇單元51、模型選擇單元52、特征量提取單元53和最大似然狀態(tài)系列估計單元54構(gòu)成。內(nèi)容選擇單元51從內(nèi)容存儲單元11中存儲的內(nèi)容中選擇再現(xiàn)對象內(nèi)容并將其提供給特征量提取單元53。此外，內(nèi)容選擇單元51識別再現(xiàn)對象內(nèi)容的類別，并將其提供給模型選擇單元52。模型選擇單元52從集群化模型存儲單元32中存儲的集群化模型之中選擇與來自內(nèi)容選擇單元51的再現(xiàn)對象內(nèi)容的類別匹配的類別的集群化模型(與再現(xiàn)對象內(nèi)容的類別相關(guān)聯(lián)的集群化模型)作為關(guān)注模型。然后，模型選擇單元52將關(guān)注模型提供給最大似然狀態(tài)系列估計單元54。特征量提取單元53以與圖5的特征量提取單元42相同的方式提取從內(nèi)容選擇單元51提供來的再現(xiàn)對象內(nèi)容的每個幀的特征量，并將再現(xiàn)對象內(nèi)容的每個幀的特征量(按時間順序)提供給最大似然狀態(tài)系列估計單元54。例如，在作為來自模型選擇單元52的關(guān)注模型的HMM中，最大似然狀態(tài)系列估計單元54遵循維特比算法并且估計最大似然狀態(tài)系列，最大似然狀態(tài)系列是其中發(fā)生如下狀態(tài)轉(zhuǎn)變的狀態(tài)系列(換言之是構(gòu)成維特比路徑的一系列狀態(tài))在該狀態(tài)轉(zhuǎn)變中，將觀測到來自特征量提取單元53的再現(xiàn)對象內(nèi)容的(按時間順序的)特征量的似然是最高的。這里，在作為關(guān)注模型的HMM中，最大似然狀態(tài)系列估計單元54將構(gòu)成觀測到再現(xiàn)對象內(nèi)容中的每個幀的特征量的情況的最大似然狀態(tài)系列(以下也稱為針對再現(xiàn)對象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列)的狀態(tài)的索引(以下也稱為狀態(tài)ID (標(biāo)識))設(shè)定為表示再現(xiàn)對象內(nèi)容的每個幀被集群化的集群化結(jié)果的集群化信息，并將其提供給片段劃分單元22(圖3)。這里，在關(guān)注模型中，以觀測到再現(xiàn)對象內(nèi)容的特征量的情況的最大似然狀態(tài)系列(針對再現(xiàn)對象內(nèi)容的關(guān)注模型的最大似 然狀態(tài)系列)的開頭為基準(zhǔn)的時刻t的狀態(tài)(從構(gòu)成最大似然狀態(tài)系列的開頭起的第t個狀態(tài))被設(shè)定成表示為s(t)并且再現(xiàn)對象內(nèi)容的幀的數(shù)目被設(shè)定成表示為T。在這種情況下，針對再現(xiàn)對象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列是狀態(tài)S(I)，s (2), s(T)這T個狀態(tài)的系列，并且其中的第t個狀態(tài)s(t)(時刻t的狀態(tài))對應(yīng)于再現(xiàn)對象內(nèi)容的時刻t的幀(幀t)。另外，當(dāng)關(guān)注模型的狀態(tài)的總數(shù)被設(shè)定成由N表示時，時刻t的狀態(tài)s(t)是狀態(tài)S1, S2, , Sn這N個狀態(tài)中的任何一個?，F(xiàn)在，當(dāng)針對再現(xiàn)對象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列的時刻t的狀態(tài)s(t)是狀態(tài)S1至Sn這N個狀態(tài)中的第i個狀態(tài)Si時，時刻t的幀對應(yīng)于狀態(tài)Si。針對再現(xiàn)對象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列基本上是與再現(xiàn)對象內(nèi)容的每個時刻t的幀相對應(yīng)的狀態(tài)S1至Sn這N個狀態(tài)中的任何一個的狀態(tài)的狀態(tài)ID的系列。如上所述，針對再現(xiàn)對象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列表現(xiàn)了就關(guān)注模型而言再現(xiàn)對象內(nèi)容引起的狀態(tài)轉(zhuǎn)變的種類。此外，在針對再現(xiàn)對象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列中，如上所述，當(dāng)時刻t的狀態(tài)S⑴被設(shè)定為狀態(tài)S1至Sn這N個狀態(tài)之中的第i狀態(tài)Si時，時刻t的幀對應(yīng)于狀態(tài)s”從而，通過將關(guān)注模型的N個狀態(tài)中的各個狀態(tài)視為集群，時刻t的幀被集群化到與關(guān)注模型的N個狀態(tài)的狀態(tài)之中的作為最大似然狀態(tài)系列的時刻t的狀態(tài)s(t)的第i狀態(tài)Si相對應(yīng)的集群中，并且在針對再現(xiàn)對象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列的估計中，可以判定再現(xiàn)對象內(nèi)容的每個幀所屬的集群。此外，在集群化模型是連續(xù)HMM的情況下，最大似然狀態(tài)系列估計單元54遵循維特比算法，估計在作為集群化模型的連續(xù)HMM中觀測到來自特征量提取單元53的再現(xiàn)對象內(nèi)容的每個幀的特征量的最大似然狀態(tài)系列，并且將構(gòu)成該最大似然狀態(tài)系列的狀態(tài)(的狀態(tài)ID)作為每個幀的集群信息提供給片段劃分單元22(圖3)。此外，在集群化模型是離散HMM和碼書的情況下，最大似然狀態(tài)系列估計單元54利用作為集群化模型的碼書對來自特征量提取單元53的再現(xiàn)對象內(nèi)容的每個幀的特征量執(zhí)行向量量化。此外，最大似然狀態(tài)系列估計單元54遵循維特比算法，估計在作為集群化模型的離散HMM中觀測到再現(xiàn)對象內(nèi)容的每個幀的特征量的向量量化所獲得的代碼的最大似然狀態(tài)系列，并將構(gòu)成該最大似然狀態(tài)系列的狀態(tài)(的狀態(tài)ID)作為每個幀的集群信息提供給片段劃分單元22。此外，在集群化模型是(僅)碼書的情況下，最大似然狀態(tài)系列估計單元54利用作為集群化模型的碼書對來自特征量提取單元53的再現(xiàn)對象內(nèi)容的每個幀的特征量執(zhí)行向量量化，并將通過向量量化獲得的代碼作為每個幀的集群信息提供給片段劃分單元22。在圖3的片段劃分單元22中，如上所述，基于從集群判定單元33 (的最大似然狀態(tài)系列估計單元54)提供來的集群信息識別屬于每個集群的再現(xiàn)對象內(nèi)容的幀，并且當(dāng)對于每個集群按時間順序排列屬于該集群的幀時，一個或多個時間上連續(xù)的幀的幀集合被設(shè)定為一個視頻片段并被劃分成視頻片段。[地圖生成單元24的構(gòu)成示例]圖7是示出圖3的地圖生成單元24的構(gòu)成示例的框圖。地圖生成單元24是由集群代表圖像選擇單元61、狀態(tài)間隔距離計算單元62、坐標(biāo)計算單元63和地圖描繪單元64構(gòu)成的。片段代表圖像被從片段代表圖像生成單元23(圖3)提供給集群代表圖像選擇單元61。對于(與作為關(guān)注模型的HMM的每個狀態(tài)的)每個集群，集群代表圖像選擇單元61從屬于該集群的視頻片段的片段代表圖像中選擇代表該集群的集群代表圖像。這里，集群代表圖像選擇單元61將屬于每個集群的(視頻片段的)片段代表圖像與表示被選擇為集群代表圖像的片段代表圖像的標(biāo)志一起提供給地圖描繪單元64。這里，在只 有一個片段代表圖像屬于集群的情況下，集群代表圖像選擇單元61選擇該片段代表圖像作為集群代表圖像。
此外，在多個片段代表圖像屬于集群的情況下，例如，集群代表圖像選擇單元61選擇這多個片段代表圖像中的一個，例如這多個片段代表圖像之中幀數(shù)目最大的視頻片段的片段代表圖像或者再現(xiàn)時刻最早的視頻片段的片段代表圖像，作為集群代表圖像。集群化單元21(圖3)中的再現(xiàn)對象內(nèi)容的集群化中使用的作為關(guān)注模型的HMM(集群化模型)被提供給狀態(tài)間隔距離計算單元62。狀態(tài)間隔距離計算單元62基于從一個狀態(tài)Si到另一狀態(tài)Sj的狀態(tài)轉(zhuǎn)變概率Bii計算作為關(guān)注模型的HMM的一個狀態(tài)Si到另一狀態(tài)Sj的狀態(tài)間隔距離dij*。這里，當(dāng)確定了作為關(guān)注模型的HMM的N個狀態(tài)中的任意狀態(tài)Si到任意狀態(tài)S」的狀態(tài)間隔距離du*時，狀態(tài)間隔距離計算單元62將狀態(tài)間隔距離du*被設(shè)定為成分的N行N列的矩陣(狀態(tài)間隔距離矩陣)提供給坐標(biāo)計算單元63。這里，在例如狀態(tài)轉(zhuǎn)變概率au大于預(yù)定閾值(例如(1/N) X 10_2)的情況下，狀態(tài)間隔距離計算單元62將狀態(tài)間隔距離du*設(shè)定為例如O.1 (小值)，而在狀態(tài)轉(zhuǎn)變概率au在預(yù)定閾值以下的情況下，將狀態(tài)間隔距離du*設(shè)定為例如1. 0(大值)。坐標(biāo)計算單元63確定狀態(tài)坐標(biāo)Yi,狀態(tài)坐SYi是用以減小模型地圖上從一個狀態(tài)Si到另一狀態(tài)Sj的歐幾里德距離Clij與來自狀態(tài)間隔距離計算單元62的狀態(tài)間隔距離矩陣的狀態(tài)間隔距離 Clij*之間的誤差的模型地圖上的狀態(tài)Si的位置的坐標(biāo)，模型地圖是布置了關(guān)注模型的N個狀態(tài)的狀態(tài)Si至Sn的二維或三維地圖(將作為關(guān)注模型的HMM投射到二維平面或三維空間上的地圖)。也就是說，坐標(biāo)計算單元63確定狀態(tài)坐標(biāo)Yi以最小化與歐幾里德距離du和狀態(tài)間隔距離Clij*的統(tǒng)計誤差比例的Sammon地圖的誤差函數(shù)E。這里，Sammon地圖是多維尺度法并且其細(xì)節(jié)例如在J. W. Sammon, JR. , " ANonlinear Mapping for Data Structure Analysis" , IEEE Transactions on Computers,vol. C-18, No. 5，Mayl969 中描述。在Sammon地圖中，例如，為了最小化式(I)中的誤差函數(shù)E，例如確定作為二維地圖的模型地圖上的狀態(tài)坐標(biāo)Yi = (xi； Yi)。E= 1/(Σ (Iij) X Σ ((CliZ-Clij)VdijV. (I)這里，在式(I)中，Σ表示將滿足式子i < j的索引i和j變成I至N的范圍中的整數(shù)并取其總和。Clij*表示狀態(tài)間隔距離矩陣的第i行第j列的元素并且表示從狀態(tài)Si到狀態(tài)Sj的狀態(tài)間隔距離。Clij表示模型地圖的狀態(tài)Si的位置的坐標(biāo)(狀態(tài)坐標(biāo))Yi = (xi； Yi)和狀態(tài)Sj的位置的坐標(biāo)Yj之間的歐幾里德距離。此外，狀態(tài)坐標(biāo)Yi = (xi； Yi)的Xi和分別表示二維模型地圖上的狀態(tài)坐SYi的X坐標(biāo)和I坐標(biāo)。在采用三維地圖作為模型地圖的情況下，狀態(tài)坐標(biāo)Yi變成具有X坐標(biāo)、I坐標(biāo)和z坐標(biāo)的三維坐標(biāo)。坐標(biāo)計算單元63通過反復(fù)應(yīng)用梯度法確定狀態(tài)坐標(biāo)YiQ = 1,2, . . . , N)以使得式(I)的誤差函數(shù)E被最小化，并將其提供給地圖描繪單元64。地圖描繪單元64通過在來自坐標(biāo)計算單元63的狀態(tài)坐標(biāo)Yi的位置處布置相應(yīng)狀態(tài)Si (的圖像)并在這些狀態(tài)之間根據(jù)狀態(tài)轉(zhuǎn)變概率在內(nèi)置存儲器(未示出)中描繪鏈接線段來將作為關(guān)注模型的HMM轉(zhuǎn)換成二維(或三維)模型地圖(圖形)。
這里，在模型地圖上的狀態(tài)Si的位置處，地圖描繪單元64描繪來自集群代表圖像選擇單元61的片段代表圖像之中被選擇為與狀態(tài)Si相對應(yīng)的集群的集群代表圖像的片段代表圖像。這樣，地圖描繪單元64生成片段地圖，片段地圖是在模型地圖上的每個狀態(tài)的位置處布置被選擇為與狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像的地圖。此外，地圖描繪單元64將片段地圖的每個狀態(tài)與屬于與這些狀態(tài)相對應(yīng)的集群的(幀的視頻片段的)片段代表圖像相關(guān)聯(lián)并將作為結(jié)果獲得的片段地圖提供給顯示控制單元16(圖1)。這里，可以說模型地圖是利用與狀態(tài)相對應(yīng)的節(jié)點和與狀態(tài)轉(zhuǎn)變相對應(yīng)的邊緣來可視化HMM等等的集群化模型的結(jié)構(gòu)的二維(或三維)網(wǎng)絡(luò)(圖)的表現(xiàn)。作為將HMM等等的集群化模型轉(zhuǎn)換(投射)到作為這種網(wǎng)絡(luò)表現(xiàn)的模型地圖的方法，可以采用任意的多維尺度法以及Sammon地圖。此外，在集群化模型是(僅)碼書的情況下，能夠通過以下方式利用諸如Sammon地圖之類的多維尺度法將作為這種集群化模型的碼書轉(zhuǎn)換成作為二維或三維地圖的模型地圖對于與每個代碼向量相對應(yīng)的每個集群(與表示每個代碼向量的每個代碼相對應(yīng)的每個集群)，使用再現(xiàn)對象內(nèi)容，對再現(xiàn)對象內(nèi)容中按時間順序的幀所屬的集群轉(zhuǎn)變(變化)的轉(zhuǎn)變的次數(shù)(幀所屬的集群從每個集群轉(zhuǎn)變到每個集群的次數(shù))計數(shù)，并且在將與代碼向量相對應(yīng)的集群視為HMM的狀態(tài)的同時，將與每個集群的轉(zhuǎn)變次數(shù)相對應(yīng)的概率視為HMM的狀態(tài)轉(zhuǎn)變概率。這里，作為與集群的轉(zhuǎn)變次數(shù)的概率，例如可以采用這樣的值其中，轉(zhuǎn)變次數(shù)被正規(guī)化，以使得在從該集群到每個集群的轉(zhuǎn)變次數(shù)中，閾值以下的轉(zhuǎn)變次數(shù)被轉(zhuǎn)換成O. O,而且總和成為1. O。

此外，除了利用再現(xiàn)對象內(nèi)容確定從每個集群(到每個集群)的轉(zhuǎn)變次數(shù)以外，還可以利用確定碼書時使用的所有內(nèi)容來執(zhí)行確定。[模型地圖]圖8是示出圖7的地圖描繪單元64描繪的模型地圖的示例的示圖。在圖8中的模型地圖中，點表示作為集群化模型(關(guān)注模型)的HMM的狀態(tài)，并且將點鏈接到一起的線段表示狀態(tài)轉(zhuǎn)變。如上所述，模型地圖描繪單元64在由坐標(biāo)計算單元63確定的狀態(tài)坐標(biāo)Yi的位置處描繪相應(yīng)狀態(tài)Si(的圖像(圖8中的點))。此外，地圖描繪單元64根據(jù)狀態(tài)之間的狀態(tài)轉(zhuǎn)變概率描繪這些狀態(tài)之間的鏈接線段。換言之，地圖描繪單元64在從狀態(tài)Si到另一狀態(tài)的狀態(tài)轉(zhuǎn)變概率大于預(yù)定閾值的情況下描繪狀態(tài)Si和之間的鏈接線段。如上所述，地圖描繪單元64描繪作為可視化作為關(guān)注模型的HMM的結(jié)構(gòu)的二維(或三維)網(wǎng)絡(luò)表現(xiàn)的模型地圖。此外，在圖7的坐標(biāo)計算單元63中，在按原樣采用式(I)的誤差函數(shù)E并且確定模型地圖上的狀態(tài)坐標(biāo)Yi以最小化誤差函數(shù)E的情況下，在模型地圖上的圓中布置狀態(tài)(表示狀態(tài)的點)，在模型地圖的圓周附近(外側(cè))(外邊緣)密集聚集狀態(tài)，從而難以看到狀態(tài)的布置，也就是說可視性受損。
從而，在圖7的坐標(biāo)計算單元63中，可以校正式(I)中的誤差函數(shù)E并且確定模型地圖上的狀態(tài)坐標(biāo)Yi以最小化校正后的誤差函數(shù)E。換言之，在坐標(biāo)計算單元63中，判定歐幾里德距離Clij是否大于預(yù)定閾值THd(例如THd =1.0之類的)。這里，在歐幾里德距離Clij不大于預(yù)定閾值THd的情況下，坐標(biāo)計算單元63在式(I)的誤差函數(shù)的計算中將歐幾里德距離Clij按原樣用作歐幾里德距離Clijt5另一方面，在歐幾里德距離Clij大于預(yù)定閾值THd的情況下，坐標(biāo)計算單元63在式
(I)的誤差函數(shù)的計算中將狀態(tài)間隔距離d#用作歐幾里德距離Clij (設(shè)定Clij = Clij*)(歐幾里德距離Clij被設(shè)定成等于狀態(tài)間隔距離Clij*的距離)。在這種情況下，在模型地圖中，當(dāng)關(guān)注歐幾里德距離Clij接近到一定程度(不大于閾值THd)的兩個狀態(tài)Si和Sj時，狀態(tài)坐標(biāo)Yi和Yj被改變以使得歐幾里德距離Clij和狀態(tài)間隔距離Clij*匹配(使得歐幾里德距離Clij接近狀態(tài)間隔距離d#)。另一方面，在模型地圖中，當(dāng)關(guān)注歐幾里德距離du遠(yuǎn)離到一定程度(大于閾值THd)的兩個狀態(tài)Si和Sj時，狀態(tài)坐標(biāo)Yi和Yj不被改變。結(jié)果，由于歐幾里德距離du遠(yuǎn)離到一定程度的兩個狀態(tài)Si和被設(shè)定成使得歐幾里德距離Clij保持遠(yuǎn)離，所以可以防止?fàn)顟B(tài)變得密集聚集在模型地圖的圓周附近(外邊緣)，并且還可以防止可視性受損。對于圖8中的模型地圖，如上所述，防止了狀態(tài)變得密集聚集在模型地圖的圓周附近(外邊緣)。[片段地圖生成單元 14的處理]圖9是示出圖3的片段地圖生成單元14的處理(片段地圖生成處理)的概要的示圖。在片段地圖生成單元14中的集群化單元21中，對于內(nèi)容存儲單元11中存儲的再現(xiàn)對象內(nèi)容的每個幀Π，f2，...，提取特征量。然后，在集群化單元21中利用每個幀fl，f2,的特征量和作為集群化模型的HMM，對每個幀fl，f2，...，進(jìn)行集群化，并且將一系列狀態(tài)ID作為表示每個幀Π，f2，...，所屬的集群的集群信息提供給片段劃分單元22，所述狀態(tài)ID是構(gòu)成觀測到幀Π，f2,...,的特征量的時間序列的最大似然狀態(tài)系列的HMM的狀態(tài)的索引。在圖9中，再現(xiàn)對象內(nèi)容的幀fl和f2被集群化到與狀態(tài)ID是3的狀態(tài)相對應(yīng)的集群中，幀f3被集群化到與狀態(tài)ID是2的狀態(tài)相對應(yīng)的集群中，幀f4被集群化到與狀態(tài)ID是3的狀態(tài)相對應(yīng)的集群中，幀f5被集群化到與狀態(tài)ID是5的狀態(tài)相對應(yīng)的集群中，幀f6, f7，f8,...，被集群化到與狀態(tài)ID是4的狀態(tài)相對應(yīng)的集群中。片段劃分單元22(圖3)將屬于每個集群的幀劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段。因此，在片段劃分單元22中，在從開頭起依次關(guān)注來自集群化單元21的作為集群信息的狀態(tài)ID的系列的情況下，當(dāng)所關(guān)注的狀態(tài)ID匹配前一個狀態(tài)ID時，與所關(guān)注的狀態(tài)ID相對應(yīng)的幀被包括在包括與前一個狀態(tài)ID相對應(yīng)的幀的視頻片段中。這里，當(dāng)所關(guān)注的狀態(tài)ID不匹配前一個狀態(tài)ID時，直到與前一個狀態(tài)ID相對應(yīng)的幀為止的部分被劃分成一個視頻片段，并且從與所關(guān)注的狀態(tài)ID相對應(yīng)的幀起的部分被劃分成新的視頻片段。在圖9中，屬于與狀態(tài)ID為3的狀態(tài)相對應(yīng)的集群的連續(xù)幀fl和f2、屬于與狀態(tài)ID為2的狀態(tài)相對應(yīng)的集群的幀f3、屬于與狀態(tài)ID為3的狀態(tài)相對應(yīng)的集群的幀f4、屬于與狀態(tài)ID為5的狀態(tài)相對應(yīng)的集群的幀f5以及屬于與狀態(tài)ID為4的狀態(tài)相對應(yīng)的集群的連續(xù)幀f6、f7、f8分別被劃分成視頻片段。片段劃分單元22將上述視頻片段(作為片段信息的指定屬于視頻片段的幀的幀信息和表示視頻片段(的幀)所屬的集群的集群信息)提供給片段代表圖像生成單元23。例如，如上所述，片段代表圖像生成單元23 (圖3)對于來自片段劃分單元22的視頻片段生成視頻片段的開頭的幀被壓縮為代表該視頻片段的片段代表圖像的縮略圖，并將其提供給地圖生成單元24。這里，如果狀態(tài)ID被設(shè)定為將值i的狀態(tài)描述為狀態(tài)#i，則在圖9中，對于具有屬于與狀態(tài)#3相對應(yīng)的集群的連續(xù)幀Π和f2的視頻片段，開頭幀Π的縮略圖被生成作為片段代表圖像。此外，對于具有屬于與狀態(tài)#2相對應(yīng)的集群的幀f3的視頻片段，開頭幀的f3的縮略圖被生成作為片段代表 圖像，這同樣適用于對于具有屬于與狀態(tài)#3相對應(yīng)的集群的幀f4的視頻片段的開頭的幀f4的縮略圖、對于具有屬于與狀態(tài)#5相對應(yīng)的集群的幀f5的視頻片段的開頭的幀f5的縮略圖、以及對于具有屬于與狀態(tài)#4相對應(yīng)的集群的連續(xù)幀f6, f7, f8，...的視頻片段的幀f6的縮略圖。在地圖生成單元24(圖3)中，對于每個集群，從屬于該集群的視頻片段的片段代表圖像中選擇代表該集群(與該集群相對應(yīng)的狀態(tài))的集群代表圖像。此外，在地圖生成單元24中，將作為關(guān)注模型的HMM轉(zhuǎn)換成模型地圖，并且與此同時生成片段地圖，在片段地圖中，在模型地圖上的每個狀態(tài)的位置處布置了被選擇為與狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像。這里，在地圖生成單元24中，片段地圖的每個狀態(tài)與屬于與該狀態(tài)相對應(yīng)的集群的視頻片段的所有片段代表圖像相關(guān)聯(lián)。在圖9中，作為具有屬于與狀態(tài)#3相對應(yīng)的集群的連續(xù)幀fl和f2的視頻片段的片段代表圖像的幀f I的縮略圖與狀態(tài)#3相關(guān)聯(lián)，作為具有屬于與狀態(tài)#2相對應(yīng)的集群的幀f3的視頻片段的片段代表圖像的幀f3的縮略圖與狀態(tài)#2相關(guān)聯(lián)，作為具有屬于與狀態(tài)#3相對應(yīng)的集群的幀f4的視頻片段的片段代表圖像的幀f4的縮略圖與狀態(tài)#3相關(guān)聯(lián)，作為具有屬于與狀態(tài)#5相對應(yīng)的集群的幀f5的視頻片段的片段代表圖像的幀f5的縮略圖與狀態(tài)#5相關(guān)聯(lián)，并且作為具有屬于與狀態(tài)#4相對應(yīng)的集群的連續(xù)幀f6，f7，f8，...，的視頻片段的片段代表圖像的幀f6的縮略圖與狀態(tài)#4相關(guān)聯(lián)。圖10是示出片段地圖生成單元14(圖3)生成的片段地圖的示例的示圖。在片段地圖中，在圖8的模型地圖上的每個狀態(tài)的位置處，布置了被選擇為與這些狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像。例如，通過從作為預(yù)定類別的內(nèi)容的每日或每周廣播的新聞的電視廣播節(jié)目(新聞節(jié)目)的兩次以上的廣播部分之中取出最新廣播部分的新聞節(jié)目并將過去廣播部分的新聞節(jié)目用作學(xué)習(xí)內(nèi)容來執(zhí)行作為集群化模型的HMM學(xué)習(xí)，并且將最新廣播部分的新聞節(jié)目作為再現(xiàn)對象內(nèi)容給予片段地圖生成單元14，由此生成如圖10中所示的片段地圖。
如上所述，片段地圖是將(被選擇作為集群代表圖像的)片段代表圖像布置在模型地圖(圖8)上的地圖并且可以說是基于模型地圖的。模型地圖是利用多維尺度法將學(xué)習(xí)后的HMM投射到二維表面上的地圖，并且根據(jù)模型地圖，外觀的特征等等是相似的并且集群化了時間前后關(guān)系接近的場景(幀)的集群群組被表現(xiàn)為就二維表現(xiàn)而言能夠轉(zhuǎn)變的附近狀態(tài)群組。這里，根據(jù)這樣基于模型地圖的片段地圖，例如，節(jié)目的場景構(gòu)成以如下形式被表現(xiàn)為二維地圖其中，作為再現(xiàn)對象內(nèi)容的新聞節(jié)目的主持人出現(xiàn)的場景(幀或視頻片段)被集群化并收集在一定狀態(tài)(與一定狀態(tài)相對應(yīng)的集群)中，并且從這些場景轉(zhuǎn)變的例如體育欄目或明日天氣預(yù)報的每個場景的場景群組被分別集群化和收集在另一狀態(tài)中。因此，可以說片段地圖是再現(xiàn)對象內(nèi)容也就是場景的地圖，并且具有作為使得用戶能夠俯瞰再現(xiàn)對象內(nèi)容的可視化的有效工具的功能。此外，在圖10中，存在未布置(被選擇為集群代表圖像的)片段代表圖像的狀態(tài)。未布置片段代表圖像的狀態(tài)的存在表示在該狀態(tài)(與該狀態(tài)相對應(yīng)的集群)中沒有集群化再現(xiàn)對象內(nèi)容的幀。這里，在片段地圖的每個狀態(tài)處布置的片段代表圖像的大小能夠?qū)γ總€狀態(tài)被設(shè)定到不同大小，或者能夠無論狀態(tài)如何都被設(shè)定到所設(shè)定的大小。在片段地圖的每個狀態(tài)中布置的片段代表圖像的大小對于每個狀態(tài)被設(shè)定到不同大小的情況下，在地圖描繪單元64(圖7)中，例如，可以確定每個狀態(tài)的重要度并且以與該重要度相對應(yīng)的大小將片段代表圖像布置在片段地圖(模型地圖)上。圖11是示出確定狀態(tài)的重要度的方法的示圖。

對于模型地圖的每個狀態(tài)(作為集群化模型的HMM的每個狀態(tài))，地圖描繪單元64確定表示該狀態(tài)在何種程度上在整個再現(xiàn)對象內(nèi)容中表現(xiàn)重要場景的索引DoI (重要程度)作為重要度。這里，當(dāng)狀態(tài)Si的重要度由DoI (i)表示，并且作為狀態(tài)Si (與狀態(tài)Si相對應(yīng)的集群)中集群化的再現(xiàn)對象內(nèi)容的視頻片段之中的第k個視頻片段的長度(幀數(shù)目)的片段長度由LEN(k)表示時，地圖描繪單元64根據(jù)式子DoI (i) =max{LEN(k)}確定狀態(tài)Si的重要度DoI⑴。此外，當(dāng)狀態(tài)Si中集群化的再現(xiàn)對象內(nèi)容的視頻片段的數(shù)目由K表示時，max{LEN(k)}表示LEN(I), LEN(2), , LEN(K)中的最大值，換言之就是狀態(tài)Si中集群化的再現(xiàn)對象內(nèi)容的視頻片段的幀的最大數(shù)目。當(dāng)確定了每個狀態(tài)Si的重要度DoI (i)時，地圖描繪單元64確定所有狀態(tài)S1, S2，…，sN 的重要度=(DoI (I), DoI (2), , DoI (N)的平均值 DoIav = (DoI (I)，DoI (2)，…,DoI (N))/No此外，利用重要度的平均值DoIav，地圖描繪單元64將重要度DoI設(shè)定為參數(shù)并且確定系數(shù)函數(shù)a =f (DoI)，其是確定大小系數(shù)α的系數(shù)，大小系數(shù)α是用于確定片段代表圖像的大小的系數(shù)。這里，例如，如圖11中所示,在作為參數(shù)的重要度DoI為從O到重要度的平均值DoIaJ^范圍中，系數(shù)函數(shù)a = f (DoI)與作為參數(shù)的重要度DoI成比例地增大，并且在作為參數(shù)的重要度DoI為O時變成α = 0，并且在作為參數(shù)的重要度DoI是DoIav時變成α =1.O的函數(shù)，另外，在作為參數(shù)的重要度DoI超過重要度的平均值DoIav的范圍中，其是變成α = 1.0的固定值的函數(shù)。當(dāng)利用重要度的平均值DoIav確定系數(shù)函數(shù)a = f (DoI)時，地圖描繪單元64對于每個狀態(tài)Si確定大小系數(shù)a = f(DoI(i))，并且將大小系數(shù)a = f (DoI (i))乘以作為預(yù)先設(shè)定的片段代表圖像的大小的標(biāo)準(zhǔn)大小，由此確定片段地圖中布置的片段代表圖像的大小，并且以此大小將(被選擇為集群代表圖像的)片段代表圖像布置在片段地圖上。如上所述，通過以與狀態(tài)的重要度相對應(yīng)的大小將片段代表圖像布置在片段地圖上，在片段地圖中，如圖10中所示，在重要度高的狀態(tài)中集群化的片段代表圖像越多，要顯示的大小就越大。從而，通過查看片段地圖，用戶可以迅速地識別重要度高的狀態(tài)中集群化的視頻片段和再現(xiàn)對象內(nèi)容中的重要場景。圖12是示出片段地圖生成單元14(圖3)在圖2的步驟S12中執(zhí)行的片段地圖生成處理的流程圖。在步驟S21中，集群化單元21(圖3)對再現(xiàn)對象內(nèi)容的每個幀進(jìn)行集群化并且處理進(jìn)行到步驟S22。換言之，在集群化單元21中，集群判定單元33 (圖4)提取再現(xiàn)對象內(nèi)容的每個幀的特征量。此外，集群判定單元33從集群化模型存儲單元32(圖4)中存儲的作為集群化模型的HMM之中選擇與再現(xiàn)對象內(nèi)容相同類別的HMM作為關(guān)注模型。這里，在作為關(guān)注模型的HMM中，集群判定單元33估計觀測到特征量的時間序列的最大似然狀態(tài)系列并將此最大似然狀態(tài)系列(作為HMM構(gòu)成的狀態(tài)的索引的狀態(tài)ID的系列)作為表示再現(xiàn)對象內(nèi)容的每個幀的集群化結(jié)果的集群信息提供給片段劃分單元22。在步驟S22中，基于來自集群化單元21 (的集群判定單元33)的集群信息，片段劃分單元22(圖3)將屬于每個集群的幀劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段。這里，對于再現(xiàn)對象內(nèi)容的每個視頻片段，片段劃分單元22將表示該視頻片段的片段信息提供給片段代表圖像生成單元23，并且處理從步驟S22進(jìn)行到步驟S23。在步驟S23中，對于再現(xiàn)對象內(nèi)容的每個視頻片段，片段代表圖像生成單元23 (圖3)利用基于來自片段劃分單元22的片段信息識別出的構(gòu)成視頻片段的幀來生成代表該視頻片段的片段代表圖像。這里，片段代表圖像生成單元23將每個視頻片段的片段代表圖像提供給地圖生成單元24，并且處理從步驟S23進(jìn)行到步驟S24。在步驟S24中，地圖生成單元24(圖3)使用來自片段代表圖像生成單元23的片段代表圖像，生成片段地圖，并將其提供給顯示控制單元16，從而結(jié)束片段地圖生成處理。換言之，在地圖生成單元24中， 狀態(tài)間隔距離計算單元62 (圖7)基于狀態(tài)轉(zhuǎn)變概率au確定從作為關(guān)注模型的HMM的一個狀態(tài)Si到另一狀態(tài)S」的狀態(tài)間隔距離du*，計算作為其中狀態(tài)間隔距離Clij*被設(shè)定為成分的N行N列的矩陣的狀態(tài)間隔距離矩陣，并將其提供給坐標(biāo)計算單元63。坐標(biāo)計算單元63 (圖7)在遵循諸如Sammon地圖之類的多維尺度法的同時使用來自狀態(tài)間隔距離計算單元62的狀態(tài)間隔距離矩陣，確定使得例如上述式(I)的誤差函數(shù)E最小化的作為關(guān)注模型的HMM的每個狀態(tài)Si在模型地圖上的坐標(biāo)Yi = (xi； Yi)，并將其提供給地圖描繪單元64。地圖描繪單元64(圖7)在來自坐標(biāo)計算單元63的坐標(biāo)Yi處布置相應(yīng)的狀態(tài)Si (的圖像)，并且根據(jù)狀態(tài)之間的狀態(tài)轉(zhuǎn)變概率描繪鏈接這些狀態(tài)之間的線段，由此作為關(guān)注模型的HMM被轉(zhuǎn)換成二維模型地圖(圖形)。此外，在地圖生成單元24中，對于(與作為關(guān)注模型的HMM的每個狀態(tài)相對應(yīng)的)每個集群，集群代表圖像選擇單元61 (圖7)從屬于該集群的視頻片段的片段代表圖像中選擇代表該集群的集群代表圖像。這里，集群代表圖像選擇單元61將屬于每個集群的片段代表圖像與表示被選擇為集群代表圖像的片段代表圖像的標(biāo)志一`起提供給地圖描繪單元64。對于模型地圖(片段地圖)的每個狀態(tài)，地圖描繪單元64(圖7)從來自集群代表圖像選擇單元61的片段代表圖像中提取屬于與這些狀態(tài)相對應(yīng)的集群的片段代表圖像，并且創(chuàng)建與片段代表圖像所屬的(集群所對應(yīng)的)狀態(tài)的關(guān)聯(lián)。此外，地圖描繪單元64例如如圖11中所述確定模型地圖的每個狀態(tài)的重要度DoI ο這里，在模型地圖上的狀態(tài)Si的位置處，地圖描繪單元64對于模型地圖上的每個狀態(tài)Si，描繪從與狀態(tài)Si相關(guān)聯(lián)的片段代表圖像中選擇為與狀態(tài)Si相對應(yīng)的集群的集群代表圖像的片段代表圖像，由此生成片段地圖。這里，當(dāng)描繪被選擇為與狀態(tài)Si相對應(yīng)的集群的集群代表圖像的片段代表圖像時，地圖描繪單元64以與狀態(tài)Si的重要度DoI (i)相對應(yīng)的大小描繪片段代表圖像。通過上述片段地圖生成處理獲得的片段地圖被從片段地圖生成單元14提供給顯示控制單元16(圖1)。然后，在顯示控制單元16中，片段地圖被顯示在顯示單元17上。在片段被顯示在顯示單元17上之后，在顯示控制單元16中，如圖2的步驟S14中所述，根據(jù)用戶的操作(由操作事件處理單元12(圖1)生成的操作事件)執(zhí)行片段地圖的顯示控制。[利用顯示控制單元16對片段地圖等等的顯示控制]作為在顯示控制單元16執(zhí)行片段地圖的顯示的顯示控制時的顯示模式(在片段地圖顯示時顯示控制單元16的內(nèi)部狀態(tài))，有層O模式、層I模式和層2模式這三種模式。當(dāng)片段地圖被從片段地圖生成單元14提供來時，顯示控制單元16將顯示模式設(shè)定到層O模式，并且在顯示單元17上顯示片段地圖(允許片段地圖的顯示)。在層O模式中，在顯示單元17中，例如如圖10中所示顯示片段地圖。圖13是示出在層O模式中當(dāng)用戶指示顯示單元17的顯示畫面上的位置時片段地圖的顯示示例的示圖。這里，下面，為了促進(jìn)對描述的理解，例如，采用鼠標(biāo)作為供用戶執(zhí)行操作的操作設(shè)備，并且在操作事件處理單元12 (圖1)中，設(shè)定生成諸如鼠標(biāo)的(單次)點擊、雙次點擊或(鼠標(biāo))光標(biāo)的移動之類的操作事件。此外，操作事件可被設(shè)定為包括光標(biāo)的位置的信息。
這里，作為供用戶執(zhí)行操作的操作設(shè)備，除了可以采用鼠標(biāo)以外，還可以采用鼠標(biāo)面板或者另外的指點設(shè)備。在采用觸摸面板作為操作設(shè)備的情況下，例如可以使得對觸摸面板的叩擊和雙次叩擊分別對應(yīng)于對鼠標(biāo)的點擊和雙次點擊。此外，例如能夠使得利用鼠標(biāo)對光標(biāo)的移動對應(yīng)于在手指等等與觸摸面板接觸的狀態(tài)中手指的移動。此外，在觸摸面板可以檢測手指等等的接近的情況下，能夠使得利用鼠標(biāo)對光標(biāo)的移動例如對應(yīng)于接近觸摸面板的手指的移動。在層O模式中，顯示 控制單元16將根據(jù)鼠標(biāo)的操作移動的光標(biāo)的位置設(shè)定到用戶指示的指示位置，將片段地圖上最接近指示位置的狀態(tài)設(shè)定為要關(guān)注的關(guān)注狀態(tài)，并且在顯示單元17上以與片段地圖疊加的形式顯示磚塊圖像，磚塊圖像是與關(guān)注狀態(tài)(對應(yīng)于關(guān)注狀態(tài)的集群)相關(guān)聯(lián)的片段代表圖像的列表的圖像。圖13是示出其上疊加了磚塊圖像的片段地圖的顯示示例的示圖。在層O模式中，顯示控制單元16將片段地圖上與用戶的指示位置最接近的狀態(tài)設(shè)定為要關(guān)注的關(guān)注狀態(tài)，并且在關(guān)注狀態(tài)的位置與指示位置之間的距離為閾值以下的情況下，生成作為與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的列表的圖像的磚塊圖像，并將其疊加顯示在片段地圖上。這里，在磚塊圖像中，與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像例如被布置為在從左到右且從上到下的方向上按時間順序以磚塊形式(格子狀)排列。圖14是示出當(dāng)如上所述顯示磚塊圖像時顯示控制單元16的顯示控制處理的流程圖。圖14的處理例如開始于諸如光標(biāo)移動時之類的不定期定時，或者開始于周期性定時。在步驟S41中，顯示控制單元16從片段地圖的狀態(tài)之中選擇最接近作為用戶的指示位置的光標(biāo)位置的狀態(tài)作為關(guān)注狀態(tài)，并且處理進(jìn)行到步驟S42。在步驟S42中，顯示控制單元16判定從作為用戶的指示位置的光標(biāo)位置到關(guān)注狀態(tài)的位置的距離(以下稱為光標(biāo)間隔距離)是否為閾值以下。在步驟S42中，在判定光標(biāo)間隔距離不在閾值以下的情況下，也就是說，在例如光標(biāo)處于顯示單元17的顯示畫面的端部等處、與片段地圖的任何狀態(tài)遠(yuǎn)離的位置的情況下，顯示控制單元16跳過步驟S43和S44，并且處理結(jié)束。此外，在光標(biāo)間隔距離不在閾值以下的情況下，當(dāng)磚塊圖像正被顯示在顯示單元17上時,顯示控制單元16擦除該磚塊圖像。另一方面，在步驟S42中，在判定光標(biāo)間隔距離為閾值以下的情況下，處理進(jìn)行到步驟S43，顯示控制單元16生成作為其中按時間順序排列與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的列表的圖像的磚塊圖像，并且處理進(jìn)行到步驟S44。這里，顯示控制單元43根據(jù)與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的數(shù)目來設(shè)定顯示磚塊圖像的顯示區(qū)域的大小。也就是說，關(guān)于顯示磚塊圖像的顯示區(qū)域的大小，顯示控制單元43設(shè)定顯示磚塊圖像的顯示區(qū)域的大小，以使得在從預(yù)先確定的最小大小到最大大小的范圍內(nèi)，大小隨著與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的數(shù)目增大而增大。以下，根據(jù)與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的數(shù)目設(shè)定的顯示區(qū)域的大小也被稱為設(shè)定大小。顯示控制單元43在磚塊圖像中水平方向上和垂直方向上分別布置的片段代表圖像的數(shù)目和磚塊圖像中布置的片段代表圖像的大小，以使得可以將與關(guān)注狀態(tài)相關(guān)聯(lián)的所有片段代表圖像布置在設(shè)定大小的顯示區(qū)域中顯示的磚塊圖像內(nèi)。這里，預(yù)先確定在最大顯示區(qū)域中顯示的磚塊圖像內(nèi)能夠布置的片段代表圖像的數(shù)目的最大值NUMmax (以及片段代表圖像的大小的最小值)，并且在與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的數(shù)目超過最大值NUlax的情況下，將磚塊圖像中布置的片段代表圖像的數(shù)目限于最大值NUMmax。也就是說，在與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像之中例如，數(shù)目等于最大值NUMniax的片段代表圖像被按時間順序布置在磚塊圖像中。在步驟S44中，顯示控制單元14以疊加在片段地圖的關(guān)注狀態(tài)附近的形式顯示其中排列了與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的磚塊圖像，并且結(jié)束處理。此外，在光標(biāo)間隔距離為閾值以下的情況下，當(dāng)關(guān)注狀態(tài)的磚塊圖像(其中排列了與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的磚塊圖像)已經(jīng)被顯示在顯示單元17上時，顯示控制單元16跳過步驟S43和S44，并且將已經(jīng)在顯示的磚塊圖像的顯示維持原樣。此外，在光標(biāo)間隔距離為閾值以下的情況下，當(dāng)除關(guān)注狀態(tài)以外的狀態(tài)的磚塊圖像被顯示在顯示單元17 上時，顯示控制單元16擦除該磚塊圖像。如上所述，在層O模式中，由于顯示了作為與片段地圖上最接近用戶的指示位置的狀態(tài)(關(guān)注狀態(tài))相關(guān)聯(lián)的片段代表圖像的列表的圖像的磚塊圖像，所以用戶只要通過將光標(biāo)移動到接近期望狀態(tài)的位置就可以確認(rèn)與期望狀態(tài)相關(guān)聯(lián)的片段代表圖像的列表并且還可以掌握在期望狀態(tài)(與期望狀態(tài)相對應(yīng)的集群)處集群化的場景。這里，在上述情況下，設(shè)定顯示作為與片段地圖上最接近用戶的指示位置的狀態(tài)(關(guān)注狀態(tài))相關(guān)聯(lián)的片段代表圖像的列表的圖像的磚塊圖像；然而，取代顯示磚塊圖像，可以執(zhí)行在關(guān)注狀態(tài)的位置處顯示的(被選擇為集群代表圖像的)片段代表圖像的突出顯
/Jn ο作為執(zhí)行片段代表圖像的突出顯示的方法，例如，可以采用增大片段代表圖像的大小的方法或者顯示圍繞在片段代表圖像周圍的紅框的方法。此外，能夠根據(jù)用戶的操作來設(shè)定執(zhí)行磚塊圖像的顯示和在關(guān)注狀態(tài)的位置處顯示的片段代表圖像的突出顯示中的哪一個。下面，設(shè)定執(zhí)行磚塊圖像的顯示。在層O模式中，當(dāng)顯示磚塊圖像時，如果用戶例如執(zhí)行作為預(yù)先確定的預(yù)定操作的鼠標(biāo)的(單次)點擊，則顯示控制單元16將顯示模式從層O模式轉(zhuǎn)移(改變)(設(shè)定)到層I模式。在層I模式中，顯示控制單元16固定(鎖定)磚塊圖像的顯示。換言之，在層O模式中，當(dāng)用戶使得光標(biāo)移動時，由于按時間順序布置與最接近移動后的光標(biāo)的狀態(tài)相關(guān)聯(lián)的片段代表圖像的磚塊圖像被顯示，所以最接近光標(biāo)的狀態(tài)由于光標(biāo)的移動而改變，并且磚塊圖像也改變。在這種顯示磚塊圖像的層O模式中，如果在顯示磚塊圖像時執(zhí)行點擊，則顯示控制單元16將顯示模式從層O模式轉(zhuǎn)移到層I模式，并且固定磚塊圖像的顯示，以使得當(dāng)時顯示的磚塊圖像的顯示被維持。
這里，在層I模式中，固定顯示的磚塊圖像也被稱為固定磚塊圖像。圖15是示出固定磚塊圖像的顯示示例的示圖。固定磚塊圖像是包括就在層O模式中執(zhí)行點擊之前顯示的磚塊圖像(也就是布置了與關(guān)注狀態(tài)(其是與在層O模式中執(zhí)行點擊時光標(biāo)的位置最接近的位置的狀態(tài))相關(guān)聯(lián)的狀態(tài)片段代表圖像的磚塊圖像)的圖像，并且在層I模式中，在固定磚塊圖像被顯示之后，即使光標(biāo)被移動(即使用戶的指示位置被改變)，固定磚塊圖像的顯示也維持原樣。圖16是示出固定磚塊圖像的細(xì)節(jié)的示圖。在固定磚塊圖像中，就在層O模式中執(zhí)行點擊之前顯示的磚塊圖像被布置在下部，并且頁頭部分被布置在其上部。書簽按鈕、保存按鈕、時鐘標(biāo)記和時間線條被布置在頁頭部分中。當(dāng)臨時登記關(guān)注狀態(tài)，也就是與布置在固定磚塊圖像的下部的磚塊圖像中布置的片段代表圖像相關(guān)聯(lián)的狀態(tài)，作為集群化了用戶的收藏場景的收藏狀態(tài)時，操作(例如點擊)書簽按鈕。當(dāng)操作書簽按鈕時，關(guān)注狀態(tài)被臨時登記為收藏狀態(tài)，并且當(dāng)書簽按鈕再次被按壓時，對關(guān)注狀態(tài)的臨時登記被取消。當(dāng)執(zhí)行收藏狀態(tài)的臨時登記的實際登記時操作保存按鈕。當(dāng)操作保存按鈕時，如果關(guān)注狀態(tài)被臨時登記為收藏狀態(tài)，則關(guān)注狀態(tài)被實際登記為收藏狀態(tài)。另外，例如，在關(guān)注狀態(tài)已經(jīng)被實際登記為收藏狀態(tài)的情況下，當(dāng)保存按鈕被操作時，關(guān)注狀態(tài)的實際登 記被取消。這里，如上所述，由于當(dāng)保存按鈕被操作時，如果關(guān)注狀態(tài)被臨時登記為收藏狀態(tài)，則關(guān)注狀態(tài)被實際登記為收藏狀態(tài)，所以在關(guān)注狀態(tài)被臨時登記為收藏狀態(tài)的情況下對保存按鈕的操作是請求對關(guān)注狀態(tài)的實際登記的操作并且在下文中將被稱為收藏操作。在根據(jù)收藏操作執(zhí)行的實際登記中，在操作事件處理單元12 (圖1)中，與標(biāo)識用戶的用戶ID進(jìn)行關(guān)聯(lián)，并且標(biāo)識作為在作為再現(xiàn)對象內(nèi)容的片段地圖的基礎(chǔ)的模型地圖的生成中使用的關(guān)注模型的HMM的模型ID和標(biāo)識要被實際登記為收藏狀態(tài)的狀態(tài)(集群)的狀態(tài)ID作為收藏信息被存儲在收藏信息存儲單元13中。此外，設(shè)定用戶ID在用戶使用圖1的圖像處理裝置時由用戶輸入。此外，在集群化模型學(xué)習(xí)單元31中，在學(xué)習(xí)后，設(shè)定將用于標(biāo)識HMM的模型ID指派給作為集群化模型的HMM。時鐘標(biāo)記例如是一圖標(biāo)，在該圖標(biāo)中從再現(xiàn)對象內(nèi)容的開頭到末尾的再現(xiàn)時間被指派給時鐘的指針的一周的時段(從O分鐘到60分鐘的一個小時)，并且該圖標(biāo)顯示表示在磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中要關(guān)注的關(guān)注代表圖像所對應(yīng)的視頻片段在再現(xiàn)對象內(nèi)容中的再現(xiàn)定時的時刻。在圖16中，由于沒有關(guān)注代表圖像(沒有進(jìn)行選擇)，所以時鐘標(biāo)記顯示表示再現(xiàn)對象內(nèi)容的開頭的定時的零分鐘。時間線條是一水平條，該水平條將從再現(xiàn)對象內(nèi)容的開頭到末尾的再現(xiàn)時間指派給從時間線條的左端到右端并且表示與在磚塊圖像中布置的片段代表圖像分別對應(yīng)的視頻片段在再現(xiàn)對象內(nèi)容中的再現(xiàn)定時相當(dāng)?shù)臅r刻(位置)。在圖16的時間線條中，以斜線標(biāo)記的部分表示與在磚塊圖像中布置的片段代表圖像分別對應(yīng)的視頻片段在再現(xiàn)對象內(nèi)容中的再現(xiàn)定時相當(dāng)?shù)臅r刻。在層I模式中，顯示控制單元16將隨著鼠標(biāo)的操作移動的光標(biāo)的位置設(shè)定為用戶指示的指示位置，將固定磚塊圖像(的磚塊圖像)中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中最接近指示位置(光標(biāo)的位置)的片段代表圖像設(shè)定為要關(guān)注的關(guān)注代表圖像，并且突出顯示這些關(guān)注代表圖像。圖17是示出關(guān)注代表圖像的突出顯示的顯示示例的示圖。在層I模式中，顯示控制單元16從固定磚塊圖像中布置的片段代表圖像之中選擇最接近用戶的指示位置的片段代表圖像作為關(guān)注代表圖像，并且將這些關(guān)注代表圖像與固定磚塊圖像分開突出顯示。在關(guān)注代表圖像的突出顯示中，例如，可以按固定磚塊圖像中布置的大小的兩倍大小之類的較大的大小來顯示關(guān)注代表圖像，或者可以顯示由紅框圍繞的關(guān)注代表圖像。在圖17中，通過按比固定磚塊圖像中布置的大小更大的大小執(zhí)行顯示來執(zhí)行突出顯示。此外，在層I模式中，顯示控制單元16例如僅在用戶的指示位置在固定磚塊圖像上的情況下才選擇最接近指示位置的片段代表圖像作為關(guān)注代表圖像。從而，在用戶的指示位置(光標(biāo))不在固定磚塊圖像上的情況下，固定磚塊圖像中的片段代表圖像不被選擇為關(guān)注代表圖像。此外，在圖17中，固定磚塊圖像中布置的片段代表圖像之中的最接近用戶的指示位置的片段代表圖像被選擇為關(guān)注代表圖像，從而時鐘標(biāo)記顯示表示與關(guān)注代表圖像相對應(yīng)的視頻片段在再現(xiàn)對象內(nèi)容中的再現(xiàn)定時的時刻。

此外，在圖17中，為了使得用戶能夠識別與關(guān)注代表圖像相對應(yīng)的視頻片段在再現(xiàn)對象內(nèi)容中的再現(xiàn)定時，在時間線條中，與與關(guān)注代表圖像相對應(yīng)的視頻片段在再現(xiàn)對象內(nèi)容中的再現(xiàn)定時相當(dāng)?shù)牟糠?黑色部分)被顯示為與其他部分不同。在層I模式中，當(dāng)選擇關(guān)注代表圖像時，如果用戶例如作為預(yù)先確定的預(yù)定操作執(zhí)行鼠標(biāo)的(單次)點擊，則顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層2模式。在層2模式中，顯示控制單元16取代固定磚塊圖像或疊加在固定磚塊圖像上顯示時間線圖像。換言之，在層I模式中，當(dāng)用戶在固定磚塊圖像上移動光標(biāo)時，最接近移動后的光標(biāo)的片段代表圖像被選擇為關(guān)注代表圖像并且關(guān)注圖像被突出顯示；然而，如果在關(guān)注代表圖像被選擇時執(zhí)行點擊，則顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層2模式，生成時間線圖像并將其顯示在顯示單元17上，其中在時間線圖像中，以關(guān)注圖像為中心按時間順序布置了關(guān)注代表圖像和在固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中在關(guān)注代表圖像之前和之后連續(xù)的預(yù)定數(shù)目片段代表圖像。圖18是示出時間線圖像的顯示示例的示圖。在層I模式中，如果當(dāng)固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中的任何一個片段代表圖像被選擇為關(guān)注代表圖像時，顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層2模式，并且從固定磚塊圖像中布置的片段代表圖像之中選擇關(guān)注代表圖像和在關(guān)注代表圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像作為構(gòu)成時間線圖像的構(gòu)成圖像。
這里，顯示控制單元16生成例如從左到右按時間順序排列布置了構(gòu)成圖像的時間線圖像，并將其顯示在顯示單元17上。在圖18中，關(guān)注代表圖像、在關(guān)注代表圖像之前時間上連續(xù)的三個片段代表圖像(時間上往回)和在關(guān)注代表圖像之后時間上連續(xù)的三個片段代表圖像(時間上往前)這總共7個片段代表圖像被選擇為構(gòu)成圖像。這里，時間線圖像是通過將7個構(gòu)成圖像布置為按時間順序從左到右排列來構(gòu)成的。如上所述，在時間線圖像中，由于作為構(gòu)成圖像按時間順序布置了固定磚塊圖像中布置的片段代表圖像之中的關(guān)注代表圖像和分別在關(guān)注代表圖像之前和之后連續(xù)的3個片段代表圖像這總共7個片段代表圖像，所以關(guān)注代表圖像被布置在時間線圖像的中央部分。在時間線圖像中，可以按相同大小布置作為構(gòu)成圖像的全部7個片段代表圖像，并且可以執(zhí)行布置，以使得對于與布置在中央部分中的關(guān)注代表圖像遠(yuǎn)離的位置的構(gòu)成圖像，大小較小。 在圖18的時間線圖像中，執(zhí)行布置以使得對于與布置在中央部分中的關(guān)注代表圖像遠(yuǎn)離的位置的構(gòu)成圖像，大小較小。此外，在時間線圖像中，如圖18中所示，在其上部中，可以按與固定磚塊圖像(圖16)的頁頭部分中布置的相同的方式布置時鐘標(biāo)記和時間線條。這里，在圖18中，從固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中，采用以關(guān)注代表圖像為中心按時間順序的7個片段代表圖像作為時間線圖像的構(gòu)成圖像；然而，時間線圖像的構(gòu)成圖像不限于7個。圖19是示出當(dāng)顯示時間線圖像時顯示控制單元16的顯示控制處理的流程圖。在層I模式中，如果當(dāng)固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中的任何一個片段代表圖像被選擇為關(guān)注代表圖像時作為預(yù)定操作執(zhí)行點擊，則顯示模式從層I模式轉(zhuǎn)移到層2模式，并且圖19的處理開始。在步驟S51中，顯示控制單元16從固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中選擇關(guān)注代表圖像和在關(guān)注代表圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像(排列在過去側(cè)的預(yù)定數(shù)目的片段代表圖像和排列在未來側(cè)的預(yù)定數(shù)目的片段代表圖像)作為構(gòu)成時間線圖像的構(gòu)成圖像，并且處理進(jìn)行到步驟S52。在步驟S52中，顯示控制單元16生成從左到右按時間順序排列布置了構(gòu)成圖像的時間線圖像，并且處理進(jìn)行到步驟S53。這里，從左到右按時間順序排列布置了構(gòu)成圖像的時間線圖像成為這樣的圖像其中，在構(gòu)成圖像中，將關(guān)注代表圖像設(shè)定為中心，作為相對于關(guān)注代表圖像(的視頻片段)的過去側(cè)的構(gòu)成圖像的片段代表圖像被布置在時間序列中的左側(cè)，并且作為相對于關(guān)注代表圖像的未來側(cè)的構(gòu)成圖像的片段代表圖像被布置在時間序列中的右側(cè)。此外，當(dāng)布置構(gòu)成圖像時，顯示控制單元16執(zhí)行布置以使得對于與布置在中央部分中的關(guān)注代表圖像遠(yuǎn)離的位置的構(gòu)成圖像，大小較小。在步驟S53中，顯示控制單元16將時間線圖像顯示在片段地圖的關(guān)注狀態(tài)附近，并且結(jié)束處理。
如上所述，在層2模式中，如圖18中所示顯示時間線圖像。這里，關(guān)于時間線圖像，除了從固定磚塊圖像中布置的片段代表圖像(也就是與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中選擇關(guān)注代表圖像和在關(guān)注代表圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像作為構(gòu)成圖像以外，例如還可以從構(gòu)成再現(xiàn)對象內(nèi)容的視頻片段的所有片段代表圖像之中選擇關(guān)注代表圖像和在與關(guān)注代表圖像相對應(yīng)的視頻片段之前和之后連續(xù)的視頻片段的預(yù)定數(shù)目的相應(yīng)片段代表圖像(不限于與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)作為構(gòu)成圖像。以下，設(shè)定從與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像之中選擇時間線圖像的構(gòu)成圖像。能夠根據(jù)用戶的操作滾動在層2模式中顯示控制單元16顯示的時間線圖像中布置的作為構(gòu)成圖像的片段代表圖像。圖20是示出時間線圖像中布置的作為構(gòu)成圖像的片段代表圖像的滾動的顯示示例的示圖。在顯示控制單元16中，時間線圖像的左端側(cè)的一部分的區(qū)域被設(shè)定為指示滾動到時間上往回那側(cè)的過去滾動區(qū)域(未示出)，并且時間線圖像的右端側(cè)的一部分的區(qū)域被設(shè)定為指示滾動到時間上往前那側(cè)的未來滾動區(qū)域(未示出)。這里，在時間線圖像中設(shè)定的過去滾動區(qū)域和未來滾動區(qū)域中的一者或兩者在下文中被簡稱為滾動區(qū)域。在作為用戶的指示位置的光標(biāo)的位置在層2模式中在時間線圖像上設(shè)定的滾動區(qū)域內(nèi)的情況下，顯示控制單元16顯示用于將滾動的執(zhí)行通知給用戶的滾動標(biāo)記并且滾動在時間線圖像中布置的作為構(gòu)成圖像的片段代表圖像。在圖20中，光標(biāo)被定位在時間線圖像上設(shè)定的左端側(cè)的過去滾動區(qū)域中并且表示執(zhí)行向時間上往回那側(cè)的滾動的滾動標(biāo)記被顯示在時間線圖像的左端。在此情況下，顯示控制單元16將與關(guān)注狀態(tài)相關(guān)聯(lián)的按時間順序的片段代表圖像之中的與關(guān)注代表圖像相鄰的過去側(cè)的片段代表圖像設(shè)定為要布置在時間線圖像的中央部分的中央圖像，并且新選擇包括中央圖像和分別在中央圖像之前和之后連續(xù)的3個片段代表圖像在內(nèi)的總共7個片段代表圖像作為構(gòu)成圖像。這里，顯示控制單元16取代時間線圖像中當(dāng)前顯示的構(gòu)成圖像按時間順序布置新選擇的構(gòu)成圖像。結(jié)果，構(gòu)成時間線圖像的構(gòu)成圖像被設(shè)定為與關(guān)注狀態(tài)相關(guān)聯(lián)的按時間順序的片段代表圖像之中以與關(guān)注代表圖像相鄰的時間上往回那側(cè)的片段代表圖像設(shè)定為中心的7個片段代表圖像，并且在時間上往回那側(cè)，執(zhí)行向時間上往回那側(cè)滾動I個片段代表圖像。這里，向時間上往回那側(cè)滾動的方向如圖20中的箭頭所示是從左到右的方向(在從左到右的方向上移動構(gòu)成時間線圖像的構(gòu)成圖像)。如上所述，在執(zhí)行滾動之后，如果光標(biāo)保持定位在時間線圖像上設(shè)定的左端側(cè)的過去滾動區(qū)域內(nèi)，則顯示控制單元16維持滾 動標(biāo)記的顯示,將與關(guān)注狀態(tài)相關(guān)聯(lián)的按時間順序的片段代表圖像之中與中央圖像相鄰的時間上往回那側(cè)的片段代表圖像設(shè)定為新的中央圖像，并且新選擇包括新中央圖像和分別在新中央圖像之前和之后連續(xù)的3個片段代表圖像在內(nèi)的總共7個片段代表圖像作為構(gòu)成圖像。
這里，顯示控制單元16取代時間線圖像中當(dāng)前顯示的構(gòu)成圖像按時間順序布置新選擇的構(gòu)成圖像。結(jié)果，構(gòu)成時間線圖像的構(gòu)成圖像被設(shè)定為與關(guān)注狀態(tài)相關(guān)聯(lián)的按時間順序的片段代表圖像之中以與先前中央圖像相鄰的時間上往回那側(cè)的片段代表圖像為中心的按時間順序的7個片段代表圖像，并且在時間上往回那側(cè)，執(zhí)行向時間上往回那側(cè)滾動I個片段代表圖像。以下，只要光標(biāo)被定位在時間線圖像上設(shè)定的左端側(cè)的過去滾動區(qū)域內(nèi)，就執(zhí)行相同的處理并且繼續(xù)向時間線圖像的時間上往回那側(cè)滾動。這里，雖然沒有示出，但在光標(biāo)被定位在時間線圖像上設(shè)定的右端側(cè)的未來滾動區(qū)域內(nèi)的情況下，表示執(zhí)行向時間上往前那側(cè)的滾動的滾動標(biāo)記被顯示在時間線圖像的右端并且時間線圖像被向時間上往前那側(cè)滾動(滾動方向是從右到左方向)。因此，在層2模式中，用戶只要通過在時間線圖像上的滾動區(qū)域(過去滾動區(qū)域、未來滾動區(qū)域)中移動光標(biāo)就能夠滾動時間線圖像，結(jié)果能夠容易地找到期望的視頻片段(的片段代表圖像)。[再現(xiàn)控制單元15對視頻片段的再現(xiàn)控制]即使當(dāng)顯示模式是層O模式、層I模式、層2模式中的任何一個時，當(dāng)例如對于視頻片段的片段代表圖像執(zhí)行雙次點擊作為請求該視頻片段的再現(xiàn)的再現(xiàn)操作時，再現(xiàn)控制單元15從內(nèi)容存儲單元11再現(xiàn)與被執(zhí)行了雙次點擊(再現(xiàn)操作)的片段代表圖像相對應(yīng)的視頻片段。再現(xiàn)控制單元15中再現(xiàn)的視頻片段的圖像被提供給顯示控制單元16并顯示在顯示單元17上。 圖21是示出再現(xiàn)控制單元15中播放的視頻片段的圖像的顯示示例的示圖。在圖21中，打開了顯示片段地圖的地圖窗口和顯示視頻片段的圖像的再現(xiàn)窗口#1、#2 和 #3 ο在圖21中，在層O模式中，首先，在地圖窗口中顯示的再現(xiàn)對象內(nèi)容的片段地圖中布置的片段代表圖像(被選擇為集群代表圖像的片段代表圖像)#1被雙次點擊，并且在再現(xiàn)控制單元15中，根據(jù)此雙次點擊，與片段代表圖像#1相對應(yīng)的視頻片段#1的再現(xiàn)開始，并且視頻片段#1的圖像被顯示在再現(xiàn)窗口 #1中。此外，在圖21中，在地圖窗口中顯示的再現(xiàn)對象內(nèi)容的片段地圖中布置的片段代表圖像#2在與片段代表圖像#1相對應(yīng)的視頻片段#1的再現(xiàn)期間被雙次點擊，并且在再現(xiàn)控制單元15中，根據(jù)此雙次點擊，與片段代表圖像#2相對應(yīng)的視頻片段#2的再現(xiàn)開始，并且視頻片段#2的圖像被顯示在再現(xiàn)窗口 #2中。然后，在圖21中，在地圖窗口中顯示的再現(xiàn)對象內(nèi)容的片段地圖中布置的片段代表圖像#3在分別與片段代表圖像#1和#2相對應(yīng)的視頻片段#1和#2的再現(xiàn)期間被雙次點擊，并且在再現(xiàn)控制單元15中，根據(jù)此雙次點擊，與片段代表圖像#3相對應(yīng)的視頻片段#3的再現(xiàn)開始，并且視頻片段#3的圖像被顯示在再現(xiàn)窗口 #3中。如上所述，在再現(xiàn)控制單元15中，當(dāng)對再現(xiàn)對象內(nèi)容的片段代表圖像執(zhí)行作為再現(xiàn)操作的雙次點擊時，執(zhí)行再現(xiàn)與被執(zhí)行了雙次點擊的片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)控制。
這里，在再現(xiàn)控制單元15中，當(dāng)在再現(xiàn)與被雙次點擊的片段代表圖像相對應(yīng)的視頻片段時另一視頻片段的再現(xiàn)正被執(zhí)行時，已經(jīng)在執(zhí)行的該另一視頻片段的再現(xiàn)被維持原樣，并且與被雙次點擊的片段代表圖像相對應(yīng)的視頻片段被再現(xiàn)。從而，用戶將能夠同時觀看作為單個內(nèi)容項的再現(xiàn)對象內(nèi)容內(nèi)的感興趣的多個場景等等的多個地方。此外，除了打開再現(xiàn)窗口并在該窗口中執(zhí)行顯示以外，正被執(zhí)行再現(xiàn)的視頻片段的圖像(以下也稱為再現(xiàn)視頻片段)能夠在與再現(xiàn)視頻片段的片段代表圖像相關(guān)聯(lián)的狀態(tài)附近按比片段代表圖像的標(biāo)準(zhǔn)大小更大的大小等等被顯示在片段地圖上。是將再現(xiàn)視頻片段的圖像顯示在再現(xiàn)窗口中還是在片段地圖上與再現(xiàn)視頻片段的片段代表圖像相關(guān)聯(lián)的狀態(tài)附近是能夠例如根據(jù)用戶的操作來設(shè)定的。此外，再現(xiàn)視頻片段的圖像既能夠被顯示在時間窗口中也能夠被顯示在與再現(xiàn)視頻片段的片段代表圖像相關(guān)聯(lián)的狀態(tài)附近。此外，在再現(xiàn)視頻片段的圖像被顯示在再現(xiàn)窗口中的情況下，可以例如為再現(xiàn)窗口和在與其圖像被顯示在該代表圖像中的再現(xiàn)視頻片段(的片段代表圖像)相關(guān)聯(lián)的狀態(tài)附近顯示的片段代表圖像提供相同的裝飾。在圖18中，對于再現(xiàn)窗口 #1和在與其圖像被顯示在再現(xiàn)窗口 #1中的視頻片段#1相關(guān)聯(lián)的狀態(tài)附近顯示的片段代表圖像#1，在圍繞圖像的框中提供了左上斜線的圖案作為相同裝飾。此外，在圖18中，對于再現(xiàn)窗口 #2和在與其圖像被顯示在再現(xiàn)窗口 #2中的視頻片段#2相關(guān)聯(lián)的狀態(tài)附近顯示的片段代表圖像#2，在圍繞圖像的框中提供了右上斜線的圖案作為相同裝飾，并且對于再 現(xiàn)窗口 #3和在與其圖像被顯示在再現(xiàn)窗口 #3中的視頻片段#3相關(guān)聯(lián)的狀態(tài)附近顯示的片段代表圖像#3，在圍繞圖像的框中提供了水平線的圖案作為相同裝飾。在這種情況下，用戶能夠立即識別出與圖像被顯示在再現(xiàn)窗口中的視頻片段(的片段代表圖像)相關(guān)聯(lián)的狀態(tài)。此外，在再現(xiàn)視頻片段的圖像被顯示在再現(xiàn)窗口中的情況下，對于片段代表圖像每次執(zhí)行作為再現(xiàn)操作的雙次點擊時就打開再現(xiàn)窗口，并且將與被雙次點擊的片段代表圖像相對應(yīng)的視頻片段的圖像顯示在打開的窗口中。緊接著對片段代表圖像執(zhí)行雙次點擊并且用于顯示與該片段代表圖像相對應(yīng)的視頻片段的圖像的再現(xiàn)窗口被打開之后，(僅)該再現(xiàn)窗口變成所謂的活動窗口。此外，在多個再現(xiàn)窗口已經(jīng)打開的情況下，在這多個再現(xiàn)窗口之中作為最近的活動窗口的再現(xiàn)窗口中顯示其圖像的視頻片段的音頻被輸出，并且在其他再現(xiàn)窗口中顯示其圖像的視頻片段的音頻被靜音。這里，在再現(xiàn)控制單元15中，即使當(dāng)顯示模式是層O模式、層I模式和層2模式中的任何一個時，當(dāng)對片段代表圖像執(zhí)行雙次點擊時，執(zhí)行與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)。此外，除了對片段地圖上的片段代表圖像以外，在對層I模式中顯示的固定磚塊圖像中布置的片段代表圖像(圖15)、突出顯示的片段代表圖像(圖17)或者層2模式中顯示的時間線圖像中布置的片段代表圖像(圖18和圖20)執(zhí)行雙次點擊的情況下，也執(zhí)行視頻片段的再現(xiàn)。從而，無論顯示模式如何，只要通過對片段代表圖像執(zhí)行雙次點擊，也就是統(tǒng)一的操作，用戶就都可以觀看與片段代表圖像相對應(yīng)的視頻片段。圖22是示出再現(xiàn)窗口的顯示示例的示圖。再現(xiàn)窗口的大部分是顯示視頻片段的圖像的顯示區(qū)域。這里，在顯示區(qū)域的上部，布置了時鐘標(biāo)記、時間線條和揚(yáng)聲器圖標(biāo)。時鐘標(biāo)記和時間線條與圖16的時鐘標(biāo)記和時間線條相同。然而，再現(xiàn)窗口的時鐘標(biāo)記顯示表示在再現(xiàn)對象內(nèi)容內(nèi)圖像被顯示在再現(xiàn)窗口上的視頻片段的再現(xiàn)的定時的時刻。此外，在再現(xiàn)窗口的時間線條中，與圖像被顯示在再現(xiàn)窗口中的視頻片段在再現(xiàn)對象內(nèi)容中的再現(xiàn)定時相當(dāng)?shù)牟糠?以斜線標(biāo)記的部分)被與其他部分不同地顯示。揚(yáng)聲器圖標(biāo)是示出圖像被顯示在顯示區(qū)域中的視頻片段的音頻的靜音是開還是關(guān)的圖標(biāo)，并且在活動再現(xiàn)窗口中顯示揚(yáng)聲器，而在非活動再現(xiàn)窗口中顯示帶叉號的揚(yáng)聲器。圖23是示出在收藏信息被存儲(登記)在收藏信息存儲單元13中的情況下層O模式的片段地圖的顯示示例的示圖。如圖16中所述，在層I模式中，當(dāng)用戶執(zhí)行收藏操作時，也就是當(dāng)在關(guān)注狀態(tài)被臨時登記為收藏狀態(tài)的情況下執(zhí)行保存按鈕操作時，在操作事件處理單元12(圖1)中，進(jìn)行與標(biāo)識(執(zhí)行了收藏操作的)用戶的用戶ID的關(guān)聯(lián)，并且標(biāo)識在再現(xiàn)對象內(nèi)容的片段地圖的基礎(chǔ)的模型地圖的生成中使用的作為關(guān)注模型的HMM的模型ID和標(biāo)識被實際登記為收藏狀態(tài)的狀態(tài)的狀態(tài)ID作為收藏信息被存儲(登記)在收藏信息存儲單元13(圖1)中。這里，狀態(tài)ID作為收藏信息被存儲在收藏信息存儲單元13中的狀態(tài)也被稱為登記狀態(tài)。在用戶在使用圖1的圖像處理裝置時輸入用戶ID并且該用戶ID作為收藏信息(的一部分)被存儲在收藏信息存儲單元13中時，顯示控制單元16(圖1)從收藏信息存儲單元13中讀出與使用圖像處理裝置的用戶(以下稱為使用用戶)的用戶ID相關(guān)聯(lián)的模型ID和狀態(tài)ID。此外，在再現(xiàn)對象內(nèi)容的片段地圖的生成中使用的作為關(guān)注模型的HMM是利用與使用用戶的用戶ID相關(guān)聯(lián)的模型ID標(biāo)識的HMM的情況下，也就是說在再現(xiàn)對象內(nèi)容的片段地圖是利用用與使用用戶的用戶ID相關(guān)聯(lián)的模型ID標(biāo)識的HMM來生成的情況下，顯示控制單元16突出顯示片段地圖的與作為利用與使用用戶的用戶ID相關(guān)聯(lián)的狀態(tài)ID標(biāo)識的狀態(tài)的登記狀態(tài)相關(guān)聯(lián)的(被選擇為集群代表圖像的)片段代表圖像。在圖23中，與片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像通過被框圍繞而被突出顯示。這里，在片段地圖生成單元14中，例如，在每日等等定期廣播的新聞節(jié)目的片段地圖的生成中使用同一HMM。也就是說，在定期廣播的新聞節(jié)目的片段地圖的生成中使用的HMM被稱為新聞HMM。這里，使用用戶查看某一日的新聞節(jié)目的片段地圖并且執(zhí)行收藏操作，由此與作為感興趣的場景的視頻片段 的片段代表圖像相關(guān)聯(lián)的狀態(tài)被設(shè)定為登記狀態(tài)，并且登記狀態(tài)的狀態(tài)ID與使用用戶的用戶ID以及新聞HMM的模型ID相關(guān)聯(lián)，被設(shè)定為收藏信息，并且被設(shè)定為存儲在收藏信息存儲單元13(圖1)中。在這種情況下，在隨后的某日，當(dāng)使用用戶選擇該日廣播的最新新聞節(jié)目作為再現(xiàn)對象內(nèi)容時，在片段地圖生成單元14中利用新聞HMM生成作為再現(xiàn)對象內(nèi)容的最新新聞節(jié)目的片段地圖。然后，在顯示控制單元16中，從存儲在收藏信息存儲單元13中的收藏信息識別新聞HMM的登記狀態(tài)，并且利用新聞HMM生成并與最新新聞節(jié)目的片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被突出顯示。因此，例如，通過查看過去廣播的新聞節(jié)目的片段地圖的用戶執(zhí)行收藏操作并且將與作為感興趣的場景的視頻片段的片段代表圖像相關(guān)聯(lián)的狀態(tài)設(shè)定為登記狀態(tài)，在之后廣播的新聞節(jié)目的片段地圖中，由于與登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被突出顯示，所以可以一眼識別出與作為感興趣的場景的視頻片段(的片段代表圖像)相關(guān)聯(lián)的狀態(tài)(登記狀態(tài))。 此外，在再現(xiàn)控制單元15中，由于只要通過雙次點擊片段代表圖像就再現(xiàn)與片段代表圖像相對應(yīng)的視頻片段，所以用戶能夠容易地通過雙次點擊在之后廣播的新聞節(jié)目的片段地圖中突出顯示的片段代表圖像來觀看感興趣的場景，也就是對應(yīng)于與登記狀態(tài)相關(guān)聯(lián)的片段代表圖像的視頻片段。也就是說，通過用戶查看某日廣播的新聞節(jié)目的片段地圖、執(zhí)行收藏操作并且例如預(yù)先將與示出體育欄目的場景的視頻片段的片段代表圖像相關(guān)聯(lián)的(一個或多個)狀態(tài)設(shè)定為登記狀態(tài)，在之后廣播的新聞節(jié)目的片段地圖(層O模式的片段地圖)中，由于與登記狀態(tài)相關(guān)聯(lián)的片段代表圖像也就是示出體育欄目的場景的視頻片段的片段代表圖像被突出顯示，所以用戶對于之后廣播的新聞節(jié)目能夠容易地僅觀看體育欄目的場景。圖24是示出通過對片段地圖中突出顯示的片段代表圖像進(jìn)行雙次點擊而執(zhí)行的視頻片段的再現(xiàn)的示圖。在圖24中，用戶雙次點擊在層O模式的片段地圖中突出顯示的片段代表圖像，并且根據(jù)該雙次點擊，視頻片段的再現(xiàn)開始，與此同時，再現(xiàn)窗口被打開，并且再現(xiàn)開始的視頻片段的視頻被顯示在再現(xiàn)窗口中。這里，在片段地圖(的生成中使用的作為集群化模型的HMM)的任何一個狀態(tài)變成登記狀態(tài)的情況下，再現(xiàn)控制單元15 (圖1)在片段地圖中突出顯示的片段代表圖像(與任何一個登記狀態(tài)相關(guān)聯(lián)的片段代表圖像)被雙次點擊的情況下，取代只再現(xiàn)與片段代表圖像相對應(yīng)的視頻片段，還可以按時間順序再現(xiàn)片段地圖中與所有登記狀態(tài)相關(guān)聯(lián)的所有視頻片段。在這種情況下，例如，通過使用用戶預(yù)先將與在新聞節(jié)目的體育欄目的場景中示出的視頻片段的片段代表圖像相關(guān)聯(lián)的所有狀態(tài)設(shè)定為登記狀態(tài)，只要通過雙次點擊與新聞節(jié)目的片段地圖的任何一個登記狀態(tài)相關(guān)聯(lián)的片段代表圖像(突出顯示的片段代表圖像)，在再現(xiàn)控制單元15中就按時間順序再現(xiàn)只有示出新聞節(jié)目的體育欄目的場景的視頻片段(對應(yīng)于與登記狀態(tài)相關(guān)聯(lián)的片段代表圖像的視頻片段)，結(jié)果，執(zhí)行按時間順序的僅體育欄目的摘要再現(xiàn)，也就是示出體育欄目的場景的視頻片段的提示再現(xiàn)。這里，由于登記狀態(tài)(的狀態(tài)ID)與用戶ID相關(guān)聯(lián)、被設(shè)定為收藏信息并且被存儲在收藏信息存儲單元13(圖1)中，所以能夠為每個用戶預(yù)先存儲。從而，當(dāng)再現(xiàn)控制單元15在與任何一個登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被雙次點擊的情況下按時間順序再現(xiàn)片段地圖中與所有登記狀態(tài)相關(guān)聯(lián)的所有視頻片段時，每個用戶可以再現(xiàn)該用戶感興趣的場景并且可以為每個用戶實現(xiàn)突出再現(xiàn)(突出再現(xiàn)的個人化)。這里，在片段地圖的任何一個狀態(tài)變成登記狀態(tài)的情況下，當(dāng)片段地圖中突出顯示的片段代表圖像(與任何一個登記狀態(tài)相關(guān)聯(lián)的片段代表圖像)被雙次點擊時，可以根據(jù)用戶的操作設(shè)定是只再現(xiàn)與片段代表圖像相對應(yīng)的視頻片段還是按時間順序再現(xiàn)片段地圖中與所有登記狀態(tài)相關(guān)聯(lián)的所有視頻片段。如上所述，在圖1所示的圖像處理裝置中，由于將視頻的內(nèi)容用作學(xué)習(xí)內(nèi)容，執(zhí)行作為集群化模型的HMM的學(xué)習(xí)，并且將學(xué)習(xí)后的HMM投射到二維平面上，所以生成了用圖表現(xiàn)內(nèi)容的場景結(jié)構(gòu)的模型地圖。同時，利用學(xué)習(xí)后的HMM來集群化再現(xiàn)對象內(nèi)容的每個幀，并且將屬于每個集群的幀劃分成作為視頻片段的一個或多個連續(xù)幀。這里，生成片段地圖，在該片段地圖中，在模型地圖上的HMM的每個狀態(tài)的位置處，布置了代表屬于與狀態(tài)相對應(yīng)的集群的(的幀構(gòu)成的)視頻片段的片段代表圖像。從而，用戶能夠通過查看片段地圖來查看再現(xiàn)對象內(nèi)容。此外，在圖1所示的圖像處理裝置中，當(dāng)布置在片段地圖等等上的片段代表圖像被雙次點擊時，由于與片段代表圖像相對應(yīng)的視頻片段(代表該片段代表圖像的視頻片段)被再現(xiàn)，所以用戶能夠容易地利用片段地圖找到期望場景的片段代表圖像并且迅速地訪問示出該場景的視頻片段(觀看期望場景)。如上所述，根據(jù) 圖1中的圖像處理裝置，可以實現(xiàn)具有可以俯瞰再現(xiàn)對象內(nèi)容并高效地訪問期望場景的特征的新瀏覽方法。此外，在圖1所示的圖像處理裝置中，當(dāng)在再現(xiàn)與被雙次點擊的片段代表圖像相對應(yīng)的視頻片段時正執(zhí)行另一視頻片段的再現(xiàn)時，已經(jīng)在執(zhí)行的該另一視頻片段的再現(xiàn)被維持原樣并且與被雙次點擊的片段代表圖像相對應(yīng)的視頻片段被再現(xiàn)。因此，根據(jù)圖1中的圖像處理裝置，家族等等中的多個人中的每個人能夠同時觀看同一內(nèi)容內(nèi)他們各自感興趣的不同地方，并且還可以提供適合于數(shù)字原生代擅長的所謂“在觀看的同時”或“在查看的同時切換”的內(nèi)容再現(xiàn)設(shè)備。[顯示模式轉(zhuǎn)變和每種顯示模式中執(zhí)行的處理]圖25A和25B是示出顯示模式的轉(zhuǎn)變和在每種顯示模式中執(zhí)行的處理的示圖。當(dāng)從片段地圖生成單元14提供來再現(xiàn)對象內(nèi)容的片段地圖時，在步驟SlOl中，顯示控制單元16將顯示模式設(shè)定到層O模式并且將片段地圖(顯示片段地圖的地圖窗口)顯示在顯示單元17上。此外，在步驟SlOl中的層O模式中，如圖10中所示，只顯示片段地圖，而不顯示磚塊圖像(圖13)。在步驟SlOl的不顯示磚塊圖像的層O模式中，當(dāng)用戶執(zhí)行雙次點擊時，處理轉(zhuǎn)移到步驟S102，并且如果再現(xiàn)窗口被打開，則顯示控制單元16將所有再現(xiàn)窗口顯示在顯示片段地圖的地圖窗口前方。
另外，當(dāng)在步驟SlOl中從變成不顯示磚塊圖像的層O模式起經(jīng)過了預(yù)定時間時，處理轉(zhuǎn)移到步驟S103，并且顯示控制單元16判定作為用戶指示的指示位置的光標(biāo)位置移動到的指示位置與片段地圖上最接近指示位置的狀態(tài)之間的距離(光標(biāo)間隔距離)是否在閾值以內(nèi)。這里，在圖25中，虛線箭頭表示當(dāng)從執(zhí)行(變成)箭頭的起點側(cè)的步驟起經(jīng)過了預(yù)定時間時轉(zhuǎn)移到箭頭的終點側(cè)的步驟。在步驟S103中，在判定光標(biāo)間隔距離不在閾值以內(nèi)的情況下，處理轉(zhuǎn)移到步驟S101。這里，當(dāng)經(jīng)過了預(yù)定時間時，處理從步驟SlOl轉(zhuǎn)移到步驟S103，并且重復(fù)與以下相同的處理。另一方面，在步驟S103中，在判定光標(biāo)間隔距離在閾值以下的情況下，處理進(jìn)行到步驟S104，并且顯示控制單元16生成按時間順序排列與作為片段地圖上最接近指示位置的狀態(tài)的關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的磚塊圖像，并且如圖13中所示，以在片段地圖的關(guān)注狀態(tài)附近疊加的形式執(zhí)行顯示。如上所述，在步驟S104中，在層O模式中，顯示磚塊圖像；然而，以這種方式，當(dāng)從變成在步驟S104中顯示磚塊圖像的層O模式起經(jīng)過了預(yù)定時間時，處理轉(zhuǎn)移到步驟S103，并且顯示控制單元16判定光標(biāo)間隔距離(作為用戶指示的指示位置的光標(biāo)位置移動到的指示位置與片段地圖上最接近指示位置的狀態(tài)之間的距離)是否在閾值以內(nèi)。在步驟S103中，在判定光標(biāo)間隔距離不在閾值以內(nèi)的情況下，處理轉(zhuǎn)移到步驟S101，擦除磚塊圖像并且模式變成不顯示磚塊圖像的層O模式。另外，在步驟S103中，在判定光標(biāo)間隔距離在閾值以下的情況下，處理進(jìn)行到步驟S104，顯示控制單元16生成按時間順序排列與作為片段地圖上最接近指示位置的狀態(tài)的關(guān)注狀態(tài)相關(guān)聯(lián)的片段代 表圖像的磚塊圖像，并且如圖13中所示，以在片段地圖的關(guān)注狀態(tài)附近疊加的形式執(zhí)行顯示。此外，當(dāng)在步驟S104中顯示磚塊圖像的層O模式(圖13)中執(zhí)行雙次點擊時，處理進(jìn)行到步驟S105，并且再現(xiàn)控制單元15執(zhí)行再現(xiàn)視頻片段的視頻片段再現(xiàn)處理。換言之，在步驟S105的視頻片段再現(xiàn)處理中，再現(xiàn)控制單元15再現(xiàn)與在執(zhí)行雙次點擊時最接近用戶的指示位置(雙次點擊的位置)的片段代表圖像相對應(yīng)的視頻片段。此外，在最接近指示位置的片段代表圖像是與片段地圖(的生成中使用的HMM)的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像的情況下，也就是說在與片段地圖的登記狀態(tài)相關(guān)聯(lián)片段代表圖像被雙次點擊的情況下，再現(xiàn)控制單元15如圖24中所述執(zhí)行按時間順序再現(xiàn)對應(yīng)于與片段地圖的所有登記狀態(tài)相關(guān)聯(lián)的所有片段代表圖像的視頻片段的摘要再現(xiàn)。在步驟S104的不顯示磚塊圖像的層O模式(圖13)中，當(dāng)執(zhí)行單次點擊時，處理進(jìn)行到步驟S106，并且顯示控制單元16使顯示模式從層O模式轉(zhuǎn)移到層I模式，并且如圖15中所示，顯示固定了剛才顯示的磚塊圖像的固定磚塊圖像。此外，在步驟S106的層I模式中，如圖15中所示，不執(zhí)行固定磚塊圖像中布置的片段代表圖像的突出顯示。當(dāng)在步驟S106中的沒有突出顯示的層I模式中用戶執(zhí)行雙次點擊時，處理進(jìn)行到步驟S107，并且以與步驟S105相同的方式，再現(xiàn)控制單元15執(zhí)行視頻片段再現(xiàn)處理。也就是說，再現(xiàn)控制單元15再現(xiàn)與被雙次點擊的片段代表圖像相對應(yīng)的視頻片段(在與片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被雙次點擊的情況下，執(zhí)行摘要再現(xiàn)以按時間順序再現(xiàn)對應(yīng)于與片段地圖的所有登記狀態(tài)相關(guān)聯(lián)的所有片段代表圖像的視頻片段)。當(dāng)從變成步驟S106中的沒有突出顯示的層I模式起經(jīng)過了預(yù)定時間時，處理轉(zhuǎn)移到步驟S108，并且顯示控制單元16判定作為用戶指示的指示位置的光標(biāo)位置移動到的指示位置與最接近指示位置的固定磚塊圖像(圖15)中布置的片段代表圖像之間的距離是否在閾值以內(nèi)。在步驟S108中，在判定指示位置與固定磚塊圖像中布置的最接近指示位置的片段代表圖像之間的距離不在閾值以內(nèi)的情況下，處理進(jìn)行到步驟S109，并且顯示控制單元16判定指示位置是否不在固定磚塊圖像上，也就是判定指示位置是否已移動到顯示固定磚塊圖像的區(qū)域之外。在步驟S109中，在判定指示位置在固定磚塊圖像(圖15)上的情況下，處理進(jìn)行到步驟S106。這里，當(dāng)經(jīng)過了預(yù)定時間時，處理從步驟S108轉(zhuǎn)移到步驟S106，并且重復(fù)與以下相同的處理。此外，在步驟S109中，在判定指示位置不在固定磚塊圖像(圖15)上的情況下，處理進(jìn)行到步驟S101，并且顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層O模式。在步驟SlOl中的層O模式中，如圖10中所示，只顯示片段地圖，而不顯示磚塊圖像。這里，就在轉(zhuǎn)移到步驟SlOl的層O模式之前在層I模式中顯示的固定磚塊圖像(圖15)在從層I模式轉(zhuǎn)移到層O模式時被擦除。

同時，在步驟S108中，在判定指示位置與固定磚塊圖像中布置的最接近指示位置的片段代表圖像之間的距離在閾值以內(nèi)的情況下，處理進(jìn)行到步驟S110，并且顯示控制單元16如圖17中所示執(zhí)行作為固定磚塊圖像中布置的最接近指示位置的片段代表圖像的關(guān)注代表圖像的突出顯示。如上所述，在步驟SllO中，在層I模式中，固定磚塊圖像中布置的片段代表圖像之中的最接近指示位置的片段代表圖像作為關(guān)注代表圖像被突出顯示。這里，當(dāng)從這樣變成步驟SllO中的具有突出顯示的層I模式(執(zhí)行突出顯示的層I模式)起經(jīng)過了預(yù)定時間時，處理轉(zhuǎn)移到步驟S108，并且重復(fù)與以下相同的處理。另外，當(dāng)在步驟SllO中的具有突出顯示的層I模式中用戶執(zhí)行雙次點擊時，處理進(jìn)行到步驟S111，并且以與步驟S105相同的方式，再現(xiàn)控制單元15執(zhí)行視頻片段再現(xiàn)處理。也就是說，再現(xiàn)控制單元15再現(xiàn)與被雙次點擊的片段代表圖像相對應(yīng)的視頻片段(在與片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被雙次點擊的情況下，執(zhí)行摘要再現(xiàn)以按時間順序再現(xiàn)對應(yīng)于與片段地圖的所有登記狀態(tài)相關(guān)聯(lián)的所有片段代表圖像的視頻片段)。在步驟SllO的具有突出顯示的層I模式(圖17)中，當(dāng)執(zhí)行單次點擊時，處理進(jìn)行到步驟S112，并且顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層2模式，并且如圖18中所示，顯示時間線圖像，其中在該時間線圖像中，以剛才突出顯示的片段代表圖像為中心，按時間順序布置了多個片段代表圖像。
當(dāng)在步驟S112中的層2模式中用戶執(zhí)行雙次點擊時，處理進(jìn)行到步驟S113，并且以與步驟S105相同的方式，再現(xiàn)控制單元15執(zhí)行視頻片段再現(xiàn)處理。也就是說，再現(xiàn)控制單元15再現(xiàn)與被雙次點擊的片段代表圖像相對應(yīng)的視頻片段(在與片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被雙次點擊的情況下，執(zhí)行摘要再現(xiàn)以按時間順序再現(xiàn)對應(yīng)于與片段地圖的所有登記狀態(tài)相關(guān)聯(lián)的所有片段代表圖像的視頻片段)。當(dāng)從變成步驟S112中的層2模式(圖18)起經(jīng)過了預(yù)定時間時，處理轉(zhuǎn)移到步驟S114，并且顯示控制單元16判定作為用戶指示的指示位置的光標(biāo)位置移動到的指示位置是否位于時間線圖像中設(shè)定的左端側(cè)的過去滾動區(qū)域內(nèi)。在步驟S114中，在判定指示位置位于過去滾動區(qū)域內(nèi)的情況下，處理進(jìn)行到步驟S115，并且顯示控制單元16如圖20中的箭頭所示滾動時間線圖像以顯示時間上更往回那側(cè)的片段代表圖像，并且處理進(jìn)行到步驟S112。另外，在步驟S114中，在判定指示位置不位于過去滾動區(qū)域內(nèi)的情況下，處理轉(zhuǎn)移到步驟S116，并且顯示控制 單元16判定指示位置是否移動了并且指示位置是否位于時間線圖像中設(shè)定的右端側(cè)的未來滾動區(qū)域內(nèi)。在步驟S116中，在判定指示位置位于未來滾動區(qū)域內(nèi)的情況下，處理進(jìn)行到步驟S117，并且顯示控制單元16滾動時間線圖像以顯示時間上更往前那側(cè)的片段代表圖像，并且處理進(jìn)行到步驟S112。另外，在步驟S116中，在判定指示位置不位于未來滾動區(qū)域內(nèi)的情況下，也就是在指示位置不位于過去滾動區(qū)域或未來滾動區(qū)域的任一個中的情況下，處理進(jìn)行到步驟S118，并且顯示控制單元16判定指示位置是否不在時間線圖像(圖18、圖20)上，也就是指示位置是否移動到了顯示時間線圖像的區(qū)域之外。在步驟SI 18中，在判定指示位置在時間線圖像(圖18、圖20)上的情況下，處理進(jìn)行到步驟S112。這里，當(dāng)經(jīng)過了預(yù)定時間時，處理從步驟S114轉(zhuǎn)移到步驟S112。另外，在步驟S118中，在判定指示位置不在時間線圖像上的情況下，處理進(jìn)行到步驟S101，并且顯示控制單元16使顯示模式從層2模式轉(zhuǎn)移到層O模式。在步驟SlOl中的層O模式中，如圖10中所示，只顯示片段地圖，而不顯示磚塊圖像。這里，就在移動到步驟SlOl的層O模式之前在層2模式中顯示的時間線圖像(圖18、圖20)在從層2模式轉(zhuǎn)移到層O模式時被擦除。[對應(yīng)用本技術(shù)的計算機(jī)的描述]接下來，能夠利用硬件執(zhí)行或者利用軟件執(zhí)行上述一系列處理。在利用軟件執(zhí)行這一系列處理的情況下，構(gòu)成軟件的程序被安裝在通用計算機(jī)等等中。這里，圖26示出了安裝有執(zhí)行上述一系列處理的程序的計算機(jī)的實施例的構(gòu)成示例。程序可被預(yù)先記錄在作為內(nèi)置到計算機(jī)中的記錄介質(zhì)的硬盤105或R0M103中?；蛘撸绦蚩杀活A(yù)先存儲(記錄)在可移除記錄介質(zhì)111中。此可移除記錄介質(zhì)111能夠作為所謂的封裝軟件提供。這里，作為可移除記錄介質(zhì)111，例如，有柔性盤、⑶-ROM(致密盤只讀存儲器)、MO(磁光)盤、DVD(數(shù)字多功能盤)、磁盤、半導(dǎo)體存儲器等坐寸O此外，除了從上述可移除記錄介質(zhì)111將程序安裝到計算機(jī)上以外，還可以在通過通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò)下載到計算機(jī)后執(zhí)行到內(nèi)置的硬盤105上的安裝。換言之，例如，程序能夠通過用于數(shù)字衛(wèi)星廣播的人造衛(wèi)星被從下載站點無線地傳送到計算機(jī)，或者能夠通過LAN(局域網(wǎng))或諸如因特網(wǎng)之類的網(wǎng)絡(luò)利用線路傳送到計算機(jī)。計算機(jī)具有內(nèi)置的CPU(中央處理單元)102，并且輸入和輸出接口 110經(jīng)由總線101 連接至Ij CPU102。當(dāng)經(jīng)由輸入和輸出接口 110用戶通過對輸入單元107的操作等等輸入命令時，CPU102據(jù)此執(zhí)行存儲在ROM(只讀存儲器)103中的程序?；蛘?，CPU102將存儲在硬盤105中的程序加載到RAM (隨機(jī)訪問存儲器)104中并執(zhí)行對其的執(zhí)行。這樣，CPU102執(zhí)行根據(jù)上述流程圖的處理，或者根據(jù)上述框圖的構(gòu)成執(zhí)行的處理。這里，例如，CPU102根據(jù)需要通過輸入/輸出接口 110將此處理結(jié)果從輸出單元106輸出，或者從通信單元108發(fā)送處理結(jié)果并且在硬盤105中執(zhí)行記錄等等。此外，輸入單元107由鍵盤、鼠標(biāo)、麥克風(fēng)等等構(gòu)成。另外，輸出單元106由IXD(液晶顯示器)、揚(yáng)聲器等等構(gòu)成。這里，在本說明書中，計算機(jī)根據(jù)程序執(zhí)行的程序可不遵循流程圖中描述的順序按時間順序執(zhí)行。也就是說，計算機(jī)根據(jù)程序執(zhí)行的處理也包括并行或分開執(zhí)行的處理(例如并行處理或按對象的處理)。此外，可利用一個計算機(jī)(處理器)處理程序，或者可由多個計算機(jī)分布處理程序。此外，程序可被發(fā)送到遠(yuǎn)程計算機(jī)并執(zhí)行。這里，本技術(shù)的實施例不限于上述形式，在不脫離本技術(shù)的精神的范圍中可以進(jìn)行各種修改。例如，本技術(shù)可采用云計算構(gòu)成，其中通過將一個功能通過網(wǎng)絡(luò)分配到多個合作裝置來執(zhí)行處理。換言之，在圖1中的圖像處理裝置中，例如，收藏信息存儲單元13和片段地圖生成單元14被設(shè)在服務(wù)器側(cè)，并且其余的內(nèi)容存儲單元11、操作事件處理單元12、再現(xiàn)控制單元15、顯示控制單元16和顯示單元17能夠被設(shè)在客戶端側(cè)。另外，除了由一個裝置執(zhí)行以外，上述流程圖中描述的每個步驟能夠通過分配到多個裝置來執(zhí)行。此外，在一個步驟中包括多個處理的情況下，該一個步驟中包括的多個處理除了由一個裝置執(zhí)行以外還能夠通過分配到多個裝置來執(zhí)行。換言之，在圖1中的圖像處理裝置中，片段地圖生成單元14的一部分處理是在服務(wù)器側(cè)執(zhí)行的，并且其余處理能夠在客戶端側(cè)執(zhí)行。

此外，本技術(shù)能夠采用以下構(gòu)成。[I] 一種圖像處理裝置，包括顯示控制單元，該顯示控制單元在顯示裝置上顯示片段地圖，該片段地圖是其中布置了片段代表圖像的地圖，片段代表圖像是代表通過將內(nèi)容劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及再現(xiàn)控制單元，該再現(xiàn)控制單元根據(jù)對于片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操作來控制與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)，其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，再現(xiàn)控制單元在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對應(yīng)的視頻片段的另一視頻片段。[2]根據(jù)[I]所述的圖像處理裝置，還包括地圖生成單元，該地圖生成單元生成所述片段地圖；集群化單元，該集群化單元將內(nèi)容的每個幀集群化到多個集群的任何一個集群中；片段劃分單元，該片段劃分單元對于所述多個集群分別將屬于集群的幀劃分成作為一個或多個時間上連續(xù)的幀的集合的視頻片段；以及片段代表圖像生成單元，該片段代表圖像生成代表視頻片段的片段代表圖像，其中，所述地圖生成單元對于所述多個集群中的每個集群，將屬于集群的視頻片段的片段代表圖像與該集群相關(guān)聯(lián)，從與該集群相關(guān)聯(lián)的片段代表圖像之中選擇代表該集群的集群代表圖像，并且將被選擇為集群代表圖像的片段代表圖像布置在片段地圖上。[3]根據(jù)[2]所述的圖像處理裝置，其中，所述集群化單元利用具有狀態(tài)和狀態(tài)轉(zhuǎn)變的狀態(tài)轉(zhuǎn)變模型確定觀測到所述內(nèi)容的幀的時間系列中的特征量的最大似然狀態(tài)系列，并且將所述內(nèi)容的每個幀集群化到與在所述最大似然狀態(tài)系列中觀測到該幀的特征量的狀態(tài)相對應(yīng)的集群中。[4]根據(jù)[3]所述的圖像處理裝置，其中，所述地圖生成單元通過生成模型地圖并在該模型地圖上的每個狀態(tài)的位置處布置被選擇為與狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像來生成片段地圖，其中模型地圖是狀態(tài)轉(zhuǎn)變矩陣被投射到二維平面上或三維空間中的地圖。

[5]根據(jù)[4]所述的圖像處理裝置，其中，所述地圖生成單元從與對應(yīng)于狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像之中選擇幀數(shù)目最大的視頻片段的片段代表圖像或再現(xiàn)時刻最早的視頻片段的片段代表圖像，作為所述集群代表圖像。[6]根據(jù)[4]或[5]所述的圖像處理裝置，其中，所述地圖生成單元在所述模型地圖上的每個狀態(tài)的位置處按與該狀態(tài)的重要度相對應(yīng)的大小布置被選擇為與該狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像。[7]根據(jù)[6]所述的圖像處理裝置，其中，所述地圖生成單元確定與對應(yīng)于狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像所對應(yīng)的視頻片段的最大幀數(shù)目作為該狀態(tài)的重要度。[8]根據(jù)[4]至[7]中的任何一項所述的圖像處理裝置，還包括存儲單元，該存儲單元根據(jù)請求狀態(tài)被登記的用戶的收藏操作來存儲該狀態(tài)作為登記狀態(tài)，其中，所述顯示控制單元突出顯示所述片段地圖的被選擇為與該登記狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像。[9]根據(jù)[8]所述的圖像處理裝置，其中，當(dāng)對被選擇為與所述登記狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像執(zhí)行再現(xiàn)操作時，所述再現(xiàn)控制單元按時間順序再現(xiàn)與對應(yīng)于所述存儲單元中存儲的所有登記狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像所對應(yīng)的視頻片段。[10]根據(jù)[4]至[9]中的任何一項所述的圖像處理裝置，其中，所述顯示控制單元設(shè)定最接近用戶指示的指示位置的片段地圖上的狀態(tài)作為要關(guān)注的關(guān)注狀態(tài)并且執(zhí)行在所述顯示裝置上顯示磚塊圖像的顯示控制，其中該磚塊圖像是與對應(yīng)于該關(guān)注狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像的列表的圖像。[11]根據(jù)[10]所述的圖像處理裝置，其中，所述顯示控制單元將所述磚塊圖像的片段代表圖像之中的最接近所述指示位置的片段代表圖像設(shè)定為要關(guān)注的關(guān)注圖像并且突出顯示該關(guān)注圖像。[12]根據(jù)[11]所述的圖像處理裝置，其中，根據(jù)用戶的預(yù)定操作，所述顯示控制單元執(zhí)行在所述顯示裝置上顯示時間線圖像的顯示控制，其中在該時間線圖像中，在與所述關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像之中，所述關(guān)注圖像和在所述關(guān)注圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像被以所述關(guān)注圖像為中心按時間順序布置。[13]根據(jù)[12]所述的圖像處理裝置，其中，所述顯示控制單元根據(jù)用戶的操作滾動所述時間線圖像中布置的片段代表圖像。[14] 一種圖像處理方法，包括在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過將內(nèi)容劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及根據(jù)對于片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操 作來控制與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)，其中，在對視頻片段的再現(xiàn)的控制中，在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對應(yīng)的視頻片段的另一視頻片段。[15] 一種程序，使得計算機(jī)執(zhí)行在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過將內(nèi)容劃分成作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及根據(jù)對于片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操作來控制與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)，其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對應(yīng)的視頻片段的另一視頻片段。本公開包含與2011年10月18日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP2011-228538中公開的主題相關(guān)的主題，特此通過引用將該申請的全部內(nèi)容并入。
權(quán)利要求
1.一種圖像處理裝置，包括 顯示控制單元，該顯示控制單元在顯示裝置上顯示片段地圖，該片段地圖是其中布置了片段代表圖像的地圖，所述片段代表圖像是代表通過將內(nèi)容劃分成視頻片段而獲得的視頻片段的圖像，所述視頻片段是時間上連續(xù)的一個或多個幀的幀集合；以及 再現(xiàn)控制單元，該再現(xiàn)控制單元根據(jù)對片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操作，控制與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)， 其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像的再現(xiàn)操作被執(zhí)行的情況中，所述再現(xiàn)控制單元在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對應(yīng)的視頻片段的另一視頻片段。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括 地圖生成單元，該地圖生成單元生成所述片段地圖； 集群化單元，該集群化單元將所述內(nèi)容的每個幀集群化到多個集群的任何一個集群中； 片段劃分單元，該片段劃分單元分別針對所述多個集群，將屬于集群的幀劃分成作為時間上連續(xù)的一個或多個幀的集合的視頻片段；以及 片段代表圖像生成單元，該片段代表圖像生成單元生成代表視頻片段的片段代表圖像， 其中，所述地圖生成單元對于所述多個集群中的每個集群，將屬于該集群的視頻片段的片段代表圖像與該集群相關(guān)聯(lián)，從與該集群相關(guān)聯(lián)的片段代表圖像之中選擇代表該集群的集群代表圖像，并且 將被選擇為集群代表圖像的片段代表圖像布置在所述片段地圖上。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述集群化單元確定最大似然狀態(tài)系列，其中利用具有狀態(tài)和狀態(tài)轉(zhuǎn)變的狀態(tài)轉(zhuǎn)變模型觀測所述內(nèi)容的幀的時間系列中的特征量，并且 將所述內(nèi)容的每個幀集群化到與在所述最大似然狀態(tài)系列中觀測到該幀的特征量的狀態(tài)相對應(yīng)的集群中。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述地圖生成單元通過生成模型地圖并在該模型地圖上的每個狀態(tài)的位置處布置被選擇為與該狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像，來生成片段地圖，其中該模型地圖是其中狀態(tài)轉(zhuǎn)變模型被投射到二維平面上或三維空間中的地圖。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述地圖生成單元選擇與對應(yīng)于狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像之中的、幀數(shù)目最大的視頻片段的片段代表圖像或再現(xiàn)時刻最早的視頻片段的片段代表圖像，作為所述集群代表圖像。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述地圖生成單元在所述模型地圖上的每個狀態(tài)的位置處按與該狀態(tài)的重要度相對應(yīng)的大小布置被選擇為與該狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述地圖生成單元確定與對應(yīng)于狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像所對應(yīng)的視頻片段的最大幀數(shù)目作為該狀態(tài)的重要度。
8.根據(jù)權(quán)利要求4所述的圖像處理裝置，還包括存儲單元，該存儲單元根據(jù)請求對狀態(tài)進(jìn)行登記的用戶的收藏操作來存儲該狀態(tài)作為登記狀態(tài)， 其中，所述顯示控制單元突出顯示所述片段地圖的、被選擇為與所述登記狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置， 其中，當(dāng)對被選擇為與所述登記狀態(tài)相對應(yīng)的集群的集群代表圖像的片段代表圖像執(zhí)行再現(xiàn)操作時，所述再現(xiàn)控制單元按時間順序再現(xiàn)與對應(yīng)于所述存儲單元中存儲的所有登記狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像所對應(yīng)的視頻片段。
10.根據(jù)權(quán)利要求4所述的圖像處理裝置， 其中，所述顯示控制單元設(shè)定最接近用戶指示的指示位置的片段地圖上的狀態(tài)作為要關(guān)注的關(guān)注狀態(tài)，并且執(zhí)行在所述顯示裝置上顯示磚塊圖像的顯示控制，其中該磚塊圖像是與對應(yīng)于該關(guān)注狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像的列表的圖像。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置， 其中，所述顯示控制單元將所述磚塊圖像的片段代表圖像之中的最接近所述指示位置的片段代表圖像設(shè)定為要關(guān)注的關(guān)注圖像，并且突出顯示該關(guān)注圖像。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置， 其中，根據(jù)用戶的預(yù)定操作，所述顯示控制單元執(zhí)行在所述顯示裝置上顯示時間線圖像的顯示控制，其中在該時間線圖像中，與所述關(guān)注狀態(tài)相關(guān)聯(lián)的所述片段代表圖像之中的、所述關(guān)注圖像和在所述關(guān)注圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像被以所述關(guān)注圖像為中心按時間順序布置。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置， 其中，所述顯示控制單元根據(jù)用戶的操作滾動所述時間線圖像中布置的片段代表圖像。
14.一種圖像處理方法，包括 在顯示裝置上顯示片段地圖，該片段地圖是其中布置了片段代表圖像的地圖，所述片段代表圖像是代表通過將內(nèi)容劃分成視頻片段而獲得的視頻片段的圖像，所述視頻片段是時間上連續(xù)的一個或多個幀的幀集合；以及 根據(jù)對于片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操作，來控制與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)， 其中，在對視頻片段的再現(xiàn)的控制中，在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對應(yīng)的視頻片段的另一視頻片段。
15.—種程序，使得計算機(jī)執(zhí)行 在顯示裝置上顯示片段地圖，該片段地圖是其中布置了片段代表圖像的地圖，所述片段代表圖像是代表通過將內(nèi)容劃分成視頻片段而獲得的視頻片段的圖像，所述視頻片段是時間上連續(xù)的一個或多個幀的幀集合；以及 根據(jù)對片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操作，控制與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)， 其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)作為與被執(zhí)行了再現(xiàn) 操作的片段代表圖像相對應(yīng)的視頻片段的另一視頻片段。
全文摘要
本發(fā)明公開了圖像處理裝置、圖像處理方法和程序。圖像處理裝置包括顯示控制單元，該顯示控制單元在顯示裝置上顯示布置有片段代表圖像的片段地圖，片段代表圖像代表通過將內(nèi)容劃分為作為一個或多個時間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段；以及再現(xiàn)控制單元，該再現(xiàn)控制單元根據(jù)對于片段代表圖像請求再現(xiàn)的用戶的再現(xiàn)操作來控制與該片段代表圖像相對應(yīng)的視頻片段的再現(xiàn)，其中，當(dāng)在內(nèi)容的一視頻片段的再現(xiàn)期間對內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作時，再現(xiàn)控制單元在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時，再現(xiàn)與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對應(yīng)的該另一視頻片段。
文檔編號H04N21/472GK103067780SQ201210392229
公開日2013年4月24日 申請日期2012年10月11日 優(yōu)先權(quán)日2011年10月18日
發(fā)明者鈴木洋貴 申請人:索尼公司