瀏覽摘要圖像的系統(tǒng)及方法
【專利摘要】提供了一種瀏覽摘要圖像的系統(tǒng)及方法。所述方法包括：通過控制圖像處理引擎，追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象；通過控制圖像處理引擎，從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀；通過控制瀏覽引擎，產(chǎn)生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀中提取的至少一個對象段。
【專利說明】瀏覽摘要圖像的系統(tǒng)及方法
[0001]本申請要求于2015年2月10日提交到韓國知識產(chǎn)權(quán)局的第10-2015-0020291號韓國專利申請的優(yōu)先權(quán)，所述韓國專利申請的公開通過引用完整地包含于此。
技術(shù)領(lǐng)域
[0002]與示例性實施例相一致的設(shè)備和方法涉及瀏覽摘要圖像的系統(tǒng)及方法的。
【背景技術(shù)】
[0003]隨著對諸如圖像和視頻服務(wù)的多媒體服務(wù)的需求增長以及便攜式多媒體裝置的廣泛普及，越來越需要可以管理大量多媒體數(shù)據(jù)并且通過快速準(zhǔn)確地尋找并提供消費者期望的內(nèi)容的有效的多媒體搜索和瀏覽系統(tǒng)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明構(gòu)思的示例性實施例提供允許用戶便捷地查看搜索結(jié)果的圖像瀏覽系統(tǒng)及方法。
[0005]本發(fā)明構(gòu)思的各種方面將會部分地在以下描述中闡明，并將會部分地從描述中清楚或者可以通過本示例性實施例的實踐而領(lǐng)會。
[0006]根據(jù)一個或更多個示例性實施例，提供了一種瀏覽摘要圖像的方法。所述方法可包括:通過控制圖像處理引擎，追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象；通過控制圖像處理引擎，從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀；通過控制瀏覽引擎，產(chǎn)生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀中提取的至少一個對象段。
[0007]選擇代表圖像幀的步驟可包括:從所述多個圖像幀中選擇在至少一個對象選擇條件上具有最高分?jǐn)?shù)的圖像幀作為代表圖像幀。
[0008]所述至少一個對象選擇條件可包括以下項中的至少一項:所述至少一個對象的屬性、所述多個圖像幀中的模糊效果、所述至少一個對象與另一對象之間的重疊程度。所述至少一個對象選擇條件中的每個可被給予預(yù)定的分?jǐn)?shù)范圍。
[0009]所述至少一個摘要靜止圖像還可包括:基于所述多個圖像幀中的靜止區(qū)域產(chǎn)生的背景圖像。
[0010]在所述至少一個摘要靜止圖像中的至少一個對象段的尺寸和位置對應(yīng)于在代表圖像幀中示出的至少一個對象的尺寸和位置。
[0011]產(chǎn)生至少一個摘要靜止圖像的步驟包括:根據(jù)所述至少一個對象在所述多個圖像幀中的出現(xiàn)時間的順序以及在一個摘要靜止圖像中設(shè)置的對象的最大數(shù)量產(chǎn)生至少一個摘要靜止圖像。
[0012]所述方法還可包括:響應(yīng)于選擇在所述至少一個摘要靜止圖像中的對象段的選擇信號，提供從所述至少一個對象段中選擇的對象段的運動的預(yù)覽圖像。
[0013]所述方法還可包括:響應(yīng)于在所述至少一個摘要靜止圖像上選擇預(yù)覽圖像的選擇信號，按時間順序再現(xiàn)所選對象段的運動。
[0014]所述方法還可包括:接收搜索條件信號以指示產(chǎn)生至少一個摘要靜止圖像；產(chǎn)生代表圖像幀的元數(shù)據(jù)。元數(shù)據(jù)可包括關(guān)于代表圖像幀的時間信息和關(guān)于代表圖像幀中的至少一個對象的位置信息。
[0015]選擇代表圖像幀的步驟可在接收到搜索條件信號之后被執(zhí)行。
[0016]根據(jù)一個或更多個示例性實施例，提供了一種瀏覽摘要圖像的系統(tǒng)，所述系統(tǒng)可包括:圖像處理引擎，被配置為追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象并從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀；瀏覽引擎，被配置為產(chǎn)生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀提取的至少一個對象段。圖像處理引擎可從所述多個圖像幀中選擇在至少一個對象選擇條件上具有最高分?jǐn)?shù)的圖像幀作為代表圖像幀。
[0017]在所述至少一個摘要靜止圖像中的至少一個對象段的尺寸和位置可對應(yīng)于在代表圖像幀中示出的至少一個對象的尺寸和位置。
[0018]瀏覽引擎可根據(jù)所述至少一個對象在所述多個圖像幀中的出現(xiàn)時間的順序以及在一個摘要靜止圖像中設(shè)置的對象的最大數(shù)量產(chǎn)生至少一個摘要靜止圖像。瀏覽引擎可響應(yīng)于選擇在所述至少一個摘要靜止圖像中的對象段的選擇信號，提供從所述至少一個對象段中選擇的對象段的運動的預(yù)覽圖像。
[0019]瀏覽引擎可以響應(yīng)于在所述至少一個摘要靜止圖像上選擇預(yù)覽圖像的選擇信號，按時間順序再現(xiàn)所選對象段的運動。
[0020]所述系統(tǒng)還可包括:查詢引擎，被配置為接收搜索條件信號以指示產(chǎn)生至少一個摘要靜止圖像。
[0021]圖像處理引擎還可被配置為產(chǎn)生代表圖像幀的元數(shù)據(jù)，并在查詢引擎接收到搜索條件信號之后選擇代表圖像幀。
【附圖說明】
[0022]這些和/或其它方面將通過以下結(jié)合附圖的示例性實施例的描述變得清楚和更容易理解，在附圖中:
[0023]圖1是根據(jù)示例性實施例的圖像瀏覽系統(tǒng)的示意性框圖；
[0024]圖2是根據(jù)示例性實施例的圖1的圖像處理引擎的示意性框圖；
[0025]圖3是根據(jù)示例性實施例的圖像瀏覽方法的示意性流程圖；
[0026]圖4A至圖5C示出根據(jù)示例性實施例的從輸入視頻圖像產(chǎn)生的摘要靜止圖像；
[0027]圖6A至圖6C示出根據(jù)示例性實施例顯示摘要靜止圖像的屏幕；
[0028]圖7是根據(jù)另一示例性實施例的圖像瀏覽方法的示意性流程圖。
【具體實施方式】
[0029]現(xiàn)在將對示例性實施例作詳細(xì)參考，這些示例性實施例被示出在附圖中，其中相同的標(biāo)號始終表示相同的元件。在這點上，本示例性實施例可具有不同的形式并且不應(yīng)解釋為限于這里闡明的描述。因此，以下僅通過參考附圖描述示例性實施例，以解釋發(fā)明構(gòu)思的多個方面。如在這里使用的，術(shù)語“和/或”包括一個或更多個相關(guān)的所列項目的任意組合和所有組合。
[0030]本發(fā)明構(gòu)思可包括各種示例性實施例和修改，并且這些示例性實施例被示出在附圖中，并將在以下被具體描述。然而，應(yīng)該理解，本發(fā)明構(gòu)思不限于示例性實施例并且包括所有落入本發(fā)明構(gòu)思的精神和范圍中的修改、等同物和替代物。在以下描述中，由于公知的功能或配置的具體描述會不必要地模糊本發(fā)明構(gòu)思的主題，所以這些公知的功能或配置的具體描述將會被省略。
[0031]在以下示例性實施例中，盡管諸如“第一”和“第二”的術(shù)語可被用在這里以描述各種元件或組件，但是這些元件或組件不應(yīng)被這些術(shù)語限制。這些術(shù)語只是用來將一個元件或組件與另一元件或組件區(qū)分開。
[0032]這里使用的術(shù)語只為描述示例性實施例的目的，不意圖限制本發(fā)明構(gòu)思。如在這里使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復(fù)數(shù)形式。將會理解的是，當(dāng)在這里使用諸如“包括”、“具有”的術(shù)語時，說明存在陳述的特征、整體、步驟、操作、元件、組件、或它們的組合，但是不排除存在或添加一個或更多個其它特征、整體、步驟、操作、元件、組件、或它們的組合。
[0033]示例性實施例可以參照附圖從功能塊組件和各種處理操作方面被描述。這些功能塊可被通過任意數(shù)量的執(zhí)行特定功能的硬件和/或軟件組件實施。例如，示例性實施例可以使用可在一個或更多個微處理器或其它控制裝置的控制下執(zhí)行各種功能的各種集成電路(IC)組件，如存儲器元件、處理元件、邏輯元件和查找表。類似地，在示例性實施例的元件通過軟件編程或軟件元件實施的情況下，示例性實施例可通過任意編程或腳本語言(諸如C、C++、Java或匯編語言)利用各種算法來實施，所述各種算法通過數(shù)據(jù)結(jié)構(gòu)、進程、例程或其它編程元件的任意組合來實施。功能性方面可通過在一個或更多個處理器中執(zhí)行的算法實施。此外，示例性實施例可使用相關(guān)技術(shù)進行電子環(huán)境設(shè)置、信號處理、和/或數(shù)據(jù)處理。諸如“機制”、“元件”、“單元”、“模塊”和“配置”的術(shù)語可以廣義地使用，且不限于機械配置和物理配置。這些術(shù)語可包括結(jié)合處理器等的軟件例程的含義。
[0034]圖1是根據(jù)示例性實施例的圖像瀏覽系統(tǒng)的示意性框圖。圖2是圖1的圖像處理引擎的示意性框圖。
[0035]參照圖1，圖像瀏覽系統(tǒng)I可執(zhí)行一系列處理以向用戶提供搜索結(jié)果并且使得用戶理解搜索結(jié)果。圖像瀏覽系統(tǒng)I可包括圖像處理引擎10、數(shù)據(jù)庫(DB)20、查詢引擎30、搜索引擎40和瀏覽引擎50。
[0036]圖像處理引擎10可在輸入視頻圖像中執(zhí)行諸如圖像消失檢測、對象運動檢測和對象出現(xiàn)/消失檢測的圖像分析。此外，圖像處理引擎10可執(zhí)行背景檢測、前景和對象檢測、對象計數(shù)、相機干擾檢測、面部檢測等。此外，圖像處理引擎10可計算圖像亮度、顏色、紋理以及輪廓(形狀)信息。
[0037]輸入視頻圖像可以是從作為連接到圖像瀏覽系統(tǒng)I的圖像傳感器的相機(未示出)直接發(fā)送的視頻圖像、存儲在連接到圖像瀏覽系統(tǒng)I的網(wǎng)絡(luò)視頻錄像機(NVR)中或數(shù)字視頻錄像機中的視頻圖像、或者通過網(wǎng)絡(luò)(未示出)在各種頻道上輸入的視頻圖像。
[0038]圖像處理引擎10可包括對象追蹤器101和代表圖像選擇器103。
[0039]對象追蹤器101可從組成輸入視頻圖像的多個圖像幀確定作為感興趣的對象的運動區(qū)域并且追蹤對象的運動軌跡。對象追蹤器101可通過收集關(guān)于在連續(xù)的圖像幀之間的對象改變的信息獲取關(guān)于視頻圖像中的對象的追蹤信息。
[0040]代表圖像選擇器103可基于預(yù)定的選擇條件在跟隨或表示對象的追蹤的運動軌跡的圖像幀中選擇代表圖像幀。選擇條件可由用戶進行不同設(shè)置。選擇條件可包括對象的外部形狀和對象與另一對象的位置關(guān)系(如對象間的重疊程度)。例如，代表圖像選擇器103可確定對象是人還是車輛。在這種情況下，當(dāng)對象是人時，作為示例，代表圖像選擇器103可首先選擇包括面部的圖像幀；當(dāng)對象是車輛時，作為示例，代表圖像選擇器103可首先選擇包括牌照的圖像幀。代表圖像選擇器103可首先選擇具有較大對象尺寸的圖像幀。代表圖像選擇器103可首先選擇具有最小模糊效果的圖像幀。代表圖像選擇器103可首先選擇與另一對象沒有或者具有最小遮擋的圖像幀。代表圖像選擇器103可首先選擇由用戶指定的事件被檢測到的圖像幀。所述事件可包括特定運動、特定語音等。由于對象選擇條件是考慮其是否能夠增加識別對象的機率而確定的，所以代表圖像幀的選擇可允許用戶容易地識別對象。可以設(shè)置一個或更多個選擇條件。代表圖像選擇器103可為一個或更多個選擇條件中的每個選擇條件設(shè)置分?jǐn)?shù)并且選擇具有最高最終分?jǐn)?shù)的圖像幀作為每個對象的代表圖像幀。選擇條件的分?jǐn)?shù)可根據(jù)由用戶考慮的優(yōu)先順序被設(shè)置為相同或不同。例如，對象尺寸、模糊效果和重疊程度可被設(shè)置為選擇條件，并且可為每個選擇條件設(shè)置分?jǐn)?shù)。在這里，每個選擇條件的分?jǐn)?shù)可被設(shè)置超過根據(jù)選擇條件而不同的預(yù)定的分?jǐn)?shù)范圍。根據(jù)滿足圖像幀中的一定的選擇條件的程度，該選擇條件的分?jǐn)?shù)被設(shè)置給圖像幀。每個對象的圖像幀上的選擇條件的分?jǐn)?shù)可被相加，并且具有最高總分?jǐn)?shù)的圖像幀可被選擇為代表圖像幀。
[0041]代表圖像選擇器103可從針對每個對象選擇的代表圖像幀中提取對象并產(chǎn)生對象段。對象段可以是圍繞、包圍或包含對象的預(yù)定尺寸的塊，或者是從代表圖像幀中提取的對象本身。代表圖像選擇器103可產(chǎn)生包括關(guān)于代表圖像幀的時間信息(時間戳)、關(guān)于代表圖像幀中的對象的位置信息等的元數(shù)據(jù)。
[0042]當(dāng)輸入視頻圖像時，代表圖像選擇器103可基于考慮對象追蹤結(jié)果的選擇條件選擇每個對象的代表圖像幀，并產(chǎn)生和存儲代表圖像幀的元數(shù)據(jù)?？蛇x擇地，當(dāng)輸入視頻圖像并且用戶或圖像瀏覽系統(tǒng)I請求摘要靜止圖像時，代表圖像選擇器103可基于選擇條件和輸入視頻圖像中的對象之間的位置關(guān)系選擇每個對象的代表圖像幀，并產(chǎn)生和存儲相關(guān)的元數(shù)據(jù)。
[0043]DB 20存儲輸入視頻圖像、視頻圖像分析結(jié)果等。視頻圖像分析結(jié)果可以以基于文本的元數(shù)據(jù)或基于圖像的元數(shù)據(jù)的形式存儲。圖像處理引擎10可創(chuàng)建和組織用于簡單搜索的元數(shù)據(jù)并將結(jié)果存儲在DB 20中。
[0044]DB 20可包括圖像DB 201和元數(shù)據(jù)DB 203。輸入視頻圖像和每個對象的視頻圖像(即，一系列跟隨或表示對象的運動軌跡的圖像幀)可被存儲在圖像DB 201中。關(guān)于每個對象的代表圖像幀的時間信息和關(guān)于代表圖像幀中的對象的位置信息的元數(shù)據(jù)可被存儲在元數(shù)據(jù)DB 203中。此外，關(guān)于每個對象的視頻圖像時間信息(時間戳)可被存儲在元數(shù)據(jù)DB 203中。此外，從代表圖像幀提取的對象段可以以基于圖像的元數(shù)據(jù)的形式被存儲在元數(shù)據(jù)DB 203中。
[0045]此外，圖像處理引擎10可在多個圖像幀中確定作為背景的靜止區(qū)域并產(chǎn)生背景圖像。背景圖像產(chǎn)生方法不限于特定的方法并且背景圖像可以由各種已知的方法產(chǎn)生。
[0046]此外，圖像處理引擎10可執(zhí)行圖像分析，并且在圖像分析結(jié)果滿足預(yù)定事件產(chǎn)生條件時產(chǎn)生事件。在這里，事件可以包括在系統(tǒng)中設(shè)置的系統(tǒng)事件，諸如網(wǎng)絡(luò)錯誤的產(chǎn)生或新相機的設(shè)置。此外，事件可以包括由用戶設(shè)置的用戶事件，諸如對象的出現(xiàn)、由用戶指定的圖像的產(chǎn)生(例如，無法識別的面部圖像的出現(xiàn))、屏幕顏色的改變、在預(yù)定區(qū)域中的運動的發(fā)生、異常聲源的產(chǎn)生(例如，汽車輪胎摩擦(打滑)聲、玻璃碎裂聲、警報聲、撞擊聲等)、由用戶指定的聲源的產(chǎn)生(例如，呼喊、尖叫、哭泣等)或者高于臨界水平的語音的產(chǎn)生。
[0047]查詢引擎30通過輸入裝置60接收一個或更多個搜索條件的輸入，從所述條件分析用戶的需求，并以預(yù)定的形式重建所述條件。例如，用戶可通過輸入裝置60輸入所述條件，諸如時間段、對象分類、顏色、監(jiān)測區(qū)域中的感興趣區(qū)域(ROI)、監(jiān)測區(qū)域中的特定方向的特定線路。例如，時間段可被設(shè)為日期/時間。對象分類可被設(shè)為對象類型(例如，人物、車輛或動物)、特定對象(例如，無名氏、白色車輛或貓)等。
[0048]檢索引擎40可接收重建的搜索條件并根據(jù)搜索條件訪問DB 20以查找必要信息。搜索引擎40可提取與搜索條件相應(yīng)的一個或更多個圖像幀和元數(shù)據(jù)。
[0049]瀏覽引擎50可從搜索引擎40(或圖像處理引擎10)接收背景圖像和每個對象的代表圖像幀的對象段，并將對象段合成到背景圖像中以產(chǎn)生摘要靜止圖像。背景圖像可以是特定的靜止圖像或從輸入視頻圖像產(chǎn)生的背景圖像。
[0050]瀏覽引擎50可執(zhí)行用于清楚地辨別背景和前景(對象)的可視化。作為可視化的示例，對象可由特定顏色或由特定圖形(如四邊形或圓形)來表示。一個或更多個摘要靜止圖像可根據(jù)視頻圖像中的對象的數(shù)量和對象之間的重疊而產(chǎn)生。兩個或更多個摘要靜止圖像可維持與對象的出現(xiàn)時間相應(yīng)的時間的順序。摘要靜止圖像可包括表示對象信息的文本。對象信息可包括關(guān)于對象分類(例如，人物、車輛、動物等)、出現(xiàn)和/或維持時間、對象段顏色的信息。
[0051]瀏覽引擎50可在顯示器70上實時渲染摘要靜止圖像。瀏覽引擎50可顯示示出滿足搜索條件的多個對象的一個或更多個摘要靜止圖像。瀏覽引擎50可以以基于對象的出現(xiàn)時間的時間順序布置多個摘要靜止圖像。例如，時間上在前的摘要靜止圖像可被布置在時間上在后的摘要靜止圖像之前或之后。當(dāng)確定一個摘要靜止圖像被多個對象完全充滿時，瀏覽引擎50產(chǎn)生下一個摘要靜止圖像。瀏覽引擎50重復(fù)摘要靜止圖像的產(chǎn)生，直至在請求時間期間內(nèi)的所有對象被概括為一個或更多個靜止圖像。
[0052]瀏覽引擎50可通過使用關(guān)于對象的出現(xiàn)時間和位置的信息在一個或更多個相同的背景圖像中渲染多個對象的多個對象段。因此，基于不同對象之間的相互作用的摘要靜止圖像可被提供。
[0053]當(dāng)選擇摘要靜止圖像中的對象時，瀏覽引擎50可提供所選對象的視頻圖像作為預(yù)覽圖像。預(yù)覽圖像可以以對話氣球提示的形式被提供在所選對象的周圍。當(dāng)選擇預(yù)覽圖像(例如，鼠標(biāo)移過并點擊預(yù)覽圖像)時，瀏覽引擎50可以再現(xiàn)對象的視頻圖像。因此，用戶能快速搜索感興趣的對象并能快速確定在所選時間期間發(fā)生了什么事件。
[0054]用戶終端80可以是由安全參與者或者管理圖像瀏覽系統(tǒng)I的用戶使用的計算機或移動終端。用戶可通過用戶終端80控制圖像瀏覽系統(tǒng)I。用戶終端80包括輸入裝置60，輸入裝置60是使用戶能夠?qū)⒉樵?搜索條件)輸入到圖像瀏覽系統(tǒng)I中的用戶接口。
[0055]輸入裝置60被無線連接或有線連接到圖像瀏覽系統(tǒng)1，以產(chǎn)生允許用戶控制圖像瀏覽系統(tǒng)I的操作的輸入數(shù)據(jù)。輸入裝置60可包括鍵盤、圓頂開關(guān)、觸摸板(如電容覆蓋型、電阻覆蓋型、紅外光束型、表面聲波型、積分應(yīng)變型、壓電型或非接觸式接近傳感器型)、鼠標(biāo)、遙控器、滾輪和滾輪開關(guān)。用戶終端80可通過使用輸入裝置60修正、添加或刪除搜索條件來設(shè)置結(jié)果圖像的顯示條件。用戶終端80可通過使用輸入裝置60調(diào)整顯示的結(jié)果圖像的布置、合并和執(zhí)行。
[0056]顯示器70為用戶提供從瀏覽引擎50輸出的結(jié)果圖像，因此使得用戶能夠監(jiān)測顯示的圖像。顯示器70可為用戶提供視覺信息和/或聽覺信息。顯示器70可包括液晶顯示器(IXD)面板、有機發(fā)光顯示器(OLED)面板或電泳顯示器(EPD)面板。顯示器70可以以能夠接收根據(jù)用戶的觸摸的輸入的觸摸屏的形式被提供，從而用作輸入接口。
[0057]在閉路電視(CCTV)圖像安全系統(tǒng)中，由相機捕獲的圖像通過傳輸網(wǎng)絡(luò)被發(fā)送/接收，以使人們可以通過使用監(jiān)視器直接監(jiān)測安全環(huán)境，或者圖像可被存儲在DVR、NVR或視頻管理系統(tǒng)(VMS)中，以使人們后續(xù)可以搜索存儲的圖像。然而，在CCTV圖像安全系統(tǒng)中，由于CCTV相機的數(shù)量快速增長，由人進行的分析和直接監(jiān)測受到限制，并且由于CCTV相機的數(shù)量快速增長，搜索存儲的圖像所花費的時間也成指數(shù)增長。因此，視頻濃縮/摘要技術(shù)已得到發(fā)展。視頻摘要技術(shù)將長期記錄的圖像概括以提供壓縮圖像，因此幫助用戶有效地搜索記錄的圖像。
[0058]視頻圖像摘要方案收集關(guān)于移動對象的信息以提供新的摘要圖像。因此，為用于后來的搜索，結(jié)果屏幕上產(chǎn)生多個對象同時出現(xiàn)和移動的場景，并且用戶需要確定期望的對象是否存在于結(jié)果屏幕上的圖像中。在這種情況下，當(dāng)圖像摘要長度太短時，屏幕復(fù)雜度增加，并且監(jiān)測目標(biāo)對象因此可能會被錯失；當(dāng)圖像摘要長度太長時，搜索效率比再現(xiàn)一般的監(jiān)測圖像的情況下的搜索效率更低。此外，由于需要相對較長的時間來將監(jiān)測圖像概括到結(jié)果圖像中，所以在后續(xù)需要快速搜索時搜索效率可能被降低。
[0059]根據(jù)示例性實施例，移動對象的視頻圖像被作為靜止圖像概括和提供給用戶，因此幫助用戶尋找監(jiān)測目標(biāo)對象而不會錯失。根據(jù)示例性實施例，靜止圖像可通過布置對象來提供，以使對象之間的重疊最小化并且對象之間的沒有路徑重疊的區(qū)域最大化。即，當(dāng)η個對象存在于原始視頻圖像中時，表示η個對象中的每個對象的主要場景(圖像幀)(即每個對象的代表圖像幀)被選擇用來概括視頻圖像，以使所有的η個對象可以被表示在單個靜止圖像中。如果包括在一個結(jié)果摘要圖像中的對象重疊過多，則可提供多個靜止圖像。靜止圖像的順序可被設(shè)置為時間順序，以使用戶搜索感興趣的對象時不會困惑。
[0060]圖3是根據(jù)示例性實施例的圖像瀏覽方法的示意性流程圖。
[0061]圖像瀏覽系統(tǒng)可從輸入視頻圖像的多個圖像幀檢測對象并追蹤對象的運動(S31)。圖像瀏覽系統(tǒng)可通過識別、運動檢測和追蹤技術(shù)從所有圖像幀檢測一個或更多個對象，并通過持續(xù)追蹤提取和恢復(fù)對象的運動軌跡。
[0062]圖像瀏覽系統(tǒng)可選擇每個對象的代表圖像幀(S32)。圖像瀏覽系統(tǒng)可設(shè)置包括面部的人物圖像、包括牌照的車輛圖像、具有大對象尺寸的圖像、具有小模糊效果的圖像、不具有與另一對象的遮擋或具有與另一對象的很少遮擋的圖像、或者發(fā)生事件的圖像作為代表圖像幀的選擇條件。選擇條件對于一些對象可以是相同的，或者可以根據(jù)對象而不同。一個或更多個選擇條件可被設(shè)置。圖像瀏覽系統(tǒng)可設(shè)置一個或更多個選擇條件中的每個選擇條件的分?jǐn)?shù)并選擇具有最高最終分?jǐn)?shù)的圖像幀作為每個對象的代表圖像幀。選擇條件的分?jǐn)?shù)可以根據(jù)由用戶考慮的優(yōu)先順序設(shè)置為相同或不同。
[0063]圖像瀏覽系統(tǒng)可以從每個對象的代表圖像幀產(chǎn)生元數(shù)據(jù)并存儲元數(shù)據(jù)(S33)。圖像瀏覽系統(tǒng)可提供每個對象的代表圖像幀的數(shù)據(jù)庫并以基于文本的元數(shù)據(jù)的形式提供關(guān)于代表圖像幀中的對象的時間信息和位置信息。圖像瀏覽系統(tǒng)可以以基于文本的元數(shù)據(jù)的形式提供關(guān)于每個對象出現(xiàn)在其中的視頻圖像的時間信息的數(shù)據(jù)庫，以便提供跟隨或表示每個對象的完整運動軌跡的視頻圖像。圖像瀏覽系統(tǒng)可以以基于圖像的元數(shù)據(jù)的形式提供從代表圖像幀提取的對象段的數(shù)據(jù)庫。元數(shù)據(jù)可針對每個對象進行匹配并存儲。
[0064]當(dāng)從用戶終端接收到摘要靜止圖像請求時(S34)，圖像瀏覽系統(tǒng)渲染并顯示摘要靜止圖像(S35)。圖像瀏覽系統(tǒng)從用戶終端接收搜索條件，并提取與搜索條件響應(yīng)的信息(元數(shù)據(jù)和圖像幀)。圖像瀏覽系統(tǒng)可通過將與搜索條件相應(yīng)的每個對象的對象段合成到背景圖像來產(chǎn)生至少一個摘要靜止圖像。每個對象的對象段可通過特定顏色或通過特定圖形被可視化。
[0065]當(dāng)接收到對象視頻圖像再現(xiàn)請求時，即，當(dāng)從摘要靜止圖像選擇對象時(S36)，圖像瀏覽系統(tǒng)再現(xiàn)所選對象的視頻圖像(S37)。當(dāng)在摘要靜止圖像中的對象上感測到輸入單元(例如，鼠標(biāo)光標(biāo)、數(shù)字筆、手指等)的位置時，圖像瀏覽系統(tǒng)可以以預(yù)覽圖像的形式提供所選對象的視頻圖像。當(dāng)接收到預(yù)覽圖像的選擇信號時(即，當(dāng)預(yù)覽圖像被點擊時)，圖像瀏覽系統(tǒng)可再現(xiàn)所選對象出現(xiàn)的時間段的視頻圖像。對象視頻圖像可提供其它對象被移除且只有所選對象出現(xiàn)的場景。
[0066]根據(jù)本示例性實施例，當(dāng)輸入視頻圖像時，對象被追蹤并且代表圖像幀基于每個對象的選擇條件被選擇以產(chǎn)生和存儲元數(shù)據(jù)。在這種情況下，靜止摘要圖像可被實時產(chǎn)生。
[0067]圖4A至圖5C示出根據(jù)示例性實施例的從輸入視頻圖像產(chǎn)生的摘要靜止圖像。圖4A至圖4C示出產(chǎn)生一個摘要靜止圖像的示例，圖5A至圖5C示出產(chǎn)生兩個摘要靜止圖像的示例。
[0068]圖4A示出包括多個圖像幀的輸入視頻圖像的示例。在輸入視頻圖像中，假設(shè)四個對象同時或不同時出現(xiàn)并沿不同的路線移動。關(guān)于對象視頻圖像(即每個對象的圖像幀)的時間信息可如上述描述被存儲為元數(shù)據(jù)。不同的對象可同時出現(xiàn)在一個圖像幀中。因此，一個圖像幀可與不同對象匹配。在圖4A中，為便于描述，省略背景和其它對象，而只示出感興趣的對象。
[0069]在圖4A的每個對象的圖像幀中，代表圖像幀RF I至RF4被選擇?？苫卺槍γ總€對象設(shè)置的選擇條件來針對每個對象選擇代表圖像幀RF I至RF4?？梢詮拿總€對象的代表圖像幀RFl至RF4提取對象段。每個對象的代表圖像幀和諸如關(guān)于對象段的位置信息和時間信息的元數(shù)據(jù)可被存儲。
[0070]圖4B示出圖4A的輸入視頻圖像中的四個對象的運動軌跡(箭頭)和出現(xiàn)順序。在圖4A的輸入視頻圖像中，假設(shè)第一對象①至第四對象④以數(shù)字順序出現(xiàn)在圖4B中指示的各自位置，并沿著由實線箭頭指示的各自的運動軌跡移動。
[0071]圖4C示出四個對象①至④被表示在一個摘要靜止圖像中的示例。從各自的代表圖像幀RFl至RF4中提取的所有四個對象段被表示在一個靜止圖像中?？梢钥闯?，代表圖像幀被選擇為使得對象相互不重疊。各個對象的對象段可由不同顏色或由不同圖形來表示。
[0072]圖5A示出出現(xiàn)九個對象的輸入視頻圖像。這九個對象的出現(xiàn)順序和運動軌跡(箭頭)不同。當(dāng)過多對象被表示在一個摘要靜止圖像中時，對象密度值可由用戶的指定被改變，并且摘要靜止圖像的數(shù)量會因此增加或減少。
[0073]圖5B和圖5C示出以分開的方式在兩個摘要靜止圖像中表示九個對象的示例。圖5B示出時間上在前的四個對象被表示的第一摘要靜止圖像。圖5C示出時間上在后的五個對象被表示的第二摘要靜止圖像。
[0074]圖6A至圖6C示出根據(jù)示例性實施例顯示摘要靜止圖像的屏幕。
[0075]在如圖6A所示的摘要靜止圖像被顯示在屏幕上的狀態(tài)下，當(dāng)如圖6B所示，諸如鼠標(biāo)光標(biāo)的指針位于對象上時，可在所選的對象周圍以對話氣球提示的形式提供圖層，并且在該圖層中可顯示對象的預(yù)覽圖像。當(dāng)點擊預(yù)覽圖像時，如圖6C所示，所選對象沿著運動軌跡移動的對象視頻圖像可在整個屏幕上被重疊和再現(xiàn)。當(dāng)再現(xiàn)完成時，在圖6A中示出的摘要靜止圖像可再次被顯示。
[0076]圖7是根據(jù)另一示例性實施例的圖像瀏覽方法的示意性流程圖。
[0077]圖像瀏覽系統(tǒng)可從輸入視頻圖像的多個圖像幀中檢測對象并追蹤對象的運動(S51)。圖像瀏覽系統(tǒng)可通過識別、運動檢測和追蹤技術(shù)從所有圖像幀中檢測一個或更多個對象，并且通過持續(xù)追蹤提取和恢復(fù)對象的運動軌跡。
[0078]當(dāng)從用戶終端接收到摘要靜止圖像請求時(S52)，圖像瀏覽系統(tǒng)可選擇每個對象的代表圖像幀(S53)。當(dāng)從用戶終端接收到搜索條件的輸入時，圖像瀏覽系統(tǒng)可基于搜索條件選擇輸入視頻圖像中的每個對象的代表圖像幀。如上所述，代表圖像幀的選擇條件可由用戶設(shè)置為對于一些對象相同或根據(jù)對象而不同。一個或更多個選擇條件可被設(shè)置。圖像瀏覽系統(tǒng)可以設(shè)置一個或更多個選擇條件中的每個選擇條件的分?jǐn)?shù)，并選擇具有最高最終分?jǐn)?shù)的圖像幀作為每個對象的代表圖像幀。選擇條件的分?jǐn)?shù)可根據(jù)由用戶考慮的優(yōu)先順序被設(shè)為相同或不同。
[0079]圖像瀏覽系統(tǒng)可從每個對象的代表圖像幀產(chǎn)生元數(shù)據(jù)并存儲元數(shù)據(jù)(S54)。圖像瀏覽系統(tǒng)可提供每個對象的代表圖像幀的數(shù)據(jù)庫，并且以基于文本的元數(shù)據(jù)的形式提供關(guān)于代表圖像幀中的對象的時間信息和位置信息。圖像瀏覽系統(tǒng)可將關(guān)于每個對象的時間信息存儲為元數(shù)據(jù)，以便提供跟隨每個對象的整個運動軌跡的視頻圖像。圖像瀏覽系統(tǒng)可以以基于圖像的元數(shù)據(jù)的形式提供從代表圖像幀提取的對象段的數(shù)據(jù)庫。元數(shù)據(jù)可針對每個對象進行匹配和存儲。
[0080]圖像瀏覽系統(tǒng)渲染并顯示與搜索條件相應(yīng)的摘要靜止圖像(S55)。圖像瀏覽系統(tǒng)可通過合成從與搜索條件相應(yīng)的每個對象的代表圖像幀提取的對象段來產(chǎn)生至少一個摘要靜止圖像。每個對象的對象段可通過特定顏色或通過特定圖形被可視化。
[0081]當(dāng)接收到對象視頻圖像再現(xiàn)請求時(即，當(dāng)從摘要靜止圖像中選擇對象時)(S56)，圖像瀏覽系統(tǒng)再現(xiàn)所選對象的視頻圖像(S57)。當(dāng)在摘要靜止圖像中的對象上感測到輸入單元(例如，鼠標(biāo)光標(biāo)、數(shù)字筆、手指等)的位置時，圖像瀏覽系統(tǒng)可以以預(yù)覽圖像的形式提供所選對象的視頻圖像。當(dāng)接收到預(yù)覽圖像的選擇信號時(即當(dāng)點擊預(yù)覽圖像時)，圖像瀏覽系統(tǒng)可再現(xiàn)示出出現(xiàn)所選對象的整個運動軌跡的視頻圖像。對象視頻圖像可提供其它對象被移除且只有所選對象出現(xiàn)或移動的場景。
[0082]根據(jù)在圖3中示出的示例性實施例，當(dāng)視頻圖像輸入時預(yù)先產(chǎn)生和存儲元數(shù)據(jù)。不同于圖3中示出的示例性實施例，在圖7中示出的本示例性實施例中，當(dāng)摘要靜止圖像被請求時，元數(shù)據(jù)被產(chǎn)生和存儲。在這種情況下，不是只基于對象的外部形狀簡單地選擇代表圖像幀，而是通過考慮與其它對象的位置關(guān)系，最小化對象之間的重疊以使更多的對象可位于一個摘要靜止圖像中。因此，可以減少摘要靜止圖像的數(shù)量。
[0083]圖像瀏覽系統(tǒng)可根據(jù)用戶的設(shè)置選擇性地執(zhí)行圖3的示例性實施例和圖7的示例性實施例。
[0084]根據(jù)示例性實施例，摘要圖像不是簡縮的視頻圖像而是基于對象的圖像。因此，錯失對象的可能性可以減少，并且可以一眼識別多個對象，從而可提供用戶的便利性。具體地講，由于對象的代表圖像基于代表圖像選擇分?jǐn)?shù)被選擇，所以對象的存在/不存在可被快速地確定，而不花費不必要的再現(xiàn)時間。此外，示例性實施例可提供低存儲消耗和高處理速度。根據(jù)示例性實施例，盡管所有圖像幀可作為數(shù)據(jù)庫被獲得和提供，但是由于只有對象的代表圖像可被存儲，所以當(dāng)接收到摘要請求時，摘要圖像可被立即提供給用戶。此外，示例性實施例可為用戶搜索提供便利性。由于通過在感興趣的對象上放置諸如鼠標(biāo)的指針來再現(xiàn)感興趣的對象的從出現(xiàn)到消失的圖像，所以關(guān)于對象的信息可被快速獲得。
[0085]如上所述，根據(jù)以上示例性實施例，通過產(chǎn)生基于對象的摘要靜止圖像，可以一眼識別多個對象并且可以提供用戶的便利性。
[0086]根據(jù)示例性實施例的摘要圖像瀏覽方法還可以被實施為計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機可讀記錄介質(zhì)可以是能存儲此后可被計算機系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲裝置。計算機可讀記錄介質(zhì)的示例可包括ROM、RAM、⑶-ROM、磁帶、軟盤和光學(xué)數(shù)據(jù)存儲器。計算機可讀記錄介質(zhì)還可分布于連接網(wǎng)絡(luò)的計算機系統(tǒng)上，以使計算機可讀代碼可以以分布方式被存儲和執(zhí)行。此外，用于實現(xiàn)本發(fā)明構(gòu)思的功能程序、代碼和代碼段可以由本發(fā)明構(gòu)思所屬領(lǐng)域的編程技術(shù)人員容易地解釋。
[0087]應(yīng)該理解，這里描述的示例性實施例應(yīng)被看作僅有描述意義，而不是為了限制的目的。每個示例性實施例中的特征或方面的描述通常應(yīng)被看作可用于在其它示例性實施例中的其它類似的特征或方面。
[0088]雖然一個或更多個示例性實施例已經(jīng)參考附圖被描述，但是本領(lǐng)域普通技術(shù)人員應(yīng)該理解，在不脫離由權(quán)利要求限定的本發(fā)明構(gòu)思的精神和范圍的情況下，可在形式和細(xì)節(jié)上進行各種改變。
【主權(quán)項】
1.一種瀏覽摘要靜止圖像的方法，所述方法包括: 通過控制圖像處理引擎，追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象； 通過控制圖像處理引擎，從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀； 通過控制瀏覽引擎，產(chǎn)生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀中提取的至少一個對象段。2.如權(quán)利要求1所述的方法，其中，選擇代表圖像幀的步驟包括:從所述多個圖像幀中選擇在至少一個對象的選擇條件上具有最高分?jǐn)?shù)的圖像幀作為代表圖像幀。3.如權(quán)利要求2所述的方法，其中，所述至少一個對象選擇條件包括以下項中的至少一項:所述至少一個對象的屬性、所述多個圖像幀中的模糊效果、所述至少一個對象與另一對象之間的重疊程度， 其中，所述至少一個對象選擇條件中的每個被給予預(yù)定的分?jǐn)?shù)范圍。4.如權(quán)利要求1所述的方法，其中，所述至少一個摘要靜止圖像還包括:基于所述多個圖像幀中的靜止區(qū)域產(chǎn)生的背景圖像。5.如權(quán)利要求1所述的方法，其中，在所述至少一個摘要靜止圖像中的至少一個對象段的尺寸和位置對應(yīng)于在代表圖像幀中示出的至少一個對象的尺寸和位置。6.如權(quán)利要求1所述的方法，其中，產(chǎn)生至少一個摘要靜止圖像的步驟包括:根據(jù)在所述至少一個對象所述多個圖像幀中的出現(xiàn)時間的順序和在一個摘要靜止圖像中設(shè)置的對象的最大數(shù)量產(chǎn)生至少一個摘要靜止圖像。7.如權(quán)利要求1所述的方法，還包括:響應(yīng)于選擇在所述至少一個摘要靜止圖像中的對象段的選擇信號，提供從所述至少一個對象段中選擇的對象段的運動的預(yù)覽圖像。8.如權(quán)利要求7所述的方法，還包括:響應(yīng)于在所述至少一個摘要靜止圖像上選擇預(yù)覽圖像的選擇信號，按時間順序再現(xiàn)所選對象段的運動。9.如權(quán)利要求1所述的方法，還包括: 接收搜索條件信號以指示產(chǎn)生至少一個摘要靜止圖像； 產(chǎn)生代表圖像幀的元數(shù)據(jù)； 其中，元數(shù)據(jù)包括:關(guān)于代表圖像幀的時間信息和關(guān)于在代表圖像幀中的至少一個對象的位置信息。10.如權(quán)利要求9所述的方法，其中，選擇代表圖像幀的步驟在接收到搜索條件信號之后被執(zhí)行。11.一種瀏覽摘要圖像的系統(tǒng)，所述系統(tǒng)包括: 圖像處理引擎，被配置為追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象并從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀； 瀏覽引擎，被配置為產(chǎn)生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀提取的至少一個對象段。12.如權(quán)利要求11所述的系統(tǒng)，其中，圖像處理引擎被配置為從所述多個圖像幀中選擇在至少一個對象選擇條件上具有最高分?jǐn)?shù)的圖像幀作為代表圖像幀。13.如權(quán)利要求12所述的系統(tǒng)，其中，所述至少一個對象選擇條件包括以下項中的至少一項:所述至少一個對象的屬性、在所述多個圖像幀中的模糊效果、所述至少一個對象與另一對象之間的重疊程度， 其中，所述至少一個對象選擇條件中的每個被給予預(yù)定的分?jǐn)?shù)范圍。14.如權(quán)利要求11所述的系統(tǒng)，其中，所述至少一個摘要靜止圖像還包括:基于在所述多個圖像幀中的靜止區(qū)域產(chǎn)生的背景圖像。15.如權(quán)利要求11所述的系統(tǒng)，其中，在所述至少一個摘要靜止圖像中的至少一個對象段的尺寸和位置對應(yīng)于在代表圖像幀中示出的至少一個對象的尺寸和位置。16.如權(quán)利要求11所述的系統(tǒng)，其中，瀏覽引擎被配置為根據(jù)所述至少一個對象在所述多個圖像幀中的出現(xiàn)時間的順序和在一個摘要靜止圖像中設(shè)置的對象的最大數(shù)量產(chǎn)生至少一個摘要靜止圖像。17.如權(quán)利要求11所述的系統(tǒng)，其中，瀏覽引擎還被配置為響應(yīng)于選擇在所述至少一個摘要靜止圖像中的對象段的選擇信號，提供從所述至少一個對象段中選擇的對象段的運動的預(yù)覽圖像。18.如權(quán)利要求17所述的系統(tǒng)，其中，瀏覽引擎還被配置為響應(yīng)于在所述至少一個摘要靜止圖像上選擇預(yù)覽圖像的選擇信號，按時間順序再現(xiàn)所選對象段的運動。19.如權(quán)利要求11所述的系統(tǒng)，還包括:查詢引擎，被配置為接收搜索條件信號以指示產(chǎn)生至少一個摘要靜止圖像， 其中，圖像處理引擎還被配置為產(chǎn)生代表圖像幀的元數(shù)據(jù)， 其中，元數(shù)據(jù)包括:關(guān)于代表圖像幀的時間信息和關(guān)于在代表圖像幀中的至少一個對象的位置信息。20.如權(quán)利要求19所述的系統(tǒng)，其中，圖像處理引擎還被配置為在查詢引擎接收到搜索條件信號之后選擇代表圖像幀。
【文檔編號】H04N7/18GK105872452SQ201510622680
【公開日】2016年8月17日
【申請日】2015年9月25日
【發(fā)明人】白榮民, 金大煥, 全承先, 金智星
【申請人】韓華泰科株式會社