動(dòng)態(tài)顯示布局的制作方法
【專利摘要】本發(fā)明涉及一種用于獲得在其上定義有至少一個(gè)子區(qū)域的顯示區(qū)域上的動(dòng)態(tài)顯示布局的方法，所述方法包括：接收來自視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)；評(píng)估與每一子區(qū)域相關(guān)聯(lián)的、應(yīng)用于接收到的視頻圖像數(shù)據(jù)或視頻數(shù)據(jù)源的屬性的規(guī)則；如果評(píng)估造成子區(qū)域中的一個(gè)子區(qū)域接受視頻圖像數(shù)據(jù)，則將該視頻圖像數(shù)據(jù)指派給該一個(gè)子區(qū)域；否則，在所述顯示區(qū)域上分配附加子區(qū)域，并將所述視頻圖像數(shù)據(jù)指派給所述附加子區(qū)域；其中每一子區(qū)域是根據(jù)指派給它的所述視頻圖像數(shù)據(jù)的屬性或者根據(jù)從中接收到所述相應(yīng)視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的屬性來分配的。還公開了對(duì)應(yīng)的視頻處理系統(tǒng)、對(duì)應(yīng)的控制器以及對(duì)應(yīng)的軟件。
【專利說明】動(dòng)態(tài)顯示布局
[0001]本發(fā)明一般涉及顯示系統(tǒng)，且具體地涉及用于布置顯示在顯示系統(tǒng)上的視頻圖像數(shù)據(jù)的布局的方法和系統(tǒng)。
[0002]背景
[0003]高分辨率顯示器或顯示墻大多數(shù)被用來示出來自不同視頻數(shù)據(jù)源的同時(shí)示出在屏幕上的視頻圖像數(shù)據(jù)的合成。視頻圖像數(shù)據(jù)可包含例如視頻、合成圖像、照片、文本，等等。
[0004]用戶可以在顯示屏上手動(dòng)地布置來自各視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù);這提供了完全的自由度，但通?？雌饋砺闊┣也皇怯脩粲押玫??！邦A(yù)定義布局”由預(yù)分配的位置構(gòu)成，用戶可以用適用于這些位置的視頻圖像數(shù)據(jù)來填充所述位置。這一解決方案支持布局布置，但也降低了自由度。在完全自動(dòng)化的布局系統(tǒng)中，最優(yōu)布置通常是根據(jù)某些條件來計(jì)算得到的。這樣的條件可以例如是最小化視頻圖像數(shù)據(jù)源之間的空間(所謂的“空白空間”)。
[0005]EP0929184公開了一種用于最小化預(yù)設(shè)計(jì)區(qū)域中的數(shù)字圖像的固定集合之間的空白空間的方法。
[0006]US20120042240公開了一種按特定次序來布置項(xiàng)目集合的方式。項(xiàng)目可被添加到該集合，并且可用的顯示區(qū)域隨后遞歸地對(duì)分成各子區(qū)域，從而各子區(qū)域的寬度依賴于在前對(duì)分的量。
[0007]本發(fā)明的目標(biāo)是提供一種替換顯示系統(tǒng)，并且尤其是提供一種用于布置顯示在顯示系統(tǒng)上的視頻圖像數(shù)據(jù)的布局的方法和系統(tǒng)。
[0008]本發(fā)明的優(yōu)點(diǎn)是能夠提供一種顯示布局方法，其中用戶可以添加來自不同視頻數(shù)據(jù)源的任意內(nèi)容和形狀的視頻圖像數(shù)據(jù)的若干實(shí)例，并且其中自動(dòng)地獲得適當(dāng)?shù)牟季帧?br>[0009]根據(jù)本發(fā)明的一方面，提供了一種用于獲得在其上定義有至少一個(gè)子區(qū)域的顯示區(qū)域上的動(dòng)態(tài)顯示布局的方法，該方法包括:接收來自視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù);評(píng)估與所述至少一個(gè)子區(qū)域中的每一相應(yīng)一個(gè)子區(qū)域相關(guān)聯(lián)的、應(yīng)用于所述接收到的視頻圖像數(shù)據(jù)或所述視頻數(shù)據(jù)源的屬性的規(guī)則;如果所述評(píng)估造成由所述至少一個(gè)子區(qū)域中的一個(gè)子區(qū)域接受所述視頻圖像數(shù)據(jù)，則將所述視頻圖像數(shù)據(jù)指派給所述一個(gè)子區(qū)域;否則，在所述顯示區(qū)域上分配附加子區(qū)域，并將所述視頻圖像數(shù)據(jù)指派給所述附加子區(qū)域;其中每一子區(qū)域是根據(jù)指派給它的所述視頻圖像數(shù)據(jù)的屬性或者根據(jù)從中接收到所述相應(yīng)視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的屬性來分配的。
[0010]與每一子區(qū)域相關(guān)聯(lián)的規(guī)則或規(guī)則集合(S卩，源自特定視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的每一邊框)確定來自給定視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)是否能由所述子區(qū)域來主存。如果沒有可用的子區(qū)域是足夠的，則為這一源分配新子區(qū)域。視頻數(shù)據(jù)源是設(shè)備、存儲(chǔ)、服務(wù)器、或提供視頻圖像數(shù)據(jù)的類似物。視頻數(shù)據(jù)源可另外提供與視頻圖像數(shù)據(jù)相關(guān)聯(lián)的音頻數(shù)據(jù)。
[0011]本發(fā)明的各實(shí)施例可只將各規(guī)則應(yīng)用于接收到的視頻圖像數(shù)據(jù)的一個(gè)或多個(gè)屬性。本發(fā)明的各實(shí)施例可只將各規(guī)則應(yīng)用于從中接收到要被分配的視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的一個(gè)或多個(gè)屬性。本發(fā)明的各實(shí)施例還可將各規(guī)則應(yīng)用于接收到的視頻圖像數(shù)據(jù)的屬性與從中接收到所述視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的屬性的組合。
[0012]在根據(jù)本發(fā)明的方法的一實(shí)施例中，每一相應(yīng)子區(qū)域的大小與指派給它的視頻圖像數(shù)據(jù)的原始像素的數(shù)量成比例。
[0013]這一實(shí)施例的優(yōu)點(diǎn)在于來自不同源的視頻流之間的大小比率被遵守。
[0014]在根據(jù)本發(fā)明的方法的一實(shí)施例中，每一相應(yīng)子區(qū)域的大小與指派給它的視頻圖像數(shù)據(jù)的符號(hào)的數(shù)量成比例。在一特定實(shí)施例中，子區(qū)域的符號(hào)大小按如下方式適配:相應(yīng)所分配的子區(qū)域中所顯示的符號(hào)的大小將基本上相同。
[0015]這一實(shí)施例的優(yōu)點(diǎn)在于各符號(hào)可以跨顯示區(qū)域的不同子區(qū)域按相似的方式來示出，而不管它們所源自的視頻數(shù)據(jù)源。
[0016]在根據(jù)本發(fā)明的方法的一實(shí)施例中，顯示區(qū)域沿具有任意取向的線被分成各子區(qū)域。在一特定實(shí)施例中，顯示區(qū)域沿水平線和/或垂直線被分成各子區(qū)域。
[0017]這些實(shí)施例的優(yōu)點(diǎn)在于顯示區(qū)域可按任意數(shù)量的任意多邊形(并且尤其是矩形)來被高效地分成各子區(qū)域。
[0018]在根據(jù)本發(fā)明的方法的一實(shí)施例中，針對(duì)多個(gè)顯示布局來對(duì)能量函數(shù)求值，并且基于所述能量函數(shù)來選擇最優(yōu)布局。
[0019]這一實(shí)施例的優(yōu)點(diǎn)在于不同布局(S卩，子區(qū)域分配)可以按客觀的方式來比較，并且對(duì)令人滿意的布局(即，最優(yōu)布局)的選擇可被自動(dòng)執(zhí)行。
[0020]在一特定實(shí)施例中，選擇使能量函數(shù)最小化的顯示布局。
[0021]在更具體的實(shí)施例中，能量函數(shù)基于空白空間的量。
[0022]在根據(jù)本發(fā)明的方法的一實(shí)施例中，來自多個(gè)視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)被分配給一子區(qū)域。在一特定實(shí)施例中，來自所述多個(gè)視頻數(shù)據(jù)源中的第一視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)被顯示在相對(duì)于來自所述多個(gè)視頻數(shù)據(jù)源的第二視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的完全或部分覆蓋中。
[0023]這一實(shí)施例的優(yōu)點(diǎn)在于視頻流可在給定子區(qū)域內(nèi)任意組合，這可造成對(duì)總體顯示區(qū)域的更優(yōu)使用。
[0024]在根據(jù)本發(fā)明的方法的一實(shí)施例中，與給定子區(qū)域相關(guān)聯(lián)的規(guī)則管控所述給定子區(qū)域內(nèi)的視頻圖像數(shù)據(jù)的、相對(duì)于所述給定子區(qū)域和/或相對(duì)于分配給所述給定子區(qū)域的其他視頻圖像數(shù)據(jù)的位置的位置和/或大小。
[0025]這一實(shí)施例的優(yōu)點(diǎn)在于易于定義基于大小和位置的規(guī)則，且在幾何準(zhǔn)則的基礎(chǔ)上高效地造成對(duì)顯示區(qū)域的良好(例如，最優(yōu))使用。
[0026]在根據(jù)本發(fā)明的方法的一實(shí)施例中，視頻圖像數(shù)據(jù)按保留高寬比的方式來縮放。
[0027]這一實(shí)施例的優(yōu)點(diǎn)在于圖像以看起來自然的方式來顯示。
[0028]在根據(jù)本發(fā)明的方法的一實(shí)施例中，視頻圖像數(shù)據(jù)按以下方式來縮放和定位:在來自不同視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)之間沒有造成交疊。
[0029]這一實(shí)施例的優(yōu)點(diǎn)在于顯示區(qū)域的全部容量可被用來同時(shí)示出盡可能多的不同視頻饋源。
[0030]在根據(jù)本發(fā)明的方法的一實(shí)施例中，來自每一視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)包括文本、圖像、圖像序列、以及視頻流中的一者或多者。
[0031 ]在根據(jù)本發(fā)明的方法的一實(shí)施例中，來自給定視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)在所選擇的布局中的位置和/或大小被用來提供與所述給定視頻數(shù)據(jù)源相對(duì)應(yīng)的音頻信號(hào)的方向特性。
[0032]這一實(shí)施例的優(yōu)點(diǎn)在于與同時(shí)顯示的視頻饋源相關(guān)聯(lián)的音頻可以按以下方式再現(xiàn):它以與所顯示的圖像的空間分布相一致的方式被在心理聲學(xué)上感知到。
[0033]根據(jù)本發(fā)明的一方面，提供了一種用于生成動(dòng)態(tài)顯示布局的視頻處理系統(tǒng)，布置成接收來自相應(yīng)視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的至少一個(gè)輸入接口；幀緩沖區(qū)存儲(chǔ)器;布置成將來自所述幀緩沖區(qū)存儲(chǔ)器的視頻流發(fā)送給具有顯示區(qū)域的顯示器的輸出接口；用于存儲(chǔ)與在所述顯示區(qū)域上定義的相應(yīng)子區(qū)域相關(guān)聯(lián)的規(guī)則的規(guī)則存儲(chǔ)器；以及配置成評(píng)估應(yīng)用于所述接收到的視頻圖像數(shù)據(jù)或所述視頻數(shù)據(jù)源的屬性的所述規(guī)則的規(guī)則評(píng)估邏輯;其中所述視頻處理系統(tǒng)被適配成將從一個(gè)視頻數(shù)據(jù)源接收到的視頻圖像數(shù)據(jù)添加到所述幀緩沖區(qū)存儲(chǔ)器;其中所述視頻處理系統(tǒng)被配置成根據(jù)所述規(guī)則評(píng)估邏輯的評(píng)估結(jié)果按以下方式來放置接收到的視頻圖像數(shù)據(jù):如果與所述至少一個(gè)子區(qū)域中的一個(gè)子區(qū)域相關(guān)聯(lián)的相應(yīng)規(guī)則接受接收到的視頻圖像數(shù)據(jù)，則接收到的視頻圖像數(shù)據(jù)被指派給所述一個(gè)子區(qū)域;否則，在所述顯示器上分配附加子區(qū)域，并將接收到的視頻圖像數(shù)據(jù)指派給所述附加子區(qū)域;并且其中所述視頻處理系統(tǒng)被配置成根據(jù)指派給它的相應(yīng)視頻圖像數(shù)據(jù)的屬性來分配每一子區(qū)域。
[0034]根據(jù)本發(fā)明的一方面，提供了一種用于在視頻處理系統(tǒng)中使用來生成動(dòng)態(tài)顯示布局并且尤其是與具有顯示區(qū)域的顯示器一起使用的控制器，所述控制器包括:布置成接收來自相應(yīng)視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的至少一個(gè)輸入接口；幀緩沖區(qū)存儲(chǔ)器;布置成將來自所述幀緩沖區(qū)存儲(chǔ)器的視頻流發(fā)送給具有顯示區(qū)域的所述顯示器的輸出接口；用于存儲(chǔ)與在所述顯示區(qū)域上定義的相應(yīng)子區(qū)域相關(guān)聯(lián)的規(guī)則的規(guī)則存儲(chǔ)器；以及配置成評(píng)估應(yīng)用于所述接收到的視頻圖像數(shù)據(jù)或所述視頻數(shù)據(jù)源的屬性的所述規(guī)則的規(guī)則評(píng)估邏輯；
[0035]其中所述控制器被適配成將從一個(gè)視頻數(shù)據(jù)源接收到的視頻圖像數(shù)據(jù)添加到所述幀緩沖區(qū)存儲(chǔ)器；
[0036]其中所述控制器被配置成根據(jù)所述規(guī)則評(píng)估邏輯的評(píng)估結(jié)果按以下方式來放置接收到的視頻圖像數(shù)據(jù):
[0037]-如果與所述至少一個(gè)子區(qū)域中的一個(gè)子區(qū)域相關(guān)聯(lián)的相應(yīng)規(guī)則接受接收到的視頻圖像數(shù)據(jù)，則接收到的視頻圖像數(shù)據(jù)被指派給所述一個(gè)子區(qū)域；
[0038]-否則，所述顯示區(qū)域上分配附加子區(qū)域，并將接收到的視頻圖像數(shù)據(jù)指派給所述附加子區(qū)域；
[0039]并且其中所述控制器被配置成根據(jù)指派給它的相應(yīng)視頻圖像數(shù)據(jù)的屬性或根據(jù)從中接收到所述相應(yīng)視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的屬性來分配每一子區(qū)域。
[0040]在本發(fā)明的各實(shí)施例中發(fā)送的視頻流可以是傳統(tǒng)視頻信號(hào)。在本發(fā)明的各實(shí)施例中發(fā)送的視頻流也可以是網(wǎng)絡(luò)流，這通過網(wǎng)絡(luò)向遠(yuǎn)程顯示器提供根據(jù)特定協(xié)議(例如，RTP)格式化的視頻數(shù)據(jù)。
[0041]控制器可以是例如被實(shí)現(xiàn)成微控制器且被適配成與顯示器一起使用的獨(dú)立設(shè)備。
[0042]根據(jù)本發(fā)明的系統(tǒng)、軟件以及控制器的技術(shù)效果和優(yōu)點(diǎn)在已作必要修改的情況下對(duì)應(yīng)于根據(jù)本發(fā)明的對(duì)應(yīng)方法的那些技術(shù)效果和優(yōu)點(diǎn)。
[0043]附圖簡(jiǎn)述
[0044]現(xiàn)在將參考附圖更詳細(xì)地描述本發(fā)明的這些和其他技術(shù)效果和優(yōu)點(diǎn)，附圖中:
[0045]圖1是通過連續(xù)地對(duì)分初始區(qū)域來創(chuàng)建各子區(qū)域的圖示；
[0046]圖2是示出不同布局的圖的本發(fā)明實(shí)施例的圖示；
[0047]圖3是在不同子區(qū)域中示出來自不同視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的本發(fā)明實(shí)施例的圖示；
[0048]圖4是示出真實(shí)實(shí)現(xiàn)的示例的本發(fā)明實(shí)施例的圖示；
[0049]圖5解說表示其中可實(shí)現(xiàn)本發(fā)明的示例性實(shí)施例的示例性計(jì)算環(huán)境的框圖；以及
[0050]圖6是根據(jù)本發(fā)明實(shí)施例的系統(tǒng)的圖示。
[0051 ] 描述
[0052]下文描述本發(fā)明的各實(shí)施例。這些實(shí)施例旨在提供本發(fā)明的示例，但本領(lǐng)域技術(shù)人員將明白本發(fā)明也如所附權(quán)利要求書中公開的那樣。
[0053]除非另外指明，否則術(shù)語“圖像”在本說明書通篇被寬泛地使用，且可包括諸如文本、圖標(biāo)、符號(hào)、以及圖片等視覺信息(無論是靜態(tài)還是動(dòng)態(tài)的)。
[0054]圖1示出其中通過遞歸對(duì)分來創(chuàng)建用于新內(nèi)容的子區(qū)域的現(xiàn)有技術(shù)的圖示。10中的初始區(qū)域可通過水平對(duì)分或垂直對(duì)分來被劃分，如在11中所示。垂直地對(duì)分的區(qū)域隨后按三種方式來被進(jìn)一步劃分，如在12中所示。圖1還示出了各塊之間保留了次序，由子區(qū)域內(nèi)部的“I”、“2”、“3”指示。該次序是從左至右、或從上至下、或以順時(shí)針旋轉(zhuǎn)的方式來實(shí)現(xiàn)的，如可在12中看到的。
[0055]圖2a)解說本發(fā)明的一實(shí)施例。稱為“畫布”的區(qū)域由附圖標(biāo)記20來指定。要被顯示的所有內(nèi)容將駐留在這一區(qū)域內(nèi)。畫布20可包括顯示設(shè)備(未示出)的所有像素，但降低的像素量也是可能的。21是“預(yù)定義布局”的示例，它包括描述源自相應(yīng)視頻數(shù)據(jù)源22和23的視頻數(shù)據(jù)的邊框的規(guī)則。23覆蓋在22上。24和25與不同于22和23的視頻數(shù)據(jù)源相關(guān)聯(lián)。在來自視頻數(shù)據(jù)源24的視頻圖像數(shù)據(jù)被發(fā)送給畫布時(shí)，預(yù)定義布局21被顯示在同一畫布上。隨后根據(jù)適當(dāng)?shù)囊?guī)則在各視頻數(shù)據(jù)源之間拆分畫布。這可以例如是未經(jīng)縮放的像素的數(shù)量，所謂的“原始”視頻圖像數(shù)據(jù)。在一般情況下，任何類型的規(guī)則可被應(yīng)用。圖2b)中的27示出這樣的劃分的結(jié)果。畫布27被線29拆分成子區(qū)域30和31。
[0056]本發(fā)明的實(shí)施例的目標(biāo)是找出根據(jù)特定條件來選擇的布局，即根據(jù)特定條件最優(yōu)的布局。在本示例性實(shí)施例中，這一條件是使“空白空間”(即畫布上沒有被所顯示的視頻圖像數(shù)據(jù)占據(jù)的區(qū)域)最小化。對(duì)于其中視頻數(shù)據(jù)源提供包含文本的視頻圖像數(shù)據(jù)的應(yīng)用而言，該條件將例如是確保所有文本或符號(hào)具有相同的字體大小。或者它可以是任何其他選擇條件。一般而言，這可被看作可被最小化以找出最佳解決方案的能量函數(shù)。在這一優(yōu)化過程中，子區(qū)域的一個(gè)以上布置被評(píng)估并且最佳所得布局被選擇。
[0057]在本發(fā)明的實(shí)施例中，通過在畫布被線29水平地劃分或被線32垂直地劃分以測(cè)試布局來解說這一點(diǎn)。在一般情況下，按任意數(shù)量的取向和任意數(shù)量的子區(qū)域來劃分畫布當(dāng)然是可能的。甚至，考慮任意數(shù)量的維度(在該方法應(yīng)用于多維應(yīng)用的情況下)是可能的(對(duì)于空間情況，它將例如是三維全息圖)。
[0058]圖2b)中子區(qū)域30或33的大小與來自視頻數(shù)據(jù)源22和23的視頻圖像數(shù)據(jù)的某一屬性相對(duì)應(yīng)，且子區(qū)域31或34與來自視頻數(shù)據(jù)源24的視頻圖像數(shù)據(jù)的某一屬性相對(duì)應(yīng)。這樣的屬性可以例如是這些視頻數(shù)據(jù)源的原始像素的數(shù)量，即視頻數(shù)據(jù)源在縮放之前的初始狀態(tài)下的像素?cái)?shù)量?；蛘撸梢韵虿煌愋偷囊曨l數(shù)據(jù)源給予不同權(quán)重，使得較重要的視頻數(shù)據(jù)源總是被給予較大子區(qū)域。但這些示例不應(yīng)被看作限制。在本示例中，評(píng)估的是使空白空間最小化的規(guī)則。因而，圖2b)示出水平劃分提供了最小的空白空間，因?yàn)樵谑褂盟絼澐謺r(shí)，來自兩個(gè)視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)可被顯示得更大。對(duì)于在這一特定情況下選擇的規(guī)則和條件，切換子區(qū)域30和31(或33和34)的位置以及它們的對(duì)應(yīng)內(nèi)容將不影響評(píng)估結(jié)果。規(guī)則可被添加以區(qū)分相似的解決方案。
[0059]因?yàn)樽訁^(qū)域的大小依賴于視頻圖像數(shù)據(jù)內(nèi)容，所以取決于接下來選擇哪一視頻圖像數(shù)據(jù)源，將存在分配給視頻圖像數(shù)據(jù)源的子區(qū)域的自組織排序和布局。對(duì)于變化的內(nèi)容屬性，將達(dá)到如下點(diǎn):邊框的高寬比等于顯示在邊框內(nèi)的視頻圖像數(shù)據(jù)的高寬比，并且布局可以“翻轉(zhuǎn)”。圖3示出在左子區(qū)域中具有較小視頻圖像數(shù)據(jù)源且在右子區(qū)域中具有較大視頻圖像數(shù)據(jù)源的畫布40。在這一示例中，它是最小化空白空間的目標(biāo)。如果連貫地較大的視頻圖像數(shù)據(jù)源將被選擇用于左視頻圖像數(shù)據(jù)源，在視頻圖像數(shù)據(jù)源的特定大小下，對(duì)于總體布局而言，垂直地劃分空間將是更有益的，如在41中所示。大視頻圖像數(shù)據(jù)源在40和41中具有相同的大小，而小視頻圖像數(shù)據(jù)源在41中更大并且因而對(duì)于41而言空白空間較小。
[0060]US20120042240公開了一種布局方法，其中所添加的新項(xiàng)目將總是進(jìn)入特定位置，使得排序被保留。因而，US20120042240沒有教導(dǎo)取決于視頻圖像數(shù)據(jù)內(nèi)容的屬性如何使整個(gè)布局自動(dòng)地適配，以及甚至可能重新排序。
[0061]預(yù)定義布局(諸如例如21)由定義來自視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)是否以及如何被弓I入對(duì)應(yīng)的子區(qū)域的規(guī)則集合構(gòu)成。例如:
[0062]-來自具有由規(guī)則之一引用的特定參考身份或?qū)傩缘囊曨l數(shù)據(jù)源的視頻圖像數(shù)據(jù)將進(jìn)入對(duì)應(yīng)的子區(qū)域。該身份可以是例如名稱或用于標(biāo)識(shí)的任何手段。屬性可以是例如類型、原始分辨率、維度(例如，3D或單維)、內(nèi)容類型(例如，文本對(duì)圖像)ο但這些示例不應(yīng)被看作限制。
[0063]-如果來自視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)不符合進(jìn)入現(xiàn)有子區(qū)域的條件，則將為該視頻圖像數(shù)據(jù)創(chuàng)建新子區(qū)域。
[0064]-若干子區(qū)域被以非交疊的方式以距彼此的相對(duì)距離和距畫布邊界的相對(duì)距離來定位。
[0065]-視頻圖像數(shù)據(jù)的每一實(shí)例的原始高寬比在縮放期間被維持，且縮放被完成以使得沒有造成視頻圖像數(shù)據(jù)實(shí)例之間的新交疊。
[0066]圖2c)解說其中來自視頻數(shù)據(jù)源25的視頻圖像數(shù)據(jù)被添加到畫布27以創(chuàng)建畫布35的本發(fā)明的實(shí)施例。如果畫布的劃分再次是水平和垂直的，則要評(píng)估的選項(xiàng)的數(shù)量將顯著增加，因?yàn)樵谕徊季謨?nèi)可存在水平和垂直劃分的混合。畫布35、36以及37解說了要被評(píng)估的視頻圖像數(shù)據(jù)源的不同排列的示例。如果每一情況都被認(rèn)為是唯一的，則對(duì)于這一特定情況將要評(píng)估18個(gè)解決方案。
[0067]在圖2d)中，來自另一視頻數(shù)據(jù)源23的視頻圖像數(shù)據(jù)被添加到畫布35所示的布局。視頻圖像數(shù)據(jù)匹配用于進(jìn)入左子區(qū)域的條件并且根據(jù)規(guī)則被添加。
[0068]圖4示出本發(fā)明的實(shí)施例的示例。
[0069]初始情況a)描述了圖像被如何流傳輸?shù)疆嫴?4，畫布54包含帶有來自視頻數(shù)據(jù)源50、51、52和53的視頻圖像數(shù)據(jù)的預(yù)定義布局。
[0070]在步驟b)，啟動(dòng)附加視頻圖像數(shù)據(jù)源55。相關(guān)聯(lián)的視頻圖像數(shù)據(jù)不適合用于進(jìn)入畫布54中的預(yù)定義布局的準(zhǔn)則，所以必須為該附加視頻圖像數(shù)據(jù)創(chuàng)建新子區(qū)域。這一類型的視頻圖像數(shù)據(jù)源的啟動(dòng)可以例如由用戶發(fā)起或它可以例如由傳入警報(bào)來自動(dòng)生成。
[0071 ]在本實(shí)施例中，它是最小化空白空間的目標(biāo)。畫布因此在步驟c)被分成兩部分，水平地57或垂直地58。每一部分的面積可以與視頻圖像數(shù)據(jù)源的屬性相關(guān)，諸如例如其視頻圖像數(shù)據(jù)被顯示在對(duì)應(yīng)的子區(qū)域中的視頻數(shù)據(jù)源的原始(在縮放之前)像素的總數(shù)。
[0072]在步驟d)，預(yù)定義布局被置于其專用子區(qū)域并使用匹配該預(yù)定義布局的規(guī)則的流傳輸?shù)囊曨l圖像數(shù)據(jù)來填充。來自附加視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)被置于其他子區(qū)域中。在步驟e)，計(jì)算空白空間的量。這可以例如使用能量最小化函數(shù)來完成。結(jié)果，對(duì)于這一特定情況，畫布的水平劃分提供了最小空白空間。
[0073]圖5解說了其中可實(shí)現(xiàn)本發(fā)明的示例性計(jì)算機(jī)環(huán)境100的框圖表示。示例性計(jì)算環(huán)境100可包括但不限于個(gè)人計(jì)算機(jī)、大型計(jì)算機(jī)、服務(wù)器、手持式或相似性設(shè)備、移動(dòng)電話、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機(jī)頂盒、可編程消費(fèi)電子產(chǎn)品、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、包括上述系統(tǒng)或設(shè)備中的任一者的分布式計(jì)算環(huán)境，等等。然而，應(yīng)當(dāng)理解，本發(fā)明的示例性實(shí)施例的各特征和方面可以各種系統(tǒng)和系統(tǒng)配置來實(shí)現(xiàn)或被實(shí)現(xiàn)成各種系統(tǒng)和系統(tǒng)配置，并且本說明書中提供的任何示例只是出于解說性的目的。
[0074]圖5及以下討論提供了可在其上集成、實(shí)現(xiàn)和/或執(zhí)行本發(fā)明的示例性實(shí)施例或其各部分的平臺(tái)的一般概覽。雖然在示例性環(huán)境的各部分的上下文中，本發(fā)明可被描述為由由處理單元執(zhí)行的軟件程序內(nèi)的指令構(gòu)成，但本領(lǐng)域技術(shù)人員將理解，本發(fā)明的示例性實(shí)施例的各部分或整個(gè)發(fā)明本身也可以通過使用硬件組件、狀態(tài)機(jī)、或這些技術(shù)中的任一者的組合來實(shí)現(xiàn)。另外，實(shí)現(xiàn)本發(fā)明一實(shí)施例的軟件程序可以作為獨(dú)立程序或作為軟件模塊、例程、或函數(shù)調(diào)用來運(yùn)行，結(jié)合操作系統(tǒng)、另一程序、系統(tǒng)調(diào)用、中斷例程、庫例程等來操作。術(shù)語程序模塊可被用來指軟件程序、例程、函數(shù)、宏、數(shù)據(jù)、數(shù)據(jù)結(jié)構(gòu)、或機(jī)器可讀指令或目標(biāo)代碼的任何集合、或可被編譯成這些并由處理單元112執(zhí)行的軟件指令。
[0075]本領(lǐng)域技術(shù)人員將明白，圖5所解說的計(jì)算環(huán)境可以采取多種形式并可涉及執(zhí)行各種功能。一般而言，圖5中解說的計(jì)算環(huán)境可以是包括計(jì)算機(jī)處理器的任何系統(tǒng)。
[0076]這樣的形式和功能的示例包括但不限于個(gè)人計(jì)算機(jī)、諸如個(gè)人數(shù)據(jù)助理等手持式設(shè)備、筆記本計(jì)算機(jī)、移動(dòng)電話、膝上型計(jì)算機(jī)、大型計(jì)算機(jī)、服務(wù)器、以及各種其他應(yīng)用，它們中的每一者可以充當(dāng)本發(fā)明的各實(shí)施例的示例性環(huán)境。
[0077]示例性計(jì)算設(shè)備110可包括各種組件，包括但不限于處理單元112、非易失性存儲(chǔ)器114、易失性存儲(chǔ)器116、以及將非易失性存儲(chǔ)器114和易失性存儲(chǔ)器116耦合到處理單元112的系統(tǒng)總線118。非易失性存儲(chǔ)器114可包括各種存儲(chǔ)器類型，包括但不限于只讀存儲(chǔ)器(ROM )、電可擦除只讀存儲(chǔ)器(EEROM )、電可擦除可編程只讀存儲(chǔ)器(EEPROM )、電可編程只讀存儲(chǔ)器(EPROM)、電可更改只讀存儲(chǔ)器(EAROM)、閃存存儲(chǔ)器、磁泡存儲(chǔ)器、帶電池的隨機(jī)存取存儲(chǔ)器(RAM)、CDROM、數(shù)字多功能盤(DVD)或其他光盤存儲(chǔ)、磁帶盒、磁帶、磁光存儲(chǔ)設(shè)備、或可被用來存儲(chǔ)所需信息的任何其他介質(zhì)。
[0078]非易失性存儲(chǔ)器114可以提供用于在施加電力或復(fù)位計(jì)算機(jī)設(shè)備110時(shí)被調(diào)用的開機(jī)或復(fù)位例程(引導(dǎo)例程)的存儲(chǔ)。在一些配置中，非易失性存儲(chǔ)器114可以提供可被用來執(zhí)行信息在計(jì)算設(shè)備110的各組件內(nèi)的元件之間的轉(zhuǎn)移的基本輸入/輸出系統(tǒng)(B1S)例程。
[0079]易失性存儲(chǔ)器116可包括但不限于各種存儲(chǔ)器類型和設(shè)備，包括但不限于隨機(jī)存取存儲(chǔ)器(RAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、磁泡存儲(chǔ)器、寄存器，等等。易失性存儲(chǔ)器116可以提供用于正由或可由處理單元112執(zhí)行或者正由處理單元112訪問或修改的例程、模塊、函數(shù)、宏、數(shù)據(jù)等的臨時(shí)存儲(chǔ)。
[0080]或者，非易失性存儲(chǔ)器114和/或易失性存儲(chǔ)器116可包括可通過有線和/或無線網(wǎng)絡(luò)系統(tǒng)訪問的遠(yuǎn)程存儲(chǔ)設(shè)施。另外，易失性存儲(chǔ)器114和/或非易失性存儲(chǔ)器116可包括包含主存儲(chǔ)器設(shè)備和輔存儲(chǔ)器設(shè)備的多級(jí)系統(tǒng)的存儲(chǔ)器系統(tǒng)，如上所述。主存儲(chǔ)器設(shè)備和輔存儲(chǔ)器設(shè)備可用作另一者的高速緩存，或者第二存儲(chǔ)器設(shè)備可用作主存儲(chǔ)器設(shè)備的備份。在又一布置中，非易失性存儲(chǔ)器114和/或易失性存儲(chǔ)器116可包括配置成簡(jiǎn)單數(shù)據(jù)庫文件或可使用查詢語言(諸如SQL)搜索的關(guān)系數(shù)據(jù)庫的存儲(chǔ)器設(shè)備。
[0081]計(jì)算設(shè)備110可以訪問一個(gè)或多個(gè)外部顯示設(shè)備130，諸如CRT監(jiān)視器、IXD面板、LED面板、投影儀顯示器、電致發(fā)光面板、或其他顯示設(shè)備，用于向用戶提供信息或計(jì)算結(jié)果的目的。在一些實(shí)施例中，外部顯示設(shè)備130可實(shí)際上被合并到該產(chǎn)品本身。處理單元112可通過經(jīng)由系統(tǒng)總線118耦合到處理單元112的視頻接口 120來對(duì)接到每一顯示設(shè)備130。
[0082]除顯示器130外，計(jì)算設(shè)備110可以發(fā)送輸出信息到一個(gè)或多個(gè)輸出設(shè)備136，諸如網(wǎng)絡(luò)接口、揚(yáng)聲器、調(diào)制解調(diào)器、打印機(jī)、繪圖器、傳真機(jī)、RF或紅外發(fā)射機(jī)、計(jì)算機(jī)或可由計(jì)算設(shè)備110控制的任何其他各種設(shè)備。處理單元112可通過經(jīng)由系統(tǒng)總線118耦合到處理單元112的輸出接口 126來對(duì)接到每一輸出設(shè)備136。
[0083]計(jì)算設(shè)備110可以從一個(gè)或多個(gè)輸入設(shè)備134接收輸入或命令，諸如鍵盤、定點(diǎn)設(shè)備、觸摸設(shè)備、鼠標(biāo)、調(diào)制解調(diào)器、RF或紅外接收機(jī)、話筒、操縱桿、跟蹤球、光筆、游戲墊、掃描儀、相機(jī)、計(jì)算機(jī)，等等。處理單元112可通過經(jīng)由系統(tǒng)總線118親合到處理單元112的輸入接口 124來對(duì)接到每一輸入設(shè)備134。
[0084]將明白，實(shí)現(xiàn)本發(fā)明的各實(shí)施例的程序模塊可被存儲(chǔ)在非易失性存儲(chǔ)器114、易失性存儲(chǔ)器116、或可通過輸出接口 126和輸入接口 124或者存儲(chǔ)接口 122訪問的遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備中。程序模塊可包括操作系統(tǒng)、應(yīng)用程序、其他程序模塊和程序數(shù)據(jù)。處理單元112可以響應(yīng)于其中包含的各種指令以及在所發(fā)生的或通過輸入接口 124或網(wǎng)絡(luò)接口 128接收到的事件的指導(dǎo)下來訪問程序模塊的各部分。
[0085]計(jì)算設(shè)備110可以將數(shù)據(jù)提供給一個(gè)或多個(gè)其他存儲(chǔ)設(shè)備132并從一個(gè)或多個(gè)其他存儲(chǔ)設(shè)備132接收數(shù)據(jù)，該其他存儲(chǔ)設(shè)備可以提供用于存儲(chǔ)的易失性或非易失性存儲(chǔ)器且可以由計(jì)算設(shè)備110訪問。處理單元112可以經(jīng)由系統(tǒng)總線118通過存儲(chǔ)接口 122來對(duì)接到每一存儲(chǔ)設(shè)備132。
[0086]接口 120、122、124、126以及128可包括各種接口中的一者或多者，包括但不限于，并行或串行總線接口(諸如PC1、PCIx、PCIe、IDE以及SATA)、電纜調(diào)制解調(diào)器、DSL、T1、V系列調(diào)制解調(diào)器、以太網(wǎng)、光學(xué)接口、RS-232串行端口接口或其他串行端口接口、并行端口接口、通用串行總線(USB)、通用接口總線(GPIB)、光學(xué)接口(諸如紅外或IrDA)、RF或無線接口(諸如藍(lán)牙)、或其他接口。
[0087]圖6解說了根據(jù)本發(fā)明的示例性實(shí)施例的系統(tǒng)200的框圖。系統(tǒng)200優(yōu)選地包括與視頻處理設(shè)備230或圖像處理硬件220相連接的第一視頻數(shù)據(jù)源210a和第二視頻數(shù)據(jù)源210b。在其他所構(gòu)想的實(shí)施例中，該系統(tǒng)可包括附加視頻數(shù)據(jù)源。視頻數(shù)據(jù)源210a和210b可以從多個(gè)源選擇，諸如計(jì)算設(shè)備、數(shù)字?jǐn)z像機(jī)、攝錄一體機(jī)、DVD播放器、VCR播放器、HD播放器、固態(tài)驅(qū)動(dòng)播放器、電視機(jī)接收機(jī)、衛(wèi)星接收機(jī)、游戲站、或能夠生成視頻數(shù)據(jù)的其他設(shè)備。來自視頻數(shù)據(jù)源210a和210b的視頻圖像數(shù)據(jù)可通過電纜(諸如雙絞線、同軸電纜、光纖、RGB、DV1、雙DV1、HDM1、火線、顯示端口(DisplayPort)、分量、或用于傳送視頻數(shù)據(jù)的其他合適的電纜)被傳送給視頻處理設(shè)備230或圖像處理硬件220。在其他所構(gòu)想的實(shí)施例中，視頻數(shù)據(jù)可以通過利用紅外、藍(lán)牙、IEEE802.1l類型的標(biāo)準(zhǔn)、或其他合適的協(xié)議從視頻圖像數(shù)據(jù)源210a和210b無線地傳送給圖像處理硬件。在本發(fā)明的又一所構(gòu)想的實(shí)施例中，視頻輸入源可以是遠(yuǎn)程設(shè)備，并且視頻數(shù)據(jù)將通過因特網(wǎng)或通過局域網(wǎng)(有線或無線LAN)傳送且由視頻處理設(shè)備230或圖像處理硬件220通過網(wǎng)絡(luò)電纜(諸如RJ45或任何其他合適的網(wǎng)絡(luò)電纜類型，包括光纖-光學(xué)電纜)或經(jīng)由無線網(wǎng)絡(luò)適配器接收。在所構(gòu)想的實(shí)施例中，通過網(wǎng)絡(luò)傳送的視頻數(shù)據(jù)可以是MPEG、MPEG2、Mpeg4、JPEG 2000、JPEG_LS、H.264、Η.265、PCM、DPCM或其他合適的格式。
[0088]分開的視頻數(shù)據(jù)源210a和210b可被用來提高視頻處理能力。視頻圖像數(shù)據(jù)源210a和210b中的每一者可以生成所需圖像的一部分。例如，第一視頻數(shù)據(jù)源210a可以生成圖像的左半部，且第二視頻數(shù)據(jù)源210b可以生成圖像的右半部。這兩個(gè)圖像隨后將被處理并被排版器認(rèn)為是單個(gè)邏輯源。這樣的布置是優(yōu)選的，因?yàn)樗鑸D像的分辨率對(duì)于使單個(gè)設(shè)備可靠地生成整個(gè)圖像而言可能過大。
[0089]視頻數(shù)據(jù)源210a和210b所生成的圖像可具有交疊的區(qū)域。例如，右圖像可包括在其左邊緣處的垂直列，該垂直列包括存在于左圖像的右邊緣處的垂直列中的相同視頻數(shù)據(jù)。在這樣的布置中，這兩個(gè)圖像不能簡(jiǎn)單地并排放置來形成單個(gè)一致的圖像。相反，圖像可被層疊，使得共同視頻數(shù)據(jù)不被顯示兩次。在其他所構(gòu)想的實(shí)施例中，這樣的交疊布置可被用于多于兩個(gè)所生成的圖像，并且可包括每一圖像的四邊中的任一邊處的交疊視頻數(shù)據(jù)。
[0090]圖像處理硬件220優(yōu)選地連接到處理設(shè)備，諸如中央處理單元(CPU)、微控制器、微處理器、專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、片上系統(tǒng)(SoC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、可編程邏輯器件(PLC)、可編程電可擦除邏輯(PEEL)、可編程陣列邏輯(PAL)、通用陣列邏輯(GAL)、或其他合適的器件。圖像處理硬件220優(yōu)選地經(jīng)由如上所述的合適的視頻數(shù)據(jù)電纜與視頻計(jì)算設(shè)備230通信。在其他所構(gòu)想的實(shí)施例中，圖像處理硬件220和視頻計(jì)算設(shè)備230可以使用合適的總線或網(wǎng)絡(luò)協(xié)議來進(jìn)行無線或有線通信，如上所述。在又一所構(gòu)想的實(shí)施例中，圖像處理硬件220可以是可被插入視頻計(jì)算設(shè)備230的接口槽的卡。視頻計(jì)算設(shè)備230可基本上類似于計(jì)算設(shè)備110。在本發(fā)明的其他所構(gòu)想的實(shí)施例中，圖像處理硬件220可被囊括在與視頻計(jì)算設(shè)備230相同的結(jié)構(gòu)內(nèi)。在又一所構(gòu)想的實(shí)施例中，圖像處理硬件220可與視頻計(jì)算設(shè)備230集成在一起，而非是獨(dú)立設(shè)備。
[0091]圖像處理硬件220優(yōu)選地經(jīng)由如上所述的合適的視頻數(shù)據(jù)電纜與第一視頻輸出設(shè)備240a和第二視頻輸出設(shè)備240b通信。視頻輸出設(shè)備240a和240b可以從諸如視頻監(jiān)視器、視頻投影儀、等離子顯示器、LCD、CRT或其他合適的顯示設(shè)備等設(shè)備中選擇。在本發(fā)明的一示例性實(shí)施例中，相同200可包括視頻投影儀作為輸出設(shè)備240a和240b以及投影儀在其上顯示圖像的顯示屏250。在其他所構(gòu)想的實(shí)施例中，單個(gè)顯示設(shè)備可被使用。在又一所構(gòu)想的實(shí)施例中，所得的合成圖像或其各部分可在一個(gè)或多個(gè)網(wǎng)絡(luò)上作為一個(gè)或多個(gè)網(wǎng)絡(luò)流來傳送。這些網(wǎng)絡(luò)流可以使用MPEG、MPEG2、Mpeg4、JPEG 2000、JPEG_LS、H.264、Η.265、PCM、DPCM或其他合適的格式并可以使用加密。在后一實(shí)施例中，第一視頻輸出設(shè)備240a和第二視頻輸出設(shè)備240b可以是冗余的。其他所構(gòu)想的實(shí)施例包括被實(shí)現(xiàn)為虛擬機(jī)的視頻計(jì)算設(shè)備230和/或圖像處理硬件220。
[0092]根據(jù)本發(fā)明的一方面，提供了一種包括在處理引擎上被執(zhí)行時(shí)用于執(zhí)行一種方法的軟件的計(jì)算機(jī)程序產(chǎn)品，該方法用于獲得其上定義有至少一個(gè)子區(qū)域的顯示區(qū)域上的動(dòng)態(tài)顯示布局，處理引擎諸如但不排除參考圖5和6所描述者且還可以是配置成執(zhí)行這樣的方法的任何其他處理引擎。視頻可由可作為設(shè)備、存儲(chǔ)、服務(wù)器、或提供視頻圖像數(shù)據(jù)的類似物的視頻數(shù)據(jù)源提供。視頻數(shù)據(jù)源可另外提供與視頻圖像數(shù)據(jù)相關(guān)聯(lián)的音頻數(shù)據(jù)。該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于接收來自視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的方法步驟或裝置的代碼段。該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:評(píng)估與所述至少一個(gè)子區(qū)域中的每一相應(yīng)一個(gè)子區(qū)域相關(guān)聯(lián)的、應(yīng)用于所述接收到的視頻圖像數(shù)據(jù)或所述視頻數(shù)據(jù)源的屬性的規(guī)則。該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:如果所述評(píng)估造成由所述至少一個(gè)子區(qū)域中的一個(gè)子區(qū)域接受所述視頻圖像數(shù)據(jù)，則將所述視頻圖像數(shù)據(jù)指派給所述一個(gè)子區(qū)域;否則，在所述顯示區(qū)域上分配附加子區(qū)域，并將所述視頻圖像數(shù)據(jù)指派給所述附加子區(qū)域。該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:根據(jù)指派給它的所述視頻圖像數(shù)據(jù)的屬性或者根據(jù)從中接收到所述相應(yīng)視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的屬性來分配每一子區(qū)域。
[0093]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:根據(jù)與每一子區(qū)域相關(guān)聯(lián)的任何規(guī)則或規(guī)則集合(即，源自特定視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的每一邊框)來確定來自給定視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)是否能由所述子區(qū)域主存。該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:如果沒有可用的子區(qū)域是勝任的，則為這一源分配新子區(qū)域。
[0094]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:使每一相應(yīng)子區(qū)域的大小與指派給它的視頻圖像數(shù)據(jù)的原始像素的數(shù)量成比例。這一實(shí)施例的優(yōu)點(diǎn)在于來自不同源的視頻流之間的大小比率被遵守。
[0095]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:使每一相應(yīng)子區(qū)域的大小與指派給它的視頻圖像數(shù)據(jù)的符號(hào)的數(shù)量成比例。該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:按以下方式來適配子區(qū)域的符號(hào)大小:相應(yīng)所分配的子區(qū)域中的所顯示的符號(hào)的大小將相等或基本上相等。
[0096]這一實(shí)施例的優(yōu)點(diǎn)在于各符號(hào)可以跨顯示區(qū)域的不同子區(qū)域按相似的方式來示出，而不管它們所源自的視頻數(shù)據(jù)源。
[0097]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:沿具有任意取向的線將顯示區(qū)域劃分成各子區(qū)域。在一特定實(shí)施例中，該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:沿水平線和/或垂直線將顯示區(qū)域劃分成各子區(qū)域。
[0098]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:可將顯示區(qū)域高效地劃分成任何數(shù)量的任意多邊形，并且特別是矩形。
[0099]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:針對(duì)多個(gè)顯示布局來對(duì)能量函數(shù)求值，并且在所述能量函數(shù)的基礎(chǔ)上來選擇最優(yōu)布局。
[0100]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:按客觀的方式來比較不同布局，即子區(qū)域分配，并且可自動(dòng)地執(zhí)行良好(例如，最優(yōu))布局的選擇。
[0101]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:選擇使能量函數(shù)最小化的顯示布局。
[0102]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:使能量函數(shù)基于空白空間的量。
[0103]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:將來自多個(gè)視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)分配給一子區(qū)域。該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:將來自所述多個(gè)視頻數(shù)據(jù)源中的第一視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)顯示在相對(duì)于來自所述多個(gè)視頻數(shù)據(jù)源的第二視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的完全或部分覆蓋中。
[0104]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:在給定子區(qū)域內(nèi)任意地組合視頻流，這可造成對(duì)總顯示區(qū)域的更優(yōu)使用。
[0105]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:使用與給定子區(qū)域相關(guān)聯(lián)的規(guī)則，該規(guī)則管控所述給定子區(qū)域內(nèi)的視頻圖像數(shù)據(jù)的、相對(duì)于所述給定子區(qū)域和/或相對(duì)于分配給所述給定子區(qū)域的其他視頻圖像數(shù)據(jù)的位置的位置和/或大小。
[0106]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:在幾何準(zhǔn)則的基礎(chǔ)上使用高效地造成顯示區(qū)域的良好(例如，最優(yōu))使用的基于大小和位置的規(guī)則。
[0107]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:按保留高寬比的方式來縮放所述視頻圖像數(shù)據(jù)。
[0108]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:按看起來自然的方式來顯示圖像。
[0109]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:按以下方式來縮放和定位視頻圖像數(shù)據(jù):在來自不同視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)之間沒有造成交疊。
[0110]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:使用顯示區(qū)域的全部容量來同時(shí)示出盡可能多的不同視頻饋源。
[0111]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:使用來自每一視頻數(shù)據(jù)源的包括文本、圖像、圖像序列、以及視頻流中的一者或多者的視頻圖像數(shù)據(jù)。
[0112]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:在所選擇的布局中使用來自給定視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的位置和/或大小來提供與所述給定視頻數(shù)據(jù)源相對(duì)應(yīng)的音頻信號(hào)的有向特性。
[0113]該軟件可包括在處理引擎上被執(zhí)行時(shí)提供用于以下操作的方法步驟或裝置的代碼段:按以下方式再現(xiàn)與同時(shí)顯示的視頻饋源相關(guān)聯(lián)的音頻:它以與所顯示的圖像的空間分布相一致的方式在心理聲學(xué)上被感知。
[0114]本發(fā)明還提供一種用于在視頻處理系統(tǒng)中使用來生成動(dòng)態(tài)顯示布局并且尤其是與具有顯示區(qū)域的顯示器一起使用的控制器?？刂破骺梢允抢绫粚?shí)現(xiàn)成微控制器且被適配成與顯示器一起使用的獨(dú)立設(shè)備。該控制器可包括:布置成接收來自相應(yīng)視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的至少一個(gè)輸入接口；幀緩沖區(qū)存儲(chǔ)器;布置成將來自所述幀緩沖區(qū)存儲(chǔ)器的視頻流發(fā)送給具有顯示區(qū)域的所述顯示器的輸出接口；用于存儲(chǔ)與在所述顯示區(qū)域上定義的相應(yīng)子區(qū)域相關(guān)聯(lián)的規(guī)則的規(guī)則存儲(chǔ)器；以及配置成評(píng)估應(yīng)用于所述接收到的視頻圖像數(shù)據(jù)或所述視頻數(shù)據(jù)源的屬性的所述規(guī)則的規(guī)則評(píng)估邏輯。
[0115]其中所述控制器被適配成將從一個(gè)視頻數(shù)據(jù)源接收到的視頻圖像數(shù)據(jù)添加到所述幀緩沖區(qū)存儲(chǔ)器；
[0116]其中所述控制器被配置成根據(jù)所述規(guī)則評(píng)估邏輯的評(píng)估結(jié)果按以下方式來放置接收到的視頻圖像數(shù)據(jù):
[0117]-如果與所述至少一個(gè)子區(qū)域中的一個(gè)子區(qū)域相關(guān)聯(lián)的相應(yīng)規(guī)則接受接收到的視頻圖像數(shù)據(jù)，則接收到的視頻圖像數(shù)據(jù)被指派給所述一個(gè)子區(qū)域；
[0118]-否則，在所述顯示區(qū)域上分配附加子區(qū)域，并將接收到的視頻圖像數(shù)據(jù)指派給所述附加子區(qū)域；
[0119]并且其中所述控制器被配置成根據(jù)指派給它的相應(yīng)視頻圖像數(shù)據(jù)的屬性或根據(jù)從中接收到所述相應(yīng)視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的屬性來分配每一子區(qū)域。
[0120]盡管以上參考各具體實(shí)施例描述了本發(fā)明，但這只是為了解說而非限制本發(fā)明進(jìn)行的，本發(fā)明的范圍應(yīng)當(dāng)根據(jù)所附權(quán)利要求書來確定。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，只結(jié)合方法實(shí)施例描述的元素和特征可以在裝置實(shí)施例中使用而具有相同的技術(shù)效果和優(yōu)點(diǎn)，反之亦然。
【主權(quán)項(xiàng)】
1.一種用于獲得在其上定義有至少一個(gè)子區(qū)域的顯示區(qū)域上的動(dòng)態(tài)顯示布局的方法，所述方法包括: -接收來自視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)； -評(píng)估與所述至少一個(gè)子區(qū)域中的每一相應(yīng)一個(gè)子區(qū)域相關(guān)聯(lián)的、應(yīng)用于所述接收到的視頻圖像數(shù)據(jù)或所述視頻數(shù)據(jù)源的屬性的規(guī)則； -如果所述評(píng)估造成由所述至少一個(gè)子區(qū)域中的一個(gè)子區(qū)域接受所述視頻圖像數(shù)據(jù)，則將所述視頻圖像數(shù)據(jù)指派給所述一個(gè)子區(qū)域； -否則，在所述顯示區(qū)域上分配附加子區(qū)域，并將所述視頻圖像數(shù)據(jù)指派給所述附加子區(qū)域； 其中每一子區(qū)域是根據(jù)指派給它的所述視頻圖像數(shù)據(jù)的屬性或者根據(jù)從中接收到所述相應(yīng)視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的屬性來分配的。2.如權(quán)利要求1所述的方法，其特征在于，每一相應(yīng)子區(qū)域的大小與指派給它的視頻圖像數(shù)據(jù)的原始像素的數(shù)量成比例。3.如權(quán)利要求1所述的方法，其特征在于，每一相應(yīng)子區(qū)域的大小與指派給它的視頻圖像數(shù)據(jù)的符號(hào)的數(shù)量成比例。4.如權(quán)利要求3所述的方法，其特征在于，所述子區(qū)域的符號(hào)大小按如下方式適配:相應(yīng)所分配的子區(qū)域中所顯示的符號(hào)的大小將基本上相同。5.如前述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，所述顯示區(qū)域沿具有任意取向的線來被分成各子區(qū)域。6.如權(quán)利要求5所述的方法，其特征在于，所述顯示區(qū)域沿水平線和/或垂直線來被分成各子區(qū)域。7.如前述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于， 針對(duì)多個(gè)顯示布局來對(duì)能量函數(shù)求值，并且其中在所述能量函數(shù)的基礎(chǔ)上來選擇最優(yōu)布局。8.如權(quán)利要求7所述的方法，其特征在于，選擇使所述能量函數(shù)最小化的顯示布局。9.如權(quán)利要求8所述的方法，其特征在于，所述能量函數(shù)基于空白空間的量。10.如前述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，來自多個(gè)視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)被分配給一子區(qū)域。11.如權(quán)利要求10所述的方法，其特征在于，來自所述多個(gè)視頻數(shù)據(jù)源中的第一視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)被顯示在相對(duì)于來自所述多個(gè)視頻數(shù)據(jù)源的第二視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的完全或部分覆蓋中。12.如前述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，與給定子區(qū)域相關(guān)聯(lián)的規(guī)則管控所述給定子區(qū)域內(nèi)的視頻圖像數(shù)據(jù)的、相對(duì)于所述給定子區(qū)域和/或相對(duì)于分配給所述給定子區(qū)域的其他視頻圖像數(shù)據(jù)的位置的位置和/或大小。13.如前述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于， 所述視頻圖像數(shù)據(jù)按保留高寬比的方式來縮放。14.如前述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于， 視頻圖像數(shù)據(jù)按以下方式來縮放和定位:在來自不同視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)之間沒有造成交疊。15.如前述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，來自每一視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)包括文本、圖像、圖像序列、以及視頻流中的一者或多者。16.如前述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于， 視頻圖像數(shù)據(jù)源在所選擇的布局中的位置和/或大小被用來提供與該視頻圖像數(shù)據(jù)源相對(duì)應(yīng)的音頻信號(hào)的方向特性。17.—種用于生成動(dòng)態(tài)顯示布局的視頻處理系統(tǒng)，包括:布置成接收來自相應(yīng)視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的至少一個(gè)輸入接口；幀緩沖區(qū)存儲(chǔ)器;布置成將來自所述幀緩沖區(qū)存儲(chǔ)器的視頻流發(fā)送給具有顯示區(qū)域的顯示器的輸出接口；用于存儲(chǔ)與在所述顯示區(qū)域上定義的相應(yīng)子區(qū)域相關(guān)聯(lián)的規(guī)則的規(guī)則存儲(chǔ)器；以及配置成評(píng)估應(yīng)用于所述接收到的視頻圖像數(shù)據(jù)或所述視頻數(shù)據(jù)源的屬性的所述規(guī)則的規(guī)則評(píng)估邏輯； 其中所述視頻處理系統(tǒng)被適配成將從一個(gè)視頻數(shù)據(jù)源接收到的視頻圖像數(shù)據(jù)添加到所述幀緩沖區(qū)存儲(chǔ)器； 其中所述視頻處理系統(tǒng)被配置成根據(jù)所述規(guī)則評(píng)估邏輯的評(píng)估結(jié)果按以下方式來放置接收到的視頻圖像數(shù)據(jù): -如果與所述至少一個(gè)子區(qū)域中的一個(gè)子區(qū)域相關(guān)聯(lián)的相應(yīng)規(guī)則接受接收到的視頻圖像數(shù)據(jù)，則接收到的視頻圖像數(shù)據(jù)被指派給所述一個(gè)子區(qū)域； -否則，在所述顯示區(qū)域上分配附加子區(qū)域，并將接收到的視頻圖像數(shù)據(jù)指派給所述附加子區(qū)域； 并且其中所述視頻處理系統(tǒng)被配置成根據(jù)指派給它的相應(yīng)視頻圖像數(shù)據(jù)的屬性或根據(jù)從中接收到所述相應(yīng)視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的屬性來分配每一子區(qū)域。18.—種用于在視頻處理系統(tǒng)中使用來生成動(dòng)態(tài)顯示布局并且尤其是與具有顯示區(qū)域的顯示器一起使用的控制器，所述控制器包括:布置成接收來自相應(yīng)視頻數(shù)據(jù)源的視頻圖像數(shù)據(jù)的至少一個(gè)輸入接口；幀緩沖區(qū)存儲(chǔ)器;布置成將來自所述幀緩沖區(qū)存儲(chǔ)器的視頻流發(fā)送給具有顯示區(qū)域的所述顯示器的輸出接口；用于存儲(chǔ)與在所述顯示區(qū)域上定義的相應(yīng)子區(qū)域相關(guān)聯(lián)的規(guī)則的規(guī)則存儲(chǔ)器;以及配置成評(píng)估應(yīng)用于所述接收到的視頻圖像數(shù)據(jù)或所述視頻數(shù)據(jù)源的屬性的所述規(guī)則的規(guī)則評(píng)估邏輯； 其中所述控制器被適配成將從一個(gè)視頻數(shù)據(jù)源接收到的視頻圖像數(shù)據(jù)添加到所述幀緩沖區(qū)存儲(chǔ)器； 其中所述控制器被配置成根據(jù)所述規(guī)則評(píng)估邏輯的評(píng)估結(jié)果按以下方式來放置接收到的視頻圖像數(shù)據(jù): -如果與所述至少一個(gè)子區(qū)域中的一個(gè)子區(qū)域相關(guān)聯(lián)的相應(yīng)規(guī)則接受接收到的視頻圖像數(shù)據(jù)，則接收到的視頻圖像數(shù)據(jù)被指派給所述一個(gè)子區(qū)域； -否則，在所述顯示區(qū)域上分配附加子區(qū)域，并將接收到的視頻圖像數(shù)據(jù)指派給所述附加子區(qū)域； 并且其中所述控制器被配置成根據(jù)指派給它的相應(yīng)視頻圖像數(shù)據(jù)的屬性或根據(jù)從中接收到所述相應(yīng)視頻圖像數(shù)據(jù)的視頻數(shù)據(jù)源的屬性來分配每一子區(qū)域。
【文檔編號(hào)】H04N5/262GK105934943SQ201580005743
【公開日】2016年9月7日
【申請(qǐng)日】2015年1月21日
【發(fā)明人】P·雷蒙
【申請(qǐng)人】巴科股份有限公司