專利名稱：大屏拼接方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻顯示技術(shù)領(lǐng)域，涉及一種視頻拼接方法，尤其涉及一種基于多PC的可無限放大的大屏拼接方法；同時，本發(fā)明還涉及上述大屏拼接方法的系統(tǒng)。
背景技術(shù)：
視頻顯示系統(tǒng)中特別是高清視頻顯示系統(tǒng)中，為了更好的展示視頻圖像的細(xì)節(jié)效 果，常常將視頻圖像放大后播放。由于單臺顯示器的尺寸和分辨率有限，不能夠滿足實際的 需求，而大屏拼接技術(shù)將多塊顯示器拼接成一整塊大屏幕，屏幕的尺寸和分辨率都有了成 倍的提高。使用拼接后的大屏來播放一路視頻，其圖像有了更高的放大倍數(shù)，細(xì)節(jié)效果的展 示也更加清楚?，F(xiàn)有大屏拼接技術(shù)有如下缺點1、需要特定硬件設(shè)備的支持，大屏拼接更多用于集體展示不同的視頻圖像，播放 同一路視頻需要特定的硬件設(shè)備裁取不同部分解碼后的視頻圖像再輸入各個屏幕。2、支持尺寸和分辨率固定，現(xiàn)有大屏拼接支持的尺寸和分辨率不能夠靈活變化， 只能支持特定的尺寸和分辨率。3、支持的最大分辨率固定，當(dāng)視頻圖像的分辨率更高時，則不能夠滿足需求。4、大屏各部分圖像的時間同步不容易控制。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于多PC的可無限放大的大屏拼接方 法，可在現(xiàn)有大屏拼接技術(shù)上實現(xiàn)無限放大，能夠靈活改變大屏拼接后的尺寸和分辨率，并 解決了各部分圖像的同步問題，保證拼接后的視頻圖像的質(zhì)量。此外，本發(fā)明還提供一種用于實現(xiàn)上述大屏拼接方法的系統(tǒng)。為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案一種大屏拼接方法，所述方法包括如下步驟A、將同一視頻流發(fā)送到通過網(wǎng)絡(luò)連接的多臺PC解碼終端，通過UDP組播發(fā)送等方 式保證數(shù)據(jù)同步發(fā)送；B、各個PC解碼終端通過NTP時鐘同步和幀時間戳延時調(diào)節(jié)來保證大屏拼接后的 圖像質(zhì)量；C、各PC解碼終端裁剪并顯示部分圖像，保證大屏拼接后圖像的完整并且不重疊。上述步驟A中PC解碼終端為普通PC機(jī)，每臺PC終端負(fù)責(zé)控制拼接后大屏中一塊 或多塊顯示器的視頻播放。使用多臺PC解碼終端是因為單臺PC可以控制顯示器的大小和 分辨率有限，但由于多臺PC解碼終端之間可以隨意組合和擴(kuò)充，使大屏拼接的尺寸和分辨 率可以靈活變化和無限放大，解決了現(xiàn)有大屏拼接技術(shù)支持尺寸和分辨率有限，最大分辨 率固定的不足。上述步驟A中的視頻流由視頻源發(fā)出，視頻源應(yīng)包括用于視頻采集的攝像頭，用于視頻圖像壓縮編碼的編碼器。編碼器編碼產(chǎn)生的碼流應(yīng)該保留有各幀圖像的采集時間，視頻源應(yīng)該具有將視頻流發(fā)送給各PC終端的能力。上述步驟A中各PC解碼終端運行有一個或多個解碼實例，每個解碼實例控制與此 PC終端相連接的一塊或多塊顯示器的視頻播放。每個解碼實例包含的模塊有網(wǎng)絡(luò)接收模 塊、視頻解碼模塊、時鐘同步模塊、視頻裁剪模塊、圖像顯示模塊。所述網(wǎng)絡(luò)接收模塊負(fù)責(zé)從網(wǎng)絡(luò)中接收視頻源發(fā)出的視頻數(shù)據(jù)。所述視頻解碼模塊，與網(wǎng)絡(luò)接收模塊相連，將視頻源發(fā)出壓縮編碼后的視頻數(shù)據(jù) 解碼轉(zhuǎn)換成可以直接顯示到顯示器上的數(shù)據(jù)，視頻解碼模塊解碼后應(yīng)保留有每幀視頻圖像 的采集時間等信息。所述時鐘同步模塊，與視頻解碼模塊相連，根據(jù)每幀視頻圖像的采集時間和延時 信息，計算出該幀的顯示時間并傳遞給下個模塊，保證各個解碼終端顯示視頻的連貫性及 拼接后大屏各部分圖像的同步性。所述視頻裁剪模塊，與時鐘同步模塊相連，根據(jù)其控制的顯示器和拼接后大屏的 關(guān)系裁剪需要顯示的部分視頻圖像。所述圖像顯示模塊，與視頻裁剪模塊相連，根據(jù)時鐘同步模塊計算出的圖像顯示 時間，將解碼裁剪后的圖像縮放到控制顯示器所需比例進(jìn)行顯示。上述步驟A中，因為大屏拼接后顯示的為同一路視頻圖像，即各PC解碼終端接收 到的視頻流應(yīng)由同一視頻源發(fā)出，本發(fā)明將各個PC解碼終端和視頻源通過網(wǎng)絡(luò)進(jìn)行連接， 視頻源通過該該網(wǎng)絡(luò)向各個PC終端發(fā)送視頻流數(shù)據(jù)。為了保證整個視頻圖像的同步顯示， 首先應(yīng)保證視頻源同時向各PC終端發(fā)送視頻流數(shù)據(jù)。本發(fā)明使用UDP組播或輪流循環(huán)發(fā) 送的方式向各個PC發(fā)送，其中UDP組播是TCP/IP網(wǎng)絡(luò)協(xié)議中的一種傳輸方式，輪流循環(huán)發(fā) 送是視頻源在收到數(shù)據(jù)后即使用循環(huán)的方式，將數(shù)據(jù)輪流發(fā)送到各PC終端，可以使用TCP 協(xié)議傳輸，也可以使用UDP方式傳輸。但由于網(wǎng)絡(luò)延時等原因，各PC終端并一定能夠同時 收到視頻流數(shù)據(jù)，由此延時產(chǎn)生的不同步問題將在上述步驟B中解決。上述步驟B由上述視頻解碼實例中的時鐘同步模塊實現(xiàn)。在經(jīng)過編碼、傳輸、解碼 等一系列處理之后，視頻源采集的間隔均勻的視頻數(shù)據(jù)，，在顯示時并一定能夠保證大屏圖 像的均勻和同步。一幀視頻圖像從攝像頭采集到顯示到大屏消耗的延時有編碼延時、網(wǎng)絡(luò) 傳輸延時、解碼延時等。所述編碼延時為編碼器將攝像頭采集的數(shù)據(jù)進(jìn)行編碼壓縮所消耗的時間。由于每 幀圖像的復(fù)雜度不同，編碼所消耗的時間也有所差別，所以每幀的編碼延時也有所不同，但 根據(jù)步驟A，由于視頻數(shù)據(jù)是同步發(fā)送給各PC解碼端，所以一幀數(shù)據(jù)的編碼延時對于所有 PC解碼終端都應(yīng)相同。所述網(wǎng)絡(luò)傳輸延時是由各PC解碼終端完成數(shù)據(jù)接收的時間不同產(chǎn)生，由各PC解 碼終端到視頻源的網(wǎng)絡(luò)情況和每幀的數(shù)據(jù)長度決定。所以每幀視頻數(shù)據(jù)對于每臺PC終端 的網(wǎng)絡(luò)傳輸延時都有所不同。所述解碼延時為PC解碼終端解碼各幀視頻數(shù)據(jù)所消耗的時間。由于每幀數(shù)據(jù)的 編碼復(fù)雜度和各PC解碼終端的硬件配置不同，所以每幀視頻數(shù)據(jù)對于各PC終端的解碼延 時也應(yīng)有所不同。根據(jù)上述延時，假設(shè)一幀視頻圖像的采集時間為D，顯示時間為{P1，P2，P3，……}，編碼延時為e，網(wǎng)絡(luò)傳輸延時為{tl，t2，t3，……}，解碼延時為{dl，d2，d3，……}，其中 下標(biāo)表示各個PC終端。所以終端i最快的顯示該幀的時間應(yīng)為<formula>formula see original document page 6</formula>
為了保證各個解碼終端的同步顯示。只需該幀在所有終端上在可能產(chǎn)生的最大延 時后顯示，假定該值為P，則有<formula>formula see original document page 6</formula>
因為采集時間D都相同，所以有<formula>formula see original document page 6</formula>
其中X即為該幀在各PC終端的最大延時，即<formula>formula see original document page 6</formula>
由于每幀的編碼延時，網(wǎng)絡(luò)傳輸及解碼延時都不同，假設(shè)視頻流中各幀圖像的采
集時間為{D1，D2，D3，......}，顯示時間為{P11，P12，P13，…，P21，P22，P23，…，P31，P32，
P33，……}，編碼延時為{el，e2，e3，……}，網(wǎng)絡(luò)傳輸延時為{til, tl2, tl3,…，t21，
t22, t23,…，t31，t32，t33，......}，解碼延時為{dll, dl2, dl3,…，d21，d22，d23，...，
d31，d32，d33，……}，其中第一個下標(biāo)表示幀序號，第二個下標(biāo)表示各解碼終端。所以終 端j顯示視頻流中的第i幀的時間應(yīng)為Pij = Di+ei+tij+dij ；為了保證各個解碼終端各幀的同步顯示，只需各幀在所有終端上可能產(chǎn)生的最大 延時后顯示，假設(shè)Pi即為幀i在各終端上的顯示時間，即<formula>formula see original document page 6</formula>
因為i幀的采集時間對于各終端都相同，所以有<formula>formula see original document page 6</formula>
其中Xi即為幀i在各PC終端的最大延時，即<formula>formula see original document page 6</formula>
所以各PC終端在播放幀i時，只需幀i的采集時間Di上加上最大延時Xi，即可保 證視頻流中各幀圖像顯示的同步，即拼接后大屏各部分圖像的同步。上述方法保證了拼接后大屏各部分圖像的同步，但由于各幀圖像可能產(chǎn)生的最大 延時可能有所不同，由此各幀圖像之間的顯示之間的時間間隔不相同，即視頻流圖像不均 勻。為了保證視頻圖像的均勻播放，只需各幀播放時所加的最大延時相同即可，因此可以取 各幀可能產(chǎn)生最大延時的最大值即可，即<formula>formula see original document page 6</formula>
其中X為各幀在各終端可能產(chǎn)生的最大延時的最大值，即<formula>formula see original document page 6</formula>
因為一幀視頻圖像的復(fù)雜度越高，視頻流數(shù)據(jù)量也就也大，理論上其編碼延時e， 傳輸延時t及解碼延時也就越高。所以上面的X的值可以近似表示成<formula>formula see original document page 6</formula>
上述的時鐘同步方法需要知道各幀在各PC終端上可能產(chǎn)生的最大延時X，但該值 不是一個確定值，并且可能隨著時間段的不同有所該變。本發(fā)明通過迭代的方式來自動確 定該值，并讓該值隨著時間段的改變而改變。視頻源獲取每幀圖像的采集時間Di，并設(shè)定一個最大延時值X，并將這兩個值保存在碼流中發(fā)送到各PC解碼終端。由于初始化時不知道 最大延時值的精確值，可以設(shè)置一個經(jīng)驗估計值。PC解碼終端在解碼后根據(jù)采集時間和最 大延時值確定一幀圖像的顯示時間Pi (Pi = Di+x)，并和當(dāng)前的系統(tǒng)時間Si進(jìn)行比較，保存 其差值Ei (Ei =Pi-Si)。每隔一段時間，各PC終端即將該段時間內(nèi)的差值最小值min(Ei) 發(fā)送給視頻源，視頻源選擇各PC終端發(fā)送的最大的一個差值來調(diào)整最大延時值X，如果差 值小于0，說明當(dāng)前設(shè)置的最大延時值X比實際小，并且至少需要增加差值的絕對值；如果 差值大于0，說明各PC終端都需要等待一些時間才能顯示，即當(dāng)前設(shè)定的最大延時值X比實 際大，需要減掉這個差值。通過這種方法，可以較為準(zhǔn)確的獲取最大延時值，并讓其隨著時 間段的變化而自動調(diào)節(jié)。盡量減少了延時調(diào)節(jié)造成的誤差，保證了大屏拼接后視頻的均勻 同步的顯示。根據(jù)上述延時處理方法，由于各PC終端是根據(jù)其當(dāng)前系統(tǒng)時間來確定視頻圖像 的最終顯示時間。因此各個PC終端的系統(tǒng)時間之間的不同，也會造成拼接后大屏顯示的不 同步。本發(fā)明使用NTP時鐘同步協(xié)議來解決此問題，在PC解碼終端所在的網(wǎng)絡(luò)中部署一臺 NTP服務(wù)器，可以將各個PC終端的系統(tǒng)時間差保持在Ims之內(nèi)。此NTP服務(wù)器并不需要是 一臺獨立的服務(wù)器，也可以使用其中的一臺PC解碼終端來替代。上述步驟C由上述視頻解碼實例中的視頻裁剪模塊實現(xiàn)。視頻源發(fā)送給各PC解 碼終端的數(shù)據(jù)都是完整的視頻圖像數(shù)據(jù)，而每個PC只需控制部分圖像的顯示。所以PC終 端在解碼后需要進(jìn)行準(zhǔn)確的剪裁，來保證拼接后的圖像的完整并且沒有重疊。裁剪中需要 的參數(shù)有視頻源圖像的原始高度和寬度，裁剪的開始位置，裁剪后的高度和寬度。PC解碼終 端的裁剪參數(shù)可以通過配置文件來確定。一種大屏拼接系統(tǒng)，所述系統(tǒng)包括視頻源、若干臺解碼終端；所述視頻源用以提供 視頻流；所述臺解碼終端與所述視頻源連接，各解碼終端通過網(wǎng)絡(luò)連接；各解碼終端運行 有一個或多個解碼單元，每個解碼單元控制與對應(yīng)解碼終端相連接的一塊或多塊顯示器的 視頻播放；每個解碼單元包括網(wǎng)絡(luò)接收模塊，用以從網(wǎng)絡(luò)中接收所述視頻源發(fā)出的視頻數(shù)據(jù)；視頻解碼模塊，與所述網(wǎng)絡(luò)接收模塊相連，用以將視頻源發(fā)出壓縮編碼后的視頻 數(shù)據(jù)解碼轉(zhuǎn)換成可以直接顯示到顯示器上的數(shù)據(jù)，視頻解碼模塊解碼后保留有每幀視頻圖 像的采集時間信息；時鐘同步模塊，與視頻解碼模塊相連，用以根據(jù)每幀視頻圖像的采集時間和延時 信息，計算出該幀的顯示時間并傳遞給下個模塊，保證各個解碼終端顯示視頻的連貫性及 拼接后大屏各部分圖像的同步性；視頻裁剪模塊，與時鐘同步模塊相連，根據(jù)其控制的顯示器和拼接后大屏的關(guān)系 裁剪需要顯示的部分視頻圖像；圖像顯示模塊，與視頻裁剪模塊相連，根據(jù)時鐘同步模塊計算出的圖像顯示時間， 將解碼裁剪后的圖像縮放到控制顯示器所需比例進(jìn)行顯示。作為本發(fā)明的一種優(yōu)選方案，所述系統(tǒng)進(jìn)一步包括一 NTP服務(wù)器，連接各解碼終 端，用以統(tǒng)一各個解碼終端的系統(tǒng)時間。作為本發(fā)明的一種優(yōu)選方案，所述解碼終端進(jìn)一步包括數(shù)據(jù)剪裁模塊，用以在解 碼后對解碼后的數(shù)據(jù)進(jìn)行剪裁，裁剪中需要的參數(shù)包括視頻源圖像的原始高度和寬度、裁剪的開始位置、裁剪后的高度和寬度；解碼終端的裁剪參數(shù)通過配置文件來確定。本發(fā)明的有益效果在于本發(fā)明提出的基于多PC的可無限放大的大屏拼接方法， 通過PC終端的可無限擴(kuò)充實現(xiàn)了大屏拼接的可無限放大，通過PC解碼終端的隨意組合實 現(xiàn)了大屏拼接尺寸和分辨率靈活變化，通過視頻延時調(diào)節(jié)保證了大屏拼接后各部分圖像的 同步以及整個圖像的均勻連續(xù)。


圖1為本發(fā)明系統(tǒng)的總體框架示意圖。圖2為本發(fā)明軟解播放實例的模塊結(jié)構(gòu)圖。圖3為本發(fā)明延時調(diào)節(jié)原理圖
具體實施例方式下面結(jié)合附圖詳細(xì)說明本發(fā)明的優(yōu)選實施例。實施例一本發(fā)明揭示了一種基于多PC的可無限放大的大屏拼接方法，該技術(shù)能在現(xiàn)有大 屏拼接技術(shù)上實現(xiàn)無限放大，能夠靈活改變大屏拼接后的尺寸和分辨率，并解決了各部分 圖像的同步問題，保證拼接后的視頻圖像的質(zhì)量。圖1為本發(fā)明的基本框架，本發(fā)明揭示一種基于多PC的可無限放大的大屏拼接方 法，所述方法包括如下步驟步驟一將同一視頻流發(fā)送到通過網(wǎng)絡(luò)連接的多臺PC解碼終端，通過UDP組播發(fā) 送等方式保證數(shù)據(jù)同步發(fā)送。將多臺PC解碼終端和視頻源通過網(wǎng)絡(luò)進(jìn)行連接，每臺PC終端控制一塊或多塊大 屏中的顯示器，在支持的尺寸和分辨率下，PC終端可以控制的顯示器可以隨意組合，每臺 PC終端控制的顯示器的塊數(shù)、尺寸和分辨率都可以不同。選擇一臺PC終端或一臺獨立的服 務(wù)器做為NTP服務(wù)器。設(shè)置視頻源中的編碼器，碼流發(fā)送各PC終端。為了盡可能使PC同 時收到數(shù)據(jù)，發(fā)送時也應(yīng)該盡可能同時將數(shù)據(jù)發(fā)送出去，所以發(fā)送方式應(yīng)使用UDP組播或 輪流發(fā)送方式，輪流發(fā)送時為了避免每次發(fā)送過程消耗過長時間，應(yīng)該一有數(shù)據(jù)就發(fā)送，而 不應(yīng)等到一幀數(shù)據(jù)完整才發(fā)送出去。在各PC終端中部署一個或多個軟解播放實例(解碼單元)來控制視頻圖像在顯 示器上的顯示。因為是大屏拼接，所以每個PC終端控制的顯示器都應(yīng)該全屏進(jìn)行播放。有 的PC終端支持一個應(yīng)用程序控制多個顯示器，則只需部署一個軟解播放實例，否則在控制 多塊顯示器的情況下，應(yīng)部署對應(yīng)個軟解播放實例。圖2展示了軟解播放實例的模塊結(jié)構(gòu)。其中網(wǎng)絡(luò)接收模塊和視頻源通過網(wǎng)絡(luò)連接，負(fù)責(zé)接收視頻數(shù)據(jù)，接收到數(shù)據(jù)即傳遞給視頻解碼模塊。視頻解碼模塊進(jìn)行解碼，轉(zhuǎn)換 成可以直接顯示到顯示器上RGB或YUV數(shù)據(jù)。時鐘同步模塊用于各PC模塊的時間同步，保 證拼接后大屏圖像的連貫性和同步。視頻裁剪模塊用于大屏拼接的圖像拼接，防止出現(xiàn)圖 像遺漏或重疊。圖像顯示用于將視頻圖像顯示到顯示器上。步驟二各個PC解碼終端通過NTP時鐘同步和幀時間戳延時調(diào)節(jié)來保證大屏拼 接后的圖像質(zhì)量。
該步驟由PC終端軟解播放實例中的時鐘同步模塊完成。由于視頻圖像從采集到 顯示到大屏上，需要經(jīng)過若干個階段的處理，每個階段的處理過程都需消耗一定的時間，不 僅每幀圖像消耗的時間不同，而且各PC解碼終端消耗的時間也可能會有所不同，因此保證 大屏拼接后圖像的質(zhì)量，需要對圖像進(jìn)行同步處理。 由于視頻播放的時間戳控制是根據(jù)視頻源的采集時間和PC終端的當(dāng)前系統(tǒng)時間 來確定，因此為了保證大屏拼接后各部分圖像的同步，首先要保證各PC終端和視頻源的系 統(tǒng)時間的同步。在啟動軟解播放實例前，先啟用NTP服務(wù)器進(jìn)行PC終端和視頻源之間的時 間同步。圖3展示了本發(fā)明對視頻圖像同步處理的原理圖，其中每一個圓點都表示一幀視 頻圖像在不同處理階段所在的時間點。從圖中可以看出每幀圖像在每個處理階段所消耗的 時間都可能有所不同。在視頻采集階段，攝像頭均勻的采集視頻并傳遞給編碼器進(jìn)行編碼， 由于每幀圖像的復(fù)雜度不同，因此編碼所消耗的時間也有所差異，圖中的ei即表示編碼器 產(chǎn)生的編碼器延時。從視頻源發(fā)送到PC解碼終端產(chǎn)生的延時由ti表示，di則表示解碼所 產(chǎn)生的延時，所以第i幀圖像從采集到解碼完成所消耗的時間為Xi = ei+ti+di，假設(shè)第i 幀圖像的采集時間為Di，則該幀圖像能夠顯示在屏幕上最早時間應(yīng)為Di+Xi。由于各幀圖 像消耗的延時時間不同，如果在解碼完成后就直接將該幀圖像顯示在屏幕上，則會使視頻 圖像出現(xiàn)播放不均勻的情況。為了解決上述情況，保證視頻圖像的均勻播放，觀察圖3中各 幀產(chǎn)生的延時Xi，Xi+1，Xi+2, Xi+3，其中第i+2幀產(chǎn)生的延時Xi+2最大，如果我們將各幀 以采集時間為基準(zhǔn)，都延時Xi+2后顯示，即延時可能產(chǎn)生的最大延時Xmax后顯示，即可保 證視頻圖像的均勻播放。上述方法解決了在單臺PC解碼終端上視頻播放均勻性的問題。由于大屏拼接的 視頻圖像是由多臺PC終端拼接而成，由于各PC終端可能產(chǎn)生的最大延時Xmax有所不同， 拼接后的視頻可能出現(xiàn)各部分圖像播放不同步的問題，影響了大屏拼接的質(zhì)量。由于各部 分圖像的不同步也是由于延時時間的不同而產(chǎn)生，因此也可以解決均勻性的方法來處理， 即將各幀圖像延后各PC終端可能產(chǎn)生的最大延時后顯示，即可保證大屏拼接后的視頻同 步均勻的顯示，并且由于視像的顯示時間和采集時間差是一個固定值，可以保證大屏 拼接后的延時始終為固定值，不會隨著播放時間的增加而越來越大。上述解決大屏拼接后視頻圖像同步均勻的方法中，需要知道各幀在各PC終端所 消耗延時的最大值，但是此值是一個不易獲取的值，不能通過人工手段獲取，并且肯隨著時 間段的變化而變化，本發(fā)明通過各幀的采集時間和各PC解碼終端的解碼完成時間來自動 確定。首先視頻源采集一幀視頻圖像后，將采集時間Di保存在碼流中發(fā)送出去，碼流中還 應(yīng)包含當(dāng)前的最大延時時間Xmax，初始化時不知道最大延時時間Xmax的大小，可以設(shè)置一 個可能的經(jīng)驗值。各PC解碼終端在接收到數(shù)據(jù)并解碼完成后，根據(jù)視頻數(shù)據(jù)終端采集時 間Di和最大延時時間Xmax，計算出該幀的顯示時間Pi = Di+Xmax,并獲取當(dāng)前的系統(tǒng)時間 Si，如果Si大于或等于顯示時間Pi，則在裁剪圖像后直接顯示在大屏上。如果Si小于顯 示Pi，則等待Pi-Si段時間后再顯示，并將Pi-Si的值發(fā)送給視頻源。視頻源中的編碼器 接收到各PC終端返回的Pi-Si值后，選出其中的最小值Xmin。如果該值為正數(shù)，表示每個 PC終端都需等待一段時間才能顯示圖像，即當(dāng)前設(shè)置的最大延時時間Xmax的過大，應(yīng)該把 Xmax減小，減小后的值為Xmax-Xmin，相反的，如果該值為負(fù)數(shù)，則表示Xmax的值太小，應(yīng)該把Xmax加大，加大后的值應(yīng)為Xmax+1 Xmin |。為了避免每次PC終端解碼終端解碼一幀都向 視頻源發(fā)送一個時間差，造成最大延時時間的值頻繁變化并且不能反應(yīng)一段時間內(nèi)的具體 情況，將解碼終端發(fā)送設(shè)置一個時間間隔，發(fā)送的Pi-Si值也是該段時間的最大值，則可以 更準(zhǔn)確反應(yīng)此段時間內(nèi)的最大延時值。步驟三各PC解碼終端裁剪并顯示部分圖像，保證大屏拼接后圖像的完整并且不
重疊。該步驟由PC終端軟解播放實例中的視頻裁剪模塊完成。由于每個PC解碼終端都 是獲取的完整的視頻圖像，而其實際顯示的只是其中的部分圖像。為了避免整個拼接后的 大屏圖像出現(xiàn)重疊或者遺漏，各PC終端應(yīng)該進(jìn)行準(zhǔn)確的裁剪。裁剪的數(shù)據(jù)為解碼后可以直 接顯示到顯示器上的數(shù)據(jù)，裁剪的位置由該PC終端控制的顯示器和大屏的關(guān)系來確定。因 此裁剪的參數(shù)應(yīng)該包括原始視頻圖像的高度和寬度，裁剪的開始位置以及裁剪后的視頻圖 像的高度和寬度。每臺PC的裁剪參數(shù)可以不同，但在其使用過程中，其參數(shù)固定，因此本發(fā) 明使用配置文件的形式將這些參數(shù)設(shè)置軟解播放實例，軟解播放實例在初始化時即確定各 參數(shù)的值，并且在運行過程中不改變這些參數(shù)的值。以上揭示了本發(fā)明的大屏拼接方法，本發(fā)明在揭示上述大屏拼接方法的同時，還 揭示了一種大屏拼接系統(tǒng)，所述系統(tǒng)包括視頻源、若干臺解碼終端。所述視頻源用以提供視 頻流；所述臺解碼終端與所述視頻源連接，各解碼終端通過網(wǎng)絡(luò)連接。各解碼終端運行有一個或多個解碼單元，每個解碼單元控制與對應(yīng)解碼終端相連 接的一塊或多塊顯示器的視頻播放；每個解碼單元包括網(wǎng)絡(luò)接收模塊，用以從網(wǎng)絡(luò)中接收所述視頻源發(fā)出的視頻數(shù)據(jù)；視頻解碼模塊，與所述網(wǎng)絡(luò)接收模塊相連，用以將視頻源發(fā)出壓縮編碼后的視頻 數(shù)據(jù)解碼轉(zhuǎn)換成可以直接顯示到顯示器上的數(shù)據(jù)，視頻解碼模塊解碼后保留有每幀視頻圖 像的采集時間信息；時鐘同步模塊，與視頻解碼模塊相連，用以根據(jù)每幀視頻圖像的采集時間和延時 信息，計算出該幀的顯示時間并傳遞給下個模塊，保證各個解碼終端顯示視頻的連貫性及 拼接后大屏各部分圖像的同步性；視頻裁剪模塊，與時鐘同步模塊相連，根據(jù)其控制的顯示器和拼接后大屏的關(guān)系 裁剪需要顯示的部分視頻圖像；圖像顯示模塊，與視頻裁剪模塊相連，根據(jù)時鐘同步模塊計算出的圖像顯示時間， 將解碼裁剪后的圖像縮放到控制顯示器所需比例進(jìn)行顯示；數(shù)據(jù)剪裁模塊，用以在解碼后對解碼后的數(shù)據(jù)進(jìn)行剪裁，裁剪中需要的參數(shù)包括 視頻源圖像的原始高度和寬度、裁剪的開始位置、裁剪后的高度和寬度；解碼終端的裁剪參 數(shù)通過配置文件來確定。綜上所述，本發(fā)明提出的基于多PC的可無限放大的大屏拼接方法，通過PC終端的 可無限擴(kuò)充實現(xiàn)了大屏拼接的可無限放大，通過PC解碼終端的隨意組合實現(xiàn)了大屏拼接 尺寸和分辨率靈活變化，通過視頻延時調(diào)節(jié)保證了大屏拼接后各部分圖像的同步以及整個 圖像的均勻連續(xù)。這里本發(fā)明的描述和應(yīng)用是說明性的，并非想將本發(fā)明的范圍限制在上述實施例 中。這里所披露的實施例的變形和改變是可能的，對于那些本領(lǐng)域的普通技術(shù)人員來說實施例的替換和等效的各種部件是公知的。本領(lǐng)域技術(shù)人員應(yīng)該清楚的是，在不脫離本發(fā)明 的精神或本質(zhì)特征的情況下，本發(fā)明可以以其它形式、結(jié)構(gòu)、布置、比例，以及用其它組件、 材料和部件來實現(xiàn)。在不脫離本發(fā)明范圍和精神的情況下，可以對這里所披露的實施例進(jìn)行其它變形和改變。
權(quán)利要求
一種大屏拼接方法，其特征在于，所述方法包括如下步驟A、將同一視頻流發(fā)送到通過網(wǎng)絡(luò)連接的若干臺解碼終端；B、各個解碼終端通過NTP時鐘同步和幀時間戳延時調(diào)節(jié)來保證大屏拼接后的圖像質(zhì)量；C、各解碼終端裁剪并顯示部分圖像，保證大屏拼接后圖像的完整并且不重疊。
2.根據(jù)權(quán)利要求1所述的大屏拼接方法，其特征在于所述步驟A中，解碼終端為PC機(jī)，每臺PC機(jī)負(fù)責(zé)控制拼接后大屏中一塊或多塊顯示器 的視頻播放；其中，將同一視頻流通過UDP組播發(fā)送方式發(fā)送到若干臺解碼終端，保證數(shù)據(jù)同步發(fā)送；所述視頻流由視頻源發(fā)出，視頻源包括用于視頻采集的攝像頭、用于視頻圖像壓縮編 碼的編碼器；所述編碼器編碼產(chǎn)生的碼流應(yīng)該保留有各幀圖像的采集時間，視頻源具有將視頻流發(fā) 送給各解碼終端的通訊單元。
3.根據(jù)權(quán)利要求1所述的大屏拼接方法，其特征在于所述步驟A中，各解碼終端運行有一個或多個解碼單元，每個解碼單元控制與對應(yīng)解 碼終端相連接的一塊或多塊顯示器的視頻播放；每個解碼單元包括 網(wǎng)絡(luò)接收模塊，負(fù)責(zé)從網(wǎng)絡(luò)中接收視頻源發(fā)出的視頻數(shù)據(jù)；視頻解碼模塊，與網(wǎng)絡(luò)接收模塊相連，將視頻源發(fā)出壓縮編碼后的視頻數(shù)據(jù)解碼轉(zhuǎn)換 成可以直接顯示到顯示器上的數(shù)據(jù)，視頻解碼模塊解碼后保留有每幀視頻圖像的采集時間 fn息；時鐘同步模塊，與視頻解碼模塊相連，根據(jù)每幀視頻圖像的采集時間和延時信息，計算 出該幀的顯示時間并傳遞給下個模塊，保證各個解碼終端顯示視頻的連貫性及拼接后大屏 各部分圖像的同步性；視頻裁剪模塊，與時鐘同步模塊相連，根據(jù)其控制的顯示器和拼接后大屏的關(guān)系裁剪 需要顯示的部分視頻圖像；圖像顯示模塊，與視頻裁剪模塊相連，根據(jù)時鐘同步模塊計算出的圖像顯示時間，將解 碼裁剪后的圖像縮放到控制顯示器所需比例進(jìn)行顯示。
4.根據(jù)權(quán)利要求1或3所述的大屏拼接方法，其特征在于所述步驟B通過一時鐘同步模塊實現(xiàn)；在經(jīng)過編碼、傳輸、解碼處理之后，視頻源采集 的間隔均勻的視頻數(shù)據(jù)，在顯示時保證大屏圖像的均勻和同步。
5.根據(jù)權(quán)利要求1所述的大屏拼接方法，其特征在于 所述步驟B包括消除解碼延時的步驟視頻流中各幀圖像的采集時間為{D1，D2，D3，…，Dn}，顯示時間為{Pll，P12, P13,…，Plm, P21, P22, P23,…，P2m, P31, P32, P33,…， P3m, ···, Pnm},編碼延時為{el，e2，e3，…，em}，網(wǎng)絡(luò)傳輸延時為{til, tl2, tl3,…tlm，t21，t22，t23，…，t2m，t31，t32，t33，...， t3m, ···, tnm},解碼延時為{dll，dl2，dl3，…，dim，d21，d22，d23，...，d2m，d31，d32，d33，...， d3m，·..，dnm}，其中，η為幀的數(shù)目，m為解碼終端的數(shù)目；所以終端j顯示視頻流中的第i幀的時間Pij = Di+ei+tij+dij ；其中，1 ^ i ^n, 1 ^ j ^ m ；取 Pi = max{Pij}。
6.根據(jù)權(quán)利要求1所述的大屏拼接方法，其特征在于設(shè)置一 NTP服務(wù)器，連接各解碼終端，用以統(tǒng)一各個解碼終端的系統(tǒng)時間。
7.根據(jù)權(quán)利要求1所述的大屏拼接方法，其特征在于所述步驟C中，所述解碼終端在解碼后對解碼后的數(shù)據(jù)進(jìn)行剪裁，裁剪中需要的參數(shù) 包括視頻源圖像的原始高度和寬度、裁剪的開始位置、裁剪后的高度和寬度；解碼終端的裁 剪參數(shù)通過配置文件來確定。
8.一種大屏拼接系統(tǒng)，其特征在于，所述系統(tǒng)包括視頻源、若干臺解碼終端； 所述視頻源用以提供視頻流；所述臺解碼終端與所述視頻源連接，各解碼終端通過網(wǎng)絡(luò)連接；各解碼終端運行有一 個或多個解碼單元，每個解碼單元控制與對應(yīng)解碼終端相連接的一塊或多塊顯示器的視頻 播放；每個解碼單元包括網(wǎng)絡(luò)接收模塊，用以從網(wǎng)絡(luò)中接收所述視頻源發(fā)出的視頻數(shù)據(jù)； 視頻解碼模塊，與所述網(wǎng)絡(luò)接收模塊相連，用以將視頻源發(fā)出壓縮編碼后的視頻數(shù)據(jù) 解碼轉(zhuǎn)換成可以直接顯示到顯示器上的數(shù)據(jù)，視頻解碼模塊解碼后保留有每幀視頻圖像的 采集時間信息；時鐘同步模塊，與視頻解碼模塊相連，用以根據(jù)每幀視頻圖像的采集時間和延時信息， 計算出該幀的顯示時間并傳遞給下個模塊，保證各個解碼終端顯示視頻的連貫性及拼接后 大屏各部分圖像的同步性；視頻裁剪模塊，與時鐘同步模塊相連，根據(jù)其控制的顯示器和拼接后大屏的關(guān)系裁剪 需要顯示的部分視頻圖像；圖像顯示模塊，與視頻裁剪模塊相連，根據(jù)時鐘同步模塊計算出的圖像顯示時間，將解 碼裁剪后的圖像縮放到控制顯示器所需比例進(jìn)行顯示。
9.根據(jù)權(quán)利要求8所述的大屏拼接系統(tǒng)，其特征在于所述系統(tǒng)進(jìn)一步包括一 NTP服務(wù)器，連接各解碼終端，用以統(tǒng)一各個解碼終端的系統(tǒng) 時間。
10.根據(jù)權(quán)利要求8所述的大屏拼接系統(tǒng)，其特征在于所述解碼終端進(jìn)一步包括數(shù)據(jù)剪裁模塊，用以在解碼后對解碼后的數(shù)據(jù)進(jìn)行剪裁，裁 剪中需要的參數(shù)包括視頻源圖像的原始高度和寬度、裁剪的開始位置、裁剪后的高度和寬 度；解碼終端的裁剪參數(shù)通過配置文件來確定。
全文摘要
本發(fā)明揭示了一種大屏拼接方法及系統(tǒng)，所述方法包括如下步驟A、將同一視頻流發(fā)送到通過網(wǎng)絡(luò)連接的多臺PC解碼終端，通過UDP組播發(fā)送等方式保證數(shù)據(jù)同步發(fā)送；B、各個PC解碼終端通過NTP時鐘同步和幀時間戳延時調(diào)節(jié)來保證大屏拼接后的圖像質(zhì)量；C、各PC解碼終端裁剪并顯示部分圖像，保證大屏拼接后圖像的完整并且不重疊。本發(fā)明通過PC終端的可無限擴(kuò)充實現(xiàn)了大屏拼接的可無限放大，通過PC解碼終端的隨意組合實現(xiàn)了大屏拼接尺寸和分辨率靈活變化，通過視頻延時調(diào)節(jié)保證了大屏拼接后各部分圖像的同步以及整個圖像的均勻連續(xù)。
文檔編號H04N7/26GK101807389SQ201010128568
公開日2010年8月18日 申請日期2010年3月19日 優(yōu)先權(quán)日2010年3月19日
發(fā)明者余端, 馮波 申請人:上海博康智能網(wǎng)絡(luò)科技有限公司