專利名稱：圖像拼接設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像拼接，具體涉及一種圖像拼接設(shè)備和方法，用于靜止圖像拼接中 或者視頻拼接中。
背景技術(shù)：
隨著社會(huì)需求的發(fā)展和電子信息技術(shù)的進(jìn)步，人們?cè)谌粘Ｉ钪性絹碓狡毡榈厥?用各種各樣的圖像采集設(shè)備，例如監(jiān)控?cái)z像機(jī)、數(shù)碼攝像機(jī)、數(shù)碼相機(jī)、網(wǎng)絡(luò)攝像機(jī)、手機(jī)相 機(jī)等等。這些圖像采集設(shè)備的普及，給人們帶來生活、娛樂和安全等方面的便利，同時(shí)也帶 來了新的需求即人們?nèi)绾我杂行У姆绞絹砝萌找嬖鲩L(zhǎng)的數(shù)字多媒體信息。圖像拼接和 視頻拼接技術(shù)提供了滿足新需求的技術(shù)方案，可以生成清晰的大尺度全景圖像或視頻，為 人們帶來一覽無余的視覺體驗(yàn)。圖像拼接和視頻拼接的共同目的都是獲得大尺度視野覆蓋范圍和超高分辨率的 場(chǎng)景信息，不同之處在于各自的處理對(duì)象有所差別。圖像拼接是將不同視點(diǎn)的靜止圖像合 成獲得全景圖像的過程；而視頻拼接將來自不同視點(diǎn)的運(yùn)動(dòng)圖像序列作為輸入，處理后的 輸出結(jié)果是全景視頻。這些技術(shù)在工業(yè)界和日常生活中具有廣闊的市場(chǎng)應(yīng)用范圍，包括圖 像管理和瀏覽、視頻監(jiān)控、人機(jī)交互、視頻會(huì)議、視頻編輯、視頻游戲和娛樂等領(lǐng)域。實(shí)際情況中的場(chǎng)景內(nèi)容隨著時(shí)間動(dòng)態(tài)變化，可以歸結(jié)為前景區(qū)域和背景區(qū)域等兩 種類型。前景區(qū)域中包含場(chǎng)景出現(xiàn)的動(dòng)態(tài)物體，例如室內(nèi)走動(dòng)的人員、街道上行駛的車輛。 背景區(qū)域則是場(chǎng)景中相對(duì)靜止的內(nèi)容，有時(shí)被前景物體遮擋。在現(xiàn)有的圖像拼接和視頻拼接技術(shù)實(shí)際應(yīng)用中，場(chǎng)景中包含的前景物體通常干擾 拼接過程，導(dǎo)致拼接輸出的全景結(jié)果中出現(xiàn)偽影和瑕疵等缺陷。究其原因是由于不同視點(diǎn) 上觀察角度存在深度信息的差異(即視差)，采集到的前景物體內(nèi)容和背景區(qū)域內(nèi)容存在 不一致的深度信息，采用同樣的拼接模型參數(shù)和拼接線，導(dǎo)致了前景物體和背景區(qū)域內(nèi)容 在合成圖像上出現(xiàn)了瑕疵。目前的圖像拼接和視頻拼接方法在實(shí)際應(yīng)用場(chǎng)合中存在一些局限。其中之一就是 處理動(dòng)態(tài)場(chǎng)景時(shí)，運(yùn)動(dòng)物體經(jīng)常導(dǎo)致拼接結(jié)果出現(xiàn)圖像質(zhì)量瑕疵。另外，目前很多圖像拼接 和視頻拼接系統(tǒng)通常消耗大量的計(jì)算資源，無法達(dá)到實(shí)時(shí)運(yùn)行速度的要求。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于前景物體信息自適應(yīng)調(diào)整和優(yōu)化拼接線的技術(shù)。通 過這種技術(shù)實(shí)現(xiàn)圖像拼接和視頻拼接，能夠減少和消除圖像拼接和視頻拼接結(jié)果中出現(xiàn)的 偽影和瑕疵等缺陷，提高全景圖像質(zhì)量。在本發(fā)明的一個(gè)方面，提出了一種對(duì)圖像進(jìn)行拼接的方法，包括步驟計(jì)算第一圖 像和第二圖像之間的圖像變換參數(shù)并利用該圖像變換參數(shù)確定拼接線；確定第一圖像和第 二圖像中的前景物體區(qū)域；從所述前景物體區(qū)域中選擇一個(gè)前景物體區(qū)域；根據(jù)所選擇的 前景物體區(qū)域的信息來調(diào)整所述拼接線；以及利用所述圖像變換參數(shù)和調(diào)整后的拼接線生成全景圖像。在本發(fā)明的另一方面，提出了一種對(duì)圖像進(jìn)行拼接的設(shè)備，包括步驟計(jì)算裝置， 計(jì)算第一圖像和第二圖像之間的圖像變換參數(shù)并利用該圖像變換參數(shù)確定拼接線；檢測(cè)裝 置，確定第一圖像和第二圖像中的前景物體區(qū)域；選擇裝置，從所述前景物體區(qū)域中選擇一 個(gè)前景物體區(qū)域；調(diào)整裝置，根據(jù)所選擇的前景物體區(qū)域的信息來調(diào)整所述拼接線；以及 生成裝置，利用所述圖像變換參數(shù)和調(diào)整后的拼接線生成全景圖像。利用上述方法和設(shè)備，可以消除前景物體所引起的瑕疵，從而獲得圖像質(zhì)量?jī)?yōu)良 的全景圖像或視頻。另外，利用前景內(nèi)容為基礎(chǔ)調(diào)整拼接線，可以保證圖像拼接質(zhì)量的內(nèi)容完整性。另外，上述的拼接方法和設(shè)備采用簡(jiǎn)單的原則進(jìn)行拼接線調(diào)整，算法復(fù)雜度低，可 以達(dá)到實(shí)時(shí)應(yīng)用處理的速度要求。


通過下面結(jié)合

本發(fā)明的優(yōu)選實(shí)施例，將使本發(fā)明的上述及其它目的、特 征和優(yōu)點(diǎn)更加清楚，其中圖1示出了根據(jù)本發(fā)明實(shí)施例的圖像拼接設(shè)備的結(jié)構(gòu)示意圖；圖2示出了根據(jù)本發(fā)明實(shí)施例的圖像拼接方法的操作過程的流程圖；圖3示出了靜止場(chǎng)景下的圖像拼接實(shí)例(a) (b) (c)分別是不同視點(diǎn)下的輸入圖 像，(d)是合成圖像；圖4示出了動(dòng)態(tài)場(chǎng)景下的圖像拼接實(shí)例(a) (b)分別是不同視點(diǎn)下的輸入圖像， (c)是根據(jù)背景區(qū)域內(nèi)容計(jì)算得到的圖像變換參數(shù)和拼接線所合成的全景圖像，⑷是根 據(jù)前景物體計(jì)算得到的圖像變換參數(shù)和拼接線所合成的全景圖像，其中棕色多邊形表示經(jīng) 過幾何變換后的圖像位置，綠色線段表示拼接線；圖5示出了前景物體合并的例子(a)兩幅輸入圖像(分別標(biāo)記有前景物體)，(b) 提取出來的前景物體，(c)合并后的前景物體；圖6是描述對(duì)拼接線進(jìn)行調(diào)整的過程的示意圖；圖7示出了圖像拼接結(jié)果的例子(a)兩幅輸入圖像，(b)傳統(tǒng)方法的拼接結(jié)果 原始拼接線，基于原始拼接線的全景圖像，(c)調(diào)整后的拼接線以及基于調(diào)整后拼接線的全 景圖像，(d)本發(fā)明實(shí)施例的輸出全景圖像。
具體實(shí)施例方式下面參照附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)說明，在描述過程中省略了對(duì)于本 發(fā)明來說是不必要的細(xì)節(jié)和功能，以防止對(duì)本發(fā)明的理解造成混淆。根據(jù)本發(fā)明的實(shí)施方式，提出了一種基于前景物體信息的圖像拼接和視頻拼接新 方法。在拼接圖像的過程中，根據(jù)前景物體內(nèi)容自適應(yīng)地優(yōu)化拼接線；以調(diào)整后的拼接線為 基礎(chǔ)，將前景物體和背景區(qū)域平滑地融合到全景圖像中。這樣，能夠?qū)⒉煌朁c(diǎn)角度的圖像或視頻合并成為大尺度的全景圖像或視頻，并 且在動(dòng)態(tài)場(chǎng)景下可以消除前景物體所導(dǎo)致的全景圖像質(zhì)量瑕疵。圖1示出了根據(jù)本發(fā)明實(shí)施例的圖像拼接設(shè)備的結(jié)構(gòu)示意圖。如圖1所示，根據(jù)本發(fā)明實(shí)施例的圖像拼接設(shè)備包括存儲(chǔ)圖像或者視頻以及其他相關(guān)數(shù)據(jù)的存儲(chǔ)設(shè)備111、檢 測(cè)前景物體的檢測(cè)單元113、計(jì)算圖像變換參數(shù)和拼接線位置的計(jì)算單元112、對(duì)檢測(cè)的前 景物體的區(qū)域進(jìn)行聚類的聚類單元114、選擇合適的前景物體圖像區(qū)域的選擇單元115、提 取選擇的前景物體區(qū)域中的諸如紋理信息、形狀信息和/或輪廓信息的信息提取單元116、 基于提取的信息對(duì)拼接線進(jìn)行調(diào)整的拼接線調(diào)整單元117、基于圖像變換參數(shù)對(duì)圖像進(jìn)行 拼接以便得到背景全景圖像的拼接單元118、以及按照調(diào)整后的拼接線將選擇的前景物體 圖像合成到背景全景圖像中并輸出最終的全景圖像的合成單元119。下面參照?qǐng)D2對(duì)本發(fā)明的圖像拼接設(shè)備的操作過程進(jìn)行詳細(xì)的描述。圖2示出了 根據(jù)本發(fā)明實(shí)施例的圖像拼接方法的操作過程的流程圖。如圖2所示，在步驟S11，計(jì)算單元112計(jì)算從存儲(chǔ)設(shè)備中讀取的兩幅待拼接的圖 像的變換參數(shù)并確定相應(yīng)的拼接線。圖像變換參數(shù)描述了相鄰兩個(gè)視角下圖像之間的幾何 關(guān)系，通常用3x3的矩陣表示。拼接線是全景圖像平面上位于相鄰圖像之間的分割線，其位 置與圖像變換相關(guān)聯(lián)。例如，采用非專利文獻(xiàn)(Matthew Brown, David G. Lowe. Automatic Panoramic Image Stitching using Invariant Features. International Journal of Computer Vision, 74(1), 59-73, 2007)中的方法計(jì)算圖像變換參數(shù)。假設(shè)L和12是兩幅相鄰視點(diǎn)角 度下采集的相互重疊的圖像，那么圖像變換的作用可以表示為X2 = HXi, (1)其中，和X2分別是L和12圖像平面上像素點(diǎn)的齊次坐標(biāo)，H是3x3的矩陣，描 述了 ^和12之間的幾何變換關(guān)系(包括平移、旋轉(zhuǎn)和尺度縮放)。^和12之間的拼接線根 據(jù)H計(jì)算得到。在圖像拼接過程中，利用圖像變換配準(zhǔn)輸入圖像，在拼接線的兩側(cè)分別渲染不同 的配準(zhǔn)圖像。圖3是一個(gè)靜止場(chǎng)景下的圖像拼接的例子。圖4是動(dòng)態(tài)場(chǎng)景下的圖像拼接的 例子。在步驟S12，檢測(cè)單元113確定圖像中的前景物體。對(duì)于靜態(tài)圖像而言，可以采用 圖像分割的方法或者用戶通過交互式選定的方式來確定前景物體。對(duì)于動(dòng)態(tài)圖像例如視頻 而言，可以采用運(yùn)動(dòng)檢測(cè)的方法來確定圖像中的前景物體以及相應(yīng)的包含該前景物體的圖 像區(qū)域。由于圖像中可能存在多個(gè)前景物體，或者存在同一前景物體的不同圖像，在步驟 S13，聚類單元114對(duì)確定的前景物體進(jìn)行聚類。對(duì)于每一個(gè)前景物體區(qū)域，將它分割成為 不同的物體，并賦予標(biāo)號(hào)。位于不同輸入圖像中的相似程度高的前景物體被判別為同一個(gè) 物體，并被賦予同一個(gè)類別標(biāo)號(hào)。物體相似度可以利用物體的位置信息、形狀信息和紋理信
息等進(jìn)行度量。然后，在步驟S14，選擇單元115從屬于同一類別的前景物體圖像中選擇任意選擇 一個(gè)圖像或者選擇清晰度或者面積高于預(yù)定閾值的前景物體圖像。對(duì)拼接線進(jìn)行調(diào)整的目的是保持前景物體在全景圖像中的完整性，因此可以根據(jù) 前景物體的圖像信息來優(yōu)化調(diào)整拼接線。這些信息包括前景物體圖像區(qū)域中的形狀信息、 輪廓信息和紋理信息等。拼接線調(diào)整的過程就可以簡(jiǎn)化為根據(jù)前景物體區(qū)域的形狀和輪 廓信息，調(diào)整拼接線，使其繞過前景物。
如圖6所示，針對(duì)選擇的前景物體區(qū)域，采用它們的形狀和輪廓信息作為拼接線 調(diào)整的基礎(chǔ)信息。在步驟S15，信息提取單元116提取物體形狀和輪廓信息或紋理信息等。 具體所采用的方法包括運(yùn)動(dòng)檢測(cè)和圖像處理技術(shù)。設(shè)ID^ID丨分別是來自兩幅不同視點(diǎn)下 的輸入圖像中的前景物體圖像，它們的形狀和輪廓分別表示為(Sl，C1)和(S2，C2)。原始 拼接線表示為L(zhǎng)_ori，調(diào)整后的拼接線表示*L_adj。在步驟S16，拼接線調(diào)整單元117對(duì)于 L_ori上的任意點(diǎn)p(x，y)，L_adj上所對(duì)應(yīng)點(diǎn)p' (x, y)的位置按照以下公式進(jìn)行調(diào)整。(a) Y坐標(biāo)位置p' (y) = p(y) (2)(b)X坐標(biāo)位置 其中 cpl(x，y) G C1，且 cpl(x，y) = p (x)。雖然上面給出的是在水平方向上調(diào)整拼接線的位置，但是根據(jù)本發(fā)明的實(shí)施例， 也可以在垂直方向上調(diào)整拼接線的位置。在步驟S17，拼接單元118按照?qǐng)D像變換參數(shù)拼接兩幅圖像，生成背景全景圖像。在步驟S18，合成單元119按照調(diào)整后的拼接線，將選擇的前景物圖像與背景全景 圖像在像素顏色值上進(jìn)行綜合，包括顏色混合和顏色插值等操作，構(gòu)成最終的輸出全景圖 像。圖7給出了本發(fā)明提供的圖像拼接結(jié)果，以及其與傳統(tǒng)方法作對(duì)比的示例。從中 可以發(fā)現(xiàn)，本發(fā)明實(shí)施例的方法調(diào)整后的拼接線不但保持了前景物體與背景區(qū)域的內(nèi)容一 致性，同時(shí)保留了前景物體本身的完整性。所獲得的動(dòng)態(tài)場(chǎng)景下的合成圖像減少了傳統(tǒng)方 法中出現(xiàn)的質(zhì)量瑕疵。上面的描述僅用于實(shí)現(xiàn)本發(fā)明的實(shí)施方式，本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫 離本發(fā)明的范圍的任何修改或局部替換，均應(yīng)該屬于本發(fā)明的權(quán)利要求來限定的范圍，因 此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
一種對(duì)圖像進(jìn)行拼接的方法，包括步驟計(jì)算第一圖像和第二圖像之間的圖像變換參數(shù)并利用該圖像變換參數(shù)確定拼接線；確定第一圖像和第二圖像中的前景物體區(qū)域；從所述前景物體區(qū)域中選擇一個(gè)前景物體區(qū)域；根據(jù)所選擇的前景物體區(qū)域的信息來調(diào)整所述拼接線；以及利用所述圖像變換參數(shù)和調(diào)整后的拼接線生成全景圖像。
2.如權(quán)利要求1所述的方法，其中所述調(diào)整所述拼接線的步驟包括 提取所選擇的前景物體區(qū)域的形狀信息、輪廓信息和/或紋理信息；以及基于所選擇的前景物體區(qū)域的形狀信息、輪廓信息和/或紋理信息來在水平或垂直方 向上調(diào)整所述拼接線，使得所述拼接線繞過所選擇的前景物體區(qū)域。
3.如權(quán)利要求1所述的方法，其中生成全景圖像的步驟包括按照?qǐng)D像變換參數(shù)拼接第一圖像和第二圖像，生成背景全景圖像；以及 按照調(diào)整后的拼接線將選擇的前景物體區(qū)域合成到背景全景圖像中。
4.如權(quán)利要求1所述的方法，其中所述選擇前景物體區(qū)域的步驟包括 針對(duì)同一物體，對(duì)前景物體區(qū)域進(jìn)行聚類；從屬于同一類的前景物體區(qū)域中選擇一幅前景物體區(qū)域。
5.如權(quán)利要求4所述的方法，其中從屬于同一類的前景物體區(qū)域中選擇一幅前景物體 區(qū)域的步驟包括選擇清晰度或面積高于預(yù)定閾值的前景物體區(qū)域。
6.如權(quán)利要求1所述的方法，其中所述確定第一圖像和第二圖像中的前景物體區(qū)域的 步驟包括利用交互的方式或運(yùn)動(dòng)檢測(cè)方法確定前景物體區(qū)域。
7.一種對(duì)圖像進(jìn)行拼接的設(shè)備，包括步驟計(jì)算裝置，計(jì)算第一圖像和第二圖像之間的圖像變換參數(shù)并利用該圖像變換參數(shù)確定 拼接線；檢測(cè)裝置，確定第一圖像和第二圖像中的前景物體區(qū)域； 選擇裝置，從所述前景物體區(qū)域中選擇一個(gè)前景物體區(qū)域； 調(diào)整裝置，根據(jù)所選擇的前景物體區(qū)域的信息來調(diào)整所述拼接線；以及 生成裝置，利用所述圖像變換參數(shù)和調(diào)整后的拼接線生成全景圖像。
8.如權(quán)利要求7所述的設(shè)備，其中所述調(diào)整裝置包括提取單元，提取所選擇的前景物體區(qū)域的形狀信息、輪廓信息和/或紋理信息； 調(diào)整單元，基于所選擇的前景物體區(qū)域的形狀信息、輪廓信息和/或紋理信息來在水 平方向或垂直方向上調(diào)整所述拼接線，使得所述拼接線繞過所選擇的前景物體區(qū)域。
9.如權(quán)利要求7所述的設(shè)備，其中生成裝置包括縫合單元，按照計(jì)算的圖像變換參數(shù)拼接第一圖像和第二圖像，生成背景全景圖像；以及合成單元，按照調(diào)整后的拼接線，將選擇的前景物體區(qū)域合成到背景全景圖像中。
10.如權(quán)利要求7所述的設(shè)備，其中所述選擇裝置包括 聚類單元，針對(duì)同一物體，對(duì)前景物體區(qū)域進(jìn)行聚類；選擇單元，從屬于同一類的前景物體區(qū)域中選擇一幅前景物體區(qū)域。
11.如權(quán)利要求10所述的設(shè)備，其中選擇單元選擇清晰度或面積高于預(yù)定閾值的前景 物體區(qū)域。
12.如權(quán)利要求7所述的設(shè)備，其中所述確定裝置利用交互的方式或者運(yùn)動(dòng)檢測(cè)方法 確定前景物體區(qū)域。
全文摘要
本發(fā)明公開了一種圖像拼接設(shè)備和方法。在拼接圖像的過程中，根據(jù)前景物體內(nèi)容自適應(yīng)地優(yōu)化拼接線；以調(diào)整后的拼接線為基礎(chǔ)，將前景物體和背景區(qū)域平滑地融合到全景圖像中。這樣，能夠?qū)⒉煌朁c(diǎn)角度的圖像或視頻合并成為大尺度的全景圖像或視頻，并且在動(dòng)態(tài)場(chǎng)景下可以消除前景物體所導(dǎo)致的全景圖像質(zhì)量瑕疵。
文檔編號(hào)H04N5/262GK101859433SQ200910133540
公開日2010年10月13日 申請(qǐng)日期2009年4月10日 優(yōu)先權(quán)日2009年4月10日
發(fā)明者張洪明, 曾煒 申請(qǐng)人:日電(中國(guó))有限公司