影像匹配方法及立體匹配系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種影像匹配方法，用于一立體匹配系統(tǒng)中執(zhí)行一第一影像區(qū)塊至一第二影像區(qū)塊的立體匹配，該影像匹配方法包含有根據(jù)第一匹配算法，對(duì)該第一影像區(qū)塊至該第二影像區(qū)塊執(zhí)行匹配運(yùn)算以產(chǎn)生第一匹配結(jié)果；根據(jù)第二匹配算法，對(duì)該第一影像區(qū)塊與該第二影像區(qū)塊間執(zhí)行匹配運(yùn)算以產(chǎn)生第二匹配結(jié)果與第三匹配結(jié)果；根據(jù)第二匹配結(jié)果與第三匹配結(jié)果，獲得該第一影像區(qū)塊的匹配誤差值及匹配相似度；以及根據(jù)匹配誤差值與匹配相似度，判斷該第一影像區(qū)塊的立體匹配結(jié)果。
【專利說明】
影像匹配方法及立體匹配系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種影像匹配方法及立體匹配系統(tǒng)，尤涉及一種可配合影像中對(duì)象的特性，選擇出適當(dāng)立體匹配結(jié)果的影像匹配方法及立體匹配系統(tǒng)。

【背景技術(shù)】
[0002]隨著影像技術(shù)不斷進(jìn)步，消費(fèi)者可挑選顯示裝置的尺寸與功能日益多元，而為了滿足不同的使用者需求，各家顯示裝置的制造商也設(shè)法提供輸出效能及分辨率更佳的新產(chǎn)品，其中最值得關(guān)注的產(chǎn)品之一是具有三維立體顯示的顯示裝置。而一般常見的三維立體顯示技術(shù)有偏光式(Polarized)、交錯(cuò)式(Interlaced)或分時(shí)式(Anaglyph)等顯示方式，其原理為將相關(guān)于深度信息的不同視角影像利用特殊光學(xué)設(shè)計(jì)分別投射到人的左右眼，如此可使人的左右眼分別看到不同視角的影像，并經(jīng)過人腦的合成后而產(chǎn)生三維深度信息，讓人感覺出三維立體的影像。
[0003]當(dāng)具有三維立體顯示功能的顯示裝置欲顯示的來源影像為不具有深度信息的二維影像時(shí)，由于來源影像缺少深度信息，故顯示裝置無法產(chǎn)生出各種相關(guān)于深度信息的多視角(mult1-view)影像，以投射到人的左右眼。在此情形下，顯示裝置需另針對(duì)二維影像進(jìn)行分析以獲得深度信息，進(jìn)而才能顯示出多視角影像。在現(xiàn)有技術(shù)中，需利用如多個(gè)影像擷取裝置分別位于不同位置來獲得至少兩個(gè)不同的視角影像，才可分析出深度信息，而針對(duì)兩個(gè)不同視角影像來進(jìn)行分析以獲得深度信息的流程稱為立體匹配(stereo matching),其原理為于兩個(gè)不同視角影像間相互搜尋是否有匹配的對(duì)象(或者也可為特征或像素點(diǎn)等)，進(jìn)而獲得兩個(gè)不同視角影像中匹配對(duì)象位置值的差值，成為視差(disparity)信息(SP所謂的視差圖)，并通過視差信息可計(jì)算出匹配對(duì)象的深度信息。
[0004]然而，當(dāng)于兩個(gè)不同視角影像間執(zhí)行立體匹配來取得深度信息時(shí)，由于影像的景觀不盡相同，且用來取得兩不同視角影像的兩影像擷取裝置間位置距離也不相同，因此如何于兩不同視角影像間正確地搜尋出匹配對(duì)象并獲得正確的視差信息將會(huì)影響深度信息的準(zhǔn)確性。例如，當(dāng)兩影像的對(duì)象發(fā)生匹配錯(cuò)誤時(shí)，例如左視角影像的A對(duì)象匹配至右視角影像的B對(duì)象而非A對(duì)象，則對(duì)象的視差信息便會(huì)產(chǎn)生錯(cuò)誤，故會(huì)獲得錯(cuò)誤的深度信息而使對(duì)象顯示出錯(cuò)誤深度，并使人看不見相對(duì)應(yīng)的對(duì)象，或者造成對(duì)象變形。因此，當(dāng)兩視角影像間執(zhí)行立體匹配時(shí)，如何準(zhǔn)確獲得影像中各對(duì)象的立體匹配結(jié)果，已成為立體視覺技術(shù)最重要的課題之一。


【發(fā)明內(nèi)容】

[0005]因此，本發(fā)明的主要目的即在于提供一種影像匹配方法及立體匹配系統(tǒng)，其可配合影像中對(duì)象的特性，選擇出適當(dāng)?shù)牧Ⅲw匹配結(jié)果。
[0006]本發(fā)明公開一種影像匹配方法，用于一立體匹配系統(tǒng)中執(zhí)行一第一影像區(qū)塊至一第二影像區(qū)塊的一立體匹配，該影像匹配方法包含有根據(jù)一第一匹配算法，對(duì)該第一影像區(qū)塊至該第二影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第一匹配結(jié)果；根據(jù)一第二匹配算法，對(duì)該第一影像區(qū)塊至該第二影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第二匹配結(jié)果；根據(jù)該第二匹配算法，對(duì)該第二影像區(qū)塊至該第一影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第三匹配結(jié)果；根據(jù)該第二匹配結(jié)果與該第三匹配結(jié)果，獲得該第一影像區(qū)塊相關(guān)于該第二匹配算法的一匹配誤差值，并根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊匹配至該第二影像區(qū)塊的一匹配相似度；以及根據(jù)該匹配誤差值與該匹配相似度，判斷該第一影像區(qū)塊的一立體匹配結(jié)果為該第一匹配結(jié)果或該第二匹配結(jié)果。
[0007]本發(fā)明還公開一種立體匹配系統(tǒng)，用以執(zhí)行一第一影像區(qū)塊至一第二影像區(qū)塊的一立體匹配，該立體匹配系統(tǒng)包含有一第一匹配模塊，用來根據(jù)一第一匹配算法，對(duì)該第一影像區(qū)塊至該第二影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第一匹配結(jié)果；一第二匹配模塊，用來根據(jù)一第二匹配算法，對(duì)該第一影像區(qū)塊至該第二影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第二匹配結(jié)果，及對(duì)該第二影像區(qū)塊至該第一影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第三匹配結(jié)果，并且根據(jù)該第二匹配結(jié)果與該第三匹配結(jié)果，獲得該第一影像區(qū)塊相關(guān)于該第二匹配算法的一匹配誤差值，及根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊匹配至該第二影像區(qū)塊的一匹配相似度；以及一計(jì)算判斷模塊，用來根據(jù)該匹配誤差值與該匹配相似度，判斷該第一影像區(qū)塊的一立體匹配結(jié)果為該第一匹配結(jié)果或該第二匹配結(jié)果。

【專利附圖】

【附圖說明】
[0008]圖1為本發(fā)明實(shí)施例一立體匹配系統(tǒng)的示意圖。
[0009]圖2為本發(fā)明實(shí)施例第一影像區(qū)塊相關(guān)于動(dòng)態(tài)規(guī)劃算法的第一匹配結(jié)果的示意圖。
[0010]圖3為本發(fā)明實(shí)施例第一影像區(qū)塊與第二影像區(qū)塊相關(guān)于掃描線最佳化算法的第二匹配結(jié)果與第三匹配結(jié)果的示意圖。
[0011]圖4為本發(fā)明實(shí)施例一影像匹配流程的流程圖。
[0012]其中，附圖標(biāo)記說明如下:
[0013]10立體匹配系統(tǒng)
[0014]100第一匹配模塊
[0015]102第二匹配模塊
[0016]104計(jì)算判斷模塊
[0017]110第一影像區(qū)塊
[0018]112第二影像區(qū)塊
[0019]120第一立體匹配結(jié)果
[0020]122第二立體匹配結(jié)果
[0021]RESl 第一匹配結(jié)果
[0022]RES2 第二匹配結(jié)果
[0023]ERR匹配誤差值
[0024]SIM匹配相似度
[0025]XO?X7 像素點(diǎn)
[0026]YO?Y7 像素點(diǎn)
[0027]AO?A7 像素點(diǎn)
[0028]BO?B7 像素點(diǎn)
[0029]40流程
[0030]400 ?412 步驟

【具體實(shí)施方式】
[0031]請(qǐng)參考圖1,圖1為本發(fā)明實(shí)施例一立體匹配(stereo matching)系統(tǒng)10的示意圖。如圖1所示，立體匹配系統(tǒng)10包含有一第一匹配模塊100、一第二匹配模塊102及一計(jì)算判斷模塊104，而立體匹配系統(tǒng)10可執(zhí)行第一影像區(qū)塊110與第二影像區(qū)塊112間的立體匹配，以獲得第一影像區(qū)塊110與第二影像區(qū)塊112的視差信息，即第一立體匹配結(jié)果120與第二立體匹配結(jié)果122。
[0032]一般而言，藉由兩影像擷取裝置分別于一待攝物左右兩邊可取得相對(duì)于該待攝物的兩不同視角影像，稱為左視角影像與右視角影像，當(dāng)欲執(zhí)行左視角影像與右視角影像的立體匹配時(shí)，由于計(jì)算成本與復(fù)雜度的考慮，會(huì)將左視角影像與右視角影像切割成較小單位的影像區(qū)塊來執(zhí)行立體匹配，以獲得小單位影像區(qū)塊的立體匹配結(jié)果，并最后再將小單位影像區(qū)塊的立體匹配結(jié)果整合為整體左視角影像與右視角影像的立體匹配結(jié)果。
[0033]于圖1中，第一影像區(qū)塊110與第二影像區(qū)塊112可視為左視角影像與右視角影像中個(gè)別小單位的影像區(qū)塊，如左視角影像的掃描線與右視角影像的掃描線，或也可視為左視角影像的小區(qū)塊與右視角影像的小區(qū)塊，如方形或矩形的像素點(diǎn)區(qū)塊等。以第一影像區(qū)塊110與第二影像區(qū)塊112為兩不同視角影像的兩掃描線而言，第一影像區(qū)塊110與第二影像區(qū)塊112的區(qū)塊大小(即掃描線的像素點(diǎn)數(shù)目)并非固定，可視計(jì)算時(shí)間、計(jì)算成本與結(jié)果需求來加以調(diào)整，例如當(dāng)掃描線的像素點(diǎn)數(shù)目較多時(shí)，立體匹配系統(tǒng)10可于較多像素點(diǎn)內(nèi)執(zhí)行立體匹配，即具有較大的匹配搜索范圍，如此可使匹配結(jié)果較為正確，但相對(duì)地需增加較多的計(jì)算時(shí)間及成本。
[0034]最后，由于立體匹配系統(tǒng)10產(chǎn)生第一立體匹配結(jié)果120與第二立體匹配結(jié)果122中包含有視差信息，故可據(jù)以分析出第一影像區(qū)塊110與第二影像區(qū)塊112的深度信息并合成出相關(guān)于第一影像區(qū)塊110與第二影像區(qū)塊112的多視角影像區(qū)塊，進(jìn)而整合出左視角影像與右視角影像的多視角影像。
[0035]詳細(xì)來說，第一匹配模塊100、第二匹配模塊102及計(jì)算判斷模塊104分別可利用特殊應(yīng)用集成電路(applicat1n-specific integrated circuit, ASIC)來實(shí)現(xiàn)，或者也可通過微處理器(mic1processOT)結(jié)合儲(chǔ)存裝置來實(shí)現(xiàn)，而儲(chǔ)存裝置可儲(chǔ)存程序代碼指示微處理器執(zhí)行匹配運(yùn)算與計(jì)算判斷相關(guān)流程。其中，儲(chǔ)存裝置為只讀式內(nèi)存(read-onlymemory, ROM)、隨機(jī)存取內(nèi)存(random-access memory, RAM)、光盤只讀存儲(chǔ)器(CD-ROMs)、磁帶(magnetic tapes)、軟盤(floppy disks)、光學(xué)數(shù)據(jù)儲(chǔ)存裝置(optical data storagedevices)等等,并不限于此。
[0036]首先，立體匹配系統(tǒng)10會(huì)執(zhí)行第一影像區(qū)塊110至第二影像區(qū)塊112的立體匹配，以獲得第一影像區(qū)塊110的第一立體匹配結(jié)果120。在此情形下，第一匹配模塊100以第一影像區(qū)塊110為來源影像區(qū)塊，以第二影像區(qū)塊112為目的影像區(qū)塊，根據(jù)第一匹配算法對(duì)第一影像區(qū)塊110至第二影像區(qū)塊112執(zhí)行匹配搜尋與視差計(jì)算，以獲得第一匹配結(jié)果RES1，其包含有第一影像區(qū)塊110相關(guān)于第一匹配算法的視差信息，并且第一匹配模塊100再將第一匹配結(jié)果RES1輸出至計(jì)算判斷模塊104。同時(shí)，第二匹配模塊102以第一影像區(qū)塊110為來源影像區(qū)塊，以第二影像區(qū)塊112為目的影像區(qū)塊，根據(jù)第二匹配算法對(duì)第一影像區(qū)塊110至第二影像區(qū)塊112執(zhí)行匹配搜尋與視差計(jì)算，以獲得第二匹配結(jié)果RES2，其包含有第一影像區(qū)塊110相關(guān)于第二匹配算法的視差信息，并且第二匹配模塊102再將第二匹配結(jié)果RES2輸出至計(jì)算判斷模塊104。此外，第二匹配模塊102另會(huì)以第二影像區(qū)塊112為來源影像區(qū)塊，以第一影像區(qū)塊110為目的影像區(qū)塊，同樣根據(jù)第二匹配算法對(duì)第二影像區(qū)塊112至第一影像區(qū)塊110執(zhí)行匹配搜尋與視差計(jì)算，以獲得第三匹配結(jié)果RES3，而其包含有第二影像區(qū)塊112相關(guān)于第二匹配算法的視差信息。
[0037]借此，第二匹配模塊102根據(jù)第二匹配結(jié)果RES2中所包含相關(guān)于第一影像區(qū)塊110的視差信息，可獲得第一影像區(qū)塊110的一代表點(diǎn)于第二影像區(qū)塊112中的視差匹配位置，并標(biāo)示為第二影像區(qū)塊112的一匹配點(diǎn)。進(jìn)一步地，第二匹配模塊102根據(jù)第三匹配結(jié)果RES3所包含相關(guān)于第二影像區(qū)塊112的視差信息，可再獲得第二影像區(qū)塊112的匹配點(diǎn)于第一影像區(qū)塊110中的視差匹配位置，并標(biāo)示為第一影像區(qū)塊110的一驗(yàn)證點(diǎn)。接著，第二匹配模塊102計(jì)算第一影像區(qū)塊110代表點(diǎn)與驗(yàn)證點(diǎn)間的距離差值，以獲得匹配誤差值ERR，用以表示于第二匹配算法的匹配演算下，同一匹配特征點(diǎn)于第一影像區(qū)塊110的視差信息與于第二影像區(qū)塊112的視差信息間的誤差值大小，第二匹配模塊102并輸出匹配誤差值ERR至計(jì)算判斷模塊104。
[0038]另外，第二匹配模塊102根據(jù)第二匹配結(jié)果RES2中所包含相關(guān)于第一影像區(qū)塊110的視差信息，可獲得第一影像區(qū)塊110中所有原始點(diǎn)于第二影像區(qū)塊112中的所有視差匹配位置，并標(biāo)示為第二影像區(qū)塊112的所有相似點(diǎn)。接著，第二匹配模塊102計(jì)算第一影像區(qū)塊110的所有原始點(diǎn)與第二影像區(qū)塊112的所有相似點(diǎn)間像素值的整體相似程度，以獲得匹配相似度SM，并將匹配相似度SM輸出至計(jì)算判斷模塊104。
[0039]最后，計(jì)算判斷模塊104根據(jù)所接收到的匹配誤差值ERR與匹配相似度SM，當(dāng)匹配誤差值ERR小于一誤差臨界值且匹配相似度SM小于一相似臨界值時(shí)，判斷第一影像區(qū)塊110相關(guān)于第二算法匹配運(yùn)算的匹配結(jié)果為合理，而選擇第二匹配結(jié)果RES2成為第一立體匹配結(jié)果120。并且，當(dāng)匹配誤差值ERR大于誤差臨界值或匹配相似度SM大于相似臨界值時(shí)，計(jì)算判斷模塊104判斷第一影像區(qū)塊110相關(guān)于第二算法匹配運(yùn)算的匹配結(jié)果為不合理，而選擇第一匹配結(jié)果RES1成為第一立體匹配結(jié)果120。其中，誤差臨界值與相似臨界值可視需求來加以調(diào)整并不受限，以使匹配結(jié)果能更準(zhǔn)確。
[0040]立體匹配系統(tǒng)10執(zhí)行完第一影像區(qū)塊110至第二影像區(qū)塊112的立體匹配，而獲得第一影像區(qū)塊110的第一立體匹配結(jié)果120之后，立體匹配系統(tǒng)10同樣地根據(jù)上述的匹配運(yùn)算來執(zhí)行第二影像區(qū)塊112至第一影像區(qū)塊110的立體匹配，以獲得第二影像區(qū)塊112的第二立體匹配結(jié)果122，其包含有第二影像區(qū)塊112的視差信息。
[0041]如此一來，立體匹配系統(tǒng)10可針對(duì)不具有深度信息的兩不同視角影像，依序地執(zhí)行影像中相對(duì)應(yīng)個(gè)別影像區(qū)塊的立體匹配，并產(chǎn)生個(gè)別影像區(qū)塊的立體匹配結(jié)果，而可整合出兩不同視角影像的整體立體匹配結(jié)果，并可進(jìn)一步根據(jù)立體匹配結(jié)果所包含的視差信息(即兩不同視角影像的視差圖)，獲得兩不同視角影像的深度信息并合成出多視角影像。需注意的是，立體匹配系統(tǒng)10是同時(shí)利用兩個(gè)不同的算法(第一匹配算法與第二匹配算法)來執(zhí)行立體匹配以獲得兩個(gè)不同的立體匹配結(jié)果，故可分別設(shè)計(jì)兩個(gè)不同算法以分別適用影像中所包含兩不同對(duì)象的對(duì)象特性，并于執(zhí)行立體匹配后判斷其中一個(gè)匹配算法的匹配結(jié)果是否合理，選擇出適當(dāng)?shù)牧Ⅲw匹配結(jié)果，使得立體匹配系統(tǒng)10的立體匹配結(jié)果能更準(zhǔn)確。
[0042]值得注意地，第一匹配模塊100根據(jù)第一匹配算法來執(zhí)行立體匹配的實(shí)現(xiàn)方式未有所限。較佳地，第一匹配模塊100可根據(jù)一動(dòng)態(tài)規(guī)劃(Dynamic Programming)算法對(duì)第一影像區(qū)塊110至第二影像區(qū)塊112執(zhí)行匹配搜尋與視差計(jì)算，以獲得第一匹配結(jié)果RESl。根據(jù)動(dòng)態(tài)規(guī)劃算法的匹配運(yùn)算，第一影像區(qū)塊110與第二影像區(qū)塊112先相互執(zhí)行匹配搜尋，以獲得各自的匹配狀態(tài)后，再將各自的匹配狀態(tài)轉(zhuǎn)換為視差能量評(píng)價(jià)函數(shù)，此函數(shù)由數(shù)據(jù)項(xiàng)和平滑項(xiàng)構(gòu)成，并搭配算法來求得視差能量評(píng)價(jià)函數(shù)的能量最小值，進(jìn)而獲得第一影像區(qū)塊110與第二影像區(qū)塊112中每像素點(diǎn)的視差信息(即為每像素點(diǎn)的視差值)。也就是說，動(dòng)態(tài)規(guī)劃算法是根據(jù)第一影像區(qū)塊110與第二影像區(qū)塊112間的匹配狀態(tài)，通過視差能量評(píng)價(jià)函數(shù)以評(píng)量出最適當(dāng)?shù)囊暡钚畔ⅰ?br> [0043]請(qǐng)參考圖2，圖2為本發(fā)明實(shí)施例第一影像區(qū)塊110相關(guān)于動(dòng)態(tài)規(guī)劃算法的第一匹配結(jié)果RESl的示意圖。如圖2所示，第一影像區(qū)塊110為包含有像素點(diǎn)XO?X7的掃描線，而第二影像區(qū)塊112為包含有像素點(diǎn)YO?Y7的掃描線。于本實(shí)施例中第一影像區(qū)塊110的像素點(diǎn)XO?X7經(jīng)由動(dòng)態(tài)規(guī)劃算法的匹配運(yùn)算后，可獲得第一匹配結(jié)果RES1，其為像素點(diǎn)XO?X7的視差值4、4、4、4、3、2、1、0。由此可知，根據(jù)動(dòng)態(tài)規(guī)劃算法所評(píng)量的像素點(diǎn)XO?X3的視差值，第一影像區(qū)塊110的像素點(diǎn)XO?X3于第二影像區(qū)塊112中相距離4個(gè)像素點(diǎn)的位置為像素點(diǎn)XO?X3于第二影像區(qū)塊112的視差匹配位置，即第二影像區(qū)塊112的像素點(diǎn)Y4?Y7 (如圖2中相連接的箭頭線所示)。而根據(jù)動(dòng)態(tài)規(guī)劃算法所評(píng)量的像素點(diǎn)X4?X7的視差值，第一影像區(qū)塊110的像素點(diǎn)X4?X7于第二影像區(qū)塊112中相距離3、
2、1、0個(gè)像素點(diǎn)的位置為像素點(diǎn)X4?X7于第二影像區(qū)塊112的視差匹配位置，即第二影像區(qū)塊112的像素點(diǎn)Y7、Y7、Y7、Y7 (未特別標(biāo)示于圖2中)。
[0044]借此，由于動(dòng)態(tài)規(guī)劃算法是基于第一影像區(qū)塊110與第二影像區(qū)塊112間具有順序相關(guān)性的特征所設(shè)計(jì)，因此除搭配算法來求得視差能量評(píng)價(jià)函數(shù)的能量最小值以獲取視差信息外，動(dòng)態(tài)規(guī)劃算法還會(huì)限制需依循第一影像區(qū)塊110與第二影像區(qū)塊112間的順序相關(guān)性來求得視差信息，故當(dāng)像素點(diǎn)XO?Χ3視為具有4像素點(diǎn)寬的大型對(duì)象時(shí)，所評(píng)量出視差信息是具有順序且無快速變動(dòng)的特性，即像素點(diǎn)XO?Χ3為整體視差匹配至像素點(diǎn)Υ4?Υ7。因此，動(dòng)態(tài)規(guī)劃算法可適用于第一影像區(qū)塊110與第二影像區(qū)塊112中具有大型對(duì)象的匹配運(yùn)算，并具有視差信息較穩(wěn)定的特性。
[0045]再者，第二匹配模塊102根據(jù)第二匹配算法來執(zhí)行立體匹配的實(shí)現(xiàn)方式亦未有所限。較佳地，第二匹配模塊102可根據(jù)一掃描線最佳化(Scan-line Optimizat1n)算法對(duì)第一影像區(qū)塊HO與第二影像區(qū)塊112執(zhí)行匹配搜尋與視差計(jì)算，以獲得第二匹配結(jié)果RES2與第三匹配結(jié)果RES3。根據(jù)掃描線最佳化算法的匹配運(yùn)算，第一影像區(qū)塊110與第二影像區(qū)塊112亦需先相互執(zhí)行匹配搜尋，以獲得各自的匹配狀態(tài)后，再將各自的匹配狀態(tài)轉(zhuǎn)換為視差能量評(píng)價(jià)函數(shù)，并搭配算法來求得能量的最小值，進(jìn)而獲得第一影像區(qū)塊110與第二影像區(qū)塊112中每像素點(diǎn)的視差信息。相較于動(dòng)態(tài)規(guī)劃算法，掃描線最佳化算法為基于第一影像區(qū)塊110與第二影像區(qū)塊112間不具有順序相關(guān)性的特征所設(shè)計(jì)，因此是單純地搜尋視差能量評(píng)價(jià)函數(shù)的能量最小值以獲得視差信息，而無相關(guān)的搜尋限制。
[0046]請(qǐng)參考圖3，圖3為本發(fā)明實(shí)施例第一影像區(qū)塊110與第二影像區(qū)塊112相關(guān)于掃描線最佳化算法的第二匹配結(jié)果RES2與第三匹配結(jié)果RES3的示意圖。如圖3所示，第一影像區(qū)塊110為包含有像素點(diǎn)AO?A7的掃描線,而第二影像區(qū)塊112為包含有像素點(diǎn)BO?B7的掃描線。當(dāng)本實(shí)施例中第一影像區(qū)塊110的像素點(diǎn)AO?A7經(jīng)由掃描線最佳化算法的匹配運(yùn)算后，可獲得像素點(diǎn)AO?A7的第二匹配結(jié)果RES2，其為像素點(diǎn)AO?A7的視差值4、5、4、5、3、2、1、0。第二影像區(qū)塊112的像素點(diǎn)BO?B7經(jīng)由掃描線最佳化算法的匹配運(yùn)算后，可獲得像素點(diǎn)BO?B7的第三匹配結(jié)果RES3，其為像素點(diǎn)BO?B7的視差值7、6、6、5、2、3、4、5。
[0047]進(jìn)一步地，當(dāng)以像素點(diǎn)AO為第一影像區(qū)塊110的代表點(diǎn)時(shí)，根據(jù)像素點(diǎn)AO的視差值為4，第一影像區(qū)塊110的像素點(diǎn)AO于第二影像區(qū)塊112中相距離4個(gè)像素點(diǎn)的位置，為像素點(diǎn)AO于第二影像區(qū)塊112的視差匹配位置，即第二影像區(qū)塊112的像素點(diǎn)B4。另一方面，根據(jù)第二影像區(qū)塊112的像素點(diǎn)B4相關(guān)于最佳化算法所評(píng)量的視差值為2，故第二影像區(qū)塊112的像素點(diǎn)B4于第一影像區(qū)塊110中相距離2個(gè)像素點(diǎn)的位置,為像素點(diǎn)B4于第一影像區(qū)塊110的視差匹配位置，即第一影像區(qū)塊110的像素點(diǎn)A2。
[0048]由此可知，第二匹配模塊102根據(jù)掃描線最佳化算法，同時(shí)對(duì)第一影像區(qū)塊110至第二影像區(qū)塊112執(zhí)行匹配運(yùn)算，及對(duì)第二影像區(qū)塊112至第一影像區(qū)塊110執(zhí)行匹配運(yùn)算，可獲得第一影像區(qū)塊110的像素點(diǎn)AO視差匹配至第二影像區(qū)塊112的像素點(diǎn)B4，而第二影像區(qū)塊112的像素點(diǎn)B4視差匹配至第一影像區(qū)塊110的像素點(diǎn)A2，故于第一影像區(qū)塊110中，計(jì)算像素點(diǎn)AO與像素點(diǎn)A2間的距離差值(即為2個(gè)像素點(diǎn))，可獲得第一影像區(qū)塊110的匹配誤差值ERR。
[0049]同時(shí)，第二匹配模塊102根據(jù)像素點(diǎn)AO?A7的視差值，可獲得第一影像區(qū)塊110的像素點(diǎn)AO?A7于第二影像區(qū)塊112中的所有視差匹配位置，并可分別計(jì)算像素點(diǎn)AO?A7與相對(duì)應(yīng)第二影像區(qū)塊112中視差匹配位置的像素點(diǎn)的像素差值的絕對(duì)值，以分別獲得像素點(diǎn)AO?A7的相似度，再將像素點(diǎn)AO?A7的相似度累加以獲得第一影像區(qū)塊110匹配至第二影像區(qū)塊112的匹配相似度SIM。
[0050]借此，由于掃描線最佳化算法是基于第一影像區(qū)塊110與第二影像區(qū)塊112間不具有順序相關(guān)性的特征所設(shè)計(jì)，因此單以求得視差能量評(píng)價(jià)函數(shù)的能量最小值以獲得視差信息，故所評(píng)量出的視差信息不具有順序性而有快速變動(dòng)的特性，如第一影像區(qū)塊110的像素點(diǎn)AO于第二影像區(qū)塊112的視差匹配位置為像素點(diǎn)B4，而第一影像區(qū)塊110的像素點(diǎn)Al于第二影像區(qū)塊112的視差匹配位置為像素點(diǎn)B6，其非連續(xù)穩(wěn)定變化。因此，掃描線最佳化算法較適用于第一影像區(qū)塊110與第二影像區(qū)塊112中具有小型對(duì)象的匹配運(yùn)算，可快速反應(yīng)出小型對(duì)象的視差信息并具有快速變動(dòng)的特性。
[0051]如此一來，第一匹配模塊100可根據(jù)如動(dòng)態(tài)規(guī)劃算法的設(shè)計(jì)執(zhí)行適用于大對(duì)象的匹配運(yùn)算，第二匹配模塊102可根據(jù)如掃描線最佳化算法的設(shè)計(jì)執(zhí)行適用于小對(duì)象的匹配運(yùn)算。由于第一匹配模塊100適用于大對(duì)象，故第一匹配模塊100用于兩不同視角影像中具有大對(duì)象的匹配運(yùn)算時(shí)，其匹配結(jié)果會(huì)較穩(wěn)定且不會(huì)有快速變動(dòng)。另外，由于第二匹配模塊102適用于小對(duì)象，故第二匹配模塊102用于兩不同視角影像中具有小對(duì)象的匹配運(yùn)算時(shí)，其匹配結(jié)果快速反應(yīng)出小型對(duì)象的視差信息。同時(shí)，為了避免第二匹配模塊102所產(chǎn)生的視差信息因快速變動(dòng)而造成不正確的立體匹配結(jié)果，第二匹配模塊102同時(shí)進(jìn)行計(jì)算匹配誤差值ERR與匹配相似度SM，并通過計(jì)算判斷模塊104判斷當(dāng)匹配誤差值ERR小于預(yù)定的誤差臨界值且匹配相似度SIM小于預(yù)定的相似臨界值時(shí)，第一影像區(qū)塊110于掃描線最佳化算法的匹配運(yùn)算下的匹配結(jié)果為合理，故選擇第二匹配結(jié)果RES2為第一立體匹配結(jié)果120。而計(jì)算判斷模塊104判斷當(dāng)匹配誤差值ERR大于預(yù)定的誤差臨界值或匹配相似度SIM大于預(yù)定的相似臨界值時(shí)，第一影像區(qū)塊110于掃描線最佳化算法的匹配運(yùn)算下的匹配結(jié)果為不合理，故選擇第一匹配結(jié)果RESl為第一立體匹配結(jié)果120。因此，可于兩不同特性的算法所評(píng)量出的匹配結(jié)果中適當(dāng)?shù)剡x擇出匹配結(jié)果，而可使得匹配結(jié)果能更正確。
[0052]關(guān)于立體匹配系統(tǒng)10執(zhí)行第一影像區(qū)塊110與第二影像區(qū)塊112間的立體匹配，以獲得第一立體匹配結(jié)果120所適用的方法，可進(jìn)一步歸納為一影像匹配流程40，如圖4所示。影像匹配流程40包含以下步驟:
[0053]步驟400:開始。
[0054]步驟402:根據(jù)第一匹配算法，對(duì)第一影像區(qū)塊110至第二影像區(qū)塊112執(zhí)行匹配運(yùn)算，以產(chǎn)生第一匹配結(jié)果RES1。
[0055]步驟404:根據(jù)第二匹配算法，對(duì)第一影像區(qū)塊110至第二影像區(qū)塊112執(zhí)行匹配運(yùn)算，以產(chǎn)生第二匹配結(jié)果RES2。
[0056]步驟406:根據(jù)第二匹配算法，對(duì)第二影像區(qū)塊112至第一影像區(qū)塊110執(zhí)行匹配運(yùn)算，以產(chǎn)生第三匹配結(jié)果RES3。
[0057]步驟408:根據(jù)第二匹配結(jié)果RES2與第三匹配結(jié)果RES3，獲得第一影像區(qū)塊110相關(guān)于第二匹配算法的匹配誤差值ERR，并根據(jù)第二匹配結(jié)果，獲得第一影像區(qū)塊匹配至第二影像區(qū)塊的匹配相似度SIM。
[0058]步驟410:根據(jù)匹配誤差值ERR與匹配相似度SM，判斷第一影像區(qū)塊110的第一立體匹配結(jié)果120為第一匹配結(jié)果RESl或第二匹配結(jié)果RES2。
[0059]步驟412:結(jié)束。
[0060]影像匹配流程40中每一步驟的詳細(xì)操作，可參考前述實(shí)施例的相關(guān)段落說明，在此不贅述。較佳地，步驟402到步驟408的先后操作順序，亦可根據(jù)實(shí)際需求來對(duì)應(yīng)調(diào)整，例如先進(jìn)行步驟404到步驟408先獲得第一影像區(qū)塊110相關(guān)于第二匹配算法的匹配結(jié)果、匹配誤差值及匹配相似度后，再進(jìn)行步驟402獲得第一影像區(qū)塊110相關(guān)于第一匹配算法的匹配結(jié)果，亦為本發(fā)明的范疇。另外，本實(shí)施例所提供的影像匹配流程40是針對(duì)第一影像區(qū)塊110的匹配運(yùn)算，用以獲得第一立體匹配結(jié)果120，關(guān)于第二影像區(qū)塊112的第二立體匹配結(jié)果122，同樣可依據(jù)影像匹配流程40，根據(jù)第一匹配算法獲得第二影像區(qū)塊112的匹配結(jié)果，并且根據(jù)第二匹配算法獲得第二影像區(qū)塊112的匹配結(jié)果、匹配誤差值及匹配相似度后，再根據(jù)匹配誤差值及匹配相似度判斷出第二立體匹配結(jié)果122為相關(guān)于第一匹配算法的匹配結(jié)果或相關(guān)于第二匹配算法的匹配結(jié)果。
[0061]具體而言，本發(fā)明實(shí)施例是在立體匹配系統(tǒng)中，考慮適用于小對(duì)象的算法所產(chǎn)生的視差信息具有快速變動(dòng)的特性，故針對(duì)適用于小對(duì)象的算法如掃描線最佳化算法，執(zhí)行兩圖像區(qū)塊間的匹配運(yùn)算，并根據(jù)兩圖像區(qū)塊間匹配運(yùn)算的結(jié)果，相互比較以獲得其中圖像區(qū)塊的匹配誤差值及匹配相似度，用以判斷視差信息是否合理。本領(lǐng)域的技術(shù)人員當(dāng)可據(jù)以進(jìn)行修飾或變化，舉例來說，于本實(shí)施例中，第二算法為掃描線最佳化算法，于其它實(shí)施例中，第二算法也可為如可信度傳遞算法(Belief Propagat1n, BP)等同樣適用于小對(duì)象的算法，并不受限。
[0062]再者，于本實(shí)施例中，動(dòng)態(tài)規(guī)劃算法與掃描線最佳化算法通過匹配搜尋與計(jì)算能量評(píng)價(jià)函數(shù)來獲得視差信息。于其它實(shí)施例，動(dòng)態(tài)規(guī)劃算法與掃描線最佳化算法也可再增加其它限制或增加其它計(jì)算與判斷，來增加視差信息的準(zhǔn)確性，如根據(jù)兩掃描線的時(shí)間相關(guān)性或空間相關(guān)性來加以判斷，以獲得相關(guān)于動(dòng)態(tài)規(guī)劃算法與掃描線最佳化算法的準(zhǔn)確視差信息，之后才可再依據(jù)較準(zhǔn)確的視差信息，計(jì)算出匹配誤差值及匹配相似度，并據(jù)以判斷與選擇出正確的匹配結(jié)果。
[0063]此外，于本實(shí)施例中，先執(zhí)行完第一影像區(qū)塊110至第二影像區(qū)塊112的立體匹配，而獲得第一影像區(qū)塊110的第一立體匹配結(jié)果120的后，再執(zhí)行第二影像區(qū)塊112至第一影像區(qū)塊110的立體匹配，以獲得第二影像區(qū)塊112的第二立體匹配結(jié)果122。于其它實(shí)施例中，也可同時(shí)執(zhí)行第一影像區(qū)塊110至第二影像區(qū)塊112的立體匹配及第二影像區(qū)塊112至第一影像區(qū)塊110的立體匹配，并同時(shí)獲得第一影像區(qū)塊110的第一立體匹配結(jié)果120與第二影像區(qū)塊112的第二立體匹配結(jié)果122，而不受限。
[0064]綜上所述，在現(xiàn)有技術(shù)中，僅利用單一算法來執(zhí)行兩不同視角影像間的立體匹配，由于影像的景觀不盡相同，因此當(dāng)算法不適用于影像中對(duì)象的特性時(shí)，便會(huì)獲得錯(cuò)誤的視差信息，而影響深度信息的準(zhǔn)確性。相較之下，本發(fā)明同時(shí)利用兩不同算法執(zhí)行兩不同視角影像間的匹配運(yùn)算，且可設(shè)計(jì)兩不同算法為適用于大對(duì)象與小對(duì)象的匹配運(yùn)算，并可同時(shí)獲得相對(duì)應(yīng)的兩不同匹配結(jié)果。借此，本發(fā)明可再針對(duì)視差信息較易快速變動(dòng)的算法，執(zhí)行兩不同視角影像間的匹配運(yùn)算，用以比較并獲得匹配誤差值及匹配相似度，而據(jù)以判斷以選擇出準(zhǔn)確的匹配結(jié)果。
[0065]以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種影像匹配方法，用于一立體匹配系統(tǒng)中執(zhí)行一第一影像區(qū)塊至一第二影像區(qū)塊的一立體匹配，該影像匹配方法包含有: 根據(jù)一第一匹配算法，對(duì)該第一影像區(qū)塊至該第二影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第一匹配結(jié)果； 根據(jù)一第二匹配算法，對(duì)該第一影像區(qū)塊至該第二影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第二匹配結(jié)果； 根據(jù)該第二匹配算法，對(duì)該第二影像區(qū)塊至該第一影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第三匹配結(jié)果； 根據(jù)該第二匹配結(jié)果與該第三匹配結(jié)果，獲得該第一影像區(qū)塊相關(guān)于該第二匹配算法的一匹配誤差值，并根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊匹配至該第二影像區(qū)塊的一匹配相似度；以及 根據(jù)該匹配誤差值與該匹配相似度，判斷該第一影像區(qū)塊的一立體匹配結(jié)果為該第一匹配結(jié)果或該第二匹配結(jié)果。
2.如權(quán)利要求1所述的方法，其中該第一影像區(qū)塊與該第二影像區(qū)塊為一影像的兩條掃描線或兩個(gè)區(qū)塊。
3.如權(quán)利要求1所述的方法，其中第一匹配算法包含根據(jù)該第一影像區(qū)塊與該第二影像區(qū)塊間具有一順序相關(guān)性的特征所設(shè)計(jì)，并適用于該第一影像區(qū)塊與該第二影像區(qū)塊中具有一大型對(duì)象的匹配運(yùn)算。
4.如權(quán)利要求1所述的方法，其中第一匹配算法包含根據(jù)一動(dòng)態(tài)規(guī)劃算法來執(zhí)行匹配運(yùn)算。
5.如權(quán)利要求1所述的方法，其中第二匹配算法包含根據(jù)該第一影像區(qū)塊與該第二影像區(qū)塊間不具有一順序相關(guān)性的特征所設(shè)計(jì)，并適用于該第一影像區(qū)塊與該第二影像區(qū)塊中具有一小型對(duì)象的匹配運(yùn)算。
6.如權(quán)利要求1所述的方法，其中第二匹配算法包含根據(jù)一掃描線最佳化算法來執(zhí)行匹配運(yùn)算。
7.如權(quán)利要求1所述的方法，其中根據(jù)該第二匹配結(jié)果與該第三匹配結(jié)果，獲得該第一影像區(qū)塊相關(guān)于該第二匹配算法的該匹配誤差值的步驟，包含有: 根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊的一代表點(diǎn)匹配至該第二影像區(qū)塊的一匹配點(diǎn)； 根據(jù)該第三匹配結(jié)果，獲得該第二影像區(qū)塊的該匹配點(diǎn)匹配至該第一影像區(qū)塊的一驗(yàn)證點(diǎn)；以及 計(jì)算該代表點(diǎn)與該驗(yàn)證點(diǎn)的一距離差值，以獲得該第一影像區(qū)塊相關(guān)于該第二匹配算法的該匹配誤差值。
8.如權(quán)利要求1所述的方法，其中根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊匹配至該第二影像區(qū)塊的該匹配相似度，包含有: 根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊的至少一原始點(diǎn)匹配至該第二影像區(qū)塊的至少一相似點(diǎn)；以及 根據(jù)該第一影像區(qū)塊的該至少一原始點(diǎn)與該第二影像區(qū)塊的該至少一相似點(diǎn)，獲得該匹配相似度。
9.如權(quán)利要求1所述的方法，其中該匹配相似度為該至少一原始點(diǎn)與該至少一相似點(diǎn)的至少一像素差值的一絕對(duì)值的一總和。
10.如權(quán)利要求1所述的方法，其中根據(jù)該匹配誤差值與該匹配相似度，判斷該第一影像區(qū)塊的該立體匹配結(jié)果為該第一匹配結(jié)果或該第二匹配結(jié)果的步驟，包含有: 當(dāng)該匹配誤差值小于一誤差臨界值且該匹配相似度小于一相似臨界值時(shí)，判斷該立體匹配結(jié)果為該第二匹配結(jié)果，以及當(dāng)該匹配誤差值大于該誤差臨界值或該匹配相似度大于該相似臨界值時(shí)，判斷該立體匹配結(jié)果為該第一匹配結(jié)果。
11.如權(quán)利要求1所述的方法，其中該立體匹配結(jié)果包含有該第一影像區(qū)塊至該第二影像區(qū)塊的一視差息。
12.—種立體匹配系統(tǒng)，用以執(zhí)行一第一影像區(qū)塊至一第二影像區(qū)塊的一立體匹配，該立體匹配系統(tǒng)包含有: 一第一匹配模塊，用來根據(jù)一第一匹配算法，對(duì)該第一影像區(qū)塊至該第二影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第一匹配結(jié)果； 一第二匹配模塊，用來根據(jù)一第二匹配算法，對(duì)該第一影像區(qū)塊至該第二影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第二匹配結(jié)果，及對(duì)該第二影像區(qū)塊至該第一影像區(qū)塊執(zhí)行匹配運(yùn)算，以產(chǎn)生一第三匹配結(jié)果，并且根據(jù)該第二匹配結(jié)果與該第三匹配結(jié)果，獲得該第一影像區(qū)塊相關(guān)于該第二匹配算法的一匹配誤差值，及根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊匹配至該第二影像區(qū)塊的一匹配相似度；以及一計(jì)算判斷模塊，用來根據(jù)該匹配誤差值與該匹配相似度，判斷該第一影像區(qū)塊的一立體匹配結(jié)果為該第一匹配結(jié)果或該第二匹配結(jié)果。
13.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中該第一影像區(qū)塊與該第二影像區(qū)塊為一影像的兩條掃描線或兩個(gè)區(qū)塊。
14.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中第一匹配算法包含根據(jù)該第一影像區(qū)塊與該第二影像區(qū)塊間具有一順序相關(guān)性的特征所設(shè)計(jì)，并適用于該第一影像區(qū)塊與該第二影像區(qū)塊中具有一大型對(duì)象的匹配運(yùn)算。
15.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中第一匹配算法包含根據(jù)一動(dòng)態(tài)規(guī)劃算法來執(zhí)行匹配運(yùn)算。
16.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中第二匹配算法包含根據(jù)該第一影像區(qū)塊與該第二影像區(qū)塊間不具有一順序相關(guān)性的特征所設(shè)計(jì)，并適用于該第一影像區(qū)塊與該第二影像區(qū)塊中具有一小型對(duì)象的匹配運(yùn)算。
17.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中第二匹配算法包含根據(jù)一掃描線最佳化算法來執(zhí)行匹配運(yùn)算。
18.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中根據(jù)該第二匹配結(jié)果與該第三匹配結(jié)果，獲得該第一影像區(qū)塊相關(guān)于該第二匹配算法的該匹配誤差值的步驟，包含有: 根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊的一代表點(diǎn)匹配至該第二影像區(qū)塊的一匹配點(diǎn)； 根據(jù)該第三匹配結(jié)果，獲得該第二影像區(qū)塊的該匹配點(diǎn)匹配至該第一影像區(qū)塊的一驗(yàn)證點(diǎn)；以及 計(jì)算該代表點(diǎn)與該驗(yàn)證點(diǎn)的一距離差值，以獲得該第一影像區(qū)塊相關(guān)于該第二匹配算法的該匹配誤差值。
19.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊匹配至該第二影像區(qū)塊的該匹配相似度，包含有: 根據(jù)該第二匹配結(jié)果，獲得該第一影像區(qū)塊的至少一原始點(diǎn)匹配至該第二影像區(qū)塊的至少一相似點(diǎn)；以及 根據(jù)該第一影像區(qū)塊的該至少一原始點(diǎn)與該第二影像區(qū)塊的該至少一相似點(diǎn)，獲得該匹配相似度。
20.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中該匹配相似度為該至少一原始點(diǎn)與該至少一相似點(diǎn)的至少一像素差值的一絕對(duì)值的一總和。
21.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中根據(jù)該匹配誤差值與該匹配相似度，判斷該第一影像區(qū)塊的該立體匹配結(jié)果為該第一匹配結(jié)果或該第二匹配結(jié)果的步驟，包含有: 當(dāng)該匹配誤差值小于一誤差臨界值且該匹配相似度小于一相似臨界值時(shí)，判斷該立體匹配結(jié)果為該第二匹配結(jié)果，以及當(dāng)該匹配誤差值大于該誤差臨界值或該匹配相似度大于該相似臨界值時(shí)，判斷該立體匹配結(jié)果為該第一匹配結(jié)果。
22.如權(quán)利要求12所述的立體匹配系統(tǒng)，其中該立體匹配結(jié)果包含有該第一影像區(qū)塊至該第二影像區(qū)塊的一匹配信息，并可由該匹配信息獲得該第一影像區(qū)塊的一視差信息。
【文檔編號(hào)】H04N13/00GK104284172SQ201310279902
【公開日】2015年1月14日 申請(qǐng)日期:2013年7月4日 優(yōu)先權(quán)日:2013年7月4日
【發(fā)明者】周磊, 劉廣智, 周正偉 申請(qǐng)人:聯(lián)詠科技股份有限公司