使用顏色編碼結(jié)構(gòu)的相機(jī)標(biāo)定方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] -種用于相機(jī)標(biāo)定的方法及裝置被提出，尤其是使用顏色編碼結(jié)構(gòu)的相機(jī)標(biāo)定的 方法及裝置。被表示為相機(jī)標(biāo)定的技術(shù)領(lǐng)域收集了旨在表征用于描述相機(jī)的圖像形成過程 的數(shù)學(xué)模型的算法和技術(shù)。此外，適用于該方法及裝置的計(jì)算機(jī)可讀介質(zhì)也被提出。
【背景技術(shù)】
[0002] 對于相機(jī)模型評估的一個基本需求（即，相機(jī)標(biāo)定）是現(xiàn)實(shí)世界中一些點(diǎn)的3D坐 標(biāo)與其在一個標(biāo)定圖像上或一組標(biāo)定圖像內(nèi)的投影之間的無誤差對應(yīng)的輸入數(shù)據(jù)集。該輸 入數(shù)據(jù)集一般能夠通過捕獲圖像上的標(biāo)定物并從中提取該對應(yīng)關(guān)系來獲得[I]。文獻(xiàn)中提 出并且市場上可用的大多數(shù)相機(jī)標(biāo)定算法被稱為度量標(biāo)定（metriccalibration)，其中符 號度量突出了 3D世界景象的先驗(yàn)已知的度量信息的明確利用。對于這種做法，通常利用一 種格狀圖案，因?yàn)樗菀讬z測，能夠以單通道灰度圖像的形式被捕獲，并且能夠提供度量相 機(jī)標(biāo)定所需的度量信息，即，一組格點(diǎn)及其坐標(biāo)。
[0003] 在以上主要趨勢的同時(shí)，一些研宄提出了一種用于相機(jī)標(biāo)定的不同方法，該方法 只使用從標(biāo)定物推斷出的非度量特征。該方法的一個示例性實(shí)踐是對從同一 3D線投影的 圖像點(diǎn)實(shí)施共線約束[II，III]。這些技術(shù)提供了一些優(yōu)勢。不想要的、對于3D世界點(diǎn)坐標(biāo) 的錯誤分配的可能性被消除，即，更高的魯棒性，因?yàn)椴恍枰_恢復(fù)標(biāo)定網(wǎng)格的3D坐標(biāo)。 相應(yīng)的評估問題的復(fù)雜性被降到最低等級，因此，標(biāo)定相機(jī)變得更有效，尤其對于具有廣角 鏡頭、容易導(dǎo)致變形的模型的那些相機(jī)。
[0004] 非度量標(biāo)定方法到目前為止還未在本領(lǐng)域十分成功，因?yàn)楹茈y開發(fā)根本的評估問 題的數(shù)學(xué)公式。此外，還缺乏對于相關(guān)的相機(jī)模型不確定性的全面理解。根據(jù)[IV]，使用 非度量輸入數(shù)據(jù)的完全歐式（Euclidean)標(biāo)定不僅需要實(shí)施3D坐標(biāo)點(diǎn)的共線約束，還需要 3D線束之間的平行及正交。
[0005] 被廣泛用作格狀圖案源的標(biāo)準(zhǔn)棋盤（checkerboard)的確滿足了度量標(biāo)定技術(shù)的 需求，但不是非度量標(biāo)定方法的最優(yōu)解決方案。當(dāng)遇到旨在線評估的低級處理以檢測一束 線時(shí)，棋盤的線交叉能夠?qū)е聦τ跀?shù)據(jù)收集的不可忽略的干擾。

【發(fā)明內(nèi)容】

[0006] 因此，一個目的是提出一種用于相機(jī)標(biāo)定的改進(jìn)方案，該方案能夠消除來自格狀 結(jié)構(gòu)的線交叉的不想要的干擾，而同時(shí)維持其他需求，例如，點(diǎn)共線、線平行及正交。特別 地，本發(fā)明提供了使用顏色編碼結(jié)構(gòu)的單個圖像內(nèi)的雙組分標(biāo)定圖案的整合的方案。
[0007] 根據(jù)一個實(shí)施例，一種相機(jī)標(biāo)定方法包括：
[0008] 從相機(jī)接收圖像，在該圖像中捕獲顏色編碼結(jié)構(gòu)，其中該顏色編碼結(jié)構(gòu)包括在不 同顏色通道中的至少兩組圖案；
[0009] 確定與該圖像中的顏色編碼結(jié)構(gòu)相關(guān)聯(lián)的多個坐標(biāo)點(diǎn)；以及
[0010] 使用這些坐標(biāo)點(diǎn)執(zhí)行相機(jī)標(biāo)定。
[0011] 相應(yīng)的，一種相機(jī)標(biāo)定裝置包括：
[0012] 圖像接收單元，被配置為從相機(jī)接收圖像，在該圖像中捕獲顏色編碼結(jié)構(gòu)，其中該 顏色編碼結(jié)構(gòu)包括在不同顏色通道中的至少兩組圖案；以及
[0013] 相機(jī)標(biāo)定單元，被配置為確定與該圖像中的顏色編碼結(jié)構(gòu)相關(guān)聯(lián)的多個坐標(biāo)點(diǎn)， 并且使用這些坐標(biāo)點(diǎn)執(zhí)行相機(jī)標(biāo)定。
[0014] 此外，一種在其中存儲了用于相機(jī)標(biāo)定的指令的計(jì)算機(jī)可讀存儲介質(zhì)，當(dāng)所述指 令被計(jì)算機(jī)執(zhí)行時(shí)，使得所述計(jì)算機(jī)：
[0015] 從相機(jī)接收圖像，在該圖像中捕獲顏色編碼結(jié)構(gòu)，其中該顏色編碼結(jié)構(gòu)包括在不 同顏色通道中的至少兩組圖案；
[0016] 確定與該圖像中的顏色編碼結(jié)構(gòu)相關(guān)聯(lián)的多個坐標(biāo)點(diǎn)；以及
[0017] 使用這些坐標(biāo)點(diǎn)執(zhí)行相機(jī)標(biāo)定。
【附圖說明】
[0018] 為了更好的理解本發(fā)明，現(xiàn)在將在下面的描述中結(jié)合附圖詳細(xì)解釋所提出的方 案。應(yīng)該理解的是，該方案不限于所公開的示例性實(shí)施例，并且在不脫離所附權(quán)利要求中所 限定的所提出的方案的范圍的情況下，指定特征還可以適當(dāng)組合和/或修改。
[0019] 圖1是示出了相機(jī)標(biāo)定方法的一個優(yōu)選實(shí)施例的流程圖。
[0020] 圖2是示出了相機(jī)標(biāo)定方法的另一優(yōu)選實(shí)施例的流程圖。
[0021] 圖3示出了用于相機(jī)標(biāo)定方法的一個優(yōu)選實(shí)施例的示例性顏色編碼結(jié)構(gòu)。
[0022] 圖4是示出了相機(jī)標(biāo)定方法的一個示例性實(shí)施例的流程圖。
[0023] 圖5示出了從圖4所示的相機(jī)標(biāo)定方法的示例性實(shí)施例中獲得的結(jié)果。
[0024] 圖6示出了從圖4所示的相機(jī)標(biāo)定方法的示例性實(shí)施例中獲得的更多結(jié)果。
[0025] 圖7是示出了包括細(xì)化（refinement)過程的相機(jī)標(biāo)定方法的一個優(yōu)選實(shí)施例的 流程圖。
[0026] 圖8示出了作為彩色及灰度圖像上的垂直邊緣的標(biāo)定數(shù)據(jù)集的檢測結(jié)果。
[0027] 圖9示出了用于相機(jī)標(biāo)定方法的優(yōu)選實(shí)施例中的細(xì)化過程的兩個示例性邊緣模 板。
[0028] 圖10是示出了相機(jī)標(biāo)定方法的一個優(yōu)選實(shí)施例中的示例性細(xì)化過程的流程圖。
[0029] 圖11示出了用于相機(jī)標(biāo)定方法的優(yōu)選實(shí)施例中的細(xì)化過程的幾何變換及光度標(biāo) 準(zhǔn)化技術(shù)。
[0030] 圖12示出了從所提出的相機(jī)標(biāo)定方法的示例性實(shí)施例中獲得的結(jié)果，具有和不 具有細(xì)化過程。
[0031] 圖13示出了使用所提出的相機(jī)標(biāo)定方法的優(yōu)選實(shí)施例的標(biāo)定過程的改進(jìn)。
[0032] 圖14是示出了被配置為執(zhí)行相機(jī)標(biāo)定方法的實(shí)施例的裝置的優(yōu)選實(shí)施例的原理 圖。
【具體實(shí)施方式】
[0033] 圖1示意性地示出了一種相機(jī)標(biāo)定方法的優(yōu)選實(shí)施例，該方法包括：從相機(jī)接收 圖像（10)，在該圖像中捕獲顏色編碼結(jié)構(gòu)，其中該顏色編碼結(jié)構(gòu)包括具有不同顏色通道的 至少兩組圖案；確定與該圖像中的顏色編碼結(jié)構(gòu)相關(guān)聯(lián)的多個坐標(biāo)點(diǎn)（11);以及使用這些 坐標(biāo)點(diǎn)執(zhí)行相機(jī)標(biāo)定（12)。該顏色編碼結(jié)構(gòu)可以是包括具有不同顏色通道的至少兩組圖案 的任意種類的結(jié)構(gòu)。例如，該顏色編碼結(jié)構(gòu)可以是在相機(jī)捕獲的2D表面上顯示的顏色編碼 圖。類似地，該組圖案可以是任意種類的圖案，例如，平行線或平行條帶（stripe)。
[0034] 優(yōu)選地，如圖2所示，該方法進(jìn)一步包括區(qū)分顏色編碼結(jié)構(gòu)的至少兩組圖案（13)， 從而分別確定每組圖案的坐標(biāo)點(diǎn)子集（11)。在這種情況下，每組坐標(biāo)點(diǎn)子集與顏色編碼結(jié) 構(gòu)的相應(yīng)組的圖案相關(guān)聯(lián)。
[0035] 此外，相機(jī)標(biāo)定方法的一個優(yōu)選實(shí)施例可選地包括：從相機(jī)接收多個圖像（10)， 在每個圖像中捕獲顏色編碼結(jié)構(gòu)；以及確定每個圖像的多個坐標(biāo)點(diǎn)（11)。當(dāng)捕獲并使用多 于一個圖像時(shí)，相機(jī)標(biāo)定的結(jié)果能夠被提尚并且更加精確。
[0036] -般被稱為標(biāo)定數(shù)據(jù)集的坐標(biāo)點(diǎn)的確定和收集旨在識別每個圖像內(nèi)的標(biāo)定物 (即，該方法中的顏色編碼結(jié)構(gòu)）。這意味著檢測一組圖像特征以及建立這些特征與標(biāo)定物 上的源特征的對應(yīng)關(guān)系。
[0037] 下面將詳細(xì)說明并解釋本發(fā)明的方法的一個示例性優(yōu)選實(shí)施例。應(yīng)該注意的是， 當(dāng)熟知的功能或配置的重復(fù)描述及詳細(xì)描述會對本發(fā)明的要旨造成不必要的模糊時(shí)，該詳 細(xì)描述將被省略。
[0038] 圖3(a)示出了用于優(yōu)選實(shí)施例中的示例性顏色編碼結(jié)構(gòu)，它是包括兩組圖案的 顏色編碼圖。這兩組圖案中的每一組分別是一束平行條帶，并且這兩束的顏色通道是不同 的。優(yōu)選地，這兩束平行條帶相互正交。例如，如圖3(b)和圖3(c)所示，平行條帶的水平 束為紅色，垂直束為藍(lán)色。這里用來建立基本圖案塊的顏色（例如，紅色、藍(lán)色和綠色）被 選擇以便緩解相機(jī)的自動白平衡。所提出的顏色編碼結(jié)構(gòu)產(chǎn)生灰度色調(diào)的平均顏色。這是 一個優(yōu)勢，因?yàn)樗鼭M足了多數(shù)自動白平衡算法的灰度世界的假設(shè)，從而允許成功收集對于 室外和室內(nèi)情況的好的標(biāo)定視圖。對于用于該優(yōu)選實(shí)施例中的顏色編碼圖，線束的數(shù)量、每 束的顏色通道、以及任意兩束之間的相對角度當(dāng)然是靈活的，并且能夠基于不同需求和情 況進(jìn)行調(diào)整。
[0039] 該顏色編碼圖能夠被簡單地示于屏幕上并被相機(jī)從不同位置以及在不同方向下 捕獲以進(jìn)行標(biāo)定。這些捕獲的圖像提供了最初標(biāo)定圖像數(shù)據(jù)集。通過獲取該圖像數(shù)據(jù)集， 圖像中的多個坐標(biāo)點(diǎn)（即，標(biāo)定數(shù)據(jù)集）能夠被提取以供后續(xù)相機(jī)標(biāo)定處理。
[0040] 在該優(yōu)選實(shí)施例中，一種簡單的用戶協(xié)助的ad-hoc算法被設(shè)計(jì)用于標(biāo)定數(shù) 據(jù)集的提取。使用一種基于采用階和度為（1，〇)的高斯-拉蓋爾圓形諧波濾波器 (Gauss-LaguerreCircularHarmonicFilter，GL_CHF)來進(jìn)行圖像探測的圖像探測工具， 其被測試為魯棒的檢測器，即使在存在高級圖像噪聲的情況下仍然如此[V]。它是從相應(yīng)的 GL函數(shù)獲得的復(fù)值可調(diào)濾波器，并且特別調(diào)整為適應(yīng)階梯狀圖像特征的檢測。屬于該族的 濾波器顯示出尺度旋轉(zhuǎn)不變性以及對于不同圖像特征的辨別能力[VI，VII，VIII，XI]。該算 法使非度量相機(jī)標(biāo)定的輸入