專利名稱：一種適用于球面攝像頭陣列的攝像頭顏色校準方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機多媒體領(lǐng)域，特別涉及計算機視覺和攝像頭陳列的顏色校準。
技術(shù)背景攝像頭陣列用一組攝像頭對場景進行采樣，能為用戶提供同一場景不同視角的視頻/圖像信息。利用這些信息，用戶可以進行一些特定的研究，如3維場景重建、虛擬視角視頻 合成等。攝像頭陣列與傳統(tǒng)的單攝像頭相比，有明顯的優(yōu)勢，它在學術(shù)研究領(lǐng)域和實際應 用中都有著廣泛的前景。目前，攝像頭陣列的相關(guān)研究已經(jīng)吸引了相當一批學者。攝像頭陣列可能有各種不同的攝像頭組成，也可能由相同的攝像頭組成。但就是完全 相同的攝像頭，在相同條件下對光照強度和顏色的感應也會有很大的不同。因此，場景中 的同一物體在各攝像頭圖像中成像的顏色可能會有所差別。這將給之后的運算，如找對應 點、識別及其它一些視覺操作帶來相當大的麻煩。遙感、圖像檢索和人臉識別都對圖像的 顏色準確度有比較高的要求。' .攝像頭陣列的攝像頭顏色校準是通過調(diào)節(jié)相繼參數(shù)使攝像頭陳列中的攝^頭采集的顏 色樣本與基準顏色相接近并減小攝像頭之間圖像亮度和顏色差別的過程。該過程是利用攝 像頭采集圖像或視頻，進行計算機視覺、圖形學研究的必須步驟。攝像頭陣列用戶往往比較關(guān)心攝像頭的幾何校正，在一定程度上忽略顏色校準或者不 夠重視。很多用戶根本不進行顏色校準或者完全依賴于手動調(diào)節(jié)攝像頭參數(shù)。有些用戶則 采用單攝像頭顏色校準的方法，讓攝像頭自動調(diào)節(jié)增益和白平衡，這種方法常常因為攝像頭拍攝到的場景不同，使得顏色校準之后，攝像頭之間仍存在一定的誤差。這樣校準后的 攝像頭陣列獲得的多視點視頻數(shù)據(jù)嚴重影響了其后的虛擬視點視頻和3維場景重建的質(zhì)目前比較常用的攝像頭顏色校準方法是使用顏色板進行采樣，根據(jù)采樣到的顏色樣本 和實際顏色的差別調(diào)節(jié)攝像頭參數(shù)。該方法采用方形板作為顏色校準基準物。在該方形板 上分布著幾個特征點，利用這幾個特征點，校準服務器可以在攝像頭所采集的圖像中檢測 方形板的位置。在該方形板上放置一顏色板，在該顏色板上均勻分布已知灰度值的顏色塊。 通過方形板在圖像中的位置及顏色板和方形板的相對位置，可以容易的定位顏色板在圖像 中的位置。得到顏色板的位置后，顏色校準服務器控制攝像頭對顏色板采集顏色樣本，之 后根據(jù)采集到的樣本調(diào)節(jié)攝像頭參數(shù)，使攝像頭采集到的顏色樣本和標準顏色盡量接近。'上述方法操作起來比較麻煩，特別當攝像頭陳列中攝像頭朝向不一致時，常不能保證 所有攝像頭都能看到顏色校準板而要對攝像頭分批校準；并且該方法中，如果場景中光照 不均勻，各個攝像頭采集到的顏色樣本亮度會有較大差別，校準結(jié)果受環(huán)境光的影響較大;最后，這種方法沒有考慮不同攝像頭之間顏色校準之后，攝像頭之間采樣的顏色樣本之間 的差別，顏色校準之后，不同攝像頭之間顏色樣本仍可能存在較大差別，影響校準的整體 效果。發(fā)明內(nèi)容本發(fā)明的目的是為克服已有技術(shù)的不足之處，提出一種適合于球面攝像頭陣列顏色校 準的方法，可以有效解決大型攝像頭陣列的顏色校準問題，提高了攝像頭陣列顏色校準的 速度和精確度。本發(fā)明提出的適用于球面攝像頭陣列的攝像頭顏色校準方法，其特征在于，用于該方 法的球面攝像頭陣列顏色校準系統(tǒng)包括球面攝像頭陣列、球面顏色校準基準物、多臺采集服務器和一臺控制服務器，其中，攝像頭陳列中4個或4個以下攝像頭通過1394接口 連接采集服務器，各采集服務器和控制服務器通過以太網(wǎng)連接；所述顏色校準方法包括以 下步驟1) 采集服務器和控制服務器建立TCP/IP連接；2) 設(shè)定顏色校準基準物位置，使所有攝像頭均能采集到完整的校準基準物圖像；3) 控制服務器控制各采集服務器與其相連的攝像頭對校準基準物進行圖像采集，得 到所有攝像頭所采集的顏色校準前的一組圖像；4) 各采集服務器對與其連接的各攝像頭采集的圖像用基于Hough變換的方法進行圓 的檢測，得到顏色校準基準物在該圖像中的位置，并將檢測結(jié)果反饋給控制服務器；5) 控制服務器收到采集服務器對顏色校準基準物檢測結(jié)果后，控制各采集服務器開 始對所連接的攝像頭進行顏色校準；6) 各攝像頭用采樣到的顏色和顏色基準之間的誤差調(diào)節(jié)攝像頭的參數(shù)進行獨立顏色 校準，使該誤差小于等于誤差閾值T1后，把校準后的顏色樣本發(fā)送給控制服務器；7) 控制服務器收到所有攝像頭校準后的顏色，對各個攝像頭進行聯(lián)機校準，直到各 個攝像頭之間相對誤差小于等于誤差闞值T2，完成所述各個攝像頭的顏色校準。上述步驟l)中采集服務器和控制服務器建立TCP/IP連接方法，包括以下步驟1 1 )控制服務器監(jiān)聽從采集服務器發(fā)來的TCP/IP連接請求；12) 各個采集服務器向控制服務器發(fā)出TCP/IP連接請求；13) 控制服務器收到釆集服務器的連接請求，和各個采集服務器建立TCP/IP連接。上述步驟2)中所述顏色校準基準物，包括以下特征 21 )顏色基準物為一的空心球體；'22)選擇標準顏色的灰度值向量，使其延球體的經(jīng)度方向周期分布； 23)球體表面采用磨砂材質(zhì)，內(nèi)設(shè)發(fā)光裝置，以此減小視角對顏色灰度值的影響及環(huán) 境光對校準效果的影響。上述步驟6中各攝像頭進行獨立顏色校準的方法，包括以下步驟61) 根據(jù)步驟4)檢測得到的顏色基準物的位置，確定與圓同心、邊長為圓半徑的正 方形為顏色采樣范圍(以保證不同顏色基本均勻采樣)；62) 對步驟61)中確定的范圍進行顏色采樣，得到顏色樣本數(shù)量P (即顏色采樣范圍內(nèi)的像素數(shù)量尸)，對顏色樣本的綠色分量進行直方圖統(tǒng)計，結(jié)果表示為iV[256],根據(jù) iV[256]統(tǒng)計顏色樣本的綠色分量的分布M[256],使M["] = ^ W[" + /]，2 2 w S 253 ，如果,.=-2M["]S尸/12,則令M["]-0;對M["]不為0的區(qū)域分別求iV[256]的幾何平均值，所有非0 區(qū)域的幾何平均值組成顏色樣本的綠色分量向量/^ ;63) 計算顏色樣本和顏色基準之間的誤差A^t(/zw-/4w)2，當A;〉ri時，計算顏色樣本和顏色基準之間的真實誤差i e =^(//[/]-//6W)，然后根據(jù)i e調(diào)節(jié)攝像頭的增益，之后重復步驟62)，直到z^sn，則增益校準結(jié)束；64) 采用62)中計t:/4的方法計算顏色樣本的紅色分量A和藍色分量/^，然后計 算相應的Z^， A及i^， i s，根據(jù)i^和^調(diào)節(jié)攝像頭的紅平衡和藍平衡參數(shù)；65) 重復64)，直到z^sn或z^^n，紅平衡及藍平衡參數(shù)校準結(jié)束；66) 采集服務器將校準后的顏色樣本發(fā)送給控制服務器。 上步驟7)中對攝像頭進行聯(lián)機校準的方法，包括以下步驟71) 控制服務器接收到各采集服務器的顏色樣本后，設(shè)攝像頭數(shù)目為M/m,第i臺攝 像頭顏色樣本綠色分量為//纟[6]，計算每個攝像頭和其它攝像頭的偏差y"附■ 5 "=1 7=072) 對D纟進行排序，最小偏差Z)，，對攝像頭y，如果Z^〉L，則該攝像頭以 +//)/2為顏色基準進行再次校準，攝像頭J校準完成后更新/^ ;73) 所有再次校準的攝像頭校準完成后，重復第71)和第72)步，直到所有D纟。 本發(fā)明通過設(shè)計適合于圓形攝像頭陣列的顏色基準物，通過減小環(huán)境光影響提高攝像頭陣列顏色校準的速度和精度，并通過聯(lián)機校準減小攝像頭之間的偏差，進一步提高校準 的效果。本發(fā)明優(yōu)點1) 通過校準基準物自身提供光源減小環(huán)境光對校準的影響，提高校準精度；2) 攝像頭陣列中所有攝像頭同時校準，校準速度快；3)攝像頭陣列聯(lián)機校準，進一步減小攝像頭之間的偏差，達到更好的校準結(jié)果；


圖1為攝像頭陳列顏色校準系統(tǒng)結(jié)構(gòu)示意圖。圖2為半球面攝像頭陳列分布示意圖，其中，圖2(a)為主視圖，圖2(b)為俯視圖。 圖3為顏色校準基準物示意圖，其中，圖3(a)為正面視圖，圖3(b)為俯視圖。 圖4為顏色樣本采樣范圍示意圖。
具體實施方式
本發(fā)明提出了一種大規(guī)模攝像頭陳列的顏色校準方法，其具體實施方式
如下本專利實施的大型攝像頭陳列的顏色校準系統(tǒng)，，該系統(tǒng)包括由40個攝像頭1組成的攝像頭陣列，10臺用于連接攝像頭的采集服務器2， 一臺控制服務器3和圓形校準基準 物4。該系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。本實例實施中，每臺采集服務器通過1394接口連接4個1394攝像頭，共40個攝像 頭連接于IO臺采集服務器上，采集服務器和顏色校準服務器通過以太網(wǎng)進行連接。本實例實施的具體步驟如下1) 根據(jù)研究需要在半球面上設(shè)置攝像頭分布，如圖2所示，其中每個小圓圈表示一 個攝像頭，所有攝像頭朝向半球球心，并調(diào)好焦距；每4個攝像頭連接在一臺采集服務器 上；2) 采集服務器和控制服務器建立TCP/IP連接控制服務器監(jiān)聽從采集服務器發(fā)來的TCP/IP連接請求；10臺采集服務器分別向控制服務器發(fā)出TCP/IP連接請求；控制服務器 收到采集服務器的連接請求，和10太采集服務器建立TCP/IP連接；3) 顏色校準基準物為一半徑35cm的空心球體，其上延經(jīng)度方向周期分布灰度值向 量為// = {18,34,63,107,168,250}的標準顏色，延緯度方向，每個周期向心角為6(T,每個周 期中的每個灰度值向心角為1(T;顏色校準物表面采用磨砂材質(zhì)，內(nèi)設(shè)發(fā)光裝置。顏色校 準基準物的設(shè)計圖，如圖3所示，圖中可見顏色呈周期變化分為6個周期。4) 將顏色基準物懸掛在半球面中間，使顏色帶延垂直地面方向分布；打開顏色基準 物中的光源；5) 控制服務器控制各采集服務器與其相連的攝像頭對校準基準物進行圖像采集，得 到所有攝像頭所采集的顏色校準前的一組圖像；6) 各采集服務器對與其連接的各攝像頭采集的圖像用基于Hough變換的方法進行圓 的檢測，得到顏色校準基準物在該圖像中的位置，并將檢測結(jié)果反饋給控制服務器；7) 控制服務器收到所有攝像頭基準物檢測結(jié)果后，控制所有采集服務器及其連接的 攝像頭開始進行顏色校準；8) 采集服務器接收到顏色校準命令后，對每一個所連接的攝像頭根據(jù)步驟6)檢測到 的圓的位置，進一步確定與圓同心，邊長為圓的半徑的正方形5為顏色采樣范圍，如圖4 所示；9) 對步驟8)中確定的范圍進行顏色采樣，得到顏色樣本數(shù)量戶(即顏色采樣范圍內(nèi) 的像素數(shù)量P )，對顏色樣本的綠色分量進行直方圖統(tǒng)計，結(jié)果表示為iV[256],根據(jù)W[256]統(tǒng)計顏色樣本的綠色分量的分布M[256],使<formula>formula see original document page 8</formula> ，如果<formula>formula see original document page 8</formula>M["]SP/12,則令MM-0;對M["]不為0的區(qū)域分別求iV[256]的幾何平均值，所有非0 區(qū)域的幾何平均值組成顏色樣本的綠色分量向量/4 ;10) 計算顏色樣本和顏色基準之間的誤差<formula>formula see original document page 8</formula>，當Z)。"00時，計算顏色樣本和顏色基準之間的真實誤差^/4[f])，然后根據(jù)&.調(diào)節(jié)攝像頭的增益，之后重復步驟9)，直到I^S100,則增益校準結(jié)束；11) 采用9)中計算/4的方法計算顏色樣本的紅色分量// 和藍色分量/^，然后計 算相應的Z)s， Ds及&， i s，根據(jù)^和^調(diào)節(jié)攝像頭的紅平衡和藍平衡參數(shù)；12) 重復n),直到a sioo或a sioo,紅平衡及藍平衡參數(shù)校準結(jié)束；13) 采集服務器將校準后的顏色樣本發(fā)送給控制服務器；14) 控制服務器收到所有攝像頭顏色校準結(jié)果后，設(shè)第i臺攝像頭顏色樣本綠色分量為《問，計算每個攝像頭和其它所有攝像頭的顏色偏差<formula>formula see original document page 8</formula>;產(chǎn)015) 顏色校準服務器對i^進行排序，找出最小偏差D，及其對應的顏色樣本綠色分 向量//，；對攝像頭/若化>100,則以2為顏色基準進行再次校準；16〉所有再次校準的攝像頭接收到再次校準命令后，以新的顏色基準向量為基準進行 再次校準，校準完成后把新的顏色樣本發(fā)送給服務器；17)控制服務器收到所有再校準攝像頭新的顏色樣本后，重復步驟14)和步驟15)， 直到所有攝像頭相對顏色偏差Z);都小于閾值100，顏色校準結(jié)束。
權(quán)利要求
1. 一種適用于球面攝像頭陣列的攝像頭顏色校準方法，其特征在于，用于該方法的球面攝像頭陣列顏色校準系統(tǒng)包括球面攝像頭陣列、球面顏色校準基準物、多臺采集服務器和一臺控制服務器，其中，攝像頭陳列中4個或4個以下攝像頭通過1394接口連接采集服務器，各采集服務器和控制服務器通過以太網(wǎng)連接；所述顏色校準方法包括以下步驟1)采集服務器和控制服務器建立TCP/IP連接；2)設(shè)定顏色校準基準物位置，使所有攝像頭均能采集到完整的校準基準物圖像；3)控制服務器控制各采集服務器與其相連的攝像頭對校準基準物進行圖像采集，得到所有攝像頭所采集的顏色校準前的一組圖像；4)采集服務器對與其連接的各攝像頭采集的圖像用基于Hough變換的方法進行圓的檢測，得到顏色校準基準物在該圖像中的位置，并將檢測結(jié)果反饋給控制服務器；5)控制服務器收到采集服務器對顏色校準基準物檢測結(jié)果后，控制各采集服務器開始對所連接的攝像頭進行顏色校準；6)各攝像頭用采樣到的顏色和顏色基準之間的誤差調(diào)節(jié)攝像頭的參數(shù)進行獨立顏色校準，使該誤差小于等于誤差閾值T1后，把校準后的顏色樣本發(fā)送給控制服務器；7)控制服務器收到所有攝像頭校準后的顏色，對各個攝像頭進行聯(lián)機校準，直到各個攝像頭之間相對誤差小于等于誤差閾值T2，完成所述各個攝像頭的顏色校準。
2、 如權(quán)利要求1所述方法，其特征在于，所述步驟1)中采集服務器和控制服務器建立TCP/IP連接方法，包括以下步驟1 1 )控制服務器監(jiān)聽從采集服務器發(fā)來的TCP/IP連接請求；12) 各個采集服務器向控制服務器發(fā)出TCP/IP連接請求；13) 控制服務器收到采集服務器的連接請求，和各個采集服務器建立TCP/IP連接。
3、 如權(quán)利要求l所述方法，其特征在于，所述步驟2)中顏色校準基準物，包括以下特征21) 顏色基準物為一的空心球體；22) 選擇標準顏色的灰度值向量，使其延球體的經(jīng)度方向周期分布，；23) 球體表面采用磨砂材質(zhì)，內(nèi)設(shè)發(fā)光裝置，以此減小視角對顏色灰度值的影響及環(huán) 境光對校準效果的影響。
4、 如權(quán)利要求1所述方法，其特征在于，所述步驟6)中各攝像頭進行獨立顏色校準的方法，包括以下步驟—61)根據(jù)步驟4)檢測得到的顏色基準物的位置，確定與圓同心、邊長為圓半徑的正方形為顏色采樣范圍；62)對步驟61)中確定的范圍進行顏色采樣，得到顏色樣本數(shù)量P，對顏色樣本的綠色分量進行直方圖統(tǒng)計，結(jié)果表示為iV[256]，根據(jù)W[256]統(tǒng)計顏色樣本的綠色分量的分<formula>formula see original document page 3</formula>，如果S尸/12 ,則令M["〗=0 ;對M["]不'■=-2為0的區(qū)域分別求iV[256]的幾何平均值，所有非0區(qū)域的幾何平均值組成顏色樣本的綠色 分量向量/^;63) 計算顏色樣本和顏色基準之間的誤差^^=力(//[。-/4[/])2 ,當￡ 6. >71時，計算顏色樣本和顏色基準之間的真實誤差& = t(//[/]—，然后根據(jù)&調(diào)節(jié)攝像頭的 增益，之后重復步驟62)，直到z^^n，則增益校準結(jié)束；64) 采用62)中計算/^的方法計算顏色樣本的紅色分量/^和藍色分量/^，然后計 算相應的Z^， A及&， i B，根據(jù)及《和^調(diào)節(jié)攝像頭的紅平衡和藍平衡參數(shù)；65) 重復64)，直到i^s:n或z^s:n，紅平衡及藍平衡參數(shù)校準結(jié)束；66) 采集服務器將校準后的顏色樣本發(fā)送給控制服務器。.5、如權(quán)利要求l所述方法，其特征在于，所述步驟7)中對攝像頭進行聯(lián)機校準的方 法:包括以下步驟71) 控制服務器接收到各采集服務器的顏色樣本后，設(shè)攝像頭數(shù)目為M/w，第,'臺攝 像頭顏色樣本綠色分量為//i[6]，計算每個攝像頭和其它攝像頭的偏差M/ffr圖5"=W [/]- ])2 /細；72) 對Z)纟進行排序，最小偏差2)纊，對攝像頭/，如果/^>72，則該攝像頭以 (//i +//)/2為顏色基準進行再次校準，攝像頭7校準完成后更新/^ ;73) 所有再次校準的攝像頭校準完成后，重復第71)和第72)步，直到所有i^ sr2 。
全文摘要
本發(fā)明涉及一種適用于球面攝像頭陣列的顏色校準方法，屬于計算機多媒體領(lǐng)域。該方法包括控制服務器控制各采集服務器與其相連的攝像頭采集顏色校準前的一組圖像；用基于Hough變換的方法進行圓的檢測，得到顏色校準基準物在圖像中的位置，控制服務器控制各攝像頭進行獨立顏色校準，使采樣到的顏色和顏色基準之間的誤差達到一定范圍之內(nèi)，控制服務器根據(jù)收集到的數(shù)據(jù)對各個攝像頭進行聯(lián)機校準，直到各個攝像頭之間相對誤差小于閾值。本發(fā)明通過設(shè)計適合于球面攝像頭陣列的顏色基準物，有效減小環(huán)境光的影響，提高攝像頭陣列顏色校準的速度和精度。
文檔編號H04L29/06GK101272513SQ20081010368
公開日2008年9月24日 申請日期2008年4月10日 優(yōu)先權(quán)日2008年4月10日
發(fā)明者劉燁斌, 戴瓊海, 李忠炤 申請人:清華大學