一種基于相機(jī)透視變換的卡口車輛檢索方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于相機(jī)透視變換的卡口車輛檢索方法。
【背景技術(shù)】
[0002] 目前具備實(shí)用價(jià)值的車輛檢索技術(shù)，大多應(yīng)用在道路卡口上，究其原因，主要是卡 口相機(jī)的安裝具備規(guī)范性，從而保證了抓拍到的車輛都是車頭圖像，且視角處于一定范圍 內(nèi)。
[0003] 但即便如此，由于相機(jī)安裝誤差，車道差異性，車輛行駛方向不同等因素，不同卡 口間的車輛圖像，仍舊有較大的視角差異性，從而導(dǎo)致了后續(xù)的車輛檢索，都是基于一定視 角誤差，這也是車輛檢索技術(shù)中對(duì)性能影響最大的因素。
[0004] 針對(duì)該問題，現(xiàn)有技術(shù)很少有直接解決的方案，大多是在車輛特征提取上，盡可能 的去提高誤差容忍性，例如 "201310233908. 2"、"201310476490. 8"、"201310656833. 9"、 "201310714749. 8" 等專利。
[0005] 只有極少數(shù)專利，例如"201510081237. 1"，對(duì)視角問題有針對(duì)性的處理，但該專利 采用的是最簡(jiǎn)單暴力的多模型方法，實(shí)際使用時(shí)，同一輛車不大會(huì)有機(jī)會(huì)來建立多視角的 模型，另一方面，多模型也會(huì)大幅提高數(shù)據(jù)存儲(chǔ)量，對(duì)于一個(gè)小型城市每天上千萬張的卡口 圖片，若用多模型來存儲(chǔ)特征數(shù)據(jù)，硬件成本會(huì)大幅提高。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提供了一種基于相機(jī)透視變換的卡口車輛檢索方 法。
[0007] 本發(fā)明解決技術(shù)問題所采取的技術(shù)方案為：
[0008] 步驟1.對(duì)卡口車輛圖像進(jìn)行特征點(diǎn)定位，主要包括前擋風(fēng)玻璃的四個(gè)角，前引擎 蓋的四個(gè)角，車頭燈，車標(biāo)，車牌，前輪胎等。
[0009] 步驟2.利用車輛特征點(diǎn)本身的先驗(yàn)知識(shí)，比如前擋風(fēng)玻璃的四個(gè)角是位于同一 平面，前引擎蓋的四個(gè)角位于同一平面等，建立透視變換的參考平面及透視變換虛擬攝像 機(jī)模型。
[0010] 步驟3.根據(jù)建立的相機(jī)模型，調(diào)整相機(jī)外部參數(shù)，將圖像透視變換成某一固定視 角，比如使相機(jī)CCD平面與前擋風(fēng)玻璃所在平面平行。
[0011] 通常情況下，無法得知實(shí)際攝像機(jī)的內(nèi)參數(shù)矩陣K及虛擬攝像機(jī)的內(nèi)參數(shù)矩陣K 及其相對(duì)于實(shí)際攝像機(jī)的方位（R，t)，因此并不采用直接計(jì)算H矩陣的方法。考慮到已經(jīng) 獲得了在實(shí)際攝像機(jī)下參考平面（前擋風(fēng)玻璃或引擎蓋）的圖像，可以根據(jù)需要設(shè)定參考 平面在虛擬攝像機(jī)下生成的圖像范圍（如一定大小的矩形），同時(shí)選取四組對(duì)應(yīng)的實(shí)際攝 像機(jī)下的圖像點(diǎn)與虛擬攝像機(jī)下的圖像點(diǎn)（m/，m2'，m3'，m4'），可以得到以 下方程組：
[0012] H*[mjm2Tm3Tm4T] =[niiTm2Tm3Tm4T]
[0013] 上式中為方便表示所有的點(diǎn)都采用齊次坐標(biāo)表示。
[0014]
[0015] 求解以上線性方程組就能得到變換矩陣H。最后根據(jù)公式：
[0016] m' =H*m
[0017] 求得之前設(shè)定好的虛擬攝像機(jī)下圖像范圍內(nèi)的所有點(diǎn)，就得到了無視角差異的前 擋風(fēng)玻璃或引擎蓋的圖像。
[0018] 對(duì)所有卡口車輛圖像按以上三個(gè)步驟處理后，視角引起的誤差已經(jīng)大幅降低，在 此基礎(chǔ)上，進(jìn)行車輛表觀特征的提取，同一輛車將具備更好的類內(nèi)相似性。
[0019] 本發(fā)明的有益效果：
[0020] 1.降低由于卡口差異性所引入的車輛視角誤差；大幅提高檢索性能。
[0021] 2.作為一種獨(dú)立的前處理方法，對(duì)任意單張圖像都能進(jìn)行處理，且不影響原有的 車輛特征提取策略。
[0022] 3.計(jì)算量小，且無額外的存儲(chǔ)開銷。
【附圖說明】
[0023] 圖1為本發(fā)明方法流程圖。
[0024] 圖2為建立的透視變換的參考平面及透視變換虛擬攝像機(jī)模型圖。
【具體實(shí)施方式】
[0025] 以下結(jié)合實(shí)施例和附圖對(duì)本發(fā)明作進(jìn)一步說明：
[0026] 本發(fā)明考慮到同一輛車在不同視角下的成像，本質(zhì)上是一種透視變換；所以本發(fā) 明在對(duì)車輛圖像進(jìn)行特征點(diǎn)定位后，將不同卡口，不同視角下的車輛圖像變換到同一視角 下；在此基礎(chǔ)之上提取的特征，同一輛車具備了更好的類內(nèi)相似性，從而大幅提高了檢索和 匹配的效果，并且沒有增加太多的計(jì)算量和存儲(chǔ)空間。
[0027] 如圖1所示，本實(shí)施例具體包括以下步驟：
[0028] 步驟1.對(duì)卡口車輛圖像進(jìn)行特征點(diǎn)定位，主要包括前擋風(fēng)玻璃的四個(gè)角，前引擎 蓋的四個(gè)角，車頭燈，車標(biāo)，車牌，前輪胎等。
[0029] 步驟2.利用車輛特征點(diǎn)本身的先驗(yàn)知識(shí)，比如前擋風(fēng)玻璃的四個(gè)角是位于同一 平面，前引擎蓋的四個(gè)角位于同一平面等，建立該車輛拍攝相機(jī)的相機(jī)模型，如圖2所示；
[0030] 假設(shè)車的前擋風(fēng)玻璃平面為參考平面31，平面31在實(shí)際攝像機(jī)坐標(biāo)系下的單位 法向量為n，實(shí)際攝像機(jī)坐標(biāo)系坐標(biāo)原點(diǎn)到平面31的距離為d。
[0031] 假定實(shí)際攝像機(jī)的內(nèi)參數(shù)矩陣為K，虛擬攝像機(jī)的內(nèi)參數(shù)矩陣為K'，虛擬攝像機(jī) 相對(duì)于實(shí)際攝像機(jī)的方位為（R，t)。若n為平面31在實(shí)際攝像機(jī)坐標(biāo)系下的單位法向量， d為坐標(biāo)原點(diǎn)到平面Jr的距離，X為參考平面31上的一個(gè)點(diǎn)，m為X在實(shí)際攝像機(jī)下的圖 像點(diǎn)，m'為X在虛擬攝像機(jī)下的圖像點(diǎn)，則平面31的透視變換矩陣H為：
[0032] H=K，（R+tndT)K1
[0033] 得到變換矩陣H之后，通過公式：
[0034] m' =H*m
[0035] 就可以將實(shí)際攝像機(jī)生成的所有參考平面內(nèi)圖像點(diǎn)轉(zhuǎn)換到我們所需要的虛擬攝 像機(jī)下的圖像點(diǎn)。
[0036] 步驟3.根據(jù)建立的相機(jī)模型，調(diào)整相機(jī)外部參數(shù)，將圖像透視變換成某一固定視 角，比如使相機(jī)CCD平面與前擋風(fēng)玻璃所在平面平行。
[0037] 通常情況下，我們無法得知實(shí)際攝像機(jī)的內(nèi)參數(shù)矩陣K及虛擬攝像機(jī)的內(nèi)參數(shù)矩 陣K'及其相對(duì)于實(shí)際攝像機(jī)的方位（R，t)，因此我們并不采用直接計(jì)算H矩陣的方法?？?慮到我們已經(jīng)獲得了在實(shí)際攝像機(jī)下參考平面（前擋風(fēng)玻璃或引擎蓋）的圖像，可以根據(jù) 需要設(shè)定參考平面在虛擬攝像機(jī)下生成的圖像范圍（如一定大小的矩形），同時(shí)選取4組對(duì) 應(yīng)的實(shí)際攝像機(jī)下的圖像點(diǎn)與虛擬攝像機(jī)下的圖像點(diǎn)（m/，m2'，m3'，m4'）， 可以得到以下方程組
[0038] H*[mjm2Tm3Tm4T] = [n^Tm2Tm3Tm4T]
[0039] 上式中為方便表示所有的點(diǎn)都采用齊次坐標(biāo)表示。
[0040]
[0041] m= [x,y, 1]
[0042] 求解以上線性方程組就能得到變換矩陣H。最后根據(jù)公式：
[0043] m' =H*m
[0044] 求得之前設(shè)定好的虛擬攝像機(jī)下圖像范圍內(nèi)的所有點(diǎn)，就得到了無視角差異的前 擋風(fēng)玻璃或引擎蓋的圖像。
[0045] 對(duì)所有卡口車輛圖像按以上三個(gè)步驟處理后，視角引起的誤差已經(jīng)大幅降低，在 此基礎(chǔ)上，進(jìn)行車輛表觀特征的提取，同一輛車將具備更好的類內(nèi)相似性，經(jīng)測(cè)試驗(yàn)證，在 使用相同車輛表觀特征的情況下，進(jìn)行透視變換處理可以獲得5 % -10 %的檢索性能提升。
[0046] 具體應(yīng)用中假設(shè)某城市共建有卡口N個(gè)，對(duì)于每個(gè)卡口抓拍到的車輛圖片，均進(jìn) 行透視變換后再提取特征存入數(shù)據(jù)庫。
[0047] 當(dāng)發(fā)生案件，已經(jīng)找到嫌疑車輛（無車牌）的一張抓拍圖像，需要在數(shù)據(jù)庫中對(duì)全 市卡口進(jìn)行檢索，則也先對(duì)該嫌疑圖像進(jìn)行透視變換后，再提取特征進(jìn)行檢索，可以獲得更 好的效果
[0048] 以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，應(yīng)帶 理解，本發(fā)明并不限于這里所描述的實(shí)現(xiàn)方案，這些實(shí)現(xiàn)方案描述的目的在于幫助本領(lǐng)域 中的技術(shù)人員實(shí)踐本發(fā)明。
【主權(quán)項(xiàng)】
1. 一種基于相機(jī)透視變換的卡口車輛檢索方法，其特征在于該方法包括W下步驟： 步驟1.對(duì)卡口車輛圖像進(jìn)行特征點(diǎn)定位，主要包括前擋風(fēng)玻璃的四個(gè)角、前引擎蓋的 四個(gè)角、車頭燈、車標(biāo)、車牌或前輪胎； 步驟2.利用車輛特征點(diǎn)本身的先驗(yàn)知識(shí)，建立該車輛拍攝相機(jī)的相機(jī)模型； 步驟3.根據(jù)建立的相機(jī)模型，調(diào)整相機(jī)外部參數(shù)，將圖像透視變換成某一固定視角； 對(duì)所有卡口車輛圖像按W上=個(gè)步驟處理后，視角引起的誤差已經(jīng)大幅降低，在此基 礎(chǔ)上，再進(jìn)行車輛表觀特征的提取，從而完成卡口車輛的檢索。2. 根據(jù)權(quán)利要求1所述的一種基于相機(jī)透視變換的卡口車輛檢索方法，其特征在于： 步驟2具體是：假設(shè)車的前擋風(fēng)玻璃平面為參考平面，平面31在實(shí)際攝像機(jī)坐標(biāo)系下的 單位法向量為n，實(shí)際攝像機(jī)坐標(biāo)系坐標(biāo)原點(diǎn)到平面的距離為d; 假定實(shí)際攝像機(jī)的內(nèi)參數(shù)矩陣為K，虛擬攝像機(jī)的內(nèi)參數(shù)矩陣為K'，虛擬攝像機(jī)相對(duì) 于實(shí)際攝像機(jī)的方位為（R，t);若n為平面在實(shí)際攝像機(jī)坐標(biāo)系下的單位法向量，d為 坐標(biāo)原點(diǎn)到平面n的距離，X為參考平面上的一個(gè)點(diǎn)，m為X在實(shí)際攝像機(jī)下的圖像點(diǎn)， m'為X在虛擬攝像機(jī)下的圖像點(diǎn)，則平面JT的透視變換矩陣H為： H=K'（R+tn/)K1 得到變換矩陣H之后，通過公式：m，=冊(cè)m 就可W將實(shí)際攝像機(jī)生成的所有參考平面內(nèi)圖像點(diǎn)轉(zhuǎn)換到所需要的虛擬攝像機(jī)下的 圖像點(diǎn)。3. 根據(jù)權(quán)利要求2所述的一種基于相機(jī)透視變換的卡口車輛檢索方法，其特征在于： 步驟3具體是：考慮到已經(jīng)獲得了在實(shí)際攝像機(jī)下參考平面的圖像，可W根據(jù)需要設(shè)定 參考平面在虛擬攝像機(jī)下生成的圖像范圍，同時(shí)選取四組對(duì)應(yīng)的實(shí)際攝像機(jī)下的圖像點(diǎn) (mi，m2，m3，m4)與虛擬攝像機(jī)下的圖像點(diǎn)OV,m2'，1?' ,m/ )，可W得到W下方程組 冊(cè)虹1了n^T msT m/]=虹1T m2T m3 T T] 上式中為方便表示所有的點(diǎn)都采用齊次坐標(biāo)表示；m= [x,y, 1] 求解W上線性方程組就能得到變換矩陣H;最后根據(jù)公式：m，=冊(cè)m 求得之前設(shè)定好的虛擬攝像機(jī)下圖像范圍內(nèi)的所有點(diǎn)，就得到了無視角差異的前擋風(fēng) 玻璃。
【專利摘要】本發(fā)明涉及一種基于相機(jī)透視變換的卡口車輛檢索方法。本發(fā)明首先對(duì)卡口車輛圖像進(jìn)行特征點(diǎn)定位，主要包括前擋風(fēng)玻璃的四個(gè)角，前引擎蓋的四個(gè)角，車頭燈，車標(biāo)，車牌，前輪胎等。然后利用車輛特征點(diǎn)本身的先驗(yàn)知識(shí)，比如前擋風(fēng)玻璃的四個(gè)角是位于同一平面，前引擎蓋的四個(gè)角位于同一平面等，建立透視變換的參考平面及透視變換虛擬攝像機(jī)模型。最后根據(jù)建立的相機(jī)模型，調(diào)整相機(jī)外部參數(shù)，將圖像透視變換成某一固定視角，比如使相機(jī)CCD平面與前擋風(fēng)玻璃所在平面平行。利用本發(fā)明可以降低由于卡口差異性所引入的車輛視角誤差；大幅提高檢索性能。
【IPC分類】G06K9/46, G06K9/00
【公開號(hào)】CN105205472
【申請(qǐng)?zhí)枴緾N201510666534
【發(fā)明人】尚凌輝, 高勇, 王弘玥, 施展
【申請(qǐng)人】浙江捷尚視覺科技股份有限公司
【公開日】2015年12月30日
【申請(qǐng)日】2015年10月15日