一種魚眼鏡頭圖像的展平方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種魚眼鏡頭圖像的展平方法，針對(duì)成像器的有效區(qū)域的邊緣，計(jì)算出展平前該區(qū)域邊界的坐標(biāo)，然后通過計(jì)算出的邊界點(diǎn)連接得到邊界曲線，屬于該邊界曲線內(nèi)部的區(qū)域作為可展平的取景區(qū)域，最后在所述取景區(qū)域內(nèi)取點(diǎn)，計(jì)算還原后該點(diǎn)的坐標(biāo)值，得到還原后的圖像。該方式實(shí)現(xiàn)了魚眼鏡頭圖像的展平，計(jì)算方法簡單，可以在圖像處理前直接在相機(jī)端實(shí)現(xiàn)圖像的展平，大大減少了后端圖像處理芯片的負(fù)荷，可以輸出流暢的視頻。
【專利說明】一種魚眼鏡頭圖像的展平方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理方法，具體地說是一種高清全景相機(jī)圖像的展平方法及系統(tǒng)。

【背景技術(shù)】
[0002]隨著視頻監(jiān)控產(chǎn)品的發(fā)展，人類對(duì)于視頻監(jiān)控的需求也從沒有到有的基本條件逐步過渡到要求彩色、動(dòng)態(tài)、連續(xù)的中級(jí)階段，進(jìn)而深入到高清、網(wǎng)絡(luò)、全面、夜視、智能分析等的包括前端信號(hào)采集、中段信號(hào)傳輸、后端信號(hào)存儲(chǔ)顯示處理的高級(jí)階段。近年來，視頻監(jiān)控行業(yè)保持高速增長，包括從前端相機(jī)到后端顯示存儲(chǔ)的所有產(chǎn)品及技術(shù)都在高速進(jìn)步中。從城市到郊區(qū)，進(jìn)而到農(nóng)村；從長長的同軸電纜到光纖；從模擬相機(jī)到數(shù)字相機(jī)，都在不同程度展示著科技的進(jìn)步。然而，傳統(tǒng)相機(jī)因成像器和鏡頭的匹配及鏡頭的品質(zhì)等原因，都不同程度存在盲區(qū)的問題，即"看不見"。高速球雖然一定程度上改善了看不見的問題，但仍然有瞬時(shí)死角無法克服。
[0003]全景相機(jī)憑借其廣大的視角贏得了人們的青睞，全景相機(jī)采用魚眼鏡頭，魚眼鏡頭是根據(jù)仿生學(xué)原理仿照魚眼結(jié)構(gòu)設(shè)計(jì)加工的鏡頭，視場角可超過180度?，F(xiàn)市面可見之全景相機(jī)基本上采用如下方式，即成像器尺寸大于魚眼鏡頭的成像圓尺寸，以便可以取到全景(所謂360度)，事實(shí)上有兩個(gè)原因?qū)е聦?shí)際效果要差很多:首先是像素浪費(fèi)的問題，成像器如果是1/2.7〃，300萬像素4:3，因魚眼鏡頭成像圓內(nèi)切于成像器有效區(qū)域，如圖1，實(shí)際有效成像像素=300*S2/S1 = 300*58%= 174萬像素，即有效像素利用率僅58 %，這個(gè)無疑會(huì)造成較大的浪費(fèi)；其次是魚眼鏡頭視場存在的問題，雖然魚眼鏡頭的視場角有180度或更大，但因靠近視場邊緣的區(qū)域不但畸變最大，而且每個(gè)像素對(duì)應(yīng)的角分辨率越低，即每個(gè)像素對(duì)應(yīng)的實(shí)際區(qū)域越大，特別是在靠近90度的區(qū)域，故部分圖像無法真實(shí)復(fù)原。如圖2中表格所示。此外，魚眼鏡頭是由光學(xué)鏡片和鏡筒組成的。鏡片加工是根據(jù)設(shè)計(jì)值制作研磨拋光磨邊治具、校準(zhǔn)后利用這些治具對(duì)玻璃毛胚進(jìn)行相應(yīng)的加工而成的(暫不考慮后工序如鍍膜涂邊等)，整個(gè)鏡頭系統(tǒng)的誤差主要來源于光學(xué)鏡片的加工誤差及光學(xué)鏡片的支撐結(jié)構(gòu)的累積誤差。
[0004]雖然全景相機(jī)可以彌補(bǔ)傳統(tǒng)相機(jī)視角窄的問題，卻一直存在圖像變形大、不符合人們的日常視覺習(xí)慣的致命缺陷。因此，采用魚眼鏡頭拍攝的圖片，都需要進(jìn)行圖像展開后的還原和恢復(fù)。
[0005]如中國專利文獻(xiàn)CN101814181A中公開了一種魚眼鏡頭圖像復(fù)原的展開方法，該方法包括建立魚眼鏡頭圖像的符合等距投影原理的球面成像模型，建立展開窗口坐標(biāo)系與展開圖像坐標(biāo)系，并求出這兩個(gè)坐標(biāo)系之間的關(guān)系，建立展開圖像坐標(biāo)系與相機(jī)坐標(biāo)系的關(guān)系，求出展開圖像坐標(biāo)系與魚眼鏡頭圖像坐標(biāo)系之間的關(guān)系，最后可以得到指定任意方向的全部展開圖像。雖然該方案可以實(shí)現(xiàn)魚眼鏡頭圖像的復(fù)原，但是由于其計(jì)算量大，主要用于視頻圖像回傳到計(jì)算機(jī)后的圖像處理，很難在相機(jī)端進(jìn)行圖像展平。此外，由于魚眼鏡頭圖像的邊緣區(qū)域，如70度以外的區(qū)域，由于此部分圖像將實(shí)物圖像壓縮到一定程度，導(dǎo)致像高小于成像器像素點(diǎn)，由于存在這一自然缺陷，這部分圖像無法完全復(fù)原，對(duì)該部分圖像的處理無疑增大了數(shù)據(jù)量卻不能得到好的效果。


【發(fā)明內(nèi)容】

[0006]為此，本發(fā)明所要解決的技術(shù)問題在于現(xiàn)有技術(shù)中的魚眼鏡頭圖像復(fù)原的展開方法計(jì)算量大、無用區(qū)域多，從而提出一種減少了計(jì)算量、避免對(duì)無用區(qū)域的計(jì)算的魚眼鏡頭的圖像的展平方法及系統(tǒng)。
[0007]為解決上述技術(shù)問題，本發(fā)明的提供一種魚眼鏡頭圖像的展平方法，其特征在于，包括如下步驟:
[0008]S1:計(jì)算全局展平比例S。，采用以下公式
ο 一 A
_9] C 2fxtan(X?)

'21
[0010]其中，X1為有效成像區(qū)域?qū)挘琘1為有效成像區(qū)域高，f為魚眼鏡頭焦距；
[0011]S2:針對(duì)成像器有效區(qū)域的邊緣，計(jì)算出展平前的點(diǎn)坐標(biāo)，公式如下:
V
[0012]k=^? (xb, yb)為有效區(qū)域邊緣取點(diǎn)坐標(biāo)，k為點(diǎn)與坐標(biāo)系中心連線的斜率；

Xb
[0013]p=atan3FZ5Z ; Ψ為點(diǎn)(Xb，yb)對(duì)應(yīng)的展平前的視場角，

f xSc
[0014]h = f X Φ ;h為點(diǎn)(xb，yb)對(duì)應(yīng)的展平前像高；
_ f + yb\ f.^xb2+yb2,
f xa tan(^—-........................1—)f xa tariff—1.......................---)
γλλ A 廣?V — _I ^s-__%F 一 _*.A_.L0015」 ?—1...................................=5 je —§...................................=，
+ (?)2 i+(-x^-)2
[0016](xe, ye)為(xb, yb)對(duì)應(yīng)的邊界點(diǎn)；
[0017]S3:將上述計(jì)算出的邊界點(diǎn)連接得到邊界曲線，屬于該邊界曲線內(nèi)部的區(qū)域作為可展平的取景區(qū)域；
[0018]S4:在所述取景區(qū)域內(nèi)取點(diǎn)，計(jì)算還原后該點(diǎn)的坐標(biāo)值，得到還原后的圖像，計(jì)算公式如下
[0019]
X,, = f X Ian φx Scx (^j=Sj=), ν? = I'χ Um φχ Scχ(-J=^M=)

4χο2+>V ^ ^
[0020](Χ(ι、％)是在取景區(qū)域內(nèi)取點(diǎn)的原坐標(biāo)，χ' 0、y'。是計(jì)算出的展開后的圖像的坐標(biāo)。
[0021]優(yōu)選地，在所述步驟S4之后，還包括對(duì)因加工誤差帶來的系統(tǒng)誤差進(jìn)行修正的過程。
[0022]優(yōu)選地，在所述步驟SI之前，還包括:配置魚眼鏡頭的成像圓和成像器的有效區(qū)域，使得所述成像器的有效區(qū)域內(nèi)接于所述魚眼鏡頭的成像圓。
[0023]優(yōu)選地，在所述步驟SI之前，還包括:調(diào)整鏡頭相對(duì)成像器工作區(qū)域的位置，使得鏡頭光軸與成像器中心重合。
[0024]優(yōu)選地，還包括鏡頭相對(duì)成像器的調(diào)整機(jī)構(gòu)，通過該調(diào)整機(jī)構(gòu)實(shí)現(xiàn)鏡頭光軸與成像器的中心重合。
[0025]優(yōu)選地，在所述步驟S2中，針對(duì)成像器有效區(qū)域的邊緣，以任意步長取點(diǎn)，來計(jì)算出展平前的點(diǎn)坐標(biāo)。
[0026]優(yōu)選地，所述步長為1-10個(gè)像素點(diǎn)。
[0027]優(yōu)選地，所述步長為I或2個(gè)像素點(diǎn)。
[0028]優(yōu)選地，在所述步驟S4中，取屏幕中心作為計(jì)算起始點(diǎn)。
[0029]此外，還提供一種使用上述展平方法的魚眼鏡頭圖像的展平系統(tǒng)，包括:
[0030]全局展平比例計(jì)算模塊:計(jì)算全局展平比例S。，采用以下公式
Q —?._] I

2f
[0032]其中，X1為有效成像區(qū)域?qū)挘琘1為有效成像區(qū)域高，f為魚眼鏡頭焦距；
[0033]邊界計(jì)算模塊:針對(duì)成像器有效區(qū)域的邊緣，計(jì)算出展平前的點(diǎn)坐標(biāo)，采用以下公式:
yb
[0034]k ; (xb, yb)為有效區(qū)域邊緣取點(diǎn)坐標(biāo)，k為點(diǎn)與坐標(biāo)系中心連線的斜率；
[0035]；爐為點(diǎn)(xb, yb)對(duì)應(yīng)的展平前的視場角，
f xSc
[0036]h = f X Φ ；h為點(diǎn)(xb, yb)對(duì)應(yīng)的展平前像高；
I ? ^I 2 ^
Γ ? WXC + )V\ r* i /W+yf、
f xa tan(-^-^-—)f xa-—)
[0037]A；=——■■■■■■■■■■■■■■■■■■■，% =——■■■■■■■■■■■■■■■■■■■；
[0038](xe, ye)為(Xb，yb)對(duì)應(yīng)的邊界點(diǎn)；
[0039]取景區(qū)域設(shè)定模塊:將上述計(jì)算出的邊界點(diǎn)連接得到邊界曲線，屬于該邊界曲線內(nèi)部的區(qū)域作為可展平的取景區(qū)域；
[0040]展平模塊:在所述取景區(qū)域內(nèi)取點(diǎn)，計(jì)算還原后該點(diǎn)的坐標(biāo)值，得到還原后的圖像，采用如下公式:
[0041]
X0 = ( χ Ian φ χ Sc χ (......-.=^==)， = f xtany>x&x (了2?=)
V.'.XV-V+Λ2
[0042](Χ(ι、％)是在取景區(qū)域內(nèi)取點(diǎn)的原坐標(biāo)，X' 0、y'。是計(jì)算出的展開后的圖像的坐標(biāo)。
[0043]本發(fā)明的上述技術(shù)方案相比現(xiàn)有技術(shù)具有以下優(yōu)點(diǎn)，
[0044](I)本發(fā)明提供一種魚眼鏡頭圖像的展平方法，針對(duì)成像器的有效區(qū)域的邊緣，計(jì)算出展平前該區(qū)域邊界的坐標(biāo)，然后通過計(jì)算出的邊界點(diǎn)連接得到邊界曲線，屬于該邊界曲線內(nèi)部的區(qū)域作為可展平的取景區(qū)域，最后在所述取景區(qū)域內(nèi)取點(diǎn)，計(jì)算還原后該點(diǎn)的坐標(biāo)值，得到還原后的圖像。該方式實(shí)現(xiàn)了魚眼鏡頭圖像的展平，計(jì)算方法簡單，可以在圖像處理前直接在相機(jī)端實(shí)現(xiàn)圖像的展平，大大減少了后端圖像處理芯片的負(fù)荷，可以輸出流暢的視頻。本方案不僅采用等距投影，而是根據(jù)魚眼鏡頭視場角大的特點(diǎn)，將盡可能多的成像區(qū)域都進(jìn)行等比例縮放，鋪滿整個(gè)成像器，展平后的視場角雖然比展平前小，但是遠(yuǎn)遠(yuǎn)大于普通鏡頭所能捕捉的圖像范圍。該方案解決了現(xiàn)有技術(shù)中魚眼鏡頭圖像復(fù)原的展開方法計(jì)算量大、無用區(qū)域多的技術(shù)問題，提供了一種計(jì)算量小、避免對(duì)無用區(qū)域的計(jì)算的魚眼鏡頭的圖像的展平方法及系統(tǒng)。
[0045](2)本發(fā)明所述的魚眼鏡頭圖像的展平方法，所述成像器的有效區(qū)域內(nèi)接于所述魚眼鏡頭的成像圓，使得成像器的有效面積得以充分利用，無成像器的浪費(fèi)，與現(xiàn)有技術(shù)中的設(shè)置方式相比，大大提高了成像器的利用率。
[0046](3)本發(fā)明所述的魚眼鏡頭圖像的展平方法，還包括對(duì)因加工誤差帶來的系統(tǒng)誤差進(jìn)行修正的過程，在計(jì)算完成后對(duì)由于設(shè)備生產(chǎn)過程中的誤差造成的系統(tǒng)誤差進(jìn)行修正，提高了該處理后的圖像的準(zhǔn)確程度。
[0047](4)本發(fā)明所述的魚眼鏡頭圖像的展平方法，通過增加鏡頭相對(duì)成像器的調(diào)整結(jié)構(gòu)調(diào)整鏡頭相對(duì)成像器工作區(qū)域的位置，可以使得鏡頭光軸與成像器中心重合。也可在圖像處理芯片中進(jìn)行坐標(biāo)變換，故在計(jì)算時(shí)將取屏幕中心作為計(jì)算起始點(diǎn)。傳統(tǒng)的魚眼鏡頭圖象校正采用面積統(tǒng)計(jì)算法或亮度差有效區(qū)域提取法，不但計(jì)算量大，給后期的系統(tǒng)運(yùn)算芯片造成了極大的負(fù)荷，而且準(zhǔn)確度不高。而本方案中通過簡單易行的機(jī)械機(jī)構(gòu)無級(jí)調(diào)整，準(zhǔn)確調(diào)整成像器中心與鏡頭光軸重合，此結(jié)構(gòu)可以根據(jù)不同產(chǎn)品做成生產(chǎn)過程中的工裝治具，不會(huì)增加相機(jī)本身的重量、尺寸及成本。
[0048](5)本發(fā)明所述的魚眼鏡頭圖像的展平方法，針對(duì)成像器有效區(qū)域的邊緣，以任意步長取點(diǎn)，來計(jì)算出展平前的點(diǎn)坐標(biāo)。此處的步長可以根據(jù)需要來選擇，為了保證計(jì)算的精確度，可以選擇步長為I個(gè)像素點(diǎn)，此時(shí)計(jì)算量較大，但是精確度最高。也可以選擇步長為若干個(gè)像素點(diǎn)，如3個(gè)、4個(gè)或10個(gè)像素點(diǎn)，此時(shí)計(jì)算的準(zhǔn)確度下降，但是計(jì)算量雖然大大減小了。根據(jù)需要，對(duì)步長進(jìn)行合理選擇，這樣做的優(yōu)勢在于可以根據(jù)不同的碼流及圖像品質(zhì)需求選取合適的步長，以得到不同的碼流或圖像品質(zhì)。

【專利附圖】

【附圖說明】
[0049]為了使本發(fā)明的內(nèi)容更容易被清楚的理解，下面根據(jù)本發(fā)明的具體實(shí)施例并結(jié)合附圖，對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明，其中
[0050]圖1是現(xiàn)有技術(shù)中成像器有效區(qū)域的分析示意圖；
[0051]圖2是魚眼鏡頭的視場角度示意表格；
[0052]圖3中圖3(a) -圖3(d)本發(fā)明實(shí)施例中魚眼鏡頭視場角示意圖；
[0053]圖4本發(fā)明實(shí)施例中算法原理圖；
[0054]圖5本發(fā)明實(shí)施例中另一算法原理圖；
[0055]圖6是本發(fā)明實(shí)施例中步驟SI計(jì)算結(jié)果示意圖；
[0056]圖7(a)-圖10(c)是本發(fā)明實(shí)施例中步驟S2計(jì)算結(jié)果示意圖；
[0057]圖11是圖像還原后的還原計(jì)算示意圖；
[0058]圖12是實(shí)施例中的實(shí)際計(jì)算區(qū)域效果示意圖。
[0059]圖中附圖標(biāo)記表示為:1-魚眼鏡頭成像圓；2_成像器工作區(qū)域。

【具體實(shí)施方式】
[0060]實(shí)施例1:
[0061]本實(shí)施例中提供一種魚眼鏡頭圖像的展平方法，包括如下步驟:
[0062]S1:計(jì)算全局展平比例S。，采用以下公式
rtX?1

2i
[0064]其中，X1為有效成像區(qū)域?qū)?，Y1為有效成像區(qū)域高，f為魚眼鏡頭焦距；
[0065]S2:針對(duì)成像器有效區(qū)域的邊緣，計(jì)算出展平前的點(diǎn)坐標(biāo)，公式如下:
(￥,
[0066]; (xb) yb)為有效區(qū)域邊緣取點(diǎn)坐標(biāo)，k為點(diǎn)與坐標(biāo)系中心連線的斜率；
Ab
[0067]?,=& tan ^+γι\ ; V '為點(diǎn)(xb, yb)對(duì)應(yīng)的展平前的視場角，

f xSc
[0068]h = f X Φ ;h為點(diǎn)(xb，yb)對(duì)應(yīng)的展平前像高；
fxa,SO(VSIZ)
fxQp 7f X fsr
「Λ Λ Λ Λ π--W1-%.wI?
L0069J—j- ， Je —?- ，
f￥
[0070](xe, ye)為(Xb，yb)對(duì)應(yīng)的邊界點(diǎn)；
[0071]S3:將上述計(jì)算出的邊界點(diǎn)連接得到邊界曲線，屬于該邊界曲線內(nèi)部的區(qū)域作為可展平的取景區(qū)域；
[0072]S4:在所述取景區(qū)域內(nèi)取點(diǎn)，計(jì)算還原后該點(diǎn)的坐標(biāo)值，得到還原后的圖像，計(jì)算公式如下
[0073]
= f xtan φχ Sc χ (-j====)， y^ = fx tan^x Scx(-j====)
4xo +)%2V-V +Λ2
[0074](X(l、yci)是在取景區(qū)域內(nèi)取點(diǎn)的原坐標(biāo)，X' 0、y'。是計(jì)算出的展開后的圖像的坐標(biāo)。
[0075]本實(shí)施例中的魚眼鏡頭圖像的展平方法，針對(duì)成像器的有效區(qū)域的邊緣，計(jì)算出展平前該區(qū)域邊界的坐標(biāo)，然后通過計(jì)算出的邊界點(diǎn)連接得到邊界曲線，屬于該邊界曲線內(nèi)部的區(qū)域作為可展平的取景區(qū)域，最后在所述取景區(qū)域內(nèi)取點(diǎn)，計(jì)算還原后該點(diǎn)的坐標(biāo)值，得到還原后的圖像。該方式實(shí)現(xiàn)了魚眼鏡頭圖像的展平，計(jì)算方法簡單，可以在圖像處理前直接在相機(jī)端實(shí)現(xiàn)圖像的展平，大大減少了后端圖像處理芯片的負(fù)荷，可以輸出流暢的視頻。本方案不僅采用等距投影，而是根據(jù)魚眼鏡頭視場角大的特點(diǎn)，將盡可能多的成像區(qū)域都進(jìn)行等比例縮放，鋪滿整個(gè)成像器，展平后的視場角雖然比展平前小，但是遠(yuǎn)遠(yuǎn)大于普通鏡頭所能捕捉的圖像范圍。該方案解決了現(xiàn)有技術(shù)中魚眼鏡頭圖像復(fù)原的展開方法計(jì)算量大、無用區(qū)域多的技術(shù)問題，提供了一種計(jì)算量小、避免對(duì)無用區(qū)域的計(jì)算的魚眼鏡頭的圖像的展平方法及系統(tǒng)。
[0076]實(shí)施例2:
[0077]在本實(shí)施例中，在實(shí)施例1的基礎(chǔ)上，在所述步驟S4之后，還包括對(duì)因加工誤差帶來的系統(tǒng)誤差進(jìn)行修正的過程。這樣，由于設(shè)備生產(chǎn)過程中存在誤差，從而造成的系統(tǒng)誤差，針對(duì)該誤差進(jìn)行修正，提高了該處理后的圖像的準(zhǔn)確程度。
[0078]在所述步驟SI之前，還包括:配置魚眼鏡頭的成像圓和成像器的有效區(qū)域，使得所述成像器的有效區(qū)域內(nèi)接于所述魚眼鏡頭的成像圓。由于所述成像器的有效區(qū)域內(nèi)接于所述魚眼鏡頭的成像圓，使得成像器的有效面積得以充分利用，無成像器的浪費(fèi)，與現(xiàn)有技術(shù)中的設(shè)置方式相比，大大提高了成像器的利用率。此外，還通過增加鏡頭相對(duì)成像器的調(diào)整結(jié)構(gòu)調(diào)整鏡頭相對(duì)成像器工作區(qū)域的位置，可以使得鏡頭光軸與成像器中心重合。也可在圖像處理芯片中進(jìn)行坐標(biāo)變換，故在計(jì)算時(shí)將取屏幕中心作為計(jì)算起始點(diǎn)。傳統(tǒng)的魚眼鏡頭圖象校正采用面積統(tǒng)計(jì)算法或亮度差有效區(qū)域提取法，不但計(jì)算量大，給后期的系統(tǒng)運(yùn)算芯片造成了極大的負(fù)荷，而且準(zhǔn)確度不高。而本方案中通過簡單易行的機(jī)械機(jī)構(gòu)無級(jí)調(diào)整，準(zhǔn)確調(diào)整成像器中心與鏡頭光軸重合，此結(jié)構(gòu)可以根據(jù)不同產(chǎn)品做成生產(chǎn)過程中的工裝治具，不會(huì)增加相機(jī)本身的重量、尺寸及成本。
[0079]進(jìn)一步地，在本實(shí)施例中，針對(duì)成像器有效區(qū)域的邊緣，以任意步長取點(diǎn)，來計(jì)算出展平前的點(diǎn)坐標(biāo)。此處的步長可以根據(jù)需要來選擇，為了保證計(jì)算的精確度，可以選擇步長為I個(gè)像素點(diǎn)，此時(shí)計(jì)算量較大，但是精確度最高。也可以選擇步長為若干個(gè)像素點(diǎn)，如2個(gè)、3個(gè)、4個(gè)或10個(gè)像素點(diǎn)，此時(shí)計(jì)算的準(zhǔn)確度下降，但是計(jì)算量雖然大大減小了。根據(jù)需要，對(duì)步長進(jìn)行合理選擇。
[0080]實(shí)施例3:
[0081]本實(shí)施例中提供一種魚眼鏡頭圖像的展平方法，其中采用的圖像獲取設(shè)備包括如下:
[0082]成像器(image sensor)為相機(jī)成像器件,光電轉(zhuǎn)換用，把外界光信號(hào)轉(zhuǎn)換為電信號(hào)，輸出的電信號(hào)可經(jīng)后端處理電路變成顯示器可以顯示的信號(hào)。
[0083]視場角是指鏡頭所能夠收集最邊緣光線的夾角，根據(jù)成像器的長短邊分為水平視場角、垂直視場角及對(duì)角線視場角。
[0084]魚眼鏡頭是根據(jù)仿生學(xué)原理仿照魚眼結(jié)構(gòu)設(shè)計(jì)加工的鏡頭，視場角可超過180度。
[0085]全景相機(jī)具有超大視場角，為滿足同時(shí)監(jiān)控到整個(gè)“面”的需求，采用了有別于傳統(tǒng)監(jiān)控相機(jī)鏡頭的“魚眼鏡頭”，以將視場角拉大到接近或超過，如一款小魚眼鏡頭，其視場角達(dá)到對(duì)角線192度，水平154度，垂直122度，如圖3 (b)中給出了垂直方向視場角122度，圖3 (c)中給出了對(duì)角線方向視場角193度，圖3(d)中給出了水平方向視場角154度。圖3(a)中給出了本實(shí)施例中成像器工作區(qū)域2和魚眼鏡頭I成像圓的關(guān)系，該魚眼鏡頭成像圓內(nèi)部內(nèi)接成像器的工作區(qū)域(即有效區(qū)域)。這樣在該方案中，有效成像區(qū)域內(nèi)接成像圓，為有效利用成像器的有效面積及魚眼鏡頭的最佳工作區(qū)域，鏡頭的成像圓需與成像器的有效區(qū)域尺寸搭配好。因成像器生產(chǎn)工藝復(fù)雜，已形成標(biāo)準(zhǔn)的1/6英寸至I英寸系列(常用為1/4英寸至2/3英寸)，故選用魚眼鏡頭以搭配成像器。此方案的優(yōu)點(diǎn)之一是無像素浪費(fèi)，完全利用成像器的所有像素，大大降低了現(xiàn)有技術(shù)中對(duì)成像器的浪費(fèi)。
[0086]在本實(shí)施例中基準(zhǔn)點(diǎn)選取時(shí)，通過增加鏡頭相對(duì)成像器的調(diào)整結(jié)構(gòu)調(diào)整鏡頭相對(duì)成像器工作區(qū)域的位置，可以使得鏡頭光軸與成像器中心重合。如需要，也可在圖像處理芯片中進(jìn)行坐標(biāo)變換，故以下計(jì)算依據(jù)將取屏幕中心作為計(jì)算起始點(diǎn)。傳統(tǒng)的魚眼鏡頭圖象校正采用面積統(tǒng)計(jì)算法或亮度差有效區(qū)域提取法，不但計(jì)算量大，給后期的系統(tǒng)運(yùn)算芯片造成了極大的負(fù)荷，而且準(zhǔn)確度不高。而本設(shè)計(jì)的方法通過簡單易行的機(jī)械機(jī)構(gòu)無級(jí)調(diào)整，準(zhǔn)確調(diào)整成像器中心與鏡頭光軸重合。此結(jié)構(gòu)可以根據(jù)不同產(chǎn)品做成生產(chǎn)過程中的工裝治具，不會(huì)增加相機(jī)本身的重量、尺寸及成本。
[0087]魚眼鏡頭選取時(shí)，選取光學(xué)設(shè)計(jì)為Y = f* Θ原理的魚眼鏡頭，以便可以使用全視場等距投影還原圖像，其他成像原理的魚眼鏡頭也可選用，但還原原理及公式需隨之改變。
[0088]本實(shí)施例中的魚眼鏡頭圖像的展平方法，通過等距投影方式從成像器邊緣開始計(jì)算，得出成像器可還原之取景區(qū)域。具體作法如下:
[0089]S1、準(zhǔn)備計(jì)算:
[0090]Xl為有效成像區(qū)域?qū)?根據(jù)成像器及魚眼鏡頭計(jì)算，以無漸暈盡量大為準(zhǔn));
[0091]yl為有效成像區(qū)域高(根據(jù)成像器及魚眼鏡頭計(jì)算，以無漸暈盡量大為準(zhǔn))；
[0092]f為魚眼鏡頭焦距；
[0093]Sc為全局展平比例:S「2f x_X”



l2i
[0094]S2:自成像器有效區(qū)域邊緣以任意步長取點(diǎn)，按照如下公式計(jì)算出還原前的點(diǎn)坐標(biāo):
[0095]公式如下:
[0096]k=^； (xb) yb)為有效區(qū)域邊緣取點(diǎn)坐標(biāo)，k為點(diǎn)與坐標(biāo)系中心連線的斜率；
Xb
[0097]φ=&—;爐為點(diǎn)(xb, yb)對(duì)應(yīng)的展平前的視場角，
Ψi'xSc
[0098]h = f X Φ ；h為點(diǎn)(xb, yb)對(duì)應(yīng)的展平前像高；
fxa tan(^.2..H—}f χ a.....:)
[0099]xe=——^^，ye=—^I=J=^P^；
Ji+('l^fJi+(
[0100](xe, ye)為(xb, yb)對(duì)應(yīng)的邊界點(diǎn)；
[0101]S3:根據(jù)成像器分辨率進(jìn)行取點(diǎn)，并將計(jì)算所得邊界點(diǎn)連成曲線即得到邊界曲線，即可用來展平的取景區(qū)域。
[0102]S4:圖像還原:
[0103]根據(jù)成像器分辨率在d)計(jì)算所的取景區(qū)域內(nèi)進(jìn)行取點(diǎn)，按照以下公式還原:
[0104]
X0 = Γ χ tan φ χ Sc χ (......j=JliL.==), ι.0 = f χ Ian φ χ Sc χ (......j=JjL.==)

4χη +}'η.V-V + Λ2
[0105](Xpyci)是在取景區(qū)域內(nèi)取點(diǎn)的原坐標(biāo)，χ' 0、y'。是計(jì)算出的展開后的圖像的坐標(biāo)。
[0106]S5:對(duì)樣品進(jìn)行因加工誤差帶來的系統(tǒng)誤差的修正。
[0107]在本實(shí)施例中提供的魚眼鏡頭圖像的展平方法，成像器有效區(qū)域內(nèi)接魚眼鏡頭成像圓，無成像器的浪費(fèi)；在進(jìn)行芯片處理前直接計(jì)算出取景區(qū)域，即可展平的區(qū)域，大大減少了后端圖像處理芯片的負(fù)荷，輸出視頻流流暢。本設(shè)計(jì)并非僅僅采用等距投影，而是根據(jù)魚眼鏡頭視場角大的特點(diǎn)，將盡可能多的成像區(qū)域都進(jìn)行等比例縮放，鋪滿整個(gè)成像器，故展平后的視場角雖然比展平前小，但還是遠(yuǎn)遠(yuǎn)大于普通鏡頭所能捕捉的圖像范圍，通過等距投影方式從成像器邊緣找到最小像點(diǎn)，再根據(jù)成像器長寬比例得出成像范圍，再次利用等距投影方式投射至成像器得到待處理區(qū)域。本方法大大降低了圖像處理的計(jì)算量，更合理地從相機(jī)源頭出發(fā)，在全景相機(jī)內(nèi)部做出調(diào)整，以便直接輸出符合視覺習(xí)慣的還原圖像。在此基礎(chǔ)上，還可以輸出坐標(biāo)數(shù)據(jù)給相關(guān)設(shè)備，實(shí)現(xiàn)觸發(fā)聯(lián)動(dòng)，既節(jié)省存儲(chǔ)空間，又不會(huì)遺漏重要事項(xiàng)。
[0108]實(shí)施例4:
[0109]本實(shí)施例中，提供一種具體的魚眼鏡頭的圖像展平方法，以1/3英寸成像器作為案例進(jìn)行說明。
[0110]a) 1/3英寸成像器有效成像尺寸為4.8x3.6mm,故選用5.7mm的成像圓魚眼鏡頭，以匹配1/3英寸的成像器.本案例選用的魚眼鏡頭規(guī)格如下:
[0111]表I魚眼鏡頭I設(shè)計(jì)規(guī)格塑號(hào)FE-185-1.8
焦距1.Sum
光圖P1.4 -16 (手動(dòng))
成象亭IS5.7am
像素6MP
視野氷平152.8°

垂直114.6°

對(duì)角185°
解像力中心2 O OIP /nrn
邊緣〗40Γρ/ι?Μ
接口C/CS-Moimt
溫度范圍-40° -70°
[0113]b)基準(zhǔn)點(diǎn)選取:如上述實(shí)施例中提到，為盡量減少后期芯片的運(yùn)算并保證碼流的流暢，選用成像器的有效區(qū)域中心作為基準(zhǔn)點(diǎn)；
[0114]c)算法:
[0115]計(jì)算可拉平區(qū)域，如圖4中的算法原理，根據(jù)成像器的有效區(qū)域進(jìn)行等距投影計(jì)算，獲取最大供取景范圍方錐。方錐依據(jù)等距投影原理至成像面所得即成像器上可拉平的區(qū)域。
[0116]本實(shí)施例中，1/3英寸成像器有效區(qū)域4.8x3.6毫米，本魚眼鏡頭的視場角垂直方向的視場角為114.6度，因魚眼鏡頭成像圓為5.7毫米，比1/3英寸成像器有效區(qū)域稍小，故取成像器工作區(qū)域?yàn)?.5x3.375毫米(即直徑5.625毫米，比成像圓直徑略小)，窄邊視場角為53.7x2 = 107.4度。在成像器上的區(qū)域如圖5中的本例算法原理?？衫絽^(qū)域坐標(biāo)計(jì)算:
[0117]上述實(shí)施例步驟SI中的準(zhǔn)備計(jì)算結(jié)果如圖6所示，步驟S2中自成像器有效區(qū)域邊緣以任意步長取點(diǎn)，計(jì)算出還原前的點(diǎn)坐標(biāo)的結(jié)果如圖7(a)-圖10(c)所示。這樣，就可以得到取景區(qū)域。
[0118]在圖像還原步驟中，根據(jù)取景錐面的4個(gè)面分四個(gè)區(qū)域計(jì)算，即得準(zhǔn)確的每個(gè)點(diǎn)的展平坐標(biāo)，完成圖像還原，如圖11所示，實(shí)際計(jì)算區(qū)域效果圖如圖12所示。
[0119]通過該實(shí)例可以看出，本發(fā)明的魚眼鏡頭圖像的展平方法，除在光學(xué)鏡頭的選型上有獨(dú)到之處，而且在圖像的展平還原上采用了等距投影后的等比縮放，最大限度地保留了魚眼鏡頭視場角大的特點(diǎn)，并且使得直接從相機(jī)輸出符合人類視覺習(xí)慣的圖像，為全景相機(jī)真正走入安防監(jiān)控領(lǐng)域創(chuàng)造了條件。
[0120]此外，本方案中可將盡可能多的計(jì)算都在工廠完成，真正需要寫入相機(jī)的還原僅僅是最后計(jì)算好的區(qū)域內(nèi)點(diǎn)的還原，計(jì)算量要遠(yuǎn)遠(yuǎn)小于現(xiàn)各圖像還原的方案。同時(shí)也為算法寫入計(jì)算芯片，在前端攝像頭完成圖像展平校正做好了準(zhǔn)備。
[0121]實(shí)施例5:
[0122]本實(shí)施例中提供一種使用上述實(shí)施例所述的圖像展平方法的魚眼鏡頭圖像的展平系統(tǒng)，包括:
[0123]全局展平比例計(jì)算模塊:計(jì)算全局展平比例S。，采用以下公式_卜

2Γ'
[0125]其中，X1為有效成像區(qū)域?qū)?，Y1為有效成像區(qū)域高，f為魚眼鏡頭焦距；
[0126]邊界計(jì)算模塊:針對(duì)成像器有效區(qū)域的邊緣，計(jì)算出展平前的點(diǎn)坐標(biāo)，采用以下公式:
[0127](xb, yb)為有效區(qū)域邊緣取點(diǎn)坐標(biāo)，k為點(diǎn)與坐標(biāo)系中心連線的斜率；
Ab
[0128]"tan2?-;穸為點(diǎn)(xb, yb)對(duì)應(yīng)的展平前的視場角，

? χ Sc
[0129]h = f X Φ ；h為點(diǎn)(xb, yb)對(duì)應(yīng)的展平前像高；
f χ a Ian(SlZ)f κ a tan(^Z±Z)
^ —I χ Sc τ? —I χ Sc.L0130」 \ —?- , ye —j- t
Ji+(}),fJi+(^r
[0131](xe, ye)為(xb，yb)對(duì)應(yīng)的邊界點(diǎn)；
[0132]取景區(qū)域設(shè)定模塊:將上述計(jì)算出的邊界點(diǎn)連接得到邊界曲線，屬于該邊界曲線內(nèi)部的區(qū)域作為可展平的取景區(qū)域；
[0133]展平模塊:在所述取景區(qū)域內(nèi)取點(diǎn)，計(jì)算還原后該點(diǎn)的坐標(biāo)值，得到還原后的圖像，采用如下公式:
[0134]
X0 =f xtan^xScx(-j=JS==)? J0 = Txtan^xScx(......j=M===)



#0—+.F0-
[0135](Χ(ι、％)是在取景區(qū)域內(nèi)取點(diǎn)的原坐標(biāo)，X' 0、y'。是計(jì)算出的展開后的圖像的坐標(biāo)。
[0136]本實(shí)施例所述的魚眼鏡頭圖像的展平系統(tǒng)，實(shí)現(xiàn)了魚眼鏡頭圖像的展平，計(jì)算方法簡單，可以在圖像處理前直接在相機(jī)端實(shí)現(xiàn)圖像的展平，大大減少了后端圖像處理芯片的負(fù)荷，可以輸出流暢的視頻。
[0137]顯然，上述實(shí)施例僅僅是為清楚地說明所作的舉例，而并非對(duì)實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無需也無法對(duì)所有的實(shí)施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動(dòng)仍處于本發(fā)明創(chuàng)造的保護(hù)范圍之中。
【權(quán)利要求】
1.一種魚眼鏡頭圖像的展平方法，其特征在于，包括如下步驟: 51:計(jì)算全局展平比例S。，采用以下公式 ?X1 Sc =-!-
2f X tan(晝寺) 其中，X1為有效成像區(qū)域?qū)?，Yi為有效成像區(qū)域高，f為魚眼鏡頭焦距； 52:針對(duì)成像器有效區(qū)域的邊緣，計(jì)算出展平前的點(diǎn)坐標(biāo)，公式如下: ^Tl 5 (xb, yb)為有效區(qū)域邊緣取點(diǎn)坐標(biāo)，k為點(diǎn)與坐標(biāo)系中心連線的斜率； 『迦辦為點(diǎn)(xb, yb)對(duì)應(yīng)的展平前的視場角， ΨfxSc h = f X Φ ；h為點(diǎn)(xb, yb)對(duì)應(yīng)的展平前像高； f 她 Jw)—Α? τ —IX Sc ,, —? X Sc.~,yr — j= f
Jl+ Cv")2Jl+ (Χ")2
I χι>I yA (χ6, ye)為(xb，yb)對(duì)應(yīng)的邊界點(diǎn)； 53:將上述計(jì)算出的邊界點(diǎn)連接得到邊界曲線，屬于該邊界曲線內(nèi)部的區(qū)域作為可展平的取景區(qū)域； S4:在所述取景區(qū)域內(nèi)取點(diǎn)，計(jì)算還原后該點(diǎn)的坐標(biāo)值，得到還原后的圖像，計(jì)算公式如下X0 = f xtan^xScx( ,.....................................) > J0 = fxtanyx&x(.——.....................)
-VxO2+Λ2νΛ'--+Λ2 O^ytl)是在取景區(qū)域內(nèi)取點(diǎn)的原坐標(biāo)，X' 0、1丨。是計(jì)算出的展開后的圖像的坐標(biāo)。
2.根據(jù)權(quán)利要求1所述的魚眼鏡頭圖像的展平方法，其特征在于，在所述步驟S4之后，還包括對(duì)因加工誤差帶來的系統(tǒng)誤差進(jìn)行修正的過程。
3.根據(jù)權(quán)利要求1或2所述的魚眼鏡頭圖像的展平方法，其特征在于，在所述步驟SI之前，還包括:配置魚眼鏡頭的成像圓和成像器的有效區(qū)域，使得所述成像器的有效區(qū)域內(nèi)接于所述魚眼鏡頭的成像圓。
4.根據(jù)權(quán)利要求3所述的魚眼鏡頭圖像的展平方法，其特征在于，在所述步驟SI之前，還包括:調(diào)整鏡頭相對(duì)成像器工作區(qū)域的位置，使得鏡頭光軸與成像器中心重合。
5.根據(jù)權(quán)利要求4所述的魚眼鏡頭圖像的展平方法，其特征在于，還包括鏡頭相對(duì)成像器的調(diào)整機(jī)構(gòu)，通過該調(diào)整機(jī)構(gòu)實(shí)現(xiàn)鏡頭光軸與成像器的中心重合。
6.根據(jù)權(quán)利要求1或2或3或4所述的魚眼鏡頭圖像的展平方法，其特征在于，在所述步驟S2中，針對(duì)成像器有效區(qū)域的邊緣，以任意步長取點(diǎn)，來計(jì)算出展平前的點(diǎn)坐標(biāo)。
7.根據(jù)權(quán)利要求5所述的魚眼鏡頭圖像的展平方法，其特征在于，所述步長為1-10個(gè)像素點(diǎn)。
8.根據(jù)權(quán)利要求4所述的魚眼鏡頭圖像的展平方法，其特征在于，所述步長為I或2個(gè)像素點(diǎn)。
9.根據(jù)權(quán)利要求4所述的魚眼鏡頭圖像的展平方法，其特征在于，在所述步驟S4中，取屏幕中心作為計(jì)算起始點(diǎn)。
10.一種使用權(quán)利要求1-9所述展平方法的魚眼鏡頭圖像的展平系統(tǒng)，其特征在于，包括: 全局展平比例計(jì)算模塊:計(jì)算全局展平比例S。，采用以下公式.(3^ 一 ———————————— 9
21'X tan( X| )
21 其中，X1為有效成像區(qū)域?qū)?，Yi為有效成像區(qū)域高，f為魚眼鏡頭焦距； 邊界計(jì)算模塊:針對(duì)成像器有效區(qū)域的邊緣，計(jì)算出展平前的點(diǎn)坐標(biāo)，采用以下公式: k=，； (xb, yb)為有效區(qū)域邊緣取點(diǎn)坐標(biāo)，k為點(diǎn)與坐標(biāo)系中心連線的斜率；
tan* —為點(diǎn)(xb，yb)對(duì)應(yīng)的展平釗的視場角，
f xSc h = f X Φ ;h為點(diǎn)(xb，yb)對(duì)應(yīng)的展平前像高；
fxatanfSlZ)Γ χ a Ian(^ElZ) ν _.FxSc ? _.fxSc ,
j w__% τ**_ 一? Je1--f
Jl+ (^fJ1+(y)2 (χ6, ye)為(xb，yb)對(duì)應(yīng)的邊界點(diǎn)； 取景區(qū)域設(shè)定模塊:將上述計(jì)算出的邊界點(diǎn)連接得到邊界曲線，屬于該邊界曲線內(nèi)部的區(qū)域作為可展平的取景區(qū)域； 展平模塊:在所述取景區(qū)域內(nèi)取點(diǎn)，計(jì)算還原后該點(diǎn)的坐標(biāo)值，得到還原后的圖像，采用如下公式:
Y11
Xp =f xtanf>xScx( , 11 ? j0 = fxtanpx&x( , 0:)
4Χ? +Λ2νΛ'--2 +Λ?2 O^ytl)是在取景區(qū)域內(nèi)取點(diǎn)的原坐標(biāo)，X' 0、1丨。是計(jì)算出的展開后的圖像的坐標(biāo)。
【文檔編號(hào)】H04N5/232GK104135608SQ201410216407
【公開日】2014年11月5日 申請(qǐng)日期:2014年5月21日 優(yōu)先權(quán)日:2014年5月21日
【發(fā)明者】張華輝, 朱忻, 高堅(jiān), 談捷 申請(qǐng)人:張家港恩達(dá)通訊科技有限公司