攝像裝置、圖像處理裝置、攝像方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及拍攝寬視野角的圖像、并且取得視野內(nèi)的H維位置的技術(shù)。
【背景技術(shù)】
[0002] W主，已知有使用多個具備魚眼透鏡的攝像裝置來對目標(biāo)物進(jìn)行測位的技術(shù)方案 (參照專利文獻(xiàn)2)。
[0003] <現(xiàn)有技術(shù)文獻(xiàn)〉
[0004] 專利文獻(xiàn)1;日本特開2001 - 285692號公報
[0005] 專利文獻(xiàn)2;日本特開平6 - 167564號公報
[0006] 專利文獻(xiàn)3;日本特開2007 _ 24647號公報
[0007]非專利文獻(xiàn) 1 ;C.Zach,T.化ck和H.Bischof,"Adualitybasedapproachfor realtimeTV-Llopticalflow,"，關(guān)于圖案識別的第29屆DAGM會議的會議記錄，第 214-223 頁，2007 年。
[0008]非專利文獻(xiàn) 2 ;M.Wer化erger,T.化ck,比Bischof,"Motionestimationwith non-localtotalvariationregularization,'，，IEEEConferenceonComputerVision andPatternReco即ition(CVPR),第 2464-2471 頁，2010 年6 月 13-18 日。
[0009] 非專利文獻(xiàn)3;松山隆司等編，"計算機(jī)視覺"、新技術(shù)通信株式會社（ShinGijutsu CommunicationsK.K. )、ppl23 ~137。

【發(fā)明內(nèi)容】

[0010] 在上述現(xiàn)有技術(shù)中，在具備多個包括魚眼透鏡的照相機(jī)的攝像裝置中存在W下情 況；在用多個照相機(jī)所包含的某一照相機(jī)拍攝到的圖像中，存在映入了多個照相機(jī)所包含 的其它照相機(jī)的區(qū)域。也即是，在用某一照相機(jī)拍攝到的圖像中，位于其它照相機(jī)的后方的 物體等被遮擋而無法取得圖像和H維位置。
[0011] 一個非限制的例示性實施例提供了一種攝像裝置，其能夠取得不存在拍攝到攝像 裝置所包含的照相機(jī)的區(qū)域的圖像和H維位置。
[0012] 本發(fā)明的實施方式的其他益處和優(yōu)點將通過說明書和附圖得到明確。該些益處和 /或優(yōu)點能夠單獨(dú)地由所公開的說明書和附圖的各個實施方式和特征來實現(xiàn)，并且，不需要 通過所有的實施方式和特征來實現(xiàn)一個或更多的益處和/或優(yōu)點。
[0013]本發(fā)明的一個技術(shù)方案涉及一種攝像裝置，其拍攝多個圖像，并且，從所取得的所 述多個圖像計算H維位置，輸出所述多個圖像和所述H維位置的信息，所述攝像裝置具有： 攝像單元，其通過利用至少3個照相機(jī)的每個照相機(jī)進(jìn)行拍攝，生成并輸出所述多個圖像， 各照相機(jī)配置為其光軸互相平行且靠近；照相機(jī)參數(shù)存儲單元，其預(yù)先存儲包含與所述各 照相機(jī)的物理配置有關(guān)的外部參數(shù)、與所述各照相機(jī)的特性有關(guān)的內(nèi)部參數(shù)、W及遮擋信 息的照相機(jī)參數(shù)，所述遮擋信息包含在各照相機(jī)的圖像中是否存在被其他照相機(jī)遮擋的區(qū) 域的信息；位置計算單元，其接受所述多個圖像和所述照相機(jī)參數(shù)，由利用了所述多個圖像 的2個W上的圖像的組和所述照相機(jī)參數(shù)來計算多個點的H維位置；位置選擇單元，其接 受在所述位置計算單元中計算出的所述多個點的位置信息和所述照相機(jī)參數(shù)存儲單元存 儲的遮擋信息，從所述多個點的位置信息中選擇無遮擋的被拍攝物體區(qū)域的位置信息來作 為選擇位置信息而進(jìn)行輸出；W及圖像補(bǔ)全單元，其接受所述多個圖像和所述選擇位置信 息，基于所述選擇位置信息來生成對所述多個圖像之一中存在的遮擋區(qū)域使用其他圖像進(jìn) 行補(bǔ)全（追補(bǔ)）后的補(bǔ)全圖像，輸出所述補(bǔ)全圖像和所述選擇位置信息。
[0014] 此外，本發(fā)明的總體W及【具體實施方式】可W由系統(tǒng)、方法、集成電路、計算機(jī)程序 或計算機(jī)能讀取的記錄介質(zhì)、例如壓縮盤只讀存儲器（CD-ROM)的形式來實現(xiàn)，或者可W使 用系統(tǒng)、方法、集成電路、計算機(jī)程序和計算機(jī)能讀取的記錄介質(zhì)的任何組合來實現(xiàn)。
[0015] 根據(jù)本發(fā)明的一個技術(shù)方案涉及的攝像裝置，能夠取得沒有拍攝到攝像裝置所包 含的照相機(jī)的區(qū)域的圖像和H維位置。
【附圖說明】
[0016] 圖1A是表示實施方式1的攝像裝置的結(jié)構(gòu)的框圖。
[0017] 圖1B是表示實施方式1的攝像裝置的結(jié)構(gòu)的框圖。
[0018] 圖2的（a)和化）是表示本發(fā)明例示的實施方式1的攝像單元的結(jié)構(gòu)的示意圖。
[0019] 圖3是表示具備由計算機(jī)構(gòu)成的圖像處理單元的攝像裝置的結(jié)構(gòu)的框圖。
[0020] 圖4是表示實施方式1的圖像處理單元的工作的順序的流程圖。
[002。 圖5的（a)是表示本發(fā)明例示的實施方式1的攝像裝置的設(shè)置的例子的示意圖， 圖5的化）是表示攝像狀況的例子的示意圖。
[0022] 圖6的（a)和化）是表示本發(fā)明例示的實施方式1的攝像圖像的例子的示意圖。
[0023] 圖7是表示實施方式1的各照相機(jī)圖像的遮擋信息的例子的示意圖。
[0024] 圖8是表示實施方式1的位置信息中的遮擋區(qū)域的例子的示意圖。
[002引圖9的（a)和化）是表示本發(fā)明例示的實施方式1的補(bǔ)全圖像和選擇位置信息的 例子的示意圖。
[0026] 圖10是表示實施方式1的從移動物體檢測單元輸出的合成圖像的例子的示意圖。
[0027] 圖11是表示實施方式2的攝像裝置的工作的順序的流程圖。
[0028] 圖12的（a)~（d)是表示實施方式1中的考慮到遮擋的4個照相機(jī)的圖像間的 視差的例子的示意圖。
[0029] 圖13是表示由實施方式1的圖像中的位置產(chǎn)生的被拍攝物體像的形狀、大小、朝 向的差異的例子的示意圖。
[0030] 圖14的（a)和化）是表示現(xiàn)有技術(shù)中的攝像裝置的結(jié)構(gòu)例的示意圖。
[0031] 圖15是說明照相機(jī)坐標(biāo)系和照相機(jī)的外部參數(shù)的示意圖。
[00礎(chǔ)標(biāo)號說明
[003引1;攝像裝置[0034] 100;攝像單元
[00巧]100a~lOOd;照相機(jī)[003引 110;圖像處理單元
[0037] 111;位置計算單元
[0038] 112;位置選擇單元
[00測113;圖像補(bǔ)全單元
[0040] 114;照相機(jī)參數(shù)存儲單元
[0041] 115;照相機(jī)參數(shù)取得單元
[004引120;障礙物檢測單元
[004引130;顯示器
【具體實施方式】
[0044](基礎(chǔ)見解）
[0045] 在汽車安全駕駛支援系統(tǒng)、移動機(jī)器人的遠(yuǎn)程操作系統(tǒng)、或者檢測可疑者等的監(jiān) 視攝像系統(tǒng)等中，用戶和系統(tǒng)要進(jìn)行判斷或控制，需要系統(tǒng)周圍的圖像和監(jiān)視對象的H維 位置的信息。特別是在人或車等的監(jiān)視對象移動的情況下，甚至是汽車、機(jī)器人等的系統(tǒng)本 身移動的情況下，取得更寬視角的圖像和監(jiān)視對象等的H維位置尤為重要。
[0046] 作為取得圖像和監(jiān)視對象等的H維位置的手段，一般采用所謂的雙目立體視覺。 在雙目立體視覺下，將兩臺照相機(jī)配置為在互不相同的視點上視野重復(fù)而取得兩個圖像， 計算兩個圖像間的對應(yīng)點，使用對應(yīng)點和預(yù)先求出的照相機(jī)的位置和/或朝向的信息來計 算對應(yīng)點的H維位置。
[0047] 在雙目立體視覺下，在連接兩臺照相機(jī)的直線上、更準(zhǔn)確而言在連接兩臺照相機(jī) 的視點的直線上W及該直線附近無法計算H維位置。其理由是，作為來自兩個視點的方向 之差的視差成為0或接近0。特別是在利用魚眼透鏡等的使用視野角為180度W上的照相 機(jī)的情況下，視野內(nèi)一定包含由于視差成為0而無法計算H維位置的區(qū)域。因而，作為取得 寬視角的圖像和H維位置的方法，研究出將構(gòu)成比180度窄的視野角的立體視覺的多個照 相機(jī)作為1組并使用該多組照相機(jī)的方法、和使用3臺W上的具有180度W上的魚眼透鏡 的照相機(jī)的方法。
[0048] 圖14的（a)示出在同一構(gòu)件上設(shè)置視野角小于180度的多個照相機(jī)并將其作為1 組立體照相機(jī)、在多面體的各面各設(shè)置1組立體照相機(jī)的結(jié)構(gòu)的裝置。例如專利文獻(xiàn)1公 開了該裝置。當(dāng)使用該裝置時，能夠取得全方位（球狀）的H維位置。該技術(shù)由于各組立 體照相機(jī)的視野角相對于180度充分窄，因此不包含由于視差成為0而無法計算H維位置 的區(qū)域。但是，為了測量（計測）360度的視野角（球狀），需要12~60臺的非常多的照相 機(jī)。
[0049]與此相對，專利文獻(xiàn)2、3公開了用更少的照相機(jī)來取得寬范圍的圖像和H維位置 的方法。例如，圖14的化）示出專利文獻(xiàn)2所公開的采用了具有視野角寬的魚眼透鏡的照 相機(jī)組的裝置。該技術(shù)是使用具有魚眼透鏡的照相機(jī)來取得寬視野角的魚眼圖像，并且從 各魚眼圖像檢測移動物體，計算經(jīng)過各移動物體的直線方程式，針對各移動物體求出將多 個直線方程式作為1組的直線方程式組。由此，確定H維位置坐標(biāo)，追蹤在視野內(nèi)高速移動 的物體或同時追蹤多個目標(biāo)物。
[0050] 在上述現(xiàn)有技術(shù)中，在具備多個包括魚眼