的專用緩沖區(qū)；獲取左右兩路視頻單幀數(shù)據(jù)，并將其分別存放到專用緩沖區(qū)中；同時(shí)，利用幀數(shù)據(jù)時(shí)間戳功能進(jìn)行軟件同步；將采集到的YUV格式的數(shù)據(jù)轉(zhuǎn)換為RGB格式；對格式轉(zhuǎn)換后的左右視圖進(jìn)行圖像平滑和尺寸變換處理后輸出給提取模塊。
[0111]提取模塊，用于采用SIFT特征匹配算法提取預(yù)處理后的左右視圖的特征，生成32維度的SIFT特征描述子。
[0112]匹配模塊，用于采用SIFT特征匹配算法匹配提取的左右視圖的特征，將右視圖中歐式距離最近的點(diǎn)作為當(dāng)前左視圖SIFT關(guān)鍵點(diǎn)的匹配點(diǎn)，記錄匹配點(diǎn)對的坐標(biāo)信息。
[0113]合成模塊，用于通過預(yù)先設(shè)置的特定的像素排列方式對左右視圖像素點(diǎn)進(jìn)行排列，生成一幀可在光柵下顯示的立體圖像數(shù)據(jù)。
[0114]進(jìn)一步地，還包括剔除模塊，用于采用RANSAC算法剔除誤匹配的特征點(diǎn)，并估計(jì)左右視圖像素坐標(biāo)映射模型。
[0115]進(jìn)一步地，還包括遮擋修復(fù)模塊，用于利用估計(jì)得到的左右視圖像素坐標(biāo)映射模型確定存在遮擋區(qū)時(shí)，對對某一視圖中被異物遮擋的區(qū)域用另一視圖對應(yīng)像素點(diǎn)的灰度值修正，以實(shí)現(xiàn)遮擋區(qū)域的修復(fù)。
[0116]進(jìn)一步地，還包括噪聲修復(fù)模塊，用于利用中值濾波器檢測左右視圖的噪聲，并對噪聲點(diǎn)加以標(biāo)注后輸出給合成模塊。
[0117]顯示單元，用于通過狹縫光柵前置LED立體顯示器實(shí)現(xiàn)對兩視點(diǎn)立體圖像的裸眼顯不ο
[0118]以上所述，僅為本發(fā)明的較佳實(shí)例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種兩視點(diǎn)立體圖像合成方法，其特征在于，包括:利用雙移動行業(yè)處理器接口MIPI接口采集雙視點(diǎn)圖像； 對采集到的雙視點(diǎn)圖像進(jìn)行匹配、合成處理，生成兩視點(diǎn)立體圖像數(shù)據(jù)； 通過狹縫光柵前置LED立體顯示器實(shí)現(xiàn)對兩視點(diǎn)立體圖像的裸眼顯示。2.根據(jù)權(quán)利要求1所述的兩視點(diǎn)立體圖像合成方法，其特征在于，該方法還包括:對述采集到的雙視點(diǎn)圖像進(jìn)行視頻驅(qū)動處理。3.根據(jù)權(quán)利要求1或2所述的兩視點(diǎn)立體圖像合成方法，其特征在于，所述對采集到的雙視點(diǎn)圖像進(jìn)行匹配、合成處理包括: 利用兩個(gè)并行執(zhí)行的預(yù)覽線程，分別提取出所述采集到的雙視點(diǎn)圖像中的左右視圖每一幀圖像的數(shù)據(jù)，再對其進(jìn)行匹配、合成處理。4.根據(jù)權(quán)利要求3所述的兩視點(diǎn)立體圖像合成方法，其特征在于，所述進(jìn)行匹配、合成處理包括: 在內(nèi)存中注冊用于照相機(jī)預(yù)覽顯示的專用緩沖區(qū)；從所述采集到的雙視點(diǎn)圖像中中獲取左右兩路視頻單幀數(shù)據(jù)，并將其分別存放到專用緩沖區(qū)中； 利用幀數(shù)據(jù)時(shí)間戳對獲得的左右兩路視頻單幀數(shù)據(jù)進(jìn)行同步處理； 將采集到的YUV格式的數(shù)據(jù)轉(zhuǎn)換為RGB格式； 對格式轉(zhuǎn)換后的左右視圖進(jìn)行圖像平滑和尺寸變換處理； 采用尺度不變特征變換匹配算法SIFT特征匹配算法提取并匹配的經(jīng)過圖像平滑和尺寸變換處理后的左右視圖的特征； 通過預(yù)先設(shè)置的特定的像素排列方式對左右視圖像素點(diǎn)進(jìn)行排列，生成一幀可在光柵下顯示的立體圖像數(shù)據(jù)。5.根據(jù)權(quán)利要求4所述的兩視點(diǎn)立體圖像合成方法，其特征在于，所述圖像平滑處理應(yīng)用高斯低通濾波器實(shí)現(xiàn)。6.根據(jù)權(quán)利要求4所述的兩視點(diǎn)立體圖像合成方法，其特征在于，該方法還包括:利用隨機(jī)取樣一致性算法RANSAC剔除所述匹配后的左右視圖的特征中的誤匹配的特征點(diǎn)。7.根據(jù)權(quán)利要求4所述的兩視點(diǎn)立體圖像合成方法，其特征在于，所述像素排列方式為:以縱向列為單位，合成圖的第一列排布左視圖的第一列像素，合成圖的第二列排布右視圖的第一列像素；合成圖的第三列排布左視圖第二列像素，合成圖的第四列排布右視圖第二列像素，以此類推，直至左右視圖像素完全排布進(jìn)入合成圖中。8.根據(jù)權(quán)利要求4或6所述的兩視點(diǎn)立體圖像合成方法，其特征在于，所述生成一幀可在光柵下顯示的立體圖像數(shù)據(jù)之前還包括:驗(yàn)證所述左右視圖是否被遮擋，如果存在被遮擋，修復(fù)遮擋區(qū)域。9.根據(jù)權(quán)利要求8所述的兩視點(diǎn)立體圖像合成方法，其特征在于，所述修復(fù)遮擋區(qū)域包括:采用另一視圖中像素點(diǎn)的灰度值修正對某一視圖中對應(yīng)的被異物遮擋的區(qū)域。10.根據(jù)權(quán)利要求8所述的兩視點(diǎn)立體圖像合成方法，其特征在于，該方法還包括:利用中值濾波器檢測所述修復(fù)遮擋后的左右視圖的噪聲，并對噪聲點(diǎn)加以標(biāo)注； 對于確定為噪聲的點(diǎn)進(jìn)行噪聲點(diǎn)修復(fù)。11.根據(jù)權(quán)利要求10所述的兩視點(diǎn)立體圖像合成方法，其特征在于，所述進(jìn)行噪聲修復(fù)包括:采用另一視點(diǎn)對應(yīng)像素點(diǎn)的灰度值修正確認(rèn)出的噪聲點(diǎn)內(nèi)各像素灰度值。12.—種兩視點(diǎn)立體圖像合成系統(tǒng)，其特征在于，至少包括采集單元、處理單元，以及顯示單元；其中， 采集單元，用于利用雙MIPI接口采集雙視點(diǎn)圖像； 處理單元，用于對采集到的雙視點(diǎn)圖像進(jìn)行匹配、合成處理，生成兩視點(diǎn)立體圖像數(shù)據(jù)并輸出給顯示單元； 顯示單元，用于通過狹縫光柵前置LED立體顯示器實(shí)現(xiàn)對兩視點(diǎn)立體圖像的裸眼顯/j、l Ο13.根據(jù)權(quán)利要求12所述的兩視點(diǎn)立體圖像合成系統(tǒng)，其特征在于，所述采集單元至少包括兩路具有ΜΙΡΙ接口的后置攝像頭，分別用于采集左右兩路視圖； 兩路攝像頭分別掛載在不同的1?總線上，采用獨(dú)立的數(shù)據(jù)線路與內(nèi)存和中央處理器交互，并利用每一幀圖像的時(shí)間戳進(jìn)行幀同步。14.根據(jù)權(quán)利要求13所述的兩視點(diǎn)立體圖像合成系統(tǒng)，其特征在于，所述攝像頭的為Omnivis1n 公司的 0V5640 芯片。15.根據(jù)權(quán)利要求13所述的兩視點(diǎn)立體圖像合成系統(tǒng)，其特征在于，所述采集單元還包括攝像頭驅(qū)動模塊，用于對采集到的兩路視圖進(jìn)行驅(qū)動處理后輸出給處理單元。16.根據(jù)權(quán)利要求15所述的兩視點(diǎn)立體圖像合成系統(tǒng)，其特征在于，所述攝像頭驅(qū)動模塊采用V4L2視頻驅(qū)動框架來實(shí)現(xiàn)。17.根據(jù)權(quán)利要求12所述的兩視點(diǎn)立體圖像合成系統(tǒng)，其特征在于，所述處理單元至少包括預(yù)處理模塊、提取模塊、匹配模塊，合成模塊；其中， 預(yù)處理模塊，用于在內(nèi)存中注冊用于照相機(jī)預(yù)覽顯示的專用緩沖區(qū)；獲取左右兩路視頻單幀數(shù)據(jù)，并將其分別存放到專用緩沖區(qū)中；同時(shí)，利用幀數(shù)據(jù)時(shí)間戳功能進(jìn)行軟件同步；將采集到的YUV格式的數(shù)據(jù)轉(zhuǎn)換為RGB格式；對格式轉(zhuǎn)換后的左右視圖進(jìn)行圖像平滑和尺寸變換處理后輸出給提取模塊； 提取模塊，用于采用SIFT特征匹配算法提取預(yù)處理后的左右視圖的特征，生成32維度的SIFT特征描述子； 匹配模塊，用于采用SIFT特征匹配算法匹配提取的左右視圖的特征，將右視圖中歐式距離最近的點(diǎn)作為當(dāng)前左視圖SIFT關(guān)鍵點(diǎn)的匹配點(diǎn)，記錄匹配點(diǎn)對的坐標(biāo)信息； 合成模塊，用于通過預(yù)先設(shè)置的特定的像素排列方式對左右視圖像素點(diǎn)進(jìn)行排列，生成一幀可在光柵下顯示的立體圖像數(shù)據(jù)。18.根據(jù)權(quán)利要求17所述的兩視點(diǎn)立體圖像合成系統(tǒng)，其特征在于，還包括剔除模塊，用于采用RANSAC算法剔除誤匹配的特征點(diǎn)，并估計(jì)左右視圖像素坐標(biāo)映射模型。19.根據(jù)權(quán)利要求18所述的兩視點(diǎn)立體圖像合成系統(tǒng)，其特征在于，還包括遮擋修復(fù)模塊，用于利用估計(jì)得到的左右視圖像素坐標(biāo)映射模型確定存在遮擋區(qū)時(shí)，對對某一視圖中被異物遮擋的區(qū)域用另一視圖對應(yīng)像素點(diǎn)的灰度值修正，以實(shí)現(xiàn)遮擋區(qū)域的修復(fù)。20.根據(jù)權(quán)利要求19所述的兩視點(diǎn)立體圖像合成系統(tǒng)，其特征在于，還包括噪聲修復(fù)模塊，用于利用中值濾波器檢測左右視圖的噪聲，并對噪聲點(diǎn)加以標(biāo)注后輸出給合成模塊。
【專利摘要】本發(fā)明公開了一種兩視點(diǎn)立體圖像合成方法及系統(tǒng)，包括利用雙MIPI接口采集雙視點(diǎn)圖像；對采集到的雙視點(diǎn)圖像進(jìn)行匹配、合成處理，生成兩視點(diǎn)立體圖像數(shù)據(jù)；通過狹縫光柵前置LED立體顯示器實(shí)現(xiàn)對兩視點(diǎn)立體圖像的裸眼顯示。本發(fā)明中的匹配提取的左右視圖的特征更能有效地應(yīng)對了“焦距突變”等移動終端拍攝時(shí)經(jīng)常遇到的圖像突變問題，增強(qiáng)了匹配穩(wěn)定性、提高抗噪聲能力，從而顯示出高質(zhì)量的立體圖像。
【IPC分類】H04N13/00, H04N13/04
【公開號】CN105430368
【申請?zhí)枴緾N201410489839
【發(fā)明人】侯春萍, 劉佳杰, 李飛, 胡文迪
【申請人】中興通訊股份有限公司
【公開日】2016年3月23日
【申請日】2014年9月22日
【公告號】WO2016045425A1