雙目測距方法、裝置和全景圖像拼接方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種用于全景相機的雙目測距方法、裝置和全景圖像拼接方法及其系統(tǒng)，其中該方法包括：根據第一圖像和第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像；針對預存的距離模板組中的每個距離模板，根據當前距離模板計算左側圖像的特征位置與相對應的右側圖像的特征位置處圖像之間的匹配度；針對當前距離模板，基于所計算出的匹配度計算左側圖像與右側圖像的圖像在特征位置處圖像的平均匹配度，并在平均匹配度是超過預設閾值時，將當前距離模板作為目標距離模板，并將目標距離模板的鏡頭到樣本景物的距離作為第一圖像與第二圖像中的鏡頭到景物的距離。該方法準確確定第一圖像與第二圖像中的鏡頭到景物的距離。
【專利說明】
雙目測距方法、裝置和全景圖像拼接方法及其系統(tǒng)
技術領域
[0001]本發(fā)明涉及全景圖像技術領域，尤其涉及一種用于全景相機的雙目測距方法、裝置和全景圖像拼接方法及其系統(tǒng)。
【背景技術】
[0002]由于全景照片帶來強大的視覺效果，全景相機應用逐漸廣泛起來。全景相機中包含多個鏡頭，在拍攝景物的過程中，全景相機根據用戶的操作進行全景拍攝模式，并通過相機中的多個鏡頭為用戶拍攝多張圖片，并將所拍攝的多張圖片拼接為全景照片，為用戶提供拼接后的全景照片。然而，在單張照片縫合成全景照片時，由于相機到景物的距離未知，從而導致縫合效果不佳的問題，為解決這一問題就需要在縫合圖片時進行景物的測距。
[0003]傳統(tǒng)的雙目測距方式，是將兩部照相機水平位置按一定距離擺放，拍照形成兩張照片，在照片中選出焦點，計算焦點在兩幅畫面中距邊緣位置的距離，根據已知量進行一系列計算，最終推算出焦點距拍攝平面的距離。
[0004]然而，在傳統(tǒng)雙目測距方式中，由于組裝精度直接影響測量精度，因此，該雙目測距方式對組裝工藝要求高，并且隨著測量焦點與相機越遠，所測量的誤差越大，即雙目測距方式存在距離越遠精度越差的問題，以及由于傳統(tǒng)雙目測距要求相機在同一垂直平面上，因此，上述雙目測距的方式不適合應用到全景相機中。

【發(fā)明內容】

[0005]本發(fā)明的目的旨在至少在一定程度上解決上述的技術問題之一。
[0006]為此，本發(fā)明的第一個目的在于提出一種用于全景相機的雙目測距方法，該方法根據預先保存的距離模板可準確確定第一圖像與第二圖像中的鏡頭到景物的距離。
[0007]本發(fā)明的第二個目的在于提出一種全景圖像拼接方法。
[0008]本發(fā)明的第三個目的在于提出一種用于全景相機的雙目測距裝置。
[0009]本發(fā)明的第四個目的在于提出一種全景圖像拼接系統(tǒng)。
[0010]為了實現上述目的，本發(fā)明第一方面實施例的用于全景相機的雙目測距方法，包括:獲取第一圖像和第二圖像;判斷所述第一圖像與所述第二圖像的圖像是否存在部分重疊;若存在部分重疊，則根據所述第一圖像和所述第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像;針對預存的距離模板組中的每個距離模板，根據當前距離模板計算所述左側圖像的特征位置與相對應的所述右側圖像的特征位置處圖像之間的匹配度，其中，所述距離模板組包括N個距離模板，N為正整數，所述距離模板包括鏡頭到樣本景物的距離、至少一個左側視圖的特征位置的坐標信息和至少一個右側視圖的特征位置的坐標信息;針對所述當前距離模板，基于所計算出的匹配度計算所述左側圖像與所述右側圖像的圖像在特征位置處圖像的平均匹配度，并判斷所述平均匹配度是否超過預設閾值;如果所述平均匹配度超過所述預設閾值，則將所述當前距離模板作為目標距離模板，并將所述目標距離模板的鏡頭到樣本景物的距離作為所述第一圖像與所述第二圖像中的鏡頭到景物的距離。
[0011]根據本發(fā)明實施例的用于全景相機的雙目測距方法，在根據第一圖像和第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像后，從距離模板組中，獲取左側圖像與右側圖像在特征位置處圖像之間的平均匹配度大于預設閾值的距離模板，并將所獲取的距離模板作為目標距離模板，并將該目標距離模板的鏡頭到樣本景物的距離作為第一圖像與第二圖像中的鏡頭到景物的距離。由此，準確確定第一圖像與第二圖像中的鏡頭到景物的距離，方便后續(xù)基于該距離進行全景照片的拼接。
[0012]根據本發(fā)明的一個實施例，所述方法還包括:如果所述平均匹配度未超過所述預設閾值，則繼續(xù)匹配下一個距離模板，直至獲取到平均匹配度超過所述預設閾值的距離模板或達到最大迭代次數，其中，所述最大迭代次數與所述目標模板組中的距離模板的個數相同。
[0013]根據本發(fā)明的一個實施例，所述根據當前距離模板計算所述左側圖像的特征位置與相對應的所述右側圖像的特征位置處圖像之間的匹配度，包括:根據所述當前距離模塊中的左側視圖的特征位置的坐標信息確定所述左側圖像的特征位置;根據所述當前距離模板中的右側視圖的特征位置的坐標信息確定所述右側圖像的特征位置；以及計算所述左側圖像的特征位置上與相對應的所述右側圖像的特征位置上圖像之間的匹配度。
[0014]根據本發(fā)明的一個實施例，所述方法還包括:在達到所述最大迭代次數時，如果未獲取到平均匹配度超過所述預設閾值的距離模板，則將平均匹配度最大的距離模板作為所述目標距離模板。
[0015]根據本發(fā)明的一個實施例，所述根據所述第一圖像和所述第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像，包括:若所述第一圖像位于所述重疊區(qū)域的左側，則確定所述第一圖像作為所述左側圖像，所述第二圖像作為所述右側圖像;若所述第一圖像位于所述重疊區(qū)域的右側，則確定所述第二圖像作為所述左側圖像，所述第一圖像作為所述右側圖像。
[0016]其中，所述特征位置包括特征點和/或特征區(qū)域。
[0017]為了實現上述目的，本發(fā)明第二方面實施例的全景圖像拼接方法，包括:通過本發(fā)明第一方面實施例的用于全景相機的雙目測距方法確定所述第一圖像與所述第二圖像中的鏡頭到景物的距離;根據所述第一圖像與所述第二圖像中的景物到鏡頭的距離、所述第一圖像和所述第二圖像進行拼接，并生成全景圖像。
[0018]根據本發(fā)明實施例提供的全景圖像拼接方法，在準確確定第一圖像與第二圖像的鏡頭到景物的距離后，可根據該距離、第一圖像和第二圖像進行圖像拼接，根據距離拼接圖像縫合效果好，提高了全景圖像的質量，方便用戶從全景圖像中獲取真正需要的信息。
[0019]為了實現上述目的，本發(fā)明第三方面實施例的用于全景相機的雙目測距裝置，包括獲取模塊，用于獲取第一圖像和第二圖像;判斷模塊，用于判斷所述第一圖像與所述第二圖像的圖像是否存在部分重疊;確定模塊，用于若存在部分重疊，則根據所述第一圖像和所述第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像;計算模塊，用于針對預存的距離模板組中的每個距離模板，根據當前距離模板計算所述左側圖像的特征位置與相對應的所述右側圖像的特征位置處圖像之間的匹配度，其中，所述距離模板組包括N個距離模板，N為正整數，所述距離模板包括鏡頭到樣本景物的距離、至少一個左側視圖的特征位置的坐標信息和至少一個右側視圖的特征位置的坐標信息；第一處理模塊，用于針對所述當前距離模板，基于所計算出的匹配度計算所述左側圖像與所述右側圖像的圖像在特征位置處圖像的平均匹配度，并判斷所述平均匹配度是否超過預設閾值;第二處理模塊，用于在所述平均匹配度超過所述預設閾值時，將所述當前距離模板作為目標距離模板，并將所述目標距離模板的鏡頭到樣本景物的距離作為所述第一圖像與所述第二圖像中的鏡頭到景物的距離。
[0020]根據本發(fā)明實施例的用于全景相機的雙目測距裝置，在根據第一圖像和第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像后，從距離模板組中，獲取左側圖像與右側圖像在特征位置處圖像之間的平均匹配度大于預設閾值的距離模板，并將所獲取的距離模板作為目標距離模板，并將該目標距離模板的鏡頭到樣本景物的距離作為第一圖像與第二圖像中的鏡頭到景物的距離。由此，準確確定第一圖像與第二圖像中的鏡頭到景物的距離，方便后續(xù)基于該距離進行全景照片的拼接。
[0021 ]根據本發(fā)明的一個實施例，所述裝置還包括:第三處理模塊，用于在所述平均匹配度未超過所述預設閾值時，繼續(xù)匹配下一個距離模板，直至獲取到平均匹配度超過所述預設閾值的距離模板或達到最大迭代次數，其中，所述最大迭代次數與所述目標模板組中的距離模板的個數相同。
[0022]根據本發(fā)明的一個實施例，所述第一處理模塊，具體用于:根據所述當前距離模塊中的左側視圖的特征位置的坐標信息確定所述左側圖像的特征位置;根據所述當前距離模板中的右側視圖的特征位置的坐標信息確定所述右側圖像的特征位置；以及計算所述左側圖像的特征位置上與相對應的所述右側圖像的特征位置上圖像之間的匹配度。
[0023]根據本發(fā)明的一個實施例，所述裝置還包括:第四處理模塊，用于在達到所述最大迭代次數時，如果未獲取到平均匹配度超過所述預設閾值的距離模板，則將平均匹配度最大的距離模板作為所述目標距離模板。
[0024]根據本發(fā)明的一個實施例，所述確定模塊，具體用于:若所述第一圖像位于所述重疊區(qū)域的左側，則確定所述第一圖像作為所述左側圖像，所述第二圖像作為所述右側圖像；若所述第一圖像位于所述重疊區(qū)域的右側，則確定所述第二圖像作為所述左側圖像，所述第一圖像作為所述右側圖像。
[0025]根據本發(fā)明的一個實施例，所述特征位置包括特征點和/或特征區(qū)域。
[0026]為了實現上述目的，本發(fā)明第四方面實施例的全景圖像拼接系統(tǒng)，包括:本發(fā)明第三方面實施例的用于全景相機的雙目測距裝置;拼接裝置，用于根據所述第一圖像與所述第二圖像中的景物到鏡頭的距離、所述第一圖像和所述第二圖像進行拼接，并生成全景圖像。
[0027]根據本發(fā)明實施例的全景圖像拼接裝置，在準確確定第一圖像與第二圖像的鏡頭到景物的距離后，可根據該距離、第一圖像和第二圖像進行圖像拼接，根據距離拼接圖像縫合效果好，提高了全景圖像的質量，方便用戶從全景圖像中獲取真正需要的信息。
[0028]本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0029]本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中，
[0030]圖1是根據本發(fā)明一個實施例的用于全景相機的雙目測距方法的流程圖。
[0031]圖2a_圖2c是制作距離為M米的距離模板過程的示例圖。
[0032]圖3a是距離為I米的距離模板中左側視圖的示例圖。
[0033]圖3b是距離為I米的距離模板中右側視圖的示例圖。
[0034]圖4是根據本發(fā)明一個實施例的用于全景相機的雙目測距裝置的結構示意圖。
[0035]圖5是根據本發(fā)明另一個實施例的用于全景相機的雙目測距裝置的結構示意圖。
[0036]圖6是根據本發(fā)明又一個實施例的用于全景相機的雙目測距裝置的結構示意圖
[0037]圖7是根據本發(fā)明一個實施例的全景圖像拼接方法的流程圖。
[0038]圖8是根據本發(fā)明一個實施例的全景圖像拼接系統(tǒng)的結構示意圖。
【具體實施方式】
[0039]下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
[0040]下面參考附圖描述本發(fā)明實施例的用于全景相機的雙目測距方法、裝置和全景圖像拼接方法及其系統(tǒng)。
[0041 ]圖1是根據本發(fā)明一個實施例的用于全景相機的雙目測距方法的流程圖。
[0042]如圖1所示，該用于全景相機的雙目測距方法可以包括:
[0043]SlOl，獲取第一圖像和第二圖像。
[0044]具體地，在用戶使用全景相機拍攝圖像的過程中，在用戶通過全景相機拍攝兩張圖像后，分別為第一圖像和第二圖像。
[0045]S102，判斷第一圖像與第二圖像的圖像是否存在部分重疊。
[0046]S103，若存在部分重疊，則根據第一圖像和第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像。
[0047]在本發(fā)明的一個實施例中，在判斷出所獲取的第一圖像與第二圖像中的圖像中存在部分重疊后，為了可以通過預存的距離模板組中的距離模板確定第一圖像與第二圖像中鏡頭到景物的距離，可先根據第一圖像和第二圖像與重疊區(qū)域之間的位置關系確定這兩個圖像中那個圖像是左側圖像，那個圖像是右側圖像，即確定左側圖像為第一圖像，右側圖像為第二圖像，還是左側圖像為第二圖像，右側圖像為第一圖像。
[0048]具體地，如果第一圖像位于重疊區(qū)域的左側，則確定第一圖像作為左側圖像，第二圖像作為右側圖像;如果第一圖像位于重疊區(qū)域的右側，則確定第二圖像作為左側圖像，第一圖像作為右側圖像。
[0049]S104，針對預存的距離模板組中的每個距離模板，根據當前距離模板計算左側圖像的特征位置與相對應的右側圖像的特征位置處圖像之間的匹配度。
[0050]其中，距離模板組包括N個距離模板，N為正整數，距離模板包括鏡頭到樣本景物的距離、至少一個左側視圖的特征位置的坐標信息和至少一個右側視圖的特征位置的坐標信息。
[0051]需要理解的是，距離模板是制作者利用全景相機預先制作，且預先保存在全景相機中的距離模板。
[0052]在用戶使用全景相機的過程中，用戶可以直接使用全景相機出廠時預先默認的多個距離模板，也可以根據需求在全景相機中增加新的距離模板。
[0053]其中，在本發(fā)明的一個實施例中，特征位置可以為特征點，也可以為特征區(qū)域，還可以是特征點和特征位置。
[0054]需要理解的是，特征區(qū)域的形狀可以為矩形、圓形等形狀，上述矩形和圓形僅是特征區(qū)域的形狀的示例，該實施例的特征區(qū)域的形狀并不限制于此。
[0055]其中，每個距離模板中所包含的特征位置的個數可以是相同的，也可以是不同的。
[0056]例如，鏡頭到樣本景物的距離為2米的距離模板I中可以包括一個左側視圖的特征點的坐標信息和一個右側視圖的特征點的坐標信息，鏡頭到樣本景物的距離為5米的距離模板2中可以包括兩個左側視圖的特征點的坐標信息和兩個右側視圖的特征點的坐標信息。
[0057]需要理解的是，通常距離模板組中可以包括距離模板，其中，每個距離模板中的鏡頭到樣本景物的距離是不相同的，為了方便本發(fā)明實施例中的距離模板，下面對制作距離模板的過程進行詳細介紹。
[0058]首先，在距離全景相機M米(例如，3米)處擺放清晰標志物P(例如，標靶)，然后，利用在同一水平位置上的兩臺照片捕捉設備對清晰標志物P進行拍照，形成兩張照片施(左側視圖)、M2(右側視圖)，在施、M2中手動選出清晰標志物P，確定出清晰標志物?在施中靠近M2側邊界的特征點A的坐標(Xi，yI)，確定出標革ElP在M2中靠近Mi側邊界的特征點A的坐標(X2，y2)，則坐標(X1，yi)為特征點A在左側視圖中的坐標、坐標(X2，y2)為特征點在右側視圖中的坐標，其中，包含左側視圖M1、右側視圖施和重疊區(qū)(圖像重疊所對應的區(qū)域)的示例圖，如圖2a所示。
[0059]為提高實用性，模板制作時，需要考慮一定兼容性和容差性看，還可以通過增清晰標志物P特征區(qū)域B而非單個特征點來避免由于光線等外界條件和色彩平衡等影響，其中，鏡頭到樣本景物的距離為M米的距離模板，如圖2a和2b所示，如圖2a和2b所示，距離模板中包含特征點A在左側視圖M1中的坐標信息、特征點A在右側視圖M2的坐標信息和特征區(qū)域B在左側視圖中的坐標信息，以及特征區(qū)域B在右側視圖中的坐標信息。通過在距離模板中建立多個特征點和/或特征區(qū)域，可方便后續(xù)在測距過程中，可通過多方位比較，提高測距準度，同時避免照片上由于不同景深，不同距離景物造成的測量誤差問題。
[0060]其中，需要理解的是，該實施例中的特征點與特征區(qū)域均為處于重疊區(qū)域中，且在制作模板的過程中，可從重疊區(qū)域中隨機選擇特征點和/或者特征區(qū)域。
[0061]需要理解的是，如需要制作遠距離模板，可以通過加裝光學鏡頭，將遠處景物放大后再制作模板，但在測量時需要使用相同光學鏡頭進行成像。
[0062]具體地，在確定出左側圖像和右側圖像后，通常距離模板組中包含多個距離模板，可按照距離模板組中的距離模板的順序，依次根據對應的距離模板對左側圖像和右側圖像進行處理。
[0063]具體而言，針對距離模板組中的每個距離模板，可先根據當前距離模塊中的左側視圖的特征位置的坐標信息確定左側圖像的特征位置，然后根據當前距離模板中的右側視圖的特征位置的坐標信息與右側圖像的特征位置，最后，計算左側圖像的特征位置上與相對應的右側圖像的特征位置上圖像之間的匹配度。
[0064]例如，對于鏡頭到樣本景物的距離為I米的距離模板，假設該距離模板中保存的左側視圖和右側視圖，如圖3a和3b所示，其中，圖3a中的Al表示左側視圖的特征點，且該特征點的坐標信息為(X1，yi)，A0表示坐標原點，且A2表示左側視圖的特征區(qū)域，該特征區(qū)域為矩形，且該特征區(qū)域的四個頂點的坐標分別為(X2，y 2)、( X3，y 3)、( X4，y 4)和(X5，y 5)。圖3b中的BI表示左側視圖的特征點，且該特征點的坐標信息為(X6，y6)，B0表示坐標原點，且B2處表示左側視圖的特征區(qū)域，該矩形的特征區(qū)域的四個頂點的坐標分別為(17，^)、(18，78)、(19，79)和(X1Q，y1Q)。在將第一圖像C作為左側圖像，第二圖像D作為右側圖像后，根據左側視圖中的特征點與特征區(qū)域的坐標信息可以確定出第一圖像C中對應的特征位置，假設第一圖像C中的特征點為Cl，特征區(qū)域為C2;對應的，假設根據右側視圖中的特征點和特征位置的坐標信息確定出第二圖像D的特征點為Dl，特征區(qū)域為D2，此時，計算第一圖像C和第二圖像D在Cl與Dl處圖像之間的匹配度，以及在Dl與D2處圖像之間的匹配度。
[0065]S105，針對當前距離模板，基于所計算出的匹配度計算左側圖像與右側圖像的圖像在特征位置處圖像的平均匹配度，并判斷平均匹配度是否超過預設閾值。
[0066]其中，預設閾值為預設設置的匹配度的閾值。例如，預設閾值為85%。
[0067]為了提高實用性，以及兼容性和容差性，通常距離模板中左側視圖和右側視圖中均包含多個特征點和/或者特征區(qū)域，在計算出左側圖像和右側圖像在對應的特征點或者特征區(qū)域處圖像之間的匹配度之后，對于當前距離模板，可計算出左側圖像與右側圖像在多個特征位置處圖像的匹配度的平均值，所計算出的平均值即為平均匹配度，然后判斷平均匹配度是否超過預設閾值。通過判斷平均匹配度與預設閾值的關系，可以減小由于相機主動對照片進行修正而帶來的識別困難等問題。
[0068]S106，如果平均匹配度超過預設閾值，則將當前距離模板作為目標距離模板，并將目標距離模板的鏡頭到樣本景物的距離作為第一圖像與第二圖像中的鏡頭到景物的距離。
[0069]例如，對于鏡頭到樣本景物的距離為I米的距離模板，假設該距離模板中保存的左側視圖和右側視圖，如圖3a和3b所示，在計算出第一圖像C和第二圖像D在特征點Cl與Dl處圖像之間的匹配度E，以及計算出第一圖像C和第二圖像D在特征區(qū)域C2與D2處圖像之間的匹配度F，根據匹配度E和匹配度F可計算出第一圖像C和第二圖像D在特征位置處圖像的平均匹配度G=(E+F)/2，然后判斷所計算出的平均匹配度G是否超過預設閾值，如果超過預設閾值，則確定第一圖像與第二圖像的鏡頭到景物的距離為I米。
[0070]再例如，假設預設閾值為85%，左側圖像為第一圖像，右側圖像為第二圖像，距離模板組中有3個距離模板，且分別為鏡頭到樣本景物的距離為2米的距離模板1、鏡頭到樣本景物的距離為2米的距離模板2和鏡頭到樣本景物的距離為5米的距離模板3，在依次計算平均匹配度的過程中，如果基于距離模板2中的特征位置的坐標信息，計算出左側圖像與右側圖像在特征位置處圖像的平均匹配度大于85%，則將距離模板2中的鏡頭到樣本景物的距離作為左側圖像與右側圖像鏡頭到景物的距離，即，左側圖像與右側圖像鏡頭到景物的距離為2米。
[0071]根據本發(fā)明實施例的用于全景相機的雙目測距方法，在根據第一圖像和第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像后，從距離模板組中，獲取左側圖像與右側圖像在特征位置處圖像之間的平均匹配度大于預設閾值的距離模板，并將所獲取的距離模板作為目標距離模板，并將該目標距離模板的鏡頭到樣本景物的距離作為第一圖像與第二圖像中的鏡頭到景物的距離。由此，準確確定第一圖像與第二圖像中的鏡頭到景物的距離，方便后續(xù)基于該距離進行全景照片的拼接。
[0072]基于上述實施例的基礎上，在當前距離模板下，如果所計算出的左側圖像與右側圖像在特征位置處圖像的平均匹配度未超過預設閾值，則繼續(xù)匹配下一個距離模板，直至獲取到平均匹配度超過預設閾值的距離模板或達到最大迭代次數。
[0073]其中，需要理解的是，最大迭代次數與目標模板組中的距離模板的個數相同。
[0074]例如，距離模板中包含5個距離模板，分別為距離模板1、距離模板2、距離模板3、距離模板4和距離模板5，如果當前距離模板為距離模板3，基于距離模板3中的特征位置的坐標信息所計算出的左側圖像與右側圖像在特征位置處上圖像的平均匹配度未超過預設閾值時，可繼續(xù)匹配距離模板4，如果基于距離模板4中的特征位置的坐標信息所計算出的左側圖像與右側圖像在特征位置處上圖像的平均匹配度超過預設閾值，則將距離模板4中的鏡頭到樣本景物的距離作為第一圖像與第二圖像中的鏡頭到景物的距離;如果基于距離模板4中的特征位置的坐標信息所計算出的左側圖像與右側圖像在特征位置處上圖像的平均匹配度未超過預設閾值，則繼續(xù)匹配距離模板5，其中，匹配距離模板5的過程與距離模板4的過程相同，此處不再贅述。
[0075]在本發(fā)明的一個實施例中，在將距離模板中的所有距離模板進行了匹配后，即達到了最大迭代次數，如果未獲取到平均匹配度超過預設閾值的距離模板，則將平均匹配度最大的距離模板作為目標距離模板，并將該目標距離模板中的距離作為左側圖像與右側圖像的鏡頭到景物的距離。
[0076]下面詳細描述本發(fā)明的用于全景相機的雙目測距裝置，可以用于執(zhí)行本發(fā)明的用于全景相機的雙目測距方法。對于本發(fā)明用于全景相機的雙目測距裝置實施例中未披露的細節(jié)，請參照本發(fā)明用于全景相機的雙目測距方法的實施例。
[0077]圖4是根據本發(fā)明一個實施例的用于全景相機的雙目測距裝置的結構示意圖。
[0078]如圖4所示，該用于全景相機的雙目測距裝置可以包括獲取模塊110、判斷模塊120、確定模塊130、計算模塊140、第一處理模塊150和第二處理模塊160，其中:
[0079]獲取模塊110用于獲取第一圖像和第二圖像。
[0080]判斷模塊120用于判斷第一圖像與第二圖像的圖像是否存在部分重疊。
[0081]確定模塊130用于若存在部分重疊，則根據第一圖像和第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像。
[0082]在本發(fā)明的一個實施例中，在判斷出所獲取的第一圖像與第二圖像中的圖像中存在部分重疊后，為了可以通過預存的距離模板組中的距離模板確定第一圖像與第二圖像中鏡頭到景物的距離，可先根據第一圖像和第二圖像與重疊區(qū)域之間的位置關系確定這兩個圖像中那個圖像是左側圖像，那個圖像是右側圖像，即確定左側圖像為第一圖像，右側圖像為第二圖像，還是左側圖像為第二圖像，右側圖像為第一圖像。
[0083]具體地，確定模塊130具體用于:如果第一圖像位于重疊區(qū)域的左側，則確定第一圖像作為左側圖像，第二圖像作為右側圖像;如果第一圖像位于重疊區(qū)域的右側，則確定第二圖像作為左側圖像，第一圖像作為右側圖像。
[0084]計算模塊140用于針對預存的距離模板組中的每個距離模板，根據當前距離模板計算左側圖像的特征位置與相對應的右側圖像的特征位置處圖像之間的匹配度。
[0085]其中，距離模板組包括N個距離模板，N為正整數，距離模板包括鏡頭到樣本景物的距離、至少一個左側視圖的特征位置的坐標信息和至少一個右側視圖的特征位置的坐標信息。
[0086]需要理解的是，距離模板是制作者利用全景相機預先制作，且預先保存在全景相機中的距離模板。
[0087]在用戶使用全景相機的過程中，用戶可以直接使用全景相機出廠時預先默認的多個距離模板，也可以根據需求在全景相機中增加新的距離模板。
[0088]其中，在本發(fā)明的一個實施例中，特征位置可以為特征點，也可以為特征區(qū)域，還可以是特征點和特征位置。
[0089]需要理解的是，特征區(qū)域的形狀可以為矩形、圓形等形狀，上述矩形和圓形僅是特征區(qū)域的形狀的示例，該實施例的特征區(qū)域的形狀并不限制于此。
[0090]其中，每個距離模板中所包含的特征位置的個數可以是相同的，也可以是不同的。
[0091]具體地，計算模塊140具體用于:根據當前距離模塊中的左側視圖的特征位置的坐標信息確定左側圖像的特征位置;根據當前距離模板中的右側視圖的特征位置的坐標信息確定右側圖像的特征位置；以及計算左側圖像的特征位置上與相對應的右側圖像的特征位置上圖像之間的匹配度。
[0092]第一處理模塊150用于針對當前距離模板，基于所計算出的匹配度計算左側圖像與右側圖像的圖像在特征位置處圖像的平均匹配度，并判斷平均匹配度是否超過預設閾值。
[0093]其中，預設閾值為預設設置的匹配度的閾值。例如，預設閾值為85%。
[0094]第二處理模塊160用于在平均匹配度超過預設閾值時，將當前距離模板作為目標距離模板，并將目標距離模板的鏡頭到樣本景物的距離作為第一圖像與第二圖像中的鏡頭到景物的距離。
[0095]根據本發(fā)明實施例的用于全景相機的雙目測距裝置，在根據第一圖像和第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像后，從距離模板組中，獲取左側圖像與右側圖像在特征位置處圖像之間的平均匹配度大于預設閾值的距離模板，并將所獲取的距離模板作為目標距離模板，并將該目標距離模板的鏡頭到樣本景物的距離作為第一圖像與第二圖像中的鏡頭到景物的距離。由此，準確確定第一圖像與第二圖像中的鏡頭到景物的距離，方便后續(xù)基于該距離進行全景照片的拼接。
[0096]基于上述實施例的基礎上，如圖5所示，上述裝置還可以包括第三處理模塊170，該第三處理模塊170用于在基于當前距離模板所計算出的左側圖像與右側圖像在特征位置上圖像的平均匹配度未超過預設閾值時，繼續(xù)匹配下一個距離模板，直至獲取到平均匹配度超過預設閾值的距離模板或達到最大迭代次數。
[0097]其中，最大迭代次數與目標模板組中的距離模板的個數相同。
[0098]例如，距離模板中包含5個距離模板，分別為距離模板1、距離模板2、距離模板3、距離模板4和距離模板5，如果當前距離模板為距離模板3，基于距離模板3中的特征位置的坐標信息所計算出的左側圖像與右側圖像在特征位置處上圖像的平均匹配度未超過預設閾值時，可繼續(xù)匹配距離模板4，如果基于距離模板4中的特征位置的坐標信息所計算出的左側圖像與右側圖像在特征位置處上圖像的平均匹配度超過預設閾值，則將距離模板4中的鏡頭到樣本景物的距離作為第一圖像與第二圖像中的鏡頭到景物的距離;如果基于距離模板4中的特征位置的坐標信息所計算出的左側圖像與右側圖像在特征位置處上圖像的平均匹配度未超過預設閾值，則繼續(xù)匹配距離模板5，其中，匹配距離模板5的過程與距離模板4的過程相同，此處不再贅述。
[0099]在本發(fā)明的一個實施例中，在圖5所示的基礎上，如圖6所示，上述裝置還可以包括第四處理模塊180，該第四處理模塊180用于:在達到最大迭代次數時，如果未獲取到平均匹配度超過預設閾值的距離模板，則將平均匹配度最大的距離模板作為目標距離模板，并將該目標距離模板中的距離作為左側圖像與右側圖像的鏡頭到景物的距離。
[0100]圖7是根據本發(fā)明一個實施例的全景圖像拼接方法的流程圖。
[0101]如圖7所示，該全景圖像拼接方法包括:
[0102]S701，確定第一圖像與所述第二圖像中的鏡頭到景物的距離。
[0103]需要說明的是，確定第一圖像與所述第二圖像中的鏡頭到景物的距離的方法可通過第一方面實施例參照圖1中詳細描述的用于全景相機的雙目測距方法，在此不再贅述。
[0104]S702，根據所述第一圖像與所述第二圖像中的景物到鏡頭的距離、所述第一圖像和所述第二圖像進行拼接，并生成全景圖像。
[0105]根據距離、第一圖像和第二圖像進行圖像拼接的方式可通過現有圖像拼接技術實現，此處不再贅述。
[0106]根據本發(fā)明實施例提供的全景圖像拼接方法，在準確確定第一圖像與第二圖像的鏡頭到景物的距離后，可根據該距離、第一圖像和第二圖像進行圖像拼接，根據距離拼接圖像縫合效果好，提高了全景圖像的質量，方便用戶從全景圖像中獲取真正需要的信息。
[0107]下面詳細描述本發(fā)明全景圖像拼接系統(tǒng)實施例，可以用于為執(zhí)行本發(fā)明全景圖像拼接方法實施例。對于本發(fā)明全景圖像拼接系統(tǒng)實施例中未被披露的細節(jié)，請參照本發(fā)明全景圖像拼接方法實施例。
[0108]圖8是根據本發(fā)明一個實施例的全景圖像拼接系統(tǒng)的結構示意圖。
[0109]如圖8所示，該全景圖像拼接系統(tǒng)包括用于全景相機的雙目測距裝置100和拼接裝置200。
[0110]需要說明的是，對用于全景相機的雙目測距裝置100的描述請參照圖4-圖6中對用于全景相機的雙目測距裝置的具體描述，在此不再贅述。
[0111]拼接裝置200用于根據所述第一圖像與所述第二圖像中的景物到鏡頭的距離、所述第一圖像和所述第二圖像進行拼接，并生成全景圖像。
[0112]根據本發(fā)明實施例提供的全景圖像拼接裝置，在用于全景相機的雙目測距裝置準確確定第一圖像與第二圖像的鏡頭到景物的距離后，拼接裝置根據該距離、第一圖像和第二圖像進行圖像拼接，根據距離拼接圖像縫合效果好，提高了全景圖像的質量，方便用戶從全景圖像中獲取真正需要的信息。
[0113]在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不必須針對的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結合。此外，在不相互矛盾的情況下，本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特征進行結合和組合。
[0114]此外，術語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特征的數量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個該特征。在本發(fā)明的描述中，“多個”的含義是至少兩個，例如兩個，三個等，除非另有明確具體的限定。
[0115]流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實施方式的范圍包括另外的實現，其中可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應被本發(fā)明的實施例所屬技術領域的技術人員所理解。
[0116]在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用于實現邏輯功能的可執(zhí)行指令的定序列表，可以具體實現在任何計算機可讀介質中，以供指令執(zhí)行系統(tǒng)、裝置或設備(如基于計算機的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設備取指令并執(zhí)行指令的系統(tǒng))使用，或結合這些指令執(zhí)行系統(tǒng)、裝置或設備而使用。就本說明書而言，〃計算機可讀介質〃可以是任何可以包含、存儲、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設備或結合這些指令執(zhí)行系統(tǒng)、裝置或設備而使用的裝置。計算機可讀介質的更具體的示例(非窮盡性列表)包括以下:具有一個或多個布線的電連接部(電子裝置)，便攜式計算機盤盒(磁裝置)，隨機存取存儲器(RAM)，只讀存儲器(ROM)，可擦除可編輯只讀存儲器(EPR0M或閃速存儲器)，光纖裝置，以及便攜式光盤只讀存儲器(CDR0M)。另外，計算機可讀介質甚至可以是可在其上打印所述程序的紙或其他合適的介質，因為可以例如通過對紙或其他介質進行光學掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程序，然后將其存儲在計算機存儲器中。
[0117]應當理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來實現。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實現。例如，如果用硬件來實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現:具有用于對數據信號實現邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA)，現場可編程門陣列(FPGA)等。
[0118]本技術領域的普通技術人員可以理解實現上述實施例方法攜帶的全部或部分步驟是可以通過程序來指令相關的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質中，該程序在執(zhí)行時，包括方法實施例的步驟之一或其組合。
[0119]此外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現，也可以采用軟件功能模塊的形式實現。所述集成的模塊如果以軟件功能模塊的形式實現并作為獨立的產品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質中。
[0120]上述提到的存儲介質可以是只讀存儲器，磁盤或光盤等。盡管上面已經示出和描述了本發(fā)明的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本發(fā)明的限制，本領域的普通技術人員在本發(fā)明的范圍內可以對上述實施例進行變化、修改、替換和變型。
【主權項】
1.一種用于全景相機的雙目測距方法，其特征在于，包括以下步驟: 獲取第一圖像和第二圖像； 判斷所述第一圖像與所述第二圖像的圖像是否存在部分重疊； 若存在部分重疊，則根據所述第一圖像和所述第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像； 針對預存的距離模板組中的每個距離模板，根據當前距離模板計算所述左側圖像的特征位置與相對應的所述右側圖像的特征位置處圖像之間的匹配度，其中，所述距離模板組包括N個距離模板，N為正整數，所述距離模板包括鏡頭到樣本景物的距離、至少一個左側視圖的特征位置的坐標信息和至少一個右側視圖的特征位置的坐標信息； 針對所述當前距離模板，基于所計算出的匹配度計算所述左側圖像與所述右側圖像的圖像在特征位置處圖像的平均匹配度，并判斷所述平均匹配度是否超過預設閾值； 如果所述平均匹配度超過所述預設閾值，則將所述當前距離模板作為目標距離模板，并將所述目標距離模板的鏡頭到樣本景物的距離作為所述第一圖像與所述第二圖像中的鏡頭到景物的距離。2.如權利要求1所述的用于全景相機的雙目測距方法，其特征在于，所述方法還包括: 如果所述平均匹配度未超過所述預設閾值，則繼續(xù)匹配下一個距離模板，直至獲取到平均匹配度超過所述預設閾值的距離模板或達到最大迭代次數，其中，所述最大迭代次數與所述目標模板組中的距離模板的個數相同。3.如權利要求1所述的用于全景相機的雙目測距方法，其特征在于，所述根據當前距離模板計算所述左側圖像的特征位置與相對應的所述右側圖像的特征位置處圖像之間的匹配度，包括: 根據所述當前距離模塊中的左側視圖的特征位置的坐標信息確定所述左側圖像的特征位置； 根據所述當前距離模板中的右側視圖的特征位置的坐標信息確定所述右側圖像的特征位置；以及 計算所述左側圖像的特征位置上與相對應的所述右側圖像的特征位置上圖像之間的匹配度。4.如權利要求2所述的用于全景相機的雙目測距方法，其特征在于，所述方法還包括: 在達到所述最大迭代次數時，如果未獲取到平均匹配度超過所述預設閾值的距離模板，則將平均匹配度最大的距離模板作為所述目標距離模板。5.如權利要求1-4任一項所述的用于全景相機的雙目測距方法，其特征在于，所述根據所述第一圖像和所述第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像，包括: 若所述第一圖像位于所述重疊區(qū)域的左側，則確定所述第一圖像作為所述左側圖像，所述第二圖像作為所述右側圖像； 若所述第一圖像位于所述重疊區(qū)域的右側，則確定所述第二圖像作為所述左側圖像，所述第一圖像作為所述右側圖像。6.如權利要求1-4任一項所述的用于全景相機的雙目測距方法，其特征在于，所述特征位置包括特征點和/或特征區(qū)域。7.一種全景圖像拼接方法，其特征在于，包括以下步驟: 通過如權利要求1-6任一項所述的用于全景相機的雙目測距方法確定所述第一圖像與所述第二圖像中的鏡頭到景物的距離； 根據所述第一圖像與所述第二圖像中的景物到鏡頭的距離、所述第一圖像和所述第二圖像進行拼接，并生成全景圖像。8.一種用于全景相機的雙目測距裝置，其特征在于，包括: 獲取模塊，用于獲取第一圖像和第二圖像； 判斷模塊，用于判斷所述第一圖像與所述第二圖像的圖像是否存在部分重疊； 確定模塊，用于若存在部分重疊，則根據所述第一圖像和所述第二圖像與重疊區(qū)域之間的位置關系確定左側圖像和右側圖像； 計算模塊，用于針對預存的距離模板組中的每個距離模板，根據當前距離模板計算所述左側圖像的特征位置與相對應的所述右側圖像的特征位置處圖像之間的匹配度，其中，所述距離模板組包括N個距離模板，N為正整數，所述距離模板包括鏡頭到樣本景物的距離、至少一個左側視圖的特征位置的坐標信息和至少一個右側視圖的特征位置的坐標信息；第一處理模塊，用于針對所述當前距離模板，基于所計算出的匹配度計算所述左側圖像與所述右側圖像的圖像在特征位置處圖像的平均匹配度，并判斷所述平均匹配度是否超過預設閾值； 第二處理模塊，用于在所述平均匹配度超過所述預設閾值時，將所述當前距離模板作為目標距離模板，并將所述目標距離模板的鏡頭到樣本景物的距離作為所述第一圖像與所述第二圖像中的鏡頭到景物的距離。9.如權利要求8所述的用于全景相機的雙目測距裝置，其特征在于，所述裝置還包括: 第三處理模塊，用于在所述平均匹配度未超過所述預設閾值時，繼續(xù)匹配下一個距離模板，直至獲取到平均匹配度超過所述預設閾值的距離模板或達到最大迭代次數，其中，所述最大迭代次數與所述目標模板組中的距離模板的個數相同。10.如權利要求8所述的用于全景相機的雙目測距裝置，其特征在于，所述第一處理模塊，具體用于: 根據所述當前距離模塊中的左側視圖的特征位置的坐標信息確定所述左側圖像的特征位置； 根據所述當前距離模板中的右側視圖的特征位置的坐標信息確定所述右側圖像的特征位置；以及 計算所述左側圖像的特征位置上與相對應的所述右側圖像的特征位置上圖像之間的匹配度。11.如權利要求9所述的用于全景相機的雙目測距裝置，其特征在于，所述裝置還包括: 第四處理模塊，用于在達到所述最大迭代次數時，如果未獲取到平均匹配度超過所述預設閾值的距離模板，則將平均匹配度最大的距離模板作為所述目標距離模板。12.如權利要求8-11任一項所述的用于全景相機的雙目測距裝置，其特征在于，所述確定模塊，具體用于: 若所述第一圖像位于所述重疊區(qū)域的左側，則確定所述第一圖像作為所述左側圖像，所述第二圖像作為所述右側圖像； 若所述第一圖像位于所述重疊區(qū)域的右側，則確定所述第二圖像作為所述左側圖像，所述第一圖像作為所述右側圖像。13.如權利要求8-11任一項所述的用于全景相機的雙目測距裝置，其特征在于，所述特征位置包括特征點和/或特征區(qū)域。14.一種全景圖像拼接系統(tǒng)，其特征在于，包括: 如權利要求8-13任一項所述的用于全景相機的雙目測距裝置； 拼接裝置，用于根據所述第一圖像與所述第二圖像中的景物到鏡頭的距離、所述第一圖像和所述第二圖像進行拼接，并生成全景圖像。
【文檔編號】G01C11/08GK105865423SQ201610196018
【公開日】2016年8月17日
【申請日】2016年3月30日
【發(fā)明人】孫浩, 趙海洋, 丁元, 王乾, 王一乾, 宋金貴
【申請人】沈陽泰科易科技有限公司