相關性提取方法及裝置制造方法
【專利摘要】相關性提取方法及裝置，其步驟為：S1:對當前的相關性矩陣做線性處理，求得新的相關性矩陣；S2:根據新的相關性矩陣，獲取初步偏移量；S3:速度跟蹤，求取最終偏移量；S4:根據當前的偏移量數(shù)據，求取下一幀相關性計算的開窗大小。在原有的速度跟蹤機制上，引入了速度權重和線性處理相關性矩陣及開窗范圍大小調整，此方法得到的兩幀間的相關性可靠性高，且因為搜索范圍小，大大的提高了拼接速度，在采集的原始圖像效果不好的時候，可以根據此速度跟蹤，更真實的還原圖像。本發(fā)明中的偏移量數(shù)據還可用于圖像檢測、導航。提高圖像檢測靈敏度、精準度。使拼接圖像效果更佳，糾正有明顯的圖像錯位、圖像形變、短圖像、圖像拖尾等現(xiàn)象。
【專利說明】相關性提取方法及裝置
【技術領域】
[0001 ] 本發(fā)明屬于圖像處理【技術領域】，具體涉及一種相關性提取方法及裝置。
【背景技術】
[0002]圖像拼接就是將多幅來自同一場景的有重疊區(qū)域的小尺寸圖像合成為一幅大尺寸的高質量圖像。圖像拼接技術解決由于采集窗口視角和大小的限制，不能產生很大圖片的問題。圖像拼接技術最早應用于航空領域，現(xiàn)已廣泛應用于數(shù)字視頻、動態(tài)分析、指紋重構等領域。
[0003]圖像拼接的前提條件是相鄰圖像之間有一部分在邏輯上是相同的，及必須有一定的重合部分。圖像拼接主要是要確定相鄰圖像在寬度和高度上的重疊程度。這種重疊程度稱為兩幀圖像的相關性。
[0004]現(xiàn)有方法中，在相關性計算中也添加了跟蹤機制，但此機制的發(fā)明不夠完善，導致了拼接后的圖像有明顯的圖像錯位、圖像形變、短圖像、圖像拖尾等現(xiàn)象，這在對于后端處理時的很多環(huán)節(jié)都會造成嚴重的影響，直接影響到圖像識別率。
[0005]名詞解釋:
[0006]每一種覆蓋情況:對于用于當前相關性計算的前后兩幀圖像完全重合的基礎上，固定一幀不動，在幀圖像長寬范圍內的一定區(qū)域，有規(guī)律的上下左右移動另一幀，每次移動會產生一定的覆蓋區(qū)域，并產生兩幀之間的相對位移。每一次移動以像素級為最小單位。
`[0007]坐標:坐標為直角坐標系，每一種覆蓋情況對應一個坐標，前后兩幀圖像完全重合的覆蓋情況對應坐標原點。
[0008]模板幀:上述兩幀中圖像中參照不動的那一幀。
[0009]當前幀:上述兩幀中圖像中參照不動一幀有規(guī)律上下左右移動的另一幀(可和模板幀互換)。
[0010]上一幀:上一次參與相關性計算的兩幀圖像。
[0011]覆蓋區(qū)域數(shù)據:每一種覆蓋情況下，覆蓋區(qū)域的全部數(shù)據。
[0012]選定的覆蓋區(qū)域數(shù)據:選取每一種覆蓋情況下，覆蓋區(qū)域的部分或全部數(shù)據，選取的數(shù)據定義為選定的覆蓋區(qū)域數(shù)據。選取時可以根據幀圖像數(shù)據的行、列跳躍選擇。
[0013]相關性矩陣:用選定的覆蓋區(qū)域數(shù)據做相關性運算，求得每次位移對應的相關性數(shù)據，這些數(shù)據以兩幀移動的位移坐標映射成的矩陣為相關性矩陣，此相關性矩陣中對應的相關性數(shù)據其值越大，表示兩幀圖像在此覆蓋情況下相關性越小。
[0014]相關性矩陣值:相關性矩陣內的每一個數(shù)據。
[0015]偏移量數(shù)據:包括參與運算的兩幀水平和垂直方向的偏移量、水平和垂直方向的速度、速度權重等。
[0016]開窗范圍:在前后兩幀圖像完全重合的基礎上，固定一幀不動，上下左右(--對
應于開窗范圍的四個值)移動另一幀的范圍。
【發(fā)明內容】

[0017]為解決上述技術問題，本發(fā)明提供的相關性提取方法，其步驟包括:
[0018]S1:對當前的相關性矩陣做線性處理，求得新的相關性矩陣；
[0019]S2:根據新的相關性矩陣，獲取初步偏移量；
[0020]S3:速度跟蹤，求取最終偏移量；
[0021]S4:根據當前的偏移量數(shù)據，求取下一幀相關性計算的開窗大??；
[0022]所述步驟S3包括:
[0023]S31:根據初步偏移量和上一幀的偏移量，求取初步速度；
[0024]S32:根據初步速度與上一幀速度的差值和上一幀的速度權重，求取當前的速度權重；
[0025]S33:由初步速度、初步速度與上一幀速度的差值和當前的速度權重，獲取當前的最終跟蹤速度；
[0026]S34:根據當前的最終跟蹤速度和上一幀的偏移量，求取經速度跟蹤后當前的最終偏移量;
[0027]所述速度為水平方向速度或垂直方向速度；
[0028]所述偏移量為水平方向偏移量或垂直方向偏移量；
[0029]所述速度權重為水平方向速度權重或垂直方向速度權重。
[0030]當當前的相關性矩陣值越小相關性越大時，所述步驟SI中線性處理在橫向域的計算公式為:
[0031]cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X | i_old_ofTset_w |
[0032]在縱向域的計算公式為:
[0033]cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X j-old_offset_h
[0034]當當前的相關性矩陣值越大相關性越大時，所述步驟SI中線性處理在橫向域的計算公式為:
[0035]cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X | i_old_ofTset_w |
[0036]在縱向域的計算公式為:
[0037]cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X j-old_offset_h
[0038]其中cor new為線性處理后新的相關性矩陣，cor為當前的相關性矩陣，cor_old_max為上一幀的相關性矩陣的最大值，i為當前對應的橫坐標,j為當前對應的縱坐標，old_offset_w表不上一巾貞水平方向的偏移量，old_offset_h表不上一巾貞垂直方向的偏移量，Crag為線性變化因子，其值為O到I的任意數(shù)。
[0039]所述步驟S2中新相關性矩陣的極大值或極小值對應坐標為初步偏移量，當新的相關性矩陣值越小相關性越大時，其極小值對應坐標為初步偏移量；當新的相關性矩陣值越大相關性越大時，其極大值對應坐標為初步偏移量；所述新的相關性矩陣的極大值或極小值和其中心坐標對應的值相等時，以中心坐標值代替相應極大值或極小值的坐標。
[0040]所述初步速度為初步偏移量與上一巾貞的偏移量之差；
[0041]所述當前的速度權重是在上一幀的速度權重基礎上，根據初步速度與上一幀速度的差值反比增長，
[0042]其計算公式為:[0043]we i ght=we i ght_oId-1new_ve1city-oId_velocity
[0044]其中weight為當前的速度權重,weight_old為上一巾貞的速度權重,old_velocity為上一巾貞速度；
[0045]所述速度權重的初始值包括水平方向速度權重的初始值或垂直方向速度權重的初始值；
[0046]所述水平方向速度權重的初始值為O到圖像寬度范圍內的數(shù)，當水平方向當前的速度權重小于O時，用水平方向速度權重的初始值替換水平方向當前的速度權重；
[0047]所述垂直方向速度權重的初始值為O到圖像高度范圍內的數(shù)，當垂直方向當前的速度權重小于O時，用垂直方向速度權重的初始值替換垂直方向當前的速度權重；
[0048]所述當前的最終跟蹤速度是根據當前的速度權重、初步速度以及上一幀的偏移量數(shù)據求得的，
[0049]其計算公式為:
[0050]ve1city=new_velocity+(old_velocity-new_velocity)Xweight
[0051]其中velocity為當前的最終跟蹤速度；
[0052]所述經速度跟蹤后當前的最終偏移量為上一幀的偏移量與當前的最終跟蹤速度之和；
[0053]所述當前的最終偏移量的范圍在上一幀求得的開窗范圍內。
[0054]所述下一巾貞相關性計算的開窗大小上下左右分別對應:up、down、left、right,并遵循up、down、left、right組成的區(qū)域不能超過相關性矩陣的邊界的規(guī)定；
[0055]up、down滿足以下計算公式:
[0056]up=offset_h+ve1city_h+weight_h
[0057]down=of f et_h+veloci ty_h~we i ght_h
[0058]其中velocity_h為垂直方向的最終跟蹤速度，offet_h為經速度跟蹤后垂直方向的最終偏移量，weight_h為垂直方向的速度權重；
[0059]left、right滿足以下計算公式:
[0060]left=offset_w+velocity_w-weight_w
[0061]right=offset_w+velocity_w+weight_w
[0062]其中velocity_w為水平方向的最終跟蹤速度，offset_w為經速度跟蹤后水平方向的最終偏移量，weight_w為水平方向的速度權重。
[0063]所述偏移量數(shù)據求得時，如果當前幀檢測到有效采集對象，并且當前相關性矩陣的最大值大于一個閾值時，執(zhí)行上述操作，否則所有的偏移量數(shù)據清零；若執(zhí)行上述操作過程中，當物體相對于采集窗口未發(fā)生移動時，速度權重始終為O ;所述閾值的范圍為O到選定的覆蓋區(qū)域數(shù)據的個數(shù)乘以圖像像素最大值的積的平方內的任意數(shù)。
[0064]相關性提取裝置，包含相關性矩陣處理模塊、搜索偏移量模塊、速度跟蹤模塊和下一幀窗口大小定位模塊四個部分，其特征在于，
[0065]所述相關性矩陣處理模塊用于對當前的相關性矩陣做線性處理，求得新的相關性矩陣；
[0066]所述搜索偏移量模塊用于根據新的相關性矩陣，獲取初步偏移量；
[0067]所述速度跟蹤模塊用于速度跟蹤，獲取最終偏移量，包括:[0068]根據初步偏移量和上一幀的偏移量，求取初步速度；
[0069]根據初步速度與上一幀速度的差值和上一幀的速度權重，求取當前的速度權重；
[0070]由初步速度、初步速度與上一幀速度的差值和當前的速度權重，獲取當前的最終跟蹤速度；
[0071]根據當前的最終跟蹤速度和上一幀的偏移量，求取經速度跟蹤后當前的最終偏移量;
[0072]所述下一幀窗口大小定位模塊用于根據當前的偏移量數(shù)據，求取下一幀相關性計算的開窗大小；
[0073]所述速度為水平方向速度或垂直方向速度；
[0074]所述偏移量為水平方向偏移量或垂直方向偏移量；
[0075]所述速度權重為水平方向速度權重或垂直方向速度權重。
[0076]當當前的相關性矩陣值越小相關性越大時，所述相關性矩陣處理模塊中線性處理在橫向域的計算公式為:
[0077]cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X | i_old_ofTset_w |
[0078]在縱向域的計算公式為:
[0079]cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X j-old_offset_h
[0080]當當前的相關性矩陣值越大相關性越大時,所述相關性矩陣處理模塊中線性處理在橫向域的計算公式為:
[0081]cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X | i_old_ofTset_w |
[0082]在縱向域的計算公式為:
[0083]cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X j-old_offset_h
[0084]其中cor_neW為線性處理后新的相關性矩陣，cor為當前的相關性矩陣，cor_old_max為上一幀的相關性矩陣的最大值，i為當前對應的橫坐標,j為當前對應的縱坐標，old_offset_w表不上一巾貞水平方向的偏移量，old_offset_h表不上一巾貞垂直方向的偏移量，Crag為線性變化因子，其值為O到I的任意數(shù)。
[0085]所述搜索偏移量模塊中新的相關性矩陣的極大值或極小值對應坐標為初步偏移量，當新的相關性矩陣值越小相關性越大時，其極小值對應坐標為初步偏移量；當新的相關性矩陣值越大相關性越大時，其極大值對應坐標為初步偏移量；所述新的相關性矩陣的極大值或極小值和其中心坐標對應的值相等時，以中心坐標值代替相應極大值或極小值的坐標。
[0086]所述初步速度為初步偏移量與上一巾貞的偏移量之差；
[0087]所述當前的速度權重是在上一幀速度權重基礎上，根據初步速度與上一幀速度的差值反比增長，
[0088]其計算公式為:
[0089]we i ght=we i ght_oId-1new_ve1city-oId_velocity
[0090]其中weight為當前的速度權重，weight_old為上一巾貞的速度權重,old_velocity為上一巾貞速度；
[0091]所述速度權重的初始值包括水平方向速度權重的初始值或垂直方向速度權重的初始值；[0092]所述水平方向速度權重的初始值為O到圖像寬度范圍內的數(shù)，當水平方向當前的速度權重小于O時，用水平方向速度權重的初始值替換水平方向當前的速度權重；
[0093]所述垂直方向速度權重的初始值為O到圖像高度范圍內的數(shù)，當垂直方向當前的速度權重小于O時，用垂直方向速度權重的初始值替換垂直方向當前的速度權重；
[0094]所述當前的最終跟蹤速度是根據當前的速度權重、初步速度以及上一幀的偏移量數(shù)據求得的，
[0095]其計算公式為:
[0096]ve1city=new_velocity+(old_velocity-new_velocity)Xweight
[0097]其中velocity為當前的最終跟蹤速度；
[0098]所述經速度跟蹤后當前的最終偏移量為上一幀的偏移量與當前的最終跟蹤速度之和；
[0099]所述當前的最終偏移量的范圍在上一幀求得的開窗范圍內。
[0100]所述下一巾貞相關性計算的開窗大小上下左右分別對應:up、down、left、right,并遵循up、down、left、right組成的區(qū)域不能超過相關性矩陣的邊界的規(guī)定；
[0101]up、down滿足以下計算公式:
[0102]up=offset_h+ve1city_h+weight_h
[0103]down=o f f s e t_h+veloci ty_h~we i ght_h
[0104]其中velocity_h為垂直方向的最終跟蹤速度，offset_h為經速度跟蹤后垂直方向的最終偏移量，weight_h為垂直方向的速度權重；
[0105]left、right滿足以下計算公式:
[0106]left=offset_w+velocity_w-weight_w
[0107]right=offset_w+velocity_w+weight_w
[0108]其中velocty_w為水平方向的最終跟蹤速度，offset_w為經速度跟蹤后水平方向的最終偏移量，weight_w為水平方向的速度權重。
[0109]所述偏移量數(shù)據求得時，如果當前幀檢測到有效采集對象，并且當前相關性矩陣的最大值大于一個閾值時，執(zhí)行上述操作，否則所有的偏移量數(shù)據清零；若執(zhí)行上述操作過程中，當物體相對于采集窗口未發(fā)生移動時，速度權重始終為O ;所述閾值的范圍為O到選定的覆蓋區(qū)域數(shù)據的個數(shù)乘以圖像像素最大值的積的平方內的任意數(shù)。
[0110]本發(fā)明提供一種基于ASIC實現(xiàn)的相關性提取方法及裝置，在原有的速度跟蹤機制上，引入了速度權重和線性處理相關性矩陣及開窗范圍大小調整，此方法得到的兩幀間的相關性分辨更敏感，普適于更廣泛的圖像范圍，降低圖像拼接后產生的形變，糾正有明顯的圖像錯位、圖像形變、短圖像、圖像拖尾等現(xiàn)象，為后續(xù)處理打好基礎；且因為搜索范圍小，大大的提高了拼接速度，在采集的原始圖像拼接效果不好的時候，可以根據此速度跟蹤，更真實的還原圖像。本發(fā)明成本低、圖像拼接快捷準確，尤其適合指紋類商業(yè)產品的推廣。本發(fā)明中的偏移量數(shù)據還可用于圖像檢測、導航。
【專利附圖】

【附圖說明】
[0111]圖1為本發(fā)明的流程圖；
[0112]圖2為本發(fā)明的圖像拼接關系圖；[0113]圖3為本發(fā)明的兩幀圖像覆蓋情況對應坐標示意圖；
[0114]圖4為本發(fā)明的裝置示意圖。
【具體實施方式】
[0115]下面參照附圖來說明本發(fā)明的優(yōu)選實施例，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0116]參照圖1、圖2、圖3提供了一種相關性提取方法。在原有的速度跟蹤機制上，弓丨入了速度權重和線性處理相關性矩陣。此方法得到的兩幀間的相關性可靠性高，且因為搜索范圍小，大大的提高了拼接速度，在采集的原始圖像效果不好的時候，可以根據此速度跟蹤，更真實的還原圖像。
[0117]相關性提取方法，其步驟包括: [0118]S1:對當前的相關性矩陣做線性處理，求得新的相關性矩陣。
[0119]新的相關性矩陣是根據當前的相關性矩陣、上一幀的偏移量和上一幀的相關性矩陣的最大值，對當前的相關性矩陣在橫向域或縱向域上做線性處理:
[0120]當當前的相關性矩陣值越小相關性越大時，其線性處理在橫向域的計算公式為:
[0121]cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X | i_old_ofTset_w |
[0122]當當前的相關性矩陣值越大相關性越大時，其線性處理在橫向域的計算公式為:
[0123]cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X | i_old_ofTset_w |
[0124]其中cor_neW為線性處理后新的相關性矩陣，cor為當前的相關性矩陣，cor_old_max為上一幀的相關性矩陣的最大值，i為當前對應的橫坐標,j為當前對應的縱坐標，old_offset^表示上一幀水平方向的偏移量，Crag為線性變化因子，其值為O到I的任意數(shù)，當Crag為O時，線性處理后新的相關性矩陣等于當前的相關性矩陣；Crag取值越大，線性處理后新的相關性矩陣值以上一幀水平方向的偏移量為中心往水平方向兩邊向相關性越小的數(shù)值域方向變化得越劇烈。
[0125]當相關性矩陣值越小相關性越大時，其線性處理在縱向域的計算公式為:
[0126]cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X j-old_offset_h
[0127]當相關性矩陣值越大相關性越大時，其線性處理在縱向域的計算公式為:
[0128]cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X j-old_offset_h
[0129]其中cor_neW為線性處理后新的相關性矩陣，cor為當前的相關性矩陣，cor_old_max為上一幀的相關性矩陣的最大值，i為當前對應的橫坐標,j為當前對應的縱坐標，old_OfTsetJi表示上一幀垂直方向的偏移量，Crag為線性變化因子，其值為O到I的任意數(shù)，當Crag為O時，線性處理后新的相關性矩陣等于當前的相關性矩陣；Crag取值越大，線性處理后新的相關性矩陣值以上一幀垂直方向的偏移量為中心往垂直方向兩邊向相關性越小的數(shù)值域方向變化得越劇烈。
[0130]以上一幀的偏移量對應的坐標為中心,根據上一幀的相關性矩陣的最大值設定一個步長，向橫向域或縱向域兩側遞增。該功能為一個可選性功能，在橫向域或縱向域上做了微調跟蹤，使拼接效果更佳。
[0131]S2:根據新的相關性矩陣，獲取初步偏移量。
[0132]搜索新的相關性矩陣的極大值或極小值，找出的極大值或極小值對應坐標為初步偏移量，當新的相關性矩陣值越小相關性越大時，其極小值對應坐標為初步偏移量；當新的相關性矩陣值越大相關性越大時，其極大值對應坐標為初步偏移量，本實施例中初步偏移量包括水平方向偏移量和垂直方向偏移量。根據求相關性算法不同，兩幀的偏移對應其極大值或其極小值的坐標。
[0133]新的相關性矩陣的極大值或極小值和其中心坐標對應的值相等時，以中心坐標值代替相應極大值或極小值的坐標，即中心偏移，此時中心坐標即為初步偏移量，中心偏移優(yōu)
先考慮。
[0134]S3:速度跟蹤，求取最終偏移量。其具體步驟如下:
[0135]S31:根據初步偏移量和上一幀的偏移量，求取初步速度:
[0136]初步速度為初步偏移量與上一巾貞的偏移量之差，其計算公式為:
[0137]new_velocity=new_offset-old_offset
[0138]其中new_velocity表不初步速度,new_offset表不初步偏移量，old_offset表不上一巾貞的偏移量；
[0139]上述公式中初速度為水平方向初速度或垂直方向初速度，初步偏移量為水平方向初步偏移量或垂直方向初步偏移量，上一巾貞的偏移量為上一巾貞水平方向的偏移量或上一中貞垂直方向的偏移量。
[0140]S32:根據初步速度與上一幀速度的差值和上一幀的速度權重，求取當前的速度權重；
[0141]速度權重表示在計算當前兩幀偏移量數(shù)據的過程中，基于速度的重要程度的定量分配，即在拼接過程中，當前速度在整體速度的重要程度。
[0142]當前的速度權重是在上一幀的速度權重基礎上，根據初步速度與上一幀速度的差值反比增長，即速度變化劇烈時，速度權重減小。
[0143]其計算公式為:
[0144]we i ght=we i ght_oId-1new_ve1city-oId_velocity
[0145]其中weight為當前的速度權重，weight_old為上一巾貞的速度權重，old_velocity為上一巾貞速度；
[0146]速度權重分為水平方向的速度權重和垂直方向的速度權重，水平方向速度權重的初始值為O到圖像寬度范圍內的數(shù)，當水平方向當前的速度權重小于O時，用水平方向速度權重的初始值替換水平方向當前的速度權重；垂直方向速度權重的初始值為O到圖像高度范圍內的數(shù)，當垂直方向當前的速度權重小于O時，用垂直方向速度權重的初始值替換垂直方向當前的速度權重。
[0147]上述公式如為水平方向的速度權重時，上一幀的速度權重為上一幀水平方向的速度權重，初步速度為水平方向初步速度，上一幀速度為上一幀水平方向的速度；如為垂直方向速度權重時，上一幀的速度權重為上一幀垂直方向的速度權重，初步速度為垂直方向初步速度，上一幀速度為上一幀垂直方向的速度。
[0148]引入速度權重后，當速度權重減小到一定閾值后，開窗面積相應的增大。并且在速度跟蹤計算中，也引入速度權重，速度權重大小影響到速度和偏移量的定位。
[0149]S33:根據當前的速度權重、初步速度以及上一幀的偏移量數(shù)據求得當前的最終跟蹤速度:由初步速度、初步速度與上一幀速度的差值和當前的速度權重，獲取當前的最終跟蹤速度，
[0150]其計算公式為:
[0151]ve1city=new_velocity+(old_velocity-new_velocity)Xweight
[0152]其中velocity為當前的最終跟蹤速度；
[0153]上述公式中當前的最終跟蹤速度為水平方向當前的最終跟蹤速度或垂直方向當前的最終跟蹤速度，
[0154]S34:根據當前的最終跟蹤速度和上一幀的偏移量，求取經速度跟蹤后當前的最終
偏移量。
[0155]其計算公式為:
[0156]offset=oId_offset+velocity
[0157]其中offset為經速度跟蹤后當前的最終偏移量。
[0158]上述公式中，當前的最終偏移量為水平方向當前的最終偏移量或垂直方向當前的最終偏移量，當前的最終偏移量的范圍在上一幀求得的開窗范圍內。
[0159]S4:求取下一幀相關性計算的開窗大小。
[0160]下一幀開窗范圍下的覆蓋區(qū)域數(shù)據不能大于一幀圖像，且不得小于選定的覆蓋區(qū)域數(shù)據。開窗大小和上一幀的偏移量數(shù)據、相關性數(shù)據相關。開窗的位置較當前覆蓋區(qū)域的中心坐標往位移跟蹤移動方向上偏移。在跟蹤速度大于一定閾值時，相應的調大物體相對于米集窗口的主要跟蹤移動方向一側的窗口大小。在此窗口中搜索兩巾貞的最大相關性。
[0161]如圖2所示，圖2a所示為前N幀圖像的拼接關系，由圖2a中可見采集到的圖像順序方向為右下方(水平方向向左，垂直方向向右，整體方向即為右下方)。圖2b所示在沒有速度跟蹤的情況下，開窗始終為以相關性矩陣的中心為中心上下左右一定范圍開窗(Al)，在有速度跟蹤的情況下，開窗根據物體移動的跟蹤速度和方向，開窗位置較Al往右下方移動到A2。
[0162]下一巾貞相關性計算的開窗大小上下左右對應:up、down、left、right,并遵循up、down、left、right組成的區(qū)域不能超過相關性矩陣的邊界。up、down滿足以下計算公式:
[0163]up=offset_h+ve1city_h+weight_h
[0164]down=o f f s e t_h+veloci ty_h~we i ght_h
[0165]其中velocity_h為垂直方向的最終跟蹤速度，offset_h為經速度跟蹤后垂直方向的最終偏移量，weight_h為垂直方向的速度權重；
[0166]left、right滿足以下計算公式:
[0167]left=offset_w+velocity_w-weight_w
[0168]right=offset_w+velocity_w+weight_w
[0169]其中velocity_w為水平方向的最終跟蹤速度，offset_w為經速度跟蹤后水平方向的最終偏移量，weight_w為水平方向的速度權重。
[0170]如圖3所示，當前幀C以模板幀T為參照上下左右移動，每一次移動對應一個坐標，其坐標值為兩幀圖像之間的水平和垂直方向的位移，即兩幀圖像以此坐標偏移的覆蓋情況。所述坐標為直角坐標系，已兩幀圖像完全覆蓋對應的坐標為原點。每一次移動以像素級為最小單位。規(guī)定當前幀和模板幀是在幀圖像長寬范圍內的一定區(qū)域有規(guī)律的上下左右移動，此規(guī)定使坐標在上下左右四個方向有一個極值，其極值一一對應up、down, left、right的極值。
[0171]此處計算的開窗用于下一幀相關性數(shù)據的選取，實時跟蹤調整開窗在覆蓋區(qū)域的位置能減小數(shù)據量的傳輸，精確搜索范圍，以此循環(huán)。
[0172]偏移量數(shù)據求得時，如果當前幀檢測到有效采集對象，即采集窗口背景發(fā)生改變時，并且當前相關性矩陣的最大值大于一個閾值(閾值的范圍為O到選定的覆蓋區(qū)域數(shù)據的個數(shù)乘以圖像像素最大值的積的平方內的任意數(shù))時，執(zhí)行上述操作，否則所有的偏移量數(shù)據清零。若執(zhí)行上述操作過程中，當物體相對于采集窗口未發(fā)生移動時，速度權重始終為0
[0173]此方法得到的兩幀間的相關性可靠性高，且因為跟蹤開窗使搜索范圍變小，大大的提高了拼接速度，在采集的原始圖像效果不好的時候，可以根據此速度跟蹤，更真實的還原圖像。
[0174]參見圖4本發(fā)明還提供了相關性提取裝置，包括:相關性矩陣處理模塊31、搜索偏移量模塊32、速度跟蹤模塊33和下一幀窗口大小定位模塊34。
[0175]相關性矩陣處理模塊31:用于對當前的相關性矩陣做線性處理，求得新的相關性矩陣。其具體操作步驟為:
[0176]當當前的相關性矩陣值越小相關性越大時，其線性處理在橫向域的計算公式為:
[0177]cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X 1-old_offset_w
[0178]當當前的相關性矩陣值越大相關性越大時，其線性處理在橫向域的計算公式為:
[0179]cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X | i_old_ofTset_w |
[0180]其中cor_neW為線性處理后新的相關性矩陣，cor為當前的相關性矩陣，cor_old_max為上一幀的相關性矩陣的最大值，i為當前對應的橫坐標,j為當前對應的縱坐標，old_offset^表示上一幀水平方向的偏移量，Crag為線性變化因子，其值為O到I的任意數(shù)，當Crag為O時，線性處理后新的相關性矩陣等于當前的相關性矩陣；Crag取值越大，線性處理后新的相關性矩陣值以上一幀水平方向的偏移量為中心往水平方向兩邊向相關性越小的數(shù)值域方向變化得越劇烈。
[0181]當當前的相關性矩陣值越小相關性越大時，其線性處理在縱向域的計算公式為:
[0182]cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X j-old_offset_h
[0183]當當前的相關性矩陣值越大相關性越大時，其線性處理在縱向域的計算公式為:
[0184]cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X j-old_offset_h
[0185]其中cor_new為線性處理后新的相關性矩陣,cor為當前的相關性矩陣,cor_old_max為上一幀的相關性矩陣的最大值，i為當前對應的橫坐標,j為當前對應的縱坐標，old_OfTsetJi表示上一幀垂直方向的偏移量，Crag為線性變化因子，其值為O到I的任意數(shù)，當Crag為O時，線性處理后新的相關性矩陣等于當前的相關性矩陣；Crag取值越大，線性處理后新的相關性矩陣值以上一幀垂直方向的偏移量為中心往垂直方向兩邊向相關性越小的數(shù)值域方向變化得越劇烈。
[0186]搜索偏移量模塊32:根據新的相關性矩陣，獲取初步偏移量。
[0187]其具體步驟為:搜索偏移量模塊為搜索新的相關性矩陣的極大值或極小值，找出的極大值或極小值對應坐標為初步偏移量，當新的相關性矩陣值越小相關性越大時，其極小值對應坐標為初步偏移量；當新的相關性矩陣值越大相關性越大時，其極大值對應坐標為初步偏移量，本實施例中初步偏移量包括水平方向偏移量和垂直方向偏移量，根據求相關性算法不同，兩幀的偏移對應其極大值或其極小值的坐標。
[0188]新的相關性矩陣的極大值或極小值和其中心坐標對應的值相等時，以中心坐標值代替相應極大值或極小值的坐標，即中心偏移，此時中心坐標即為初步偏移量，中心偏移優(yōu)
先考慮。
[0189]速度跟蹤模塊33:速度跟蹤，求取最終偏移量。其具體步驟如下:
[0190]S31:根據初步偏移量和上一幀的偏移量，求取初步速度:
[0191]初步速度為初步偏移量與上一巾貞的偏移量之差，其計算公式為:
[0192]new_velocity=new_offset-old_offset
[0193]其中new_velocity表不初步速度,new_offset表不初步偏移量，old_offset表不上一巾貞的偏移量；
[0194]上述公式中初步速度為水平方向初步速度或垂直方向初步速度，初步偏移量為水平方向初步偏移量或垂直方向初步偏移量，上一巾貞的偏移量為上一巾貞水平方向的偏移量或上一巾貞垂直方向的偏移量。
[0195]S32:根據初步速度與上一幀速度的差值和上一幀的速度權重，求取當前的速度權重；
[0196]速度權重表示在計算當前兩幀偏移量數(shù)據的過程中，基于速度的重要程度的定量分配，即在拼接過程中，當前速度在整體速度的重要程度。
[0197]當前的速度權重值是在上一幀的速度權重基礎上，根據初步速度與上一幀速度的差值反比增長，即速度變化劇烈時，速度權重減小。
[0198]其計算公式為:
[0199]we i ght=we i ght_oId-1new_velocty-oId_velocity
[0200]其中weight為當前的速度權重，weight_old為上一巾貞的速度權重,old_velocity為上一巾貞速度；
[0201]速度權重分為水平方向的速度權重和垂直方向的速度權重，水平方向速度權重的初始值為O到圖像寬度范圍內的數(shù)，當水平方向當前的速度權重小于O時，用水平方向速度權重的初始值替換水平方向當前的速度權重；垂直方向速度權重的初始值為O到圖像高度范圍內的數(shù)，當垂直方向當前的速度權重小于O時，用垂直方向速度權重的初始值替換垂直方向當前的速度權重。
[0202]上述公式如為水平方向速度權重時，上一幀的速度權重為上一幀水平方向的速度權重，初步速度為水平方向初步速度，上一幀速度為上一幀水平方向的速度；如為垂直方向速度權重時，上一幀的速度權重為上一幀垂直方向的速度權重，初步速度為垂直方向初步速度，上一巾貞速度為上一巾貞垂直方向的速度。
[0203]引入速度權重后，當速度權重減小到一定閾值后，開窗面積相應的增大。并且在速度跟蹤計算中，也引入速度權重，速度權重大小影響到速度和偏移量的定位。
[0204]S33:根據當前的速度權重、初步速度以及上一幀的偏移量數(shù)據求得當前的最終跟蹤速度:由初步速度、初步速度與上一幀速度的差值和當前的速度權重，獲取當前的最終跟蹤速度，
[0205]其計算公式為:[0206]ve1city=new_velocity+ (oId_ve1city-new_velocity) Xweight
[0207]其中velocity為當前的最終跟蹤速度；
[0208]上述公式中當前的最終跟蹤速度為水平方向當前的最終跟蹤速度或垂直方向當前的最終跟蹤速度，
[0209]S34:根據當前的最終跟蹤速度和上一幀的偏移量，求取經速度跟蹤后當前的最終
偏移量。
[0210]其計算公式為:
[0211]offset=oId_offset+velocity
[0212]其中offset為當前的最終偏移量。
[0213]上述公式中，當前的最終偏移量為水平方向當前的最終偏移量或垂直方向當前的最終偏移量，當前的最終偏移量的范圍在上一幀求得的開窗范圍內。
[0214]下一幀窗口大小定位模塊34:根據當前的偏移量數(shù)據，求取下一幀相關性計算的開窗大小。
[0215]下一幀開窗范圍下的覆蓋區(qū)域數(shù)據不能大于一幀圖像，且不得小于選定的覆蓋區(qū)域數(shù)據。開窗大小和上一幀的偏移量數(shù)據、相關性數(shù)據相關。開窗的位置較當前覆蓋區(qū)域的中心坐標往位移跟蹤移動方向上偏移。在跟蹤速度大于一定閾值時，相應的調大物體相對于米集窗口的主要跟蹤移動方向一側的窗口大小。在此窗口中搜索兩巾貞的最大相關性。
[0216]如圖2所示，圖2a所示為前N幀圖像的拼接關系，由圖2a中可見采集到的圖像順序方向為右下方(水平方向向左，垂直方向向右，整體方向即為右下方)。圖2b所示在沒有速度跟蹤的情況下，開窗始終為以相關性矩陣的中心為中心上下左右一定范圍開窗(Al)，在有速度跟蹤的情況下，開窗根據物體移動的跟蹤速度和方向，開窗位置較Al往右下方移動到A2。
[0217]下一巾貞相關性計算的開窗大小上下左右對應:up、down、left、right,并遵循up、down、left、right組成的區(qū)域不能超過相關性矩陣的邊界。up、down滿足以下計算公式:
[0218]up=offset_h+ve1city_h+weight_h
[0219]down=o f f s e t_h+veloci ty_h~we i ght_h
[0220]其中velocity_h為垂直方向的最終跟蹤速度，offset_h為經速度跟蹤后垂直方向的最終偏移量，weight_h為垂直方向的速度權重；
[0221]left、right滿足以下計算公式:
[0222]left=offset_w+velocity_w-weight_w
[0223]right=offset_w+velocity_w+weight_w
[0224]其中velocity_w為水平方向的最終跟蹤速度，offset_w為經速度跟蹤后水平方向的最終偏移量，weight w為水平方向的速度權重。
[0225]如圖3所示，當前幀C以模板幀T為參照上下左右移動，每一次移動對應一個坐標，其坐標值為兩幀圖像之間的水平和垂直方向的位移，即兩幀圖像以此坐標偏移的覆蓋情況。所述坐標為直角坐標系，已兩幀圖像完全覆蓋對應的坐標為原點。每一次移動以像素級為最小單位。規(guī)定當前幀和模板幀是在幀圖像長寬范圍內的一定區(qū)域有規(guī)律的上下左右移動，此規(guī)定使坐標在上下左右四個方向有一個極值，其極值一一對應up、down, left、right的極值。[0226]此處計算的開窗用于下一幀相關性數(shù)據的選取，實時跟蹤調整開窗在覆蓋區(qū)域的位置能減小數(shù)據量的傳輸，精確搜索范圍，以此循環(huán)。
[0227]偏移量數(shù)據求得時，如果當前幀檢測到有效采集對象，即采集窗口背景發(fā)生改變時，并且當前相關性矩陣最大值大于一個閾值(閾值范圍為O到選定的覆蓋區(qū)域數(shù)據的個數(shù)乘以圖像像素最大值的乘積的平方內的任意數(shù))時，執(zhí)行上述操作，否則所有的偏移量數(shù)據清零。若執(zhí)行上述操作過程中，當物體相對于采集窗口未發(fā)生移動時，速度權重始終為O。
[0228]此方法得到的兩幀間的相關性可靠性高，且因為跟蹤開窗使搜索范圍變小，大大的提高了拼接速度，在采集的原始圖像效果不好的時候，可以根據此速度跟蹤，更真實的還原圖像。
[0229]本領域的技術人員在不脫離權利要求書確定的本發(fā)明的精神和范圍的條件下，還可以對以上內容進行各種各樣的修改。因此本發(fā)明的范圍并不僅限于以上的說明，而是由權利要求書的范圍來確定的。
【權利要求】
1.相關性提取方法，其特征在于，其步驟包括: Si:對當前的相關性矩陣做線性處理，求得新的相關性矩陣； S2:根據新的相關性矩陣，獲取初步偏移量； S3:速度跟蹤，求取最終偏移量； S4:根據當前的偏移量數(shù)據，求取下一幀相關性計算的開窗大??； 所述步驟S3包括: S31:根據初步偏移量和上一幀的偏移量，求取初步速度； S32:根據初步速度與上一幀速度的差值和上一幀的速度權重，求取當前的速度權重；S33:由初步速度、初步速度與上一幀速度的差值和當前的速度權重，獲取當前的最終跟蹤速度； S34:根據當前的最終跟蹤速度和上一幀的偏移量，求取經速度跟蹤后當前的最終偏移量; 所述速度為水平方向速度或垂直方向速度； 所述偏移量為水平方向偏移量或垂直方向偏移量； 所述速度權重為水平方向速度權重或垂直方向速度權重。
2.根據權利要求1所述的相關性提取方法，其特征在于，當當前的相關性矩陣值越小相關性越大時，所述步驟SI中線性處理在橫向域的計算公式為:
cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X 1-old_offset_w
在縱向域的計算公式為:
cor_new(i, j)=cor(i, j) + (cor-oId_maxX crag) X j-old_offset_h當當前的相關性矩陣值越大相關性越大時，所述步驟SI中線性處理在橫向域的計算公式為:
cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X 1-old_offset_w
在縱向域的計算公式為:
cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X j-old_offset_h其中cor_new為線性處理后新的相關性矩陣，cor為當前的相關性矩陣，cor_old_max為上一幀的相關性矩陣的最大值，i為當前對應的橫坐標，j為當前對應的縱坐標，old_offset_w表不上一幀水平方向的偏移量，old_offset_h表不上一幀垂直方向的偏移量，Crag為線性變化因子，其值為O到I的任意數(shù)。
3.根據權利要求2所述的相關性提取方法，其特征在于，所述步驟S2中新相關性矩陣的極大值或極小值對應坐標為初步偏移量，當新的相關性矩陣值越小相關性越大時，其極小值對應坐標為初步偏移量；當新的相關性矩陣值越大相關性越大時，其極大值對應坐標為初步偏移量；所述新的相關性矩陣的極大值或極小值和其中心坐標對應的值相等時，以中心坐標值代替相應極大值或極小值的坐標。
4.根據權利要求1所述的相關性提取方法，其特征在于， 所述初步速度為初步偏移量與上一幀的偏移量之差； 所述當前的速度權重是在上一幀的速度權重基礎上，根據初步速度與上一幀速度的差值反比增長， 其計算公式為:we i ght=we i ght_oId-1new_ve1city-oId_velocity 其中weight為當前的速度權重，weight_old為上一幀的速度權重,old_velocity為上一中貞速度； 所述速度權重的初始值包括水平方向速度權重的初始值或垂直方向速度權重的初始值； 所述水平方向速度 權重的初始值為O到圖像寬度范圍內的數(shù)，當水平方向當前的速度權重小于O時，用水平方向速度權重的初始值替換水平方向當前的速度權重； 所述垂直方向速度權重的初始值為O到圖像高度范圍內的數(shù)，當垂直方向當前的速度權重小于O時，用垂直方向速度權重的初始值替換垂直方向當前的速度權重； 所述當前的最終跟蹤速度是根據當前的速度權重、初步速度以及上一幀的偏移量數(shù)據求得的， 其計算公式為: ve1city=new_velocity+(old_velocity-new_velocity)Xweight 其中velocity為當前的最終跟蹤速度； 所述經速度跟蹤后當前的最終偏移量為上一幀的偏移量與當前的最終跟蹤速度之和； 所述當前的最終偏移量的范圍在上一幀求得的開窗范圍內。
5.根據權利要求1所述的相關性提取方法，其特征在于，所述下一幀相關性計算的開窗大小上下左右分別對應:up、down、left、right,并遵循up、down、left、right組成的區(qū)域不能超過相關性矩陣的邊界的規(guī)定； up、down滿足以下計算公式:
up=offset_h+velocity_h+weight_h
down=offset_h+velocity_h-weight_h 其中velocity_h為垂直方向的最終跟蹤速度，offset_h為經速度跟蹤后垂直方向的最終偏移量，weight_h為垂直方向的速度權重；left、right滿足以下計算公式:left=offset_w+velocity_w-weight_wright=offset_w+velocity_w+weight_w 其中velocity_w為水平方向的最終跟蹤速度，offset_w為經速度跟蹤后水平方向的最終偏移量，weight_w為水平方向的速度權重。
6.根據權利要求3、4、5中任意一項所述的相關性提取方法，其特征在于，所述偏移量數(shù)據求得時，如果當前幀檢測到有效采集對象，并且當前相關性矩陣的最大值大于一個閾值時，執(zhí)行上述操作，否則所有的偏移量數(shù)據清零；若執(zhí)行上述操作過程中，當物體相對于采集窗口未發(fā)生移動時，速度權重始終為O ;所述閾值的范圍為O到選定的覆蓋區(qū)域數(shù)據的個數(shù)乘以圖像像素最大值的積的平方內的任意數(shù)。
7.相關性提取裝置，包含相關性矩陣處理模塊、搜索偏移量模塊、速度跟蹤模塊和下一幀窗口大小定位模塊四個部分，其特征在于， 所述相關性矩陣處理模塊用于對當前的相關性矩陣做線性處理，求得新的相關性矩陣；所述搜索偏移量模塊用于根據新的相關性矩陣，獲取初步偏移量； 所述速度跟蹤模塊用于速度跟蹤，獲取最終偏移量，包括: 根據初步偏移量和上一幀的偏移量，求取初步速度； 根據初步速度與上一幀速度的差值和上一幀的速度權重，求取當前的速度權重； 由初步速度、初步速度與上一幀速度的差值和當前的速度權重，獲取當前的最終跟蹤速度； 根據當前的最終跟蹤速度和上一幀的偏移量，求取經速度跟蹤后當前的最終偏移量；所述下一幀窗口大小定位模塊用于根據當前的偏移量數(shù)據，求取下一幀相關性計算的開窗大??； 所述速度為水平方向速度或垂直方向速度； 所述偏移量為水平方向偏移量或垂直方向偏移量； 所述速度權重為水平方向速度權重或垂直方向速度權重。
8.根據權利要求7所述的相關性提取裝置，其特征在于，當當前的相關性矩陣值越小相關性越大時，所述相關性矩陣處理模塊中線性處理在橫向域的計算公式為:
cor_new(i, j) =cor (i, j) + (cor_old_maxX crag) X 1-old_offset_w
在縱向域的計算公式為:
cor_new(i, j) =cor (i, j) + (cor_oId_maxX crag) X j-old_offset_h當當前的相關性矩陣值越大相關性越大時，所述相關性矩陣處理模塊中線性處理在橫向域的計算公式為:
cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X 1-old_offset_w
在縱向域的計算公式為:
cor_new(i, j) =cor (i, j) - (cor_oId_maxX crag) X j-old_offset_h其中cor_new為線性處理后新的相關性矩陣，cor為當前的相關性矩陣，cor_old_max為上一幀的相關性矩陣的最大值，i為當前對應的橫坐標，j為當前對應的縱坐標，old_offset_w表不上一幀水平方向的偏移量，old_offset_h表不上一幀垂直方向的偏移量，Crag為線性變化因子，其值為O到I的任意數(shù)。
9.根據權利要求7所述的相關性提取裝置，其特征在于，所述搜索偏移量模塊中新的相關性矩陣的極大值或極小值對應坐標為初步偏移量，當新的相關性矩陣值越小相關性越大時，其極小值對應坐標為初步偏移量；當新的相關性矩陣值越大相關性越大時，其極大值對應坐標為初步偏移量；所述新的相關性矩陣的極大值或極小值和其中心坐標對應的值相等時，以中心坐標值代替相應極大值或極小值的坐標。
10.根據權利要求7所述的相關性提取裝置，其特征在于， 所述初步速度為初步偏移量與上一幀的偏移量之差； 所述當前的速度權重是在上一幀速度權重基礎上，根據初步速度與上一幀速度的差值反比增長，其計算公式為:
we i ght=we i ght_oId-1new_ve1city-oId_velocity 其中weight為當前的速度權重,weight_old為上一幀的速度權重,old_velocity為上一中貞速度； 所述速度權重的初始值包括水平方向速度權重的初始值或垂直方向速度權重的初始值； 所述水平方向速度權重的初始值為O到圖像寬度范圍內的數(shù)，當水平方向當前的速度權重小于O時，用水平方向速度權重的初始值替換水平方向當前的速度權重； 所述垂直方向速度權重的初始值為O到圖像高度范圍內的數(shù)，當垂直方向當前的速度權重小于O時，用垂直方向速度權重的初始值替換垂直方向當前的速度權重； 所述當前的最終跟蹤速度是根據當前的速度權重、初步速度以及上一幀的偏移量數(shù)據求得的， 其計算公式為:
ve1city=new_velocity+(old_velocity-new_velocity)Xweight 其中velocity為當前的最終跟蹤速度； 所述經速度跟蹤后當前的最終偏移量為上一幀的偏移量與當前的最終跟蹤速度之和； 所述當前的最終偏移量的范圍在上一幀求得的開窗范圍內。
11.根據權利要求7所述的相關性提取裝置，其特征在于，所述下一幀相關性計算的開窗大小上下左右分別對應:up 、down、left、right,并遵循up、down、left、right組成的區(qū)域不能超過相關性矩陣的邊界的規(guī)定； up、down滿足以下計算公式:
up=offset_h+velocity_h+weight_h
down=offset_h+velocity_h-weight_h 其中velocity_h為垂直方向的最終跟蹤速度，offset_h為經速度跟蹤后垂直方向的最終偏移量，weight_h為垂直方向的速度權重；left、right滿足以下計算公式:left=offset_w+velocity_w-weight_wright=offset_w+velocity_w+weight_w 其中velocity_wS水平方向的最終跟蹤速度，offset_w為經速度跟蹤后水平方向的最終偏移量，weight_w為水平方向的速度權重。
12.根據權利要求8到11任意一項所述的相關性提取裝置，其特征在于，所述偏移量數(shù)據求得時，如果當前幀檢測到有效采集對象，并且當前相關性矩陣的最大值大于一個閾值時，執(zhí)行上述操作，否則所有的偏移量數(shù)據清零；若執(zhí)行上述操作過程中，當物體相對于采集窗口未發(fā)生移動時，速度權重始終為O ;所述閾值的范圍為O到選定的覆蓋區(qū)域數(shù)據的個數(shù)乘以圖像像素最大值的積的平方內的任意數(shù)。
【文檔編號】G06T3/40GK103679629SQ201210344837
【公開日】2014年3月26日 申請日期:2012年9月18日 優(yōu)先權日:2012年9月18日
【發(fā)明者】張婭舸 申請人:成都方程式電子有限公司