用于處理局部信息的方法
【技術(shù)領域】
[0001]本發(fā)明的目標是一種用于處理局部信息的方法，一種用于實現(xiàn)這樣的方法的設備，以及一種具有這樣的設備的通信便攜式終端。本發(fā)明可以特別地在用于工業(yè)控制的輔助的領域中應用。更具體地，本發(fā)明可以用于通過混合或增強現(xiàn)實的組裝、維護或安裝以及訓練輔助。
【背景技術(shù)】
[0002]工業(yè)場景中的增強現(xiàn)實要求來自定位方法的非常高水平的魯棒性。當前，所使用的設備的位置的估計使用標記來執(zhí)行。該技術(shù)意味著可能僅在標記可見時具有某種水平的魯棒性。此外，所定位的設備定位在標記的參考幀中。
[0003]另外，存在允許定位而不使用標記的幾個設備。為了具有設備的魯棒定位，現(xiàn)有方法要求長的但不是非常直觀的校準步驟。該校準步驟不允許設備的快速使用并且要求用戶的某些技能。
[0004]此外，一些定位技術(shù)實時地重構(gòu)環(huán)境，例如SLAM(或同時定位與構(gòu)圖)。因此獲得與所重構(gòu)的環(huán)境相關的定位。這具有若干缺點。首先，不可能檢測已經(jīng)構(gòu)建的內(nèi)容與已經(jīng)繪出的內(nèi)容之間的差異。另外，例如，所重構(gòu)的環(huán)境可能具有元件檢測誤差。因而，該技術(shù)缺乏可靠性，尤其是在維護領域中或期望高精確水平時。
[0005]使用增強現(xiàn)實的設備大多經(jīng)常是允許疊加在圖像或視頻上的信息的顯示的設備。
[0006]在現(xiàn)有技術(shù)中，已知歐洲專利申請EP 2201532，其描述了一種被配置為確定設備關于目標對象的相對位置的局部定位設備。該設備安裝在固定到三腳架的經(jīng)引導且有刻度的球形接頭上。球形接頭允許確定方位和仰角，其需要手動地錄入以便限定設備的位置。該設備因此難以定位并且在工業(yè)場景中發(fā)生位移。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目標是克服這些缺點中的一些或全部。
[0008]為此目的，根據(jù)第一方面，本發(fā)明的目標是一種用于處理借助于虛擬表示和具有慣性單元及圖像傳感器的設備而獲取的局部信息的方法，其具有以下步驟:
[0009]-捕獲設備的真實環(huán)境的至少一個圖像，
[0010]-通過使所捕獲的圖像的部分與虛擬表示的部分相關，與設備在真實環(huán)境中的定位相對應地在虛擬表示中定位設備，
[0011]-至少借助于慣性單元確定設備的位移，以及
[0012]-根據(jù)由慣性單元所確定的位移來修改設備在虛擬表示中的定位，使得設備的真實位置在發(fā)生位移期間對應于設備在虛擬表示中的定位。
[0013]首先，本發(fā)明具有基于單個捕獲圖像定位設備的優(yōu)點。方法因此具有來自設備的定位步驟的高魯棒性水平。因此，該步驟是快速的并且不要求來自設備的用戶的任何特定技能。
[0014]先驗實現(xiàn)的虛擬環(huán)境的使用允許設備在虛擬表示的參考點中的定位。與重構(gòu)不同，表示允許檢測真實環(huán)境的元件上的丟失元件。所分析的信息具有較大可靠性。虛擬環(huán)境還可以作為真實環(huán)境上所做出的觀察的函數(shù)進行修改。
[0015]可以基于不要求目標對象的圖像分析來執(zhí)行相關步驟。此外，執(zhí)行本發(fā)明的方法的設備不是固定的并且易于在工業(yè)場景中發(fā)生位移。
[0016]在實施例中，確定位移的步驟具有以下步驟:
[0017]-通過慣性單元的移動的估計，
[0018]-估計在一個時刻所捕獲的圖像與在隨后時刻所捕獲的圖像之間的相對移動，以及
[0019]-組合移動估計。
[0020]這些實施例具有盡可能精確地實現(xiàn)位置的優(yōu)點。兩個所捕獲的圖像之間的相對移動的估計以及慣性單元的移動的估計使位置的估計誤差最小化。實際上，工業(yè)環(huán)境可能在視覺上是模糊的，通過相關對定位的確定可能產(chǎn)生兩個類似情形之間的誤差。其它兩個移動的估計允許避免定位的突然改變。方法因此更加魯棒。
[0021]在實施例中，在設備的定位步驟的過程中，通過虛擬表示中的預先限定的區(qū)分性語義結(jié)構(gòu)在至少一個捕獲圖像中的識別來執(zhí)行相關。
[0022]該識別具有增加方法的魯棒性的優(yōu)點。原因在于，捕獲圖像中存在更多區(qū)分性語義結(jié)構(gòu)，方法就更精確。
[0023]在實施例中，本發(fā)明的主題的方法具有減小在位移的確定步驟的過程中所確定的位移的步驟。
[0024]這些實施例具有在圖像的瞬時損失的事件中或圖像不穩(wěn)定時實現(xiàn)精確定位的優(yōu)點。用戶不必等待穩(wěn)定化設備以便知曉其關于虛擬表示的參考幀的位置。用戶因此是更高效的。因而，這允許設備可能經(jīng)受的微小移動中的減小。
[0025]在實施例中，作為本發(fā)明的主題的方法具有聯(lián)合顯示所捕獲的圖像與對應于所顯示的捕獲圖像的虛擬表示的部分的步驟。
[0026]這些實施例的優(yōu)點是更好地可視化虛擬表示與真實環(huán)境之間的差異。用戶因此是更高效的。
[0027]在實施例中，作為本發(fā)明的主題的方法具有在虛擬表示上編輯所定位的信息的步驟。
[0028]這些實施例的優(yōu)點是實現(xiàn)精確定位的信息。此外，由于在虛擬表示上記錄信息，所以其是易于轉(zhuǎn)移和可訪問的。針對設備之前的使用所記錄的信息是可訪問和可修改的。
[0029]根據(jù)第二方面，本發(fā)明的目標是一種用于處理局部信息的設備，其具有:
[0030]-提供設備的真實環(huán)境的至少一個圖像的圖像傳感器，
[0031 ]-用于訪問虛擬表示的構(gòu)件，
[0032]其附加地具有:
[0033]-用于通過使所捕獲的圖像的部分與虛擬表示的部分相關，與設備在真實環(huán)境中的定位相對應地在虛擬表示中定位設備的構(gòu)件，
[0034]-確定設備的位移的慣性單元，以及
[0035]-用于根據(jù)由慣性單元所確定的位移而修改設備在虛擬表示中的定位使得設備的真實位置在發(fā)生位移期間對應于設備在虛擬表示中的定位的構(gòu)件。
[0036]由于這些優(yōu)點，作為本發(fā)明的主題的設備的目標和特定特征與作為本發(fā)明的主題的方法的那些相似，它們在該部分不再回顧。
[0037]在實施例中，作為本發(fā)明的主題的設備具有被配置為聯(lián)合顯示所捕獲的圖像與對應于所顯示的捕獲圖像的虛擬表示的部分的顯示構(gòu)件。
[0038]這些實施例具有比較真實環(huán)境與虛擬表示以便檢測異常的優(yōu)點。
[0039]在實施例中，作為本發(fā)明的主題的設備具有用于在虛擬表示上編輯所定位的信息的構(gòu)件。
[0040]這些實施例的優(yōu)點是直接在虛擬表示上創(chuàng)建和修改精確定位的表示的可能性。
[0041]根據(jù)第三方面，本發(fā)明的目標是一種具有作為本發(fā)明的主題的設備的通信便攜式終端。
[0042]這些提議使得本發(fā)明為緊湊的并且在工業(yè)場景中是易于可輸運的，工業(yè)場景通常難以訪問。
【附圖說明】
[0043]本發(fā)明的其它優(yōu)點、目標和特征將從參照附圖的遵循用于處理局部信息的方法和設備以及用于具有這樣的設備的通信便攜式終端的至少一個特定實施例的非限制性描述顯現(xiàn)，其中:
[0044]圖1以流程圖的形式示出了本發(fā)明的主題的方法的實施例，
[0045]圖2示意性地示出了本發(fā)明的主題的設備的實施例，
[0046]圖3示意性地示出了作為本發(fā)明的主題的通信便攜式終端的實施例。
【具體實施方式】
[0047]從開頭應當指出的是，圖并未按照比例。
[0048]圖1揭示了作為本發(fā)明的主題的方法10的特定實施例，其具有:
[0049]-捕獲表示真實環(huán)境的圖像的步驟11，
[0050]-與設備在真實環(huán)境中的定位相對應地在虛擬模型中定位設備的步驟12，
[0051]-確定設備的位移的步驟13，其具有三個子步驟:
[0052]-通過慣性單元的移動的估計的步驟13-1，
[0053]-估計在一個時刻所捕獲的圖像與在隨后時刻所捕獲的圖像之間的相對移動的步驟 13-2，
[0054]-組合在步驟13-1和13-2中所確定的移動估計以確定設備的位移的步驟13_3，
[0055]-減小所確定的位移的步驟14，
[0056]-根據(jù)所確定的位移而修改設備在虛擬表示中的位置的步驟15，
[0057]-聯(lián)合顯示所捕獲的圖像與對應于所顯示的捕獲圖像的虛擬表示的部分的步驟16，以及
[0058]-在虛擬表示上編輯所定位的信息的步驟17。
[0059]步驟11借助于圖像捕獲設備來執(zhí)行。圖像捕獲設備例如為相機、照相裝置或掃描儀。在其余描述中，“相機”表示圖像捕獲設備。相機可以是單眼、立體、RGB-D或全光類型的。實現(xiàn)步驟11中的圖像捕獲的相機可以在兩個模式中使用:
[0060]-允許連續(xù)拍攝的視頻模式，以及
[0061]-被配置用于某些鏡頭的更深度分析的靜止圖像模式，例如當拍攝困難時。
[0062]視頻模式可以包括借助于穩(wěn)定化、去噪聲和超級分辨來處理圖像的質(zhì)量的子步驟。該步驟例如用于詳細的局部視圖。
[0063]靜止圖像模式通過不存在時間約束而與視頻模式區(qū)分開。圖像可以具有更好的質(zhì)量并且可能通過優(yōu)化所有圖像的定位實現(xiàn)全局定位策略。通過示例的方式，這可以涉及考慮到拍攝的某些特征，諸如全景特征的知識。
[0064]步驟12是校準步驟。當其被創(chuàng)建時，區(qū)分性語義結(jié)構(gòu)在虛擬表示中被表示。虛擬表示可以是數(shù)字模型，也被稱為DMU。數(shù)字模型優(yōu)選地借助于計算機輔助的設計(CAD)軟件而實現(xiàn)。虛擬表示可以包括:組裝或檢查信息、測試和測量、標注、要控制的元件、不一致性。信息可以具有不同類型:
[0065]-例如文本，諸如與場景中的對象相關聯(lián)的元數(shù)據(jù)，
[0066]-圖像，
[0067]-幾何結(jié)構(gòu)，
[0068]-視頻，或
[0069]-3D掃描，其可以在先驗使用期間從場景中的對象獲取。
[0070]優(yōu)選地，虛擬表示是在設計所表示的對象時產(chǎn)生的原始數(shù)據(jù)模型的簡化形式。原始數(shù)據(jù)模型被過濾和組織以便:
[0071]-選擇與要執(zhí)行的任務有關的對象，
[0072]-提取用于顯示或編輯的元數(shù)據(jù)，
[0073]-組織用于簡化幾何結(jié)構(gòu)的數(shù)據(jù)，以及
[0074]-借助于用于自動分析數(shù)字模型中所存在的幾何結(jié)構(gòu)的結(jié)構(gòu)的方法而限定區(qū)分性語義結(jié)構(gòu)。
[0075]優(yōu)選地，這些區(qū)分性語義結(jié)構(gòu):
[0076]-最小化場景的自然模糊性，
[0077]-最大化其檢測可能性，
[0078]-可能地考慮到參考結(jié)構(gòu)。
[0079]區(qū)分性語義結(jié)構(gòu)在容差約束如此要求的時候考慮到參考結(jié)構(gòu)。在該情形中，區(qū)分性語義結(jié)構(gòu)從參考元件排他性地選擇。
[0080]區(qū)分性語義結(jié)構(gòu)優(yōu)選地為幾何結(jié)構(gòu)點、線、圓、橢圓、表面、參數(shù)化的體積、紋理豐富的元件或輪廓類型。
[0081]區(qū)分性語義結(jié)構(gòu)可以是:
[0082]-視覺、多模態(tài)且非模糊的航標，
[0083]-容易可檢測的校準景象。
[0084]術(shù)語多模態(tài)意味著它們對應于從各種可用圖像所提取的基元而不管其本性如何。非模糊性被限定為對應于附近區(qū)