本申請的實施例涉及圖像處理技術領域,尤其涉及一種顯示數(shù)據(jù)處理方法及裝置。
背景技術:
在基于視頻的人工導航等服務系統(tǒng)中,通??梢酝ㄟ^用戶攜帶的前端設備采集用戶所處環(huán)境中的局部場景,并對采集到的局部場景的場景信息在后端客戶端以圖像、位置等形式呈現(xiàn)給后臺服務人員,后臺服務人員根據(jù)客戶端呈現(xiàn)的圖像和位置等信息中判斷用戶當前的方位、姿態(tài)以及所處的環(huán)境信息,進而根據(jù)這些環(huán)境信息對用戶或機器人進行監(jiān)控和發(fā)送指令等操作。
然而在這種方式中,受制于前端圖像采集的視角、以及后臺的呈現(xiàn)方式等因素,后臺服務人員無法全局性的了解用戶所處的環(huán)境,影響其對前端用戶及其周圍信息的判斷。
技術實現(xiàn)要素:
本申請的實施例提供一種顯示數(shù)據(jù)處理方法及裝置,能夠生成包含全局性環(huán)境信息的顯示數(shù)據(jù),從而向后臺服務人員展現(xiàn)用戶所處環(huán)境的全局,使得后臺服務人員能夠全局性的了解用戶所處的環(huán)境,從而提高了后臺服務人員對用戶信息判斷的準確性。
第一方面,一種顯示數(shù)據(jù)處理方法,包括:
采集用戶所在環(huán)境中的局部場景的場景信息;
在所述場景信息中檢測所述局部場景中的預定目標并生成可視化數(shù)據(jù),其中所述可視化數(shù)據(jù)包含所述預定目標;
將所述可視化數(shù)據(jù)與所述環(huán)境的環(huán)境模型疊加并生成指定視角的顯示數(shù)據(jù),所述顯示數(shù)據(jù)包含所述環(huán)境模型以及所述預定目標。
第二方面,提供一種顯示數(shù)據(jù)處理裝置,包括:
采集單元,用于采集用戶所在環(huán)境中的局部場景的場景信息;
處理單元,在所述采集單元采集的場景信息中檢測所述局部場景中的預定目標并生成可視化數(shù)據(jù),其中所述可視化數(shù)據(jù)包含所述預定目標;
所述處理單元還用于將所述可視化數(shù)據(jù)與所述環(huán)境的環(huán)境模型疊加并生成指定視角的顯示數(shù)據(jù),所述顯示數(shù)據(jù)包含所述環(huán)境模型以及所述預定目標。
第三方面,提供一種電子設備,包括:存儲器、通信接口和處理器,存儲器和通信接口耦接至處理器,所述存儲器用于存儲計算機執(zhí)行代碼,所述處理器用于執(zhí)行所述計算機執(zhí)行代碼控制執(zhí)行上述的顯示數(shù)據(jù)處理方法,所述通信接口用于所述顯示數(shù)據(jù)處理裝置與外部設備的數(shù)據(jù)傳輸。
第四方面,提供一種計算機存儲介質,用于儲存為顯示數(shù)據(jù)處理裝置所用的計算機軟件指令,其包含執(zhí)行上述的顯示數(shù)據(jù)處理方法所設計的程序代碼。
第五方面,提供一種計算機程序產(chǎn)品,可直接加載到計算機的內部存儲器中,并含有軟件代碼,所述計算機程序經(jīng)由計算機載入并執(zhí)行后能夠實現(xiàn)上述顯示數(shù)據(jù)處理方法。
在上述方案中,顯示數(shù)據(jù)處理裝置采集用戶所在環(huán)境中的局部場景的場景信息;在場景信息中檢測局部場景中的預定目標并生成可視化數(shù)據(jù),可視化數(shù)據(jù)包含預定目標標識的標記;將可視化數(shù)據(jù)與環(huán)境的環(huán)境模型疊加并生成顯示數(shù)據(jù),顯示數(shù)據(jù)包括環(huán)境模型以及預定目標。相比于現(xiàn)有技術,由于顯示數(shù)據(jù)中同時包含指示用戶所在環(huán)境中的局部場景的場景信息中預定目標的可視化數(shù)據(jù)以及用戶所在環(huán)境的環(huán)境模型,將顯示數(shù)據(jù)顯示在后臺客戶端時,由于顯示數(shù)據(jù)包含全局性環(huán)境信息,從而能夠向后臺服務人員展現(xiàn)用戶所處環(huán)境的全局,后臺服務人員根據(jù)顯示數(shù)據(jù)可以全局性的了解用戶所處的環(huán)境,提高了后臺服務人員對用戶信息判斷的準確性。
附圖說明
為了更清楚地說明本申請實施例的技術方案,下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請的一些實施例,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本申請的實施例提供的一種通訊系統(tǒng)的結構圖;
圖2為本申請的實施例提供的一種顯示數(shù)據(jù)處理方法的流程圖;
圖3為本申請的實施例提供的第一人稱用戶視角的虛擬模型圖;
圖4為本申請的實施例提供的第一人稱觀察視角的虛擬模型圖;
圖5為本申請的實施例提供的第三人稱固定視角的虛擬模型圖;
圖6a-6c為本申請的實施例提供的第三人稱自由視角的虛擬模型圖;
圖7為本申請的實施例提供的一種顯示數(shù)據(jù)處理裝置的結構圖;
圖8a為本申請的另一實施例提供的一種電子設備的結構圖;
圖8b為本申請的又一實施例提供的一種電子設備的結構圖。
具體實施方式
本申請實施例描述的系統(tǒng)架構以及業(yè)務場景是為了更加清楚的說明本申請實施例的技術方案,并不構成對于本申請實施例提供的技術方案的限定,本領域普通技術人員可知,隨著系統(tǒng)架構的演變和新業(yè)務場景的出現(xiàn),本申請實施例提供的技術方案對于類似的技術問題,同樣適用。
需要說明的是,本申請實施例中,“示例性的”或者“例如”等詞用于表示作例子、例證或說明。本申請實施例中被描述為“示例性的”或者“例如”的任何實施例或設計方案不應被解釋為比其它實施例或設計方案更優(yōu)選或更具優(yōu)勢。確切而言,使用“示例性的”或者“例如”等詞旨在以具體方式呈現(xiàn)相關概念。
需要說明的是,本申請實施例中,“的(英文:of)”,“相應的(英文:corresponding,relevant)”和“對應的(英文:corresponding)”有時可以混用,應當指出的是,在不強調其區(qū)別時,其所要表達的含義是一致的,此外可以理解的是,本申請的實施例中的“a和/或b”至少包含a、b、a和b三種情況。
本申請的基本原理為在顯示數(shù)據(jù)中同時疊加用戶自身及其所在環(huán)境中的局部場景的場景信息中預定目標的可視化數(shù)據(jù)以及用戶所在環(huán)境的環(huán)境模型,從而使得將顯示數(shù)據(jù)顯示在后臺客戶端時,由于顯示數(shù)據(jù)包含全局性環(huán)境信息,從而能夠向后臺服務人員展現(xiàn)用戶所處環(huán)境的全局,后臺服務人員根據(jù)顯示數(shù)據(jù)可以全局性的了解用戶所處的環(huán)境,提高了后臺服務人員對用戶信息判斷的準確性。
具體的本申請的實施例可以應用于如下通訊系統(tǒng),參照圖1所示該系統(tǒng)包括用戶攜帶的前端設備11、后臺服務器12、以及后臺客戶端13,其中在本方案中前端設備11用于采集用戶所處環(huán)境的環(huán)境數(shù)據(jù)、以及用戶所在環(huán)境中的局部場景的場景信息。本申請的實施例提供的顯示數(shù)據(jù)處理裝置應用于后臺服務器12,作為后臺服務器12本身或其上配置的功能實體。后臺客戶端13用于接收并向后臺服務人員展示顯示數(shù)據(jù),與后臺服務人員進行人機交互,如接收后臺服務人員的操作生成對前端設備11或后臺服務器12的控制指令或交互的數(shù)據(jù)流,實現(xiàn)對攜帶前端設備11的用戶的行為指導,如導航、周邊信息提示等。
具體的本申請的實施例提供一種顯示數(shù)據(jù)處理方法,應用于上述的通訊系統(tǒng)參照圖2所示,包括:
201、采集用戶所在環(huán)境中的局部場景的場景信息。
其中,為實現(xiàn)對用戶行為指導的實時性,步驟201通常是以在線方式實時進行,步驟201的一種實現(xiàn)方式為通過至少一個傳感器采集用戶所在環(huán)境中的局部場景的場景信息,傳感器為:圖像傳感器、超聲雷達或聲音傳感器。此處的場景信息可以為圖像、聲音;以及圖像、聲音所對應的用戶周邊物體的方位、距離等。
202、在場景信息中檢測局部場景中的預定目標并生成可視化數(shù)據(jù)。
其中,可視化數(shù)據(jù)包含預定目標,步驟202中具體可以采用機器智能和視覺技術對場景信息進行分析,判斷出局部場景中的預定目標,如局部場景中的人、物體等等。預定目標至少包括以下各項中的一項或多項:用戶位置、用戶姿態(tài)、用戶周圍的特定目標、所述用戶的行進路線等,可視化數(shù)據(jù)可以為文字和/或實物模型,示例性的文字和實物模型均可以為3d圖形。
203、將可視化數(shù)據(jù)與環(huán)境的環(huán)境模型疊加并生成顯示數(shù)據(jù)。
其中,顯示數(shù)據(jù)可以包含環(huán)境模型以及步驟202中得到的預定目標。203中,環(huán)境模型可以為環(huán)境的3d模型,其中由于環(huán)境的包含的數(shù)據(jù)量較大,并且用戶進入的環(huán)境根據(jù)人的意志具有不確定性,因此需要通過離線方式對環(huán)境進行學習,具體的環(huán)境模型的獲取方法為,獲取在環(huán)境中采集的環(huán)境數(shù)據(jù),對環(huán)境數(shù)據(jù)進行空間重建生成環(huán)境模型。具體可以通過至少一個傳感器在環(huán)境中采集環(huán)境數(shù)據(jù),傳感器為:深度傳感器、激光雷達或圖像傳感器等。
為進一步的提高后臺服務人員對用戶信息判斷的準確性,可以利用虛擬顯示技術在后臺服務人員的后臺客戶端呈現(xiàn)不同視角的顯示數(shù)據(jù)。具體的在步驟203之前還包括:接收客戶端(后臺客戶端)發(fā)送的視角指令。步驟203具體為將可視化數(shù)據(jù)與環(huán)境的環(huán)境模型疊加并生成指定視角的顯示數(shù)據(jù),包括將可視化數(shù)據(jù)與環(huán)境的環(huán)境模型疊加并依據(jù)視角指令生成指定視角的顯示數(shù)據(jù)。
指定視角包括以下任一:第一人稱用戶視角、第一人稱觀察視角、第一人稱自由視角、第一人稱全景視角、第三人稱固定視角以及第三人稱自由視角;其中,在指定視角包括第一人稱觀察視角、第三人稱固定視角以及第三人稱自由視角中任一時,顯示數(shù)據(jù)中包含虛擬的用戶模型。
示例性的,參照圖3所示,以第一人稱用戶視角生成顯示數(shù)據(jù)時,后臺服務人員在客戶端上看到的圖像為前端用戶視角看到的虛擬模型,顯示數(shù)據(jù)包括環(huán)境模型和步驟202中的可視化數(shù)據(jù)。
示例性的,參照圖4所示,以第一人稱觀察視角生成顯示數(shù)據(jù)時,后臺服務人員在客戶端上看到的圖像為虛擬攝像機位于用戶后方并與用戶視角同步變化的虛擬模型,該虛擬模型中包括環(huán)境模型和步驟202中的可視化數(shù)據(jù)以及虛擬的用戶模型;如圖4中包含虛擬的用戶模型u。以第一人稱自由視角生成顯示數(shù)據(jù)時,后臺服務人員在客戶端上看到的圖像為虛擬攝像機隨用戶移動,但觀察視角為可以在用戶四周轉換。該虛擬模型中包括環(huán)境模型和步驟202中的可視化數(shù)據(jù)。與第一人稱觀察視角的不同是:第一人稱觀察視角僅可以觀察用戶視角同步的圖像,第一人稱自由視角可以在觀察視角為可以在用戶四周轉換。以第一人稱全景視角生成顯示數(shù)據(jù)時,后臺服務人員在客戶端上看到的圖像為虛擬攝像機隨用戶移動,但觀察視角為用戶周圍的360度。該虛擬模型中包括環(huán)境模型和步驟202中的可視化數(shù)據(jù)。與第一人稱觀察視角的不同是:第一人稱觀察視角僅可以觀察用戶視角同步的圖像,第一人稱全景視角的觀察視角為用戶周圍的360度。
示例性的,參照圖5所示,以第三人稱固定視角生成顯示數(shù)據(jù)時,后臺服務人員在客戶端上看到的圖像為虛擬攝像機位于用戶任一固定側并且隨用戶運動的虛擬模型,示例性如圖5所示,為一種從用戶的(側)上方俯視重建后的虛擬模型,該虛擬模型中包括環(huán)境模型和步驟202中的可視化數(shù)據(jù)以及虛擬的用戶模型;如圖5中包含虛擬的用戶模型u。其中圖4和圖5的區(qū)別為圖4兼顧考慮了用戶視角,圖5為一種虛擬的機器視角。
示例性的,參照圖6a-6c所示,以第三人稱自由視角生成顯示數(shù)據(jù)時,后臺服務人員在客戶端上看到的圖像為虛擬攝像機初始位置位于用戶周邊的固定位置(如用戶上方)并且可隨后臺服務人員輸入的視角指令如輸入設備(鼠標、鍵盤、操縱桿等)的操作生成的指令任意變換角度,其中圖6a-6c中分別示出了三個角度,可從任意角度看到用戶周圍的信息示例性如圖6a-6c所示,為一種從用戶的(側)上方俯視重建后的虛擬模型,該虛擬模型中包括環(huán)境模型和步驟202中的可視化數(shù)據(jù)以及虛擬的用戶模型;如圖6a-6c中包含虛擬的用戶模型u。
在上述方案中,顯示數(shù)據(jù)處理裝置采集用戶所在環(huán)境中的局部場景的場景信息;在場景信息中檢測局部場景中的預定目標并生成可視化數(shù)據(jù);將可視化數(shù)據(jù)與環(huán)境的環(huán)境模型疊加并生成顯示數(shù)據(jù)。相比于現(xiàn)有技術,由于顯示數(shù)據(jù)中同時包含指示用戶所在環(huán)境中的局部場景的場景信息中預定目標的可視化數(shù)據(jù)以及用戶所在環(huán)境的環(huán)境模型,將顯示數(shù)據(jù)顯示在后臺客戶端時,由于顯示數(shù)據(jù)包含全局性環(huán)境信息,從而能夠向后臺服務人員展現(xiàn)用戶所處環(huán)境的全局,后臺服務人員根據(jù)顯示數(shù)據(jù)可以全局性的了解用戶所處的環(huán)境,提高了后臺服務人員對用戶信息判斷的準確性。
可以理解的是,顯示數(shù)據(jù)處理裝置通過其包含的硬件結構和/或軟件模塊實現(xiàn)上述實施例提供的功能。本領域技術人員應該很容易意識到,結合本文中所公開的實施例描述的各示例的單元及算法步驟,本申請能夠以硬件或硬件和計算機軟件的結合形式來實現(xiàn)。某個功能究竟以硬件還是計算機軟件驅動硬件的方式來執(zhí)行,取決于技術方案的特定應用和設計約束條件。專業(yè)技術人員可以對每個特定的應用來使用不同方法來實現(xiàn)所描述的功能,但是這種實現(xiàn)不應認為超出本申請的范圍。
本申請實施例可以根據(jù)上述方法示例對顯示數(shù)據(jù)處理裝置進行功能模塊的劃分,例如,可以對應各個功能劃分各個功能模塊,也可以將兩個或兩個以上的功能集成在一個處理模塊中。上述集成的模塊既可以采用硬件的形式實現(xiàn),也可以采用軟件功能模塊的形式實現(xiàn)。需要說明的是,本申請實施例中對模塊的劃分是示意性的,僅僅為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式。
在采用對應各個功能劃分各個功能模塊的情況下,圖7示出了上述實施例中所涉及的顯示數(shù)據(jù)處理裝置的一種可能的結構示意圖,顯示數(shù)據(jù)處理裝置包括:采集單元71、處理單元72。采集單元71,用于采集用戶所在環(huán)境中的局部場景的場景信息;處理單元72,用于在所述采集單元71采集的場景信息中檢測所述局部場景中的預定目標并生成可視化數(shù)據(jù),可視化數(shù)據(jù)包含預定目標,將所述可視化數(shù)據(jù)與所述環(huán)境的環(huán)境模型疊加并生成顯示數(shù)據(jù),顯示數(shù)據(jù)包含環(huán)境模型以及預定目標;可選的,還包括接收單元73,用于接收客戶端發(fā)送的視角指令。處理單元72具體用于將所述可視化數(shù)據(jù)與所述環(huán)境的環(huán)境模型疊加并依據(jù)所述視角指令生成指定視角的顯示數(shù)據(jù)。所述指定視角包括以下任一:第一人稱用戶視角、第一人稱觀察視角、第三人稱固定視角以及第三人稱自由視角;其中,在所述指定視角包括所述第一人稱觀察視角、第三人稱固定視角以及第三人稱自由視角中任一時,所述顯示數(shù)據(jù)中包含虛擬的用戶模型。可視化數(shù)據(jù)包括文字和\或實物模型。預定目標至少包括以下各項中的一項或多項:用戶位置、用戶姿態(tài)、用戶周圍的特定目標、所述用戶的行進路線。
此外可選的,還包括獲取單元74,用于獲取在所述環(huán)境中采集的環(huán)境數(shù)據(jù),所述處理單元還用于對所述獲取單元獲取的所述環(huán)境數(shù)據(jù)進行空間重建生成所述環(huán)境模型。其中獲取單元74具體用于通過至少一個傳感器在所述環(huán)境中采集環(huán)境數(shù)據(jù),所述傳感器為:深度傳感器、激光雷達或圖像傳感器。所述采集單元71具體用于通過至少一個傳感器采集用戶所在環(huán)境中的局部場景的場景信息,所述傳感器為:圖像傳感器、超聲雷達或聲音傳感器。其中,上述方法實施例涉及的各步驟的所有相關內容均可以援引到對應功能模塊的功能描述,在此不再贅述。
圖8a示出了本申請一個實施例中所涉及的一種電子設備的一種可能的結構示意圖。電子設備包括:通信模塊81和處理模塊82。處理模塊82用于對顯示數(shù)據(jù)處理動作進行控制管理,例如,處理模塊82用于支持顯示數(shù)據(jù)處理裝置執(zhí)行處理單元72執(zhí)行的方法。通信模模塊81用于支持顯示數(shù)據(jù)處理裝置與其他設備的數(shù)據(jù)傳輸,實施采集單元71、接收單元73以及獲取單元74執(zhí)行的方法。電子設備還可以包括存儲模塊83,用于存儲顯示數(shù)據(jù)處理裝置的程序代碼和數(shù)據(jù),例如緩存處理單元72執(zhí)行的方法。
其中,處理模塊82可以是處理器或控制器,例如可以是中央處理器(centralprocessingunit,cpu),通用處理器,數(shù)字信號處理器(digitalsignalprocessor,dsp),專用集成電路(application-specificintegratedcircuit,asic),現(xiàn)場可編程門陣列(fieldprogrammablegatearray,fpga)或者其他可編程邏輯器件、晶體管邏輯器件、硬件部件或者其任意組合。其可以實現(xiàn)或執(zhí)行結合本申請公開內容所描述的各種示例性的邏輯方框,模塊和電路。所述處理器也可以是實現(xiàn)計算功能的組合,例如包含一個或多個微處理器組合,dsp和微處理器的組合等等。通信模塊81可以是收發(fā)器、收發(fā)電路或通信接口等。存儲模塊可以是存儲器。
當處理模塊82為處理器,通信模塊81為通信接口,存儲模塊83為存儲器時,本申請實施例所涉及的電子設備可以為圖8b所示的顯示數(shù)據(jù)處理裝置。
參閱圖8b所示,該電子設備包括:處理器91、通信接口92、存儲器93以及總線94。存儲器93和通信接口92通過總線94耦接至處理器91;總線94可以是外設部件互連標準(peripheralcomponentinterconnect,pci)總線或擴展工業(yè)標準結構(extendedindustrystandardarchitecture,eisa)總線等。所述總線可以分為地址總線、數(shù)據(jù)總線、控制總線等。為便于表示,圖8b中僅用一條粗線表示,但并不表示僅有一根總線或一種類型的總線。
結合本申請公開內容所描述的方法或者算法的步驟可以硬件的方式來實現(xiàn),也可以是由處理器執(zhí)行軟件指令的方式來實現(xiàn)。軟件指令可以由相應的軟件模塊組成,軟件模塊可以被存放于隨機存取存儲器(randomaccessmemory,ram)、閃存、只讀存儲器(readonlymemory,rom)、可擦除可編程只讀存儲器(erasableprogrammablerom,eprom)、電可擦可編程只讀存儲器(electricallyeprom,eeprom)、寄存器、硬盤、移動硬盤、只讀光盤(cd-rom)或者本領域熟知的任何其它形式的存儲介質中。一種示例性的存儲介質耦合至處理器,從而使處理器能夠從該存儲介質讀取信息,且可向該存儲介質寫入信息。當然,存儲介質也可以是處理器的組成部分。處理器和存儲介質可以位于asic中。另外,該asic可以位于核心網(wǎng)接口設備中。當然,處理器和存儲介質也可以作為分立組件存在于核心網(wǎng)接口設備中。
本領域技術人員應該可以意識到,在上述一個或多個示例中,本申請所描述的功能可以用硬件、軟件、固件或它們的任意組合來實現(xiàn)。當使用軟件實現(xiàn)時,可以將這些功能存儲在計算機可讀介質中或者作為計算機可讀介質上的一個或多個指令或代碼進行傳輸。計算機可讀介質包括計算機存儲介質和通信介質,其中通信介質包括便于從一個地方向另一個地方傳送計算機程序的任何介質。存儲介質可以是通用或專用計算機能夠存取的任何可用介質。
以上所述的具體實施方式,對本申請的目的、技術方案和有益效果進行了進一步詳細說明,所應理解的是,以上所述僅為本申請的具體實施方式而已,并不用于限定本申請的保護范圍,凡在本申請的技術方案的基礎之上,所做的任何修改、等同替換、改進等,均應包括在本申請的保護范圍之內。