在屏幕上顯示3d場景圖的方法
【技術(shù)領(lǐng)域】
本發(fā)明是有關(guān)于一種在屏幕上顯示3D場景圖的方法以及一種3D計(jì)算器系統(tǒng)的操作系統(tǒng)，尤其有關(guān)于這種操作系統(tǒng)中的圖形堆棧(graphic stack)，特別是在窗口管理區(qū)域和用于應(yīng)用可視化的進(jìn)程分隔接口中。
現(xiàn)有技術(shù)
桌面隱喻最初是由施樂帕洛阿爾托研究中心的艾倫.凱在1970年提出的。施樂之星率先使用了堆棧桌面隱喻來支持窗口堆棧。施樂之星允許交迭對(duì)話框。組成桌面環(huán)境的兩個(gè)組件通常是窗口管理器和為應(yīng)用和桌面環(huán)境提供統(tǒng)一的外觀和感覺的工具集。窗口管理可以同時(shí)向終端用戶展示多個(gè)程序形象。在當(dāng)前窗口管理器中，窗口管理器和應(yīng)用進(jìn)程之間的接口通常是一個(gè)矩形位圖。窗口管理器和應(yīng)用進(jìn)程之間的數(shù)據(jù)以多種方式傳輸。例如，透過繪制每幀來傳輸整個(gè)位圖，從而從應(yīng)用位圖中傳輸變化的區(qū)域或傳輸單個(gè)繪制指令。進(jìn)程分隔提高了操作系統(tǒng)級(jí)別的穩(wěn)定性和強(qiáng)健性(Robustness)。進(jìn)程之間透過明確的接口進(jìn)行完全的相互隔離。默認(rèn)情況下，一個(gè)進(jìn)程不能訪問其他進(jìn)程的資源。
一些窗口管理器把進(jìn)程分隔的2D應(yīng)用界面嵌入到3D場景中。2D應(yīng)用界面能放置在桌面環(huán)境中的多個(gè)位置，例如3D立方體的側(cè)面，虛擬世界里的墻上，等等。《Peuhkurinen A.、Mikkonen T^Terho Μ.:使用RDF數(shù)據(jù)作為移動(dòng)設(shè)備中3D窗口管理器的基礎(chǔ)，MobiWIS-2011，加拿大尼亞加拉瀑布市，2011年9月》中記載了過去幾年中在這個(gè)領(lǐng)域之研究工作的總結(jié)。
為了創(chuàng)建一個(gè)3D桌面環(huán)境，其中應(yīng)用進(jìn)程能夠不使用2D表面而直接使用3D對(duì)象將自己展示到相同的場景圖中，現(xiàn)有技術(shù)的窗口管理器和工具集需要重新設(shè)計(jì)。因此，人們希望在如窗口管理器等顯示服務(wù)器和應(yīng)用進(jìn)程之間定義一個(gè)新的的可視化接口。
此外，為了使用3D對(duì)象來直接顯示應(yīng)用，所述顯示服務(wù)器必須能夠快速渲染分隔的進(jìn)程以及圖形相關(guān)的數(shù)據(jù)。因?yàn)?，人們希望找出一個(gè)最佳方案來處理以及傳遞資料中的更改并加載和卸除顯示服務(wù)器與應(yīng)用進(jìn)程之間的數(shù)據(jù)。

【發(fā)明內(nèi)容】

本發(fā)明的目標(biāo)是在3D視訊系統(tǒng)中提供顯示服務(wù)器與應(yīng)用進(jìn)程之間的一個(gè)改進(jìn)的可視化接口。
此目標(biāo)可以透過獨(dú)立專利申請(qǐng)范圍中的特征來實(shí)現(xiàn)。進(jìn)一步實(shí)施形式在從屬專利申請(qǐng)范圍、具體說明和附圖中顯而易見。
本發(fā)明基于以下發(fā)現(xiàn):可透過將新部件應(yīng)用到圖形堆棧來創(chuàng)建3D視訊系統(tǒng)中的顯示服務(wù)器與應(yīng)用進(jìn)程之間的一個(gè)改進(jìn)的可視化接口。圖形堆棧使得具有3D場景圖的顯示服務(wù)器分隔應(yīng)用中的進(jìn)程。此外，這些新部件在顯示服務(wù)器中實(shí)現(xiàn)了一個(gè)3D應(yīng)用接口，而非常用的、基于應(yīng)用接口的2D表面。所以，進(jìn)程分隔的應(yīng)用可視化能夠透過3D而不是常用的2D表面來實(shí)現(xiàn)。 為了詳細(xì)描述本發(fā)明，將使用以下術(shù)語、縮寫和符號(hào):
3D:三維。
2D: 二維。
3D計(jì)算器圖形:3D計(jì)算器圖形是使用儲(chǔ)存在計(jì)算器中的幾何數(shù)據(jù)的三維展示來達(dá)到計(jì)算和圖像渲染的目的?？杀４孢@些圖像供日后查看或被實(shí)時(shí)顯示。
3D渲染:在計(jì)算器上自動(dòng)將3D線框模型，即一個(gè)三維或物理對(duì)象的視覺展示，轉(zhuǎn)換成具有3D擬真效果或非擬真渲染的2D圖像的3D計(jì)算器圖形進(jìn)程。
3D計(jì)算器圖形軟件:是指用來創(chuàng)建3D計(jì)算器生成圖像的程序。3D建模支持用戶透過他們的3D網(wǎng)格創(chuàng)建并修改模型。使用者可以根據(jù)自己的意愿來增加、減少、伸展或修改網(wǎng)格。通常情況下，可以同時(shí)從多個(gè)角度觀看模型?？梢孕D(zhuǎn)模型并且可以放大或縮小視圖。
U1:用戶接口。用戶接口是進(jìn)行人機(jī)交互的空間。交互的目的是在使用者端對(duì)機(jī)器進(jìn)行有效的操作和控制以及獲得來自機(jī)器的回饋，這樣可以協(xié)助運(yùn)營商制定運(yùn)營決策。
EGL:EGL是Khronos渲染API (例如OpenGL ES或OpenVG)和底層本地平臺(tái)窗口系統(tǒng)之間的一個(gè)接口。EGL處理圖形上下文管理、表面/緩存綁定和渲染同步，并使用其它KhronosAPI來啟用高性能的、加速的以及混合模式的2D和3D清染。Khronos是一個(gè)行業(yè)協(xié)會(huì)，致力于創(chuàng)造和加速對(duì)多種平臺(tái)和設(shè)備的并行計(jì)算、圖形、動(dòng)態(tài)媒體、計(jì)算器視覺和傳感器處理的開放標(biāo)準(zhǔn)。
GLES:(開放的)嵌入式系統(tǒng)的GL(0penGL ES)是為如手機(jī)、PDA以及視訊游戲機(jī)等嵌入式系統(tǒng)設(shè)計(jì)的OpenGL 3D圖形應(yīng)用程序接口(API)的子集。
AP1:應(yīng)用程序接口；應(yīng)用程序接口是一種由軟件體組件用作相互交流的接口的協(xié)議。一個(gè)API就是一個(gè)包含程序規(guī)范、數(shù)據(jù)結(jié)構(gòu)、對(duì)象類以及變量的庫。
內(nèi)核:在計(jì)算器技術(shù)中，內(nèi)核是大部分計(jì)算器操作系統(tǒng)的主要部件，是應(yīng)用與硬件級(jí)別的實(shí)際數(shù)據(jù)處理之間的橋接。內(nèi)核的職責(zé)包含管理系統(tǒng)資源(軟硬件組件之間的溝通)。通常情況下，作為操作系統(tǒng)的基礎(chǔ)組件，內(nèi)核能夠?yàn)閼?yīng)用軟件必須控制以執(zhí)行其功能的資源(尤其是處理器和I/O設(shè)備)提供最低級(jí)別的抽象層。這通常使得應(yīng)用進(jìn)程能夠透過進(jìn)程間通信機(jī)制以及系統(tǒng)呼叫來使用這些工具。
應(yīng)用:軟件應(yīng)用或應(yīng)用軟件是為了說明用戶執(zhí)行特定任務(wù)而設(shè)計(jì)的計(jì)算器軟件，可以是為手機(jī)、PDA以及視訊游戲機(jī)等嵌入式系統(tǒng)設(shè)計(jì)的。
中間件:給軟件應(yīng)用提供服務(wù)的計(jì)算器軟件，中間件可以運(yùn)行在手機(jī)、PDA以及視訊游戲機(jī)上。
操作系統(tǒng)內(nèi)核:用于操作和控制計(jì)算器硬件并提供運(yùn)行應(yīng)用軟件的平臺(tái)的計(jì)算器軟件，操作系統(tǒng)可以被設(shè)計(jì)在手機(jī)、PDA以及視訊游戲機(jī)等嵌入式系統(tǒng)上實(shí)施。
進(jìn)程:正在執(zhí)行的一個(gè)計(jì)算器程序的實(shí)例，進(jìn)程可以運(yùn)行在手機(jī)、PDA以及視訊游戲機(jī)等嵌入式系統(tǒng)上。
窗口管理器:窗口管理器是在一個(gè)圖形用戶界面中的窗口系統(tǒng)內(nèi)控制窗口的位置和外形的系統(tǒng)軟件。大部分窗口管理器是用來幫助提供桌面環(huán)境的。它們結(jié)合提供所需功能一一支持圖形硬件、指針設(shè)備和鍵盤的底層圖形系統(tǒng)來工作，并通常透過工具集來寫入和創(chuàng)建。窗口管理器用來合并不同進(jìn)程的可視化以及控制輸入串流。這樣，窗口管理器能夠讓用戶以單個(gè)系統(tǒng)來體驗(yàn)所有的可視化和進(jìn)程。 顯示服務(wù)器:顯示服務(wù)器也稱為窗口管理器。當(dāng)應(yīng)用把圖形渲染到它們的緩存區(qū)時(shí)，窗口管理器成為顯示服務(wù)器來組合這些緩存區(qū)以形成應(yīng)用窗口的屏幕顯示。顯示服務(wù)器負(fù)責(zé)與應(yīng)用和視訊硬件通信并促使它們與使用其它庫的輸入硬件通信。
3D工具集:3D工具集用于創(chuàng)建用戶接口。用戶接口工具集是透過創(chuàng)建軟件對(duì)象的數(shù)據(jù)庫并透過標(biāo)準(zhǔn)程序設(shè)計(jì)語言內(nèi)的實(shí)例化和專業(yè)化來定制和設(shè)計(jì)的。操作3D小工具來模擬小工具的構(gòu)造以及幾何部件被仿射聯(lián)系的應(yīng)用對(duì)象。初級(jí)的3D小工具能夠透過一個(gè)被稱為連接(I inking)的進(jìn)程與其它基本的3D小工具合并來建立它們之間的一個(gè)或多個(gè)約束關(guān)系。
根據(jù)第一方面，本發(fā)明涉及一種在屏幕上顯示3D場景圖的方法，包含:把3D資源附加到一組應(yīng)用場景節(jié)點(diǎn)上;透過把應(yīng)用場景節(jié)點(diǎn)的第一子集連接到第一進(jìn)程并把應(yīng)用場景節(jié)點(diǎn)的第二子集連接到第二進(jìn)程來將運(yùn)行在計(jì)算器系統(tǒng)的操作系統(tǒng)上的第一應(yīng)用上下文(applicat1n context)中的第一進(jìn)程與運(yùn)行在該操作系統(tǒng)上的第二應(yīng)用上下文中的第二進(jìn)程分隔；把第一進(jìn)程和第二進(jìn)程加載到計(jì)算器系統(tǒng)的3D顯示服務(wù)器中；基于第一進(jìn)程和第二進(jìn)程構(gòu)造3D場景圖；以及在屏幕上顯示所述3D場景圖。
所述方法允許在支持進(jìn)程分隔的情況下，即將運(yùn)行在第一應(yīng)用上下文中的第一進(jìn)程與運(yùn)行在第二應(yīng)用上下文中的第二進(jìn)程分隔，在同一場景中運(yùn)行基于應(yīng)用可視化的3D對(duì)象。這樣，整個(gè)系統(tǒng)中的安全性和可穩(wěn)定性得到提升。3D進(jìn)程分隔使一些自然的第三方應(yīng)用以安全穩(wěn)定的方式嵌入到將要構(gòu)造的3D應(yīng)用中，例如增強(qiáng)現(xiàn)實(shí)應(yīng)用。
在根據(jù)本發(fā)明的第一方面的方法的第一可能實(shí)施形式中，3D資源代表基本的3D對(duì)象，特別是紋理、明暗度和網(wǎng)格。
因此復(fù)雜的場景圖能夠在基本對(duì)象中解析以容許靈活實(shí)現(xiàn)場景圖。
在根據(jù)第一方面的方法的第二可能實(shí)施形式中，或根據(jù)第一方面的第一實(shí)施形式的第二可能實(shí)施形式中，加載所述第一進(jìn)程和第二進(jìn)程的方法步驟進(jìn)一步包含:使用一個(gè)進(jìn)程分隔接口來分別加載第一進(jìn)程和第二進(jìn)程。
所述進(jìn)程分隔接口允許分隔不同程序，相對(duì)于不使用程序分隔的常規(guī)方法，提高了方法的穩(wěn)定性和強(qiáng)健性。
在基于第一方面的第二實(shí)施形式的方法的第三可能實(shí)施形式中，所述方法包含分別處理第一進(jìn)程和第二進(jìn)程以避免第一進(jìn)