具有廣義屏幕描述的屏幕內(nèi)容共享系統(tǒng)的框架的制作方法
【專利說明】具有廣義屏幕描述的屏幕內(nèi)容共享系統(tǒng)的框架
[0001 ]相關(guān)申請(qǐng)案交叉申請(qǐng)
[0002]本發(fā)明要求于2013年10月11日遞交的、發(fā)明名稱為“具有廣義屏幕描述的屏幕共享系統(tǒng)的框架”的第61/890，140號(hào)臨時(shí)專利申請(qǐng)案的在先申請(qǐng)優(yōu)先權(quán)，其發(fā)明人與本發(fā)明的發(fā)明人相同。以上參考的臨時(shí)申請(qǐng)案的全部?jī)?nèi)容以引用的方式并入本文本。
技術(shù)領(lǐng)域
[0003]本發(fā)明大體涉及遠(yuǎn)程屏幕內(nèi)容共享領(lǐng)域。更具體地說，本發(fā)明涉及在多個(gè)設(shè)備間提供具有廣義描述文件的屏幕內(nèi)容共享。
【背景技術(shù)】
[0004]遠(yuǎn)程端主機(jī)間的屏幕內(nèi)容共享是為人們克服空間障礙并實(shí)現(xiàn)各種任務(wù)的一項(xiàng)重要工具，包括但不限于世界各地用戶間的訪問、遠(yuǎn)程控制和實(shí)時(shí)協(xié)作。為支持遠(yuǎn)程屏幕內(nèi)容共享，已開發(fā)出許多現(xiàn)有技術(shù)和產(chǎn)品。它們基本上可以分成兩大類:共享數(shù)據(jù)以在遠(yuǎn)程顯示器上進(jìn)行繪制和連續(xù)捕捉VGA(視頻圖形陣列)流或者將屏幕作為一系列像素圖進(jìn)行捕捉。
[0005]考慮下面的場(chǎng)景:Alice想與Bob共享她的當(dāng)前屏幕，屏幕上顯示的是名為“HelloWorld.ppt”的幻燈片文件的第一張幻燈片。她可以通過網(wǎng)絡(luò)將該文件以及指示當(dāng)前頁碼的消息發(fā)送給Bob。之后，Bob可以通過播放所述文件的指定頁來呈現(xiàn)Alice的屏幕。這一場(chǎng)景中，Alice通過共享內(nèi)容數(shù)據(jù)和輔助信息共享其屏幕內(nèi)容。這種方法有效消耗了網(wǎng)絡(luò)帶寬。但這對(duì)參與者的操作系統(tǒng)和應(yīng)用程序安裝有嚴(yán)格的要求。在本例中，如果Bob沒有合適的軟件打開幻燈片文件，他就無法呈現(xiàn)Al ice的屏幕內(nèi)容。
[0006]—種可選的方法是連續(xù)共享捕捉到的像素圖。在本示例場(chǎng)景中，Alice將其屏幕作為像素陣列進(jìn)行捕捉，并將一系列像素圖發(fā)送給Bob，Bob隨后像播放視頻一樣呈現(xiàn)這些像素圖。與共享數(shù)據(jù)相比，這一方法的軟件要求較靈活。但這還是會(huì)占用大量的網(wǎng)絡(luò)資源，并且可能會(huì)降低顯示的清晰度?？紤]下面的情況:Alice想與Bob共享她全屏播放視頻的當(dāng)前屏幕。若她直接共享捕捉到的屏幕像素圖，則會(huì)大量消耗Alice的上行帶寬?；蛘撸珹lice可以在共享像素圖之前將其進(jìn)行壓縮，從而減少帶寬消耗，但編碼和解碼期間視頻的分辨率和質(zhì)量會(huì)降低。具體地，若Al ice的屏幕上播放的視頻來自網(wǎng)站，如YouTube，那么Al ice設(shè)備的路由會(huì)給Alice的計(jì)算資源和網(wǎng)絡(luò)資源增加不必要的負(fù)載。
[0007]—般而言，不考慮屏幕內(nèi)容而捕捉整個(gè)屏幕會(huì)導(dǎo)致屏幕內(nèi)容共享機(jī)制效率低，因?yàn)闆]有保證適合各種屏幕內(nèi)容的統(tǒng)一的編碼和壓縮方法?？紤]這樣一種情況:遠(yuǎn)程參與者共享屏幕內(nèi)容，屏幕上是包含一段文字和視頻的網(wǎng)頁。直接發(fā)送該文本比將該屏幕作為幀進(jìn)行捕捉并發(fā)送該幀的開銷要小。同時(shí)，與共享原始視頻文件相比，使用屏幕捕捉機(jī)制的視頻清晰度降低。此外，若視頻為網(wǎng)絡(luò)資源，屏幕內(nèi)容共享發(fā)送器的迂回會(huì)增加帶寬消耗和傳輸時(shí)延。
[0008]在參與者間發(fā)送原始對(duì)象和呈現(xiàn)命令是共享屏幕內(nèi)容最省時(shí)的機(jī)制。微軟遠(yuǎn)程桌面協(xié)議(簡(jiǎn)稱MS RDP)使用MS圖形設(shè)備接口(簡(jiǎn)稱GDI)、重定向文本文件、音頻、視頻、鼠標(biāo)移動(dòng)和其它文件對(duì)屏幕內(nèi)容進(jìn)行重建。但需要在MS Windows或Linux系統(tǒng)上建立RDP服務(wù)器。有了蘋果Airplay的支持，蘋果電視可以串流播放來自iPhone、iPad和其他設(shè)備的視頻和音頻。然而，特定情況下需要使用比如Airp lay的設(shè)備。
[0009]為應(yīng)用于更廣泛的情境，許多屏幕內(nèi)容共享機(jī)制和系統(tǒng)選擇捕捉從端主機(jī)到終端的顯示信號(hào)。例如，
[0010]NCast捕捉VGA流，將捕捉到的流作為視頻流進(jìn)行編碼并在接收器側(cè)播放。NCast以固定速率捕捉屏幕內(nèi)容。VNC使用遠(yuǎn)程幀緩沖協(xié)議(簡(jiǎn)稱RFB)將屏幕內(nèi)容作為一系列像素圖更新進(jìn)行捕捉。

【發(fā)明內(nèi)容】

[0011]為理解屏幕、屏幕上內(nèi)容對(duì)象以及內(nèi)容對(duì)象之間的關(guān)系，要認(rèn)真研究顯示屬性和內(nèi)容。一個(gè)目標(biāo)是以一般格式描述屏幕內(nèi)容，所述格式可以在具有不同應(yīng)用程序和其他計(jì)算上下文的不同操作系統(tǒng)中讀取和呈現(xiàn)。通過使用抽象的屏幕描述，具有不同能力和上下文的參與者可以重播同一共享屏幕內(nèi)容。此外，他們可以在會(huì)話期間靈活訂閱屏幕內(nèi)容對(duì)象，并修剪描述從而只播放感興趣的屏幕內(nèi)容。
[0012]用于發(fā)布、傳輸和呈現(xiàn)共享屏幕內(nèi)容的自適應(yīng)屏幕內(nèi)容共享框架也已經(jīng)設(shè)計(jì)出來。該框架由四個(gè)組件構(gòu)成:端主機(jī)上運(yùn)行的應(yīng)用程序、控制面、業(yè)務(wù)面和內(nèi)容面。共享屏幕內(nèi)容被建模為一棵樹，其由許多內(nèi)容對(duì)象構(gòu)成。此外，樹中節(jié)點(diǎn)的子節(jié)點(diǎn)包含在該節(jié)點(diǎn)所表示的內(nèi)容對(duì)象中。
[0013]在一描述的實(shí)施例中，該樹中的每個(gè)節(jié)點(diǎn)均由屏幕中的屏幕內(nèi)容對(duì)象映射而來。兩個(gè)屏幕內(nèi)容對(duì)象間的包含關(guān)系在該樹中表現(xiàn)為父子關(guān)系。樹的根是包含屏幕上任何其他內(nèi)容對(duì)象的屏幕內(nèi)容對(duì)象的桌面。
[0014]在一種方法中，將更新消息從客戶端設(shè)備發(fā)送到控制面，其中，在所述控制面上，所述客戶端設(shè)備期望與遠(yuǎn)程設(shè)備共享屏幕內(nèi)容。所述遠(yuǎn)程設(shè)備發(fā)送指示對(duì)接收所述更新感興趣的消息。所述控制面隨后從所述客戶端設(shè)備檢索具體描述?？苫谒鲞h(yuǎn)程設(shè)備的計(jì)算上下文將所述具體描述修剪為更兼容的格式。在一些實(shí)施例中，將所述具體描述發(fā)送給所述遠(yuǎn)程設(shè)備，且所述具體描述包括屏幕描述和內(nèi)容描述。對(duì)共享屏幕的內(nèi)容進(jìn)行了描述，且
[0015]隨后從業(yè)務(wù)路由器中檢索出所述內(nèi)容。基于所述屏幕描述和從所述業(yè)務(wù)路由器中檢索出的所述內(nèi)容組裝所述共享屏幕內(nèi)容。
[0016]另一方式描述了一種系統(tǒng)，包括:控制面，用于接收涉及屏幕內(nèi)容更新的更新消息，所述更新消息包括來自第一客戶端設(shè)備的發(fā)布者ID，并通知第二客戶端設(shè)備可更新屏幕內(nèi)容;耦合到所述控制面的業(yè)務(wù)面，用于接收來自所述第二客戶端設(shè)備的興趣消息，所述興趣消息指示期望接收所述屏幕內(nèi)容更新;耦合到所述業(yè)務(wù)面的數(shù)據(jù)面，用于存儲(chǔ)和/或檢索將所述屏幕內(nèi)容更新呈現(xiàn)到所述第二客戶端設(shè)備所需要的內(nèi)容;耦合到所述控制面、所述業(yè)務(wù)面和所述數(shù)據(jù)面的屏幕內(nèi)容共享控制服務(wù)器，用于請(qǐng)求和接收來自所述第一客戶端設(shè)備的所述屏幕內(nèi)容更新的具體描述，并將所述具體描述發(fā)送給所述第二客戶端設(shè)備?；谒鼍唧w描述在所述第二客戶端設(shè)備上呈現(xiàn)共享屏幕內(nèi)容。
【附圖說明】
[0017]附圖包含在并且構(gòu)成本說明書的一部分，示出了本發(fā)明的各種實(shí)施例，并且與描述內(nèi)容一起用于解釋本發(fā)明的原則:
[0018]圖1為可實(shí)現(xiàn)本發(fā)明實(shí)施例的示例性計(jì)算系統(tǒng)的圖；
[0019]圖2為本發(fā)明實(shí)施例提供的基于微軟WindowsOS進(jìn)行共享的示例性屏幕及相關(guān)聯(lián)的樹形結(jié)構(gòu)描述的圖；
[0020]圖3為本發(fā)明實(shí)施例提供的圖2中屏幕內(nèi)容的示例性描述的偽代碼；
[0021 ]圖4A為本發(fā)明實(shí)施例提供的打開新項(xiàng)目時(shí)屏幕內(nèi)容更新的示例性描述的偽代碼；
[0022]圖4B為本發(fā)明實(shí)施例提供的對(duì)象的特權(quán)設(shè)置變化時(shí)屏幕內(nèi)容更新的示例性描述的偽代碼；
[0023]圖4C為本發(fā)明實(shí)施例提供的調(diào)整對(duì)象大小時(shí)屏幕內(nèi)容更新的示例性描述的偽代碼；
[0024]圖4D為本發(fā)明實(shí)施例提供的用戶向下滾動(dòng)時(shí)屏幕內(nèi)容更新的示例性描述的偽代碼；
[0025]圖4E為本發(fā)明實(shí)施例提供的對(duì)象的內(nèi)容變化時(shí)屏幕內(nèi)容更新的示例性描述的偽代碼；
[0026]圖5為本發(fā)明實(shí)施例提供的屏幕內(nèi)容共享系統(tǒng)的示例性組件及各組件間通信的圖；
[0027]圖6為本發(fā)明實(shí)施例提供的屏幕內(nèi)容共享控制服務(wù)器的示例性結(jié)構(gòu)圖；
[0028]圖7為本發(fā)明實(shí)施例提供的胖客戶端的示例性結(jié)構(gòu)圖；
[0029]圖8A為本發(fā)明實(shí)施例提供的瘦客戶端的示例性結(jié)構(gòu)圖；
[0030]圖SB為本發(fā)明實(shí)施例提供的零客戶端的示例性結(jié)構(gòu)圖；
[0031]圖9A為本發(fā)明實(shí)施例提供的使用屏幕描述播放器顯示共享屏幕內(nèi)容的行為的示例性順序的流程圖；
[0032]圖9B為本發(fā)明實(shí)施例提供的使用屏幕描述播放器顯示屏幕內(nèi)容對(duì)象的行為的示例性順序的流程圖；
[0033]圖10為本發(fā)明實(shí)施例提供的建立在ICN的屏幕內(nèi)容共享框架的示例性結(jié)構(gòu)圖；
[0034]圖1lA為本發(fā)明實(shí)施例提供的發(fā)布來自胖客戶端的更新的行為的示例性順序的流程圖；
[0035]圖1lB為本發(fā)明實(shí)施例提供的發(fā)布來自瘦客戶端的更新的行為的示例性順序的流程圖；
[0036]圖12A為本發(fā)明實(shí)施例提供的發(fā)布來自零客戶端的更新的行為的示例性順序的流程圖；
[0037]圖12B為本發(fā)明實(shí)施例提供的發(fā)布來自胖客戶端的屏幕描述更新的行為的示例性順序的流程圖；
[0038]圖13為本發(fā)明實(shí)施例提供的在線講座中共享的屏幕內(nèi)容的示例性完整描述的偽代碼；
[0039]圖14A為本發(fā)明實(shí)施例提供的調(diào)整對(duì)象大小時(shí)屏幕內(nèi)容更新的示例性描述的偽代碼；
[0040]圖14B為本發(fā)明實(shí)施例提供的為運(yùn)行Ubuntu12的筆記本電腦而翻譯的示例性描述的偽代碼；
[0041]圖14C為本發(fā)明實(shí)施例提供的為運(yùn)行Android的平板電腦而翻譯的示例性描述的偽代碼；
[0042]圖15A為本發(fā)明實(shí)施例提供的處于在線合作的用戶Alice發(fā)布的屏幕內(nèi)容的完整描述的示例性描述的偽代碼；
[0043]圖15B為本發(fā)明實(shí)施例提供的處于在線合作的Bob發(fā)布的屏幕內(nèi)容對(duì)象更新的示例性描述的偽代碼；
[0044]圖16為本發(fā)明實(shí)施例提供的