專利名稱：計算機(jī)系統(tǒng)內(nèi)用于視障者的觸覺訪問和導(dǎo)航系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及為視障者提供觸覺計算機(jī)系統(tǒng)。更具體地，本發(fā)明涉及適于視障用戶使用的觸覺訪問和導(dǎo)航系統(tǒng)。定義在本申請中，術(shù)語“⑶I元素” (GE)用于指在使用計算機(jī)的過程中顯示的文本和圖形元素，包括但不限于窗口、子窗口、窗口元素、圖標(biāo)、指針、滾動控件、拆分控件、滾動條控件、拆分條控件、菜單、菜單元素、菜單命令、菜單選項、對話框元素、命令鈕、對話框控件、復(fù)選框、選項鈕、單選按鈕、按鈕(push button)、用于下拉菜單的按鈕、滑塊、數(shù)值集合、編輯控件、文本框、列表框、組合框、鏈接文本、列表框、微調(diào)框(spin box)、工具欄和標(biāo)尺、尺寸處理器(sizing handler)、文本框體、工具框、多媒體控件、消息框、狀態(tài)欄、進(jìn)程指示器、量表(gauge)、字幕等。術(shù)語“顯示數(shù)據(jù)”此處指的是將如通常顯示在視覺顯示單元(VDU)上⑶I元素以及與其相關(guān)聯(lián)的功能描述符、文本描述符或音頻描述符的方式提供給用戶的所有數(shù)據(jù)。此外， 顯示數(shù)據(jù)可以包括與一組像素或者像素區(qū)域的顏色和色度(shade)相關(guān)的信息陣列。另選地，顯示數(shù)據(jù)可以包括編碼信息，如美國信息交換標(biāo)準(zhǔn)代碼(ASCII)或者統(tǒng)一的字符編碼標(biāo)準(zhǔn)的(Unicode)字符碼。
背景技術(shù)：
計算機(jī)用戶需要在富數(shù)據(jù)的環(huán)境中進(jìn)行導(dǎo)航，以訪問相關(guān)信息?，F(xiàn)在參照圖1，其中示出了現(xiàn)有技術(shù)的個人計算機(jī)系統(tǒng)(PCS)，該個人計算機(jī)系統(tǒng)包括軟件系統(tǒng)11、至少一個輸出設(shè)備12和至少一個輸入設(shè)備14。軟件系統(tǒng)11包括被配置為從信息源10獲取數(shù)據(jù)的信息提取器111。所提取的數(shù)據(jù)由輸出生成器112處理并發(fā)送給在框12中示出的輸出設(shè)備。這些輸出設(shè)備通常經(jīng)由視覺顯示單元(VDU) 122向用戶13提供數(shù)據(jù)的視覺展示?？梢酝ㄟ^諸如揚聲器的音頻輸出設(shè)備121提供輔助輸出。輸入設(shè)備14是被配置為使用戶13能夠向軟件系統(tǒng)11提供反饋113 的設(shè)備，這些輸入設(shè)備可以是鍵盤、計算機(jī)鼠標(biāo)、觸控板和操縱桿等設(shè)備。有視力的用戶通常通過觀察由VDU 122提供的視覺信息并提供用于選擇適當(dāng)數(shù)據(jù)的反饋113而利用PCS系統(tǒng)來進(jìn)行導(dǎo)航。例如，可以在VDU上指示出光標(biāo)，可以通過用戶操縱鍵盤、鼠標(biāo)或者其它輸入設(shè)備14而調(diào)整該光標(biāo)的位置，然后該位置可以用于選擇顯示信息的所想要的部分。視障用戶無法利用PCS所提供的視覺指示，因此需要采用非視覺手段來方便訪問和導(dǎo)航。很顯然，僅僅依賴于視覺輸出設(shè)備122的上述現(xiàn)有技術(shù)的PCS(圖1)不適于視障
用戶使用。現(xiàn)在參照圖2，其中示出了表示進(jìn)一步增強(qiáng)的現(xiàn)有技術(shù)的PCS的主要部件的框圖， 該增強(qiáng)的現(xiàn)有技術(shù)的PCS與圖1中的PCS類似，但是還包括針對視障者的訪問和導(dǎo)航輔助直ο該增強(qiáng)的PCS包括未包含在圖1中示出并在以上結(jié)合圖1所描述的PCS中的多個元件，具體地，包括點字顯示器RBD (Refreshable Braille Display) 123，其主要功能是進(jìn)行盲文字符的觸覺顯示。RBD 123還可以包括用于上下移動文本線并且用于沿著該線控制位置的命令控件，并且由此也用作輸入設(shè)備。在圖2中示出的系統(tǒng)中，可以看到軟件系統(tǒng)11包括一些另外的元件，包括屏幕讀取器114和可訪問信息生成器(GAI) 115，這些元件用于使得視覺數(shù)據(jù)展示變?yōu)榭梢越?jīng)由揚聲器121和/或RBD 123呈現(xiàn)給盲人用戶的形式。屏幕讀取器114被配置為提取并分析在VDU 122上呈現(xiàn)的所有信息，包括圖形和文本信息、以及關(guān)于⑶I元素的信息。屏幕讀取器114還適于從包括與RBD 123相關(guān)聯(lián)的單元在內(nèi)的輸入單元接收用戶反饋116。GAI 115處理來自屏幕讀取器114的數(shù)據(jù)，并且利用VDU 122、揚聲器121和RBD 123將數(shù)據(jù)輸出給用戶。圖3A和;3B分別表示針對圖1和圖2中的現(xiàn)有技術(shù)中的PCS系統(tǒng)的數(shù)據(jù)反饋。具體地，參照圖1和圖3A，信息提取器111從信息源獲得的數(shù)據(jù)被傳送給輸出生成器112，由輸出生成器112將其提供給VDU 122以向用戶13進(jìn)行展示。用戶13利用諸如鍵盤或鼠標(biāo)的輸入設(shè)備14向信息提取器111提供反饋。響應(yīng)于用戶的反饋，信息提取器111可以從信息源獲得進(jìn)一步的信息。圖:3B示出了與圖2的PCS系統(tǒng)相關(guān)聯(lián)的對應(yīng)反饋循環(huán)，從而如圖所示需要另外的反饋循環(huán)。視覺顯示器122由屏幕讀取器114進(jìn)行分析，屏幕讀取器114除了向VDU 122 提供數(shù)據(jù)之外，還經(jīng)由輸出生成器112向RBD 123提供數(shù)據(jù)。用戶13可以一從RBD 123接收到信息，就經(jīng)由輸入設(shè)備14向信息提取器111或者向屏幕讀取器114提供反饋。該增強(qiáng)的PCS通過對視覺(名稱，字幕等)描述符和非視覺(功能、定位、從屬關(guān)系等)描述符都提供訪問而使得視障用戶能夠在⑶I元素(GE)之間進(jìn)行導(dǎo)航。這樣的導(dǎo)航實際上是基于上下文的，意思是用戶通過參照經(jīng)考慮的對象的上下文、而不參照其幾何和空間參數(shù)(位置、維度、重疊等)進(jìn)行導(dǎo)航。以下將這樣的導(dǎo)航稱為上下文導(dǎo)航(CN)。應(yīng)當(dāng)理解，上下文導(dǎo)航比有視力的人所采用的通常將上下文導(dǎo)航方法和空間導(dǎo)航方法組合的導(dǎo)航受到更多的限制。術(shù)語“空間導(dǎo)航”指的是利用空間指示(諸如目標(biāo)GUI元素的位置和可由用戶對準(zhǔn)以選擇該目標(biāo)GUI的鼠標(biāo)光標(biāo)的位置)的導(dǎo)航。有視力的用戶通常會通過基本上沿直線移動、同時沿著該方向校正與這條線的偏離，而將光標(biāo)與GUI元素對準(zhǔn)。觸覺文本輸出可以將特別針對閱讀大量文本的用戶的空間導(dǎo)航的元素與RBD組合。例如，用戶可以移動到下一個符號、搜索當(dāng)前單詞的開始、跳到前一行等。然而，現(xiàn)有技術(shù)中的系統(tǒng)并不適于需要圖形感知、導(dǎo)航動作(諸如跟隨線或者曲線、移動到窗口、屏幕或者對話框的左上角、拖放等)的空間導(dǎo)航技術(shù)。盡管有視力的人通過鼠標(biāo)的輔助可以非常有效地采用這些技術(shù)，但是這些技術(shù)對于盲人完全不可用。視障用戶通常利用諸如RBD的觸覺輸出設(shè)備接收上下文信息，并且利用諸如鍵盤的輸入來提供反饋。因為需要學(xué)習(xí)成百上千的單個鍵盤命令，并且因為視障用戶無法獲得視覺導(dǎo)引，即使熟練的用戶也需要利用很繁瑣和令人沮喪的試錯過程才學(xué)會成功地導(dǎo)航， 所以這很難使用并且效率低下。在涉及利用了 RBD的系統(tǒng)中這種情況更加嚴(yán)重，這是由于用戶的手需要在RBD和鍵盤之間往復(fù)移動，有時候在該處理中交叉。本領(lǐng)域還公知名為"Mouse-Like Input/Output Device with Display Screen andMethod for Its Use”的美國專利US 5，912，660，其內(nèi)容通過引用的方式合并于此。

發(fā)明內(nèi)容
本發(fā)明致力于向視障用戶提供能夠克服已知技術(shù)中的問題的觸覺計算機(jī)系統(tǒng)及其使用方法，并且使得視障者能夠訪問幾乎專供有視力的用戶訪問的程序和數(shù)據(jù)。因此，根據(jù)本發(fā)明的優(yōu)選實施方式提供了一種供視障用戶在計算機(jī)化的數(shù)據(jù)環(huán)境中進(jìn)行操作的觸覺訪問和導(dǎo)航系統(tǒng)，該觸覺訪問和導(dǎo)航系統(tǒng)包括雙向輸入-輸出系統(tǒng)，其具有一個或更多個觸覺顯示器以及一個或更多個用戶可操作的輸入控制器；與所述一個或更多個觸覺顯示器通信的數(shù)據(jù)轉(zhuǎn)換器，其可操作為從計算機(jī)提取顯示數(shù)據(jù)，并將所提取的顯示數(shù)據(jù)轉(zhuǎn)換為適于由所述一個或更多個觸覺顯示器顯示的形式；用于將所述顯示數(shù)據(jù)排列為GUI元素的預(yù)定結(jié)構(gòu)的裝置，所述結(jié)構(gòu)能夠由所述雙向輸入-輸出系統(tǒng)進(jìn)行導(dǎo)航；以及用于根據(jù)預(yù)定的操作模式向所述一個或更多個觸覺顯示器提供顯示數(shù)據(jù)的裝置， 所述操作模式包括一種或更多種觀看模式，其用于在所述一個或更多個觸覺顯示器上顯示圖形和文本數(shù)據(jù)內(nèi)容的觸覺表示；一種或更多種導(dǎo)航模式，其用于在所述一個或更多個觸覺顯示器上顯示所述結(jié)構(gòu)內(nèi)的所述GUI元素的取向的觸覺表示。另外，根據(jù)本發(fā)明的優(yōu)選實施方式，所述輸入-輸出系統(tǒng)位于具有一個或更多個觸覺顯示器以及一個或更多個輸入控制器的單個觸覺鼠標(biāo)內(nèi)。進(jìn)一步根據(jù)本發(fā)明的優(yōu)選實施方式，所述導(dǎo)航模式選自包含以下模式的組空間導(dǎo)航模式；上下文導(dǎo)航模式；和空間-上下文導(dǎo)航模式。根據(jù)本發(fā)明的進(jìn)一步實施方式，提供了一種采用具有一個或更多個觸覺顯示器和一個或更多個命令輸入控制器的觸覺鼠標(biāo)、以在從計算機(jī)提取的顯示數(shù)據(jù)中所表示的GUI 元素當(dāng)中進(jìn)行導(dǎo)航的方法，所述方法包括以下步驟(a).從計算機(jī)屏幕提取顯示數(shù)據(jù)；(b).從所提取出的顯示數(shù)據(jù)中識別這些GUI元素；(c).將這些⑶I元素組織為邏輯結(jié)構(gòu)；(d).根據(jù)與第一 GUI元素相關(guān)的觸覺顯示描述符以觸覺的形式進(jìn)行顯示；(e).感測來自所述觸覺鼠標(biāo)的輸入，所述輸入包括所述觸覺鼠標(biāo)的空間運動以及經(jīng)由所述一個或更多個輸入控制器的命令輸入；(f).響應(yīng)于來自所述觸覺鼠標(biāo)的所述輸入，從所述結(jié)構(gòu)中選擇第二 GUI元素；以及(g).向所述用戶指示所選擇的第二⑶I元素。
另外，根據(jù)本發(fā)明的實施方式，向所述用戶指示所選擇的第二 GUI元素的步驟(g) 包括在所述第一GUI元素與所述第二GUI元素之間構(gòu)造觸覺引導(dǎo)，表示要由所述觸覺鼠標(biāo)采用的從所述第一⑶I元素到所述第二⑶I元素的直接路線(direct route) 0進(jìn)一步根據(jù)本發(fā)明的實施方式，向所述用戶指示所選擇的第二 GUI元素的步驟 (g)包括根據(jù)與所述第二 GUI元素相關(guān)的所述觸覺顯示描述符以觸覺的形式進(jìn)行顯示。另外，根據(jù)本發(fā)明的實施方式，步驟(C)包括將所述GUI元素組織為分層結(jié)構(gòu)的步馬聚ο進(jìn)一步根據(jù)本發(fā)明的實施方式，至少所述GUI元素的選集被集合到一個或更多個組中，其中選擇第二GUI元素的步驟(f)包括構(gòu)造具有頂行、底行和二者之間的中間行的虛擬表，其中所述中間行包含多個⑶I元素，該多個⑶I元素包括所述第一選擇⑶I元素；所述頂行包含所述第一選擇⑶I元素的父元素；并且所述底行包含所述第一選擇GUI元素的所有子元素；并且，其中來自所述頂行、中間行和底行中的所述GUI元素中的每一個可被選擇為所述第二⑶I元素。另外，根據(jù)本發(fā)明的實施方式，所述⑶I元素組中的每一個包含所述第一選擇⑶I 元素的所有同輩元素。根據(jù)本發(fā)明另外的實施方式，所述GUI元素組中的每一個包含具有與所述第一選擇GUI元素相同的上下文、并且在與所述第一選擇GUI元素相同的分層級別上的GUI元素。另選地，至少所述⑶I元素的選集被集合到一個或更多個組中，其中選擇第二⑶I 元素的步驟(f)包括構(gòu)造具有頂行、底行和二者之間的中間行的虛擬表，其中，與所述中間行中的所述GUI元素的各自的分層級別無關(guān)地，所述中間行包含具有與所述分層結(jié)構(gòu)中的所述第一選擇GUI元素相同的上下文的GUI元素；其中所述頂行包含與所述中間行相同數(shù)量的GUI元素，并且這些GUI元素中的每一個是所述中間行中的對應(yīng)GUI元素的父元素，并且所述底行包含所述第一選擇GUI元素的所有子元素，并且其中來自所述頂行、中間行和底行的所述GUI元素中的每一個可被選擇為所述第二⑶I元素。


為了更好地理解本發(fā)明并且示出如何可以實現(xiàn)本發(fā)明，現(xiàn)在將僅通過示例的形式參照附圖進(jìn)行說明?，F(xiàn)在具體針對詳細(xì)的附圖，應(yīng)當(dāng)強(qiáng)調(diào)的是所示出的細(xì)節(jié)是通過示例的形式并且僅用于示例性地討論本發(fā)明的優(yōu)選實施方式，并且是為了提供被認(rèn)為是本發(fā)明的原理和概念方面最有用并且最容易理解的描述而呈現(xiàn)的。在這一點上，沒有打算以比基本理解本發(fā)明所需的結(jié)構(gòu)細(xì)節(jié)更詳細(xì)地示出本發(fā)明的結(jié)構(gòu)細(xì)節(jié)。結(jié)合附圖所進(jìn)行的描述將使本領(lǐng)域普通技術(shù)人員明了本發(fā)明的幾種形式可以在實踐中實施。在附圖中圖1是現(xiàn)有技術(shù)的個人計算機(jī)系統(tǒng)的框圖；圖2是與圖1的個人計算機(jī)系統(tǒng)類似、但是還包括針對視障者的訪問和導(dǎo)航輔助設(shè)備的現(xiàn)有技術(shù)的個人計算機(jī)系統(tǒng)的框圖；圖3A和圖:3B是示出了分別與圖1和圖2中的現(xiàn)有技術(shù)的系統(tǒng)相關(guān)聯(lián)的反饋循環(huán)的示意圖；圖4A是示出了根據(jù)本發(fā)明的一種實施方式的觸覺計算機(jī)系統(tǒng)(TCS)的主要元件的框圖；圖4B是表示與圖4A的TCS相關(guān)聯(lián)的反饋循環(huán)的示意圖；圖5A是根據(jù)本發(fā)明的一種示例性實施方式的采用TCS所使用的觸覺、集成雙向通信設(shè)備的示意表示；圖5B是示出了根據(jù)本發(fā)明的優(yōu)選實施方式的、圖5A的觸覺顯示器的驅(qū)動機(jī)構(gòu)的主要元件的框圖；圖6A至圖6D是屏幕的一部分的示意圖，該屏幕的一部分示出了例示各種導(dǎo)航模式的、在兩個GUI元素之間跟隨的可選路徑；圖7是根據(jù)本發(fā)明的另一種示例性實施方式的屏幕信息提取器的框圖表示；圖至8c2示出了與采用本發(fā)明的實施方式而使用的觸覺顯示器的不同配置相對應(yīng)的提取的屏幕區(qū)域的示例性布局；圖9是根據(jù)本發(fā)明的又一種實施方式構(gòu)造和操作的信息分析器及轉(zhuǎn)換器的框圖；圖10是典型的計算機(jī)屏幕示例的示意圖；圖11示出了圖10的計算機(jī)屏幕的數(shù)據(jù)元素的分層布置；圖12A是典型的計算機(jī)屏幕的第二個示例的示意圖；圖12B是對圖12A的屏幕內(nèi)容的分層布置的示意表示；圖13A是典型的計算機(jī)屏幕的第三個示例的示意圖；圖13B是對圖13A的屏幕內(nèi)容的分層布置的示意表示；圖14示出了數(shù)據(jù)元素的擴(kuò)展的分層布置的示例性部分；圖15A至圖15D示出了根據(jù)本發(fā)明的又一種實施方式針對圖14的分層結(jié)構(gòu)的數(shù)據(jù)元素構(gòu)造的虛擬表的選集；圖16A至圖16C展示出了根據(jù)本發(fā)明又一種實施方式的與在各個方向上移動觸覺鼠標(biāo)相關(guān)聯(lián)的可能效果集合；圖17示出了在一些數(shù)據(jù)元素被集合到一代(generational)的組中的情況下、如圖14中所示的數(shù)據(jù)元素的擴(kuò)展的分層布置的一部分；圖18A至圖18E示出了基于數(shù)據(jù)元素組針對圖17的分層結(jié)構(gòu)的數(shù)據(jù)元素構(gòu)造的虛擬表的選集；圖19再次示出了在兩個集合的數(shù)據(jù)元素被集合到跨代組中的情況下、如圖14和 17所示的數(shù)據(jù)元素的擴(kuò)展的分層布置的一部分；圖20表示用戶可以用于選擇導(dǎo)航集合的一組目錄；和圖21A和圖21B表示針對以圖19中指示的兩組中的每一組為中心的數(shù)據(jù)元素構(gòu)造的虛擬表。
具體實施例方式現(xiàn)在參照圖4A，其中示出了統(tǒng)稱為400的觸覺計算機(jī)系統(tǒng)(TCS)的框圖，TCS400是根據(jù)本發(fā)明的優(yōu)選實施方式構(gòu)造并操作的。本發(fā)明實施方式的TCS 400包括在圖1至;3B 中示出并且結(jié)合圖1至3B進(jìn)行了上面的描述的現(xiàn)有技術(shù)的多個元件，在此利用相同的附圖標(biāo)號進(jìn)行表示，并且除非必要，以下不再進(jìn)行具體地描述。TCS 400還包括雙向觸覺輸入/輸出設(shè)備15，在此統(tǒng)稱為“觸覺鼠標(biāo)” 15。例如， 可以t艮據(jù)名禾爾為"Mouse—Like Input/Output Device with Display Screen and Method for Its Use”的美國專利No. 5，912，660制造觸覺鼠標(biāo)15，該美國專利的內(nèi)容通過引用合并于此。本領(lǐng)域普通技術(shù)人員將會明了，觸覺鼠標(biāo)15雖然是單個設(shè)備，但實際上包含了一起形成雙向觸覺輸入/輸出系統(tǒng)的輸入裝置和輸出裝置，輸入/輸出系統(tǒng)的功能可以通過分離的輸入和輸出設(shè)備來實現(xiàn)。TCS 400還包括軟件元件，其中有模式切換器117、屏幕信息提取器(ESI) 118、信息分析器及轉(zhuǎn)換器119和GAI 115。在本發(fā)明的優(yōu)選實施方式中，多個ESI和多個GAI可以被配置為相組合地操作。所有附加的軟件元件(即，先前在圖2中沒有示出的那些元件) 都由用戶經(jīng)由另一個反饋模塊116進(jìn)行控制。模式切換器117用于在該系統(tǒng)的操作模式(S卩，空間導(dǎo)航的圖形模式、利用空間導(dǎo)航的文本模式、上下文導(dǎo)航模式、以及組合的空間和上下文導(dǎo)航模式)之間進(jìn)行選擇?？蛇x地，可以通過觸覺鼠標(biāo)上的切換器來控制模式切換器117。另選地，根據(jù)本發(fā)明的實施方式， 模式切換器117既可以自動地(在圖形模式和文本模式之間)進(jìn)行模式切換，也可以由用戶經(jīng)由反饋塊116進(jìn)行模式切換。ESI 118是現(xiàn)有技術(shù)的屏幕讀取器114(圖2)的擴(kuò)展版。依賴于所選擇的操作模式，ESI 118提取通常用于在視覺顯示單元(VDU) 122上構(gòu)造視覺顯示的顯示數(shù)據(jù)。這樣的數(shù)據(jù)為多種類型的視覺數(shù)據(jù)，除了包括用于GUI元素的描述符之外，還包括圖形和文本等。信息分析器及轉(zhuǎn)換器119分析ESI 118所提取的信息的特征，并且針對可選擇的每種操作模式將該信息轉(zhuǎn)變?yōu)橛脩羲枰男问健AI 115對現(xiàn)有技術(shù)的生成器112(圖2)所提供的輸出類型進(jìn)行補(bǔ)充，并且尤其適于經(jīng)由觸覺鼠標(biāo)15提供觸覺輸出。根據(jù)本發(fā)明的優(yōu)選實施方式，觸覺鼠標(biāo)15既用作觸覺輸出設(shè)備，又用作供用戶向以下的系統(tǒng)部分輸入反饋的觸覺輸入設(shè)備ESI 118(圖4A)、信息分析器及轉(zhuǎn)換器119(圖 4A)、輸出信息生成器112(圖4A)和GAI 115(圖4A)?，F(xiàn)在還參照圖4B，其中示出了與TCS 400相關(guān)聯(lián)的數(shù)據(jù)反饋循環(huán)。通過將圖4B中示出的數(shù)據(jù)反饋循環(huán)與圖3B中示出的反饋循環(huán)(與圖2B中示出的現(xiàn)有技術(shù)的PCS系統(tǒng)相關(guān)聯(lián))進(jìn)行比較，將會注意到從該觸覺鼠標(biāo)自身向用戶提供了額外的反饋。以下對TCS 400的關(guān)鍵部件的實施方式進(jìn)行簡要的描述。雙向觸覺輸入/輸出系統(tǒng)現(xiàn)在參照圖5A，觸覺鼠標(biāo)15是除了提供經(jīng)由可用作命令輸入機(jī)構(gòu)的按鈕153的輸入控制器以及諸如滾動球、光學(xué)感測器等用于感測觸覺鼠標(biāo)相對于其先前位置的位置的機(jī)構(gòu)巧4之外，還經(jīng)由觸覺顯示器152向用戶提供觸覺輸出的雙向通信設(shè)備，該按鈕153可以被按壓、釋放、點擊或雙擊，或者另外地用于向計算機(jī)提供反饋。將會理解，雖然在單個設(shè)備中既包含數(shù)據(jù)輸出、又包含數(shù)據(jù)輸入的觸覺鼠標(biāo)15的使用是最方便的，但是也可以分離地提供觸覺鼠標(biāo)15的功能，例如，通過在分離的設(shè)備分別上提供觸覺顯示器152和輸入按鈕/切換器153，其累加地組合以提供根據(jù)本發(fā)明所需的必要輸入/輸出功能。位置感測器IM被設(shè)置為測量至少兩個空間坐標(biāo)的變化。典型地經(jīng)由連接線纜 155將觸覺鼠標(biāo)15的位置發(fā)送給計算機(jī)，使得觸覺鼠標(biāo)15在工作面上的移位與觸覺鼠標(biāo) 15的光標(biāo)在計算機(jī)的視覺顯示器上的移位相對應(yīng)。這些特征使得觸覺鼠標(biāo)15能夠以與傳統(tǒng)計算機(jī)的普通鼠標(biāo)相同的方式向計算機(jī)發(fā)送輸入數(shù)據(jù)。如上所述，除了輸入機(jī)構(gòu)，觸覺鼠標(biāo)15還具有用于從計算機(jī)向用戶輸出數(shù)據(jù)的一個或更多個觸覺輸出顯示器152。如以下結(jié)合圖8a至圖8c2進(jìn)行的更具體的描述，每個觸覺顯示器典型地是具有可以響應(yīng)于來自計算機(jī)的輸出信號而上升或者凸出的多個針156 的平坦表面(盡管該表面可以是曲面)。在特定實施方式中，觸覺鼠標(biāo)15具有帶有壓電致動器的機(jī)械針矩形陣列。這些針可以以例如相鄰針之間距離1.5mm的密度排列。本領(lǐng)域從業(yè)者將會想到其它的針布局或者其他類型的凸出的顯示器。利用圖5B的框圖表示觸覺鼠標(biāo)15的觸覺顯示器152的驅(qū)動機(jī)構(gòu)的一種實施方式。該驅(qū)動機(jī)構(gòu)的主要元件為針陣列156、針驅(qū)動器157、信號分配器158、通信器159、坐標(biāo)轉(zhuǎn)換器161、位置感測機(jī)構(gòu)162以及向觸覺鼠標(biāo)的包括觸覺顯示器152在內(nèi)的所有電子機(jī)構(gòu)供電的本地電源163。隨著觸覺鼠標(biāo)15在表面上移動，感測機(jī)構(gòu)巧4操作為跟蹤其移動。坐標(biāo)轉(zhuǎn)換器 161將鼠標(biāo)15的移動轉(zhuǎn)換為一組坐標(biāo)，坐標(biāo)轉(zhuǎn)換器161經(jīng)由通信器159將鼠標(biāo)的當(dāng)前坐標(biāo)傳送給計算機(jī)。通信器159進(jìn)一步操作為從計算機(jī)接收與從觸覺鼠標(biāo)光標(biāo)周圍區(qū)域提取出的顯示數(shù)據(jù)相關(guān)的輸入信號。來自計算機(jī)的該輸入信號被傳送給信號分配器158，信號分配器158向針驅(qū)動器157發(fā)送驅(qū)動信號。每個針驅(qū)動器157典型地通過向諸如壓電晶體或板等被配置為使針1561上升或下降的致動器1562施加激勵信號，而驅(qū)動單個針156。觸覺鼠標(biāo)15可以經(jīng)由諸如串行/并行/USB連接器、藍(lán)牙或無線通信等標(biāo)準(zhǔn)通信通道與計算機(jī)連接。觸覺鼠標(biāo)15與計算機(jī)系統(tǒng)之間的操作接口具有用于從觸覺鼠標(biāo)15向計算機(jī)運送數(shù)據(jù)的輸入通道和用戶從計算機(jī)觸覺鼠標(biāo)15運送數(shù)據(jù)的輸出通道。關(guān)于輸入通道，當(dāng)觸覺鼠標(biāo)15的位置感測器巧4沿著平坦工作表面移動時，該傳感器測量沿著至少兩個坐標(biāo)軸的相對位移。這些坐標(biāo)由內(nèi)置軟件轉(zhuǎn)換為根據(jù)交換協(xié)議組織的信號，并且被發(fā)送給計算機(jī)。在接收到這些信號后，操作系統(tǒng)對它們進(jìn)行解碼并且將它們轉(zhuǎn)換為計算機(jī)屏幕上的觸覺鼠標(biāo)光標(biāo)的坐標(biāo)。這樣，觸覺鼠標(biāo)光標(biāo)在屏幕上的運動與觸覺鼠標(biāo)15在其工作表面上的運動相對應(yīng)。該交換協(xié)議還包括來自觸覺鼠標(biāo)15的表示與每個輸入按鈕相關(guān)聯(lián)的動作的編碼信號，如按壓信號、釋放信號、雙擊信號等。關(guān)于輸出通道，從計算機(jī)發(fā)送給觸覺鼠標(biāo)15的輸出信號取決于觸覺鼠標(biāo)光標(biāo)的坐標(biāo)、在屏幕上這些坐標(biāo)的預(yù)定范圍內(nèi)顯示的視覺內(nèi)容以及正在使用的操作模式(參見下面的內(nèi)容)。因此，觸覺鼠標(biāo)15的觸覺顯示器可以輸出文本符號、圖形元素、圖片、動畫片等。與常規(guī)的系統(tǒng)光標(biāo)類似地，觸覺鼠標(biāo)光標(biāo)確定其自身的熱點。再參照圖4A，由于觸覺鼠標(biāo)15使存儲在計算機(jī)中的信息更容易由視障用戶訪問， 觸覺鼠標(biāo)15特別適用于視障用戶。存在很多個可訪問性提高的理由，很明顯地■觸覺鼠標(biāo)15可以有效地用于在VDU 122上呈現(xiàn)的大量信息中進(jìn)行導(dǎo)航?！鲇|覺鼠標(biāo)15的可移動特性使得能夠通過觸覺鼠標(biāo)顯示器152向用戶顯示大量
10的上下文、圖形和文本信息?！雒の暮推渌址酝钩龅男问斤@示，為文本的展現(xiàn)提供了另外的觸覺通道?！鑫谋緦ο笠部梢员硎緸橐酝钩龅男问竭M(jìn)行顯示；例如，黑色像素可以被顯示為升起的針并且白色像素可以顯示為下降的針。類似地，灰色像素可以被顯示為升起至中間高度的針或者基于特定閾值而轉(zhuǎn)換為黑色或白色?？梢詫λ衅渌伾南袼剡M(jìn)行類似的操作?！鲆耘c有視力的用戶的鼠標(biāo)相同的方式來使用觸覺鼠標(biāo)15會成為視障用戶訪問計算機(jī)信息的有力心理動力。由此將會理解，TCS 400的一個顯著優(yōu)點在于以觸覺形式向視障用戶提供了對圖形信息的訪問。與僅提供了用于觸覺讀取的單一方法的現(xiàn)有技術(shù)RBD 123(圖幻不同的是， 用戶可以從各種文本讀取模式以及它們的變型之間進(jìn)行選擇。此外，可移動觸覺鼠標(biāo)15以與有視力的用戶所使用的方式相同的方式，使用于圖形、文本和GUI元素環(huán)境的空間和上下文導(dǎo)航模式變得容易。模式切換改進(jìn)的TCS 400(圖4A)的特殊特征在于利用集成的觸覺鼠標(biāo)15，用戶13能夠在多種操作模式之間進(jìn)行選擇。模式切換器117用于選擇觀看模式或者導(dǎo)航模式。諸如圖形模式或者文本模式的觀看模式使來自VDU 122的視覺信息變?yōu)橛|覺或音頻形式。諸如空間模式或者上下文模式的導(dǎo)航模式向用戶提供觸覺指示并且進(jìn)行引導(dǎo)以幫助在GUI元素和鏈接等之間進(jìn)行導(dǎo)航。根據(jù)本發(fā)明的一種實施方式，當(dāng)處于圖形模式時，ESI 118從位于觸覺鼠標(biāo)15的光標(biāo)附近的預(yù)定區(qū)域提取顯示數(shù)據(jù)，如位形的色彩分量數(shù)據(jù)。該數(shù)據(jù)被發(fā)送給信息分析器及轉(zhuǎn)換器119，在此圖形轉(zhuǎn)換器1191(圖9，下面進(jìn)一步描述)將該顯示數(shù)據(jù)轉(zhuǎn)變?yōu)橐l(fā)送給如上所述的觸覺鼠標(biāo)15的至少一個觸覺顯示器152(如上所述)的二進(jìn)制的或者簡化的色彩數(shù)據(jù)，如位圖文件。在另一種實施方式中，文本模式可以用于使文本數(shù)據(jù)變?yōu)榻?jīng)由觸覺顯示器152進(jìn)行表示的觸覺形式。在文本模式下，ESI 118從觸覺鼠標(biāo)光標(biāo)周圍的預(yù)定區(qū)域提取文本作為ASCII或者Unicode符號序列。該數(shù)據(jù)被發(fā)送給信息分析器及轉(zhuǎn)換器119，在此該數(shù)據(jù)被轉(zhuǎn)變?yōu)橛脩?3所需要的觸覺形式，除了別的以外，該觸覺形式還可以為盲文、印刷符號等形式。這些文本表示隨后被發(fā)送給觸覺鼠標(biāo)15進(jìn)行觸覺顯示。在本發(fā)明優(yōu)選的實施方式中，具有圖形模式和文本模式的TCS 400例如經(jīng)由可以是觸覺鼠標(biāo)15的光標(biāo)的平滑或直接運動的運動、或者通過在桌面或者窗口內(nèi)或者在不同的GUI元素之間的“跳躍”的光標(biāo)運動，進(jìn)一步提供了空間導(dǎo)航能力。例如，觸覺鼠標(biāo)15可以被配置為將光標(biāo)向下移動單個像素、跳躍到窗口的右上角、跟隨路線或者曲線以瀏覽區(qū)域等。現(xiàn)在參照圖6A至圖6D，其中示出了包含其中具有兩個⑶I元素WO1和WO2的窗口的屏幕一部分。圖6B至圖6D示出了三種導(dǎo)航模式，即，空間導(dǎo)航、上下文導(dǎo)航、和組合的空間及上下文(組合的)導(dǎo)航，分別示出了用戶利用上述模式中的每一種沿著各種路徑從WO1 到WO2橫越屏幕?？臻g導(dǎo)航模式(SNM)是用戶典型采用的試圖利用觸覺鼠標(biāo)15找到(經(jīng)由觸覺或者音頻顯示)屏幕上的⑶I元素的系統(tǒng)操作模式。為了更好地理解S匪的特征，圖6B示出了可以由視障用戶采用的在空間模式下利用觸覺鼠標(biāo)15從WO1開始瀏覽屏幕以找到WO2的路徑?？梢钥闯?，該路徑?jīng)]有特別預(yù)定的方向，并且僅僅是對不熟練的用戶試圖找到WO2時的大致近似，可以看出最后成功了。這種模式本身在很多情況下對于視障用戶來說不是特別高效或者方便的模式。與S匪相比，上下文導(dǎo)航模式(CNM)是一種不同的系統(tǒng)操作模式，其中用戶基于對目標(biāo)對象的上下文描述符移動觸覺鼠標(biāo)15，以找到屏幕上的特定GUI元素。在CNM中，觸覺鼠標(biāo)光標(biāo)的移動并不是與觸覺鼠標(biāo)15的移動直接成比例或者空間相關(guān)。而是，計算機(jī)通過使觸覺鼠標(biāo)光標(biāo)響應(yīng)于用戶輸入的預(yù)定控制或者命令跳到預(yù)定的位置，而對觸覺鼠標(biāo)15 的鍵移動進(jìn)行響應(yīng)。在圖6C中示出了一種典型的策略，其中虛線示出了觸覺鼠標(biāo)光標(biāo)從 WO1到WO2的預(yù)定跳躍，該預(yù)定跳躍在該模式下，例如可以由用戶使觸覺鼠標(biāo)15進(jìn)行預(yù)定的水平移位來發(fā)起。另一種導(dǎo)航模式空間-上下文導(dǎo)航模式(SCNM)，如同它的名字所暗示的，結(jié)合了空間和上下文導(dǎo)航的特征。在SCNM中，在計算機(jī)存儲器中構(gòu)造了能夠被顯示在觸覺顯示器上的另外的特征，即虛擬引導(dǎo)軌跡，使得用戶可以從WO1行進(jìn)至W02。用戶可以選擇通過沿著該軌跡移動觸覺鼠標(biāo)15而跟隨該引導(dǎo)，不過也可以允許用戶從軌跡偏離以定位該屏幕上的其它特征。這樣的方法對于向視障用戶提供計算機(jī)屏幕的幾何/空間組織、并且模擬有視力的用戶利用計算機(jī)鼠標(biāo)進(jìn)行導(dǎo)航的體驗是非常有用的。應(yīng)當(dāng)注意，本發(fā)明的TCS 400的基本默認(rèn)模式是CNM。在這些模式之間的切換可以是手動地，也可以是自動地。例如，用戶多半可以通過按壓鍵盤按鍵、鼠標(biāo)按鈕或者兩者的某些組合提供命令，來啟動模式切換器117以選擇所需的模式。另選地，模式可以被觸發(fā)以自動地改變，例如，當(dāng)觸覺鼠標(biāo)光標(biāo)在圖片上時，就自動地選擇圖形模式，并且當(dāng)觸覺鼠標(biāo)光標(biāo)在包含有文本的區(qū)域移動時，就自動地選擇文本模式。可選地，模式切換可以伴隨著諸如音頻信號的非視覺指示。另選地，自動模式切換可以是無縫的，也就是說，沒有表示已經(jīng)發(fā)生了該切換的任何非視覺指示。屏幕信息提取器現(xiàn)在參照圖7，示出了 ESI 118從VDU 122提取視覺信息的示意性表示(圖7)。如三個觸覺顯示器15加、152b和152c (示出了從相同的VDU產(chǎn)生的不同的觸覺輸出，在圖形模式下為曲線15 的一部分，在文本模式下為圖形A和9，并且在上下文導(dǎo)航模式下為指向左和下的兩個箭頭152c)所表示地，可以多種方式使視覺信息變?yōu)橛|覺形式。ESI 118包括圖形提取器1181、文本提取器1182和上下文提取器1183。取決于所選擇的操作模式，模式切換器117選擇激活哪個提取器。當(dāng)模式切換器117選擇了圖形模式時，圖形提取器1181被激活。典型地，圖形提取器1181提取與圍繞“熱點”位置(也就是，觸覺鼠標(biāo)光標(biāo)的位置)的像素相關(guān)聯(lián)的顯示數(shù)據(jù)。顯示數(shù)據(jù)進(jìn)一步被傳送給信息分析器及轉(zhuǎn)換器119(圖4A，圖9)進(jìn)行處理。該顯示數(shù)據(jù)包括與由該熱點位置所確定的目標(biāo)區(qū)域內(nèi)的各像素的顏色和色度相關(guān)的信息陣列。在一些實施方式中，從該目標(biāo)區(qū)域內(nèi)采集的顯示數(shù)據(jù)被表示為具有預(yù)定的像素與針的比率的單個觸覺顯示器上的針的布局。在具有幾個觸覺顯示器的其它實施方式中，該目標(biāo)區(qū)域可以是在不同的觸覺顯示器上各自具有對應(yīng)的布局的多個區(qū)域的合并。
在圖8a、8b和8c中示出了幾種典型的布局?，F(xiàn)在參照圖8a，其中示出了具有矩形布局(例如具有排列為6行*9列的陣列的M個針)的單個觸覺顯示器。在圖8al和8a2 中分別示出了計算機(jī)屏幕的對應(yīng)區(qū)域。在圖8al中，可以看到所顯示的屏幕區(qū)域是6*9像素的陣列，其在觸覺顯示器上以一比一的分辨率表示，以使得單個針表示單個像素。在圖8a2 中，然而，可以看到所顯示的屏幕區(qū)域是12行*18列的矩形陣列，當(dāng)由圖8al中看所到的 6*9陣列表示時，其對應(yīng)與4比1的縮小分辨率。在諸如這樣的情況下，要由單個針表示的 2*2像素的各組的整合和顏色被如上所述地進(jìn)行表示。通過使用任何公知的求平均、中間值、或者用于該目的的形態(tài)學(xué)算法(這些超出了本發(fā)明的范圍，因此在此不再具體描述)， 來實現(xiàn)這些像素的整合的顏色。圖8b示出了針的兩個陣列顯示，每個陣列具有示例性的4行*4列布局。使用兩個這樣的陣列對于可通過觸覺鼠標(biāo)15向用戶顯示的屏幕部分來說，提供了多種可能性。這樣的可能性包括屏幕的如圖8bl所示的水平分隔開的兩個方形部分；或者如圖油2所示的垂直地分隔開；或者如圖8b3所示的對角地分隔開。在所有這些示例中，分辨率都是100%， 也就是說，屏幕顯示器(圖8bl至圖8b!3)上的每個像素是由單個針表示在觸覺顯示器上。 然而，在圖8b4的示例中，每個屏幕顯示區(qū)域是8*8的像素，并且可以看到，圖8b的觸覺顯示器是以4 1的分辨率縮小的?，F(xiàn)在參照圖8c，其中示出了各自具有M針并且被配置為與典型的用戶指尖相符合的三個觸覺顯示器。圖8cl和圖8c2中的每一個示出了將以一比一的分辨率在這些觸覺顯示器上顯示的三個屏幕區(qū)域的合并；在第一種示例中，在圖8cl中可以看到，這三個區(qū)域并排在屏幕顯示器上，而在圖8c2的示例中，它們相互錯開。僅用作示例的目的而提供上述布局。應(yīng)當(dāng)理解，具有屏幕區(qū)域之間多種不同的對應(yīng)關(guān)系的所有其它顯示布局也屬于本申請的范圍。再參照圖7，圖形提取器1181根據(jù)用戶的請求轉(zhuǎn)換數(shù)據(jù)、并且優(yōu)先轉(zhuǎn)換為適于輸出的形式，以發(fā)送給GAI 115(圖4A)。這些轉(zhuǎn)換為所有如上所述的根據(jù)像素與針的比率進(jìn)行的圖像壓縮、灰度級和像素顏色等等。在圖像處理中使用的所有其他轉(zhuǎn)換類型也屬于本發(fā)明的范圍。當(dāng)模式切換器117用于選擇了文本模式時，文本提取器1182被激活。典型地，文本提取器1182提取諸如字符串、單詞、句子等的文本信息。文本提取器的輸出通常是ASCII 或者Unicode字符碼，該ASCII或者Unicode字符碼被傳送給信息分析器及轉(zhuǎn)換器119 (圖 4A，圖9)以進(jìn)行處理。還應(yīng)當(dāng)注意，圖形提取器1181和文本提取器1182的輸出可以傳送給數(shù)據(jù)分析器 1184，數(shù)據(jù)分析器1184被配置為確定該視覺信息的特性并且可選地向模式切換器117發(fā)送自動命令以在模式之間進(jìn)行切換。另選地，可以由用戶手動地控制模式切換。當(dāng)模式切換器117選擇諸如CNM或者SCNM的導(dǎo)航模式時，上下文提取器1183被激活。上下文提取器1183提取與當(dāng)前顯示的⑶I元素(例如，標(biāo)題、頁眉(header)、字幕、 位置、維度等)相關(guān)的描述符。該數(shù)據(jù)被輸出給信息分析器及轉(zhuǎn)換器119(圖4A，圖9)以進(jìn)行進(jìn)一步處理。信息分析器及轉(zhuǎn)換器119信息分析器及轉(zhuǎn)換器119被配置為分析由ESI 118所提取的信息的特征，并且根據(jù)所選擇的操作模式將該信息轉(zhuǎn)換為用戶所需要的形式。現(xiàn)在參照圖9，其中示出了根據(jù)本發(fā)明的另選實施方式的信息分析器及轉(zhuǎn)換器 119的示意表示。信息分析器及轉(zhuǎn)換器119從ESI接收所提取的數(shù)據(jù)并且利用轉(zhuǎn)換器分析該提取的數(shù)據(jù)，該轉(zhuǎn)換器被配置為使用戶需要的信息變?yōu)檫m于非視覺輸出的形式，典型地為觸覺形式，并且還可選地為音頻形式。而且，可以由分層構(gòu)造器1194組織上下文數(shù)據(jù)以利用上下文導(dǎo)航器1195或者空間-上下文導(dǎo)航器1193進(jìn)行導(dǎo)航。圖形轉(zhuǎn)換器1191處理來自圖形提取器1181的圖形數(shù)據(jù)，圖形轉(zhuǎn)換器1191輸出表示形狀、曲線和其它轉(zhuǎn)換后的視覺指示的數(shù)據(jù)。該數(shù)據(jù)隨后被傳送給可訪問信息生成器 115(圖4A)以輸出給觸覺鼠標(biāo)15的觸覺顯示器152(圖5a)。文本轉(zhuǎn)換器1192接收來自文本提取器1182的文本數(shù)據(jù)，文本轉(zhuǎn)換器1192被配置為接收諸如ASCII或者Unicode的字符碼，并根據(jù)用戶喜好和其它因素(如需要的語言、改變后的印刷字體、布萊葉碼等)使該字符碼變?yōu)橛|覺上的和/或聽覺上的。來自文本轉(zhuǎn)換器1192的文本數(shù)據(jù)被傳送給可訪問信息生成器115(圖4A)以輸出給觸覺鼠標(biāo)15的觸覺顯示器152。從上下文提取器118提出的諸如GE描述符的上下文信息被傳送給分層構(gòu)造器 1194，以組織為分層樹結(jié)構(gòu)(參見以下描述)。分層樹可以用于上下文導(dǎo)航或者與圖形轉(zhuǎn)換器1191相結(jié)合用于空間-上下文導(dǎo)航。分層構(gòu)造器1194被配置為接收GE參數(shù)并且構(gòu)造屏幕在根部的分層。由于復(fù)雜的顯示可能會涉及分層樹的成千上萬的分支，所以分層構(gòu)造器1194優(yōu)選地具有現(xiàn)有技術(shù)中公知的預(yù)先配置的篩選規(guī)則。上下文導(dǎo)航模式為了更好地理解上下文導(dǎo)航模式(CNM)，參照圖10進(jìn)行描述，圖10示意性地示出了具有以下GUI元素的典型計算機(jī)屏幕或者VDU 122 上面有五個圖標(biāo)ICl_5的桌面1220 ；包含開始按鈕12M的程序欄1222 ；具有三個鏈接Li、L2和L3的快速啟動欄12 ；在其上顯示有分別表示為任務(wù)1、任務(wù)2、任務(wù)3和任務(wù)4的四個任務(wù)的任務(wù)欄 ■；以及具有兩個圖標(biāo)Il和12以及時鐘1232的系統(tǒng)托盤1230。圖11示出了以屏幕作為根的情況下如何將這些元素組織為分層結(jié)構(gòu)。圖12A示出了同樣的屏幕，其中打開了包含有由窗口對象WO1和WO2表示的兩個另外的GUI元素的應(yīng)用窗口盤。圖12B示出了相應(yīng)的分層結(jié)構(gòu)，該分層結(jié)構(gòu)除了包含有圖11 的所有元素，還包含其元素與窗口盤相關(guān)聯(lián)的新分支。圖13A示出了同樣的屏幕，窗口盤被最大化而充滿桌面的區(qū)域，與桌面缺少視覺表示相對應(yīng)，在圖13B中示出的相關(guān)聯(lián)的分層中不再包括桌面。在上下文導(dǎo)航模式(CNM)下，觸摸鼠標(biāo)15用于根據(jù)對應(yīng)的分層結(jié)構(gòu)在屏幕上將其光標(biāo)從一個GUI元素移動到另一個。觸覺鼠標(biāo)光標(biāo)最開始以一個GUI元素為中心，并且被配置為通過跳躍到其他GUI元素而對觸覺鼠標(biāo)15的預(yù)定移動進(jìn)行響應(yīng)。例如，如在以下附圖15中將示出的，預(yù)定的水平移動使觸覺鼠標(biāo)光標(biāo)跳躍到下一個同輩元素，而預(yù)定的垂直移位在該移位向上時使觸覺鼠標(biāo)光標(biāo)跳躍到父元素和在該移位向下時使觸覺鼠標(biāo)光標(biāo)跳躍到子元素。在每一個導(dǎo)航跳躍處，用戶接收到關(guān)于當(dāng)前的GUI元素的非視覺形式的描述信息。該非視覺輸出典型地包括觸覺鼠標(biāo)15的觸覺輸出并且可以另選地或者附加地包括音頻信號，例如聲音描述符。用戶可以基于這樣的非視覺反饋做出導(dǎo)航?jīng)Q定，例如，是否再次移動該觸覺鼠標(biāo)15、是否點擊特定的觸覺鼠標(biāo)按鈕153、輸入鍵擊(keystroke)等。將會看出，與觸覺鼠標(biāo)15相結(jié)合地使用上下文導(dǎo)航模式使得視障用戶能夠以與有視力的用戶相同的方式在屏幕上進(jìn)行高效的導(dǎo)航。為了更好地理解與上下文導(dǎo)航模式一起使用的一種建議算法，現(xiàn)在參照示出了更復(fù)雜的示例性分層的一部分的圖14。這樣的分層可以由分層構(gòu)造器1194(圖9)構(gòu)造，并且這樣的分層可以包括上級節(jié)點Nx，上級節(jié)點Nx具有第二代子節(jié)點Nxx，第二代子節(jié)點Nxx 自身具有第三代子節(jié)點Nxxx，并且依次類推向外分支。上下文導(dǎo)航器1195(圖9)被配置為構(gòu)造描述當(dāng)前選擇的節(jié)點的周圍節(jié)點的虛擬表。圖15A示出了定位于圖14中的“重要(leading)”節(jié)點Nffi2的虛擬表；這意味著觸覺鼠標(biāo)光標(biāo)位于由Nffi2表示的重要⑶I元素(GE)上。該虛擬表包括三行頂行是父節(jié)點并且總是只包含一個元素；中間行包括當(dāng)前選擇的節(jié)點及其同輩節(jié)點，并且底行包括當(dāng)前選擇的節(jié)點的子節(jié)點。導(dǎo)航動作使用戶能夠構(gòu)造以不同的節(jié)點為中心的新虛擬表。例如，觸覺鼠標(biāo)15的值為Sy的垂直向上移位會將觸覺鼠標(biāo)光標(biāo)推到編號為^52的GE的中心，并且重新構(gòu)造現(xiàn)在以父節(jié)點^52為中心的虛擬表，如圖15B所示。觸覺鼠標(biāo)在向下的方向上的值為Sy的相反的垂直移位和向右的三個水平移位會構(gòu)造以默認(rèn)子節(jié)點N6224為中心的虛擬表，如圖15C所示，并且將觸覺鼠標(biāo)光標(biāo)移動到標(biāo)為N6224的GE的中心。類似地，觸覺鼠標(biāo)15的水平移位會構(gòu)造分別如圖15D和15E所示的將觸覺鼠標(biāo)光標(biāo)移動到對應(yīng)的GE的、以相鄰的同輩節(jié)點 ^521或Nffi3為中心的虛擬表。應(yīng)當(dāng)注意，可選地，當(dāng)觸覺鼠標(biāo)光標(biāo)指向一組同輩節(jié)點的最后一個同輩節(jié)點時，水平移位可以有效地構(gòu)造以第一個同輩節(jié)點為中心的虛擬表。另選地，例如如果表的中心移位到了子節(jié)點，則不執(zhí)行動作。當(dāng)一個節(jié)點沒有子節(jié)點(葉節(jié)點)，則向下的移位典型地對表沒有影響。有效地，可以提供相應(yīng)的指示以通知用戶該節(jié)點沒有子節(jié)點，例如，在觸覺顯示器上的專門的動畫、音頻信號或語音通知等。在優(yōu)選的實施方式中，觸覺鼠標(biāo)光標(biāo)移位的像素數(shù)量用于指示使下一個虛擬表以哪個節(jié)點為中心。如此，例如，通過將觸覺鼠標(biāo)光標(biāo)水平地移位例如= 20個像素，相鄰的同輩節(jié)點會變?yōu)橄乱粋€虛擬表的中心，而移位為= 40個像素時，將跳躍到下一個同輩節(jié)點。另選地，通過將觸覺鼠標(biāo)光標(biāo)垂直向上地移位Sy = 20個像素，會將父節(jié)點選擇為下一個虛擬表的中心，而移位為Sy = 40個像素時，將跳躍到祖父節(jié)點。軟件設(shè)計者將會想到其他的命令。如上所述，為了成功地使用CNM，觸覺鼠標(biāo)光標(biāo)必須只能水平地和垂直地移位。然而，計算機(jī)鼠標(biāo)幾乎從不沿著完全水平或垂直的方向移動。典型地，在任意給定的時刻鼠標(biāo)都沿著曲線移位，也就是說，同時在水平和垂直方向上移位。因此，需要定義有效地將近似水平或者垂直的鼠標(biāo)運動分別解釋為光標(biāo)的嚴(yán)格水平或垂直運動的變換。
圖16A中展示出了與移位方向相關(guān)聯(lián)的可能的變換。在此，傾斜角在垂直45度以內(nèi)的運動被看作是垂直的，類似地，傾斜角在水平45度以內(nèi)的運動被看作是水平的。這樣， 用戶利用鼠標(biāo)跟蹤如圖16A中所示的曲線路徑，會使光標(biāo)沿著圖16C所示的有直角的路徑移動。應(yīng)當(dāng)理解，當(dāng)系統(tǒng)運行在文本模式、圖形模式或者空間-上下文導(dǎo)航模式時，這樣的運動限制并不是必須的(但是會很有用)。
隨著觸覺鼠標(biāo)光標(biāo)的每次跳躍，會向用戶呈現(xiàn)諸如音頻信號、觸覺文本符號、觸覺圖形表示或觸覺動畫等輸出信息。用戶還可以利用諸如按壓/釋放觸覺鼠標(biāo)按鈕15 和/ 或擊鍵的輸入裝置與當(dāng)前選擇的節(jié)點進(jìn)行交互(interface)。這些輸入裝置典型地與系統(tǒng)光標(biāo)選擇給定的GUI元素時有視力的用戶所使用的裝置相同。因此，例如，如果GUI元素是在當(dāng)前分層中的葉節(jié)點，諸如MS Windows Explorer的文件列表中的文件，則雙擊可以打開該文件，右擊可以呈現(xiàn)多個選項，如剪切或者復(fù)制該文件等。如果該GUI元素例如是word 處理器的文本區(qū)域，則左擊可以選擇文本輸入模式?？梢栽O(shè)置其他觸覺鼠標(biāo)按鈕153功能，如用于凍結(jié)觸覺鼠標(biāo)光標(biāo)的位置的凍結(jié)命令，使得例如能夠重新設(shè)置該設(shè)備。有用地，可以存儲觸覺鼠標(biāo)光標(biāo)的瞬時停止歷史，使得用戶可以通過點擊觸覺鼠標(biāo)按鈕153而容易地沿著他們之前的路徑往回移動。有用地，當(dāng)無意問退出了 CNM時，將最后選擇的GE存儲在存儲器中，使得在重新激活CNM時該最后選擇的GE為被自動選擇的節(jié)點。然而如果用戶在以另一種操作模式工作后切換到CNM，例如從圖形模式切換到CNMU CNM從由觸覺鼠標(biāo)光標(biāo)當(dāng)前指示的GE開始。在本發(fā)明的各種實施方式中，在空間-上下文導(dǎo)航模式SCNM中，從一個GUI元素到下一個⑶I元素構(gòu)造引導(dǎo)軌跡。該引導(dǎo)軌跡存儲在計算機(jī)的存儲器中并且顯示在觸覺顯示器152上，可選地，該軌跡可以進(jìn)一步可視地顯示在VDU上。通過在移動鼠標(biāo)15的同時跟隨觸覺指示而提供引導(dǎo)軌跡，以在GUI元素之間引導(dǎo)用戶。如果用戶丟失了該引導(dǎo)線，則可以提供命令以使觸覺鼠標(biāo)光標(biāo)跳躍到目標(biāo)對象或這條線上最近的點等。另選地，當(dāng)選擇了 SCNM時，可以以與CNM類似的方式構(gòu)造虛擬表。應(yīng)當(dāng)注意TCS 400的優(yōu)選默認(rèn)模式是CNM。沿著上述分層結(jié)構(gòu)行進(jìn)的方法的一個缺點在于，用戶必須根據(jù)分層樹從一個節(jié)點導(dǎo)航到與其最近的節(jié)點中的一個父節(jié)點、兩個相鄰的同輩節(jié)點中的一個、或者子節(jié)點。在數(shù)據(jù)元素在上下文上彼此接近但是在結(jié)構(gòu)上遠(yuǎn)離的大樹的情況下，這可能不是特別不方便。例如，在位于CNM的不同應(yīng)用窗中的兩個節(jié)點N6132和N6311(圖14)之間來回移動涉及六次跳躍的路徑從N6132到N613到N61到N6到N63到N631到N63110這種方法對于初學(xué)者非常有用，但是熟練的用戶來說就顯得太原始了?？梢酝ㄟ^將上下文類似的GE(例如，窗口盤、框、菜單、頭、鏈接或按鈕等)集合在一起而縮短許多導(dǎo)航路徑的長度。根據(jù)本發(fā)明的進(jìn)一步的實施方式，如果上下文類似的GE 位于相同的結(jié)構(gòu)分層級別并且只有當(dāng)它們位于相同的分層結(jié)構(gòu)級別時，該上下文類似的GE 可以被集合?，F(xiàn)在參照圖17，圖17示出了圖14中的分層結(jié)構(gòu)，但是其中幾個節(jié)點被集合到了
一起，如雙環(huán)輪廓線所示。N52、N62和^54構(gòu)成了第一組，N524、N613、N622、N6:31和N642構(gòu)成了第二組，并且 N6132、N6133、N6221 ^N6224 和 N6311 構(gòu)成了第三組。現(xiàn)在還參照圖18A至圖18E，其中提供了與圖15A至圖15E類似的一組虛擬表，不
16過是針對集合后的數(shù)據(jù)元素。圖18A示出了以節(jié)點Nffi2為中心的虛擬表。在圖15A中，中間行包括Nffi2的分層同輩節(jié)點。與之不同地，在圖18A的虛擬表中，中間行包括在與Nffi2相同的組中所有的數(shù)據(jù)元素。在這種情況下，觸覺鼠標(biāo)15的光標(biāo)的水平移位會重新構(gòu)建以該相同組的相鄰節(jié)點^513或者N631為中心的虛擬表，分別如圖18D和18E所示。向上垂直移位Sy將會重建以父節(jié)點^52為中心的虛擬表，如圖18B所示。如圖18C1和圖18C2所示，對向下移位和三個向右的水平移位存在兩種可選的的響應(yīng)。圖18C1示出了以N62m為中心的第一虛擬表，其中中間行包括Nffi2的所有子元素。另選地，在圖18C2中示出了以N62m為中心的第二虛擬表，其中中間行包括與N6224 相同的組的所有成員，而不是其同輩元素。軟件開發(fā)者會想到用于區(qū)分這些移位的各種命令。應(yīng)當(dāng)注意，利用圖17和圖18A至圖18E中的集合后的結(jié)構(gòu)，從N6132到N6131的新路徑僅涉及四次跳躍的路徑從N6132到N613到N622到N631到N63110不論GE是否在相同的分層級別，可以通過僅基于上下文將GE集合在一起的進(jìn)一步的途徑來實現(xiàn)對導(dǎo)航方法的進(jìn)一步改進(jìn)，從而減少導(dǎo)航步驟的數(shù)量。與以上結(jié)合圖17和圖18A至圖18E所描述的之前的方式(其中位于相同的分層級別的上下文類似的GE被集合在一起)不同地，第二種類型去除了這個要求。還是參照圖14和圖17中示出的示例性分層來描述本途徑，在圖19中再次進(jìn)行表示。兩組或者兩個集合的⑶I元素，例如由圖19中雙環(huán)表示的、在屏幕上呈現(xiàn)的所有按鈕的組，和由圖19中虛的外環(huán)表示的所有WEB鏈接的組。應(yīng)當(dāng)注意，此處的這些組是跨代的。在本發(fā)明的優(yōu)選實施方式中，可以將這些集合的目錄提供給用戶，以選擇用作導(dǎo)航基礎(chǔ)的一組元素。在圖20中示出了這種目錄的一個示例，其中按鈕的組與圖19中的雙環(huán)元素的組對應(yīng)，并且鏈接的組與圖19中的虛線元素的組對應(yīng)。可以通過觸覺鼠標(biāo)15光標(biāo)的垂直運動和點擊觸覺鼠標(biāo)15的按鈕153來實現(xiàn)從該目錄中選擇所需的組。作為解釋，現(xiàn)在還參照圖2IA和2IB，在一個實施方式中，假設(shè)選擇了以元素^522作為主要GE的第一組元素。通過點擊鼠標(biāo)的按鈕153，選擇CNM，構(gòu)造圖21A中示出的虛擬表。 為了方便，表在該圖中為垂直取向。圖21A中的表中的第二列或者中間列包含包括有Nffi2的第一組的所有⑶I元素。第一列或者左列含有第二列中的元素的所有父元素，并且第三列或者右列含有主要對象N622 的所有子數(shù)據(jù)元素。該示例中的所有這三列是可循環(huán)的，指的是當(dāng)用戶到達(dá)最后的元素之后滾動該列表時，該列表返回到第一個元素。在圖21B中呈現(xiàn)了與第二數(shù)據(jù)組對應(yīng)的第二虛擬表。應(yīng)當(dāng)理解，除了上述結(jié)構(gòu)之外，可以按需要根據(jù)其他的邏輯結(jié)構(gòu)另選地布置數(shù)據(jù)元素。在權(quán)利要求中，詞語“包括”以及其變型“包含”、“含有”指的是包括所列出的部件， 但是通常不指示排除了其他部件。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解本發(fā)明并不限于在此具體示出和如上描述的內(nèi)容。而是，本發(fā)明的范圍僅由所附的權(quán)利要求限制。
權(quán)利要求
1. 一種供視障用戶在計算機(jī)化的數(shù)據(jù)環(huán)境中進(jìn)行操作的觸覺訪問和導(dǎo)航系統(tǒng)，該觸覺訪問和導(dǎo)航系統(tǒng)包括a.雙向輸入-輸出系統(tǒng)，其具有至少一個觸覺顯示器和至少一個用戶可操作的輸入控制器；b.與所述至少一個觸覺顯示器通信的數(shù)據(jù)轉(zhuǎn)換器，其可操作為從計算機(jī)提取顯示數(shù)據(jù)，并將所提取的顯示數(shù)據(jù)轉(zhuǎn)換為適于由所述至少一個觸覺顯示器進(jìn)行顯示的形式；c.用于將所述顯示數(shù)據(jù)排列為GUI元素的預(yù)定結(jié)構(gòu)的裝置，所述結(jié)構(gòu)能夠由所述雙向輸入-輸出系統(tǒng)進(jìn)行導(dǎo)航；以及d.用于根據(jù)預(yù)定的操作模式向所述至少一個觸覺顯示器提供顯示數(shù)據(jù)的裝置，所述操作模式包括1.至少一種觀看模式，其用于在所述至少一個觸覺顯示器上顯示圖形和文本數(shù)據(jù)內(nèi)容的觸覺表示； .至少一種導(dǎo)航模式，其用于在所述至少一個觸覺顯示器上顯示所述結(jié)構(gòu)內(nèi)的所述 GUI元素的取向的觸覺表示。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述輸入-輸出系統(tǒng)位于具有至少一個觸覺顯示器和至少一個輸入控制器的單個觸覺鼠標(biāo)內(nèi)。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述導(dǎo)航模式選自包含以下模式的組a.空間導(dǎo)航模式；b.上下文導(dǎo)航模式；和c.空間-上下文導(dǎo)航模式。
4.一種采用具有至少一個觸覺顯示器和至少一個命令輸入控制器的觸覺鼠標(biāo)、以在從計算機(jī)提取的顯示數(shù)據(jù)中所表示的GUI元素當(dāng)中進(jìn)行導(dǎo)航的方法，所述方法包括以下步驟a.從計算機(jī)屏幕提取顯示數(shù)據(jù)；b.從所提取出的顯示數(shù)據(jù)中識別這些GUI元素；c.將這些⑶I元素組織為邏輯結(jié)構(gòu)；d.根據(jù)與第一GUI元素相關(guān)的觸覺顯示描述符以觸覺的形式進(jìn)行顯示；e.感測來自所述觸覺鼠標(biāo)的輸入，所述輸入包括所述觸覺鼠標(biāo)的空間運動以及經(jīng)由所述至少一個輸入控制器的命令輸入；f.響應(yīng)于來自所述觸覺鼠標(biāo)的所述輸入，從所述結(jié)構(gòu)中選擇第二GUI元素；以及g.向所述用戶指示所選擇的第二GUI元素。
5.根據(jù)權(quán)利要求4所述的方法，其中，向所述用戶指示所選擇的第二GUI元素的所述步驟(g)包括在所述第一GUI元素與所述第二 GUI元素之間構(gòu)造觸覺引導(dǎo)，表示要由所述觸覺鼠標(biāo)采用的從所述第一 GUI元素到所述第二 GUI元素的直接路線。
6.根據(jù)權(quán)利要求4所述的方法，其中，向所述用戶指示所選擇的第二GUI元素的所述步驟(g)包括根據(jù)與所述第二GUI元素相關(guān)的所述觸覺顯示描述符以觸覺的形式進(jìn)行顯示。
7.根據(jù)權(quán)利要求4所述的方法，其中，所述步驟(c)包括將所述GUI元素組織為分層結(jié)構(gòu)的步驟。
8.根據(jù)權(quán)利要求7所述的方法，其中，至少所述⑶I元素的選集被集合到至少一個組中，其中選擇第二GUI元素的步驟(f)包括構(gòu)造具有頂行、底行和二者之間的中間行的虛擬表，其中所述中間行包含多個⑶I元素，該多個⑶I元素包括所述第一選擇⑶I元素；所述頂行包含所述第一選擇GUI元素的父元素；并且所述底行包含所述第一選擇GUI元素的所有子元素；并且，其中，來自所述頂行、中間行和底行中的所述GUI元素中的每一個可被選擇為所述第二⑶I元素。
9.根據(jù)權(quán)利要求8所述的方法，其中，所述至少一組⑶I元素包含所述第一選擇⑶I元素的所有同輩元素。
10.根據(jù)權(quán)利要求8所述的方法，其中，所述至少一組⑶I元素包含具有與所述第一選擇GUI元素相同的上下文、并且在與所述第一選擇GUI元素相同的分層級別上的GUI元素。
11.根據(jù)權(quán)利要求7所述的方法，其中，至少所述GUI元素的選集被集合到至少一個組中，其中，選擇第二 GUI元素的步驟(f)包括構(gòu)造具有頂行、底行和二者之間的中間行的虛擬表，其中，與所述中間行中的所述GUI元素的各自的分層級別無關(guān)地，所述中間行包含具有與所述分層結(jié)構(gòu)中的所述第一選擇GUI元素相同的上下文的GUI元素；其中，所述頂行包含與所述中間行相同數(shù)量的⑶I元素，并且這些⑶I元素中的每一個是所述中間行中的對應(yīng)GUI元素的父元素，并且所述底行包含所述第一選擇GUI元素的所有子元素，并且其中，來自所述頂行、中間行和底行的所述GUI元素中的每一個可被選擇為所述第二 ⑶I元素。
全文摘要
供視障用戶在計算機(jī)化的數(shù)據(jù)環(huán)境中進(jìn)行操作的觸覺訪問和導(dǎo)航系統(tǒng)及方法，包括雙向輸入-輸出系統(tǒng)，其具有一個或更多個觸覺顯示器以及一個或更多個用戶可操作輸入控制器；數(shù)據(jù)轉(zhuǎn)換器，其用于從計算機(jī)提取顯示數(shù)據(jù)并將該數(shù)據(jù)轉(zhuǎn)換為適于由一個或更多個觸覺顯示器進(jìn)行顯示的形式；用于將顯示數(shù)據(jù)布置為GUI元素的預(yù)定結(jié)構(gòu)的裝置，以通過雙向輸入-輸出系統(tǒng)進(jìn)行導(dǎo)航；以及以如下任意一種模式向一個或更多個觸覺顯示器提供顯示數(shù)據(jù)的裝置一種或更多種觀看模式，其用于在一個或更多個觸覺顯示器上顯示圖形和文本數(shù)據(jù)內(nèi)容的觸覺表示；和一種或更多種導(dǎo)航模式，用于在一個或更多個觸覺顯示器上顯示結(jié)構(gòu)內(nèi)的GUI元素的取向的觸覺表示。
文檔編號G06F3/01GK102239459SQ200980148641
公開日2011年11月9日 申請日期2009年11月8日 優(yōu)先權(quán)日2008年12月3日
發(fā)明者I·卡拉辛, Y·沃爾 申請人:觸覺世界有限公司