專利名稱：自由形式數(shù)學(xué)計(jì)算的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算設(shè)備，尤其涉及計(jì)算設(shè)備中的數(shù)學(xué)計(jì)算。
背景技術(shù)：
可從計(jì)算設(shè)備獲得的功能的數(shù)量正在不斷增加，如來(lái)自移動(dòng)設(shè)備、游戲控制臺(tái)、電視機(jī)、機(jī)頂盒、個(gè)人計(jì)算機(jī)等等。然而，曾經(jīng)用于與計(jì)算設(shè)備交互的傳統(tǒng)技術(shù)隨著功能數(shù)量的增加而變得更低效。例如，在菜單中包括附加功能可向菜單添加附加級(jí)別以及每一級(jí)別處的附加選擇。此外，包括使用傳統(tǒng)技術(shù)的這些特征可能強(qiáng)制用戶通過(guò)菜單導(dǎo)航來(lái)訪問(wèn)“離開(kāi)”當(dāng)前用戶界面的特征。因此，在菜單中添加這些功能可能會(huì)純粹由于大量的功能選擇而使用戶受挫折，且因此導(dǎo)致對(duì)附加功能以及采用各功能的設(shè)備本身的減少的利用。由此，曾經(jīng)用于訪問(wèn)功能的傳統(tǒng)技術(shù)可能會(huì)限制各功能和設(shè)備對(duì)于計(jì)算設(shè)備的用戶的總體有用性。

發(fā)明內(nèi)容
描述了自由形式數(shù)學(xué)計(jì)算。在各實(shí)現(xiàn)中，輸入被識(shí)別成對(duì)計(jì)算設(shè)備所輸出的用戶界面的一區(qū)域的自由形式選擇。標(biāo)識(shí)與自由形式選擇所定義的區(qū)域相關(guān)聯(lián)的并且包括一個(gè)或多個(gè)數(shù)字的文本。執(zhí)行涉及該一個(gè)或多個(gè)數(shù)字的數(shù)學(xué)計(jì)算。在各實(shí)現(xiàn)中，輸入被識(shí)別成對(duì)計(jì)算設(shè)備所輸出的用戶界面的一區(qū)域的自由形式選擇。與該區(qū)域相關(guān)聯(lián)的墨水筆劃被計(jì)算設(shè)備轉(zhuǎn)換成文本。文本被顯示在計(jì)算設(shè)備的用戶界面中以驗(yàn)證轉(zhuǎn)換被成功執(zhí)行，該文本包括一個(gè)或多個(gè)數(shù)字。執(zhí)行涉及該一個(gè)或多個(gè)數(shù)字的數(shù)學(xué)計(jì)算。在各實(shí)現(xiàn)中，一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)包括各個(gè)指令，響應(yīng)于在計(jì)算設(shè)備上執(zhí)行該指令，使得該計(jì)算設(shè)備執(zhí)行各個(gè)操作，這些操作包括將輸入識(shí)別成至少部分地涵蓋該計(jì)算設(shè)備所輸出的用戶界面的一區(qū)域的自由形式選擇，由該計(jì)算設(shè)備將該區(qū)域內(nèi)的一個(gè)或多個(gè)墨水筆劃轉(zhuǎn)換成文本，從該區(qū)域中所包括的至少一個(gè)墨水筆劃來(lái)標(biāo)識(shí)要執(zhí)行的數(shù)學(xué)計(jì)算，在該計(jì)算設(shè)備的用戶界面內(nèi)顯示文本以驗(yàn)證轉(zhuǎn)換被成功執(zhí)行，該文本包括一個(gè)或多個(gè)數(shù)字，并且使用該一個(gè)或多個(gè)數(shù)字來(lái)執(zhí)行所標(biāo)識(shí)的數(shù)學(xué)計(jì)算。提供本發(fā)明內(nèi)容以便以簡(jiǎn)化形式介紹將在以下的具體實(shí)施方式
中進(jìn)一步描述的概念精選。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。


參考附圖來(lái)描述具體實(shí)施方式
。在附圖中，附圖標(biāo)記中最左邊的數(shù)字標(biāo)識(shí)該附圖標(biāo)記首次出現(xiàn)的附圖。在說(shuō)明書(shū)和附圖的不同實(shí)例中使用相同的附圖標(biāo)記可以指示相似或相同的項(xiàng)。圖1是在此處描述的示例實(shí)現(xiàn)中的可用于采用計(jì)算技術(shù)的環(huán)境的圖示。
圖2示出了示出在其中多個(gè)設(shè)備通過(guò)中央計(jì)算設(shè)備互聯(lián)的環(huán)境中實(shí)現(xiàn)圖1的計(jì)算模塊的示例系統(tǒng)。圖3描繪一示例實(shí)現(xiàn)中的系統(tǒng)，其中圖1的計(jì)算設(shè)備所輸出的用戶界面的一區(qū)域是使用自由形式選擇來(lái)指定的。圖4描繪一示例實(shí)現(xiàn)中的系統(tǒng)，其中在用戶界面中輸出驗(yàn)證來(lái)對(duì)文本轉(zhuǎn)換的正確性進(jìn)行驗(yàn)證并且使用該文本來(lái)執(zhí)行數(shù)學(xué)計(jì)算，該計(jì)算的結(jié)果在用戶界面中輸出。圖5描繪一示例實(shí)現(xiàn)中的系統(tǒng)，其中執(zhí)行小費(fèi)的自由形式數(shù)學(xué)計(jì)算。圖6描繪一示例實(shí)現(xiàn)中的系統(tǒng)，其中執(zhí)行付款的自由形式數(shù)學(xué)計(jì)算。圖7是描繪一示例實(shí)現(xiàn)中的過(guò)程的流程圖，其中描述了自由形式數(shù)學(xué)計(jì)算的執(zhí)行。圖8示出了可被實(shí)現(xiàn)為參考圖1-6來(lái)描述的任何類型的便攜式和/或計(jì)算機(jī)設(shè)備來(lái)實(shí)現(xiàn)此處描述的計(jì)算技術(shù)的各實(shí)施例的示例設(shè)備的各個(gè)組件。
具體實(shí)施例方式概覽隨著從計(jì)算設(shè)備可用的功能數(shù)量的增加，用來(lái)與計(jì)算設(shè)備交互的傳統(tǒng)技術(shù)變得較低效。例如，使用傳統(tǒng)技術(shù)來(lái)包含附加特征可迫使用戶對(duì)數(shù)量日益增長(zhǎng)的菜單進(jìn)行導(dǎo)航以訪問(wèn)這些特征，并因此迫使用戶導(dǎo)航得離當(dāng)前用戶界面更“遠(yuǎn)”。由此，曾經(jīng)用于訪問(wèn)功能的傳統(tǒng)技術(shù)可能會(huì)限制各功能和設(shè)備對(duì)于計(jì)算設(shè)備的用戶的總體有用性。描述了自由形式數(shù)學(xué)計(jì)算技術(shù)。在各實(shí)現(xiàn)中，計(jì)算設(shè)備被配置成接收自由形式輸入，如結(jié)合該計(jì)算設(shè)備的顯示設(shè)備上的用戶界面來(lái)繪制并使用觸摸屏功能來(lái)識(shí)別的墨水筆劃(例如，數(shù)字手寫(xiě)墨水)。計(jì)算設(shè)備還被配置成識(shí)別對(duì)用戶界面的一區(qū)域的自由形式選擇 (如通過(guò)圈起該區(qū)域)。該區(qū)域內(nèi)的數(shù)字墨水筆劃隨后可被轉(zhuǎn)換成文本，這可用作數(shù)學(xué)計(jì)算的基礎(chǔ)，如將這些墨水筆劃所表示的數(shù)字相加。數(shù)學(xué)計(jì)算的結(jié)果隨后可被顯示在用戶界面中。此外，在各實(shí)現(xiàn)中，顯示該結(jié)果以模仿原始用戶的手寫(xiě)筆劃(例如，在大小和風(fēng)格方面) 的筆跡。因而，以此方式，用戶可以容易地以直觀的方式來(lái)執(zhí)行數(shù)學(xué)計(jì)算而無(wú)需從該用戶界面導(dǎo)航離開(kāi)，這一點(diǎn)的進(jìn)一步討論可相關(guān)以下章節(jié)找到。在以下討論中，首先描述可用于采用此處描述的計(jì)算技術(shù)的示例環(huán)境。然后描述技術(shù)以及各過(guò)程的示例圖示，這些可以在示例環(huán)境以及在其他環(huán)境中采用。因此，該示例環(huán)境不限于執(zhí)行示例技術(shù)和過(guò)程。同樣，示例技術(shù)和過(guò)程不限于在示例環(huán)境中實(shí)現(xiàn)。示例環(huán)境圖1是在一示例實(shí)現(xiàn)中的可用于采用計(jì)算技術(shù)的環(huán)境100的圖示。所示環(huán)境100 包括可用各種方式來(lái)配置的計(jì)算設(shè)備102的一個(gè)示例。例如，計(jì)算設(shè)備102可被配置為傳統(tǒng)計(jì)算機(jī)(例如，臺(tái)式個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)等)、移動(dòng)站、娛樂(lè)設(shè)備、通信耦合到電視機(jī)的機(jī)頂盒、無(wú)線電話、上網(wǎng)本、游戲控制臺(tái)等等，如關(guān)于圖2進(jìn)一步描述的。因而，計(jì)算設(shè)備102的范圍可以是從具有充足存儲(chǔ)器和處理器資源的全資源設(shè)備(如個(gè)人計(jì)算機(jī)、游戲控制臺(tái))到具有有限存儲(chǔ)器和/或處理資源的低資源設(shè)備(如傳統(tǒng)機(jī)頂盒、手持式游戲控制臺(tái))。計(jì)算設(shè)備102還可以與使得計(jì)算設(shè)備102執(zhí)行一個(gè)或多個(gè)操作的軟件相關(guān)。計(jì)算設(shè)備102被示為包括輸入模塊104。輸入模塊104表示與計(jì)算設(shè)備102的輸入有關(guān)的功能。例如，輸入模塊104可以被配置成從鍵盤(pán)、鼠標(biāo)接收輸入以標(biāo)識(shí)各手勢(shì)并且使對(duì)應(yīng)于各手勢(shì)的操作得以執(zhí)行，等等。輸入可由輸入模塊104用各種不同方式來(lái)標(biāo)識(shí)。例如，輸入模塊104可以被配置成識(shí)別通過(guò)顯示設(shè)備106的觸摸屏功能從指示筆 110接收到的輸入等等，例如接近于計(jì)算設(shè)備102的顯示設(shè)備106的用戶的手108的手指。 輸入可以有各種不同的形式，諸如來(lái)識(shí)別指示筆110和/或用戶的手108的手指在顯示設(shè)備106上的移動(dòng)(諸如輕擊、線條的繪制、等等)。在各實(shí)現(xiàn)中，這些輸入可以被識(shí)別為手勢(shì)?？梢宰R(shí)別各種不同類型的手勢(shì)，例如從單類輸入識(shí)別的手勢(shì)(例如觸摸手勢(shì))以及涉及多類輸入的手勢(shì)。例如，計(jì)算設(shè)備102可被配置成檢測(cè)并區(qū)分觸摸輸入(例如，由用戶的手108的一個(gè)或多個(gè)手指提供)和指示筆輸入(例如，由指示筆110提供)。該區(qū)分可以用各種方式來(lái)執(zhí)行，如通過(guò)檢測(cè)用戶的手108的手指接觸的顯示設(shè)備108的量對(duì)比指示筆110接觸的顯示設(shè)備106的量。區(qū)分也可通過(guò)使用照相機(jī)從自然用戶界面(NUI)中的指示筆輸入(例如，將兩個(gè)手指握在一起來(lái)指示一個(gè)點(diǎn))中區(qū)分出觸摸輸入(例如，舉起一個(gè)或多個(gè)手指)來(lái)執(zhí)行。構(gòu)想了用于區(qū)分觸摸輸入和指示筆輸入的各種其他示例技術(shù)，其進(jìn)一步討論可關(guān)于圖8來(lái)找到。由此，輸入模塊104可以通過(guò)識(shí)別和利用指示筆輸入和觸摸輸入之間的區(qū)別，來(lái)支持各種不同的手勢(shì)技術(shù)。例如，輸入模塊104可被配置成將指示筆識(shí)別為書(shū)寫(xiě)工具，而觸摸則用于操縱顯示設(shè)備106所顯示的對(duì)象。因此，觸摸輸入和指示筆輸入的組合可用作指示各種不同手勢(shì)的基礎(chǔ)。例如，可組成觸摸原語(yǔ)(例如，輕叩、按住、兩個(gè)手指按住、抓取、畫(huà)十字、捏、手或手指手勢(shì)等等)以及指示筆原語(yǔ)(例如，輕叩、按住并拖走、拖入、畫(huà)十字、劃一筆)來(lái)創(chuàng)建包含多個(gè)手勢(shì)的空間。計(jì)算設(shè)備102還被示為包括表示涉及自由形式數(shù)學(xué)計(jì)算的功能的計(jì)算模塊112。 例如，計(jì)算模塊112可包括墨水分析模塊114和運(yùn)算模塊116。墨水分析模塊114表示計(jì)算設(shè)備102的用于將墨水筆劃(例如，數(shù)字筆跡墨水)轉(zhuǎn)換成文本的功能，墨水筆劃諸如被示為經(jīng)由計(jì)算設(shè)備102的顯示設(shè)備106輸入的墨水筆劃118。運(yùn)算模塊116表示計(jì)算設(shè)備 102的用于處理文本的功能，如從該文本中標(biāo)識(shí)數(shù)學(xué)計(jì)算并對(duì)該文本中包括的數(shù)字執(zhí)行該運(yùn)算。以此方式，計(jì)算設(shè)備102可被配置成對(duì)自由形式文本輸入自動(dòng)地執(zhí)行數(shù)學(xué)計(jì)算而無(wú)需訪問(wèn)菜單或從在顯示設(shè)備106上輸出的用戶界面中的當(dāng)前視圖導(dǎo)航“離開(kāi)”。墨水筆劃能以各種方式來(lái)輸入，如經(jīng)由用戶的手108的手指、指示筆110、經(jīng)由光標(biāo)控制設(shè)備、觸摸墊等等。該計(jì)算的進(jìn)一步討論可相關(guān)以下計(jì)算實(shí)現(xiàn)章節(jié)找到。盡管以下討論可描述觸摸輸入和指示筆輸入的具體示例，但在各實(shí)例中，輸入的類型可交換(例如，觸摸可用于替換指示筆，反之亦然)甚至移除(例如，兩種輸入可使用觸摸或指示筆來(lái)提供)而不背離其精神和范圍。此外，雖然在以下討論的各實(shí)例中，這些技術(shù)被示為是使用觸摸屏功能來(lái)輸入的，但這些技術(shù)可以是由各種不同設(shè)備使用各種不同技術(shù)來(lái)輸入的。圖2示出了包括參考圖1描述的計(jì)算設(shè)備102的示例系統(tǒng)200。示例系統(tǒng)200實(shí)現(xiàn)了用于當(dāng)在個(gè)人計(jì)算機(jī)(PC)、電視設(shè)備和/或移動(dòng)設(shè)備上運(yùn)行應(yīng)用時(shí)的無(wú)縫用戶體驗(yàn)的普遍存在的環(huán)境。服務(wù)和應(yīng)用在所有三個(gè)環(huán)境中基本相似地運(yùn)行，以便當(dāng)使用應(yīng)用、玩視頻游戲、看視頻等時(shí)在從一個(gè)設(shè)備轉(zhuǎn)換到下一設(shè)備時(shí)得到共同的用戶體驗(yàn)。
在示例系統(tǒng)200中，多個(gè)設(shè)備通過(guò)中央計(jì)算設(shè)備互聯(lián)。中央計(jì)算設(shè)備可以是多個(gè)設(shè)備本地的，或者可以位于多個(gè)設(shè)備的遠(yuǎn)程。在一個(gè)實(shí)施例中，中央計(jì)算設(shè)備是通過(guò)網(wǎng)絡(luò)、 因特網(wǎng)或其他數(shù)據(jù)通信鏈路連接到多個(gè)設(shè)備的一個(gè)或多個(gè)服務(wù)器計(jì)算機(jī)的云。在一個(gè)實(shí)施例中，該互聯(lián)體系結(jié)構(gòu)使得功能能夠在多個(gè)設(shè)備上遞送以向多個(gè)設(shè)備的用戶提供共同且無(wú)縫的體驗(yàn)。多個(gè)設(shè)備的每一個(gè)可具有不同的物理要求和能力，且中央計(jì)算設(shè)備使用一平臺(tái)來(lái)使得為設(shè)備特制且又對(duì)設(shè)備中的每一個(gè)共同的體驗(yàn)?zāi)鼙贿f送到設(shè)備。在一個(gè)實(shí)施例中， 創(chuàng)建目標(biāo)設(shè)備的類，且對(duì)通用設(shè)備類特制體驗(yàn)。設(shè)備的類可由設(shè)備的物理特征、用途類型、 或其他常見(jiàn)特性來(lái)定義。在各實(shí)現(xiàn)中，計(jì)算設(shè)備102可采取各種不同配置，諸如用于計(jì)算機(jī)202、移動(dòng)204、 和電視機(jī)206用途。這些配置中的每一個(gè)包括可具有一般不同的構(gòu)造和能力的設(shè)備，且因此計(jì)算設(shè)備102可根據(jù)一個(gè)或多個(gè)不同設(shè)備類來(lái)配置。例如，計(jì)算設(shè)備102可被實(shí)現(xiàn)為計(jì)算機(jī)202設(shè)備類，該計(jì)算機(jī)設(shè)備類包括個(gè)人計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、多屏幕計(jì)算機(jī)、膝上型計(jì)算機(jī)、上網(wǎng)本等等。計(jì)算設(shè)備102還可被實(shí)現(xiàn)為移動(dòng)202設(shè)備類，該移動(dòng)設(shè)備類包括諸如移動(dòng)電話、便攜式音樂(lè)播放器、便攜式游戲設(shè)備、平板計(jì)算機(jī)(例如，所示出的雙屏幕平板計(jì)算機(jī))、多屏幕計(jì)算機(jī)等移動(dòng)設(shè)備。計(jì)算設(shè)備102還可被實(shí)現(xiàn)為電視機(jī)206設(shè)備類，該電視設(shè)備類包括在休閑觀看環(huán)境中具有或連接到一般更大的屏幕的設(shè)備。這些設(shè)備包括電視機(jī)、機(jī)頂盒、游戲控制臺(tái)等等。此處所描述的計(jì)算技術(shù)可由計(jì)算設(shè)備102的這些各種配置來(lái)支持，且不限于在本文描述的計(jì)算技術(shù)的各具體示例。云208包括和/或代表用于內(nèi)容服務(wù)212的平臺(tái)210。平臺(tái)210抽象云208的硬件(例如，服務(wù)器)和軟件資源的底層功能。內(nèi)容服務(wù)212可包括可在計(jì)算機(jī)處理在位于計(jì)算設(shè)備102遠(yuǎn)程的服務(wù)器上執(zhí)行時(shí)使用的應(yīng)用和/或數(shù)據(jù)。內(nèi)容服務(wù)212可以作為因特網(wǎng)上的服務(wù)和/或通過(guò)訂戶網(wǎng)絡(luò)(如蜂窩或WiFi網(wǎng)絡(luò))來(lái)提供。平臺(tái)210可以抽象資源和功能來(lái)將計(jì)算設(shè)備102與其他計(jì)算設(shè)備相連接。平臺(tái) 210還可用于抽象資源的縮放來(lái)向?qū)?jīng)由平臺(tái)210實(shí)現(xiàn)的內(nèi)容服務(wù)212的所遇到的需求提供對(duì)應(yīng)的縮放級(jí)別。因此，在互聯(lián)設(shè)備的實(shí)施例中，計(jì)算模塊112的功能的實(shí)現(xiàn)可分布在系統(tǒng)200上。例如，計(jì)算模塊112可部分地在計(jì)算設(shè)備102上以及經(jīng)由抽象云208的功能的平臺(tái)210來(lái)實(shí)現(xiàn)。例如，墨水分析模塊114的功能可由內(nèi)容服務(wù)212來(lái)提供以將墨水筆劃轉(zhuǎn)換成文本，其結(jié)果隨后可被傳遞回計(jì)算設(shè)備102以供進(jìn)一步處理，如執(zhí)行數(shù)學(xué)計(jì)算。一般而言，在此描述的任一功能可使用軟件、固件、硬件(例如，固定邏輯電路)、 或這些實(shí)現(xiàn)的組合來(lái)實(shí)現(xiàn)。本文使用的術(shù)語(yǔ)“模塊”、“功能”和“邏輯”一般表示軟件、固件、 硬件或其組合。在軟件實(shí)現(xiàn)的情況下，模塊、功能或邏輯表示當(dāng)在處理器(例如，一個(gè)或多個(gè)CPU)上執(zhí)行時(shí)執(zhí)行指定任務(wù)的程序代碼。程序代碼可被儲(chǔ)存在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)器設(shè)備中。以下描述的計(jì)算技術(shù)的各特征是平臺(tái)無(wú)關(guān)的，從而意味著這些技術(shù)可在具有各種處理器的各種商用計(jì)算平臺(tái)上實(shí)現(xiàn)。計(jì)算實(shí)現(xiàn)示例圖3描繪一示例實(shí)現(xiàn)中的系統(tǒng)300，其中圖1的計(jì)算設(shè)備102所輸出的用戶界面的一區(qū)域是使用自由形式選擇來(lái)指定的。圖3的系統(tǒng)300被示出為包括第一和第二階段 302、304。在第一階段302，使用計(jì)算設(shè)備102的觸摸屏功能將墨水筆劃118手寫(xiě)出來(lái)并且檢測(cè)到它。例如，用戶的手108的手指、指示筆110等等可被用來(lái)寫(xiě)下所示墨水筆劃118。 在該示例中，墨水筆劃118涉及辦公室的開(kāi)銷列表，包括salaries (工資),office (辦公)、 hardware (硬件)、以及software (軟件)，且對(duì)應(yīng)的數(shù)字量也被手寫(xiě)出來(lái)。在第二階段304，作出自由形式選擇以定義顯示設(shè)備106所顯示的用戶界面的一區(qū)域。該自由形式選擇可以采取各種形式，如通過(guò)至少部分地圍起用戶界面的一區(qū)域，如被示為近似圓圈的第一自由形式選擇306所示。因而，在該示例中，該線內(nèi)的區(qū)域?qū)⑹菙?shù)學(xué)計(jì)算的主題。在另一示例中，第二自由形式選擇308被示為一條線。在該示例中，該第二自由形式選擇定義該線上方的包括將作為數(shù)學(xué)計(jì)算的主題的數(shù)字的區(qū)域。與至少部分地圍起一區(qū)域的第一自由形式選擇206 —樣，在該所示示例中，第二自由形式選擇308定義包括表示數(shù)字“14，000”、“3，325”、“3，429”以及“5，199”的墨水筆劃的區(qū)域。另外，第一和第二自由形式選擇306、308指定該區(qū)域(例如，第二自由形式選擇308上方的區(qū)域)中的墨水筆劃將作為加法數(shù)學(xué)計(jì)算的主題，在該實(shí)施例中，加法可被指定為默認(rèn)運(yùn)算。例如，計(jì)算模塊112可檢測(cè)到自由形式選擇的存在。該自由形式選擇所定義的區(qū)域隨后可被用作將墨水筆劃118轉(zhuǎn)換成文本的基礎(chǔ)。以此方式，可通過(guò)轉(zhuǎn)換感興趣的區(qū)域的文本而不轉(zhuǎn)換顯示設(shè)備106所輸出的用戶界面中示出的諸如“salaries”、“0ffice”、 "hardware"以及“software”等其他文本來(lái)節(jié)省計(jì)算設(shè)備102的處理資源。在各實(shí)現(xiàn)中，自由形式選擇還可被用來(lái)定義可容許的文本字符的子集。如圖3所示，例如，該區(qū)域可被限于基本數(shù)學(xué)中涉及的字符，如數(shù)字和數(shù)學(xué)計(jì)算的指示。因此，計(jì)算設(shè)備102可有效地確定salaries之后的字符指的是數(shù)字“14，000”，而非字母“I”后隨數(shù)字 “4”后隨三個(gè)“0”。還構(gòu)想了其他實(shí)現(xiàn)，如使用邏輯和機(jī)器學(xué)習(xí)的實(shí)現(xiàn)，以便不對(duì)該區(qū)域中準(zhǔn)許表示的字符進(jìn)行限制。墨水分析模塊114所標(biāo)識(shí)的數(shù)字和/或運(yùn)算隨后可被用作數(shù)學(xué)計(jì)算的主題，其進(jìn)一步討論可相關(guān)以下附圖找到。圖4描繪一示例實(shí)現(xiàn)中的系統(tǒng)400，其中在用戶界面中輸出驗(yàn)證來(lái)對(duì)文本轉(zhuǎn)換的正確性進(jìn)行驗(yàn)證并且使用該文本來(lái)執(zhí)行數(shù)學(xué)計(jì)算，該計(jì)算的結(jié)果在用戶界面中輸出。圖4 的系統(tǒng)400也被示出為包括第一和第二階段402、404。在第一階段402，圖3的自由形式選擇所定義的區(qū)域內(nèi)的墨水筆劃118被使用墨水分析模塊114轉(zhuǎn)換成文本。該轉(zhuǎn)換的驗(yàn)證406也被示為由顯示設(shè)備106顯示。驗(yàn)證406被配置成顯示該轉(zhuǎn)換的結(jié)果并且還可被配置成接受用于校正該轉(zhuǎn)換的輸入。例如，用戶可以使用指示筆110 來(lái)選擇驗(yàn)證406中的不正確的數(shù)字并輸入正確的數(shù)字，如通過(guò)包含其他可能結(jié)果的下拉菜單、使用鍵盤(pán)、手寫(xiě)校正等等。驗(yàn)證406還被示為包括要使用文本中的數(shù)字執(zhí)行的數(shù)學(xué)計(jì)算的驗(yàn)證。例如，墨水分析模塊114還被配置成標(biāo)識(shí)自由形式選擇所指定的區(qū)域中的自由形式文本中的文本和/ 或數(shù)學(xué)計(jì)算標(biāo)識(shí)符(例如，基本數(shù)學(xué)計(jì)算，如“+”、“-”、“ + ”、“/”、“*”、“x”等等)。在該示例中，標(biāo)識(shí)了默認(rèn)的加法數(shù)學(xué)計(jì)算。因此，驗(yàn)證406可包括標(biāo)識(shí)運(yùn)算和/或可被選擇來(lái)啟動(dòng)該運(yùn)算的執(zhí)行的一個(gè)部分，例如通過(guò)輕擊指示筆110、使用用戶的手108的手指按下、光標(biāo)控制設(shè)備、敲下鍵盤(pán)上的“enter (回車)”鍵等等。響應(yīng)于對(duì)部分406的選擇，文本被傳遞給運(yùn)算模塊116以執(zhí)行數(shù)學(xué)計(jì)算。該數(shù)學(xué)計(jì)算的結(jié)果隨后被顯示設(shè)備106顯示在用戶界面中，其實(shí)例在第二階段404示出。在所示
7實(shí)施例中，結(jié)果408是使用數(shù)字墨水來(lái)顯示的。應(yīng)當(dāng)注意，在一實(shí)現(xiàn)中，自由形式選擇被移除(例如，第一自由形式選擇306不再被顯示)，但還構(gòu)想了其他實(shí)現(xiàn)，如圖所示，繼續(xù)顯示第二自由形式選擇308。此外，結(jié)果408被示為具有模仿在自由形式選擇的區(qū)域中的用戶的手寫(xiě)墨水筆劃的筆跡的筆跡。例如，墨水轉(zhuǎn)換器模塊可以接收該結(jié)果作為輸入并且使用自由形式線條和其他技術(shù)來(lái)模仿自由形式線條以顯得是使用用戶的筆跡來(lái)輸入的。因此，在該示例中，結(jié)果 408具有與顯示設(shè)備106在用戶界面中顯示的其他數(shù)字墨水相類似的“外觀和感覺(jué)”。雖然已經(jīng)相關(guān)于示例系統(tǒng)400描述了驗(yàn)證406，但應(yīng)當(dāng)容易明白，本文描述的自由形式數(shù)學(xué)計(jì)算技術(shù)也可以在沒(méi)有驗(yàn)證的情況下使用。例如，計(jì)算可響應(yīng)于檢測(cè)到自由形式選擇來(lái)自動(dòng)并且沒(méi)有進(jìn)一步用戶干預(yù)地執(zhí)行，從而無(wú)需輸出驗(yàn)證406。另外，雖然描述了基本數(shù)學(xué)計(jì)算，但應(yīng)當(dāng)容易明白，還構(gòu)想了各種其他數(shù)學(xué)計(jì)算，其進(jìn)一步討論可相關(guān)以下附圖找到。圖5描繪一示例實(shí)現(xiàn)中的系統(tǒng)500，其中執(zhí)行小費(fèi)(tip)和賬單的拆分的自由形式數(shù)學(xué)計(jì)算。圖5的系統(tǒng)500被示出為包括第一和第二階段502、504。在第一階段502，墨水筆劃506被示為指定一餐廳賬單的各項(xiàng)目的不同金額。墨水筆劃506還包括“tip 15% (15%小費(fèi))”的數(shù)學(xué)計(jì)算的描述。這些墨水筆劃可以處于或不處于使用自由形式選擇(例如，墨水分析模塊114可以檢查所輸入的墨水筆劃中的每一個(gè))指定的區(qū)域內(nèi)。響應(yīng)于標(biāo)識(shí)了該數(shù)學(xué)計(jì)算，計(jì)算模塊112可以輸出部分508來(lái)驗(yàn)證要執(zhí)行的數(shù)學(xué)計(jì)算，在這一實(shí)例中該數(shù)學(xué)計(jì)算包括“均分”或“按人”的選項(xiàng)。在所示示例中，指示筆110 被示為選擇了“按人”選項(xiàng)?！熬帧边x項(xiàng)涉及將總額和小費(fèi)按用戶數(shù)均分。例如，“均分”選項(xiàng)可使得用餐總額因小費(fèi)金額而增加，其隨后按用餐者的數(shù)量均分。“按人”選項(xiàng)涉及計(jì)算每一單獨(dú)用戶的小費(fèi)。響應(yīng)于該選擇，數(shù)學(xué)計(jì)算的結(jié)果508被顯示在顯示設(shè)備106所輸出的用戶界面中， 如在第二階段504所示。如上所述，結(jié)果508可被輸出成模仿提供手寫(xiě)墨水和數(shù)學(xué)運(yùn)算標(biāo)識(shí)符(例如，“tip(小費(fèi))”)的用戶的筆跡。因此，在該示例中，第一數(shù)學(xué)計(jì)算由計(jì)算模塊 112從文本(例如，“tip”)和符號(hào)(例如，“ ％”)中標(biāo)識(shí)出來(lái)。還構(gòu)想了可從根據(jù)墨水筆劃轉(zhuǎn)換的文本來(lái)標(biāo)識(shí)的各種其他數(shù)學(xué)計(jì)算，其另一示例可相關(guān)以下附圖找到。圖6描繪一示例實(shí)現(xiàn)中的系統(tǒng)600，其中執(zhí)行付款的自由形式數(shù)學(xué)計(jì)算。圖6的系統(tǒng)600被示出為包括第一和第二階段602、604。在第一階段602，自由形式線606被示為指定涉及付款的各個(gè)參數(shù)，其包括要支付的總額(例如，“$200，000”)、期限(例如， “30years(30年)”)、以及利率(例如，“6.0%”)。另一參數(shù)也被指定但卻被留出空白，在該實(shí)例中該參數(shù)是“payment (付款)”。因此，自由形式選擇可以觸發(fā)計(jì)算模塊112，以檢測(cè)要被計(jì)算的“空白”參數(shù)并計(jì)算結(jié)果608，該結(jié)果再次被示為被輸出成模仿用作該計(jì)算的基礎(chǔ)的數(shù)字墨水606的筆跡。因此，計(jì)算模塊112可以基于確實(shí)具有值的參數(shù)來(lái)對(duì)不具有對(duì)應(yīng)的值(例如不具有處于該自由形式選擇內(nèi)的值)的參數(shù)執(zhí)行各種不同的數(shù)學(xué)計(jì)算。因此，計(jì)算模塊112可以從所描述的參數(shù)和對(duì)應(yīng)的值中標(biāo)識(shí)該運(yùn)算。因此，應(yīng)當(dāng)容易明白，可以執(zhí)行各種各樣的數(shù)學(xué)計(jì)算來(lái)對(duì)各種不同的參數(shù)進(jìn)行求解而不背離其精神和范圍，如執(zhí)行貨幣轉(zhuǎn)換或從一個(gè)單位到另一個(gè)單位的轉(zhuǎn)換(例如，英寸到厘米)。
示例過(guò)程 以下討論描述了可利用上述系統(tǒng)和設(shè)備來(lái)實(shí)現(xiàn)的各種計(jì)算技術(shù)。這些過(guò)程中每一過(guò)程的各方面可用硬件、固件、軟件、或其組合來(lái)實(shí)現(xiàn)。這些過(guò)程被示為指定由一個(gè)或多個(gè)設(shè)備執(zhí)行的操作的一組框，并且不一定限于所示由相應(yīng)框執(zhí)行操作的順序。在以下討論的部分中，將參考圖ι的環(huán)境100和圖2-6的系統(tǒng)200-600。圖7描繪一示例實(shí)現(xiàn)中的過(guò)程，其中描述了自由形式數(shù)學(xué)計(jì)算的執(zhí)行。接收描述要顯示在計(jì)算設(shè)備的用戶界面中的一個(gè)或多個(gè)墨水筆劃的輸入(框702)。例如，指示筆 110、用戶的手108的手指、自然用戶界面(NUI)中的被照相機(jī)所捕捉的移動(dòng)等等可被用來(lái) “繪制”墨水筆劃。將輸入識(shí)別成對(duì)用戶界面的一區(qū)域的自由形式選擇(框704)。該自由形式選擇可采取各種形式來(lái)定義該區(qū)域，如至少部分地涵蓋該區(qū)域，表示該自由形式選擇“上方”的區(qū)域(例如，如第二自由形式選擇308所示)，到該自由形式選擇的“一側(cè)”(例如，通過(guò)劃分成手寫(xiě)的各列)等等。標(biāo)識(shí)與由自由形式選擇定義的區(qū)域相關(guān)聯(lián)的并且包括一個(gè)或多個(gè)數(shù)字的文本 (框706)。例如，墨水分析引擎114可使用各種不同的墨水分類技術(shù)和筆跡識(shí)別引擎來(lái)將墨水筆劃118轉(zhuǎn)換成文本。標(biāo)識(shí)要使用該一個(gè)或多個(gè)數(shù)字執(zhí)行的數(shù)學(xué)計(jì)算(708)。繼續(xù)先前示例，可以使用 OCR技術(shù)來(lái)標(biāo)識(shí)有關(guān)數(shù)學(xué)計(jì)算的符號(hào)(例如“/”)、詞語(yǔ)(例如，divide(除以))等等?？奢敵鑫谋竞?或要執(zhí)行的數(shù)學(xué)計(jì)算的驗(yàn)證(框710)。該驗(yàn)證可采取各種形式， 如結(jié)合圖4所描述的被配置成接受對(duì)文本的校正的驗(yàn)證406。使用這些數(shù)字來(lái)執(zhí)行數(shù)學(xué)計(jì)算(框712)，并且將該數(shù)學(xué)計(jì)算的結(jié)果顯示成模仿原始墨水筆劃的筆跡(框714)。因此，可將該結(jié)果顯示成給出與用戶所輸入的墨水筆劃118 和計(jì)算模塊112所生成的結(jié)果408相類似的外觀和感覺(jué)。還構(gòu)想了各種其他示例，如以預(yù)定義的字體來(lái)顯示結(jié)果、以預(yù)定義的字體來(lái)顯示文本和結(jié)果，等等。示例設(shè)備圖8示出了可被實(shí)現(xiàn)為參考圖1-7來(lái)描述的任何類型的便攜式和/或計(jì)算機(jī)設(shè)備來(lái)實(shí)現(xiàn)此處描述的計(jì)算技術(shù)的各實(shí)施例的示例設(shè)備800的各個(gè)組件。設(shè)備800包括實(shí)現(xiàn)設(shè)備數(shù)據(jù)804(例如，所接收的數(shù)據(jù)、正被接收的數(shù)據(jù)、排定用于廣播的數(shù)據(jù)、數(shù)據(jù)的數(shù)據(jù)包等等)的有線和/或無(wú)線通信的通信設(shè)備802。設(shè)備數(shù)據(jù)804或其他設(shè)備內(nèi)容可以包括設(shè)備的配置設(shè)置、存儲(chǔ)在設(shè)備上的媒體內(nèi)容和/或與設(shè)備的用戶相關(guān)聯(lián)的信息。存儲(chǔ)在設(shè)備800 上的媒體內(nèi)容可以包括任何類型的音頻、視頻和/或圖像數(shù)據(jù)。設(shè)備800包括經(jīng)由其可以接收任何類型的數(shù)據(jù)、媒體內(nèi)容和/或輸入的一個(gè)或多個(gè)數(shù)據(jù)輸入806，諸如用戶可選輸入、 消息、音樂(lè)、電視媒體內(nèi)容、所記錄的視頻內(nèi)容以及從任何內(nèi)容和/或數(shù)據(jù)源接收的任何其他類型的音頻、視頻和/或圖像數(shù)據(jù)。設(shè)備800還包括通信接口 808，其可被實(shí)現(xiàn)為串行和/或并行接口、無(wú)線接口、任何類型的網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和任何其他類型的通信接口中的任一個(gè)或多個(gè)。通信接口 808提供設(shè)備800和通信網(wǎng)絡(luò)之間的連接和/或通信鏈路，其他電子、計(jì)算和通信設(shè)備通過(guò)其來(lái)與設(shè)備800傳遞數(shù)據(jù)。設(shè)備800包括一個(gè)或多個(gè)處理器810 (例如，微處理器、控制器等中的任一個(gè))，其處理各種計(jì)算機(jī)可執(zhí)行指令來(lái)控制設(shè)備800的操作和實(shí)現(xiàn)觸摸拉入手勢(shì)的各實(shí)施例。另選地或另外地，設(shè)備800可以用硬件、固件或在結(jié)合概括地在812處標(biāo)識(shí)的處理和控制電路來(lái)實(shí)現(xiàn) 的固定邏輯電路中的任一個(gè)或其組合來(lái)實(shí)現(xiàn)。雖然未示出，但是設(shè)備800可以包括耦合設(shè)備中各組件的系統(tǒng)總線或數(shù)據(jù)傳輸系統(tǒng)。系統(tǒng)總線可以包括不同總線結(jié)構(gòu)中的任一個(gè)或組合，諸如存儲(chǔ)器總線或存儲(chǔ)器控制器、外圍總線、通用串行總線和/或利用各種總線體系結(jié)構(gòu)中的任一種的處理器或局部總線。設(shè)備800還包括計(jì)算機(jī)可讀介質(zhì)814，如一個(gè)或多個(gè)存儲(chǔ)器組件，存儲(chǔ)器組件的示例包括隨機(jī)存取存儲(chǔ)器(RAM)、非易失性存儲(chǔ)器(例如，只讀存儲(chǔ)器(ROM)、閃存、EPR0M、 EEPROM等中的任一個(gè)或多個(gè))、以及盤(pán)存儲(chǔ)設(shè)備。盤(pán)存儲(chǔ)設(shè)備可被實(shí)現(xiàn)為任何類型的磁性或光學(xué)存儲(chǔ)設(shè)備，如硬盤(pán)驅(qū)動(dòng)器、可記錄和/或可重寫(xiě)緊致盤(pán)(CD)、任何類型的數(shù)字多功能盤(pán)(DVD)等等。設(shè)備800還可包括大容量存儲(chǔ)介質(zhì)設(shè)備816。計(jì)算機(jī)可讀介質(zhì)814提供數(shù)據(jù)存儲(chǔ)機(jī)制以便存儲(chǔ)設(shè)備數(shù)據(jù)804、以及各種設(shè)備應(yīng)用818和與設(shè)備800的各操作方面有關(guān)的任何其他類型的信息和/或數(shù)據(jù)。例如，操作系統(tǒng)820可以用計(jì)算機(jī)可讀介質(zhì)814作為計(jì)算機(jī)應(yīng)用來(lái)維護(hù)并在處理器810上執(zhí)行。設(shè)備應(yīng)用818可以包括設(shè)備管理器(例如，控制應(yīng)用程序、軟件應(yīng)用程序、信號(hào)處理和控制模塊、特定設(shè)備本地的代碼、特定設(shè)備的硬件抽象層等等)。設(shè)備應(yīng)用818還包括實(shí)現(xiàn)此處所描述的手勢(shì)技術(shù)的各實(shí)施例的任何系統(tǒng)組件或模塊。在該例中，設(shè)備應(yīng)用818包括被示出為軟件模塊和/或計(jì)算機(jī)應(yīng)用的接口應(yīng)用822和輸入模塊824(其可與輸入模塊112相同或不同)。輸入模塊824代表了用于提供與被配置成捕捉輸入的設(shè)備(如觸摸屏、跟蹤墊、照相機(jī)等)的接口的軟件。另選地或另外地，接口應(yīng)用822和輸入模塊824可被實(shí)現(xiàn)為硬件、軟件、固件或其任意組合。另外，輸入模塊824可被配置成支持多個(gè)輸入設(shè)備，如分別捕捉觸摸輸入和指示筆輸入的單獨(dú)設(shè)備。例如，設(shè)備可被配置成包括雙顯示設(shè)備，其中一個(gè)顯示設(shè)備被配置成捕捉觸摸輸入而另一個(gè)被配置成捕捉指示筆輸入。設(shè)備800還包括向音頻系統(tǒng)828提供音頻數(shù)據(jù)和/或向顯示系統(tǒng)830提供視頻數(shù)據(jù)的音頻和/或視頻輸入_輸出系統(tǒng)826。音頻系統(tǒng)828和/或顯示系統(tǒng)830可包括處理、 顯示、和/或以其他方式呈現(xiàn)音頻、視頻和圖像數(shù)據(jù)的任何設(shè)備。視頻信號(hào)和音頻信號(hào)可經(jīng)由RF(射頻)鏈路、S-視頻鏈路、復(fù)合視頻鏈路、分量視頻鏈路、DVI (數(shù)字視頻接口)、模擬音頻連接、或其他類似的通信鏈路來(lái)從設(shè)備800傳輸給音頻設(shè)備和/或傳輸給顯示設(shè)備。 在一個(gè)實(shí)施例中，音頻系統(tǒng)828和/或顯示系統(tǒng)830被實(shí)現(xiàn)為設(shè)備800的外部組件?；蛘撸?音頻系統(tǒng)828和/或顯示系統(tǒng)830被實(shí)現(xiàn)為示例設(shè)備800的集成組件。結(jié)論雖然已經(jīng)用對(duì)結(jié)構(gòu)特征和/或方法動(dòng)作專用的語(yǔ)言描述了本發(fā)明，但是應(yīng)該理解，在所附權(quán)利要求中定義的本發(fā)明不必限于所述的具體特征或動(dòng)作。相反，這些具體特征和動(dòng)作是作為實(shí)現(xiàn)所要求保護(hù)的本發(fā)明的示例形式而公開(kāi)的。
權(quán)利要求
1.一種方法，包括將輸入識(shí)別成對(duì)計(jì)算設(shè)備所輸出的用戶界面的一區(qū)域的自由形式選擇(704)；標(biāo)識(shí)與所述自由形式選擇所定義的區(qū)域相關(guān)聯(lián)的并且包括一個(gè)或多個(gè)數(shù)字的文本 (706)；以及執(zhí)行涉及所述一個(gè)或多個(gè)數(shù)字的數(shù)學(xué)計(jì)算(712)。
2.如權(quán)利要求1所述的方法，其特征在于，所述自由形式選擇至少部分地包圍所述用戶界面的所述區(qū)域。
3.如權(quán)利要求1所述的方法，其特征在于，所述自由形式選擇對(duì)在所述數(shù)字中的至少一個(gè)下方繪制的線進(jìn)行近似來(lái)指示總數(shù)。
4.如權(quán)利要求1所述的方法，其特征在于，所述標(biāo)識(shí)包括從所述文本中標(biāo)識(shí)要執(zhí)行的涉及所述一個(gè)或多個(gè)數(shù)字的數(shù)學(xué)計(jì)算。
5.如權(quán)利要求1所述的方法，其特征在于，所述標(biāo)識(shí)包括將所述區(qū)域內(nèi)的數(shù)字墨水筆劃轉(zhuǎn)換成所述文本。
6.如權(quán)利要求1所述的方法，其特征在于，所述輸入是使用所述計(jì)算設(shè)備的觸摸屏功能來(lái)識(shí)別的觸摸輸入或指示筆輸入。
7.如權(quán)利要求1所述的方法，其特征在于，還包括響應(yīng)于識(shí)別了所述輸入，形成包括所述數(shù)字墨水的通信以將所述數(shù)字墨水傳遞給用于執(zhí)行對(duì)所述文本的標(biāo)識(shí)的另一計(jì)算設(shè)備。
8.如權(quán)利要求1所述的方法，其特征在于，所述數(shù)學(xué)計(jì)算包括計(jì)算小費(fèi)、拆分賬單、計(jì)算付款、或貨幣轉(zhuǎn)換、單位轉(zhuǎn)換。
9.如權(quán)利要求1所述的方法，其特征在于，還包括在執(zhí)行所述數(shù)學(xué)計(jì)算之前輸出對(duì)所述文本進(jìn)行的標(biāo)識(shí)的結(jié)果。
10.如權(quán)利要求1所述的方法，其特征在于，還包括在所述計(jì)算設(shè)備的用戶界面中顯示所述數(shù)學(xué)計(jì)算的結(jié)果。
11.如權(quán)利要求10所述的方法，其特征在于，所述顯示包括將所述結(jié)果顯示成顯得像自由形式。
12.如權(quán)利要求11所述的方法，其特征在于，其中所述區(qū)域包括顯得像手寫(xiě)的墨水筆劃，并且所述結(jié)果被顯示成顯得像模仿所述墨水筆劃的筆跡的自由形式。
13.一種方法，包括將輸入識(shí)別成對(duì)計(jì)算設(shè)備所輸出的用戶界面的一區(qū)域的自由形式選擇(706)；由所述計(jì)算設(shè)備將與所述區(qū)域相關(guān)聯(lián)的墨水筆劃轉(zhuǎn)換成文本；將所述文本顯示在所述計(jì)算設(shè)備的用戶界面中以驗(yàn)證所述轉(zhuǎn)換被成功執(zhí)行，所述文本包括一個(gè)或多個(gè)數(shù)字(710)；以及執(zhí)行涉及所述一個(gè)或多個(gè)數(shù)字的數(shù)學(xué)計(jì)算(712)。
14.如權(quán)利要求13所述的方法，其特征在于，所述顯示的用戶界面被配置成接收一個(gè)或多個(gè)輸入以校正所述文本。
15.如權(quán)利要求13所述的方法，其特征在于，所述顯示的用戶界面被配置成驗(yàn)證要執(zhí)行的數(shù)學(xué)計(jì)算，所述數(shù)學(xué)計(jì)算是從所述墨水筆劃中的一個(gè)或多個(gè)中標(biāo)識(shí)的。
全文摘要
描述了自由形式數(shù)學(xué)計(jì)算。在各實(shí)現(xiàn)中，輸入被識(shí)別成對(duì)計(jì)算設(shè)備所輸出的用戶界面的一區(qū)域的自由形式選擇。標(biāo)識(shí)與由自由形式選擇定義的區(qū)域相關(guān)聯(lián)的并且包括一個(gè)或多個(gè)數(shù)字的文本。執(zhí)行涉及該一個(gè)或多個(gè)數(shù)字的數(shù)學(xué)計(jì)算。
文檔編號(hào)G06F3/048GK102221971SQ20111016228
公開(kāi)日2011年10月19日 申請(qǐng)日期2011年6月8日 優(yōu)先權(quán)日2010年6月9日
發(fā)明者I·斯托伊利科維奇, M·武科薩夫列維奇 申請(qǐng)人:微軟公司