專利名稱：一種手機(jī)終端上的自動(dòng)化操作系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及手機(jī)，特別是一種手機(jī)終端上的自動(dòng)化操作系統(tǒng)。
背景技術(shù)：
在通用的手機(jī)中，功能操作大部分是通過圖形界面提示下，用戶通過一步步的按鍵 操作或觸摸操作來完成指定的功能操作。這種逐步按鍵操作來完成指定功能的方式是一 種原始的操作方法。該方法無記憶功能，每次要完成相應(yīng)的功能都得重復(fù)相同的復(fù)雜按 鍵。為尋求更快捷的功能操作，通過程序的定制，實(shí)現(xiàn)了以下的幾種操作方法
1、 快捷方式是使操作更加快捷的一種方式。快捷方式可以看作是指向某個(gè)對(duì)象(程 序或文件)的指針，當(dāng)你點(diǎn)擊的時(shí)候，系統(tǒng)就根據(jù)快捷方式里記錄的信息找到這個(gè)對(duì)象， 再執(zhí)行相應(yīng)的操作(運(yùn)行某個(gè)程序或者打開某個(gè)文件)。
2、 快捷鍵它可以使你僅通過按少數(shù)按鍵就對(duì)復(fù)雜的菜單進(jìn)行控制和操作，從而完 成一項(xiàng)功能。
上述快捷方式雖然使運(yùn)行一個(gè)程序或者打開一個(gè)文件變得簡(jiǎn)單，而且可以定制自己 的快捷方式，但是可定制內(nèi)容非常有限?？旖萱I方法可以通過少數(shù)按鍵來完成一項(xiàng)功能， 比如，可以用來啟動(dòng)某個(gè)程序，或者替代菜單項(xiàng)方式來執(zhí)行應(yīng)用程序操作過程中的某項(xiàng) 功能?？旖莘绞胶涂旖萱I目前得到了普遍應(yīng)用，也在某種成度上方便了用戶對(duì)手機(jī)功能 的使用。但是兩種方法一般都是手機(jī)軟硬件的內(nèi)部實(shí)現(xiàn)，用戶無法自己定義，即使可以 自定義快捷方式和快捷鍵，但是定義的功能也是有限的。只能針對(duì)某個(gè)應(yīng)用或某人文件， 或某個(gè)應(yīng)用的一個(gè)功能操作進(jìn)行定義。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)之不足，提供一種手機(jī)終端上的自動(dòng)化操作系統(tǒng)， 以實(shí)現(xiàn)手機(jī)操作的自動(dòng)化。通過使手機(jī)的功能操作可記憶和回放來實(shí)現(xiàn)手機(jī)的自動(dòng)化操 作。該操作系統(tǒng)可以記憶對(duì)手機(jī)應(yīng)用程序所做的操作序列，并可以回放。從而使原有的 快捷方式或者快捷鍵的可定制內(nèi)容更加豐富；不僅可以定制靜態(tài)的對(duì)象或是單一的功能 操作而且可以定義一系列的功能操作?？傮w來講，本發(fā)明所述方法使手機(jī)的操作過程更 加簡(jiǎn)化和有效，以及達(dá)到批處理的功效。
為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是 一種手機(jī)終端上的自動(dòng)化操作 系統(tǒng)，包括可以接收用戶指令的硬件和軟件兩部分，其特征是將現(xiàn)有PC系統(tǒng)上已有
的七款軟件AT-SPI enabled desktop、 Python 2,3或更高版本、Rpm-python或 python-apt、 Xorg-x11隱xinit、 Gnome-python2-gconf、 Pygtk2以及Xorg-x11-server-Xvfb
在手機(jī)操作系統(tǒng)中編譯和安裝后，用python腳本語言實(shí)現(xiàn)腳本生成器，腳本生成器通過 無障礙技術(shù)Accessibility technologies軟件和桌面應(yīng)用進(jìn)行通信，從而在操作桌面應(yīng) 用程序的時(shí)候生成可以執(zhí)行的pythhon腳本文件，記錄應(yīng)用相關(guān)的系統(tǒng)事件和信息；在 執(zhí)行腳本文件的時(shí)候，腳本生成器和桌面應(yīng)用進(jìn)行通信，將所記錄的系統(tǒng)事件發(fā)送給應(yīng) 用，對(duì)桌面應(yīng)用程序進(jìn)行回放，實(shí)現(xiàn)手機(jī)的"識(shí)別記憶"和"回放"的自動(dòng)化操作。所說自動(dòng)化操作系統(tǒng)的手機(jī)終端界面上設(shè)有功能區(qū)和腳本顯示區(qū)，功能區(qū)包含錄制/停止、播放、清除和保存按鍵.錄制鍵按下后，腳本生成器就成記錄狀態(tài)，對(duì)手機(jī)應(yīng)用的任何操作都會(huì)被腳本生成器記錄，并把同步生成的腳本文件的內(nèi)容在腳本顯示區(qū)顯示出來；當(dāng)所要記錄的操作完成之后，按下停止鍵，結(jié)束本次記錄工作；此操作之后，點(diǎn)擊播放鍵來重復(fù)剛才的應(yīng)用操作或者點(diǎn)擊保存鍵來保存所生成的腳本文件(用戶可以通過"播放"來檢驗(yàn)自動(dòng)化操作內(nèi)容是否和之前的錄制操作一致。如果一致可以保存該執(zhí)行腳本；如果不一致，可以刪除該腳本并退出)。
獲取腳本文件后，用戶利用當(dāng)前手機(jī)上普遍存在的快捷鍵、快捷方式設(shè)置功能將腳本文件映射到該快捷鍵、快捷方式上或者設(shè)置為菜單項(xiàng)，從而達(dá)到快捷啟動(dòng)腳本文件，執(zhí)行定制操作。
本發(fā)明的優(yōu)點(diǎn)及有益效果本發(fā)明是構(gòu)建在已有的相關(guān)手機(jī)技術(shù)基礎(chǔ)上而提出的一種手機(jī)自動(dòng)化操作，能更加有效的發(fā)揮已有技術(shù)的應(yīng)用，使手機(jī)功能操作可記憶，可重復(fù)和可定制，從而使手機(jī)應(yīng)用的操作更加簡(jiǎn)化和有效。
通過使手機(jī)的功能操作"可記憶"和"回放"來實(shí)現(xiàn)手機(jī)上的自動(dòng)化操作。"可記憶"是指系統(tǒng)可以對(duì)應(yīng)用信息及用戶對(duì)應(yīng)用程序的操作所產(chǎn)生的事件進(jìn)行識(shí)別和記憶，并以可執(zhí)行的腳本文件為載體進(jìn)行記錄。"回放"是指系統(tǒng)執(zhí)行所得的腳本文件，通過啟動(dòng)應(yīng)用并將所記錄的信息和事件發(fā)送給應(yīng)用，完成相應(yīng)的功能操作?？墒故謾C(jī)原有的快捷方式或者快捷鍵的可定制內(nèi)容更加豐富；不僅可以定制靜態(tài)的對(duì)象或是單一的功能操作而且可以定義一系列的功能操作。編輯者如果具備腳本語言相關(guān)的知識(shí)，還可以針對(duì)腳本文件的內(nèi)容做出修改，從而達(dá)到定制的功效，使操作過程更加簡(jiǎn)化和有效。本發(fā)明也可應(yīng)用于掌上電腦、個(gè)人數(shù)碼助理等各種移動(dòng)終端。
本發(fā)明應(yīng)用到智能手機(jī)中，可以使一個(gè)有著復(fù)雜按鍵操作的功能項(xiàng)得以簡(jiǎn)單操作實(shí)現(xiàn)；使經(jīng)常被執(zhí)行的手機(jī)功能得以快捷化；使手機(jī)操作手冊(cè)得以以真實(shí)過程展現(xiàn)。


圖l是Gnome無障礙技術(shù)體系結(jié)構(gòu)圖；圖2是實(shí)現(xiàn)本發(fā)明的軟件結(jié)構(gòu)體系；圖3是本發(fā)明中所闡述的腳本生成器的一個(gè)界面模型；圖4是本發(fā)明的一個(gè)實(shí)例操作流程圖。
具體實(shí)施例方式
本發(fā)明系統(tǒng)包括硬件(鍵盤或者觸摸屏)和軟件兩部分，其中硬件部分為現(xiàn)有技術(shù)。
軟件部分的需求如下
體系結(jié)構(gòu)Noarch操作系統(tǒng)Linux
所需要的軟件包
1. AT隱SPI enabled desktop
2. Python 2.3或者更高的版本
3. Rpm-python或者python-apt
4. Xorg-x11-xinit5. Gnome隱python2-gconf
6. Xorg-x11陽server-Xvfb
7. Pygtk2
以上軟件包都是PC系統(tǒng)上己經(jīng)具備的，需要完全應(yīng)用(在手機(jī)操作系統(tǒng)中成功編譯和安裝這些軟件，獲取這些軟件所實(shí)現(xiàn)的功能)到手機(jī)操作系統(tǒng)上。本發(fā)明系統(tǒng)包含以上軟件包，用python實(shí)現(xiàn)腳本生成器，腳本生成器通過Accessibility technologies (無障礙技術(shù))來和桌面應(yīng)用進(jìn)行通信(接收信息和事件)從而在操作桌面應(yīng)用程序的時(shí)候生成可以執(zhí)行的python腳本記錄應(yīng)用相關(guān)的信息和事件(錄制過程)；同理，在執(zhí)行腳本文件的時(shí)候，腳本生成器通過Accessibility technologies和桌面應(yīng)用進(jìn)行通信(發(fā)送信息和事件)，從而對(duì)桌面應(yīng)用程序進(jìn)行指定的操作(回放過程)。具備以上要求的手機(jī)操作系統(tǒng)可以記憶對(duì)手機(jī)應(yīng)用程序所做的操作序列，并可以回放。操作方法是
(1) 啟動(dòng)腳本生成器的錄制功能。
(2) 用戶在啟動(dòng)腳本生成器錄制功能后，就可以執(zhí)行對(duì)指定程序(用戶指定)的操作。
(3) 當(dāng)操作結(jié)束之后，腳本生成器根據(jù)用戶的操作自動(dòng)生成了相應(yīng)的腳本文件(該腳本文件是用一種具體的動(dòng)態(tài)類型腳本語言編寫，比如python)。執(zhí)行該腳本文件將重復(fù)從腳本生成器錄制功能啟動(dòng)到結(jié)束期間用戶所做的操作。用戶還可以通過'播放'來檢驗(yàn)自動(dòng)化操作內(nèi)容是否和啟動(dòng)腳本生成器錄制功能后對(duì)指定應(yīng)用所做的操作一致。如果一致可以保存該腳本文件。如果不一致，可以重新執(zhí)行步驟2或者選擇刪除該腳本文件并退出。
(4) 編輯者如果具備腳本語言相關(guān)的知識(shí)，還可以針對(duì)腳本文件的內(nèi)容做出修改，從而達(dá)到定制的功效。
(5) 獲取腳本文件后，用戶可以利用當(dāng)前手機(jī)上普遍存在的快捷鍵、快捷方式設(shè)置功能將腳本文件映射到該快捷鍵、快捷方式上或者設(shè)置為菜單項(xiàng)從而達(dá)到快捷啟動(dòng)腳本文件，執(zhí)行定制操作的功能。
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述。手機(jī)操作自動(dòng)化的方法在不同的應(yīng)用中(通訊錄，通話，文件瀏覽器，短消息等)可以得到不同的采用形式。在下面的描述中給出了該操作方法的通用模式以及在某個(gè)特定的應(yīng)用中如何采用這種操作方法。
圖1是對(duì)Gnome Accessibility體系結(jié)構(gòu)的一個(gè)描述，它是本發(fā)明所依賴的現(xiàn)有技術(shù)。該體系結(jié)構(gòu)的目的是在無障礙技術(shù)(對(duì)應(yīng)圖中AT client)和系統(tǒng)桌面及桌面應(yīng)用程序(對(duì)應(yīng)圖中GTK+/Gnome application)之間提供標(biāo)準(zhǔn)接口。 Gtk應(yīng)用程序依賴于GTK工具包，而GTK工具包通過加載GAIL來和ATK通信。ATK與AT-SPI通過一個(gè)動(dòng)態(tài)庫來通信。Accessibility Broker是一個(gè)守護(hù)進(jìn)程，協(xié)調(diào)識(shí)別AT-SPI協(xié)議的應(yīng)用程序和無障礙技術(shù)之間的通信。每個(gè)識(shí)別AT-SPI協(xié)議的應(yīng)用程序通過向broker注冊(cè)來提供自身的信息。無障礙技術(shù)向broker添加事件監(jiān)聽器以便應(yīng)用信息改變時(shí)得到通知或觸發(fā)應(yīng)用程序的某種行為(鍵盤事件、鼠標(biāo)事件等)。圖中，GAIL-GNOME Accessibility ImplementationLibrary (GNOME無障礙技術(shù)實(shí)現(xiàn)庫)，ATK - Accessibility Toolkit (無障礙工具集)，AT-SPI-Assistive Technology Service Provider Interface (輔助技術(shù)提供者界面)。
圖2是實(shí)現(xiàn)本發(fā)明的軟件結(jié)構(gòu)體系。圖中腳本生成器是用Python語言實(shí)現(xiàn)，主要由兩部分組成Python modules和PYSPI modules。 Python module部分主要實(shí)現(xiàn)功能界面和捕獲應(yīng)用中的可識(shí)別界面元素和鍵盤、鼠標(biāo)事件，并用python腳本描述。PYSPI modules部分負(fù)責(zé)和AT-SPI進(jìn)行通信。這樣腳本生成器經(jīng)由中間件(發(fā)明內(nèi)容中所述的七個(gè)軟件包)和應(yīng)用程序進(jìn)行交互，從而捕獲應(yīng)用操作過程中的鍵盤事件或鼠標(biāo)點(diǎn)擊事件及應(yīng)用中的可識(shí)別界面元素，并生成可執(zhí)行的腳本文件描述記錄；反過來執(zhí)行腳本文件，啟動(dòng)應(yīng)用，發(fā)送鍵盤或鼠標(biāo)點(diǎn)擊事件給應(yīng)用。
圖3是本發(fā)明中所闡述的腳本生成器的一個(gè)手機(jī)界面模型。圖中所示圖形界面由兩大部分組成，上面是功能按鈕，下面是腳本顯示區(qū)。功能按鍵包含四個(gè)按鈕，分別為錄制，播放，清除和保存.錄制鍵按下后，腳本生成器就成記錄狀態(tài)(此時(shí)錄制按鈕的顯示文本由錄制變成停止，請(qǐng)參看圖a、圖b)，這個(gè)時(shí)候，當(dāng)你對(duì)手機(jī)應(yīng)用的任何操作都會(huì)被腳本生成器記錄，并把同步生成的腳本文件的內(nèi)容在下方的腳本顯示區(qū)顯示出來。當(dāng)所要記錄的操作完成之后，就可以按下停止鍵，結(jié)束本次記錄工作。此操作之后，你可以選擇點(diǎn)擊播放鍵來重復(fù)剛才的應(yīng)用操作，或者點(diǎn)擊保存鍵來保存所生成的腳本文件。
圖4是本發(fā)明的一個(gè)實(shí)施例，說明了本發(fā)明的通用模式。當(dāng)手機(jī)用戶在主屏幕的頂層菜單(301)里選擇腳本生成器菜單項(xiàng)(321)的話，腳本生成器應(yīng)用程序(302)將會(huì)啟動(dòng)起來。如果用戶按下記錄按鈕(322)的話，腳本生成器應(yīng)用程序界面將隱藏，并開始執(zhí)行記錄功能。這個(gè)時(shí)候主界面(303)將顯示出來，這個(gè)時(shí)候就可以執(zhí)行用戶想要錄制的操作過程(包括鍵盤和觸摸事件)，啟動(dòng)某個(gè)應(yīng)用程序，執(zhí)行某個(gè)功能(304)。當(dāng)所要錄制的操作結(jié)束的時(shí)候，通過切換程序把腳本生成器應(yīng)用程序界面(305)調(diào)出來,并激活停止按鈕(323)結(jié)束錄制過程。這個(gè)時(shí)候用戶可以選擇保存操作(306， 324)，將彈出一對(duì)話框(307)，叫用戶選擇腳本保存方式(326)(是保存在菜單里還是保存為快捷方式)和填入腳本的名字(325)，并點(diǎn)擊確定左軟鍵結(jié)束操作。或者選擇播放操作(306)系統(tǒng)將自動(dòng)執(zhí)行剛才錄制期間所進(jìn)行的全部操作。
應(yīng)用1:該實(shí)例將該操作方法用到了設(shè)置應(yīng)用啟動(dòng)的快捷方式。譬如用戶會(huì)經(jīng)常用手機(jī)來收聽廣播。那么收音機(jī)這個(gè)應(yīng)用就會(huì)經(jīng)常被啟動(dòng)。在普通的操作模式下，用戶需要進(jìn)入菜單列表，然后導(dǎo)航到收音機(jī)圖標(biāo)，從而啟動(dòng)收音機(jī)程序，并選擇想要收聽的頻道。當(dāng)采用本發(fā)明所述的方法之后，用戶可以將上面所述的一系列操作錄制成腳本文件，然后可以通過一鍵撥號(hào)功能將該腳本文件映射到鍵盤的某個(gè)鍵上。這樣，用戶就只需要按該鍵來啟動(dòng)收音機(jī)，收聽自己設(shè)定的頻道。
應(yīng)用2:。該實(shí)例是將本發(fā)明所述操作方法應(yīng)用到盲人對(duì)手機(jī)的一種應(yīng)用上的具體描述。盲人在無人協(xié)助的情況下外出，容易迷失道路。當(dāng)其不知道身在何處，而當(dāng)場(chǎng)又沒人求救的情況下，盲人就需要通過手機(jī)來獲得救助。首先盲人可以通過手機(jī)的GPS裝置獲得GPS坐標(biāo)，然后進(jìn)入短消息，粘貼坐標(biāo)信息到短消息中，并把該求助短消息發(fā)送給能夠求助的人，等待救援。該過程需要多步操作，對(duì)盲人來說無法完成一系列操作，從而無法得到救助。當(dāng)采用本發(fā)明所述的方法把該系列的操作記錄為腳本文件，就可以在幾步操作或一鍵的操作下完成該任務(wù)。
權(quán)利要求
1、一種手機(jī)終端上的自動(dòng)化操作系統(tǒng)，包括可以接收用戶指令的硬件和軟件兩部分，其特征是將現(xiàn)有PC系統(tǒng)上已有的七款軟件AT-SPI enabled desktop、Python 2.3或更高版本、Rpm-python或python-apt、Xorg-x11-xinit、Gnome-python2-gconf、Pygtk2以及Xorg-x11-server-Xvfb在手機(jī)操作系統(tǒng)中編譯和安裝后，用python腳本語言實(shí)現(xiàn)腳本生成器，腳本生成器通過無障礙技術(shù)Accessibility technologies軟件和桌面應(yīng)用進(jìn)行通信，從而在操作桌面應(yīng)用程序的時(shí)候生成可以執(zhí)行的pythhon腳本文件，記錄應(yīng)用相關(guān)的系統(tǒng)事件和信息；在執(zhí)行腳本文件的時(shí)候，腳本生成器和桌面應(yīng)用進(jìn)行通信，將所記錄的系統(tǒng)事件發(fā)送給應(yīng)用，對(duì)桌面應(yīng)用程序進(jìn)行回放，實(shí)現(xiàn)手機(jī)的“識(shí)別記憶”和“回放”的自動(dòng)化操作。
2、 根據(jù)權(quán)利要求l所述的手機(jī)終端上的自動(dòng)化操作系統(tǒng)，其特征是手機(jī)界面上設(shè)有 功能區(qū)和腳本顯示區(qū)，功能區(qū)包含錄制/停止、播放、清除和保存按鍵.錄制鍵按下后， 腳本生成器就成記錄狀態(tài)，對(duì)手機(jī)應(yīng)用的任何操作都會(huì)被腳本生成器記錄，并把同步生成 的腳本文件的內(nèi)容在腳本顯示區(qū)顯示出來；當(dāng)所要記錄的操作完成之后，按下停止鍵，結(jié) 束本次記錄工作；此操作之后，點(diǎn)擊播放鍵來重復(fù)剛才的應(yīng)用操作或者點(diǎn)擊保存鍵來保存 所生成的腳本文件。
3、根據(jù)權(quán)利要求2所述的手機(jī)終端上的自動(dòng)化操作系統(tǒng)，其特征是獲取腳本文件后， 用戶利用當(dāng)前手機(jī)上普遍存在的快捷鍵、快捷方式設(shè)置功能將腳本文件映射到該快捷鍵、 快捷方式上或者設(shè)置為菜單項(xiàng)，從而達(dá)到快捷啟動(dòng)腳本文件，執(zhí)行定制操作。
全文摘要
一種手機(jī)終端上的自動(dòng)化操作系統(tǒng)，包括可以接收用戶指令的硬件和軟件兩部分，其特征是將現(xiàn)有PC上已經(jīng)存在的軟件在手機(jī)操作系統(tǒng)中編譯和安裝后，用python腳本語言實(shí)現(xiàn)腳本生成器，腳本生成器通過Accessibility technologies軟件和桌面應(yīng)用進(jìn)行通信，在操作桌面應(yīng)用程序的時(shí)候生成可以執(zhí)行的pythhon腳本文件，記錄應(yīng)用相關(guān)的系統(tǒng)事件和信息；在執(zhí)行腳本文件的時(shí)候，腳本生成器和桌面應(yīng)用進(jìn)行通信，將所記錄的系統(tǒng)事件發(fā)送給應(yīng)用，對(duì)桌面應(yīng)用程序進(jìn)行回放，實(shí)現(xiàn)手機(jī)的“識(shí)別記憶”和“回放”的自動(dòng)化操作。該系統(tǒng)能夠簡(jiǎn)化手機(jī)的功能操作尤其適合在盲人手機(jī)上采用，可以降低盲人在使用手機(jī)過程中操作出錯(cuò)的概率，使操作更加簡(jiǎn)化和有效。
文檔編號(hào)H04M1/725GK101645966SQ20091003473
公開日2010年2月10日 申請(qǐng)日期2009年9月4日 優(yōu)先權(quán)日2009年9月4日
發(fā)明者杜玉強(qiáng), 趙永良 申請(qǐng)人:三星電子(中國(guó))研發(fā)中心;三星電子株式會(huì)社