本發(fā)明涉及電子技術(shù)領(lǐng)域，尤其涉及一種基于android系統(tǒng)的讀屏方法及裝置。

背景技術(shù)：

隨著智能手機(jī)、平板電腦等計(jì)算機(jī)設(shè)備的快速普及，各種應(yīng)用程序也層出不窮，越來(lái)越多的用戶能夠真實(shí)感受到功能多樣的應(yīng)用程序帶來(lái)的生活便利和無(wú)線樂(lè)趣；但是，社會(huì)中還有一部分特殊群體也需要使用智能手機(jī)等計(jì)算機(jī)設(shè)備，那就是有一定功能障礙的人群，例如視障人群，尤其是全盲的視障群體，完全是靠耳朵聽取聲音來(lái)操作計(jì)算機(jī)。

在使用智能手機(jī)、平板電腦等終端設(shè)備的輔助操作功能(包括但不限于Voiceover、Talkback等讀屏軟件和其他類似功能的應(yīng)用)時(shí)，用戶界面元素及其功能會(huì)被提取出來(lái)并通過(guò)TTS(Text to Speech，文字轉(zhuǎn)語(yǔ)音技術(shù))把所選擇的文字用語(yǔ)音播放出來(lái)，以幫助用戶了解手機(jī)屏幕當(dāng)前顯示的內(nèi)容，給用戶帶來(lái)了更全面更豐富的使用體驗(yàn)，尤其是使得存在一定功能障礙的人群(例如視覺(jué)障礙的殘障人員、老年人等特殊群體)能夠無(wú)障礙的使用智能手機(jī)等終端設(shè)備。

一般的，應(yīng)用程序的用戶界面設(shè)計(jì)都會(huì)使用智能手機(jī)系統(tǒng)預(yù)先定義的一些控件和視圖，這樣智能手機(jī)中的輔助服務(wù)程序就可以讀取出用戶界面的界面信息。但是，現(xiàn)階段的很多應(yīng)用程序?yàn)榱颂峁└嘣慕缑嬖睾蛯?shí)現(xiàn)更全面的業(yè)務(wù)需求，都會(huì)自定義一些界面元素，而這類自定義的界面元素是無(wú)法被智能手機(jī)中的輔助服務(wù)程序所讀取的，這就導(dǎo)致存在一定視覺(jué)功能障礙的人群無(wú)法完整的獲取用戶界面展示的界面元素，從而可能造成視覺(jué)功能障礙的人群無(wú)法正常使用應(yīng)用程序的部分功能。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例所要解決的技術(shù)問(wèn)題在于，提供一種基于android系統(tǒng)的讀屏方法及裝置，解決視覺(jué)功能障礙的人群在android系統(tǒng)中無(wú)法完整的獲取用戶界面展示的界面元素的問(wèn)題。

本發(fā)明實(shí)施例提供了一種基于android系統(tǒng)的讀屏方法，所述方法包括：

檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程；

將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息；

獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息；

調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)；

輸出所述語(yǔ)音數(shù)據(jù)。

可選的，所述將預(yù)存的界面展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程包括：

將所述界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面信息展示代碼以向所述讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息；

所述獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面信息包括：

獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息；

根據(jù)所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息，確定所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

可選的，所述檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程之前，還包括：

檢測(cè)終端是否具備動(dòng)態(tài)注入的系統(tǒng)權(quán)限；

若所述終端具備所述系統(tǒng)權(quán)限，則執(zhí)行所述檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程步驟。

可選的，所述方法還包括：

若所述終端不具備所述系統(tǒng)權(quán)限，則通過(guò)所述終端系統(tǒng)中的界面展示輔助服務(wù)程序獲取用戶當(dāng)前正在操作的用戶界面對(duì)應(yīng)的界面元素信息。

可選的，所述界面元素信息包括界面控件信息和界面視圖信息中的至少一個(gè)。

相應(yīng)的，本發(fā)明實(shí)施例還提供了一種基于android系統(tǒng)的讀屏裝置，所述裝置包括：

第一檢測(cè)模塊，用于檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程；

注入模塊，用于將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息；

第一獲取模塊，用于獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息；

轉(zhuǎn)換模塊，用于調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)；

輸出模塊，用于輸出所述語(yǔ)音數(shù)據(jù)。

可選的，所述注入模塊用于：

將所述界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向所述讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息；

所述第一獲取模塊包括：

獲取單元，用于獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息；

確定單元，用于根據(jù)所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息，確定所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

可選的，所述裝置還包括：

第二檢測(cè)模塊，用于檢測(cè)終端是否具備動(dòng)態(tài)注入的系統(tǒng)權(quán)限；

若所述終端具備所述系統(tǒng)權(quán)限，則調(diào)用第一檢測(cè)模塊執(zhí)行所述檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程步驟。

可選的，所述裝置還包括：

第二獲取模塊，用于若所述終端不具備所述系統(tǒng)權(quán)限，則通過(guò)所述終端系統(tǒng)中的界面展示輔助服務(wù)程序獲取用戶當(dāng)前正在操作的用戶界面對(duì)應(yīng)的界面元素信息。

可選的，所述界面元素信息包括界面控件信息和界面視圖信息中的至少一個(gè)。

本發(fā)明實(shí)施例通過(guò)檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程，將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)，輸出所述語(yǔ)音數(shù)據(jù)，可以解決視覺(jué)功能障礙的人群在android系統(tǒng)中無(wú)法完整的獲取用戶界面展示的界面元素的問(wèn)題。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種基于android系統(tǒng)的讀屏方法的流程示意圖；

圖2為本發(fā)明實(shí)施例提供的另一種基于android系統(tǒng)的讀屏方法的流程示意圖；

圖3為本發(fā)明實(shí)施例提供的一種目標(biāo)進(jìn)程對(duì)應(yīng)的用戶界面的示例圖；

圖4為本發(fā)明實(shí)施例提供的一種讀屏情景示例圖；

圖5為本發(fā)明實(shí)施例提供的一種基于android系統(tǒng)的讀屏裝置的組成結(jié)構(gòu)圖；

圖6為本發(fā)明實(shí)施例中圖5的第一獲取模塊的組成結(jié)構(gòu)圖；

圖7為本發(fā)明實(shí)施例提供的另一種基于android系統(tǒng)的讀屏裝置的組成結(jié)構(gòu)圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1為本發(fā)明實(shí)施例提供的一種基于android系統(tǒng)的讀屏方法的流程示意圖，本方法流程可以由基于android系統(tǒng)的讀屏裝置實(shí)施，所述基于android系統(tǒng)的讀屏裝置可以為用戶終端或運(yùn)行在用戶終端的軟件程序，所述用戶終端可以包括手機(jī)、筆記本電腦、平板電腦、車載電腦、POS(Point Of Sales，銷售點(diǎn))機(jī)等。如圖所示所述方法至少包括：

步驟S101，檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程。

具體的，當(dāng)終端開啟一個(gè)應(yīng)用程序時(shí)，會(huì)在內(nèi)存中新建一個(gè)該應(yīng)用程序的進(jìn)程，例如，用戶打開微信，終端則會(huì)建立一個(gè)關(guān)于微信的進(jìn)程；用戶打開滴滴出行，終端則會(huì)建立一個(gè)關(guān)于滴滴出行的進(jìn)程。目標(biāo)進(jìn)程就是用戶當(dāng)前正在操作的應(yīng)用程序的進(jìn)程，該目標(biāo)進(jìn)程可以對(duì)應(yīng)一個(gè)用戶當(dāng)前正在操作的界面。具體來(lái)說(shuō)，終端可以通過(guò)后臺(tái)的進(jìn)程管理系統(tǒng)來(lái)實(shí)時(shí)的檢測(cè)用戶正在操作的應(yīng)用程序的目標(biāo)進(jìn)程。

步驟S102，將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

具體的，界面元素展示代碼是一段可以使目標(biāo)進(jìn)程向讀屏應(yīng)用程序展示目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息的程序。其中，界面元素信息是指當(dāng)前運(yùn)行的目標(biāo)進(jìn)程對(duì)應(yīng)的用戶界面中的所有元素的信息，可選的，所述界面元素信息包括界面控件信息和界面視圖信息中的至少一個(gè)。讀屏應(yīng)用程序包括但不限于Talkback等讀屏軟件和其他類似功能的應(yīng)用。

具體實(shí)施中，終端將界面元素展示代碼注入目標(biāo)進(jìn)程后，目標(biāo)進(jìn)程就可以后臺(tái)運(yùn)行該界面元素展示代碼，運(yùn)行之后就可以將目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息展示給讀屏應(yīng)用程序。也可以說(shuō)，界面元素展示代碼的作用是使目標(biāo)進(jìn)程向讀屏應(yīng)用程序開放讀取目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息的權(quán)限，即之前讀屏應(yīng)用程序是無(wú)法獲取目標(biāo)應(yīng)用程序?qū)?yīng)的界面元素信息的，而運(yùn)行界面元素展示代碼后，就獲得了閱讀目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息的權(quán)限。

舉例來(lái)說(shuō)，如圖3所示，終端當(dāng)前的目標(biāo)進(jìn)程正在運(yùn)行的是滴滴出行的選擇出行時(shí)間界面，當(dāng)終端的讀屏應(yīng)用程序?qū)⒔缑嬖卣故敬a動(dòng)態(tài)注入該目標(biāo)進(jìn)程時(shí)，目標(biāo)進(jìn)程則運(yùn)行該界面元素展示代碼，從而將圖3中選擇出行時(shí)間界面對(duì)應(yīng)的界面視圖信息、界面控件信息等展示給讀屏應(yīng)用程序。

需要說(shuō)明的是，這里的界面元素展示代碼可以有多個(gè)，針對(duì)不同的應(yīng)用程序以及不同的應(yīng)用程序中的目標(biāo)進(jìn)程，界面元素展示代碼是可以不同的。

步驟S103，獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

具體的，向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息后，終端的讀屏應(yīng)用程序就可以獲取目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

可選的，步驟S102可以為：

將所述界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面信息展示代碼以向所述讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息。

在可選實(shí)施例中，界面元素展示代碼是一段可以使目標(biāo)進(jìn)程向讀屏應(yīng)用程序展示目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息的程序。其中，界面函數(shù)信息是指當(dāng)前運(yùn)行的目標(biāo)進(jìn)程對(duì)應(yīng)的用戶界面中用戶界面繪制的內(nèi)部函數(shù)信息。

相應(yīng)的，步驟S103可以包括：

獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息。

具體的，向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息后，終端的讀屏應(yīng)用程序就可以獲取目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息。

根據(jù)所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息，確定所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

具體的，目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息中包括多種類型的用戶界面繪制函數(shù)，終端的讀屏應(yīng)用程序可以根據(jù)不同的函數(shù)類型預(yù)設(shè)對(duì)應(yīng)的算法，通過(guò)這些算法，可以根據(jù)界面函數(shù)信息確定出目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，也就是說(shuō)，可以通過(guò)預(yù)設(shè)的一定算法，從界面函數(shù)信息推導(dǎo)或者轉(zhuǎn)化出界面元素信息。

步驟S104，調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)。

具體的，在確定了界面元素信息之后，終端的讀屏應(yīng)用程序通過(guò)調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎，即TTS(Text To Speech，文本轉(zhuǎn)語(yǔ)音技術(shù))將界面元素信息轉(zhuǎn)換成語(yǔ)音數(shù)據(jù)。例如，如圖3所示的目標(biāo)進(jìn)程對(duì)應(yīng)的用戶界面，該用戶界面的界面元素信息中可以包含上下滑動(dòng)數(shù)字改變預(yù)約時(shí)間數(shù)值的界面控件信息，也可以包括取消按鈕和確定按鈕的界面控件信息，還可以包括“選擇出行時(shí)間”的界面視圖信息。那么終端的讀屏軟件可以獲取這些界面元素信息，并通過(guò)TTS將界面元素信息轉(zhuǎn)換成語(yǔ)音數(shù)據(jù)。

步驟S105，輸出所述語(yǔ)音數(shù)據(jù)。

具體的，通過(guò)揚(yáng)聲器或者耳機(jī)等設(shè)備將界面元素信息轉(zhuǎn)換出的語(yǔ)音數(shù)據(jù)播放出來(lái)。例如，如圖4所示，若用戶經(jīng)過(guò)點(diǎn)擊或滑動(dòng)等操作確定選中確定按鈕，則讀屏應(yīng)用程序則可以輸出“確定按鈕”的語(yǔ)音數(shù)據(jù)。

本發(fā)明實(shí)施例通過(guò)檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程，將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)，輸出所述語(yǔ)音數(shù)據(jù)，可以解決視覺(jué)功能障礙的人群在android系統(tǒng)中無(wú)法完整的獲取用戶界面展示的界面元素的問(wèn)題。

圖2為本發(fā)明實(shí)施例提供的另一種基于android系統(tǒng)的讀屏方法的流程示意圖，所述方法包括：

步驟S201，檢測(cè)終端是否具備動(dòng)態(tài)注入的系統(tǒng)權(quán)限。

具體的，并不是任何終端的讀屏應(yīng)用程序都可以實(shí)現(xiàn)動(dòng)態(tài)注入，在進(jìn)行動(dòng)態(tài)注入操作之前，需要檢測(cè)該終端是否具備動(dòng)態(tài)注入的系統(tǒng)權(quán)限。具體來(lái)說(shuō)，終端如果具備動(dòng)態(tài)注入的系統(tǒng)權(quán)限可能有兩種情況，一種是終端對(duì)包括動(dòng)態(tài)注入在內(nèi)的一些功能開放了權(quán)限，另一種則是終端對(duì)所有針對(duì)終端的系統(tǒng)操作都開放了權(quán)限，例如android系統(tǒng)中的root超級(jí)用戶權(quán)限。

步驟S202，若所述終端具備所述系統(tǒng)權(quán)限，則檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程，并執(zhí)行步驟S204。

具體方法可以參考步驟S101。

步驟S203，若所述終端不具備所述系統(tǒng)權(quán)限，則通過(guò)所述終端系統(tǒng)中的界面展示輔助服務(wù)程序獲取用戶當(dāng)前正在操作的用戶界面對(duì)應(yīng)的界面元素信息，并執(zhí)行步驟S206。

具體的，如果檢測(cè)出終端不具備動(dòng)態(tài)注入的系統(tǒng)權(quán)限，那么終端的讀屏應(yīng)用程序就不能夠通過(guò)動(dòng)態(tài)注入的方式獲取到目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，此時(shí)，終端可以通過(guò)終端系統(tǒng)內(nèi)自帶的界面展示輔助服務(wù)程序來(lái)獲取用戶當(dāng)前正在操作的用戶界面對(duì)應(yīng)的界面元素信息。例如，界面展示輔助服務(wù)程序可以是android系統(tǒng)中自帶的accessibility service，accessibility service可以識(shí)別出目標(biāo)應(yīng)用程序?qū)?yīng)的用戶界面中繼承了預(yù)設(shè)的無(wú)障礙屬性的界面控件信息、界面視圖信息等用戶界面信息，也就是說(shuō)，終端的讀屏軟件可以通過(guò)accessibility service獲取到用戶界面中未經(jīng)過(guò)自定義的所有元素的界面元素信息。

步驟S204，將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

具體方法可以參考步驟S102。

步驟S205，獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

具體方法可以參考步驟S103。

步驟S206，調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)。

具體方法可以參考步驟S104。

步驟S207，輸出所述語(yǔ)音數(shù)據(jù)。

具體方法可以參考步驟S105。

本發(fā)明實(shí)施例通過(guò)檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程，將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)，輸出所述語(yǔ)音數(shù)據(jù)，可以解決視覺(jué)功能障礙的人群在android系統(tǒng)中無(wú)法完整的獲取用戶界面展示的界面元素的問(wèn)題。

圖5為本發(fā)明實(shí)施例提供的一種基于android系統(tǒng)的讀屏裝置的組成結(jié)構(gòu)圖，所述裝置包括：

第一檢測(cè)模塊510，用于檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程；

注入模塊520，用于將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息；

第一獲取模塊530，用于獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息；

轉(zhuǎn)換模塊540，用于調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)；

輸出模塊550，用于輸出所述語(yǔ)音數(shù)據(jù)。

可選的，所述注入模塊520用于：

將所述界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向所述讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息；

所述第一獲取模塊530包括獲取單元531和確定單元532，如圖6所示，其中：

獲取單元531，用于獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息；

確定單元532，用于根據(jù)所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息，確定所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

可選的，所述裝置還包括：

第二檢測(cè)模塊560，用于檢測(cè)終端是否具備動(dòng)態(tài)注入的系統(tǒng)權(quán)限；

若所述終端具備所述系統(tǒng)權(quán)限，則調(diào)用第一檢測(cè)模塊510執(zhí)行所述檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程步驟。

可選的，所述裝置還包括：

第二獲取模塊570，用于若所述終端不具備所述系統(tǒng)權(quán)限，則通過(guò)所述終端系統(tǒng)中的界面展示輔助服務(wù)程序獲取用戶當(dāng)前正在操作的用戶界面對(duì)應(yīng)的界面元素信息。

可選的，所述界面元素信息包括界面控件信息和界面視圖信息中的至少一個(gè)。

本發(fā)明實(shí)施例通過(guò)檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程，將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息，調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)，輸出所述語(yǔ)音數(shù)據(jù)，可以解決視覺(jué)功能障礙的人群在android系統(tǒng)中無(wú)法完整的獲取用戶界面展示的界面元素的問(wèn)題。

圖7為本發(fā)明實(shí)施例提供的另一種基于android系統(tǒng)的讀屏裝置的組成結(jié)構(gòu)圖。本實(shí)施例中所描述的裝置包括：至少一個(gè)輸入設(shè)備1000；至少一個(gè)輸出設(shè)備2000；至少一個(gè)處理器3000，例如CPU；和存儲(chǔ)器4000，上述輸入設(shè)備1000、輸出設(shè)備2000、處理器3000以及存儲(chǔ)器4000通過(guò)總線5000連接。

其中，上述輸入設(shè)備1000具體可為終端的觸控面板、物理按鍵、鼠標(biāo)、麥克風(fēng)或者攝像頭，用于獲取終端用戶輸入的操作指令。

上述輸出設(shè)備2000具體可為終端的顯示屏、揚(yáng)聲器、有線或無(wú)線耳機(jī)，用于輸出、顯示圖像數(shù)據(jù)和音頻數(shù)據(jù)(語(yǔ)音數(shù)據(jù))?？蛇x的，輸出設(shè)備中可以包括標(biāo)準(zhǔn)耳機(jī)接口或者無(wú)線接口，以使裝置的處理器3000可以將語(yǔ)音數(shù)據(jù)通過(guò)標(biāo)準(zhǔn)耳機(jī)接口或者無(wú)線接口向耳機(jī)輸出。

上述存儲(chǔ)器4000可以是高速RAM存儲(chǔ)器，也可為非不穩(wěn)定的存儲(chǔ)器(non-volatile memory)，例如磁盤存儲(chǔ)器。上述存儲(chǔ)器4000用于存儲(chǔ)一組程序代碼，上述輸入設(shè)備1000、輸出設(shè)備2000和處理器3000用于調(diào)用存儲(chǔ)器4000中存儲(chǔ)的程序代碼，執(zhí)行如下操作：

上述處理器3000用于：

檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程；

將預(yù)存的界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面元素展示代碼以向讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息；

獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息；

調(diào)用終端系統(tǒng)中的文字轉(zhuǎn)語(yǔ)音引擎將所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)；

輸出所述語(yǔ)音數(shù)據(jù)。

可選的，上述存儲(chǔ)器4000將預(yù)存的界面展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程時(shí)，具體用于：

將所述界面元素展示代碼動(dòng)態(tài)注入所述目標(biāo)進(jìn)程，以使所述目標(biāo)進(jìn)程運(yùn)行所述界面信息展示代碼以向所述讀屏應(yīng)用程序展示所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息；

則上述存儲(chǔ)器4000獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面信息時(shí)，具體用于：

獲取所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息；

根據(jù)所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面函數(shù)信息，確定所述目標(biāo)進(jìn)程對(duì)應(yīng)的界面元素信息。

可選的，上述存儲(chǔ)器4000檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程之前，還用于：

檢測(cè)終端是否具備動(dòng)態(tài)注入的系統(tǒng)權(quán)限；

若所述終端具備所述系統(tǒng)權(quán)限，則執(zhí)行所述檢測(cè)用戶當(dāng)前正在操作的應(yīng)用程序的目標(biāo)進(jìn)程步驟。

可選的，上述存儲(chǔ)器4000還用于：

若所述終端不具備所述系統(tǒng)權(quán)限，則通過(guò)所述終端系統(tǒng)中的界面展示輔助服務(wù)程序獲取用戶當(dāng)前正在操作的用戶界面對(duì)應(yīng)的界面元素信息。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為了描述的方便和簡(jiǎn)潔，上述描述的裝置和模塊的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程，在此不再贅述。在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的裝置和方法，可以通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如若干個(gè)模塊或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口、裝置或單元的間接耦合或通信連接，也可以是電的，機(jī)械的或其它的形式連接。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能模塊可以集成在一個(gè)第一處理模塊中，也可以是各個(gè)模塊單獨(dú)物理存在，也可以是兩個(gè)或兩個(gè)以上模塊集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分，或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM，Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所揭露的僅為本發(fā)明較佳實(shí)施例而已，當(dāng)然不能以此來(lái)限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。