屏幕圖像的識(shí)別方法及裝置的制造方法【專(zhuān)利摘要】本申請(qǐng)公開(kāi)了屏幕圖像的識(shí)別方法及裝置。所述方法的一【具體實(shí)施方式】包括：獲取終端屏幕的截屏圖像；獲取截屏圖像中的待識(shí)別區(qū)域的位置指示信息，并根據(jù)位置指示信息從截屏圖像中選取待識(shí)別區(qū)域圖像；將待識(shí)別區(qū)域圖像的圖像格式轉(zhuǎn)換為預(yù)定的第三方圖像識(shí)別應(yīng)用支持的圖像格式；通過(guò)支持第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像；根據(jù)第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定待識(shí)別區(qū)域圖像包含的圖像。該實(shí)施方式將屏幕圖像的截屏圖像的圖像格式轉(zhuǎn)換為第三方圖像識(shí)別應(yīng)用支持的圖像格式，通過(guò)調(diào)用接口直接調(diào)用第三方圖像識(shí)別應(yīng)用，能夠?qū)崿F(xiàn)對(duì)屏幕圖像的快速準(zhǔn)確識(shí)別?！緦?zhuān)利說(shuō)明】屏幕圖像的識(shí)別方法及裝置
技術(shù)領(lǐng)域：
[0001]本申請(qǐng)涉及圖像處理
技術(shù)領(lǐng)域：
，具體涉及圖像識(shí)別
技術(shù)領(lǐng)域：
，尤其涉及屏幕圖像的識(shí)別方法及裝置?！?br>背景技術(shù)：
】[0002]隨著科技的發(fā)展，各種智能電子設(shè)備為人們的工作和生活帶來(lái)了極大便利。智能電子設(shè)備通過(guò)軟件來(lái)實(shí)現(xiàn)各種功能，軟件通常包括大量的圖片信息和文字信息，為了實(shí)現(xiàn)指定的功能，需要軟件開(kāi)發(fā)人員對(duì)軟件驗(yàn)證，以保證軟件的正常工作。[0003]然而，現(xiàn)有的驗(yàn)證軟件的方法還存在一些不足。例如，在軟件驗(yàn)證的過(guò)程中，需要對(duì)軟件包含的大量圖片信息、圖標(biāo)信息和文字信息進(jìn)行驗(yàn)證，現(xiàn)有的方法多是采用人工的方法驗(yàn)證，這就導(dǎo)致在驗(yàn)證軟件的過(guò)程中出現(xiàn)驗(yàn)證錯(cuò)誤率較高的問(wèn)題；同時(shí)，智能設(shè)備上的不同軟件之間存在很多相似的圖片和文字，因此，在智能電子設(shè)備的屏幕上驗(yàn)證圖片信息或文字信息時(shí)，驗(yàn)證的錯(cuò)誤率更高?！?br/>發(fā)明內(nèi)容】[0004]本申請(qǐng)?zhí)峁┝似聊粓D像的識(shí)別方法及裝置，以解決【
背景技術(shù)：
】中提到的技術(shù)問(wèn)題。[0005]第一方面，本申請(qǐng)?zhí)峁┝艘环N屏幕圖像的識(shí)別方法，所述方法包括:獲取終端屏幕的截屏圖像;獲取所述截屏圖像中的待識(shí)別區(qū)域的位置指示信息，并根據(jù)所述位置指示信息從所述截屏圖像中選取待識(shí)別區(qū)域圖像;將所述待識(shí)別區(qū)域圖像的圖像格式轉(zhuǎn)換為預(yù)定的第三方圖像識(shí)別應(yīng)用支持的圖像格式;通過(guò)支持所述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用所述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像;根據(jù)所述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定所述待識(shí)別區(qū)域圖像包含的圖像。[0006]在一些實(shí)施例中，所述根據(jù)所述位置指示信息從所述截屏圖像中選取待識(shí)別區(qū)域圖像包括:從所述位置指示信息中解析出待識(shí)別區(qū)域圖像在所述截屏圖像中的起始坐標(biāo)信息和區(qū)域大小信息;根據(jù)所述起始坐標(biāo)信息和區(qū)域大小信息選取待識(shí)別區(qū)域圖像。[0007]在一些實(shí)施例中，所述通過(guò)支持所述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用所述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像包括:通過(guò)所述調(diào)用接口將圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像導(dǎo)入所述第三方圖像識(shí)別應(yīng)用;接收所述第三方圖像識(shí)別應(yīng)用發(fā)來(lái)的與所述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。[0008]在一些實(shí)施例中，所述圖像識(shí)別結(jié)果信息包括所述第三方圖像識(shí)別應(yīng)用識(shí)別出的與所述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。[0009]在一些實(shí)施例中，所述根據(jù)所述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定所述待識(shí)別區(qū)域圖像包含的圖像包括:當(dāng)所述識(shí)別圖像為多個(gè)時(shí)，按所述識(shí)別圖像與待識(shí)別區(qū)域圖像之間的相似度來(lái)確定所述待識(shí)別區(qū)域圖像包含的圖像。[0010]在一些實(shí)施例中，所述方法還包括:獲取調(diào)用接口的步驟，包括:獲取第三方圖像識(shí)別應(yīng)用的應(yīng)用程序編程接口信息；將用于識(shí)別圖像的應(yīng)用程序編程接口封裝成調(diào)用接□O[0011]第二方面，本申請(qǐng)?zhí)峁┝艘环N屏幕圖像的識(shí)別裝置，所述裝置包括:截屏圖像獲取單元，用于獲取終端屏幕的截屏圖像;待識(shí)別區(qū)域圖像獲取單元，用于獲取所述截屏圖像中的待識(shí)別區(qū)域的位置指示信息，并根據(jù)所述位置指示信息從所述截屏圖像中選取待識(shí)別區(qū)域圖像；圖像格式轉(zhuǎn)換單元，用于將所述待識(shí)別區(qū)域圖像的圖像格式轉(zhuǎn)換為預(yù)定的第三方圖像識(shí)別應(yīng)用支持的圖像格式;待識(shí)別區(qū)域圖像識(shí)別單元，用于通過(guò)支持所述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用所述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像;待識(shí)別區(qū)域圖像確定單元，用于根據(jù)所述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定所述待識(shí)別區(qū)域圖像包含的圖像。[0012]在一些實(shí)施例中，所述待識(shí)別區(qū)域圖像獲取單元包括:位置指示信息解析子單元，用于從所述位置指示信息中解析出待識(shí)別區(qū)域圖像在所述截屏圖像中的起始坐標(biāo)信息和區(qū)域大小信息；待識(shí)別區(qū)域圖像獲取子單元，用于根據(jù)所述起始坐標(biāo)信息和區(qū)域大小信息選取待識(shí)別區(qū)域圖像。[0013]在一些實(shí)施例中，所述待識(shí)別區(qū)域圖像識(shí)別單元包括:圖像導(dǎo)入子單元，用于通過(guò)所述調(diào)用接口將圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像導(dǎo)入所述第三方圖像識(shí)別應(yīng)用；圖像接收子單元，用于接收所述第三方圖像識(shí)別應(yīng)用發(fā)來(lái)的與所述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。[0014]在一些實(shí)施例中，所述圖像識(shí)別結(jié)果信息包括所述第三方圖像識(shí)別應(yīng)用識(shí)別出的與所述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。[0015]在一些實(shí)施例中，所述待識(shí)別區(qū)域圖像確定單元包括:待識(shí)別區(qū)域圖像確定子單元，用于在所述識(shí)別圖像為多個(gè)時(shí)，按所述識(shí)別圖像與待識(shí)別區(qū)域圖像之間的相似度來(lái)確定所述待識(shí)別區(qū)域圖像包含的圖像。[0016]在一些實(shí)施例中，所述裝置還包括:調(diào)用接口獲取單元，用于獲取調(diào)用接口，包括:接口信息獲取子單元，用于獲取第三方圖像識(shí)別應(yīng)用的應(yīng)用程序編程接口信息；調(diào)用接口獲取子單元，用于將用于識(shí)別圖像的應(yīng)用程序編程接口封裝成調(diào)用接口。[0017]本申請(qǐng)?zhí)峁┑钠聊粓D像的識(shí)別方法及裝置，將屏幕圖像的截屏圖像的圖像格式轉(zhuǎn)換為第三方圖像識(shí)別應(yīng)用支持的圖像格式，通過(guò)調(diào)用接口直接調(diào)用第三方圖像識(shí)別應(yīng)用，能夠?qū)崿F(xiàn)對(duì)屏幕圖像的快速準(zhǔn)確識(shí)別?！靖綀D說(shuō)明】[0018]通過(guò)閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本申請(qǐng)的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:[0019]圖1是本申請(qǐng)可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖；[0020]圖2a是根據(jù)本申請(qǐng)的屏幕圖像的識(shí)別方法一個(gè)實(shí)施例的流程圖；[0021]圖2b是根據(jù)本申請(qǐng)的調(diào)用第三方圖像識(shí)別應(yīng)用識(shí)別圖像的流程圖；[0022]圖3是根據(jù)本申請(qǐng)的屏幕圖像的識(shí)別方法一個(gè)實(shí)施例的應(yīng)用場(chǎng)景的一個(gè)示意圖；[0023]圖4是根據(jù)本申請(qǐng)的屏幕圖像的識(shí)別裝置的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；[0024]圖5是根據(jù)本申請(qǐng)的服務(wù)器的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖?！揪唧w實(shí)施方式】[0025]下面結(jié)合附圖和實(shí)施例對(duì)本申請(qǐng)作進(jìn)一步的詳細(xì)說(shuō)明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅僅用于解釋相關(guān)發(fā)明，而非對(duì)該發(fā)明的限定。另外還需要說(shuō)明的是，為了便于描述，附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。[0026]需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本申請(qǐng)。[0027]圖1示出了可以應(yīng)用本申請(qǐng)的屏幕圖像的識(shí)別方法或屏幕圖像的識(shí)別裝置的實(shí)施例的示例性系統(tǒng)架構(gòu)100。[0028]如圖1所示，系統(tǒng)架構(gòu)100可以包括測(cè)試設(shè)備101、終端設(shè)備102、服務(wù)器103和網(wǎng)絡(luò)104。網(wǎng)絡(luò)104用以在測(cè)試設(shè)備101、終端設(shè)備102和服務(wù)器103之間提供通信鏈路的介質(zhì)。網(wǎng)絡(luò)104可以包括各種連接類(lèi)型，例如有線、無(wú)線通信鏈路或者光纖電纜等等。[0029]用戶可以使用測(cè)試設(shè)備101通過(guò)網(wǎng)絡(luò)104與終端設(shè)備102交互，以發(fā)送或接收信息等。測(cè)試設(shè)備101上可以安裝有各種通訊客戶端應(yīng)用，例如網(wǎng)頁(yè)瀏覽器應(yīng)用、搜索類(lèi)應(yīng)用、SP時(shí)通信工具、截圖應(yīng)用等。[0030]測(cè)試設(shè)備101可以是具有顯示屏并且支持信息傳遞的各種電子設(shè)備，包括但不限于平板電腦、膝上型便攜計(jì)算機(jī)和臺(tái)式計(jì)算機(jī)等等。[0031]服務(wù)器103可以是提供各種服務(wù)的服務(wù)器，例如對(duì)測(cè)試設(shè)備101發(fā)來(lái)的圖像提供支持的圖像識(shí)別應(yīng)用服務(wù)器。圖像識(shí)別應(yīng)用服務(wù)器可以對(duì)接收到圖像等數(shù)據(jù)進(jìn)行分析等處理，并將處理結(jié)果(例如圖像識(shí)別結(jié)果信息)反饋給測(cè)試設(shè)備101。[0032]需要說(shuō)明的是，本申請(qǐng)實(shí)施例所提供的屏幕圖像的識(shí)別方法一般由測(cè)試設(shè)備101執(zhí)行，相應(yīng)地，屏幕圖像的識(shí)別裝置一般設(shè)置于測(cè)試設(shè)備101中。[0033]應(yīng)該理解，圖1中的測(cè)試設(shè)備、終端設(shè)備和服務(wù)器的數(shù)目?jī)H僅是示意性的。根據(jù)實(shí)現(xiàn)需要，可以具有任意數(shù)目的測(cè)試設(shè)備、終端設(shè)備和服務(wù)器。[0034]圖2a，其示出了一種屏幕圖像的識(shí)別方法的一個(gè)實(shí)施例的流程圖200，該屏幕圖像的識(shí)別方法包括:[0035]步驟201，獲取終端屏幕的截屏圖像。[0036]在本實(shí)施例中，用戶所使用的電子設(shè)備(例如圖1所示的測(cè)試設(shè)備)可以通過(guò)有線或無(wú)線的方式獲取終端屏幕的截屏圖像。對(duì)屏幕圖像進(jìn)行識(shí)別前，需要測(cè)試設(shè)備先獲取屏幕的截屏圖像。通常，測(cè)試設(shè)備可以通過(guò)指令獲取終端屏幕的某個(gè)截屏圖像。獲取的方式可以是獲取某一時(shí)刻的截屏圖像(如軟件啟動(dòng)時(shí)的截屏圖像或軟件推出時(shí)的截屏圖像)、間隔設(shè)定時(shí)間的截屏圖像;還可以在軟件中設(shè)置截屏出發(fā)命令，當(dāng)滿足某一條件時(shí)自動(dòng)獲取截屏圖像，例如，當(dāng)檢測(cè)到軟件播放音樂(lè)時(shí)獲取截屏圖像。[0037]步驟202，獲取上述截屏圖像中的待識(shí)別區(qū)域的位置指示信息，并根據(jù)上述位置指示信息從上述截屏圖像中選取待識(shí)別區(qū)域圖像。[0038]截屏圖像通常會(huì)包含多個(gè)具體的圖標(biāo)，例如，在智能手機(jī)的應(yīng)用顯示界面上獲取截屏圖像時(shí)，截屏圖像會(huì)包含多個(gè)應(yīng)用的圖標(biāo)，例如:視頻應(yīng)用的圖標(biāo)、閱讀應(yīng)用的圖標(biāo)、地圖應(yīng)用的圖標(biāo)和游戲應(yīng)用的圖標(biāo);在某一應(yīng)用打開(kāi)后獲取截屏圖像時(shí)，截屏圖像會(huì)包含多個(gè)應(yīng)用中的圖標(biāo)，例如，游戲應(yīng)用的人物圖標(biāo)、物品圖標(biāo)、路線圖標(biāo)，其中，人物圖標(biāo)、物品圖標(biāo)還可能是動(dòng)圖。在應(yīng)用顯示界面上或軟件設(shè)計(jì)中，這些圖標(biāo)都應(yīng)該出現(xiàn)在一定的位置，因此，需要獲取位置指示信息，并根據(jù)位置指示信息獲取待識(shí)別區(qū)域圖像，其中，待識(shí)別區(qū)域圖像應(yīng)該包含有特定的圖標(biāo)，即應(yīng)該出現(xiàn)在待識(shí)別區(qū)域圖像的圖標(biāo)。[0039]在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中，根據(jù)上述位置指示信息從上述截屏圖像中選取待識(shí)別區(qū)域圖像可以包括以下步驟:[0040]第一步，從上述位置指示信息中解析出待識(shí)別區(qū)域圖像在上述截屏圖像中的起始坐標(biāo)信息和區(qū)域大小信息。其中，起始坐標(biāo)信息通常是平面坐標(biāo)系的(X，y)坐標(biāo)，區(qū)域大小信息通常包括長(zhǎng)度信息和寬度信息。[0041]通常，截屏圖像為一矩形圖像，從截屏圖像上獲取待識(shí)別區(qū)域圖像就需要對(duì)待識(shí)別區(qū)域圖像進(jìn)行定位。實(shí)際中，可以將截屏圖像的特定位置作為參考位置，例如，將截屏圖像轉(zhuǎn)換為像素矩陣，將像素矩陣的第一行第一列的像素作為坐標(biāo)原點(diǎn)。以距離坐標(biāo)原點(diǎn)的另一個(gè)坐標(biāo)點(diǎn)作為待識(shí)別區(qū)域圖像的起始點(diǎn)，在該起始點(diǎn)處獲取設(shè)定大小的待識(shí)別區(qū)域圖像。[0042]位置指示信息用于表明待識(shí)別區(qū)域圖像在截屏圖像中的位置信息(對(duì)應(yīng)起始坐標(biāo)信息)和區(qū)域大小信息。需要說(shuō)明的是，在軟件測(cè)試的過(guò)程中，軟件中的某一圖像或圖標(biāo)的位置可能隨屏幕的大小或長(zhǎng)寬比例發(fā)生，待識(shí)別區(qū)域圖像在截屏圖像中的位置信息和區(qū)域大小信息會(huì)對(duì)應(yīng)的發(fā)生變化。[0043]第二步，根據(jù)上述起始坐標(biāo)信息和區(qū)域大小信息選取待識(shí)別區(qū)域圖像。[0044]解析出起始坐標(biāo)信息和區(qū)域大小信息后，以起始坐標(biāo)信息對(duì)應(yīng)的點(diǎn)為起始點(diǎn)，從截屏圖像中劃分出以長(zhǎng)度信息和寬度信息對(duì)應(yīng)的長(zhǎng)和寬的待識(shí)別區(qū)域圖像。[0045]步驟203，將上述待識(shí)別區(qū)域圖像的圖像格式轉(zhuǎn)換為預(yù)定的第三方圖像識(shí)別應(yīng)用支持的圖像格式。[0046]截屏圖像的格式跟截屏軟件相關(guān)，截屏圖像的圖像格式通常包括:PNG(PortableNetworkGraphicFormat，可移植網(wǎng)絡(luò)圖形格式)、JPEG(JointPhotographicExpertsGROUP)、BMP(Bitmap，Windows操作系統(tǒng)中的標(biāo)準(zhǔn)圖像文件格式)等。截屏圖像的圖像格式通常與第三方圖像識(shí)別應(yīng)用能夠識(shí)別的圖像格式不同，因此，需要將截屏圖像的圖像格式轉(zhuǎn)換為預(yù)定的第三方圖像識(shí)別應(yīng)用支持的圖像格式。待識(shí)別區(qū)域圖像的圖像格式與圖像格式轉(zhuǎn)換后的截屏圖像的圖像格式相同，可以直接應(yīng)用到第三方圖像識(shí)別應(yīng)用。[0047]步驟204，通過(guò)支持上述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用上述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像。[0048]第三方圖像識(shí)別應(yīng)用很多個(gè)數(shù)據(jù)接口，每個(gè)數(shù)據(jù)接口的功能都不盡相同，各自完成不同的數(shù)據(jù)處理功能。因此，需要首先對(duì)每個(gè)數(shù)據(jù)接口的功能和使用方式進(jìn)行解析;然后，將用于識(shí)別圖像的數(shù)據(jù)接口封裝為調(diào)用接口，這樣可以直接調(diào)用第三方圖像識(shí)別應(yīng)用的圖像識(shí)別功能，加快了圖像識(shí)別的速度，減少了圖像識(shí)別過(guò)程中的數(shù)據(jù)處理量。[0049]在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中，上述通過(guò)支持上述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用上述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像如圖2b所示，可以包括以下步驟:[0050]步驟2041，通過(guò)上述調(diào)用接口將圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像導(dǎo)入上述第三方圖像識(shí)別應(yīng)用。[0051]將待識(shí)別區(qū)域圖像通過(guò)調(diào)用接口導(dǎo)入第三方圖像識(shí)別應(yīng)用，第三方圖像識(shí)別應(yīng)用會(huì)自動(dòng)對(duì)待識(shí)別區(qū)域圖像進(jìn)行識(shí)別。需要說(shuō)明的是，第三方圖像識(shí)別應(yīng)用的圖像庫(kù)包含待識(shí)別區(qū)域圖像的圖標(biāo)。例如，待識(shí)別區(qū)域圖像中包含某一游戲應(yīng)用的圖標(biāo)，那么，第三方圖像識(shí)別應(yīng)用的圖像庫(kù)也需要包含該游戲應(yīng)用的圖標(biāo)，否則將無(wú)法識(shí)別出待識(shí)別區(qū)域圖像中的圖標(biāo)。[0052]步驟2042，接收上述第三方圖像識(shí)別應(yīng)用發(fā)來(lái)的與上述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。[0053]第三方圖像識(shí)別應(yīng)用對(duì)待識(shí)別區(qū)域圖像進(jìn)行識(shí)別后，會(huì)將待識(shí)別區(qū)域圖像包含的圖標(biāo)等信息反饋回來(lái)。[0054]需要說(shuō)明的是，如果實(shí)際中待識(shí)別區(qū)域圖像內(nèi)包含的圖像是動(dòng)態(tài)的(例如，游戲應(yīng)用中某些360度旋轉(zhuǎn)的圖像)，則需要截取該動(dòng)態(tài)圖像的多個(gè)角度的待識(shí)別區(qū)域圖像，然后將這些多個(gè)角度的待識(shí)別區(qū)域圖像導(dǎo)入第三方圖像識(shí)別應(yīng)用，使得第三方圖像識(shí)別應(yīng)用能夠從多個(gè)角度對(duì)動(dòng)態(tài)圖像進(jìn)行識(shí)別。[0055]在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中，本實(shí)施例方法還包括:獲取調(diào)用接口的步驟，包括以下步驟:[0056]第一步，獲取第三方圖像識(shí)別應(yīng)用的應(yīng)用程序編程接口信息。[0057]第三方圖像識(shí)別應(yīng)用包含數(shù)據(jù)龐大的應(yīng)用程序編程接口，每個(gè)應(yīng)用程序編程接口對(duì)應(yīng)不同的功能，要想對(duì)調(diào)用第三方圖像識(shí)別應(yīng)用的圖像識(shí)別功能，就要首先獲取到應(yīng)用程序編程接口信息。[0058]第二步，將用于識(shí)別圖像的應(yīng)用程序編程接口封裝成調(diào)用接口。[0059]獲取到應(yīng)用程序編程接口信息后，從應(yīng)用程序編程接口信息中找出用于圖像識(shí)別的應(yīng)用程序編程接口，將用于識(shí)別圖像的應(yīng)用程序編程接口封裝成調(diào)用接口，以便直接調(diào)用圖像識(shí)別功能。[0060]步驟205，根據(jù)上述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定上述待識(shí)別區(qū)域圖像包含的圖像。[0061]第三方圖像識(shí)別應(yīng)用對(duì)待識(shí)別區(qū)域圖像進(jìn)行識(shí)別后，會(huì)反饋回待識(shí)別區(qū)域圖像包含的圖像，即圖像識(shí)別結(jié)果信息，圖像識(shí)別結(jié)果信息包括第三方圖像識(shí)別應(yīng)用識(shí)別出的與上述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。例如，待識(shí)別區(qū)域圖像中包含某一游戲應(yīng)用的圖標(biāo)，圖像識(shí)別結(jié)果信息就會(huì)包含該游戲應(yīng)用的圖標(biāo)在第三方圖像識(shí)別應(yīng)用的圖像庫(kù)中的游戲應(yīng)用的圖標(biāo)(此處的圖標(biāo)即為圖像識(shí)別結(jié)果信息內(nèi)包含的圖像)。圖像庫(kù)中游戲應(yīng)用的圖標(biāo)可以視為游戲應(yīng)用的原始圖標(biāo)，待識(shí)別區(qū)域圖像中的游戲應(yīng)用的圖標(biāo)可以視為游戲應(yīng)用的原始圖標(biāo)在屏幕上的顯示圖標(biāo)。[0062]在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中，上述根據(jù)上述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定上述待識(shí)別區(qū)域圖像包含的圖像還可以包括:當(dāng)上述識(shí)別圖像為多個(gè)時(shí)，按上述識(shí)別圖像與待識(shí)別區(qū)域圖像之間的相似度來(lái)確定上述待識(shí)別區(qū)域圖像包含的圖像。[0063]當(dāng)前，應(yīng)用程序的數(shù)量巨大，應(yīng)用程序的圖標(biāo)或應(yīng)用程序內(nèi)的圖標(biāo)與其他應(yīng)用程序的圖標(biāo)和其他應(yīng)用程序內(nèi)的圖標(biāo)會(huì)存在相似的圖標(biāo)，這就增加了圖像識(shí)別的難度。當(dāng)待識(shí)別區(qū)域圖像包含的圖像與多個(gè)其他圖標(biāo)近似時(shí)，為了保證圖像識(shí)別的結(jié)果，第三方圖像識(shí)別應(yīng)用會(huì)將所有相似的圖標(biāo)都返回。第三方圖像識(shí)別應(yīng)用在對(duì)待識(shí)別區(qū)域圖像進(jìn)行識(shí)別時(shí)，會(huì)對(duì)所有與待識(shí)別區(qū)域圖像中相同或近似的圖像設(shè)置相似度值，這些相似度值會(huì)隨圖像識(shí)別結(jié)果信息一同反饋回來(lái)，用戶可以根據(jù)相似度值從多個(gè)近似的圖像中確定待識(shí)別區(qū)域圖像包含的圖像。[0064]此外，本實(shí)施例方法還可以通過(guò)文字識(shí)別應(yīng)用對(duì)待識(shí)別區(qū)域圖像的文字進(jìn)行識(shí)別，從而實(shí)現(xiàn)對(duì)圖像和文字的雙重識(shí)別。[0065]繼續(xù)參見(jiàn)圖3，圖3是根據(jù)本實(shí)施例的屏幕圖像的識(shí)別方法的應(yīng)用場(chǎng)景的一個(gè)示意圖。以對(duì)手機(jī)屏幕圖像的識(shí)別為例，在圖3的應(yīng)用場(chǎng)景中，首先獲取手機(jī)301的截屏圖像302;然后從截屏圖像302中選取待識(shí)別區(qū)域圖像303，圖3中是對(duì)手機(jī)301上某一界面的圖像截屏后選取的待識(shí)別區(qū)域圖像303，該待識(shí)別區(qū)域圖像303中包含了多個(gè)具體的圖標(biāo)，并且該待識(shí)別區(qū)域圖像303包含的圖標(biāo)之間的相似度也較大;將待識(shí)別區(qū)域圖像303導(dǎo)入第三方圖像識(shí)別應(yīng)用304后，得到對(duì)應(yīng)的圖像305如圖3所示。[0066]本申請(qǐng)?zhí)峁┑钠聊粓D像的識(shí)別方法將屏幕圖像的截屏圖像的圖像格式轉(zhuǎn)換為第三方圖像識(shí)別應(yīng)用支持的圖像格式，通過(guò)調(diào)用接口直接調(diào)用第三方圖像識(shí)別應(yīng)用，能夠?qū)崿F(xiàn)對(duì)屏幕圖像的快速準(zhǔn)確識(shí)別。[0067]進(jìn)一步參考圖4，作為對(duì)上述各圖所示方法的實(shí)現(xiàn)，本申請(qǐng)?zhí)峁┝艘环N屏幕圖像的識(shí)別裝置的一個(gè)實(shí)施例，該裝置實(shí)施例與圖2所示的方法實(shí)施例相對(duì)應(yīng)，該裝置具體可以應(yīng)用于各種電子設(shè)備中。[0068]如圖4所示，本實(shí)施例上述的屏幕圖像的識(shí)別裝置400可以包括:截屏圖像獲取單元401、待識(shí)別區(qū)域圖像獲取單元402、圖像格式轉(zhuǎn)換單元403、待識(shí)別區(qū)域圖像識(shí)別單元404和待識(shí)別區(qū)域圖像確定單元405。其中，截屏圖像獲取單元401用于獲取終端屏幕的截屏圖像;待識(shí)別區(qū)域圖像獲取單元402用于獲取上述截屏圖像中的待識(shí)別區(qū)域的位置指示信息，并根據(jù)上述位置指示信息從上述截屏圖像中選取待識(shí)別區(qū)域圖像；圖像格式轉(zhuǎn)換單元403用于將上述待識(shí)別區(qū)域圖像的圖像格式轉(zhuǎn)換為預(yù)定的第三方圖像識(shí)別應(yīng)用支持的圖像格式;待識(shí)別區(qū)域圖像識(shí)別單元404用于通過(guò)支持上述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用上述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像;待識(shí)別區(qū)域圖像確定單元405用于根據(jù)上述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定上述待識(shí)別區(qū)域圖像包含的圖像。[0069]在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中，待識(shí)別區(qū)域圖像獲取單元402可以包括:位置指示信息解析子單元(圖中未示出)和待識(shí)別區(qū)域圖像獲取子單元(圖中未示出)。其中，位置指示信息解析子單元用于從上述位置指示信息中解析出待識(shí)別區(qū)域圖像在上述截屏圖像中的起始坐標(biāo)信息和區(qū)域大小信息;待識(shí)別區(qū)域圖像獲取子單元用于根據(jù)上述起始坐標(biāo)信息和區(qū)域大小信息選取待識(shí)別區(qū)域圖像。[0070]在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中，待識(shí)別區(qū)域圖像識(shí)別單元404包括:圖像導(dǎo)入子單元(圖中未示出)和圖像接收子單元(圖中未示出)，其中，圖像導(dǎo)入子單元用于通過(guò)上述調(diào)用接口將圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像導(dǎo)入上述第三方圖像識(shí)別應(yīng)用；圖像接收子單元用于接收上述第三方圖像識(shí)別應(yīng)用發(fā)來(lái)的與上述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。[0071]在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中，圖像識(shí)別結(jié)果信息包括上述第三方圖像識(shí)別應(yīng)用識(shí)別出的與上述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。[0072]在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中，待識(shí)別區(qū)域圖像確定單元405包括:待識(shí)別區(qū)域圖像確定子單元(圖中未示出)，用于在上述識(shí)別圖像為多個(gè)時(shí)，按上述識(shí)別圖像與待識(shí)別區(qū)域圖像之間的相似度來(lái)確定上述待識(shí)別區(qū)域圖像包含的圖像。[0073]在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中，屏幕圖像的識(shí)別裝置400還包括:調(diào)用接口獲取單元(圖中未示出)，用于獲取調(diào)用接口，包括:接口信息獲取子單元(圖中未示出)和調(diào)用接口獲取子單元(圖中未示出)。其中，接口信息獲取子單元用于獲取第三方圖像識(shí)別應(yīng)用的應(yīng)用程序編程接口信息；調(diào)用接口獲取子單元用于將用于識(shí)別圖像的應(yīng)用程序編程接口封裝成調(diào)用接口。[0074]下面參考圖5，其示出了適于用來(lái)實(shí)現(xiàn)本申請(qǐng)實(shí)施例的測(cè)試設(shè)備的計(jì)算機(jī)系統(tǒng)500的結(jié)構(gòu)示意圖。[0075]如圖5所示，計(jì)算機(jī)系統(tǒng)500包括中央處理單元(CPU)501，其可以根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(R0M)502中的程序或者從存儲(chǔ)部分508加載到隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)503中的程序而執(zhí)行各種適當(dāng)?shù)膭?dòng)作和處理。在RAM503中，還存儲(chǔ)有系統(tǒng)500操作所需的各種程序和數(shù)據(jù)。CPU50UR0M502以及RAM503通過(guò)總線504彼此相連。輸入/輸出(I/O)接口505也連接至總線504。[0076]以下部件連接至I/O接口505:包括鍵盤(pán)、鼠標(biāo)等的輸入部分506；包括諸如液晶顯示器(IXD)等以及揚(yáng)聲器等的輸出部分507;包括硬盤(pán)等的存儲(chǔ)部分508;以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分509。通信部分509經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器510也根據(jù)需要連接至I/O接口505。可拆卸介質(zhì)511，諸如磁盤(pán)、光盤(pán)、磁光盤(pán)、半導(dǎo)體存儲(chǔ)器等等，根據(jù)需要安裝在驅(qū)動(dòng)器510上，以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲(chǔ)部分508。[0077]特別地，根據(jù)本公開(kāi)的實(shí)施例，上文參考流程圖描述的過(guò)程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如，本公開(kāi)的實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品，其包括有形地包含在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序，上述計(jì)算機(jī)程序包含用于執(zhí)行流程圖所示的方法的程序代碼。在這樣的實(shí)施例中，該計(jì)算機(jī)程序可以通過(guò)通信部分509從網(wǎng)絡(luò)上被下載和安裝，和/或從可拆卸介質(zhì)511被安裝。[0078]附圖中的流程圖和框圖，圖示了按照本申請(qǐng)各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段、或代碼的一部分，上述模塊、程序段、或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或操作的專(zhuān)用的基于硬件的系統(tǒng)來(lái)實(shí)現(xiàn)，或者可以用專(zhuān)用硬件與計(jì)算機(jī)指令的組合來(lái)實(shí)現(xiàn)。[0079]描述于本申請(qǐng)實(shí)施例中所涉及到的單元可以通過(guò)軟件的方式實(shí)現(xiàn)，也可以通過(guò)硬件的方式來(lái)實(shí)現(xiàn)。所描述的單元也可以設(shè)置在處理器中，例如，可以描述為:一種處理器包括截屏圖像獲取單元、待識(shí)別區(qū)域圖像獲取單元、圖像格式轉(zhuǎn)換單元、待識(shí)別區(qū)域圖像識(shí)別單元和待識(shí)別區(qū)域圖像確定單元。其中，這些單元的名稱(chēng)在某種情況下并不構(gòu)成對(duì)該單元本身的限定。例如，待識(shí)別區(qū)域圖像確定單元還可以被描述為“用于確定待識(shí)別區(qū)域圖像的單元”。[0080]作為另一方面，本申請(qǐng)還提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，該非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)可以是上述實(shí)施例中上述裝置中所包含的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì);也可以是單獨(dú)存在，未裝配入終端中的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。上述非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序，當(dāng)上述一個(gè)或者多個(gè)程序被一個(gè)設(shè)備執(zhí)行時(shí)，使得上述設(shè)備:獲取終端屏幕的截屏圖像;獲取上述截屏圖像中的待識(shí)別區(qū)域的位置指示信息，并根據(jù)上述位置指示信息從上述截屏圖像中選取待識(shí)別區(qū)域圖像;將上述待識(shí)別區(qū)域圖像的圖像格式轉(zhuǎn)換為預(yù)定的第三方圖像識(shí)別應(yīng)用支持的圖像格式;通過(guò)支持上述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用上述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像;根據(jù)上述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定上述待識(shí)別區(qū)域圖像包含的圖像。[0081]以上描述僅為本申請(qǐng)的較佳實(shí)施例以及對(duì)所運(yùn)用技術(shù)原理的說(shuō)明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本申請(qǐng)中所涉及的發(fā)明范圍，并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案，同時(shí)也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下，由上述技術(shù)特征或其等同特征進(jìn)行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請(qǐng)中公開(kāi)的(但不限于)具有類(lèi)似功能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。【主權(quán)項(xiàng)】1.一種屏幕圖像的識(shí)別方法，其特征在于，所述方法包括:獲取終端屏幕的截屏圖像；獲取所述截屏圖像中的待識(shí)別區(qū)域的位置指示信息，并根據(jù)所述位置指示信息從所述截屏圖像中選取待識(shí)別區(qū)域圖像；將所述待識(shí)別區(qū)域圖像的圖像格式轉(zhuǎn)換為預(yù)定的第三方圖像識(shí)別應(yīng)用支持的圖像格式；通過(guò)支持所述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用所述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像；根據(jù)所述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定所述待識(shí)別區(qū)域圖像包含的圖像。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述位置指示信息從所述截屏圖像中選取待識(shí)別區(qū)域圖像包括:從所述位置指示信息中解析出待識(shí)別區(qū)域圖像在所述截屏圖像中的起始坐標(biāo)信息和區(qū)域大小信息；根據(jù)所述起始坐標(biāo)信息和區(qū)域大小信息選取待識(shí)別區(qū)域圖像。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)支持所述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用所述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像包括:通過(guò)所述調(diào)用接口將圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像導(dǎo)入所述第三方圖像識(shí)別應(yīng)用；接收所述第三方圖像識(shí)別應(yīng)用發(fā)來(lái)的與所述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像識(shí)別結(jié)果信息包括所述第三方圖像識(shí)別應(yīng)用識(shí)別出的與所述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定所述待識(shí)別區(qū)域圖像包含的圖像包括:當(dāng)所述識(shí)別圖像為多個(gè)時(shí)，按所述識(shí)別圖像與待識(shí)別區(qū)域圖像之間的相似度來(lái)確定所述待識(shí)別區(qū)域圖像包含的圖像。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括:獲取調(diào)用接口的步驟，包括:獲取第三方圖像識(shí)別應(yīng)用的應(yīng)用程序編程接口信息；將用于識(shí)別圖像的應(yīng)用程序編程接口封裝成調(diào)用接口。7.一種屏幕圖像的識(shí)別裝置，其特征在于，所述裝置包括:截屏圖像獲取單元，用于獲取終端屏幕的截屏圖像；待識(shí)別區(qū)域圖像獲取單元，用于獲取所述截屏圖像中的待識(shí)別區(qū)域的位置指示信息，并根據(jù)所述位置指示信息從所述截屏圖像中選取待識(shí)別區(qū)域圖像；圖像格式轉(zhuǎn)換單元，用于將所述待識(shí)別區(qū)域圖像的圖像格式轉(zhuǎn)換為預(yù)定的第三方圖像識(shí)別應(yīng)用支持的圖像格式；待識(shí)別區(qū)域圖像識(shí)別單元，用于通過(guò)支持所述第三方圖像識(shí)別應(yīng)用的調(diào)用接口來(lái)調(diào)用所述第三方圖像識(shí)別應(yīng)用來(lái)識(shí)別圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像；待識(shí)別區(qū)域圖像確定單元，用于根據(jù)所述第三方圖像識(shí)別應(yīng)用返回的圖像識(shí)別結(jié)果信息確定所述待識(shí)別區(qū)域圖像包含的圖像。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述待識(shí)別區(qū)域圖像獲取單元包括:位置指示信息解析子單元，用于從所述位置指示信息中解析出待識(shí)別區(qū)域圖像在所述截屏圖像中的起始坐標(biāo)信息和區(qū)域大小信息；待識(shí)別區(qū)域圖像獲取子單元，用于根據(jù)所述起始坐標(biāo)信息和區(qū)域大小信息選取待識(shí)別區(qū)域圖像。9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述待識(shí)別區(qū)域圖像識(shí)別單元包括:圖像導(dǎo)入子單元，用于通過(guò)所述調(diào)用接口將圖像格式轉(zhuǎn)換后的待識(shí)別區(qū)域圖像導(dǎo)入所述第三方圖像識(shí)別應(yīng)用；圖像接收子單元，用于接收所述第三方圖像識(shí)別應(yīng)用發(fā)來(lái)的與所述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述圖像識(shí)別結(jié)果信息包括所述第三方圖像識(shí)別應(yīng)用識(shí)別出的與所述待識(shí)別區(qū)域圖像對(duì)應(yīng)的識(shí)別圖像。11.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待識(shí)別區(qū)域圖像確定單元包括:待識(shí)別區(qū)域圖像確定子單元，用于在所述識(shí)別圖像為多個(gè)時(shí)，按所述識(shí)別圖像與待識(shí)別區(qū)域圖像之間的相似度來(lái)確定所述待識(shí)別區(qū)域圖像包含的圖像。12.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括:調(diào)用接口獲取單元，用于獲取調(diào)用接口，包括:接口信息獲取子單元，用于獲取第三方圖像識(shí)別應(yīng)用的應(yīng)用程序編程接口信息；調(diào)用接口獲取子單元，用于將用于識(shí)別圖像的應(yīng)用程序編程接口封裝成調(diào)用接口?！疚臋n編號(hào)】G06K9/00GK106096574SQ201610471248【公開(kāi)日】2016年11月9日【申請(qǐng)日】2016年6月24日【發(fā)明人】劉希,劉曉娟,張益,柳梅,劉社定【申請(qǐng)人】百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司