本發(fā)明涉及信息處理設(shè)備、信息處理設(shè)備的控制方法和存儲(chǔ)介質(zhì)。

背景技術(shù)：

近年來，具有照相機(jī)的移動(dòng)終端已經(jīng)普及。在現(xiàn)有技術(shù)中，用戶已經(jīng)使用掃描器等來對(duì)紙質(zhì)文檔進(jìn)行電子拍攝，而如今能夠通過使用移動(dòng)終端的照相機(jī)等來簡單地對(duì)紙質(zhì)文檔進(jìn)行電子拍攝。日本特開2011-008802公開了用于對(duì)通過使用照相機(jī)所拍攝的圖像進(jìn)行ocr的技術(shù)。

技術(shù)實(shí)現(xiàn)要素：

為了使用ocr所識(shí)別出的文本信息，ocr精度是非常重要的。然而，存在如下可能性：與接近對(duì)象時(shí)所拍攝的商業(yè)名片或駕駛執(zhí)照的ocr精度相比，諸如a4或a3等的相對(duì)大尺寸的紙質(zhì)文檔的ocr精度可能降低。更具體地，除了相對(duì)于對(duì)象的距離遠(yuǎn)所引起的所要識(shí)別的文本中的各單個(gè)字符的分辨率降低之外，在對(duì)圖像細(xì)節(jié)進(jìn)行聚焦時(shí)還可能發(fā)生模糊。因此，即使在諸如a4或a3等的相對(duì)大尺寸的紙質(zhì)文檔中，也必須在接近對(duì)象的文本區(qū)域時(shí)拍攝圖像，以提高ocr精度。利用提高了的ocr精度，可以通過在拍攝了紙質(zhì)文檔的整體圖像之后，在接近要使用的文本區(qū)域時(shí)拍攝圖像，來獲取紙質(zhì)文檔的整體圖像和具有良好精度的文本信息。

本發(fā)明提供在接近紙質(zhì)文檔時(shí)拍攝圖像的情況下能夠快速地找到所需的文本區(qū)域的信息處理設(shè)備。

本發(fā)明的一種信息處理設(shè)備，其特征在于，包括：提取單元，用于提取整體圖像的特征量和局部圖像的特征量；決定單元，用于基于所述整體圖像的特征量和所述局部圖像的特征量來決定所述局部圖像在所述整體圖像中的位置；接收單元，用于接收對(duì)所述局部圖像中所包括的對(duì)象的選擇；以及轉(zhuǎn)換單元，用于基于所決定的所述局部圖像在所述整體圖像中的位置，來將所述局部圖像中的所選擇的對(duì)象的坐標(biāo)轉(zhuǎn)換成所述整體圖像中的坐標(biāo)。

本發(fā)明的一種信息處理設(shè)備的控制方法，所述控制方法的特征在于包括以下步驟：提取步驟，用于提取整體圖像的特征量和局部圖像的特征量；決定步驟，用于基于所述整體圖像的特征量和所述局部圖像的特征量來決定所述局部圖像在所述整體圖像中的位置；接收步驟，用于接收對(duì)所述局部圖像中所包括的對(duì)象的選擇；以及轉(zhuǎn)換步驟，用于基于所決定的所述局部圖像在所述整體圖像中的位置，來將所述局部圖像中的所選擇的對(duì)象的坐標(biāo)轉(zhuǎn)換成所述整體圖像中的坐標(biāo)。

本發(fā)明的一種非瞬態(tài)存儲(chǔ)介質(zhì)，其存儲(chǔ)使計(jì)算機(jī)執(zhí)行信息處理設(shè)備的控制方法的計(jì)算機(jī)程序，其特征在于，所述控制方法包括：提取步驟，用于提取整體圖像的特征量和局部圖像的特征量；決定步驟，用于基于所述整體圖像的特征量和所述局部圖像的特征量來決定所述局部圖像在所述整體圖像中的位置；接收步驟，用于接收對(duì)所述局部圖像中所包括的對(duì)象的選擇；以及轉(zhuǎn)換步驟，用于基于所決定的所述局部圖像在所述整體圖像中的位置，來將所述局部圖像中的所選擇的對(duì)象的坐標(biāo)轉(zhuǎn)換成所述整體圖像中的坐標(biāo)。

根據(jù)本發(fā)明，可以提供在通過接近紙質(zhì)文檔來拍攝圖像的情況下能夠找到所需的文本區(qū)域的信息處理設(shè)備。

通過以下(參考附圖)對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。

附圖說明

圖1是示出移動(dòng)終端的外觀的示例的圖。

圖2是示出移動(dòng)終端的硬件結(jié)構(gòu)的示例的圖。

圖3是示出移動(dòng)終端的軟件結(jié)構(gòu)的示例的圖。

圖4是示出移動(dòng)應(yīng)用程序的ui的示例的圖。

圖5是示出整體圖像和局部圖像的示例的圖。

圖6a和6b是示出圖像分類處理的示例的圖。

圖7是示出坐標(biāo)處理的示例的圖。

圖8是示出坐標(biāo)管理表的數(shù)據(jù)結(jié)構(gòu)和所保持的坐標(biāo)信息的圖。

圖9是示出預(yù)設(shè)處理流程的圖。

圖10是示出基本流程的圖。

圖11是示出圖10的步驟s1005中的處理的詳情的圖。

圖12是示出移動(dòng)應(yīng)用程序的ui的示例的圖。

具體實(shí)施方式

以下將參考附圖等來描述用于執(zhí)行本發(fā)明的最佳實(shí)施例。

外觀

將描述移動(dòng)終端作為根據(jù)本實(shí)施例的信息處理設(shè)備的示例。移動(dòng)終端是移動(dòng)便攜式終端的示例，并且是使用具有無線通信功能的裝置而能夠在任何位置使用的終端。圖1是示出移動(dòng)終端的外觀的示例的圖。移動(dòng)終端100被配置成包括各個(gè)類型的單元(移動(dòng)終端正面單元101～照相機(jī)104)。移動(dòng)終端100的正面?zhèn)仁且苿?dòng)終端正面單元101。觸摸面板102是諸如顯示器等的顯示單元的示例，并且具有輸出(顯示)和輸入兩個(gè)功能。另外，移動(dòng)終端100的背面?zhèn)仁且苿?dòng)終端背面單元103。移動(dòng)終端背面單元103包括用于拍攝圖像的照相機(jī)104。在本實(shí)施例中，移動(dòng)終端100的用戶可以在以下要描述的移動(dòng)應(yīng)用程序中通過拍攝被攝體105的圖像來開始處理。在本實(shí)施例中，被攝體105是作為a4尺寸的紙質(zhì)文檔的訂貨單。被攝體105不僅僅局限于紙質(zhì)文檔，并且還可以包括例如商業(yè)名片、照片和白板等。此外，以下要描述的移動(dòng)應(yīng)用程序使得能夠拍攝被攝體105的圖像并且將該圖像輸出(顯示)至觸摸面板102。

硬件結(jié)構(gòu)

圖2是示出移動(dòng)終端100的硬件結(jié)構(gòu)的示例的圖。移動(dòng)終端100被配置成包括各個(gè)類型的單元(cpu201～總線207)。中央處理單元(cpu)201是用于執(zhí)行各個(gè)類型的程序并且實(shí)現(xiàn)各種功能的單元。隨機(jī)存取存儲(chǔ)器(ram)202是用于存儲(chǔ)各個(gè)類型的信息的單元。另外，ram202是還被用作cpu201的臨時(shí)工作存儲(chǔ)區(qū)域的單元。只讀存儲(chǔ)器(rom)203是用于存儲(chǔ)各個(gè)類型的程序等的單元。例如，cpu201將rom203中所存儲(chǔ)的程序加載在ram202上并且執(zhí)行該程序。

另外，cpu201執(zhí)行基于諸如閃速存儲(chǔ)器、硬盤驅(qū)動(dòng)器(hdd)或固態(tài)硬件(ssd)等的外部存儲(chǔ)裝置中所存儲(chǔ)的程序的處理。因此，實(shí)現(xiàn)以下要描述的如圖3所示的構(gòu)成移動(dòng)終端100的軟件結(jié)構(gòu)和以下要描述的序列的各步驟中的處理。還可以使用專用硬件來實(shí)現(xiàn)與以下要描述的序列有關(guān)的處理的全部或一部分以及移動(dòng)終端100的功能。輸入/輸出接口204相對(duì)于觸摸面板102發(fā)送或接收數(shù)據(jù)。網(wǎng)絡(luò)接口卡(nic)205是用于將移動(dòng)終端100連接至網(wǎng)絡(luò)(未示出)的單元。照相機(jī)單元206連接至照相機(jī)104，并且拍攝移動(dòng)終端100中的被攝體105的圖像。上述的單元各自被配置成能夠經(jīng)由總線207來發(fā)送和接收數(shù)據(jù)。

軟件結(jié)構(gòu)(移動(dòng)終端)

將描述移動(dòng)終端100中的軟件的結(jié)構(gòu)。圖3是示出移動(dòng)終端100的軟件結(jié)構(gòu)的示例的圖。用于實(shí)現(xiàn)圖3所示的各軟件(應(yīng)用程序)中的功能(模塊單元)的程序存儲(chǔ)在各裝置的rom203等中。移動(dòng)終端100的操作系統(tǒng)(os)(未示出)具有數(shù)據(jù)管理單元301。數(shù)據(jù)管理單元301管理圖像或應(yīng)用程序數(shù)據(jù)。os提供用來使用數(shù)據(jù)管理單元301的控制用應(yīng)用程序編程接口(api)。各應(yīng)用程序通過使用控制用api來獲取或保存數(shù)據(jù)管理單元301所管理的圖像或應(yīng)用程序數(shù)據(jù)。

移動(dòng)應(yīng)用程序302是可以通過使用移動(dòng)終端100的os的安裝功能(例如，applestore和googlepay等)進(jìn)行下載和安裝來執(zhí)行的應(yīng)用程序。移動(dòng)應(yīng)用程序302對(duì)經(jīng)由照相機(jī)單元206所拍攝的被攝體105的圖像進(jìn)行各個(gè)類型的數(shù)據(jù)處理。

主控制單元303控制應(yīng)用程序(移動(dòng)應(yīng)用程序)302，并且進(jìn)行針對(duì)各模塊單元(主控制單元303～圖像特征量提取單元312)的指示和管理。信息顯示單元304根據(jù)來自主控制單元303的指示，向用戶提供移動(dòng)應(yīng)用程序302的用戶界面(ui)。操作信息獲取單元305獲取與信息顯示單元304所顯示的移動(dòng)應(yīng)用程序302的ui的用戶操作有關(guān)的信息，并且向主控制單元303通知所獲取到的信息。例如，如果用戶利用手來觸摸以下要描述的圖4所示的顯示操作區(qū)域401，則操作信息獲取單元305檢測(cè)與在畫面上的觸摸位置有關(guān)的信息，并且將所檢測(cè)到的與位置有關(guān)的信息發(fā)送至主控制單元303。

圖像分析單元306對(duì)經(jīng)由照相機(jī)單元206所獲取到的照相機(jī)輸入圖像進(jìn)行分析，并且生成布局信息。該布局信息包括從圖像提取出的矩形區(qū)域和該矩形區(qū)域的類型(字符、圖形、線和表等)。另外，圖像分析單元306針對(duì)照相機(jī)輸入圖像進(jìn)行紙張檢測(cè)處理和失真校正處理。ocr單元307針對(duì)圖像分析單元306所提取出的矩形區(qū)域進(jìn)行光學(xué)字符識(shí)別(ocr)處理。圖像分類單元308進(jìn)行學(xué)習(xí)處理，以創(chuàng)建分類處理中所使用的分類器。此外，圖像分類單元308使用該分類器來進(jìn)行分類處理，并且對(duì)照相機(jī)輸入圖像進(jìn)行分類。

存儲(chǔ)單元309保存用戶經(jīng)由操作信息獲取單元305(即，經(jīng)由移動(dòng)應(yīng)用程序302的ui)所輸入的設(shè)置值(使設(shè)置值存留)。db單元310具有數(shù)據(jù)庫功能，并且管理用戶所選擇的矩形區(qū)域的坐標(biāo)信息、圖像的特征量和分類器等。另外，db單元310的數(shù)據(jù)保存在存儲(chǔ)單元309中。坐標(biāo)處理單元311進(jìn)行將坐標(biāo)信息登記在數(shù)據(jù)庫時(shí)的坐標(biāo)轉(zhuǎn)換處理或者圖像的位置指定處理。圖像特征量提取單元312針對(duì)照相機(jī)輸入圖像進(jìn)行用以提取圖像的特征量的處理。

圖4是示出用于提供移動(dòng)應(yīng)用程序302的ui(移動(dòng)終端用的ui)的畫面的示例(移動(dòng)終端畫面400)的圖。移動(dòng)終端畫面400是在移動(dòng)終端100的觸摸面板102上所顯示的ui。將經(jīng)由照相機(jī)104所拍攝的圖像顯示在移動(dòng)終端畫面400上的顯示操作區(qū)域401中，并且經(jīng)由所顯示的ui來接收針對(duì)圖像等的用戶的操作(用戶操作)。移動(dòng)應(yīng)用程序302的ui的形式(位置、尺寸、范圍、配置和顯示內(nèi)容等)不限于圖4所示的本實(shí)施例，并且可以采用能夠?qū)崿F(xiàn)移動(dòng)終端100的功能的結(jié)構(gòu)。

整體圖像和局部圖像

接著，將使用圖5來描述整體圖像和局部圖像。在本實(shí)施例中，經(jīng)由照相機(jī)104來獲取被攝體105的a4尺寸的整體訂貨單的圖像。通過進(jìn)行用以排除被攝體以外的區(qū)域的紙張檢測(cè)處理以及用以校正失真部分的失真校正處理來使圖像成形。在本實(shí)施例中，將所成形的圖像設(shè)置為整體圖像500，并且視為整體圖像的示例。另外，將接近被攝體105時(shí)照相機(jī)104所獲取到的被攝體105的部分(或者整體)的圖像設(shè)置為局部圖像501。在本實(shí)施例中，局部圖像501是局部圖像的示例。此外，位置502示出局部圖像在整體圖像中的區(qū)域(位置)。

圖像分類處理

接著，將使用圖6a和6b來描述圖像分類單元308所進(jìn)行的對(duì)照相機(jī)輸入圖像的分類。圖像分類單元308包括學(xué)習(xí)處理單元601和分類處理單元602。學(xué)習(xí)處理單元601使用要分類成的各文檔類型(各類型)中的圖像的整體圖像特征量數(shù)據(jù)608來執(zhí)行以下要描述的學(xué)習(xí)處理，并且創(chuàng)建分類器。圖像分類單元308使用所創(chuàng)建的分類器來進(jìn)行分類處理，并且決定照相機(jī)輸入圖像的分類。

通常，表示圖像的特征的特征量數(shù)據(jù)由多維數(shù)據(jù)來表示，并且被稱為特征向量。維數(shù)表示特征的類型是哪種類型。在學(xué)習(xí)處理單元601所進(jìn)行的學(xué)習(xí)處理中，圖像特征量提取單元312進(jìn)行對(duì)從各文檔類型的多個(gè)學(xué)習(xí)圖像(整體圖像)的特征提取以進(jìn)行分類，并且計(jì)算針對(duì)各學(xué)習(xí)圖像的100維的特征向量。此外，基于同一文檔的多個(gè)學(xué)習(xí)圖像的特征向量，從100維的特征向量中決定分類中的具有顯著特征的10維的特征向量。通過被稱為過濾器的軟件組件來進(jìn)行該維數(shù)減少處理。在各文檔中所計(jì)算出的特征向量(10維)和過濾器的組合的集合被稱為分類器607，并且與針對(duì)各文檔類型的整體圖像特征量數(shù)據(jù)608一起由db單元310進(jìn)行管理。

在分類處理單元602所進(jìn)行的學(xué)習(xí)處理中，圖像特征量提取單元312針對(duì)經(jīng)由照相機(jī)104所獲取到的局部圖像進(jìn)行特征提取，并且計(jì)算特征向量(100維)。接著，向所計(jì)算出的特征向量(100維)應(yīng)用分類器607的各分類的過濾器(主成分分析)，由此計(jì)算出與各分類相對(duì)應(yīng)的特征向量(10維)。然后，將局部圖像的特征向量(10維)與分類器的各文檔的特征向量(10維)相比較，并且通過相似度判斷來決定分類。在相似度判斷中，如果相似度沒有超過閾值，則決定為分類失敗。

圖6a和6b的學(xué)習(xí)結(jié)果609示出通過學(xué)習(xí)處理單元601的學(xué)習(xí)處理而在db單元310中所存儲(chǔ)的數(shù)據(jù)的示例。db單元310包括從針對(duì)各文檔類型的整體圖像所提取出的整體圖像特征量數(shù)據(jù)608和能夠分類成分類1(604)、分類2(605)和分類3(606)的分類器607。另外，分類結(jié)果610表示通過分類處理單元602的分類處理、基于分類器607和局部圖像來決定分類的示例。在本實(shí)施例中，分類結(jié)果610示出輸入局部圖像，并且將分類結(jié)果判斷為分類1(604)、分類2(605)和分類3(606)中的分類1(604)。圖像分類單元308所進(jìn)行的圖像分類不限于本實(shí)施例，并且可以采用能夠?qū)崿F(xiàn)該功能的適當(dāng)技術(shù)。

坐標(biāo)處理

接著，將使用圖7來描述根據(jù)本實(shí)施例的坐標(biāo)系統(tǒng)、坐標(biāo)處理單元311所進(jìn)行的坐標(biāo)變換處理和db單元310所管理的矩形區(qū)域坐標(biāo)。首先，根據(jù)本實(shí)施例的坐標(biāo)系統(tǒng)包括被攝體坐標(biāo)701、顯示器坐標(biāo)702、局部圖像坐標(biāo)703、整體圖像坐標(biāo)704和db登記坐標(biāo)。被攝體坐標(biāo)701是表示a4訂貨單中的位置的坐標(biāo)的集合，顯示器坐標(biāo)702是在顯示器中的位置的坐標(biāo)的集合，局部圖像坐標(biāo)703是局部圖像中的位置的坐標(biāo)的集合，并且整體圖像坐標(biāo)704是整體圖像中的位置的坐標(biāo)的集合。db登記坐標(biāo)是標(biāo)準(zhǔn)化(將整體圖像坐標(biāo)相對(duì)于整體的比率乘以10000)后的整體圖像坐標(biāo)的集合。進(jìn)行標(biāo)準(zhǔn)化的原因在于：即使在對(duì)原始圖像的長度和寬度不存在依賴性并且具有不同的dpi的情況下(即使在附近進(jìn)行攝像或者在遠(yuǎn)距離處進(jìn)行攝像)，也可以存在對(duì)應(yīng)關(guān)系。

這里，坐標(biāo)轉(zhuǎn)換處理是用以在這些坐標(biāo)系統(tǒng)之間進(jìn)行轉(zhuǎn)換的處理。例如，在矩形區(qū)域坐標(biāo)保存處理中(以下要描述的步驟s904)，將用戶在顯示器上所選擇的矩形區(qū)域(顯示器坐標(biāo))705轉(zhuǎn)換成整體圖像坐標(biāo)706，并且進(jìn)一步轉(zhuǎn)換成db登記坐標(biāo)并保存在db單元310中。db單元310所管理的矩形區(qū)域坐標(biāo)具有被設(shè)置為minx的矩形區(qū)域的左上x坐標(biāo)、被設(shè)置為maxx的右下x坐標(biāo)、被設(shè)置為miny的左上y坐標(biāo)以及被設(shè)置為maxy的右下y坐標(biāo)。以整體圖像500的寬度是1500px并且整體圖像500的長度是2000px的情況來提供描述。如果整體圖像坐標(biāo)706的左上坐標(biāo)707是(x,y)＝(200,700)并且右上坐標(biāo)708是(400,750)，則db登記坐標(biāo)是(1333,3500)，(2666,3750)。

數(shù)據(jù)結(jié)構(gòu)(db)

接著，將描述db單元310的坐標(biāo)管理表。圖8是示出根據(jù)本實(shí)施例的坐標(biāo)管理表的數(shù)據(jù)結(jié)構(gòu)和所保持的坐標(biāo)信息的示例的圖。坐標(biāo)管理表801包括id欄、分類欄、類型欄、minx欄、maxx欄、miny欄和maxy欄。id欄是每當(dāng)記錄添加至坐標(biāo)管理表801時(shí)遞增1的值并且是表的主關(guān)鍵字。分類欄存儲(chǔ)分類結(jié)果(例如，圖6a和6b的分類結(jié)果610)。類型欄存儲(chǔ)用以識(shí)別數(shù)據(jù)是通過矩形區(qū)域坐標(biāo)保存處理(以下要描述的步驟s904)所保存的數(shù)據(jù)還是通過用戶的選擇由矩形區(qū)域坐標(biāo)保存處理所保存的數(shù)據(jù)的識(shí)別符。minx欄存儲(chǔ)所選區(qū)域的左上x坐標(biāo)。maxx欄存儲(chǔ)所選區(qū)域的右下x坐標(biāo)。miny欄存儲(chǔ)所選區(qū)域的左上y坐標(biāo)。maxy欄存儲(chǔ)所選區(qū)域的右下y坐標(biāo)。在附圖中，與作為用戶在矩形區(qū)域坐標(biāo)保存處理(以下要描述的步驟s904)中所選擇的區(qū)域的所選區(qū)域807、808和809相對(duì)應(yīng)的坐標(biāo)信息是坐標(biāo)信息802、坐標(biāo)信息803和坐標(biāo)信息804。與作為通過用戶的選擇而在矩形區(qū)域坐標(biāo)保存處理中所選擇的區(qū)域的所選區(qū)域810和811相對(duì)應(yīng)的坐標(biāo)信息是坐標(biāo)信息805和坐標(biāo)信息806。

預(yù)設(shè)置處理流程

接著，將使用圖9來描述移動(dòng)終端中的預(yù)設(shè)置處理流程。該流程從用戶使用移動(dòng)應(yīng)用程序302、經(jīng)由移動(dòng)終端100中的照相機(jī)104來獲取被攝體105的圖像的步驟作為觸發(fā)而開始。針對(duì)文檔類型的數(shù)量的一部分(在本實(shí)施例中，用于分類成分類1～分類3的三個(gè)文檔類型的一部分)重復(fù)以下步驟s901～s904的處理。

首先，移動(dòng)應(yīng)用程序302的圖像分析單元306對(duì)照相機(jī)輸入圖像執(zhí)行紙張檢測(cè)處理和失真校正處理，并且獲取整體圖像500。接著，在步驟s902中，圖像特征量提取單元312從整體圖像500提取整體圖像特征量數(shù)據(jù)608。然后，在步驟s903中，移動(dòng)應(yīng)用程序302的主控制單元303將整體圖像特征量數(shù)據(jù)608與文檔類型相關(guān)聯(lián)地保存在db單元310。然后，在步驟s904中，移動(dòng)應(yīng)用程序302的主控制單元303將在步驟s901中所獲取到的整體圖像500顯示在移動(dòng)終端100的顯示操作區(qū)域401中，并且允許用戶選擇矩形區(qū)域坐標(biāo)(例如，矩形區(qū)域705)。此外，主控制單元303使用坐標(biāo)處理單元311進(jìn)行坐標(biāo)轉(zhuǎn)換處理，將矩形區(qū)域坐標(biāo)705轉(zhuǎn)換成整體圖像坐標(biāo)706，并且將結(jié)果轉(zhuǎn)換成db登記坐標(biāo)。然后，主控制單元303將坐標(biāo)信息804保存在db單元310中。坐標(biāo)信息802和803也采用相同過程來保存。

在針對(duì)文檔類型的數(shù)量的部分的處理的重復(fù)結(jié)束之后，在步驟s905中，圖像分類單元308基于針對(duì)文檔類型部分的整體圖像特征量數(shù)據(jù)608來創(chuàng)建分類器607，并且將該分類器保存在db單元310中。根據(jù)上述處理，創(chuàng)建在以下要描述的處理中所要使用的針對(duì)各文檔的整體圖像特征量數(shù)據(jù)608、坐標(biāo)信息(802、803和804)和分類器607。

基本流程

接著，將使用圖10來描述移動(dòng)終端100的基本處理流程。該流程從用戶使用移動(dòng)終端100中的移動(dòng)應(yīng)用程序302、使照相機(jī)104接近被攝體105來獲取圖像的步驟作為觸發(fā)而開始。

首先，在步驟s1001中，移動(dòng)應(yīng)用程序302經(jīng)由照相機(jī)單元206來獲取局部圖像501。接著，在步驟s1002中，圖像特征量提取單元312從局部圖像中提取局部圖像特征量。然后，在步驟s1003中，圖像分類單元308使用所提取出的局部圖像特征量和分類器607來進(jìn)行分類處理單元602中的分類處理，并且決定局部圖像中的分類。然后，在步驟s1004中，移動(dòng)應(yīng)用程序302判斷局部圖像是否被分類。如果局部圖像能夠被分類(是)，則過程移入步驟s1005。另一方面，如果局部圖像無法被分類(否)，則過程返回至步驟s1001，以再次經(jīng)由照相機(jī)單元206來獲取局部圖像。

接著，在步驟s1005中，移動(dòng)應(yīng)用程序302的主控制單元403將局部圖像顯示在顯示操作區(qū)域401中。此外，主控制單元使用坐標(biāo)處理單元311來決定局部圖像501在整體圖像500中的位置，并且顯示文本區(qū)域。以下將使用圖12來詳細(xì)描述步驟s1005。接著，在步驟s1006中，移動(dòng)應(yīng)用程序302判斷是否存在用戶對(duì)文本區(qū)域的選擇。如果存在用戶對(duì)文本區(qū)域的選擇(是)，則過程移入步驟s1007。另一方面，如果不存在用戶對(duì)文本區(qū)域的選擇(否)，則過程返回至步驟s1005，以再次進(jìn)行文本區(qū)域顯示處理。

接著，在步驟s1007中，移動(dòng)應(yīng)用程序302獲取與用戶所選擇的文本區(qū)域有關(guān)的文本信息。然后，根據(jù)步驟s1005中所限定的整體圖像和局部圖像的位置502，移動(dòng)應(yīng)用程序302將用戶在坐標(biāo)處理單元311中所選擇的文本區(qū)域的矩形坐標(biāo)711轉(zhuǎn)換成整體圖像的矩形坐標(biāo)712。然后，移動(dòng)應(yīng)用程序302將矩形坐標(biāo)712保存在db單元310的坐標(biāo)管理表801中(坐標(biāo)信息805和806)。

文本區(qū)域顯示處理流程

圖11是示出圖10的流程中的步驟s1005的處理的詳情的流程圖。首先，在步驟s1101中，移動(dòng)應(yīng)用程序302經(jīng)由照相機(jī)單元206來獲取要處理的局部圖像。接著，在步驟s1102中，圖像特征量提取單元312從局部圖像501中提取局部圖像特征量。然后，在步驟s1103中，坐標(biāo)處理單元311從db單元310獲取步驟s1003中所決定的分類(分類1)的整體圖像特征量數(shù)據(jù)608。然后，將整體圖像特征量數(shù)據(jù)608與局部圖像特征量相比較，由此指定局部圖像在整體圖像中的位置502。

接著，在步驟s1104中判斷是否指定了位置。如果能夠指定位置(是)，則過程移入步驟s1105，另一方面，如果無法指定位置(否)，則過程返回至步驟s1101。接著，在步驟s1105中，ocr單元307對(duì)局部圖像501中的對(duì)象區(qū)域進(jìn)行識(shí)別。接著，在步驟s1106中，ocr單元307對(duì)步驟s1105中所識(shí)別出的對(duì)象區(qū)域進(jìn)行ocr處理，并且對(duì)文本信息進(jìn)行識(shí)別。然后，ocr單元307將能夠識(shí)別文本信息的對(duì)象區(qū)域識(shí)別為文本區(qū)域。圖12的文本區(qū)域1201是所識(shí)別出的文本區(qū)域的示例。然后，在步驟s1108中，主控制單元303判斷在局部圖像中是否識(shí)別出文本區(qū)域。如果能夠識(shí)別出文本區(qū)域(是)，則過程移入步驟s1109。另一方面，如果無法識(shí)別出文本區(qū)域(否)，則過程移入步驟s1113。

接著，在步驟s1109中，坐標(biāo)處理單元311通過坐標(biāo)轉(zhuǎn)換處理將db單元310中所保存的坐標(biāo)信息(802～806)從整體圖像坐標(biāo)轉(zhuǎn)換成局部圖像坐標(biāo)，并且判斷轉(zhuǎn)換出的局部圖像坐標(biāo)是否為局域圖像501中的坐標(biāo)。如果坐標(biāo)在局域圖像501中(是)，則過程移入步驟s1111。另一方面，如果坐標(biāo)不在局部圖像中(否)，則過程移入步驟s1110。然后，在步驟s1110中，信息顯示單元304將步驟s1107中所識(shí)別出的文本區(qū)域重疊在局部圖像上，并且將該文本區(qū)域顯示在顯示操作區(qū)域401中，并且處理結(jié)束。

接著，在步驟s1111中，信息顯示單元304將步驟s1107中所識(shí)別出的文本區(qū)域重疊在局部圖像上，并會(huì)將該文本區(qū)域顯示在顯示操作區(qū)域401中。然后，在步驟s1112中，坐標(biāo)處理單元311將轉(zhuǎn)換出的局部圖像坐標(biāo)校正成文本區(qū)域，并且顯示該文本區(qū)域。換句話說，在轉(zhuǎn)換出的局部圖像坐標(biāo)與文本區(qū)域即使只有一點(diǎn)點(diǎn)重疊的情況下，也對(duì)轉(zhuǎn)換出的局部圖像坐標(biāo)進(jìn)行校正，并且顯示文本區(qū)域。此外，如果轉(zhuǎn)換出的局部圖像坐標(biāo)與多個(gè)文本區(qū)域重疊，則將轉(zhuǎn)換出的局部圖像坐標(biāo)校正成存在更多重疊面積的坐標(biāo)，并且顯示文本區(qū)域。

這里，將參考圖12來描述顯示示例中的校正之后的文本區(qū)域。坐標(biāo)1202是校正之前的局部圖像坐標(biāo)，并且顯示示例1203是校正之后的顯示示例。另外，顯示示例1205、1203和1204與圖8中的坐標(biāo)信息802、803和804相對(duì)應(yīng)。此外，顯示示例1206和1207與圖8所示的坐標(biāo)信息805和806相對(duì)應(yīng)。

返回參考圖11，在步驟s1113中，坐標(biāo)處理單元311通過進(jìn)行坐標(biāo)轉(zhuǎn)換處理將db單元310中所保存的坐標(biāo)信息(802～806)從整體圖像坐標(biāo)轉(zhuǎn)換成局部圖像坐標(biāo)，并且判斷轉(zhuǎn)換出的局部圖像坐標(biāo)是否為局部圖像501中的坐標(biāo)。如果坐標(biāo)在局部圖像501中(是)，則過程移入步驟s1114。另一方面，如果坐標(biāo)不在局部圖像501中(否)，過程返回至步驟s1101。接著，信息顯示單元304將從整體圖像坐標(biāo)轉(zhuǎn)換成局部圖像坐標(biāo)的坐標(biāo)顯示在局部圖像中。然后，處理結(jié)束。

如上所述，根據(jù)本實(shí)施例，如果通過接近紙質(zhì)文檔來拍攝圖像，則通過顯示作為用戶的候選選擇而預(yù)先保存的區(qū)域，能夠快速地找到所需的文本區(qū)域。

其它實(shí)施例

本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

盡管已經(jīng)參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。

本申請(qǐng)要求2015年12月28日提交的日本專利申請(qǐng)2015-256476的優(yōu)先權(quán)，這里通過引用將其全部內(nèi)容包含于此。