系統(tǒng)和控制方法
【專利摘要】本發(fā)明公開一種系統(tǒng)和控制方法。本發(fā)明的系統(tǒng)在接收的區(qū)域生成要進行字符識別的多個區(qū)域，比較生成的區(qū)域的坐標和歷史中的區(qū)域的坐標，根據(jù)比較的結(jié)果和歷史確定與生成的區(qū)域的坐標對應的識別信息，并執(zhí)行根據(jù)確定的識別信息指定的、用于向應用輸入基于對生成的區(qū)域執(zhí)行的字符識別的文本信息的腳本。
【專利說明】
系統(tǒng)和控制方法
技術領域
[0001 ]本發(fā)明涉及一種系統(tǒng)和控制方法。
【背景技術】
[0002]通常，通過在PC終端中作為圖像獲取接收的FAX數(shù)據(jù)來替代輸出到片材、并顯示該圖像來實現(xiàn)無紙化的系統(tǒng)已經(jīng)被廣泛應用。日本特開第2009-20642號公報公開一種關于FAX訂單無紙化輸入系統(tǒng)的技術，在該系統(tǒng)中，在PC終端中顯示作為FAX數(shù)據(jù)接收的訂單、并向系統(tǒng)輸入FAX數(shù)據(jù)中包含的信息。

【發(fā)明內(nèi)容】

[0003]在本說明書中，作為向系統(tǒng)輸入FAX數(shù)據(jù)中包含的信息的方法，探討了通過基于識別信息來執(zhí)行腳本而向應用輸入通過光學字符識別(OCR)所識別的文本信息的配置。然而，如果用戶每次都手動指定識別信息，則需要復雜的操作。因此，由于操作需要花費長時間，因此需要花費長時間來向系統(tǒng)輸入信息。
[0004]然而，本發(fā)明通過根據(jù)傳送結(jié)果的歷史對區(qū)域坐標進行比較以指定識別信息來實現(xiàn)向系統(tǒng)的高速輸入。
[0005]根據(jù)本發(fā)明的系統(tǒng)包括:存儲單元，其存儲文檔中包括的區(qū)域的坐標和所述區(qū)域的識別信息；生成單元，其在最新接收的文檔中生成要進行字符識別的多個區(qū)域；比較單元，其比較所述生成單元生成的區(qū)域的坐標與所述存儲單元中存儲的區(qū)域的坐標;確定單元，其根據(jù)與所述存儲單元中存儲的區(qū)域?qū)淖R別信息以及所述比較單元的比較結(jié)果，確定與所述生成單元生成的區(qū)域的坐標對應的識別信息；以及執(zhí)行單元，其根據(jù)所述確定單元確定的識別信息指定用于向應用輸入通過對所述生成單元生成的區(qū)域執(zhí)行的所述字符識別而獲得的文本信息的腳本，并執(zhí)行所指定的腳本，其中，所述存儲單元存儲所述生成單元生成的區(qū)域的坐標和所述區(qū)域的識別信息。
[0006]根據(jù)以下參照附圖對示例性實施例的詳細描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0007]圖1是例示系統(tǒng)的整個配置的圖。
[0008]圖2是例示設備的硬件配置的圖。
[0009]圖3A到圖3C是例示設備的軟件配置的圖。
[0010]圖4是例示移動應用的UI的圖。
[0011 ]圖5是例示系統(tǒng)的基本處理流程的圖。
[0012]圖6A到圖6G是例示消息的數(shù)據(jù)配置的圖。
[0013]圖7A和圖7B是例示中繼應用中存儲的信息的圖。
[0014]圖8是例示圖5的步驟S507中執(zhí)行的處理的流程圖。
[0015]圖9是例示核心系統(tǒng)連接應用的操作畫面的圖。
[0016]圖10是例示執(zhí)行腳本的處理的流程圖。
[0017]圖1IA和圖1IB是例示圖像分類處理的圖。
[0018]圖12A和圖12B是例示坐標處理的圖。
[0019]圖13A到圖13J是例示傳送歷史數(shù)據(jù)庫的數(shù)據(jù)配置和SQL語句的圖。
[0020]圖14是例示移動應用的UI的圖。
[0021]圖15是例示移動應用的UI的圖。
[0022]圖16A到圖16C是例示傳送歷史數(shù)據(jù)庫中存儲的信息的圖。
[0023]圖17A和圖17B是例示移動應用執(zhí)行的處理的流程圖。
[0024]圖18A到圖18E是例示坐標校正處理的圖。
[0025]圖19是例示移動應用的UI的圖。
[0026]圖20是例示搜索區(qū)域縮小處理的圖。
[0027 ]圖21A和圖21B是例示移動應用執(zhí)行的處理的流程圖。
[0028]圖22是例示移動應用的UI的圖。
[0029]圖23是例不移動應用執(zhí)彳丁的處理的流程圖。
[0030]圖24A和圖24B是例示移動應用執(zhí)行的處理的流程圖。
[0031]圖25A到圖25E是例示系統(tǒng)的整個配置和設備的軟件配置的圖。
【具體實施方式】
[0032]以下將參照附圖描述本發(fā)明的實施例。這些實施例并不限制本發(fā)明，并且并非實施例中描述的所有配置都必須作為用于解決根據(jù)本發(fā)明的問題的手段。
[0033]第一實施例
[0034]系統(tǒng)配置
[0035]將描述FAX訂單系統(tǒng)作為根據(jù)第一實施例的信息處理系統(tǒng)的示例。
[0036]圖1是例示FAX訂單系統(tǒng)2000的整體配置的圖。FAX訂單系統(tǒng)2000包括圖像形成裝置101、FAX存儲服務器102、核心企業(yè)服務器(core corporate server)103、作為終端示例的移動終端104以及PC終端105。
[0037]將用戶環(huán)境中安裝的圖像形成裝置101連接到網(wǎng)絡100和用于接收FAX數(shù)據(jù)的公用線路111。通過網(wǎng)絡100使用戶環(huán)境中安裝的FAX存儲服務器102、核心企業(yè)服務器103、移動終端104和PC終端105相互連接以便相互通信。
[0038]請注意，在圖1中，盡管FAX存儲服務器102、核心企業(yè)服務器103、移動終端104和PC終端105屬于相同網(wǎng)絡，但本發(fā)明并不限于此。不同的設備可以屬于不同的網(wǎng)絡或者可以與互聯(lián)網(wǎng)直接連接?？梢允褂脝为氁慌_或多臺服務器作為各服務器。
[0039]FAX存儲服務器102的示例包括在含有圖像形成裝置101的網(wǎng)絡中所包括的本地(on-premises)服務器信息塊(SMB)服務器?？蛇x地，F(xiàn)AX存儲服務器102可以是與互聯(lián)網(wǎng)連接的通用存儲服務器。通用存儲服務器的示例包括Microsoft(注冊商標)公司的OneDrive(注冊商標)和Google(注冊商標)公司的Google driVe(谷歌云端硬盤)。
[0040]核心企業(yè)服務器103在通過在PC終端105中運行的針對特定操作的核心系統(tǒng)連接應用而接收信息的輸入后，執(zhí)行處理。在本發(fā)明中，并未預先定義通過核心企業(yè)服務器103接收的信息和基于信息執(zhí)行的處理。此外，不需要假定從FAX數(shù)據(jù)提取關于輸入源的信息。核心企業(yè)服務器103僅滿足如下條件:核心企業(yè)服務器103在通過PC終端105中運行的核心系統(tǒng)連接應用而接收信息的輸入后執(zhí)行處理。在圖1例示的系統(tǒng)配置中，PC終端105中包括的中繼應用向核心企業(yè)服務器103輸入在通過移動終端104獲得的FAX圖像中所包含的信息。
[0041 ] 硬件配置
[0042]圖2是例示FAX訂單系統(tǒng)2000中包括的設備(圖像形成裝置10UFAX存儲服務器102、核心企業(yè)服務器103、移動終端104和PC終端105)的硬件配置的圖。FAX訂單系統(tǒng)2000中包括的設備中的代表設備201包括各種單元(202到207)。
[0043]FAX訂單系統(tǒng)2000中包括的設備的硬件配置可以彼此相同或互不相同。
[0044]中央處理單元(CPU)202執(zhí)行各種程序以實現(xiàn)各種功能。只讀存儲器(R0M)204存儲各種程序等。隨機存儲存儲器(RAM)203存儲各種類型的信息。RAM 203還用作CPU 202的臨時工作存儲區(qū)。例如，CPU 202將ROM 204中存儲的程序加載到RAM 203并執(zhí)行程序。
[0045]此外，CPU 202根據(jù)諸如閃速存儲器、硬盤驅(qū)動器(HDD)或固態(tài)硬盤(SSD)等的外部存儲設備中存儲的程序執(zhí)行處理。由此實現(xiàn)圖3中例示的FAX訂單系統(tǒng)2000中包括的設備的軟件配置和在如下順序的各步驟中的處理。
[0046]通過專用硬件可以實現(xiàn)設備的全部或部分功能和下述順序中的全部或部分處理。
[0047]輸入/輸出接口205向與設備連接的顯示器(未示出)發(fā)送數(shù)據(jù)并從同樣與各種設備連接的定點設備(pointing device)(未示出)接收數(shù)據(jù)。
[0048]網(wǎng)絡接口卡(NIC)206用于將設備與網(wǎng)絡100連接。上述單元可以通過總線207發(fā)送和接收數(shù)據(jù)。
[0049]此外，圖像形成裝置101包括FAX單元(未示出)，并能夠通過總線207向各單元發(fā)送數(shù)據(jù)并從各單元接收數(shù)據(jù)。FAX單元可以將從各設備接收的FAX控制語言展開為圖像，并通過公用線路(未示出)或互聯(lián)網(wǎng)(IP-FAX)向其他FAX裝置(未示出)傳送該圖像。
[0050]圖像形成裝置101還可以包括打印單元(未示出)。打印單元能夠通過總線207向各單元發(fā)送數(shù)據(jù)并從各單元接收數(shù)據(jù)。請注意，打印單元能夠在諸如片材等的記錄介質(zhì)上記錄(打印)光柵圖像。
[0051]圖像形成裝置101還包括掃描器單元(未示出)。掃描器單元能夠通過總線207向各單元發(fā)送數(shù)據(jù)并從各單元接收數(shù)據(jù)。掃描器單元能夠輸入圖像。
[0052]此外，在移動終端104中，觸摸面板(未示出)與輸入/輸出接口205連接。觸摸面板是諸如顯示器的顯示單元的示例，并具有輸出(顯示)功能和輸入功能這兩種功能。
[0053]軟件配置(通用)
[0054]接下來，將描述FAX訂單系統(tǒng)2000中包括的各設備的軟件配置。圖3A到圖3C是例示各設備的軟件配置的圖。
[0055]在各設備中的ROM204等中存儲實現(xiàn)圖3A到圖3C中例示的軟件(應用)的功能(模塊部)的程序。
[0056]軟件配置(移動終端)
[0057]接下來，將描述移動終端104的軟件配置。移動終端104是便攜式終端的示例，并可以用于使用無線通信功能等的各種場所。
[0058]移動終端104的操作系統(tǒng)(OS)(未示出)包括下述各種模塊(圖像管理單元301、地址管理單元302及通知處理單元303)。
[0059]圖像管理單元301管理圖像和應用數(shù)據(jù)。OS提供用于使用圖像管理單元301的控制應用程序接口(API ,applicat1n programming interface)。各應用使用控制API獲得并存儲由圖像管理單元301管理的圖像和應用數(shù)據(jù)。
[0060]地址管理單元302管理包括姓名、電話號碼和地址的地址信息。與圖像管理單元301—樣，地址管理單元302提供要通過各應用使用的控制API。
[0061]通知處理單元303從通知服務器(未示出)接收通知信息，使用該通知信息中包括的應用的標記來指定作為通知的接收目的地的應用，并向該應用發(fā)送該通知信息。
[0062]通過使用移動終端104的OS的安裝功能(諸如Apple Store或Google Play等)進行下載及安裝來執(zhí)行移動應用304。移動應用304對FAX存儲服務器102管理的數(shù)據(jù)執(zhí)行各種數(shù)據(jù)處理。
[0063]主控制器305控制移動終端104的移動應用304以向下述模塊單元(306至317)發(fā)出指令并管理模塊單元。
[0064]信息顯示單元306根據(jù)主控制器305發(fā)出的指令為用戶提供移動應用304的用戶界面(UI)。
[0065]圖4是例示了提供移動應用304的UI(便攜式終端的UI)的畫面(移動終端畫面400)的圖。在移動終端104的觸摸面板中顯示移動終端畫面400。此外，在移動終端畫面400中，在操作區(qū)域401中顯示FAX數(shù)據(jù)，并且通過顯示的UI接受用戶對文檔等執(zhí)行的操作(用戶操作)。使用OCR按鈕402將畫面變更為下述OCR畫面1400。
[0066]移動應用304的UI的形式(位置、大小、范圍、配置、顯示內(nèi)容等)并不限于圖4中例示的那些，只要實現(xiàn)移動終端104的功能則可以采用任何配置。
[0067]返回參考圖3A到圖3C繼續(xù)描述移動應用304的模塊。
[0068]操作信息獲得單元307獲得與在信息顯示單元306顯示的移動應用304的UI上執(zhí)行的用戶操作對應的信息，并向主控制器305發(fā)送獲得的信息。例如，如果用戶觸摸顯示器和操作區(qū)域401，則操作信息獲得單元307檢測畫面上觸摸的位置的信息并向主控制器305發(fā)送檢測的位置的信息。
[0069]數(shù)據(jù)發(fā)送/接收單元308向FAX存儲服務器102發(fā)送數(shù)據(jù)并從FAX存儲服務器102接收數(shù)據(jù)，并進一步接收從主控制器305發(fā)送的數(shù)據(jù)，并向主控制器305發(fā)送接收的數(shù)據(jù)。數(shù)據(jù)發(fā)送/接收單元308通過FAX數(shù)據(jù)操作和FAX數(shù)據(jù)編輯請求FAX存儲服務器102以更新文件。
[0070]存儲單元309(永久地)存儲用戶通過操作信息獲得單元307或移動應用304的UI輸入的設置值。此外，存儲單元309存儲從FAX存儲服務器102提供并通過數(shù)據(jù)發(fā)送/接收單元308接收的數(shù)據(jù)。
[0071]FAX圖像分析單元310分析FAX圖像并生成布局信息。布局信息包括從FAX圖像提取的矩形區(qū)域和區(qū)域的類型(字符、圖形、線、表等)。
[0072]OCR單元311對被確定出在FAX圖像分析單元310提取的矩形區(qū)域中包括字符的矩形區(qū)域執(zhí)行OCR處理。
[0073]信息生成單元312生成要向PC終端105的中繼應用321發(fā)送的消息。該消息包括例如作為OCR單元311執(zhí)行的處理的結(jié)果或用戶輸入的結(jié)果的文本信息。
[0074]消息發(fā)送/接收單元313向PC終端105的中繼應用321發(fā)送消息生成單元312生成的消息，并接收已發(fā)送消息的應答消息(應答信息)。消息分析單元314分析從PC終端105的中繼應用321提供并通過消息發(fā)送/接收單元313接收的應答消息，并對FAX圖像執(zhí)行處理。
[0075]圖像分類單元315使用預先對從FAX存儲服務器102提供的FAX圖像進行了學習處理的特征值執(zhí)行分類處理，以對FAX圖像進行分類。
[0076]操作歷史管理單元316使用DB單元317中包括的數(shù)據(jù)庫管理用戶選擇的矩形區(qū)域的坐標信息、OCR結(jié)果的文本信息、向中繼應用321發(fā)送的消息等。
[0077]DB單元317具有數(shù)據(jù)庫功能并管理操作歷史信息。
[0078]坐標處理單元318在數(shù)據(jù)庫中注冊坐標信息時執(zhí)行坐標標準化處理，并在向數(shù)據(jù)庫詢問坐標時執(zhí)行坐標校正處理。
[0079]軟件配置(PC終端)
[0080]接下來，將描述PC終端105的軟件配置。
[0081 ] PC終端105能夠執(zhí)行PC終端105中安裝的OS上的多個應用。在圖3A到圖3C中，在多個應用中例示了中繼應用321和核心系統(tǒng)連接應用331。
[0082]核心系統(tǒng)連接應用331用于接收用戶的輸入并向核心企業(yè)服務器103發(fā)送該輸入。下文將參照圖9詳細描述核心系統(tǒng)連接應用331。
[0083]現(xiàn)在將描述中繼應用321的模塊配置。
[0084]主控制器322控制作為移動應用304和核心系統(tǒng)連接應用331之間的中繼的中繼應用321以向下述模塊單元(323到326)發(fā)送指令，并管理各模塊單元。
[0085]存儲單元323存儲用戶生成的腳本。腳本是要根據(jù)包括從移動終端104的移動應用304接收的文本信息的消息而通過中繼應用321執(zhí)行的簡單程序。盡管未作詳細描述，但在中繼應用321執(zhí)行腳本時向核心企業(yè)服務器103輸入信息。
[0086]消息接收單元324從移動終端104的移動應用304接收消息。
[0087]消息分析單元325分析消息接收單元324接收的消息。
[0088]腳本執(zhí)行單元326執(zhí)行腳本，該腳本與作為由消息分析單元325執(zhí)行的消息分析的結(jié)果而獲得的消息的內(nèi)容中所包括的識別信息相關聯(lián)，并存儲于存儲單元323中。
[0089]軟件配置(圖像形成裝置)
[0090]接下來，將描述圖像形成裝置101的軟件配置。
[0091]圖像形成裝置101在Java(注冊商標)平臺上執(zhí)行多個應用。在圖3A到圖3C中，例示了作為多個應用中的一者的FAX接收應用341。現(xiàn)在將描述FAX接收應用341的模塊配置。
[0092]主控制器342控制FAX接收應用341的各模塊，向各模塊發(fā)出指令并管理各模塊。
[0093]信息顯示單元343根據(jù)主控制器342發(fā)出的指令為用戶提供FAX接收應用341的UI。用戶可以使用UI指定FAX圖像的存儲目的地(FAX存儲服務器102)。
[0094]操作信息獲得單元344獲得表示在信息顯示單元343顯示的移動應用341的UI上執(zhí)行的用戶操作的信息，并向主控制器342發(fā)送獲得的信息。
[0095]數(shù)據(jù)發(fā)送/接收單元345向FAX存儲服務器102發(fā)送數(shù)據(jù)，并從FAX存儲服務器102接收數(shù)據(jù)。
[0096]存儲單元346臨時存儲用戶通過信息顯示單元343和操作信息獲得單元344輸入的設置值(例如，各電話號碼的分配目的地的信息)以及要發(fā)送和接收的FAX圖像。
[0097]基本流程
[0098]接下來，將參照圖5描述FAX訂單系統(tǒng)2000的基本處理流程。
[0099]在圖像形成裝置101中包括的FAX單元從其他FAX裝置接收FAX圖像時開始此流程。
[0100]在步驟S501中，圖像形成裝置101接收FAX圖像。其后，圖像形成裝置101在圖像形成裝置101的RAM 203等中存儲接收的FAX圖像和FAX信息(包括發(fā)送人的電話號碼和FAX接收時間的數(shù)據(jù)頭)。在接收到FAX圖像時，F(xiàn)AX接收應用341的主控制器342使用FAX信息的發(fā)送人的電話號碼作為關鍵字(key)來檢查電話薄，并基于與電話號碼對應的地址的信息生成FAX接收目錄信息。存儲單元346存儲FAX接收數(shù)據(jù)(FAX圖像和FAX接收目錄信息)。
[0101]在步驟S502中，主控制器342通過數(shù)據(jù)發(fā)送/接收單元345向FAX存儲服務器102發(fā)送FAX接收數(shù)據(jù)。
[0102]在步驟S503中，移動終端104的移動應用304的主控制器305從FAX存儲服務器102下載FAX接收數(shù)據(jù)。
[0103]在步驟S504中，信息顯示單元306根據(jù)FAX接收數(shù)據(jù)顯示UI。
[0104]在步驟S505中，F(xiàn)AX圖像分析單元310分析FAX接收數(shù)據(jù)中包括的FAX圖像，以獲得布局信息。OCR單元311對識別為字符區(qū)域的區(qū)域執(zhí)行OCR處理，以生成文本信息。在用戶操作時，例如進行指示發(fā)送通過UI上的按鈕操作生成的文本信息的操作時，消息生成單元312使用文本信息生成要向PC終端105的中繼應用321發(fā)送的消息。消息發(fā)送/接收單元313向PC終端105的中繼應用321發(fā)送由消息生成單元312生成的消息。
[0105]在步驟S506中，PC終端105的中繼應用321的主控制器322從移動終端104的移動應用304接收消息。
[0106]在步驟S507中，中繼應用321搜索并執(zhí)行腳本。下文將參照圖8詳細描述步驟S507中的處理。
[0107]在步驟S508中，主控制器322從核心系統(tǒng)連接應用331讀出訂單號，并向移動終端104的移動應用304發(fā)送訂單號作為應答消息。
[0108]在步驟S509中，移動終端104的移動應用304的主控制器305存儲從PC終端105的中繼應用321接收的訂單號作為FAX數(shù)據(jù)的附加信息(注釋)。
[0109]數(shù)據(jù)配置
[0110]接下來，將描述移動終端104的移動應用304和PC終端105的中繼應用321之間發(fā)送并接收的消息。
[0111]圖6A到圖6G是例示此實施例的消息的數(shù)據(jù)配置的圖。
[0112]消息601包括消息關鍵字(messagekey)和與消息關鍵字對應的值。消息關鍵字的值包括子屬性602。子性能602包括主體關鍵字(body key)、內(nèi)部名關鍵字(internal_namekey)和顯示名關鍵字(display-name key)。主體關鍵字具有在PC終端105的中繼應用321執(zhí)行腳本時要輸入到核心系統(tǒng)連接應用331的值(信息)。內(nèi)部名關鍵字具有用于唯一地識別移動終端104的移動應用304和PC終端105的中繼應用321之間的消息的類型(項目)的值。顯示名關鍵字具有用于通過移動終端104的移動應用304和PC終端105的中繼應用321進行顯示的值。消息603到607是通過Java script(注冊商標)對象表現(xiàn)法(JSON，Java scriptobject notat1n)格式所表示的消息的內(nèi)容的示例。消息603用于清除向核心系統(tǒng)連接應用331進行的輸入。消息604到606分別用于向核心系統(tǒng)連接應用331輸入電話號碼、產(chǎn)品代碼和產(chǎn)品數(shù)量。消息607用于確定使用消息604到606向核心系統(tǒng)連接應用331輸入的值，并獲得要在核心系統(tǒng)連接應用331中顯示的訂單號。
[0113]中繼應用中存儲的信息
[0114]圖7A和圖7B是例示PC終端15的中繼應用3 21中存儲的信息的圖。連接目的地信息711用于開始與移動終端104的通信。連接目的地信息711包括分別與移動終端104的地址和移動應用304的監(jiān)聽(Iisten)端口號對應的連接目的地地址和端口號。中繼應用321在啟動應用321時使用連接目的地信息711，并與移動終端104的移動應用304建立通信連接。腳本文件信息712表示響應于從移動應用304提供的消息而要執(zhí)行的腳本文件(腳本)。腳本文件信息712包括識別名和腳本文件名。識別名與從移動應用304提供的消息中包括的內(nèi)部名關鍵字的值對應。在存儲單元323中存儲連接目的地信息711和腳本文件信息712。
[0115]中繼應用的基本流程
[0116]圖8是詳細例示圖5的步驟S507中執(zhí)行的處理的流程圖。在步驟S801中，PC終端105的中繼應用321從移動終端104的移動應用304接收消息。在步驟S802中，消息分析單元325分析消息并獲得消息中包括的內(nèi)部名關鍵字的值。在步驟S803中，腳本執(zhí)行單元326參照腳本文件信息712獲得與內(nèi)部名關鍵字關聯(lián)的腳本文件名。由此，根據(jù)下述圖17A和圖17B的步驟S1723中發(fā)送的識別信息指定腳本，并執(zhí)行指定的腳本。在步驟S804中，腳本執(zhí)行單元326從存儲單元323讀出腳本文件并執(zhí)行該腳本。要執(zhí)行的處理取決于腳本文件的內(nèi)容。在步驟S805中，腳本執(zhí)行單元326獲得腳本執(zhí)行結(jié)果。在步驟S806中，腳本執(zhí)行單元326確定腳本執(zhí)行結(jié)果中是否包括值(應答信息)。在確定是否定時，則終止處理。在步驟S806中，在確定是肯定時，在步驟S807中，主控制器322向移動應用304發(fā)送該值。
[0117]核心系統(tǒng)連接應用畫面
[0118]圖9是例示核心系統(tǒng)連接應用331的操作畫面的圖。
[0119]可以將任何應用作為本實施例的核心系統(tǒng)連接應用331，只要該應用接受通過⑶I進行的用戶輸入即可。假定核心系統(tǒng)連接應用331具有圖9例示的用于向/從核心企業(yè)服務器103輸入/輸出信息的GUI，則本實施例的核心系統(tǒng)連接應用331執(zhí)行以下操作。
[0120]請注意，在本實施例中，通過中繼應用321執(zhí)行腳本可以自動執(zhí)行以下描述中由用戶執(zhí)行的輸入操作、按鈕按下等。下文將參照圖10詳細描述通過中繼應用321執(zhí)行的腳本執(zhí)行處理。此外，用戶可以在操作畫面上進一步編輯通過中繼應用321執(zhí)行腳本而輸入的信息。
[0121]附圖標記900表示核心系統(tǒng)連接應用331的主窗口。顯示欄901到903對應于客戶公司名顯示欄、客戶名顯示欄和客戶部門顯示欄。將電話號碼輸入到電話號碼輸入欄905，并且用戶從FAX圖像讀出FAX發(fā)送人的電話號碼，并輸入電話號碼。在按下搜索按鈕904時，使用輸入到電話號碼輸入欄905的電話號碼從核心企業(yè)服務器103的數(shù)據(jù)庫搜索客戶信息，并在顯示欄901到903中顯示(輸出)搜索結(jié)果。附圖標記906表示訂單輸入欄。訂單輸入欄906具有多行(除第一行中的標題行外)，并且各行具有產(chǎn)品代碼輸入欄907、產(chǎn)品名顯示欄908、數(shù)量輸入欄909、單價顯示欄910以及總金額顯示欄911。用戶從FAX圖像讀出訂購的產(chǎn)品的產(chǎn)品代碼，并在產(chǎn)品代碼輸入欄907中輸入產(chǎn)品代碼。在輸入產(chǎn)品代碼后，從核心企業(yè)服務器103的數(shù)據(jù)庫搜索產(chǎn)品信息，并在相同行的產(chǎn)品名顯示欄908和單價顯示欄910中顯示搜索結(jié)果。
[0122]此外，在用戶從FAX圖像讀出訂購的產(chǎn)品的編號并在數(shù)量輸入欄909中輸入數(shù)量時，在相同行的總金額顯示欄911中顯示通過單價和數(shù)量計算的總金額。在訂購多個產(chǎn)品時，反復執(zhí)行向產(chǎn)品代碼輸入欄907的輸入和向數(shù)量輸入欄909的輸入。
[0123]附圖標記913表示訂單號發(fā)出按鈕，附圖標記914表示訂單號顯示欄。在用戶按下訂單號發(fā)出按鈕913時，在核心企業(yè)服務器103的數(shù)據(jù)庫中注冊顯示欄901到905中顯示的客戶信息和訂單輸入欄906中顯示的信息作為訂單信息。這里，在訂單號顯示欄914中顯示核心企業(yè)服務器103發(fā)出的訂單號。附圖標記912表示清除按鈕。如果用戶按下清除按鈕912，則初始化主窗口 900中的顯示，即，清空所有顯示欄。
[0124]通過腳本執(zhí)行的處理流程
[0125]圖10是詳細例示在圖8的步驟S803中指定針對電話號碼的腳本和步驟S804中執(zhí)行針對電話號碼的腳本時執(zhí)行的處理流程的流程圖。在向具有圖9例示的GUI的核心系統(tǒng)連接應用331輸入腳本的假設下，生成本說明書的腳本。在中繼應用321執(zhí)行腳本時，發(fā)送并接收窗口消息，并向核心系統(tǒng)連接應用331自動輸入信息，而無需用戶手動輸入。下文將詳細描述此操作。
[0126]在圖8的步驟S803中，如果將“tel”設置為從移動終端104的移動應用304接收的消息的內(nèi)部名關鍵字的值，則指定“tel.ps I”為腳本。圖10是例示在執(zhí)行腳本tel.ps I時執(zhí)行的處理的流程圖。在步驟SllOl中，從PC終端105中運行的多個應用中指定核心系統(tǒng)連接應用331。在步驟S1102中，指定核心系統(tǒng)連接應用331的主窗口900。在步驟S1103中，在主窗口900中顯示的GUI控制中指定電話號碼輸入欄905(項目)。在步驟S1104中，將從移動應用304接收的消息的主體關鍵字的值設置給電話號碼輸入欄905。在步驟S1105中，在主窗口900中顯示的GUI控制中指定搜索按鈕904。在步驟S1106中，按下搜索按鈕904。
[0127]圖像分類處理
[0128]接下來，將參照圖1lA和圖1lB描述通過圖像分類單元315執(zhí)行的FAX圖像的分類。圖像分類單元315包括學習處理單元1101和分類處理單元1102。圖像分類單元315預先在學習處理單元1101中執(zhí)行學習處理，并在DB單元317的特征值DB 1107中存儲特征值數(shù)據(jù)。此夕卜，圖像分類單元315根據(jù)特征值DB 1107中包括的信息在分類處理單元1102中執(zhí)行分類處理，以確定分類。
[0129]通常，通過多維數(shù)據(jù)表示表明圖像的特征的特征值數(shù)據(jù)，并將特征值數(shù)據(jù)稱為特征向量。維數(shù)表示特征的類型數(shù)。
[0130]作為學習處理單元1101執(zhí)行的學習處理，對各分類組的多個學習圖像執(zhí)行特征提取，并獲得各學習圖像的100維特征向量。此外，從100維特征向量確定分類組中具有顯著特征的10維特征向量。通過稱作濾波器的軟件組件執(zhí)行維度削減處理。通過DB單元317的特征值DB 1107管理針對各分類組計算的(10維)特征向量和濾波器。
[0131]作為在分類處理單元1102中執(zhí)行的分類處理，對輸入的FAX圖像1103執(zhí)行特征提取，并計算(100維)特征向量。向輸入的FAX圖像1103的(100維)特征向量分配針對特征值DB1107的各分類組的濾波器(主成分分析)，以計算與各分類組對應的(10維)特征向量。然后，將輸入的FAX圖像1103的(10維)特征向量與特征值DB 1107的(10維)特征向量作比較，以便根據(jù)相似的確定執(zhí)行分類。
[0132]圖1lB的學習結(jié)果1109表示學習處理中的特征值DB1107中存儲的數(shù)據(jù)的示例。特征值DB 1107存儲可以用于分為分類組1(1104)、分類組2(1105)和分類組3(1106)的分類中的(10維)特征向量和濾波器。分類結(jié)果1110表示基于通過分類處理獲得的輸入圖像和特征值DB 1107中存儲的信息的分類的結(jié)果的示例。分類結(jié)果1110表示輸入的FAX圖像1103被輸入以及分類組1(1104)、分類組2(1105)和分類組3(1106)中的分類組1(1104)中包括輸入圖像的分類結(jié)果1108被確定。請注意，圖像分類單元315執(zhí)行的圖像分類并不限于本實施例中的描述，而可以采用實現(xiàn)上述功能的任何方法。
[0133]坐標處理
[0134]接下來，將參照圖12A和圖12B描述通過坐標處理單元318執(zhí)行的坐標標準化處理。執(zhí)行坐標標準化處理以處理圖像不依賴原始圖像的長寬比(aspect rat1)且采用不同的dpi的情況。具體地說，在DB單元317中注冊作為用戶執(zhí)行的發(fā)送操作的結(jié)果而獲得的選擇區(qū)域的坐標信息時或向DB單元317詢問注冊的操作歷史時執(zhí)行坐標標準化處理。首先，坐標系統(tǒng)的示例包括顯示坐標(顯示器中的位置)、FAX圖像坐標(FAX圖像中的位置)和數(shù)據(jù)庫注冊坐標。在坐標標準化處理中，將用戶在顯示中選擇的選擇坐標傳送至FAX圖像坐標，并進一步傳送至數(shù)據(jù)庫注冊坐標。通過將FAX圖像坐標與全部像素的比率乘以10000來獲得數(shù)據(jù)庫注冊坐標。
[0135]這里，為了簡化描述，假定顯示坐標與FAX圖像坐標彼此一致，并且FAX圖像1201具有2000?1乘1500?1的矩陣的像素。在通過0，￥) = (200，700)表示選擇區(qū)域1202中的左上坐標1203且通過(400，750)表示右下坐標1204的情況下，通過(1333，3500)和(2666，3750)表示數(shù)據(jù)庫注冊坐標。在下文中，通過minX表示數(shù)據(jù)庫注冊坐標中的左上X坐標、通過maxX表示右下X坐標、通過minY表示左上Y坐標，并通過maxY表示右下Y坐標。
[0136]數(shù)據(jù)配置(DB)
[0137]接下來，將描述DB單元317中包括的操作歷史數(shù)據(jù)庫1300。圖13A到13J是例示本實施例的操作歷史數(shù)據(jù)庫1300的數(shù)據(jù)配置和SQL語句的圖。操作歷史數(shù)據(jù)庫1300包括發(fā)送歷史表1301和發(fā)送區(qū)域表1302。
[0138]發(fā)送歷史表1301包括id欄、內(nèi)部名(丨1^61'1^1的1116)欄、分類((3138 8；1^031:;[011)欄、OCR結(jié)果(ocrresult)欄和發(fā)送消息(sendmessage)欄。id欄包括每向發(fā)送歷史表1301增加記錄就以一遞增的值，并且是表格中的主關鍵字(primary key)。internalname欄存儲發(fā)送結(jié)果的識別信息。classficat1n欄存儲FAX圖像的分類結(jié)果(例如，圖1lA和圖1lB的1108)。ocrresult欄存儲選擇區(qū)域的OCR結(jié)果。sendmessage欄存儲發(fā)送結(jié)果(發(fā)送的文本信息)。
[0139]發(fā)送區(qū)域表1302包括丨(1欄、111；[11?(欄、11^乂欄、111；[11￥欄和11^￥欄。111；[1^欄存儲選擇區(qū)域的左上X坐標。maxX欄存儲選擇區(qū)域的右下X坐標。minY欄存儲選擇區(qū)域的左上Y坐標。maxY欄存儲選擇區(qū)域的右下Y坐標。此外，以使通過R-tree索引(多維信息索引)方法對發(fā)送區(qū)域表1302執(zhí)行高速區(qū)域搜索的方式配置發(fā)送區(qū)域表1302。
[0140]SQL語句1303到1310是用于對操作歷史數(shù)據(jù)庫1300的各種詢問的SQL語句的示例。SQL語句1303用于重新生成發(fā)送歷史表1301AQL語句1304用于重新生成發(fā)送區(qū)域表1302。在初始化應用時執(zhí)行SQL語句1303和1304，并在DB單元317中存儲生成的表格。SQL語句1305用于檢查是否存在相同分類組的發(fā)送歷史。SQL語句1306用于檢查是否存在相同分類組的且具有相同選擇坐標的發(fā)送歷史。SQL語句1307用于檢查是否檢測到相同分類組的且具有相同選擇坐標的發(fā)送歷史的所有識別信息的匹配。SQL語句1308用于檢查是否檢測到相同分類組的且與選擇坐標對應的發(fā)送歷史的所有發(fā)送結(jié)果的匹配。SQL語句1309用于檢查是否存在相同分類組的且具有相同OCR結(jié)果的發(fā)送歷史。SQL語句1310用于使用分類信息作為關鍵字來存儲發(fā)送歷史。
[0141]OCR畫面(移動終端)
[0142]接下來，將參照圖14描述移動終端104中的OCR畫面。在按下移動終端畫面400的OCR按鈕402時顯示OCR畫面1400。在顯示OCR畫面1400時，在FAX顯示畫面中顯示的FAX圖像中生成針對OCR的各模塊(區(qū)域)，并對各模塊執(zhí)行OCR處理。此外，在各模塊中，被識別出包含文本的模塊被矩形圍成由附圖標記1409和1411表示的可選擇區(qū)域，以顯示為可選擇狀態(tài)。作為目標識別或OCR的結(jié)果，將可選擇區(qū)域1409和1411識別為文本區(qū)域，通過矩形圍住并可進行選擇。按鈕顯示區(qū)域1402用于顯示按鈕設置畫面(未例示)中設置的按鈕。在按下按鈕1404到1406中的一者后按下可選擇區(qū)域中的一者時，作為消息向中繼應用321發(fā)送可選擇區(qū)域中的OCR的結(jié)果。圖6D中的消息604是按下電話號碼按鈕的情況下發(fā)送的消息的示例。同樣地，圖6E中的消息605和圖6F中的消息606是在分別按下產(chǎn)品代碼按鈕1405和按下產(chǎn)品數(shù)量按鈕1406的情況下所發(fā)送的消息的示例。顯示名區(qū)域1408用于顯示向按鈕分配的名稱。在如附圖標記1410表示的那樣標記可選擇區(qū)域中的一者來識別用戶選擇了可選擇區(qū)域時，將區(qū)域1410稱作選擇完成區(qū)域1410。在用戶選擇可選擇區(qū)域中的一者時，將該區(qū)域稱作選擇完成區(qū)域，并顯示下述發(fā)送確認畫面1500。
[0143]發(fā)送確認畫面(移動終端)
[0144]接下來，將參照圖15描述移動終端104的發(fā)送確認畫面1500。在發(fā)送確認畫面1500中，用戶檢查用戶選擇的區(qū)域的OCR結(jié)果，并且，如果用戶對OCR結(jié)果滿意，則向中繼應用321發(fā)送OCR結(jié)果。另一方面，如果用戶對OCR結(jié)果不滿意，則執(zhí)行校正或者在發(fā)送確認畫面1500中取消發(fā)送。選擇完成圖像顯示區(qū)域1501放大顯示用戶選擇的可選擇區(qū)域的圖像。文本輸入?yún)^(qū)1502包括作為對選擇的可選擇區(qū)域執(zhí)行的OCR處理的結(jié)果的文本信息或使用操作歷史數(shù)據(jù)庫1300而作為初始值確定的可編輯的發(fā)送結(jié)果信息。文本清除按鈕1503用于清除文本輸入?yún)^(qū)1502的文本值。在獲得錯誤的OCR結(jié)果等時使用文本清除按鈕1503。發(fā)送執(zhí)行按鈕1504用于執(zhí)行發(fā)送。在按下發(fā)送執(zhí)行按鈕1504時，向中繼應用321發(fā)送消息。取消按鈕1505用于取消發(fā)送確認畫面1500以便再次顯示OCR畫面1400。
[0145]操作歷史數(shù)據(jù)庫的示例
[0146]接下來，將參照圖16A到圖16C描述操作歷史數(shù)據(jù)庫1300中存儲的信息的示例。在圖像分類單元315將FAX圖像1600的分類組確定為“分類組I”，并且用戶向中繼應用321發(fā)送選擇區(qū)域1601到1605的情況下，獲得發(fā)送歷史表1606和發(fā)送區(qū)域表1607作為發(fā)送歷史表1301和發(fā)送區(qū)域表1302的具體示例。發(fā)送歷史記錄1608表示選擇了 FAX圖像1600的選擇區(qū)域1601，識別信息是“tel”，并且在發(fā)送前在發(fā)送確認畫面1500中將OCR結(jié)果“080-1284-1234”校正為“080-1234-1234”。此外，發(fā)送歷史記錄1609表示選擇了FAX圖像1600的選擇區(qū)域1602，識別信息是“code”，并且在發(fā)送前在發(fā)送確認畫面1500中將OCR結(jié)果“2301119”校正為“2801119”。此外，發(fā)送歷史記錄1610表示選擇了FAX圖像1600的選擇區(qū)域1603，識別信息是“code”，并且不在發(fā)送確認畫面1500中進行校正而發(fā)送OCR結(jié)果“3891120”。此外，發(fā)送歷史記錄1611表示選擇了 FAX圖像1600的選擇區(qū)域1604，識別信息是“num”，并且不在發(fā)送確認畫面1500中進行校正而發(fā)送OCR結(jié)果“3”。此外，發(fā)送歷史記錄1612表示選擇了 FAX圖像1600的選擇區(qū)域1605，識別信息是“num”，并且不在發(fā)送確認畫面1500中進行校正而發(fā)送OCR結(jié)果 “3”。
[0147]提取信息發(fā)送處理的流程圖
[0148]圖17A和圖17B是詳細例示通過圖5的步驟S505中執(zhí)行的按鈕操作發(fā)送從圖像提取的信息的處理的流程圖。在移動終端104的移動終端畫面400中顯示FAX圖像時，在用戶按下OCR按鈕402時開始此流程。
[0149 ]在步驟S1701中，F(xiàn)AX圖像分析單元310分析FAX接收數(shù)據(jù)中包括的FAX圖像，以獲得用于識別FAX圖像中的字符的多個模塊。
[0150] 在步驟S1702中，0CR單元311對各模塊執(zhí)行OCR處理以提取文本信息。
[0151 ]在步驟S1703中，信息顯示單元306變更通過對FAX圖像執(zhí)行的OCR而獲得的模塊的區(qū)域的顏色，以使模塊進入可選擇狀態(tài)，并顯示圖14中例示的OCR畫面1400。
[0152]在步驟S1704中，在用戶在OCR畫面1400中選擇了要發(fā)送的可選擇區(qū)域中的一者時，信息顯示單元306使選擇的可選擇區(qū)域進入可選擇狀態(tài)。在選擇的狀態(tài)下，顯示選擇完成區(qū)域以如圖14中例示的那樣從可選擇區(qū)域中區(qū)別開來。例如，如果選擇了描述了 “080-1234-1234”的區(qū)域，則將區(qū)域顯示為選擇完成區(qū)域1410。
[0153]在步驟S1705中，圖像分類單元315的分類處理單元1102執(zhí)行分類處理以分類FAX圖像。在下文中，在預先生成了圖16B和圖16C中例示的數(shù)據(jù)庫的假設下而進行描述。具體地說，預先生成發(fā)送歷史表1606和發(fā)送區(qū)域表1607作為操作歷史數(shù)據(jù)庫1300。
[0154]在確定已在步驟S1706中分類了FAX圖像時，處理進入步驟S1707。在還未分類FAX圖像時，處理進入步驟S1721。
[0155]在步驟S1707中，操作歷史管理單元316在DB單元317的操作歷史數(shù)據(jù)庫1300中搜索歷史信息，該歷史信息是在相同分類組、且使用例如分類組1(1104)的分類信息作為關鍵字而發(fā)送的。這里，針對對操作歷史數(shù)據(jù)庫1300的詢問而發(fā)出SQL語句1305。
[0156]在步驟S1708中，在命中此類歷史信息時，處理進入步驟S1709。在沒有命中此類歷史信息時，處理進入步驟S1721。在發(fā)送歷史表1606的示例中，在分類組1(1104)中命中了五條記錄(1608到1612)，因此，處理進入步驟S1709。
[0157]在步驟S1709中，操作歷史管理單元316使坐標處理單元318對步驟S1704中選擇的選擇完成區(qū)域1410的坐標信息執(zhí)行坐標校正處理以及如圖12描述的坐標標準化處理。
[0158]這里，將參照圖18A到圖18E描述坐標校正處理以及步驟S1710中執(zhí)行的包含詢問(inclus1n inquiry)和重疊詢問(overlapping inquiry)。采用包含詢問1801和重疊詢問180 2這兩種詢問作為使用選擇完成區(qū)域1410的坐標信息向操作歷史數(shù)據(jù)庫1300發(fā)送詢問的方法。發(fā)出包含詢問1801以在詢問區(qū)域中僅搜索詢問區(qū)域中包含的區(qū)域。例如，發(fā)出包含詢問1801以在包含詢問區(qū)域1807中搜索包含區(qū)域1808。盡管，響應于包含詢問1801執(zhí)行的處理速度高，但可能如非命中示例1803表示的那樣針對詢問而毫無命中。
[0159]另一方面，發(fā)出重疊詢問1802以在詢問區(qū)域中搜索重疊區(qū)域。例如，發(fā)出重疊詢問1802以在重疊詢問區(qū)域1809中搜索重疊區(qū)域1810。盡管在發(fā)出重疊詢問1802時確定無疑地至少命中區(qū)域，但響應于重疊詢問1802執(zhí)行的處理速度可能低，并且可能會命中噪音。
[0160]在詢問區(qū)域1811與非命中區(qū)域1812部分重疊時獲得非命中示例1803，S卩，詢問區(qū)域1811不包含非命中區(qū)域1812，因此，不會響應于包含詢問命中非命中區(qū)域1812。通過這種方式，如果坐標輕微偏移，則在發(fā)出包含詢問1801時不會命中任何區(qū)域。
[0161]此外，在詢問區(qū)域1813既不包含也不與非命中區(qū)域1814部分重疊時獲得非命中示例1804，因此，在發(fā)出包含詢問1801和重疊詢問1802中的任一者時，不會命中區(qū)域1814。在例如存儲了諸如圖16A中例示的產(chǎn)品代碼1602和1603等的兩個歷史的狀態(tài)下，在最新讀出包括如圖14的OCR畫面中例示的第三產(chǎn)品代碼的FAX圖像的情況中獲得非命中示例1804。非命中示例1804表示在步驟S1704中代替區(qū)域1410而選擇了可選擇區(qū)域1411的情況下，沒有對任何詢問命中任何區(qū)域。
[0162]為了處理非命中示例1803，在步驟S1709中執(zhí)行坐標校正處理以校正坐標位置。將如圖18A到圖18E的附圖標記1800詳細描述坐標校正處理。在用戶選擇如例示的左上坐標1203和右下坐標1204的情況下，將左上坐標1203和右下坐標1204分別校正為如例示的左上坐標1805和右下坐標1806。
[0163]此外，為了處理非命中示例1804，在步驟S1710中不存在滿足包含詢問1801的區(qū)域的情況下，發(fā)出重疊詢問1802以再次執(zhí)行搜索。
[0164]在下文中，再次參照圖17A和圖17B進行描述。在步驟S1710中，操作歷史管理單元316比較分類信息的分類組I (1104)中的選擇完成區(qū)域的坐標與操作歷史數(shù)據(jù)庫1300中的坐標以確定操作歷史數(shù)據(jù)庫1300中的其中一個坐標是否與選擇完成區(qū)域的坐標匹配。更具體地說，發(fā)出上述包含詢問1801，而如果沒有檢測到匹配，則發(fā)出上述重疊詢問1802。這里，針對要向操作歷史數(shù)據(jù)庫1300發(fā)送的包含詢問1801發(fā)出SQL語句1306，并針對重疊詢問1802發(fā)出SQL語句1311。在發(fā)送歷史表1606的示例中，僅命中記錄1608。
[0165]在步驟S1711中，在命中歷史信息時，處理進入步驟S1712。否則，處理進入步驟S1721。
[0166]在步驟S1712中，在所有的命中歷史信息的識別信息都相同時，處理進入步驟S1713。否則，處理進入步驟S1721。這里，發(fā)出SQL語句1307作為向操作歷史數(shù)據(jù)庫1300的詢問。在發(fā)送歷史表1606的示例中，所有識別信息都是“tel”，因此，確定所有識別信息都相同，并且處理進入步驟S1713。
[0167]在步驟S1713中，根據(jù)與發(fā)送區(qū)域表對應的發(fā)送歷史表中的識別信息確定步驟S1704中選擇的區(qū)域的識別信息，并且信息顯示單元306使按鈕進入選擇的狀態(tài)。在發(fā)送歷史表1606的示例中，將識別信息確定為“tel”，并且使電話號碼按鈕1404進入選擇的狀態(tài)。以下將參照圖15描述選擇狀態(tài)下的按鈕的顯示方法。
[0168]在步驟S1714中，操作歷史管理單元316檢查步驟S1711中命中的歷史的發(fā)送結(jié)果(sendmessage)。這里，針對要向操作歷史數(shù)據(jù)庫1300發(fā)送的詢問發(fā)出SQL語句1308。
[0169]在步驟S1715中，在所有發(fā)送結(jié)果(sendmessage)都相同時，處理進入步驟S1716。否則，處理進入步驟S1717。
[0170]在步驟S1716中，操作歷史管理單元316確定要顯示的發(fā)送結(jié)果。在發(fā)送歷史表1606中，確定將記錄1608中的“080-1234-1234”顯示為發(fā)送結(jié)果。
[0171]在步驟S1717中，操作歷史管理單元316檢查操作歷史數(shù)據(jù)庫1300的OCR結(jié)果(ocrresult)中是否包括與選擇完成區(qū)域1410的OCR結(jié)果匹配的文本。在檢測到匹配時，處理進入步驟S1718。否則，處理進入步驟S1721。這里，針對要向操作歷史數(shù)據(jù)庫1300發(fā)送的詢問發(fā)出SQL語句1309。
[0172]在步驟S1718中，操作歷史管理單元316確定是否獲得了多個發(fā)送結(jié)果。在確定是肯定時，處理進入步驟S1719。在確定是否定時，處理進入步驟S1720。
[0173]在步驟S1719中，操作歷史管理單元316確定要顯示與最大發(fā)送計數(shù)對應的發(fā)送結(jié)果中的一者。
[0174]在步驟S1720中，操作歷史管理單元316確定要顯示發(fā)送結(jié)果。
[0175]在步驟S1721中，操作歷史管理單元316確定要顯示選擇完成區(qū)域1410的OCR結(jié)果。
[0176]在步驟S1722中，主控制器305根據(jù)從操作歷史管理單元316提供的信息顯示發(fā)送確認畫面1500。選擇完成圖像顯示區(qū)域1501的圖像與選擇完成區(qū)域1410的圖像對應。此外，存儲上述步驟中確定的發(fā)送結(jié)果或OCR結(jié)果作為文本輸入?yún)^(qū)1502的值。選擇狀態(tài)按鈕1506表示電話號碼按鈕1404處于選擇狀態(tài)中。在步驟S1713中還未確定識別信息時，用戶需要確定識別信息并選擇按鈕1404到1406中的一者。
[0177]在步驟S1723中，在用戶按下發(fā)送執(zhí)行按鈕1504時，消息生成單元312生成如下的消息，該消息表示要向中繼應用321發(fā)送文本輸入?yún)^(qū)1502中的值“080-1234-1234”和電話號碼按鈕1404中設置的識別信息“tel”。這里生成的消息與圖6A到圖6G的消息604對應。此外，消息發(fā)送/接收單元313向中繼應用321發(fā)送消息。通過這種方式，發(fā)送步驟S1713中確定的識別信息和基于對步驟S1701中生成的模塊執(zhí)行的OCR的文本信息。
[0178]在步驟S1724中，主控制器305在操作歷史數(shù)據(jù)庫1300中存儲發(fā)送歷史。這里，針對要向操作歷史數(shù)據(jù)庫1300發(fā)送的詢問發(fā)出SQL語句1310。通過這種方式，根據(jù)移動應用304的發(fā)送結(jié)果存儲原稿中的區(qū)域的坐標和與區(qū)域?qū)淖R別信息。
[0179]如上所述，根據(jù)此實施例，與根據(jù)歷史信息自動確定的識別信息一起向PC終端105中的中繼應用321發(fā)送對通過移動終端104獲得的FAX圖像執(zhí)行的OCR的結(jié)果或歷史信息的發(fā)送結(jié)果的文本信息。在中繼應用321執(zhí)行由識別信息指定的腳本時，自動在系統(tǒng)上執(zhí)行輸入操作代替用戶手動輸入。
[0180]第二實施例
[0181]在第二實施例中，將描述第二提取信息發(fā)送處理。省略前述實施例中描述的配置和處理流程的詳細描述。在第一實施例中，盡管在選擇時使用歷史信息和OCR信息確定用戶選擇的可選擇區(qū)域的識別信息，但在后述OCR畫面1900顯示時預先根據(jù)歷史信息自動確定所有選擇區(qū)域的識別信息，以向用戶可視化地進行顯示。
[0182]OCR畫面(移動終端)
[0183]將參照圖19描述移動終端104中的第二OCR畫面1900。在OCR畫面1900中，根據(jù)歷史信息確定所有選擇區(qū)域的識別信息，并作為示例可視化地顯示識別信息。在選擇區(qū)域1901中，將識別信息確定為“tel”。在選擇區(qū)域1902中，將識別信息確定為“code”。在選擇區(qū)域1903中，將識別信息確定為“code”。在選擇區(qū)域1904中，將識別信息確定為“code”。在選擇區(qū)域1905中，將識別信息確定為“num”。在選擇區(qū)域1906中，將識別信息確定為“num”。在選擇區(qū)域1907中，將識別信息確定為“num”。對各識別信息以不同的顏色顯示確定了其的識別信息的選擇區(qū)域，以使用戶可以區(qū)分識別信息。
[0184]搜索區(qū)域縮小處理
[0185]接下來，將參照圖20描述通過操作歷史管理單元316執(zhí)行的搜索區(qū)域縮小處理。在要顯示圖19中例示的第二 OCR畫面1900的情況下，需要確定從FAX圖像提取的所有可選擇區(qū)域的識別信息。因此，預先使用歷史信息的坐標信息來區(qū)分搜索請求區(qū)域2001和搜索例外區(qū)域2002，以便在輸入FAX圖像2003中的可選擇區(qū)域中確定搜索請求區(qū)域2004和搜索例外區(qū)域2005。通過這種方式，由于僅確定了搜索請求區(qū)域2004的識別信息，所以可以減少搜索目標的數(shù)量，因此，提高了顯示速度。在消息發(fā)送后，在操作歷史數(shù)據(jù)庫1300中注冊歷史時識別搜索請求區(qū)域2001和搜索例外區(qū)域2002。將現(xiàn)有的搜索區(qū)域和操作歷史信息的坐標信息互相作比較，以便將與現(xiàn)有搜索區(qū)域和坐標信息之間的AND條件對應的區(qū)域確定為搜索區(qū)域。
[0186]提取信息發(fā)送處理的流程圖
[0187]圖21A和圖21B是例示通過按鈕操作發(fā)送從圖像提取的信息的第二處理(圖5的步驟S505)的流程圖。在移動終端104的移動終端畫面400中顯示FAX圖像時，在用戶按下OCR按鈕402時開始此流程。
[0188]請注意，向與前文描述的步驟相同的處理分配與向前文例示的步驟分配的步驟標號相同的步驟標號，并且除非特別注明，否則將省略對其的描述。
[0189]在步驟S2101中，操作歷史管理單元316執(zhí)行參照圖20描述的搜索區(qū)域縮小處理。
[0190]在步驟S2102中，操作歷史管理單元316確定搜索請求區(qū)域2004中是否分別包括FAX圖像中生成的模塊。作為確定結(jié)果而在搜索請求區(qū)域2004的一者中包括目標模塊的情況下，處理進入步驟S1709。另一方面，在模塊與搜索例外區(qū)域2005對應的情況下，聚焦下一個模塊，并在步驟S2102中對下一個模塊執(zhí)行確定處理。
[0191]在步驟S2103中，操作歷史管理單元316確定模塊的識別信息。此外，信息顯示單元306變更FAX圖像中的模塊的區(qū)域的顏色。此外，信息顯示單元306變更各識別信息的顏色。此外，使區(qū)域進入可選擇狀態(tài)。
[0192]在步驟S2104中，信息顯示單元306顯示OCR畫面1900。
[0193]在步驟S2105中，操作歷史管理單元316確定現(xiàn)有搜索區(qū)域的幀中是否包括發(fā)送歷史坐標。在確定為否定時，操作歷史管理單元316更新搜索區(qū)域信息。
[0194]如上所述，根據(jù)此實施例，在OCR畫面1900中可以根據(jù)歷史信息自動確定通過移動終端104獲得的FAX圖像中的選擇區(qū)域的識別信息，并可視化地進行顯示。
[0195]第三實施例
[0196]在第三實施例中，將描述第三提取信息發(fā)送處理。省略前述實施例中描述的配置和處理流程的詳細描述。在第二實施例中，在OCR畫面1900顯示時，根據(jù)歷史信息自動確定所有選擇區(qū)域的識別信息，以便用戶可視化地確認識別信息。在第三實施例中，在OCR畫面2200顯示時，與自動確定的識別信息一起顯示確定的OCR結(jié)果或發(fā)送結(jié)果的文本信息。
[0197]OCR畫面(移動終端)
[0198]將參照圖22描述移動終端104中的第三OCR畫面2200。根據(jù)識別了識別信息的選擇區(qū)域中的文本信息而動態(tài)地生成動態(tài)生成顯示區(qū)2201。在此實施例中，生成了七個顯示區(qū)域。電話號碼顯示區(qū)2202與選擇區(qū)域1901對應。產(chǎn)品代碼顯示區(qū)2203與選擇區(qū)域1902對應。數(shù)量顯示區(qū)2204與選擇區(qū)域1905對應。產(chǎn)品代碼顯示區(qū)2205與選擇區(qū)域1903對應。數(shù)量顯示區(qū)2206與選擇區(qū)域1906對應。產(chǎn)品代碼顯示區(qū)2207與選擇區(qū)域1904對應。數(shù)量顯示區(qū)2208與選擇區(qū)域1907對應。在要校正顯示的文本信息時按下電話號碼校正按鈕2209、產(chǎn)品代碼校正按鈕2210、數(shù)量校正按鈕2211、產(chǎn)品代碼校正按鈕2212、數(shù)量校正按鈕2213、產(chǎn)品代碼校正按鈕2214或數(shù)量校正按鈕2215。在按下其中一個按鈕時，顯示發(fā)送確認畫面1500。使顯示的發(fā)送確認畫面1500中的發(fā)送執(zhí)行按鈕1504進入非顯示狀態(tài)，而顯示返回按鈕(未例示)。用戶校正此畫面中的文本信息并按下返回按鈕，以再次顯示OCR畫面2200。此外，可以通過用戶操作增加或刪除動態(tài)生成顯示區(qū)2201中的顯示區(qū)。
[0199]提取信息發(fā)送處理的流程圖
[0200]圖24A和圖24B是詳細例示圖5的步驟S505中作為第三處理執(zhí)行的通過按鈕操作發(fā)送從圖像提取的信息的處理的流程圖。在移動終端104的移動終端畫面400中顯示FAX圖像時，在用戶按下OCR按鈕402時開始此流程。
[0201]請注意，向與前文描述的步驟相同的處理分配與向前文例示的步驟分配的步驟標號相同的步驟標號，并且除非特別注明，否則將省略對其的描述。
[0202]在步驟S2401中，信息顯示單元306生成顯示區(qū)區(qū)域。
[0203]在步驟S2402中，信息顯示單元306在顯示區(qū)區(qū)域設置發(fā)送結(jié)果或OCR結(jié)果的文本
?目息O
[0204]在步驟S2403中，在存在步驟S2103中確定了識別信息的至少兩個發(fā)送歷史的情況下，處理進入步驟S2404，否則，處理進入步驟S2104。
[0205]在步驟S2404中，信息顯示單元306顯示圖22的OCR畫面2200。
[0206]在步驟S2405中，在用戶按下校正按鈕2209到2215中的一者時，信息顯示單元306顯示圖15的發(fā)送確認畫面1500。
[0207]如上所述，根據(jù)此實施例，可以根據(jù)歷史信息自動在OCR畫面中確定通過移動終端104獲得的FAX圖像中的選擇區(qū)域的識別信息，并可以用列表顯示基于識別信息的類型以及文本信息。
[0208]第四實施例
[0209]在第四實施例中，將描述第二系統(tǒng)配置。省略前述實施例中描述的配置和處理流程的詳細描述。在此實施例中，通過圖像形成裝置執(zhí)行分類處理，并且通過移動終端使用分類處理的結(jié)果。此外，在服務器中存儲歷史信息，并可以通過多個移動終端使用歷史信息。
[0210]系統(tǒng)配置
[0211]將參照圖25Α到圖25Ε描述FAX訂單系統(tǒng)3000作為根據(jù)此實施例的信息處理系統(tǒng)的示例。
[0212]與移動終端104類似地配置移動終端107，并通過網(wǎng)絡100以可通信的方式與其他設備連接。
[0213]操作歷史管理服務器106管理關于使用PC終端104和107執(zhí)行的操作的操作歷史信息。
[0214]軟件配置(圖像形成裝置)
[0215]接下來，將描述圖像形成裝置101的軟件配置。
[0216]圖像分類單元2501同圖像分類單元315—樣，如參照圖1lA和圖1lB所描述那樣使用預先對FAX圖像執(zhí)行了學習處理的特征值DB 1107執(zhí)行分類處理，以分類FAX圖像。
[0217]軟件配置(移動終端)
[0218]數(shù)據(jù)傳送/接收單元308請求向操作歷史管理服務器106發(fā)送通過操作歷史管理單元316發(fā)出的詢問，并執(zhí)行信息獲得和信息更新。
[0219]軟件配置(操作歷史管理服務器106)
[0220]操作歷史管理服務器106的歷史管理應用2500包括操作歷史管理單元2502和DB單元2503。操作歷史管理單元2502向/從移動終端104和107的數(shù)據(jù)發(fā)送/接收單元308發(fā)送并接收數(shù)據(jù)。DB單元2503響應從操作歷史管理單元2502提供的詢問而使用操作歷史表獲得并更新信息。
[0221 ] 基本流程
[0222]接下來，將參照圖23描述FAX訂單系統(tǒng)3000的基本處理流程。
[0223]在圖像形成裝置101中包括的FAX單元從其他FAX裝置接收FAX圖像時開始此流程。
[0224]在步驟S2601中，圖像分類單元2501分類FAX圖像。將分類的信息存儲為FAX接收目錄信息O
[0225]在步驟S2602中，主控制器305識別FAX接收目錄信息中包括的分類信息。此外，操作歷史管理單元316通過數(shù)據(jù)傳送/接收單元308向操作歷史管理服務器106發(fā)出各種詢問，以獲得操作歷史信息。
[0226]在步驟S2603中，操作歷史管理單元316通過數(shù)據(jù)傳送/接收單元308向操作歷史管理服務器106發(fā)送操作歷史信息。操作歷史管理服務器106在DB單元中存儲接收的操作歷史
?目息O
[0227]如上所述，根據(jù)此實施例，可以將操作歷史存儲于外部服務器中，并通過多個移動終端進行分享。可以將操作歷史存儲于PC終端105或圖像形成裝置101中。
[0228]其他實施例
[0229]可以通過網(wǎng)絡或存儲介質(zhì)向系統(tǒng)或裝置提供實現(xiàn)上述實施例中的至少一項功能的程序，并通過系統(tǒng)或裝置的計算機中包括的至少一個處理器讀取并執(zhí)行該程序來實現(xiàn)本發(fā)明。此外，可以通過實現(xiàn)至少一項功能的電路(例如，AS IC)來實現(xiàn)本發(fā)明。
[0230]盡管上文描述了本發(fā)明的優(yōu)選實施例，但本發(fā)明并不限于這些實施例，并且可以在本發(fā)明的范圍內(nèi)進行各種變型和改變。
[0231]根據(jù)本發(fā)明的系統(tǒng)，可以根據(jù)發(fā)送結(jié)果的歷史比較區(qū)域的坐標以指定識別信息來實現(xiàn)向系統(tǒng)的高速輸入。
[0232]本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，S卩，通過網(wǎng)絡或者各種存儲介質(zhì)將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機或是中央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。
[0233]雖然參照示例性實施例描述了本發(fā)明，但是應當理解，本發(fā)明并不限于所公開的示例性實施例。應當對權(quán)利要求的范圍賦予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)及功能。
【主權(quán)項】
1.一種系統(tǒng)，所述系統(tǒng)包括: 存儲單元，其存儲文檔中包括的區(qū)域的坐標和所述區(qū)域的識別信息； 生成單元，其在最新接收的文檔中生成要進行字符識別的多個區(qū)域； 比較單元，其比較所述生成單元生成的區(qū)域的坐標與所述存儲單元中存儲的區(qū)域的坐標； 確定單元，其根據(jù)與所述存儲單元中存儲的區(qū)域?qū)淖R別信息以及所述比較單元的比較結(jié)果，確定與所述生成單元生成的區(qū)域的坐標對應的識別信息；以及 執(zhí)行單元，其根據(jù)所述確定單元確定的識別信息，指定用于向應用輸入通過對所述生成單元生成的區(qū)域執(zhí)行的所述字符識別而獲得的文本信息的腳本，并執(zhí)行所指定的腳本，其中，所述存儲單元存儲所述生成單元生成的區(qū)域的坐標和所述區(qū)域的識別信息。2.根據(jù)權(quán)利要求1所述的系統(tǒng)，所述系統(tǒng)還包括: 發(fā)送單元，其發(fā)送所述確定單元確定的識別信息以及通過對所述生成單元生成的區(qū)域執(zhí)行的所述字符識別而獲得的文本信息， 其中，所述執(zhí)行單元根據(jù)所述發(fā)送單元發(fā)送的識別信息指定用于向所述應用輸入所述文本信息的腳本，并執(zhí)行所指定的腳本，以及 所述存儲單元根據(jù)所述發(fā)送單元執(zhí)行的發(fā)送的結(jié)果，存儲所述生成單元生成的區(qū)域的坐標以及所述區(qū)域的識別信息。3.根據(jù)權(quán)利要求1所述的系統(tǒng)，所述系統(tǒng)還包括: 分類單元，其根據(jù)特征來分類所述最新接收的文檔， 其中，所述存儲單元互相關聯(lián)地存儲作為所述分類單元執(zhí)行的分類的結(jié)果而獲得的分類組、所述文檔中的區(qū)域的坐標以及所述識別信息，以及 所述確定單元根據(jù)所述比較單元執(zhí)行的比較的結(jié)果、所述存儲單元存儲的分類組以及所述區(qū)域的識別信息，確定與所述生成單元生成的區(qū)域的坐標對應的識別信息。4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，在所述執(zhí)行單元執(zhí)行所述腳本時，發(fā)送并接收窗口消息，并向系統(tǒng)連接應用輸入信息。5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中， 所述存儲單元存儲互相關聯(lián)的所述文本信息、所述文檔中的區(qū)域的坐標和所述識別信息， 所述系統(tǒng)還包括: 顯示單元，其顯示所述存儲單元中存儲的文本信息或?qū)λ錾蓡卧傻膮^(qū)域執(zhí)行的所述字符識別的結(jié)果，并顯示用于校正所述字符識別的結(jié)果并作為所述文本信息發(fā)送該結(jié)果的確認畫面，以及 在所述確認畫面中校正了所述字符識別的結(jié)果的情況下，所述發(fā)送單元發(fā)送所述確定單元確定的識別信息和所述確認畫面中校正的文本信息。6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中， 所述存儲單元存儲互相關聯(lián)的所述字符識別的結(jié)果、所述文本信息、所述文檔中的區(qū)域的坐標以及所述識別信息，以及 在對所述生成單元生成的區(qū)域執(zhí)行的所述字符識別的結(jié)果與所述存儲單元中存儲的所述字符識別的結(jié)果匹配的情況下，所述顯示單元顯示所述存儲單元中存儲的文本信息。7.一種控制方法，所述控制方法包括: 存儲步驟，其存儲文檔中包括的區(qū)域的坐標和所述區(qū)域的識別信息； 生成步驟，其在最新接收的文檔中生成要進行字符識別的多個區(qū)域； 比較步驟，其比較所述生成步驟中生成的區(qū)域的坐標與所述存儲步驟中存儲的區(qū)域的坐標； 確定步驟，其根據(jù)與所述存儲步驟中存儲的區(qū)域?qū)淖R別信息和所述比較步驟中的比較結(jié)果，確定與所述生成步驟中生成的區(qū)域的坐標對應的識別信息；以及 執(zhí)行步驟，其在根據(jù)所述確定步驟中確定的識別信息指定用于向應用輸入通過對所述生成步驟中生成的區(qū)域執(zhí)行的所述字符識別而獲得的文本信息的腳本之后，執(zhí)行所述腳本， 其中，所述存儲步驟存儲所述生成步驟中生成的區(qū)域的坐標和所述區(qū)域的識別信息。8.根據(jù)權(quán)利要求7所述的控制方法，所述控制方法還包括: 發(fā)送步驟，其發(fā)送所述確定步驟中確定的識別信息和通過對所述生成步驟中生成的區(qū)域執(zhí)行的所述字符識別而獲得的文本信息， 其中，在根據(jù)所述發(fā)送步驟中發(fā)送的識別信息指定用于向所述應用輸入所述文本信息的腳本之后，所述執(zhí)行步驟執(zhí)行所指定的腳本，以及 所述存儲步驟根據(jù)所述發(fā)送步驟中執(zhí)行的發(fā)送的結(jié)果存儲所述生成步驟中生成的區(qū)域的坐標和所述區(qū)域的識別信息。9.根據(jù)權(quán)利要求7所述的控制方法，所述控制方法還包括: 分類步驟，其根據(jù)特征來分類所述最新接收的文檔， 其中，所述存儲步驟互相關聯(lián)地存儲作為所述分類步驟的結(jié)果獲得的分類組、所述文檔中的區(qū)域的坐標以及所述識別信息，以及 所述確定步驟根據(jù)所述比較步驟的結(jié)果、所述存儲步驟中存儲的分類組以及所述區(qū)域的識別信息確定與所述生成步驟中生成的區(qū)域的坐標對應的識別信息。10.根據(jù)權(quán)利要求7所述的控制方法，其中，在所述執(zhí)行步驟執(zhí)行所述腳本時，發(fā)送并接收窗口消息，并向系統(tǒng)連接應用輸入信息。11.根據(jù)權(quán)利要求7所述的控制方法，其中， 所述存儲步驟存儲互相關聯(lián)的所述文本信息、所述文檔中的區(qū)域的坐標以及所述識別信息， 所述控制方法還包括: 顯示所述存儲步驟中存儲的文本信息或?qū)λ錾刹襟E中生成的區(qū)域執(zhí)行的所述字符識別的結(jié)果，并顯示用于校正所述字符識別的結(jié)果并作為所述文本信息發(fā)送該結(jié)果的確認畫面的步驟，以及 在所述確認畫面中校正了所述字符識別的結(jié)果的情況下，所述發(fā)送步驟發(fā)送所述確定步驟中確定的識別信息和所述確認畫面中校正的文本信息。12.根據(jù)權(quán)利要求11所述的控制方法，其中， 所述存儲步驟存儲互相關聯(lián)地所述字符識別的結(jié)果、所述文本信息、所述文檔中的區(qū)域的坐標和所述識別信息，以及 在對所述生成步驟中生成的區(qū)域執(zhí)行的所述字符識別的結(jié)果與所述存儲步驟中存儲的所述字符識別的結(jié)果匹配的情況下，所述顯示步驟顯示所述存儲步驟中存儲的文本信息。
【文檔編號】G06F3/14GK105955683SQ201610129764
【公開日】2016年9月21日
【申請日】2016年3月8日
【發(fā)明人】七海嘉仁
【申請人】佳能株式會社