本發(fā)明涉及藥品說明書的識別技術領域，具體涉及自動識別和朗讀藥品說明書的方法。

背景技術：

在中國，視障人數(shù)達1731萬，占到了世界盲人總數(shù)的18％。盲人和弱視朋友在生活中有許多的不便，讀書看報在我們普通人看來易如反掌的事情對他們來說是異常艱難。盡管如此，還是有一些盲文書籍書報可以供他們學習閱讀。可是藥品說明書一般是沒有盲文的，當他們需要用藥的時候真的是沒有任何辦法。

目前中國老年人口已超過2億，老齡化程度進一步加深。老年人在日常生活中也經(jīng)常和藥物打交道，他們的眼睛一般不好使，而且藥品說明書上的文字一般較小，用藥對他們來說是一件頭痛的事。而今中國文盲群體超過5000萬，如何識別和閱讀藥品說明書上的文字對他們來說更是一件艱難的事。

基于以上的存在問題，本發(fā)明核心功能是給盲人、弱視群體閱讀藥品說明書并通過語音的形式讓他們獲取。當然，此功能也能很好地應用到老年人和文盲群體上，因為他們有共同的需求?？紤]到用戶群體的特殊性，本作品是通過語音來操作控制的，實際運行起來更加高效簡便。除此之外，本發(fā)明還添加了語音播報最新社會熱點的功能，為盲人朋友和老年人打開了一扇與外界接觸的心靈之窗。

技術實現(xiàn)要素：

為了實現(xiàn)上述技術目的，本發(fā)明提供一種自動識別和朗讀藥品說明書的方法，本發(fā)明具有識別說明書、旋轉(zhuǎn)文本校正、紙張翻轉(zhuǎn)檢測、文本翻轉(zhuǎn)檢測、獲取藥品信息、語音喚醒、語音合成、語音識別功能。

一種自動識別和朗讀藥品說明書的方法，采用具有攝像頭、處理器、語音播放模塊的識別系統(tǒng)，包括如下步驟：

（1）識別說明書，系統(tǒng)通過拍攝一張藥品說明書的圖片，自動識別國藥準字并以此通過調(diào)用互聯(lián)網(wǎng)接口獲取具體藥品信息；

（2）旋轉(zhuǎn)文本校正，通過霍夫直線檢測算法實現(xiàn)基于傅里葉變換的旋轉(zhuǎn)文本校正，將拍攝得到有旋轉(zhuǎn)偏差的文本旋轉(zhuǎn)至水平；

（3）紙張翻轉(zhuǎn)檢測，通過識別藥品說明書上是否有文字來檢測紙張是否翻轉(zhuǎn)，并通過語音提示將翻轉(zhuǎn)的紙張翻轉(zhuǎn)回來；

（4）文本翻轉(zhuǎn)檢測，通過同時識別經(jīng)過旋轉(zhuǎn)文本校正的圖片和翻轉(zhuǎn)180°后得到的圖片獲取國藥準字；

（5）獲取藥品信息，通過調(diào)用互聯(lián)網(wǎng)提供的藥品信息接口，上傳識別得到的國藥準字并返回藥品信息；

（6）語音喚醒，通過使用語音喚醒庫設定喚醒短語，將系統(tǒng)從睡眠狀態(tài)喚醒過來；

（7）語音合成，通過使用語音合成庫，將藥品的文本信息朗讀出來。

進一步地，步驟（1）包括如下步驟：

（1.1）分析連通區(qū)域，檢測出字符區(qū)域的區(qū)域輪廓和子輪廓，集成為區(qū)塊域；

（1.2）找到塊區(qū)域，檢測出字符輪廓，得到文本行；再通過空格得到單詞；

（1.3）找文本行和單詞，采用自適應分類器，分析單詞；進行兩次單詞分析；

（1.4）得出識別文本，識別含有模糊的空格，筆畫高度，小寫字母。

進一步地，步驟（2）包括如下步驟：

（2.1）以灰度方式讀入原文件；

（2.2）將圖像擴展到合適的尺寸以方便快速變換；

（2.3）進行DFT運算，分別計算實部和虛部；

（2.4）對數(shù)據(jù)進行適當調(diào)整，考慮到幅度變化范圍很大，還要用log函數(shù)把數(shù)值范圍縮小；

（2.5）移動中心，DFT運算的結(jié)果低頻部分位于四角，高頻部分在中心，因此要把把低頻部分移動到中心；

（2.6）圖像校正，先將得到的傅里葉頻譜進行二值化，接下來檢測直線，然后找到符合條件的那條斜線并獲取角度，接著進行角度轉(zhuǎn)換，最后對圖像進行校正。

進一步地，步驟（1）中，還包括，精簡識別字庫，只保留關鍵字，再進行訓練，提高識別準確率和識別速度；同時也能識別國外的進口藥。張翻轉(zhuǎn)檢測，通過識別藥品說明書上是否有文字來檢測紙張是否翻轉(zhuǎn)，并通過語音提示將翻轉(zhuǎn)的紙張翻轉(zhuǎn)回來。文本翻轉(zhuǎn)檢測，通過同時識別經(jīng)過旋轉(zhuǎn)文本校正的圖片和翻轉(zhuǎn)180°后得到的圖片獲取國藥準字，避免文本翻轉(zhuǎn)后識別不出正確結(jié)果。

進一步地，步驟（5）獲取藥品信息中還包括處理返回的字符串得到藥品的文本信息，為語音合成提供文件。

進一步地，還包含采用語音識別模塊，通過使用語音識別庫設定控制命令，識別語音指令。

采用上述技術方案后，本發(fā)明至少具有如下優(yōu)點和技術效果：

（1）設計新穎，關懷盲人朋友和老年人弱勢群體，具有社會責任感。通過給他們閱讀藥品說明書為切入點，實在地解決他們?nèi)粘Ｉ钪虚喿x藥品說明書的困難，具有人文關懷。

（2）以國藥準字編號為文字識別的關鍵詞，很好地避免了紙張彎曲變形導致局部識別結(jié)果不準確。而且比起漢字，字母和數(shù)字的識別準確率更高，精簡字庫還能進一步提高識別速度。此識別方法十分巧妙，很好地解決所面臨的問題。

（3）考慮到盲人朋友實際操作起來并不會十分順暢，因此給本發(fā)明添加了紙張翻轉(zhuǎn)檢測、旋轉(zhuǎn)文本校正和文本翻轉(zhuǎn)檢測功能，系統(tǒng)操作起來不會有任何障礙。

（4）充分考慮到用戶群體的特殊性，本發(fā)明是通過語音控制來操作的，實際操作起來十分方便高效，應用前景開闊。

（5）本發(fā)明還具有語音喚醒功能，當需要使用的時候只要輕輕說出“我的小助手”即可喚醒系統(tǒng)，不需要的時候說出“退出”即可退出系統(tǒng)，系統(tǒng)工作于低功耗。

（6）本發(fā)明還具有播報社會熱點的功能，很好地為盲人朋友和老年人提供新聞信息，豐富他們的日常生活。

附圖說明

圖 1 為本發(fā)明一種自動識別和朗讀藥品說明書的方法的步驟框圖。

圖 2為本發(fā)明一種自動識別和朗讀藥品說明書的方法中識別說明書的步驟框圖。

具體實施方式

以下結(jié)合后附圖和實例對本發(fā)明的具體實施作進一步說明，但本發(fā)明的實施和保護不限于此。

如圖1所示，本實例的一種自動識別和朗讀藥品說明書的方法，采用具有攝像頭、處理器、語音播放模塊的識別系統(tǒng)，包括如下步驟：

（1）識別說明書，系統(tǒng)通過拍攝一張藥品說明書的圖片，自動識別國藥準字并以此通過調(diào)用互聯(lián)網(wǎng)接口獲取具體藥品信息；

（2）旋轉(zhuǎn)文本校正，通過霍夫直線檢測算法實現(xiàn)基于傅里葉變換的旋轉(zhuǎn)文本校正，將拍攝得到有旋轉(zhuǎn)偏差的文本旋轉(zhuǎn)至水平；

（3）紙張翻轉(zhuǎn)檢測，通過識別藥品說明書上是否有文字來檢測紙張是否翻轉(zhuǎn)，并通過語音提示將翻轉(zhuǎn)的紙張翻轉(zhuǎn)回來；

（4）文本翻轉(zhuǎn)檢測，通過同時識別經(jīng)過旋轉(zhuǎn)文本校正的圖片和翻轉(zhuǎn)180°后得到的圖片獲取國藥準字；

（5）獲取藥品信息，通過調(diào)用互聯(lián)網(wǎng)提供的藥品信息接口，上傳識別得到的國藥準字并返回藥品信息；

（6）語音喚醒，通過使用語音喚醒庫設定喚醒短語，將系統(tǒng)從睡眠狀態(tài)喚醒過來；

（7）語音合成，通過使用語音合成庫，將藥品的文本信息朗讀出來。

作為實例，利用文本旋轉(zhuǎn)15°后的照片進行測試，可以看出經(jīng)過旋轉(zhuǎn)文本校正，圖片已經(jīng)旋轉(zhuǎn)至水平放置，能夠很好地確保后續(xù)識別說明書的準確性。

如圖2，步驟（1）包括如下步驟：

（1.1）分析連通區(qū)域，檢測出字符區(qū)域的區(qū)域輪廓和子輪廓，集成為區(qū)塊域；

（1.2）找到塊區(qū)域，檢測出字符輪廓，得到文本行；再通過空格得到單詞；

（1.3）找文本行和單詞，采用自適應分類器，分析單詞；進行兩次單詞分析；

（1.4）得出識別文本，識別含有模糊的空格，筆畫高度，小寫字母。

步驟（2）包括如下步驟：

（2.1）以灰度方式讀入原文件；

（2.2）將圖像擴展到合適的尺寸以方便快速變換；

（2.3）進行DFT運算，分別計算實部和虛部；

（2.4）對數(shù)據(jù)進行適當調(diào)整，考慮到幅度變化范圍很大，還要用log函數(shù)把數(shù)值范圍縮?。?/p>

（2.5）移動中心，DFT運算的結(jié)果低頻部分位于四角，高頻部分在中心，因此要把把低頻部分移動到中心；

（2.6）圖像校正，先將得到的傅里葉頻譜進行二值化，接下來檢測直線，然后找到符合條件的那條斜線并獲取角度，接著進行角度轉(zhuǎn)換，最后對圖像進行校正。

步驟（1）中，還包括，精簡識別字庫，只保留關鍵字，再進行訓練，提高識別準確率和識別速度；同時也能識別國外的進口藥。張翻轉(zhuǎn)檢測，通過識別藥品說明書上是否有文字來檢測紙張是否翻轉(zhuǎn)，并通過語音提示將翻轉(zhuǎn)的紙張翻轉(zhuǎn)回來。文本翻轉(zhuǎn)檢測，通過同時識別經(jīng)過旋轉(zhuǎn)文本校正的圖片和翻轉(zhuǎn)180°后得到的圖片獲取國藥準字，避免文本翻轉(zhuǎn)后識別不出正確結(jié)果。

作為實例，為了便于拍攝照片，拍攝得到的原始圖片文字并不是水平放置的。為了正確識別，需要將照片順時針旋轉(zhuǎn)90°后才可以進行識別。由于本作品中只需要識別出國藥準字的編號，因此在字庫中只添加了阿拉伯數(shù)字“0-9”，大寫字母“H、Z、S、B、T、F、J”，和漢字“藥名稱成分性狀功能主治法量不良反應禁忌注意事項物相互作用貯藏包裝有效期執(zhí)行標批準文號說明書修期生產(chǎn)企業(yè)國準字”。盡管識別出的信息看似沒有邏輯，其實這樣做有以下兩點好處。優(yōu)點一：字庫小，識別速度快；優(yōu)點二：限定關鍵詞，相當于做了一層過濾，提高了識別準確率。用本次方法訓練得到的字庫進行識別，識別一張說明書只要5s左右，而用默認的中文字庫進行識別則要1min左右，識別速度大大提高。而且本作品只要識別匹配國藥準字的編號，由結(jié)果可以看出已經(jīng)很好地識別出“準字Z44022935”，因而下面的操作可以通過“Z44022935”參數(shù)調(diào)用云端接口獲取藥品的詳細信息。

通過調(diào)用互聯(lián)網(wǎng)所提供的藥品信息接口，返回“加味藿香正氣丸”的藥品信息。可以看出返回的原始信息是JSON字符串，并且含有許多符號，因此要經(jīng)過處理后才能將文字讀出來。這里用到了正則表達式，分別將原始信息處理成查看用的和給語音合成程序用的文本。可以看得出處理結(jié)果良好，而且處理速度也十分快。