一種250ml醫(yī)藥大輸液可見異物與氣泡的分類識(shí)別檢測(cè)方法
【專利摘要】本發(fā)明公開了一種250ml醫(yī)藥大輸液可見異物與氣泡的分類識(shí)別檢測(cè)方法，包括以下步驟：1)連續(xù)獲取正在檢測(cè)大輸液多幀圖像；2)圖像預(yù)處理：對(duì)圖像采用基于Top?Hat形態(tài)學(xué)濾波；3)圖像分割：對(duì)濾波后的圖像采用基于最大信息熵的幀間差分法得到分割后的圖像；4缺陷邊緣提?。翰捎肧USAN算法來提取可見異物與氣泡的邊緣；5)圖像特征提取算法：通過研究分析缺陷的特征提取用于描述可見異物與氣泡的形狀、灰度、運(yùn)動(dòng)特征參數(shù)6)缺陷分類識(shí)別：運(yùn)用IDS?ELM算法實(shí)現(xiàn)可見異物與氣泡的識(shí)別與分類。實(shí)現(xiàn)了可見異物與氣泡的分類識(shí)別，能高精度地分類識(shí)別各類缺陷并將含有不同類型的缺陷剔除至不同的次品區(qū)域。
【專利說明】
一種250m I醫(yī)藥大輸液可見異物與氣泡的分類識(shí)別檢測(cè)方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于圖像處理以及自動(dòng)化技術(shù)領(lǐng)域，特別涉及一種250ml醫(yī)藥大輸液可見 異物與氣泡的分類識(shí)別檢測(cè)方法。
【背景技術(shù)】
[0002] 國(guó)內(nèi)外大輸液主要的盛裝材料玻璃瓶、塑料瓶、塑料軟袋。目前玻璃瓶在國(guó)內(nèi)仍是 大輸液的主要容器，而由于大輸液生產(chǎn)工藝及封裝技術(shù)的不足，往往容易混入毛發(fā)、漂浮物 (塑料、纖維）、玻璃肩等直徑大于50um的可見異物，這些雜質(zhì)嚴(yán)重影響到了輸液者的健康甚 至生命安全。目前國(guó)內(nèi)250ml以上的玻璃瓶大輸液主要利用人工燈檢或進(jìn)口設(shè)備，人工燈檢 存在效率低、不利于生產(chǎn)過程的自動(dòng)化、有安全隱患和標(biāo)準(zhǔn)不同一的缺點(diǎn)，而進(jìn)口設(shè)備的成 本大，維護(hù)困難。國(guó)內(nèi)相關(guān)企業(yè)或研究單位對(duì)基于機(jī)器視覺的全自動(dòng)燈檢技術(shù)開展了研究， 但僅僅在針對(duì)125ml容量的藥液檢測(cè)方面有一定的成功，也有部分成果運(yùn)用于生產(chǎn)實(shí)際，目 前市場(chǎng)上針對(duì)于250ml以上的醫(yī)藥大輸液可見異物檢測(cè)全自動(dòng)燈檢設(shè)備非常罕見。廠家為 了提高250ml以上產(chǎn)品的質(zhì)量和產(chǎn)能，對(duì)相關(guān)檢測(cè)設(shè)備有著迫切的需'求。因此，研制一套 250ml的醫(yī)藥大輸液可見異物檢測(cè)系統(tǒng)意義十分重大。
[0003] 在醫(yī)藥液體內(nèi)異物視覺檢測(cè)過程中，需用搓瓶裝置使沉淀在藥液底部的異物帶動(dòng) 到液體上部，以便于攝像機(jī)成像，但由于機(jī)械裝置的運(yùn)動(dòng)、溫度、光電干擾等因素，成像后的 圖像中多少存在有氣泡和噪聲，而圖像中異物目標(biāo)和氣泡識(shí)別中所面臨的技術(shù)難題主要 有：
[0004] 1)設(shè)備運(yùn)行的速度比較快，因此在滿足高精度的同時(shí)還要匹配設(shè)備運(yùn)轉(zhuǎn)的高速 度，對(duì)識(shí)別算法提出了較高的要求；
[0005] 2)被識(shí)別的目標(biāo)對(duì)象形狀，大小、重量不同，體積十分微小，在圖像拍攝時(shí)異物處 于運(yùn)動(dòng)狀態(tài)且可能發(fā)生翻轉(zhuǎn)，姿態(tài)不斷改變；
[0006] 3)來自瓶壁等外界的干擾十分多；
[0007] 4)設(shè)備運(yùn)行時(shí)會(huì)不可避免地產(chǎn)生機(jī)械振動(dòng)，且藥瓶也不是完全處于靜止?fàn)顟B(tài)，這 些都可能使得采集的圖像發(fā)生一定的偏差，一般的視覺檢測(cè)方法將難以實(shí)現(xiàn)合格品和次品 的快速分揀。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明所要解決的技術(shù)問題是，提供一種250ml醫(yī)藥大輸液可見異物與氣泡的分 類識(shí)別檢測(cè)方法，通過采用改進(jìn)的ELM分類算法，為醫(yī)藥檢測(cè)設(shè)備提供一種可靠的檢測(cè)方 法，從而提高藥品可見異物檢測(cè)精度和重復(fù)性，徹底解決250ml以上醫(yī)藥大輸液檢測(cè)中誤檢 率高的問題，滿足國(guó)內(nèi)現(xiàn)有燈檢系統(tǒng)的性能需求。
[0009] 一種250ml醫(yī)藥大輸液可見異物與氣泡的分類識(shí)別檢測(cè)方法，包括以下步驟：
[0010] 步驟1)連續(xù)獲取正在檢測(cè)大輸液的原始圖像；
[0011] 步驟2)圖像預(yù)處理；
[0012]對(duì)步驟1)獲取的每一幀大輸液圖像采用基于Top-Hat形態(tài)學(xué)濾波處理，得到濾波 圖像；
[0013]步驟3)圖像分割；
[0014] 對(duì)步驟2)獲得的濾波圖像采用差分法進(jìn)行圖像分割，獲得分割圖像；
[0015] 步驟4)缺陷邊緣提取；
[0016] 從步驟3)獲取的分割圖像中提取大輸液圖像中的缺陷邊緣；
[0017] 所述缺陷包括可見異物或氣泡，所述可見異物包括玻璃肩、毛發(fā)或漂浮物，所述漂 浮物包括橡膠肩或纖維；
[0018] 步驟5)提取缺陷的特征向量；
[0019] 從步驟4)獲得的缺陷邊緣中選取用于描述缺陷的特征參數(shù)，形成缺陷的特征向 量；
[0020] 所述特征參數(shù)包括形狀特征參數(shù)、灰度特征參數(shù)及運(yùn)動(dòng)特征參數(shù)；
[0021] 所述形狀特征參數(shù)包括缺陷目標(biāo)面積S、缺陷目標(biāo)占有率K及缺陷的7個(gè)幾何不變 矩，其中，缺陷目標(biāo)占有率是指缺陷目標(biāo)區(qū)域的像素個(gè)數(shù)和與缺陷目標(biāo)區(qū)域的最小外接矩 形面積之比；
[0022] 所述灰度特征參數(shù)包括缺陷目標(biāo)區(qū)域的灰度均值及缺陷目標(biāo)區(qū)域的灰度標(biāo)準(zhǔn)差；
[0023] 所述運(yùn)動(dòng)特征參數(shù)包括缺陷目標(biāo)的中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；
[0024] 步驟6)可見異物與氣泡分類識(shí)別；
[0025] 對(duì)提取的缺陷目標(biāo)的特征向量運(yùn)用ELM網(wǎng)絡(luò)模型實(shí)現(xiàn)缺陷目標(biāo)的分類識(shí)別，若缺 陷目標(biāo)的分類識(shí)別結(jié)果為可見異物，則對(duì)應(yīng)的大輸液屬于不合格品，并依據(jù)分類結(jié)果獲得 大輸液中包含的缺陷類別；
[0026] 所述ELM網(wǎng)絡(luò)模型的構(gòu)建過程如下：首先設(shè)定ELM算法網(wǎng)絡(luò)模型中輸入節(jié)點(diǎn)為13 個(gè)，輸出節(jié)點(diǎn)為4個(gè)，隱含層節(jié)點(diǎn)個(gè)數(shù)范圍為100-400,隱含層節(jié)點(diǎn)的激活函數(shù)包括Hardlim、 Sin或sigmoid函數(shù)；
[0027] 其次，選用已知缺陷類別的訓(xùn)練樣本特征向量集輸入ELM算法網(wǎng)絡(luò)模型，對(duì)其進(jìn)行 訓(xùn)練，獲得已訓(xùn)練好的ELM網(wǎng)絡(luò)模型。
[0028]所述步驟6)中運(yùn)用的ELM網(wǎng)絡(luò)模型采用IDS-ELM算法構(gòu)建，具體步驟如下：
[0029] Stepl:給定樣本數(shù)據(jù)集N(xi，ti)，從給定樣本數(shù)據(jù)集中選取訓(xùn)練集，xi表示第i個(gè) 樣本，^表示第i個(gè)樣本的分類結(jié)果；
[0030] Step2:建立 ELM 網(wǎng)絡(luò)模型 fL(xi);
[0031] 選定初始網(wǎng)絡(luò)模型隱含層節(jié)點(diǎn)個(gè)數(shù)L = 400、隱含層偏移值激活函數(shù)為sigmoid，在 (〇，1)中隨機(jī)選取輸入層連接隱含層的權(quán)值向量ω」和偏移量匕；
[0033]其中，ω j = ( ω ji, ω j2, . . .，ω jn)T表示第j個(gè)隱含層節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的連接權(quán) 值向量，h表示第j個(gè)隱含層節(jié)點(diǎn)的偏移值，&=(?^，^2, . . .，βρ)τ表示第j個(gè)隱含層節(jié)點(diǎn)與 輸出節(jié)點(diǎn)之間的連接權(quán)值向量;〇i = (〇ii，〇i2，. . .，〇im)T為第i個(gè)樣本對(duì)應(yīng)的網(wǎng)絡(luò)模型輸出，g (X)為sigmoid激活函數(shù)，η取值為13，m取值為4; 〇i表示第i個(gè)樣本經(jīng)ELM網(wǎng)絡(luò)模型輸出的分 類結(jié)果；
[0034] Step3:令〇i = ti，計(jì)算ELM網(wǎng)絡(luò)模型隱含層輸出矩陣Η，根據(jù)β = H+T計(jì)算ELM網(wǎng)絡(luò)模 型隱含層與輸出層的連接權(quán)值，T為ELM網(wǎng)絡(luò)模型的輸出矩陣，計(jì)算ELM網(wǎng)絡(luò)模型的訓(xùn)練精度 trainO和訓(xùn)練時(shí)間timeO;
[0035] Step4:計(jì)算每個(gè)隱含層節(jié)點(diǎn)的影響度I」并按降冪排序，獲得排序后的隱含層節(jié) 占 .
[0038] 其中，gj(xi)=g( ω jXi+bj)，1 < i < N，1 < j < L，a為輸入層權(quán)值向量影響因子， (0,1);
[0039] Step5:對(duì)ELM網(wǎng)絡(luò)模型進(jìn)行第一次剪枝；
[0040] 從step4獲得的排序后的隱含層節(jié)點(diǎn)中，選擇前λ個(gè)隱含層節(jié)點(diǎn)，λΕ[1，5]，且λ為 正整數(shù)；將其從E L Μ網(wǎng)絡(luò)模型中刪除，同時(shí)，計(jì)算第一次剪枝后的E L Μ網(wǎng)絡(luò)模型訓(xùn)練精度 trainl，并按照step4重新計(jì)算第一次剪枝后的ELM網(wǎng)絡(luò)模型中每個(gè)隱含層節(jié)點(diǎn)的影響度， 且按降冪排序；
[0042] Step6:對(duì)ELM網(wǎng)絡(luò)模型進(jìn)行第二次剪枝；
[0043]以η · λ作為第二次剪枝的隱節(jié)點(diǎn)個(gè)數(shù)，從step5得到的降冪排序的隱含層節(jié)點(diǎn)中， 選取前η · λ個(gè)隱含層節(jié)點(diǎn)對(duì)step5獲得的第一次剪枝后的ELM網(wǎng)絡(luò)模型進(jìn)行剪枝，并計(jì)算第 二次剪枝后的ELM網(wǎng)絡(luò)模型訓(xùn)練精度train2;
[0044] step7:找回第二次剪枝操作中，被刪除的影響度最大的隱含層節(jié)點(diǎn)，將其重新加 入到step6獲得的ELM網(wǎng)絡(luò)模型中，同時(shí)計(jì)算更新后的ELM網(wǎng)絡(luò)模型的訓(xùn)練精度train3;
[0045] Step8:從step6獲得的ELM網(wǎng)絡(luò)模型中剪掉一個(gè)影響度最小的隱含層節(jié)點(diǎn)，得到更 新后的ELM網(wǎng)絡(luò)模型的訓(xùn)練精度為train4;
[0046] Step9:確定ELM網(wǎng)絡(luò)模型最終隱節(jié)點(diǎn)個(gè)數(shù)為1/，訓(xùn)練精度為train，并取train = max(train2，train3，train4)，訓(xùn)練時(shí)間為time:
[0048] SteplO:利用矛盾線性方程組的最小范數(shù)最小二乘解求得網(wǎng)絡(luò)隱含層與輸出層連 接權(quán)值矩陣f 4' =(把）*T，并更新輸入層連接隱含層的權(quán)值向量ω」和偏移量匕，獲得已訓(xùn) 練好的最終ELM網(wǎng)絡(luò)模型；
[0049] 其中，把為最終ELM網(wǎng)絡(luò)模型的輸出層矩陣。
[0050] 所述形態(tài)學(xué)濾波處理過程中，選用7X7的圓形模板作為結(jié)構(gòu)元素對(duì)原圖像進(jìn)行高 帽形態(tài)學(xué)濾波。
[0051]在所述步驟3)中采用基于最大信息熵的幀間差分法進(jìn)行圖像分割，具體步驟如 下：
[0052]首先將連續(xù)獲取的序列圖像進(jìn)行差分操作，得到差分圖像；
[0053]其次，計(jì)算差分后圖像二值化閾值T0:
[0054]分別計(jì)算待檢測(cè)圖像的目標(biāo)區(qū)域中像素總個(gè)數(shù)N2和灰度為i的像素點(diǎn)所占的比例 Pl，利用下面兩式來計(jì)算背景和異物灰度值的分布：
[0057]
】表示灰度i的最大值，則背景和目標(biāo)的信息熵H(A)、H(B)分別可 由下面兩個(gè)公式計(jì)算：
[0060] 由上兩式可求取待檢測(cè)圖像的總信息熵為φ (S)=H(A)+H(B)，當(dāng)使?(s)取最大 值時(shí)，獲得差分后圖像二值化閾值T0;
[0061] 最后，利用差分后圖像二值化閾值το將差分后的圖像按下式做二值化處理，將得 到的二值化圖像中每個(gè)像素點(diǎn)進(jìn)行與操作，得到的對(duì)稱差分二值圖像，完成圖像分割：
[0063]采用SUSAN算法從步驟3)獲取的分割圖像中提取大輸液圖像中的缺陷邊緣，具體 步驟如下：
[0064]利用掩膜來遍歷對(duì)稱差分二值圖像中目標(biāo)區(qū)域的每一個(gè)像素，并將掩膜中心像素 點(diǎn)和掩膜區(qū)域內(nèi)每一個(gè)像素點(diǎn)做灰度值比較，記錄灰度差值小于設(shè)定灰度差值閾值的像素 點(diǎn)，并將記錄的像素點(diǎn)組成USAN區(qū)域；
[0065]掩膜內(nèi)除中心點(diǎn)外所有像素點(diǎn)的像素值利用下式計(jì)算：
[0067] Π )是圖像核所在的位置，r表示模板中其余點(diǎn)所處的位置，I(rQ)表示圖像核心點(diǎn)的 像素值，I(r)表示圖像模板中其它點(diǎn)的像素值；
[0068] 然后利用下式來計(jì)算掩膜區(qū)域的USAN值：
[0070]其中，（XQ，yQ)表示是當(dāng)前掩膜中心點(diǎn)，（x，y)表示當(dāng)前掩膜除中心點(diǎn)外的像素點(diǎn)，η 為USAN區(qū)域中像素個(gè)數(shù)，然后將與預(yù)設(shè)的USAN閥值相比較，并利用下式來獲取可疑特征點(diǎn)， 并以特征點(diǎn)為中心，將特征點(diǎn)與其他的鄰域內(nèi)的8個(gè)點(diǎn)灰度值相比較，最大的被保留下來作 為最終的邊緣點(diǎn)：
[0072] 其中，g = nmax/2是USAN閥值，nmax是η的最大值，取掩膜的3/4。
[0073] 對(duì)于有噪聲影響的圖像，SUSAN閾值下限值取2-10個(gè)像素。
[0074] 有益效果
[0075]本發(fā)明提供了一種250ml醫(yī)藥大輸液可見異物與氣泡的分類識(shí)別檢測(cè)方法，包括 以下步驟：1)連續(xù)獲取正在檢測(cè)大輸液多幀圖像;2)圖像預(yù)處理:對(duì)圖像采用基于Top-Hat 形態(tài)學(xué)濾波;3)圖像分割:對(duì)濾波后的圖像采用基于最大信息熵的幀間差分法得到分割后 的圖像;4缺陷邊緣提取:采用SUSAN算法來提取可見異物與氣泡的邊緣;5)圖像特征提取算 法:通過研究分析缺陷的特征提取用于描述可見異物與氣泡的形狀、灰度、運(yùn)動(dòng)特征參數(shù)6) 缺陷分類識(shí)別:運(yùn)用IDS-ELM算法實(shí)現(xiàn)可見異物與氣泡的識(shí)別與分類。
[0076] 通過采用數(shù)學(xué)形態(tài)濾波獲得預(yù)處理圖像，其算法可通過硬件并行實(shí)現(xiàn)，大大提高 了處理速度。對(duì)于大輸液圖像分割，采用基于最大信息熵的幀間差分算法很好的克服了瓶 側(cè)壁可能存在差異、簡(jiǎn)單序列圖像差分對(duì)微小異物目標(biāo)檢測(cè)效果不好的缺陷，并且顯著提 高了輸出圖像的信噪比，采用SUSAN算法提取可見異物與氣泡的邊緣，大大簡(jiǎn)化了后續(xù)特征 提取算法的難度。分析研究可見異物與氣泡的特征參數(shù)并構(gòu)建了描述缺陷的特征描述子， 減少了圖像處理時(shí)間，大大提高了算法的實(shí)時(shí)性和魯棒性。采用IDS-ELM算法實(shí)現(xiàn)了可見異 物與氣泡的分類識(shí)別，能高精度地分類識(shí)別各類缺陷并將含有不同類型的缺陷剔除至不同 的次品區(qū)域。
【附圖說明】
[0077] 圖1是本發(fā)明所涉及方法的總流程框圖；
[0078] 圖2是本發(fā)明中獲取的250ml的葡萄糖藥液含有一個(gè)玻璃肩的連續(xù)四幀原始圖像， 其中，a)為第一幀，b)為第二幀，c)為第三幀，d)為第四幀；
[0079]圖3是本發(fā)明中對(duì)圖2中各幀圖像進(jìn)行濾波后的圖像，其中，（a)為第一幀，（b)為第 二幀，（c)為第三幀，（d)為第四幀；
[0080] 圖4是本發(fā)明中對(duì)連續(xù)五幀圖像濾波、幀間差分后做邊緣提取后的圖像；
[0081] 圖5是本發(fā)明中四類典型缺陷提取目標(biāo)區(qū)域最小外界矩形的圖像，其中（a)為毛 發(fā)，（b)
[0082] 為漂浮物，（c)為玻璃肩，（d)為氣泡；
[0083] 圖6是本發(fā)明中四類典型缺陷區(qū)域的灰度圖，其中，其中（a)為毛發(fā)，（b)為漂浮物， (c)為玻璃肩，（d)為氣泡；
[0084]圖7是本發(fā)明中所述IDS-ELM算法流程圖；
[0085] 圖8是各算法對(duì)各類異物的分類實(shí)驗(yàn)比較示意圖。
【具體實(shí)施方式】
[0086] 下面將結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步的說明。
[0087] 如圖1所示，一種250ml醫(yī)藥大輸液可見異物與氣泡的分類識(shí)別檢測(cè)方法，包括以 下步驟：
[0088]步驟1)連續(xù)獲取正在檢測(cè)大輸液的原始圖像，如圖2所示；
[0089] 步驟2)圖像預(yù)處理，如圖3所示；
[0090] 對(duì)步驟1)獲取的每一幀大輸液圖像采用7X7的圓形模板作為結(jié)構(gòu)元素進(jìn)行基于 Top-Hat形態(tài)學(xué)濾波處理，得到濾波圖像；
[0091] 步驟3)圖像分割；
[0092] 對(duì)步驟2)獲得的濾波圖像采用差分法進(jìn)行圖像分割，獲得分割圖像；
[0093]在所述步驟3)中采用基于最大信息熵的幀間差分法進(jìn)行圖像分割，具體步驟如 下：
[0094]首先將連續(xù)獲取的序列圖像進(jìn)行差分操作，得到差分圖像；
[0095]其次，計(jì)算差分后圖像二值化閾值T0:
[0096]分別計(jì)算待檢測(cè)圖像的目標(biāo)區(qū)域中像素總個(gè)數(shù)N2和灰度為i的像素點(diǎn)所占的比例 Pl，利用下面兩式來計(jì)算背景和異物灰度值的分布：
[0099]
:，M表示灰度i的最大值，則背景和目標(biāo)的信息熵H(A)、H(B)分別可 由下面兩個(gè)公式計(jì)算：
[0102] 由上兩式可求取待檢測(cè)圖像的總信息熵為?(s)=H(A)+H(B)，當(dāng)使?(s)取最大 值時(shí)，獲得二值化閾值TO，TO = 120;
[0103] 最后，利用二值化閾值TO將差分后的圖像按下式做二值化處理，將得到的二值化 圖像中每個(gè)像素點(diǎn)進(jìn)行與操作，得到的對(duì)稱差分二值圖像，完成圖像分割：
[0105] 步驟4)缺陷邊緣提??；
[0106] 從步驟3)獲取的分割圖像中提取大輸液圖像中的缺陷邊緣；
[0107] 所述缺陷包括可見異物或氣泡，所述可見異物包括玻璃肩、毛發(fā)或漂浮物，所述漂 浮物包括橡膠肩或纖維；
[0108] 采用SUSAN算法從步驟3)獲取的分割圖像中提取大輸液圖像中的缺陷邊緣，具體 步驟如下：
[0109]利用掩膜來遍歷對(duì)稱差分二值圖像中目標(biāo)區(qū)域的每一個(gè)像素，并將掩膜中心像素 點(diǎn)和掩膜內(nèi)每一個(gè)像素點(diǎn)做灰度值比較，記錄灰度差值小于設(shè)定灰度差值閾值的像素點(diǎn)， 并將記錄的像素點(diǎn)組成USAN區(qū)域；
[0110]掩膜內(nèi)除中心點(diǎn)外所有像素點(diǎn)的像素值利用下式計(jì)算：
[0112] Π )是圖像核所在的位置，r表示模板中其余點(diǎn)所處的位置，Kro)表示圖像核心點(diǎn)的 像素值，I(r)表示圖像模板中其它點(diǎn)的像素值；
[0113] 然后利用下式來計(jì)算掩膜區(qū)域的USAN值：
[0115]其中，（xq，yo)表示是當(dāng)前掩膜中心點(diǎn)，（X，y)表示當(dāng)前掩膜除中心點(diǎn)外的像素點(diǎn)，η 為USAN區(qū)域中像素個(gè)數(shù)，然后將與預(yù)設(shè)的USAN閥值相比較，并利用下式來獲取可疑特征點(diǎn)， 并以特征點(diǎn)為中心，將特征點(diǎn)與其他的鄰域內(nèi)的8個(gè)點(diǎn)灰度值相比較，最大的被保留下來作 為最終的邊緣點(diǎn)：
[0117] 其中，g = nmax/2是USAN閥值，nmax是η的最大值，取掩膜的3/4。
[0118] 對(duì)于有噪聲影響的圖像，SUSAN閾值下限值取2-10個(gè)像素。
[0119] 如圖4所示，為對(duì)大輸液圖像濾波、差分后進(jìn)行邊緣提取結(jié)果；
[0120] 步驟5)提取缺陷的特征向量；
[0121] 從步驟4)獲得的缺陷邊緣中選取用于描述缺陷的特征參數(shù)，形成缺陷的特征向 量；
[0122] 所述特征參數(shù)包括形狀特征參數(shù)、灰度特征參數(shù)及運(yùn)動(dòng)特征參數(shù)；
[0123] 所述形狀特征參數(shù)包括缺陷目標(biāo)面積S、缺陷目標(biāo)占有率K及缺陷的7個(gè)幾何不變 矩，其中，缺陷目標(biāo)占有率是指缺陷目標(biāo)區(qū)域的像素個(gè)數(shù)和與缺陷目標(biāo)區(qū)域的最小外接矩 形面積之比；
[0124] 所述灰度特征參數(shù)包括缺陷目標(biāo)區(qū)域的灰度均值及缺陷目標(biāo)區(qū)域的灰度標(biāo)準(zhǔn)差；
[0125] 所述運(yùn)動(dòng)特征參數(shù)包括缺陷目標(biāo)的中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；
[0126] 如圖5所示，為可見異物和氣泡區(qū)域最小外接矩形的提取結(jié)果示意圖，如圖7所示， 為大輸液可見異物和氣泡區(qū)域的灰度圖；
[0127] 步驟6)可見異物與氣泡分類識(shí)別；
[0128] 對(duì)提取的缺陷目標(biāo)的特征向量運(yùn)用ELM網(wǎng)絡(luò)模型實(shí)現(xiàn)缺陷目標(biāo)的分類識(shí)別，若缺 陷目標(biāo)的分類識(shí)別結(jié)果為可見異物，則對(duì)應(yīng)的大輸液屬于不合格品，并依據(jù)分類結(jié)果獲得 大輸液中包含的缺陷類別；否則，對(duì)應(yīng)的大輸液為合格品，從而完成大輸液中可見異物與氣 泡的檢測(cè)；
[0129] 所述ELM網(wǎng)絡(luò)模型的構(gòu)建過程如下：首先設(shè)定ELM算法網(wǎng)絡(luò)模型中輸入節(jié)點(diǎn)為13 個(gè)，輸出節(jié)點(diǎn)為4個(gè)，隱含層節(jié)點(diǎn)個(gè)數(shù)范圍為100-400,隱含層節(jié)點(diǎn)的激活函數(shù)包括Hardlim、 Sin或sigmoid函數(shù)，本實(shí)施例中選取sigmoid函數(shù)作為激活函數(shù)；
[0130]其次，選用已知缺陷類別的訓(xùn)練樣本特征向量集輸入ELM算法網(wǎng)絡(luò)模型，對(duì)其進(jìn)行 訓(xùn)練，獲得已訓(xùn)練好的ELM網(wǎng)絡(luò)模型。
[0131 ]如圖8所示，所述步驟6)中運(yùn)用的ELM網(wǎng)絡(luò)模型采用IDS-ELM算法構(gòu)建，具體步驟如 下：
[0132] Stepl:給定樣本數(shù)據(jù)集N(xi，ti)，從給定樣本數(shù)據(jù)集中選取訓(xùn)練集，Xi表示第i個(gè) 樣本，^表示第i個(gè)樣本的分類結(jié)果；
[0133] Step2:建立 ELM 網(wǎng)絡(luò)模型 fL(Xi);
[0134] 選定初始網(wǎng)絡(luò)模型隱含層節(jié)點(diǎn)個(gè)數(shù)L = 400、隱含層偏移值激活函數(shù)為sigmoid，在 (〇，1)中隨機(jī)選取輸入層連接隱含層的權(quán)值向量ω」和偏移量匕；
[0136] 其中，ω」=(ω ω」2, . . .，ω jn)T表示第j個(gè)隱含層節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的連接權(quán) 值向量，h表示第j個(gè)隱含層節(jié)點(diǎn)的偏移值，&=(?^，^2, . . .，βρ)τ表示第j個(gè)隱含層節(jié)點(diǎn)與 輸出節(jié)點(diǎn)之間的連接權(quán)值向量;〇i = (〇ii，〇i2，. . .，〇im)T為第i個(gè)樣本對(duì)應(yīng)的網(wǎng)絡(luò)模型輸出，g (X)為sigmoid激活函數(shù)，η取值為13，m取值為4; 〇i表示第i個(gè)樣本經(jīng)ELM網(wǎng)絡(luò)模型輸出的分 類結(jié)果；
[0137] Step3:令〇i = ti，計(jì)算ELM網(wǎng)絡(luò)模型隱含層輸出矩陣H，根據(jù)β = Η+Τ計(jì)算ELM網(wǎng)絡(luò)模 型隱含層與輸出層的連接權(quán)值，T為ELM網(wǎng)絡(luò)模型的輸出矩陣，計(jì)算ELM網(wǎng)絡(luò)模型的訓(xùn)練精度 trainO和訓(xùn)練時(shí)間timeO;
[0138] Step4:計(jì)算每個(gè)隱含層節(jié)點(diǎn)的影響度I」并按降冪排序，獲得排序后的隱含層節(jié) 占 .
[0141] 其中，gj(xi)=g( ω jXi+bj)，1 < i < N，1 < j < L，a為輸入層權(quán)值向量影響因子， (0,1);
[0142] Step5:對(duì)ELM網(wǎng)絡(luò)模型進(jìn)行第一次剪枝；
[0143] 從step4獲得的排序后的隱含層節(jié)點(diǎn)中，選擇前λ個(gè)隱含層節(jié)點(diǎn)，λΕ[1，5]，且λ為 正整數(shù)；將其從E L Μ網(wǎng)絡(luò)模型中刪除，同時(shí)，計(jì)算第一次剪枝后的E L Μ網(wǎng)絡(luò)模型訓(xùn)練精度 trainl，并按照step4重新計(jì)算第一次剪枝后的ELM網(wǎng)絡(luò)模型中每個(gè)隱含層節(jié)點(diǎn)的影響度， 且按降冪排序；
[0145] Step6:對(duì)ELM網(wǎng)絡(luò)模型進(jìn)行第二次剪枝；
[0146] 以η · λ作為第二次剪枝的隱節(jié)點(diǎn)個(gè)數(shù)，從Step5得到的降冪排序的隱含層節(jié)點(diǎn)中， 選取前η · λ個(gè)隱含層節(jié)點(diǎn)對(duì)step5獲得的第一次剪枝后的ELM網(wǎng)絡(luò)模型進(jìn)行剪枝，并計(jì)算第 二次剪枝后的ELM網(wǎng)絡(luò)模型訓(xùn)練精度train2;
[0147] step7:尋找第二次剪枝操作中，被刪除的影響度最大的隱含層節(jié)點(diǎn)，將其重新加 入到step6獲得的ELM網(wǎng)絡(luò)模型中，同時(shí)計(jì)算更新后的ELM網(wǎng)絡(luò)模型的訓(xùn)練精度train3;
[0148] Step8:從step6獲得的ELM網(wǎng)絡(luò)模型中剪掉一個(gè)影響度最小的隱含層節(jié)點(diǎn)，得到更 新后的ELM網(wǎng)絡(luò)模型的訓(xùn)練精度為train4;
[0149] Step9:確定ELM網(wǎng)絡(luò)模型最終隱節(jié)點(diǎn)個(gè)數(shù)為1/，訓(xùn)練精度為train，并取train = max(train2，train3，train4)，訓(xùn)練時(shí)間為time:
[0151] SteplO:利用矛盾線性方程組的最小范數(shù)最小二乘解求得網(wǎng)絡(luò)隱含層與輸出層連 接權(quán)值矩陣f=(把）*T，并更新輸入層連接隱含層的權(quán)值向量ω」和偏移量匕，獲得已訓(xùn) 練好的最終ELM網(wǎng)絡(luò)模型；
[0152] 其中，把為最終ELM網(wǎng)絡(luò)模型的輸出層矩陣。
[0153] 根據(jù)采集的大輸液數(shù)據(jù)集分析可知，分類器的輸入維數(shù)為13,輸出維數(shù)為4,根據(jù) 對(duì)UCI數(shù)據(jù)集實(shí)驗(yàn)的分類結(jié)果結(jié)合本實(shí)驗(yàn)數(shù)據(jù)集分析，設(shè)定IDS-ELM算法原始網(wǎng)絡(luò)的初始隱 節(jié)點(diǎn)個(gè)數(shù)為400，影響因子為a取0.6，剪枝步長(zhǎng)λ為2，P-ELM初始隱節(jié)點(diǎn)個(gè)數(shù)也為400。為了使 實(shí)驗(yàn)結(jié)果更具說服性，求取20重復(fù)實(shí)驗(yàn)次平均值做為最終分類結(jié)果。表2給出了相關(guān)算法針 對(duì)表1樣本數(shù)據(jù)集的總體分類結(jié)果，表3給出了各類算法針對(duì)各類缺陷分類結(jié)果。
[0154] 表1實(shí)驗(yàn)樣本數(shù)據(jù)集
[0155]
[0156] 表2 20次重復(fù)實(shí)驗(yàn)不同算法分類性能比較
[0158] 由上表實(shí)驗(yàn)結(jié)果可知，在分類精度上，本發(fā)明所述的IDS-ELM算法都要明顯優(yōu)于 EM-ELM、P-ELM算法，并且比公開文獻(xiàn)中的BP的90.6 %和SVM的93.8分別提高了4.9個(gè)百分點(diǎn) 和1.7個(gè)百分點(diǎn)，比ELM算法的87.1 %提高了8.4%。雖然在時(shí)間方面IDS-ELM算法比其中某 些算法要略長(zhǎng)，但單個(gè)樣本的處理時(shí)間達(dá)毫秒級(jí)，完全滿足在線檢測(cè)要求。
[0159] 表3描述了相關(guān)算法針對(duì)毛發(fā)、漂浮物(纖維、橡膠肩）、玻璃肩和氣泡的分類實(shí)驗(yàn) 結(jié)果。在各類缺陷中，毛發(fā)的分類準(zhǔn)確率是最高的，達(dá)到了99.7%，這是由于毛發(fā)的外形特 征是最容易辨識(shí)的，在提取外形特征方面具有良好的穩(wěn)定性，其次纖維和玻璃肩分別為 96.9%、94.1%。雖然對(duì)氣泡存在一定的錯(cuò)分，但I(xiàn)DS-ELM算法對(duì)氣泡的分類識(shí)別精度達(dá)到 了 91.2 %，比EM-ELM和P-ELM算法分別高出12.9 %和9.4 %，比ELM算法高出11.2 %，從總體 來說，還是能將氣泡區(qū)分出來，從而實(shí)現(xiàn)大輸液可見異物的分類識(shí)別。
[0160] 表3 20次重復(fù)實(shí)驗(yàn)不同算法對(duì)不同類型樣本分類結(jié)果
[0161]
[0162] 為了說明IDS-ELM分類器在大輸液可見異物分類識(shí)別時(shí)的穩(wěn)定性，表4給出了實(shí)驗(yàn) 1中IDS-ELM針對(duì)總體實(shí)驗(yàn)數(shù)據(jù)集樣本20次分類的結(jié)果。統(tǒng)計(jì)表4實(shí)驗(yàn)數(shù)據(jù)標(biāo)注差僅為 0.064，說明IDS-ELM在可見異物的分類識(shí)別檢測(cè)是極其穩(wěn)定的。
[0163] 表4IDS-ELM算法對(duì)給類缺陷20次重復(fù)實(shí)驗(yàn)結(jié)果
[0164]
[0165] 結(jié)合醫(yī)藥大輸液四類缺陷的相關(guān)數(shù)據(jù)樣本進(jìn)行了分類識(shí)別實(shí)驗(yàn)，綜合實(shí)驗(yàn)結(jié)果說 明，本發(fā)明所述方法在醫(yī)藥大輸液實(shí)際生產(chǎn)中可見異物在線識(shí)別檢測(cè)是切實(shí)可行的。
【主權(quán)項(xiàng)】
1. 一種250ml醫(yī)藥大輸液可見異物與氣泡的分類識(shí)別檢測(cè)方法，其特征在于，包括以下 步驟： 步驟1)連續(xù)獲取正在檢測(cè)大輸液的原始圖像； 步驟2)圖像預(yù)處理； 對(duì)步驟1)獲取的每一幀大輸液圖像采用基于Top-Hat形態(tài)學(xué)濾波處理，得到濾波圖像； 步驟3)圖像分割； 對(duì)步驟2)獲得的濾波圖像采用差分法進(jìn)行圖像分割，獲得分割圖像； 步驟4)缺陷邊緣提??； 從步驟3)獲取的分割圖像中提取大輸液圖像中的缺陷邊緣； 所述缺陷包括可見異物或氣泡，所述可見異物包括玻璃肩、毛發(fā)或漂浮物，所述漂浮物 包括橡膠肩或纖維； 步驟5)提取缺陷的特征向量； 從步驟4)獲得的缺陷邊緣中選取用于描述缺陷的特征參數(shù)，形成缺陷的特征向量； 所述特征參數(shù)包括形狀特征參數(shù)、灰度特征參數(shù)及運(yùn)動(dòng)特征參數(shù)； 所述形狀特征參數(shù)包括缺陷目標(biāo)面積S、缺陷目標(biāo)占有率K及缺陷的7個(gè)幾何不變矩，其 中，缺陷目標(biāo)占有率是指缺陷目標(biāo)區(qū)域的像素個(gè)數(shù)和與缺陷目標(biāo)區(qū)域的最小外接矩形面積 之比； 所述灰度特征參數(shù)包括缺陷目標(biāo)區(qū)域的灰度均值及缺陷目標(biāo)區(qū)域的灰度標(biāo)準(zhǔn)差； 所述運(yùn)動(dòng)特征參數(shù)包括缺陷目標(biāo)的中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)； 步驟6)可見異物與氣泡分類識(shí)別； 對(duì)提取的缺陷目標(biāo)的特征向量運(yùn)用ELM網(wǎng)絡(luò)模型實(shí)現(xiàn)缺陷目標(biāo)的分類識(shí)別，若缺陷目 標(biāo)的分類識(shí)別結(jié)果為可見異物，則對(duì)應(yīng)的大輸液屬于不合格品，并依據(jù)分類結(jié)果獲得大輸 液中包含的缺陷類別； 所述ELM網(wǎng)絡(luò)模型的構(gòu)建過程如下：首先設(shè)定ELM算法網(wǎng)絡(luò)模型中輸入節(jié)點(diǎn)為13個(gè)，輸 出節(jié)點(diǎn)為4個(gè)，隱含層節(jié)點(diǎn)個(gè)數(shù)范圍為100-400,隱含層節(jié)點(diǎn)的激活函數(shù)包括Hardlim、Sin或 sigmoid 函數(shù)； 其次，選用已知缺陷類別的訓(xùn)練樣本特征向量集輸入ELM算法網(wǎng)絡(luò)模型，對(duì)其進(jìn)行訓(xùn) 練，獲得已訓(xùn)練好的ELM網(wǎng)絡(luò)模型。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟6)中運(yùn)用的ELM網(wǎng)絡(luò)模型采用 IDS-ELM算法構(gòu)建，具體步驟如下： Stepl:給定樣本數(shù)據(jù)集N(xi，ti)，從給定樣本數(shù)據(jù)集中選取訓(xùn)練集，xi表示第i個(gè)樣本， t表示第i個(gè)樣本的分類結(jié)果； Step2:建立ELM網(wǎng)絡(luò)模型fL(xi); 選定初始網(wǎng)絡(luò)模型隱含層節(jié)點(diǎn)個(gè)數(shù)L = 400、隱含層偏移值激活函數(shù)為sigmoid，在(0， 1)中隨機(jī)選取輸入層連接隱含層的權(quán)值向量ω#Ρ偏移量b,;其中，ω」=(ω dl，ω j2, . . .，ω jn)T表示第j個(gè)隱含層節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的連接權(quán)值向 量，bj表不第j個(gè)隱含層節(jié)點(diǎn)的偏移值，β」=(β」1，β」2, . . .，Pjm)T表不第j個(gè)隱含層節(jié)點(diǎn)與輸出 節(jié)點(diǎn)之間的連接權(quán)值向量;〇i=(〇il，〇i2, . . .，〇im)T為第i個(gè)樣本對(duì)應(yīng)的網(wǎng)絡(luò)模型輸出，g(x) 為sigmoid激活函數(shù)，η取值為13，m取值為4;〇1表示第i個(gè)樣本經(jīng)ELM網(wǎng)絡(luò)模型輸出的分類結(jié) 果； Step3:令〇i = ti，計(jì)算ELM網(wǎng)絡(luò)模型隱含層輸出矩陣H，根據(jù)β = Η+Τ計(jì)算ELM網(wǎng)絡(luò)模型隱 含層與輸出層的連接權(quán)值，T為ELM網(wǎng)絡(luò)模型的輸出矩陣，計(jì)算ELM網(wǎng)絡(luò)模型的訓(xùn)練精度 trainO和訓(xùn)練時(shí)間timeO; Step4:計(jì)算每個(gè)隱含層節(jié)點(diǎn)的影響度I」并按降冪排序，獲得排序后的隱含層節(jié)點(diǎn)；其中，gj(xi) = g( ω jXi+bj)，1 < i < N，1 < j < L，a為輸入層權(quán)值向量影響因子，(〇， 1); Step5:對(duì)ELM網(wǎng)絡(luò)模型進(jìn)行第一次剪枝； 從step4獲得的排序后的隱含層節(jié)點(diǎn)中，選擇前λ個(gè)隱含層節(jié)點(diǎn)，λΕ [1，5]，且λ為正整 數(shù);將其從ELM網(wǎng)絡(luò)模型中刪除，同時(shí)，計(jì)算第一次剪枝后的ELM網(wǎng)絡(luò)模型訓(xùn)練精度trainl， 并按照step4重新計(jì)算第一次剪枝后的ELM網(wǎng)絡(luò)模型中每個(gè)隱含層節(jié)點(diǎn)的影響度，且按降冪 排序； 計(jì)算剪枝系數(shù)η:*1為向上取整符號(hào)； Step6:對(duì)ELM網(wǎng)絡(luò)模型進(jìn)行第二次剪枝； 以η · λ作為第二次剪枝的隱節(jié)點(diǎn)個(gè)數(shù)，從step5得到的降冪排序的隱含層節(jié)點(diǎn)中，選取 前η · λ個(gè)隱含層節(jié)點(diǎn)對(duì)step5獲得的第一次剪枝后的ELM網(wǎng)絡(luò)模型進(jìn)行剪枝，并計(jì)算第二次 剪枝后的ELM網(wǎng)絡(luò)模型訓(xùn)練精度train2; step7:找回第二次剪枝操作中，被刪除的影響度最大的隱含層節(jié)點(diǎn)，將其重新加入到 step6獲得的ELM網(wǎng)絡(luò)模型中，同時(shí)計(jì)算更新后的ELM網(wǎng)絡(luò)模型的訓(xùn)練精度train3; Step8:從step6獲得的ELM網(wǎng)絡(luò)模型中剪掉一個(gè)影響度最小的隱含層節(jié)點(diǎn)，得到更新后 的ELM網(wǎng)絡(luò)模型的訓(xùn)練精度為train4; Step9 :確定ELM網(wǎng)絡(luò)模型最終隱節(jié)點(diǎn)個(gè)數(shù)為1/，訓(xùn)練精度為train，并取train = max (train2，train3，train4)，訓(xùn)練時(shí)間為time:SteplO:利用矛盾線性方程組的最小范數(shù)最小二乘解求得網(wǎng)絡(luò)隱含層與輸出層連接權(quán) 值矩陣f，β' = (?Τ )*T，并更新輸入層連接隱含層的權(quán)值向量ω」和偏移量匕，獲得已訓(xùn)練好 的最終ELM網(wǎng)絡(luò)模型； 其中，把為最終ELM網(wǎng)絡(luò)模型的輸出層矩陣。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述形態(tài)學(xué)濾波處理過程中，選用7X7的 圓形模板作為結(jié)構(gòu)元素對(duì)原圖像進(jìn)行高帽形態(tài)學(xué)濾波。4. 根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述步驟3)中采用基于最大信息熵的幀 間差分法進(jìn)行圖像分割，具體步驟如下： 首先將連續(xù)獲取的序列圖像進(jìn)行差分操作，得到差分圖像； 其次，計(jì)算差分后圖像二值化閾值TO: 分別計(jì)算待檢測(cè)圖像的目標(biāo)區(qū)域中像素總個(gè)數(shù)N2和灰度為i的像素點(diǎn)所占的比例Pl，利 用下面兩式來計(jì)算背景和異物灰度值的分布：TO. 其中，Ζ ，M表示灰度i的最大值，則背景和目標(biāo)的信息熵H(A)、H(B)分別可由下 i=0 面兩個(gè)公式計(jì)算：由上兩式可求取待檢測(cè)圖像的總信息熵為?(s)=H(A)+H(B)，當(dāng)使?(s)取最大值時(shí)， 獲得差分后圖像二值化閾值TO; 最后，利用差分后圖像二值化閾值TO將差分后的圖像按下式做二值化處理，將得到的 二值化圖像中每個(gè)像素點(diǎn)進(jìn)行與操作，得到的對(duì)稱差分二值圖像，完成圖像分割：5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，采用SUSAN算法從步驟3)獲取的分割圖像 中提取大輸液圖像中的缺陷邊緣，具體步驟如下： 利用掩膜來遍歷對(duì)稱差分二值圖像中目標(biāo)區(qū)域的每一個(gè)像素，并將掩膜中心像素點(diǎn)和 掩膜區(qū)域內(nèi)每一個(gè)像素點(diǎn)做灰度值比較，記錄灰度差值小于設(shè)定灰度差值閾值的像素點(diǎn)， 并將記錄的像素點(diǎn)組成USAN區(qū)域； 掩膜內(nèi)除中心點(diǎn)外所有像素點(diǎn)的像素值利用下式計(jì)算：ro是圖像核所在的位置，r表示模板中其余點(diǎn)所處的位置，1(H))表示圖像核心點(diǎn)的像素 值，I(r)表示圖像模板中其它點(diǎn)的像素值； 然后利用下式來計(jì)算掩膜區(qū)域的USAN值：其中，（xq，yo)表示是當(dāng)前掩膜中心點(diǎn)，（X，y)表示當(dāng)前掩膜除中心點(diǎn)外的像素點(diǎn)，η為 USAN區(qū)域中像素個(gè)數(shù)，然后將與預(yù)設(shè)的USAN閥值相比較，并利用下式來獲取可疑特征點(diǎn)，并 以特征點(diǎn)為中心，將特征點(diǎn)與其他的鄰域內(nèi)的8個(gè)點(diǎn)灰度值相比較，最大的被保留下來作為 最終的邊緣點(diǎn)：其中，g = nmax/2是USAN閥值，nmax是η的最大值，取掩膜的3/4。6.根據(jù)權(quán)利要求5所述的方法，其特征在于，對(duì)于有噪聲影響的圖像，SUSAN閾值下限值 取2-10個(gè)像素。
【文檔編號(hào)】G06T7/00GK105869154SQ201610176153
【公開日】2016年8月17日
【申請(qǐng)日】2016年3月28日
【發(fā)明人】張輝, 師統(tǒng), 阮峰, 吳成中
【申請(qǐng)人】長(zhǎng)沙理工大學(xué)