本發(fā)明涉及發(fā)酵工程生物量參數(shù)的軟測(cè)量，具體涉及使用級(jí)聯(lián)機(jī)器視覺(jué)進(jìn)行液體菌種發(fā)酵過(guò)程生物量參數(shù)的檢測(cè)方法。

背景技術(shù)：

1、液體菌種的質(zhì)量和數(shù)量決定了食用菌的出菇品質(zhì)和產(chǎn)量。為了在最短時(shí)間內(nèi)獲取生物量高、純度高、活力好的目標(biāo)菌種，對(duì)發(fā)酵過(guò)程的生物量動(dòng)態(tài)演變進(jìn)展進(jìn)行原位實(shí)時(shí)非接觸監(jiān)測(cè)，也就成為獲得穩(wěn)定和優(yōu)質(zhì)產(chǎn)出的需要。液體菌種的發(fā)酵過(guò)程通常是一個(gè)動(dòng)態(tài)的生長(zhǎng)演化過(guò)程，涉及菌種的裂變生長(zhǎng)，發(fā)酵液的營(yíng)養(yǎng)消耗及發(fā)酵產(chǎn)物的積累。因此，其發(fā)酵過(guò)程是一個(gè)大滯后、多變量、強(qiáng)耦合的復(fù)雜非線性系統(tǒng)，內(nèi)部反應(yīng)機(jī)理十分復(fù)雜。在實(shí)際的發(fā)酵生產(chǎn)過(guò)程中，能實(shí)現(xiàn)自動(dòng)檢測(cè)的參量主要集中在一些現(xiàn)有傳感器可以直接測(cè)量、容易測(cè)量的物理化學(xué)參數(shù)上，如溫度、ph、溶解氧、罐壓等，而其它一些重要的、影響發(fā)酵過(guò)程品質(zhì)的關(guān)鍵生化參量如基質(zhì)濃度、菌體濃度和產(chǎn)物濃度等則必須用離線分析的方法才能得到。

2、離線分析滯后性大、且容易造成發(fā)酵染菌，從而影響發(fā)酵效率和產(chǎn)品質(zhì)量。軟測(cè)量技術(shù)是解決上述問(wèn)題的有效途徑之一。軟測(cè)量技術(shù)是一種間接測(cè)量方法，利用由容易測(cè)量的參數(shù)(輔助變量)，通過(guò)建模，實(shí)現(xiàn)對(duì)不容易測(cè)量的關(guān)鍵參數(shù)(主導(dǎo)變量)的推導(dǎo)測(cè)量，其核心在于建立表征輔助變量和主導(dǎo)變量之間的數(shù)學(xué)關(guān)系的軟測(cè)量模型。所以目前普遍都是要解決軟測(cè)量模型的數(shù)學(xué)建模問(wèn)題，以實(shí)現(xiàn)對(duì)主導(dǎo)變量的穩(wěn)健表征。目前軟測(cè)量建模方法主要有三種，一是基于機(jī)理分析的軟測(cè)量(白箱模型)，二是基于神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)的軟測(cè)量(黑箱模型)，三是基于機(jī)理分析及機(jī)器學(xué)習(xí)的混合模型的軟測(cè)量(灰箱模型)。

3、不論白箱、黑箱及灰箱軟測(cè)量模型的建立過(guò)程都依賴于一維序列物理參數(shù)及化學(xué)參數(shù)的獲取，如容易直接測(cè)量的物理化學(xué)參數(shù)，如溫度、ph、溶解氧及罐壓等，然后再進(jìn)行相應(yīng)機(jī)理建?；虼髷?shù)據(jù)分析。由于這些一維序列物理參數(shù)及化學(xué)參數(shù)，是屬于發(fā)酵過(guò)程的外部環(huán)境參數(shù)，或者屬于間接反映生物參數(shù)的過(guò)程參數(shù)，因而無(wú)法穩(wěn)健的表征發(fā)酵過(guò)程的生物參數(shù)。大量研究表明，使用可見(jiàn)-紅外波譜數(shù)據(jù)可實(shí)現(xiàn)對(duì)生物參數(shù)的在線實(shí)時(shí)監(jiān)測(cè)，但是對(duì)于食用菌液體菌種生物量的在線監(jiān)測(cè)，存在著如下難點(diǎn)，如：液體菌種一直處在氣動(dòng)攪拌的過(guò)程，影響了菌絲光譜特征的穩(wěn)定獲?。唤t外波段對(duì)水分的強(qiáng)吸收會(huì)影響生物參數(shù)測(cè)量的魯棒性及準(zhǔn)確度；發(fā)酵過(guò)程的生物量參數(shù)的在線實(shí)時(shí)監(jiān)測(cè)的需求與模型邊緣部署的準(zhǔn)確性及輕量化之間存在著矛盾。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種基于機(jī)器視覺(jué)的液體菌種生物量的檢測(cè)方法，融合多源圖譜信息的級(jí)聯(lián)機(jī)器視覺(jué)模型對(duì)不易測(cè)量參數(shù)進(jìn)行推測(cè)的軟測(cè)量方案，即“彩箱”模型，彌補(bǔ)基于機(jī)理分析的“白箱”、基于神經(jīng)網(wǎng)絡(luò)或大數(shù)據(jù)分析的“黑箱”、及基于以上二者混合模型的“灰箱”方案的局限性，以實(shí)現(xiàn)對(duì)液體菌種發(fā)酵過(guò)程生物量參數(shù)進(jìn)行在線實(shí)時(shí)可視化監(jiān)測(cè)，以便指導(dǎo)發(fā)酵過(guò)程液體菌種的投產(chǎn)應(yīng)用。

2、為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種基于機(jī)器視覺(jué)的液體菌種生物量的軟測(cè)量方法包括如下步驟：

3、s1：解析全發(fā)酵周期內(nèi)液體菌種生物量參數(shù)主導(dǎo)變量及其演變規(guī)律，生物量參數(shù)主導(dǎo)變量bio-indices包括：菌種濃度％、菌種鮮重g/l及菌種干重g/l；

4、s2：離線采樣并手工測(cè)量關(guān)聯(lián)液體菌種生物量參數(shù)的輔助變量特征m-features,包括：發(fā)酵液體積vls、菌種體積vsp、菌種質(zhì)量msp及發(fā)酵液質(zhì)量mls，建立基于輔助變量特征m-features的生物量參數(shù)主導(dǎo)變量的軟測(cè)量模型m1；

5、s3：采集不同發(fā)酵階段的液體菌種的可見(jiàn)-近紅外i區(qū)-近紅外ii區(qū)高光譜數(shù)據(jù)，構(gòu)建表征液體菌種生物量動(dòng)態(tài)演變的多源圖譜數(shù)據(jù)集；

6、s4：基于多源圖譜數(shù)據(jù)集構(gòu)建多任務(wù)機(jī)器視覺(jué)模型v1，通過(guò)提取關(guān)鍵圖譜特征，獲得基于機(jī)器視覺(jué)的輔助變量特征e-features，包括：發(fā)酵視窗面積sls、菌種面積ssp、菌種光譜指數(shù)isp及發(fā)酵液光譜指數(shù)ils。

7、s5：聯(lián)合所述的生物量參數(shù)軟測(cè)量模型m1及多任務(wù)機(jī)器視覺(jué)模型v1，得到級(jí)聯(lián)機(jī)器視覺(jué)軟測(cè)量模型mv，進(jìn)行bio-indices的軟測(cè)量分析；

8、s6：部署所述的級(jí)聯(lián)機(jī)器視覺(jué)軟測(cè)量模型mv于終端嵌入式智能設(shè)備；

9、s7:設(shè)計(jì)機(jī)器視覺(jué)任務(wù)執(zhí)行的交互軟件，實(shí)現(xiàn)級(jí)聯(lián)機(jī)器視覺(jué)軟測(cè)量模型mv的跨場(chǎng)景遷移學(xué)習(xí)及在線實(shí)時(shí)推理，跨場(chǎng)景遷移學(xué)習(xí)及跨場(chǎng)景應(yīng)用。

10、優(yōu)選的，所述s1具體為：

11、液體菌種的離線采樣解析具體包括：無(wú)菌技術(shù)取樣，過(guò)濾，純水清洗，離心，冷凍烘干，實(shí)驗(yàn)室分析測(cè)量菌種生物量參數(shù)；所述全發(fā)酵周期包括：適應(yīng)期(1-2天)，快速生長(zhǎng)期(3-6天)，成熟期(7-8天)，衰老期(8-10天)；所述生物量參數(shù)主導(dǎo)變量bio-indices演變規(guī)律，是指菌種濃度con(％)、菌種鮮重bmf(g/l)及菌種干重bmd(g/l)在全發(fā)酵周期內(nèi)隨著發(fā)酵時(shí)間推進(jìn)而產(chǎn)生的動(dòng)態(tài)變化規(guī)律。

12、優(yōu)選的，所述s2具體為：

13、輔助變量特征m-features中發(fā)酵液體積vls，是取樣樣品的發(fā)酵液體積，取樣體積可為400ml；所述的輔助變量特征m-features中菌種體積vsp，是一定體積取樣樣品中所有菌團(tuán)的總體積；所述的輔助變量特征m-features中菌種質(zhì)量msp，是一定體積取樣樣品中所有菌團(tuán)的總質(zhì)量，所述的輔助變量特征m-features中發(fā)酵液質(zhì)量mls，是指取樣樣品的發(fā)酵液的質(zhì)量；

14、建立軟測(cè)量模型m1，通過(guò)建立輔助變量與主導(dǎo)變量的數(shù)理方程實(shí)現(xiàn)所述生物量參數(shù)主導(dǎo)變量bio-indices的推測(cè)；所述的數(shù)理方程建立過(guò)程取決于輔助變量特征與主導(dǎo)變量特征之間機(jī)理分析及數(shù)學(xué)推導(dǎo)，具體過(guò)程為：所述bio-indices中菌種濃度con取決于m-features中菌種的體積vsp與發(fā)酵液體積vls；所述bio-indices中菌種鮮重bmf取決于m-features中菌種質(zhì)量msp；bio-indices中菌種干重bmd取決于菌種鮮重bmf和菌團(tuán)含水率，聯(lián)立方程如下：

15、

16、式中，

17、a為菌種體積vsp離線分析與在線測(cè)量之間的相關(guān)系數(shù)，取值區(qū)間為(1.0-1.2)；

18、b為發(fā)酵液體積vls離線分析與在線測(cè)量之間的相關(guān)系數(shù)，壓強(qiáng)變化對(duì)其沒(méi)有明顯影響，取值一般為1.0；

19、c為菌種質(zhì)量msp離線分析與在線測(cè)量之間的相關(guān)系數(shù)，壓強(qiáng)變化對(duì)其沒(méi)有明顯影響，取值一般為1.0；

20、d為菌團(tuán)含水量系數(shù)，根據(jù)液體菌種品種及發(fā)酵周期線性調(diào)整，取值區(qū)間為(8.0-9.5)。

21、優(yōu)選的，所述s3具體為：

22、建立多源圖譜數(shù)據(jù)集，包括可見(jiàn)光rgb二維圖像，可見(jiàn)光-近紅外i區(qū)-近紅外ii區(qū)波段一維波譜數(shù)據(jù)；所述的可見(jiàn)光波段范圍為380-780nm，所述的近紅外i區(qū)波段范圍為780-1000nm，近紅外ii區(qū)波段范圍為1000-1700nm，波段分辨率為1nm；其中，可見(jiàn)光波段的選擇可表征菌種顏色及發(fā)酵液顏色的變化特征，近紅外i區(qū)及ii區(qū)波段進(jìn)行透射的選擇可表征發(fā)酵過(guò)程中菌團(tuán)的本體緊實(shí)度及其表面毛刺演變特征，近紅外i區(qū)及ii區(qū)波段進(jìn)行漫反射的選擇可表征發(fā)酵液的發(fā)酵產(chǎn)物與發(fā)酵底物隨著發(fā)酵進(jìn)展產(chǎn)生的由異質(zhì)的混懸液、懸濁液、液溶膠、到均質(zhì)的真溶液演變，從而獲得對(duì)應(yīng)的光譜指數(shù)特征。

23、優(yōu)選的，所述s4具體為：

24、構(gòu)建多任務(wù)機(jī)器視覺(jué)模型v1，是通過(guò)級(jí)聯(lián)多任務(wù)的機(jī)器視覺(jué)模型，以實(shí)現(xiàn)輔助變量特征的提取與分析；所述多任務(wù)機(jī)器視覺(jué)模型分別執(zhí)行一系列視覺(jué)任務(wù)，包括分類任務(wù)、目標(biāo)檢測(cè)任務(wù)、語(yǔ)義分割任務(wù)及形態(tài)學(xué)圖像處理任務(wù)；所述分類任務(wù)實(shí)現(xiàn)液體菌種發(fā)酵罐與其他設(shè)備的分類的任務(wù)；所述目標(biāo)檢測(cè)任務(wù)實(shí)現(xiàn)識(shí)別定位發(fā)酵罐的發(fā)酵視窗位置的任務(wù)；所述語(yǔ)義分割任務(wù)實(shí)現(xiàn)針對(duì)發(fā)酵視窗內(nèi)的液體菌種區(qū)域的分割的任務(wù)；所述形態(tài)學(xué)圖像處理任務(wù)實(shí)現(xiàn)菌種與發(fā)酵液的分離，提取關(guān)鍵圖譜特征，包括，lbp(局部二值模式)特征、hog(方向梯度直方圖)特征、圓度因子、形態(tài)因子特征，灰度、光譜指數(shù)特征；從而推導(dǎo)基于機(jī)器視覺(jué)的輔助變量特征e-features包括菌種面積、發(fā)酵視窗面積、菌種及發(fā)酵液光譜指數(shù)。

25、優(yōu)選的，所述s5具體為：

26、將多任務(wù)機(jī)器視覺(jué)模型v1所獲得的輔助變量特征e-features與手工測(cè)量的輔助變量特征m-features建立關(guān)聯(lián)，具體為：m-features中菌種體積vsp與e-features中所觀測(cè)發(fā)酵視窗面積sls內(nèi)菌種面積ssp可建立數(shù)理方程；m-features中發(fā)酵液體積vls為發(fā)酵液取樣樣品的體積；m-features中菌種質(zhì)量msp與e-features中菌種面積ssp及菌種光譜指數(shù)isp可建立數(shù)理方程；m-features中發(fā)酵液質(zhì)量mls與發(fā)酵液光譜指數(shù)ils及發(fā)酵視窗面積sls可建立數(shù)理方程；以上e-features與m-features之間的數(shù)理方程聯(lián)立如下：

27、

28、式中，e為在線測(cè)量的菌種面積ssp與對(duì)應(yīng)的菌種體積vsp之間的常數(shù)校正系數(shù)；

29、f(isp)為在線測(cè)量菌種光譜指數(shù)與菌種密度的關(guān)聯(lián)函數(shù)；

30、f(ils)為在線測(cè)量發(fā)酵液光譜指數(shù)與發(fā)酵液密度的關(guān)聯(lián)函數(shù)；

31、g為發(fā)酵視窗面積sls與對(duì)應(yīng)的發(fā)酵液體積vls之間的常數(shù)校正系數(shù)；

32、把由e-features推導(dǎo)的m-features輸入生物量參數(shù)軟測(cè)量模型m1進(jìn)行生物量參數(shù)bio-indices的推導(dǎo)；從而實(shí)現(xiàn)通過(guò)機(jī)器視覺(jué)提取輔助變量特征進(jìn)行生物量參數(shù)主導(dǎo)變量的間接測(cè)量。

33、優(yōu)選的，所述s6中的終端嵌入式智能設(shè)備包括：具備獨(dú)立顯卡的邊緣計(jì)算設(shè)備，內(nèi)置無(wú)線網(wǎng)卡，數(shù)據(jù)擴(kuò)展的sd卡卡槽，具備工業(yè)級(jí)場(chǎng)景應(yīng)用的抗震防雷防靜電設(shè)計(jì)，模型的部署過(guò)程包括：采取非結(jié)構(gòu)化剪枝策略進(jìn)行機(jī)器視覺(jué)模型的輕量化改進(jìn)。

34、優(yōu)選的，所述s7中的機(jī)器視覺(jué)模型任務(wù)執(zhí)行的交互軟件，是通過(guò)pyqt6設(shè)計(jì)人機(jī)界面，以實(shí)現(xiàn)交互式執(zhí)行機(jī)器視覺(jué)任務(wù)的功能；所述的機(jī)器視覺(jué)任務(wù)執(zhí)行的交互軟件的功能包括：在人機(jī)交互界面上，實(shí)現(xiàn)數(shù)據(jù)庫(kù)的擴(kuò)充、模型的調(diào)動(dòng)、模型的執(zhí)行、模型收斂訓(xùn)練、模型保存及模型推理及生物量參數(shù)測(cè)量效果展示；所述級(jí)聯(lián)機(jī)器視覺(jué)軟測(cè)量模型mv的跨場(chǎng)景遷移學(xué)習(xí)，是指在跨場(chǎng)景情況下，通過(guò)實(shí)時(shí)交互式建立數(shù)據(jù)集，交互式模型加載、收斂訓(xùn)練，進(jìn)行模型的泛化遷移；所述的跨場(chǎng)景應(yīng)用是指，在不同菌種及不同現(xiàn)場(chǎng)環(huán)境下，進(jìn)行目標(biāo)生物量參數(shù)推測(cè)，若所推測(cè)的生物量參數(shù)主導(dǎo)變量不滿足精度要求，則繼續(xù)擴(kuò)充數(shù)據(jù)集，重復(fù)進(jìn)行模型加載、收斂訓(xùn)練，直至滿足精度要求；若所推測(cè)的生物量參數(shù)已滿足精度要求，則說(shuō)明模型滿足當(dāng)下場(chǎng)景的生物量參數(shù)的在線實(shí)時(shí)非侵入式監(jiān)測(cè)。

35、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：提供了一種基于級(jí)聯(lián)機(jī)器視覺(jué)的液體菌種生物量參數(shù)的軟測(cè)量方法，以實(shí)現(xiàn)不易直接測(cè)量的生物參數(shù)的在線非侵入式監(jiān)測(cè)。這是通過(guò)融合多源圖譜與機(jī)器學(xué)習(xí)的“彩箱模型”，即級(jí)聯(lián)機(jī)器視覺(jué)軟測(cè)量模型，來(lái)實(shí)現(xiàn)不易測(cè)量參數(shù)的推測(cè)。通過(guò)機(jī)器視覺(jué)獲取輔助變量特征e-features，關(guān)聯(lián)到m-features，然后輸入軟測(cè)量模型進(jìn)行生物量參數(shù)主導(dǎo)變量bio-indices的間接測(cè)量。由于“彩箱”軟測(cè)量方法同時(shí)具備二維圖譜的機(jī)理分析及神經(jīng)網(wǎng)絡(luò)的特征提取能力，比通常僅基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征提取能力，或僅基于一維環(huán)境參數(shù)的軟測(cè)量模型，都可使推測(cè)效果更具解釋性及魯棒性，從而為生物量參數(shù)的非侵入式實(shí)時(shí)監(jiān)測(cè)提供了一種理想方案。