本發(fā)明涉及聯(lián)邦學(xué)習(xí)的隱私保護(hù)和醫(yī)療語(yǔ)義分割領(lǐng)域，更具體地說(shuō)，本發(fā)明涉及基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法。

背景技術(shù)：

1、在人工智能技術(shù)飛速發(fā)展的今天，各行各業(yè)都在引入人工智能技術(shù)，例如自動(dòng)駕駛、圖像生成、ar/vr，醫(yī)療圖像處理等領(lǐng)域。其中醫(yī)療圖像處理領(lǐng)域的發(fā)展勢(shì)頭十分迅速，現(xiàn)在的病癥分析多數(shù)采用深度學(xué)習(xí)技術(shù)進(jìn)行輔助，大致判斷病情成因和病患部位，最后由醫(yī)生進(jìn)行診斷。但是由于患者的醫(yī)療數(shù)據(jù)屬于保密信息，各個(gè)醫(yī)院并不能進(jìn)行信息共享，這樣在進(jìn)行深度學(xué)習(xí)訓(xùn)練時(shí)就會(huì)產(chǎn)生樣本的缺乏，在深度學(xué)習(xí)中，缺乏訓(xùn)練數(shù)據(jù)會(huì)直接導(dǎo)致模型精準(zhǔn)度的下降，在醫(yī)療圖像處理領(lǐng)域準(zhǔn)確度尤為重要，事關(guān)患者的生命安全。因此，本發(fā)明提出基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，以期解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

2、基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，包括以下步驟：

3、s1、將kvasir-seg數(shù)據(jù)集和cvc-clinicdb數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，然后將數(shù)據(jù)集中的真實(shí)圖像進(jìn)行one-hot編碼；

4、s2、構(gòu)建聯(lián)邦學(xué)習(xí)框架，初始化隨機(jī)加密算法池，隨機(jī)選取客戶端數(shù)量，分別部署客戶端和服務(wù)器端模型；

5、s3、將原始圖片加載進(jìn)dataloader，設(shè)置超參數(shù)，并送入客戶端模型學(xué)習(xí)；

6、s4、將客戶端參數(shù)進(jìn)行差分隱私和同態(tài)加密，客戶端信息使用hash編碼進(jìn)行加密，將客戶端參數(shù)，客戶端信息送入服務(wù)器端；

7、s5、服務(wù)器端接收參數(shù)并進(jìn)行參數(shù)聚合，聚合完成后再次進(jìn)行加密，下發(fā)至客戶端；

8、s6、客戶端接收下發(fā)的參數(shù)信息，達(dá)到目標(biāo)迭代效果停止迭代，否則繼續(xù)迭代；

9、s7、客戶端進(jìn)行結(jié)腸息肉分割推理預(yù)測(cè)并可視化結(jié)果。

10、在一個(gè)優(yōu)選地實(shí)施方式中，s2中，處理過(guò)程采用隨機(jī)預(yù)處理包括數(shù)據(jù)的仿射變換和色彩對(duì)比度增強(qiáng)。

11、在一個(gè)優(yōu)選地實(shí)施方式中，s1中的具體步驟為：使用開(kāi)源的結(jié)腸息肉數(shù)據(jù)集即kvasir-seg和cvc-clinicdb公開(kāi)數(shù)據(jù)集，將數(shù)據(jù)集中的數(shù)據(jù)分為原始圖像和標(biāo)注后的圖像兩類，kvasir-seg數(shù)據(jù)集總量為1000張圖片，cvc-clinicdb數(shù)據(jù)集總量為612張圖片，數(shù)據(jù)量訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分比例為8：1：1；

12、將數(shù)據(jù)集原始圖像重塑為(352,352,3)的形狀，標(biāo)注后的圖像形狀變?yōu)?352,352,2)，第三維是類別信息，分別包含背景和目標(biāo)區(qū)域，對(duì)原始圖像和標(biāo)注后的圖像進(jìn)行數(shù)據(jù)增強(qiáng)操作。

13、s2中的具體步驟如下：

14、s21、構(gòu)建聯(lián)邦學(xué)習(xí)框架，需要分別部署服務(wù)器端和客戶端模型，客戶端和服務(wù)器端使用相同的模型，服務(wù)器端從請(qǐng)求加入的客戶端隨機(jī)選取任意數(shù)量的用戶加入學(xué)習(xí)系統(tǒng)；

15、s22，初始化隨機(jī)加密算法池，從算法池中選取將要用到的加密算法和差分隱私機(jī)制。

16、在一個(gè)優(yōu)選地實(shí)施方式中，s3中訓(xùn)練步驟具體如下：

17、s31、使用從數(shù)據(jù)集中裁剪出大小為352×352×3的rgb圖像塊進(jìn)行訓(xùn)練；

18、s32、選取adamw優(yōu)化器，batch?size設(shè)置為4，初始學(xué)習(xí)率設(shè)置為1e-4，設(shè)置學(xué)習(xí)率自調(diào)整策略，采用對(duì)dice進(jìn)行監(jiān)督的方式，如果dice十輪以內(nèi)不再提升，則主動(dòng)降低學(xué)習(xí)率，降低倍率為二分之一，設(shè)置早停策略，當(dāng)學(xué)習(xí)率為1e-6并且dice十輪以內(nèi)不再提升則停止訓(xùn)練；

19、s33、損失函數(shù)采用聯(lián)合損失函數(shù)進(jìn)行訓(xùn)練該函數(shù)包含wiou和wbce兩種損失函數(shù)，將真實(shí)圖像和預(yù)測(cè)圖像作為損失函數(shù)輸入，在輸入前真實(shí)圖像進(jìn)行one-hot編碼，將類別歸并到第二個(gè)維度，為整個(gè)二值化圖像制作基于類別的掩膜，loss的公式為：

20、

21、其中和分別代表weighted?iou?loss、weighted?bce?loss，y,p分別代表ground?truth和predict?image，i代表特征金字塔的層數(shù)，分別為每一層的輸出計(jì)算損失函數(shù)并將其匯總為訓(xùn)練時(shí)的總損失。

22、在一個(gè)優(yōu)選地實(shí)施方式中，s4中的加密過(guò)程為：

23、s41、將客戶端訓(xùn)練完成的參數(shù)先進(jìn)行差分隱私，即加入噪聲，差分隱私定義如下，對(duì)于一個(gè)隨機(jī)算法m，pm為算法m可以輸出的所有值的集合，如果對(duì)于任意的一對(duì)相鄰數(shù)據(jù)集x和x′，pm的任意子集s，算法滿足：

24、pr[m(x)∈s]≤eεpr[m(x′)∈s]

25、則稱算法m滿足ε-差分隱私，其中參數(shù)ε為隱私保護(hù)預(yù)算，ε越小，隱私保密度越高；ε越大，數(shù)據(jù)可用性越高；ε＝0時(shí)，m針對(duì)兩個(gè)數(shù)據(jù)集的輸出概率完全相同；

26、兩種不同的差分隱私機(jī)制相似，定義如下：

27、給定一個(gè)函數(shù)f:n|x|→rk，則拉普拉斯機(jī)制被定義為：

28、

29、其中yi是符合拉普拉斯分布或者高斯分布的獨(dú)立同分布隨機(jī)變量，x是被查詢的數(shù)據(jù)，f(x)是查詢函數(shù)，輸出是k維向量，代表結(jié)果，ε是隱私預(yù)算；

30、s42、將添加了差分隱私的數(shù)據(jù)進(jìn)行同態(tài)加密，加密算法池中包含rsa，paillier等算法，由服務(wù)器端生成并下發(fā)密鑰。

31、在一個(gè)優(yōu)選地實(shí)施方式中，該基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，還包括對(duì)客戶端進(jìn)行結(jié)腸息肉分割推理預(yù)測(cè)結(jié)果和實(shí)際真實(shí)值進(jìn)行評(píng)估操作，得到偏差評(píng)估值，然后將偏差評(píng)估值與預(yù)設(shè)的對(duì)比閾值進(jìn)行對(duì)比，若偏差評(píng)估值大于等于預(yù)設(shè)的對(duì)比閾值，則發(fā)出一類反饋信號(hào)，反之則發(fā)出二類反饋信號(hào)。

32、本發(fā)明的技術(shù)效果和優(yōu)點(diǎn)：

33、本發(fā)明在結(jié)腸息肉語(yǔ)義分割領(lǐng)域引入聯(lián)邦學(xué)習(xí)框架，提高了模型的整體性能，為結(jié)腸息肉語(yǔ)義分割模型跨系統(tǒng)訓(xùn)練提供了案例，采用隨機(jī)加密池技術(shù)，在訓(xùn)練開(kāi)始時(shí)隨機(jī)選取同態(tài)加密算法和差分隱私機(jī)制，采用客戶端來(lái)源加密技術(shù)，對(duì)客戶端來(lái)源信息進(jìn)行hash編碼，便于快速查找客戶端的同時(shí)也能對(duì)客戶端來(lái)源進(jìn)行加密。

34、本發(fā)明在結(jié)腸息肉分割領(lǐng)域引入了隱私保護(hù)手段，使用聯(lián)邦學(xué)習(xí)框架，能夠在不共享數(shù)據(jù)的情況下，實(shí)現(xiàn)跨系統(tǒng)的深度模型訓(xùn)練，其次利用隨機(jī)加密算法池，增加差分隱私和同態(tài)加密技術(shù)的組合，使得數(shù)據(jù)的隱私性大幅提升。構(gòu)建客戶端來(lái)源加密方法，保證客戶端來(lái)源無(wú)法被追溯，保護(hù)客戶端的隱私性。

35、傳統(tǒng)的聯(lián)邦學(xué)習(xí)算法采用單一的加密結(jié)構(gòu)，仍有一定的被破解風(fēng)險(xiǎn)，本發(fā)明中提出的新型結(jié)構(gòu)可以實(shí)現(xiàn)多種加密方式的組合，更難以被破解。本發(fā)明中提出的方法為醫(yī)療圖像處理領(lǐng)域深度學(xué)習(xí)和隱私保護(hù)的發(fā)展提供了新的思路，并且經(jīng)過(guò)驗(yàn)證，采用聯(lián)邦學(xué)習(xí)隱私保護(hù)的模型的實(shí)際效果可以達(dá)到原始模型的準(zhǔn)確率，并且可以做到更好的隱私保護(hù)，在保證每個(gè)醫(yī)療體系獨(dú)立運(yùn)作不進(jìn)行數(shù)據(jù)信息共享的同時(shí)，又做到聯(lián)合建模，并且提升了模型性能。

技術(shù)特征：

1.基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，其特征在于，s2中，處理過(guò)程采用隨機(jī)預(yù)處理包括數(shù)據(jù)的仿射變換和色彩對(duì)比度增強(qiáng)。

3.根據(jù)權(quán)利要求2所述的基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，其特征在于，s1中的具體步驟為：使用開(kāi)源的結(jié)腸息肉數(shù)據(jù)集即kvasir-seg和cvc-clinicdb公開(kāi)數(shù)據(jù)集，將數(shù)據(jù)集中的數(shù)據(jù)分為原始圖像和標(biāo)注后的圖像兩類，kvasir-seg數(shù)據(jù)集總量為1000張圖片，cvc-clinicdb數(shù)據(jù)集總量為612張圖片，數(shù)據(jù)量訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分比例為8：1：1；

4.根據(jù)權(quán)利要求3所述的基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，其特征在于，s2中的具體步驟如下：

5.根據(jù)權(quán)利要求4所述的基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，其特征在于，s3中訓(xùn)練步驟具體如下：

6.根據(jù)權(quán)利要求5所述的基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，其特征在于，s4中的加密過(guò)程為：

7.根據(jù)權(quán)利要求6所述的基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，其特征在于，該基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，還包括對(duì)客戶端進(jìn)行結(jié)腸息肉分割推理預(yù)測(cè)結(jié)果和實(shí)際真實(shí)值進(jìn)行評(píng)估操作，得到偏差評(píng)估值，然后將偏差評(píng)估值與預(yù)設(shè)的對(duì)比閾值進(jìn)行對(duì)比，若偏差評(píng)估值大于等于預(yù)設(shè)的對(duì)比閾值，則發(fā)出一類反饋信號(hào)，反之則發(fā)出二類反饋信號(hào)。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了基于聯(lián)邦學(xué)習(xí)隱私保護(hù)的結(jié)腸息肉語(yǔ)義分割深度學(xué)習(xí)方法，具體涉及聯(lián)邦學(xué)習(xí)的隱私保護(hù)和醫(yī)療語(yǔ)義分割領(lǐng)域，包括以下步驟：S1、將Kvasir?SEG數(shù)據(jù)集和CVC?ClinicDB數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，然后將數(shù)據(jù)集中的真實(shí)圖像進(jìn)行one?hot編碼；S2、構(gòu)建聯(lián)邦學(xué)習(xí)框架，初始化隨機(jī)加密算法池，隨機(jī)選取客戶端數(shù)量，分別部署客戶端和服務(wù)器端模型；S3、將原始圖片加載進(jìn)Dataloader，設(shè)置超參數(shù)，并送入客戶端模型學(xué)習(xí)；本發(fā)明為醫(yī)療圖像處理領(lǐng)域深度學(xué)習(xí)和隱私保護(hù)的發(fā)展提供了新的思路，并且經(jīng)過(guò)驗(yàn)證，采用聯(lián)邦學(xué)習(xí)隱私保護(hù)的模型的實(shí)際效果可以達(dá)到原始模型的準(zhǔn)確率，并且可以做到更好的隱私保護(hù)。

技術(shù)研發(fā)人員：曹旭光,范科峰,馬慧琳,徐存
受保護(hù)的技術(shù)使用者：中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院（（工業(yè)和信息化部電子工業(yè)標(biāo)準(zhǔn)化研究院）（工業(yè)和信息化部電子第四研究院））
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/21