本發(fā)明涉及可解釋機(jī)器學(xué)習(xí)，具體涉及一種基于特征臨界值分析的模型無(wú)關(guān)精確可解釋方法。

背景技術(shù)：

1、以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的機(jī)器學(xué)習(xí)技術(shù)近年來(lái)在各個(gè)領(lǐng)域得到廣泛應(yīng)用并取得了優(yōu)秀的成果，引領(lǐng)人工智能相關(guān)技術(shù)取得了長(zhǎng)足的進(jìn)步。盡管機(jī)器學(xué)習(xí)模型取得了巨大的成功，機(jī)器學(xué)習(xí)模型的弊端也逐漸顯現(xiàn)：一方面，研究表明機(jī)器學(xué)習(xí)模型在對(duì)抗性擾動(dòng)方面很脆弱，輸入上的一點(diǎn)細(xì)微的擾動(dòng)就會(huì)導(dǎo)致模型做出錯(cuò)誤的決定。另一方面，由于其黑盒性質(zhì)以及不透明的學(xué)習(xí)過(guò)程，人們很難理解其內(nèi)部運(yùn)行機(jī)理及決策依據(jù)，進(jìn)而無(wú)法確認(rèn)模型所給的輸出結(jié)果是否可靠。以上問(wèn)題直接影響到機(jī)器學(xué)習(xí)模型的應(yīng)用推廣及現(xiàn)實(shí)影響力。為提高人們對(duì)機(jī)器學(xué)習(xí)模型的信任度，增強(qiáng)人機(jī)協(xié)同，可解釋機(jī)器學(xué)習(xí)應(yīng)運(yùn)而生。

2、可解釋機(jī)器學(xué)習(xí)尋求對(duì)模型預(yù)測(cè)結(jié)果提供人類(lèi)能理解的解釋?zhuān)越沂灸Ｐ偷倪壿嫼托袨闄C(jī)理，這不僅能增加用戶(hù)對(duì)模型的信任和接受度，還有助于滿(mǎn)足法規(guī)和倫理要求?？山忉寵C(jī)器學(xué)習(xí)的基本標(biāo)準(zhǔn)是解釋必須讓人類(lèi)能夠理解決策模型如何得出預(yù)測(cè)結(jié)果，即特征對(duì)解釋結(jié)果起積極或消極的作用，從而人類(lèi)可以根據(jù)解釋的結(jié)果選擇是否相信模型的預(yù)測(cè)結(jié)果。這種解釋結(jié)果的透明性不僅有助于故障排查和模型性能改進(jìn)，還對(duì)于揭示和糾正模型中可能存在的偏見(jiàn)和不公平性具有重要意義，推動(dòng)著人工智能在各個(gè)領(lǐng)域的可持續(xù)發(fā)展和應(yīng)用?？山忉寵C(jī)器學(xué)習(xí)的解釋方法分為模型相關(guān)解釋和模型無(wú)關(guān)解釋?zhuān)Ｐ拖嚓P(guān)解釋側(cè)重于說(shuō)明模型的總體決策邏輯，而模型無(wú)關(guān)解釋則是側(cè)重于說(shuō)明模型對(duì)于某個(gè)實(shí)例的預(yù)測(cè)。其中，模型無(wú)關(guān)的可解釋方法可以揭示機(jī)器學(xué)習(xí)模型給定輸入與相應(yīng)的輸出信息之間的關(guān)聯(lián)，通過(guò)展示實(shí)例重要特征對(duì)預(yù)測(cè)結(jié)果的影響或是揭示模型預(yù)測(cè)的判斷依據(jù)，讓人們了解模型是否根據(jù)正確的邏輯得出預(yù)測(cè)結(jié)果。然而，傳統(tǒng)模型無(wú)關(guān)可解釋方法需要對(duì)樣本進(jìn)行不加限制的隨機(jī)擾動(dòng)，這會(huì)生成與樣本相差過(guò)大的、甚至是有違常理的擾動(dòng)樣本，且對(duì)所有擾動(dòng)樣本進(jìn)行線(xiàn)性回歸擬合無(wú)法精確原模型的決策邊界。為此，傳統(tǒng)模型無(wú)關(guān)可解釋方法生成的解釋結(jié)果存在不穩(wěn)定且不夠忠實(shí)于原模型的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的是現(xiàn)有模型無(wú)關(guān)可解釋方法生成的解釋結(jié)果不穩(wěn)定且不夠忠實(shí)于原模型的問(wèn)題，提供一種基于特征臨界值分析的模型無(wú)關(guān)精確可解釋方法。

2、為解決上述問(wèn)題，本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

3、基于特征臨界值分析的模型無(wú)關(guān)精確可解釋方法，包括步驟如下：

4、步驟1、將待解釋樣本輸入到待解釋模型中，得到待解釋模型的基線(xiàn)預(yù)測(cè)值；

5、步驟2、對(duì)待解釋樣本的一個(gè)特征進(jìn)行擾動(dòng)，通過(guò)在當(dāng)前特征的最小取值和最大取值的范圍內(nèi)對(duì)當(dāng)前特征的特征值進(jìn)行逐步變化，得到基于當(dāng)前特征的l個(gè)單擾動(dòng)待解釋樣本；

6、步驟3、將基于當(dāng)前特征的l個(gè)單擾動(dòng)待解釋樣本分別輸入到待解釋模型中，得到待解釋模型的基于當(dāng)前特征的l個(gè)單擾動(dòng)預(yù)測(cè)值；

7、步驟4、計(jì)算當(dāng)前特征的敏感度：

8、

9、其中，si為當(dāng)前特征的第i個(gè)敏感度，y′i為基于當(dāng)前特征的第i個(gè)單擾動(dòng)預(yù)測(cè)值，y為基線(xiàn)預(yù)測(cè)值，z′i為當(dāng)前特征的第i個(gè)變化擾動(dòng)特征值，z為當(dāng)前特征的原始特征值，i＝1,2,…,l，l為基于當(dāng)前特征的單擾動(dòng)待解釋樣本的數(shù)量；

10、步驟5、基于當(dāng)前特征的l個(gè)敏感度確定當(dāng)前特征的臨界值：即若存在當(dāng)前特征的第i個(gè)變化擾動(dòng)特征值z(mì)′i使當(dāng)前特征的第i個(gè)敏感度si的導(dǎo)數(shù)為0時(shí)，基于當(dāng)前特征的第i個(gè)單擾動(dòng)預(yù)測(cè)值y′i不等于基線(xiàn)預(yù)測(cè)值y，則將當(dāng)前特征的第i個(gè)變化擾動(dòng)特征值z(mì)′i記為當(dāng)前特征的臨界值；否則，將當(dāng)前特征的原始值作為當(dāng)前特征的臨界值；

11、步驟6、遍歷待解釋樣本的所有特征，重復(fù)步驟2～5，得到待解釋樣本的各個(gè)特征的臨界值；

12、步驟7、對(duì)待解釋樣本的所有特征進(jìn)行擾動(dòng)，通過(guò)對(duì)每個(gè)特征的特征值在其臨界值的范圍內(nèi)進(jìn)行隨機(jī)變化，得到m個(gè)全擾動(dòng)待解釋樣本；其中m為人為設(shè)定的正整數(shù)；

13、步驟8、通過(guò)混合概率方法對(duì)m個(gè)全擾動(dòng)待解釋樣本進(jìn)行分組，得到k個(gè)樣本分組；其中k為人為設(shè)定的正整數(shù)；

14、步驟9、分別對(duì)每個(gè)樣本分組中的全擾動(dòng)待解釋樣本進(jìn)行線(xiàn)性回歸擬合，得到k個(gè)擬合解釋模型；

15、步驟10、對(duì)于每個(gè)樣本分組，將當(dāng)前樣本分組的每一個(gè)全擾動(dòng)待解釋樣本分別輸入到待解釋模型和當(dāng)前樣本分組的擬合解釋模型中，得到待解釋預(yù)測(cè)值和擬合預(yù)測(cè)值，并據(jù)此計(jì)算當(dāng)前樣本分組的擬合解釋模型和待解釋模型的差異度：

16、

17、式中，φk表示當(dāng)前樣本分組的擬合解釋模型gk和待解釋模型f的差異度；x″j′表示樣本分組k中的第j′個(gè)全擾動(dòng)待解釋樣本，f(x″j′)表示樣本分組k中的全擾動(dòng)待解釋樣本x″j′的待解釋預(yù)測(cè)值，gk(x″j′)表示樣本分組k中的全擾動(dòng)待解釋樣本x″j′的擬合預(yù)測(cè)值，j′＝1,2,…,mk，mk表示樣本分組k中全擾動(dòng)待解釋樣本的數(shù)量；

18、步驟11、將與待解釋模型的差異度最小的樣本分組的擬合解釋模型作為最終的解釋模型。

19、上述步驟2中，基于當(dāng)前特征的單擾動(dòng)待解釋樣本的數(shù)量l由當(dāng)前特征的最小取值和最大取值確定的取值范圍和變化步長(zhǎng)所決定。

20、上述步驟7中，在對(duì)待解釋樣本的每個(gè)特征的特征值在其臨界值的范圍內(nèi)進(jìn)行隨機(jī)變化時(shí)：若該特征的原始特征值介于該特征的最小取值和該特征的臨界值之間，則該特征的隨機(jī)擾動(dòng)特征值介于該特征的最小取值和該特征的臨界值之間；若該特征的原始特征值介于該特征的臨界值和該特征的最大取值之間，則該特征的隨機(jī)擾動(dòng)特征值介于該特征的臨界值和該特征的最大取值之間；若該特征的原始特征值等于臨界值，則該特征的隨機(jī)擾動(dòng)特征值介于該特征的最小取值和該特征的最大取值之間。

21、上述步驟8的具體過(guò)程如下：

22、步驟8.1、設(shè)置樣本分組的數(shù)量k，并初始化每個(gè)樣本分組的權(quán)重、均值和協(xié)方差；

23、步驟8.2、遍歷m個(gè)全擾動(dòng)待解釋樣本，基于每個(gè)樣本分組的權(quán)重、均值和協(xié)方差，計(jì)算當(dāng)前全擾動(dòng)待解釋樣本相對(duì)于每個(gè)樣本分組的后驗(yàn)概率，并將當(dāng)前全擾動(dòng)待解釋樣本分類(lèi)到后驗(yàn)概率最高的樣本分組中；

24、步驟8.3、將m個(gè)全擾動(dòng)待解釋樣本分類(lèi)完成后，基于每個(gè)樣本分組中的全擾動(dòng)待解釋樣本及其后驗(yàn)概率，更新每個(gè)樣本分組的權(quán)重、均值和協(xié)方差；

25、步驟8.4、重復(fù)步驟8.2和8.3，直至參數(shù)收斂即本次所得到的每個(gè)分組中的擾動(dòng)待解釋樣本與上次所得到的每個(gè)分組中的擾動(dòng)待解釋樣本均相同，此時(shí)m個(gè)全擾動(dòng)待解釋樣本被分類(lèi)到k個(gè)樣本分組中。

26、上述步驟8.2中，全擾動(dòng)待解釋樣本x″j相對(duì)于每個(gè)樣本分組k的后驗(yàn)概率pjk為：

27、

28、式中，wk表示樣本分組k的權(quán)重，μk表示樣本分組k的均值，σk表示樣本分組k的協(xié)方差，n為全擾動(dòng)待解釋樣本的特征維度，x″j表示第k個(gè)全擾動(dòng)待解釋樣本，k＝1,2,…,m，m表示全擾動(dòng)待解釋樣本的數(shù)量，k＝1,2,…,k，k為樣本分組的數(shù)量，上標(biāo)(■)t表示轉(zhuǎn)置。

29、上述步驟8.3中：

30、樣本分組k更新后的權(quán)重wk′為：

31、

32、樣本分組k更新后的均值μk′為：

33、

34、樣本分組k更新后的協(xié)方差σk′為：

35、

36、式中，x″j′表示樣本分組k中的第j′個(gè)全擾動(dòng)待解釋樣本，pj′k表示全擾動(dòng)待解釋樣本x″j′相對(duì)于樣本分組k的后驗(yàn)概率，σk表示更新前的樣本分組k的協(xié)方差，j′＝1,2,…,mk，mk表示樣本分組k中全擾動(dòng)待解釋樣本的數(shù)量，k＝1,2,…,k，k為樣本分組的數(shù)量。

37、上述步驟9中，樣本分組k進(jìn)行線(xiàn)性回歸擬合得到擬合解釋模型gk表示為：

38、gk＝βk0+βk1z1+βk2z2+…+βknzn

39、式中，zn表示全擾動(dòng)待解釋樣本的第n個(gè)特征，βkn表示全擾動(dòng)待解釋樣本的第n個(gè)特征的權(quán)重，n＝1,2,…,n，n為全擾動(dòng)待解釋樣本的特征向量，k＝1,2,…,k，k為樣本分組的數(shù)量；

40、樣本分組k的擬合解釋模型gk的權(quán)重向量βk為：

41、βk＝(xktkk)-1kktyk

42、式中，βk表示樣本分組k的權(quán)重向量，βk是一個(gè)(n+1)×1維的向量，其第一行為截距項(xiàng)β0，第2～n+1行分別為βk1，βk2，…，βkn的值；

43、xk表示樣本分組k的樣本矩陣，xk是一個(gè)mk×(n+1)維的矩陣，其每一行為樣本分組k的一個(gè)全擾動(dòng)待解釋樣本，其第一列為常數(shù)項(xiàng)1，第2～n+1列分別為樣本分組k的全擾動(dòng)待解釋樣本的第i個(gè)特征的隨機(jī)擾動(dòng)特征值；

44、yk表示樣本分組k的預(yù)測(cè)向量，yk是一個(gè)mk×1維的向量，其第1～mk行分別為樣本分組k的第1～mk個(gè)全擾動(dòng)待解釋樣本輸入到待解釋模型所得到的全擾動(dòng)預(yù)測(cè)值；

45、上標(biāo)(■)t表示轉(zhuǎn)置；mk表示樣本分組k中全擾動(dòng)待解釋樣本的數(shù)量。

46、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下特點(diǎn)：

47、1、提出單特征臨界值的概念，通過(guò)分析計(jì)算得到單特征的臨界值作為擾動(dòng)邊界，排除了擾動(dòng)樣本因某一特征擾動(dòng)過(guò)大對(duì)解釋結(jié)果的干擾。

48、2、設(shè)計(jì)混合概率方法，利用多元正態(tài)分布和期望最大化算法，生成多個(gè)由線(xiàn)性回歸方法組合而成的在局部更逼近待解釋模型局部非線(xiàn)性決策邊界的解釋結(jié)果，并將最忠實(shí)于原模型，即誤差在閾值內(nèi)的擬合結(jié)果作為最終解釋。