本發(fā)明涉及信息網(wǎng)絡(luò)的,尤其涉及面向敘事醫(yī)學(xué)的移情醫(yī)患對話智能增強(qiáng)系統(tǒng)。
背景技術(shù):
1、智能增強(qiáng)(intelligence?augmentation,ia)技術(shù),是一種基于人工智能,旨在擴(kuò)展和增強(qiáng)人類智能能力的技術(shù)。與完全依賴于自動化和人工智能的解決方案不同,智能增強(qiáng)技術(shù)注重人類和機(jī)器的協(xié)作,以提高人類的認(rèn)知能力、決策能力和生產(chǎn)力。人機(jī)協(xié)作是智能增強(qiáng)技術(shù)的核心理念。通過人機(jī)協(xié)作,技術(shù)可以提供輔助工具,使人類更有效地處理復(fù)雜任務(wù)。例如,醫(yī)生可以利用智能診斷工具來更快更準(zhǔn)確地做出診斷決策,而不是完全依賴于人工智能來做出最終決定。在醫(yī)療保健領(lǐng)域,ia已在臨床環(huán)境中得到應(yīng)用,例如個性化治療計劃、醫(yī)學(xué)成像和診斷等。
2、但在醫(yī)患移情對話領(lǐng)域中,對醫(yī)生移情能力的智能增強(qiáng)方面,ia技術(shù)至今還未有所研究和探索。因此,在此領(lǐng)域中的ia技術(shù)研發(fā)還面臨著以下主要的挑戰(zhàn):
3、首先,多模態(tài)人工智能ai技術(shù)的有效整合。在該場景中,多模態(tài)情感識別、自然語言處理等方面的數(shù)據(jù)和技術(shù),需要通過合理的融合機(jī)制來滿足醫(yī)患交流中的移情任務(wù)流;并構(gòu)建適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)來有效提取和融合語音、面部表情等多模態(tài)數(shù)據(jù)中的情感特征,提高情感識別的準(zhǔn)確性和魯棒性。
4、其次,在實現(xiàn)高效的人機(jī)協(xié)作方面,如何找到人類和機(jī)器之間的最佳互動方式,使得技術(shù)既能提供有效的幫助,又不會過度干擾人類的自主性和創(chuàng)造力,是一個復(fù)雜的問題。這需要在設(shè)計和應(yīng)用過程中進(jìn)行大量的研究和實驗。
5、“敘事醫(yī)學(xué)”于2011年進(jìn)入中國,其理論與實踐方法受到了醫(yī)學(xué)界的廣泛認(rèn)可,被認(rèn)為是醫(yī)學(xué)人文在臨床的落地工具?!皵⑹箩t(yī)學(xué)”被證明能有效提升醫(yī)師人文素養(yǎng),改善臨床治療效果,緩解醫(yī)患矛盾,在當(dāng)今極具現(xiàn)實意義。敘事醫(yī)學(xué)實際在臨床環(huán)境的實踐過程中,遇到了很多現(xiàn)實的挑戰(zhàn),其中缺乏支持?jǐn)⑹箩t(yī)學(xué)的有效工具是最多被提及的挑戰(zhàn)之一。
技術(shù)實現(xiàn)思路
1、本發(fā)明提供了一種面向敘事醫(yī)學(xué)的移情醫(yī)患對話智能增強(qiáng)系統(tǒng),通過ia技術(shù)提升醫(yī)生與患者進(jìn)行問診對話過程中的移情交流能力,協(xié)助醫(yī)生更好的開展敘事實踐,加速敘事醫(yī)學(xué)的臨床落地。
2、面向敘事醫(yī)學(xué)的移情醫(yī)患對話智能增強(qiáng)系統(tǒng),三個部分:作為數(shù)據(jù)基礎(chǔ)的醫(yī)患移情對話多模態(tài)語料庫;
3、多模態(tài)移情識別模型;用于識別出“積極/消極移情機(jī)會”和“積極/消極潛在移情機(jī)會”;
4、相互配合的“醫(yī)生-ai協(xié)作交互框架”和“醫(yī)生-患者共享可視部件”的人機(jī)協(xié)作“共享表達(dá)”。
5、優(yōu)選的是,本發(fā)明的醫(yī)患移情對話多模態(tài)語料庫是數(shù)據(jù)基礎(chǔ);語料庫的源數(shù)據(jù)來自語音識別、敘事情感分析和表情情感分析;
6、醫(yī)患對話中的語音識別,通過asr技術(shù)將音頻流轉(zhuǎn)換為實時文本并識別說話者的角色;同時,記錄每個敘事單元的開始時間和結(jié)束時間;
7、敘事情感分析,通過預(yù)訓(xùn)練中文語言模型,進(jìn)行語句級情感分析,識別每個敘事單元語句中傳達(dá)的情感狀態(tài);
8、表情情感分析,使用自動面部表情識別(fer)提供預(yù)測六種情緒的概率。針對視頻流中的每個圖像幀,計算六種情緒的概率分?jǐn)?shù),包括score(快樂)、score(悲傷)、score(驚訝)、score(憤怒)、score(厭惡)和score(恐懼);每秒捕獲一定數(shù)量的幀進(jìn)行分析;
9、為六種情緒設(shè)定一個概率閾值t,
10、t=[t(快樂),t(悲傷),t(驚訝),t(憤怒),t(厭惡),t(恐懼)]
11、通過概率分?jǐn)?shù)(score)與概率閾值的比較,計算出每個圖像幀中六種不同面部情緒的值v,具體如下:
12、
13、六種情緒的v值共同構(gòu)成了臉部情感狀態(tài)值v(fes);每一個圖像幀都有一個v(fes),則每秒有30個v(fes);
14、v(fes)=[v(快樂),v(悲傷),v(驚訝),v(憤怒),v(厭惡),v(恐懼)]。
15、優(yōu)選的是,本發(fā)明在源數(shù)據(jù)基礎(chǔ)上,醫(yī)患移情對話多模態(tài)語料庫針對每個敘事單元,進(jìn)行“移情機(jī)會”標(biāo)注和“移情內(nèi)容”標(biāo)注;
16、“移情機(jī)會”標(biāo)注為以下五個類別之一:消極潛在移情機(jī)會pno、積極潛在移情機(jī)會ppo、消極移情機(jī)會no、積極移情機(jī)會po、非機(jī)會none;
17、“移情內(nèi)容”標(biāo)注:將敘事單元及其敘事情境中的關(guān)鍵詞或子句標(biāo)出,并按語義組合連接;
18、所有敘事單元標(biāo)注完成后,組成為醫(yī)患移情對話多模態(tài)語料庫;語料庫結(jié)構(gòu)中每個敘事單元包含:(1)敘事單元語言文字,(2)說話者角色,(3)單元的開始時間和結(jié)束時間,(4)敘事單元情緒狀態(tài)p(ses),(5)與時長對應(yīng)的相應(yīng)數(shù)量的患者臉部情感狀態(tài)序列v(fes),(6)標(biāo)注的移情機(jī)會類別,(7)以及標(biāo)出的移情內(nèi)容子句。
19、優(yōu)選的是,本發(fā)明的人機(jī)協(xié)作“共享表達(dá)”,包括“醫(yī)生-ai協(xié)作交互框架”和“醫(yī)生-患者共享可視部件”兩個部分;
20、醫(yī)生-ai協(xié)作交互框架:構(gòu)建了交互式“引導(dǎo)-決策循環(huán)”,使醫(yī)生有效地參與到與ai交互循環(huán)中的反饋或行動中;并賦予醫(yī)生自主權(quán),與ai算法進(jìn)行自主交互;
21、若ai模型已經(jīng)識別并提醒存在一個“移情機(jī)會”,而醫(yī)生卻沒有感知到這個“移情機(jī)會”;評估是否要忽略它;若不認(rèn)為這是一個“移情機(jī)會”,手動去除;若認(rèn)同這個“移情機(jī)會”,根據(jù)移情機(jī)會的類別給予患者適當(dāng)?shù)鼗貞?yīng);
22、當(dāng)醫(yī)生與ai識別和提醒的“移情機(jī)會”一致時,醫(yī)生和患者之間就會展開相應(yīng)的動態(tài)交流和反饋;隨后,將與此移情機(jī)會相關(guān)的移情內(nèi)容收集并匯總到患者的移情內(nèi)容“池”中;同時,允許醫(yī)生通過交互通道,手動添加要納入的移情內(nèi)容,即同時提供自動和手動兩種移情內(nèi)容收集方法。
23、若醫(yī)生識別出、但ai尚未識別到的“移情機(jī)會”的情況,在這種情況下,醫(yī)生通過手動添加交互通道,直接添加“移情機(jī)會”,此“移情機(jī)會”及相關(guān)的移情內(nèi)容,會出現(xiàn)在系統(tǒng)的提示列表中;醫(yī)生繼續(xù)和患者之間展開相應(yīng)的動態(tài)交流和反饋;從而系統(tǒng)啟動“移情機(jī)會”和移情內(nèi)容收集和匯總行動;
24、醫(yī)生-患者共享可視部件:由醫(yī)患對話的移情任務(wù)引出三類可視部件:“情感參考”、“移情機(jī)會提醒和移情內(nèi)容收集”、“患者情況理解”;首先,“情感參考”組件體現(xiàn)了患者情緒的實時描繪,包括情緒狀態(tài)、轉(zhuǎn)變和情緒基調(diào);“情感參考”組件提供兩個可視方式:動態(tài)情緒條和情緒河流圖;“移情機(jī)會提醒和移情內(nèi)容收集”組件充當(dāng)醫(yī)生的視覺提示,提醒他們共情機(jī)會并幫助實現(xiàn)與ai的協(xié)作識別與收集;“患者情況理解”支持醫(yī)生和患者共同深入了解患者在醫(yī)療對話過程中的綜合情況?!盎颊咔闆r理解”組件也提供兩種支持方式:移情內(nèi)容時序列表和移情內(nèi)容樹圖。
25、本發(fā)明采用上述技術(shù)方案,醫(yī)患移情交流智能增強(qiáng)技術(shù)的功效統(tǒng)計分析結(jié)果可以總結(jié):(1)醫(yī)患移情交流智能增強(qiáng)技術(shù)有潛力讓醫(yī)生積極、反復(fù)地努力表達(dá)共情,準(zhǔn)確理解患者的觀點,一些醫(yī)生可以超越患者的表面表達(dá)來掌握其更深層次的情感細(xì)微變化;(2)患者的感知測量表明,使用醫(yī)患移情交流智能增強(qiáng)技術(shù)時,醫(yī)生的共情溝通水平有所提高。(3)醫(yī)患移情交流智能增強(qiáng)技術(shù)鼓勵醫(yī)生深入討論生活方式和社會心理方面的問題,促進(jìn)建立牢固的醫(yī)患關(guān)系,并增強(qiáng)患者的參與度。