技術(shù)特征:1.一種視頻集片段檢索的錯誤依賴消除方法,其特征在于,包括如下步驟:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述的步驟1,通過對視頻樣本的頻率估計對當前應(yīng)用的視頻數(shù)據(jù)集進行重新拆分,構(gòu)建分布外測試ood-test集,重新分割測試集和訓練集;
3.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述的步驟1包含如下步驟:
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述的步驟1.4中,選擇合并視頻集中頻率估計值最低的5%的視頻分割為ood-test集。
5.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述的步驟2中,訓練兩個線性層時,使用損失函數(shù)使得lv和p相近,使用損失函數(shù)使得內(nèi)容特征cv和初始混淆視頻特征接近,使用損失函數(shù)lindep使內(nèi)容特征cv和位置特征lv盡量遠離;損失函數(shù)如下:
6.根據(jù)權(quán)利要求1或5所述的方法,其特征在于,所述的步驟2包括如下步驟:
技術(shù)總結(jié)本發(fā)明公開了一種視頻集片段檢索的錯誤依賴消除方法,屬于多模態(tài)數(shù)據(jù)檢索領(lǐng)域。本發(fā)明方法包括:對VCMR模型當前應(yīng)用的視頻數(shù)據(jù)集進行重分割,在重分割的數(shù)據(jù)集上通過分布外測試評估該VCMR模型對視頻數(shù)據(jù)集中目標時域位置的偏置依賴程度,若模型的性能相比于原數(shù)據(jù)集明顯下降,則表示模型對數(shù)據(jù)集中的偏置產(chǎn)生了明顯的錯誤依賴;構(gòu)造結(jié)構(gòu)化歸因模型分析模型的推理路徑,通過歸因介入調(diào)整模型的推理路徑,緩解和消除VCMR模型對目標時域位置的錯誤偏置依賴。本發(fā)明方法實現(xiàn)對模型在不同分布的數(shù)據(jù)集上泛化能力的公平測試,能修正對數(shù)據(jù)集偏置進行錯誤依賴的原有推理路徑,顯著提高了模型在不同分布數(shù)據(jù)集上的檢索和泛化能力。
技術(shù)研發(fā)人員:張藍姍,張一碩,闕喜戎,龔向陽,王文東
受保護的技術(shù)使用者:北京郵電大學
技術(shù)研發(fā)日:技術(shù)公布日:2024/12/19