本技術(shù)涉及目標(biāo)檢測(cè)領(lǐng)域,特別是涉及一種目標(biāo)檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)。
背景技術(shù):
1、對(duì)于目標(biāo)檢測(cè)任務(wù),需要為每張圖像的每個(gè)實(shí)例標(biāo)注精確的定位坐標(biāo)和類別信息,這使得標(biāo)注完整的數(shù)據(jù)集需要耗費(fèi)大量時(shí)間和精力。將經(jīng)過(guò)標(biāo)注的數(shù)據(jù)集(源域數(shù)據(jù)集)預(yù)訓(xùn)練的模型泛化到未標(biāo)注的數(shù)據(jù)集(目標(biāo)域數(shù)據(jù)集)是一個(gè)十分有潛力的方法。然而,由于源域和目標(biāo)域數(shù)據(jù)集的圖像是在不同的設(shè)備、天氣、角度、光照等條件下采集的,這導(dǎo)致目標(biāo)檢測(cè)模型在目標(biāo)域數(shù)據(jù)集中的檢測(cè)精度較低。
技術(shù)實(shí)現(xiàn)思路
1、基于此,有必要針對(duì)上述技術(shù)問(wèn)題,提供了一種目標(biāo)檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)。
2、第一方面,本技術(shù)提供了一種目標(biāo)檢測(cè)方法。所述方法包括:
3、獲取帶標(biāo)注的源域數(shù)據(jù)、不帶標(biāo)注的目標(biāo)域數(shù)據(jù)、學(xué)生模型;
4、基于所述源域數(shù)據(jù)訓(xùn)練學(xué)生模型,得到訓(xùn)練后的學(xué)生模型的結(jié)構(gòu)、權(quán)重;
5、基于所述訓(xùn)練后的學(xué)生模型的結(jié)構(gòu)、權(quán)重構(gòu)建教師模型;
6、將所述目標(biāo)域數(shù)據(jù)輸入至所述教師模型,得到所述目標(biāo)域數(shù)據(jù)的偽標(biāo)簽;
7、將所述偽標(biāo)簽和目標(biāo)域數(shù)據(jù)輸入至訓(xùn)練后的學(xué)生模型進(jìn)行訓(xùn)練,得到優(yōu)化后的學(xué)生模型,基于所述優(yōu)化后的學(xué)生模型的模型參數(shù)更新所述教師模型的模型參數(shù),基于所述更新后的教師模型進(jìn)行目標(biāo)檢測(cè)。
8、在其中一個(gè)實(shí)施例中,所述基于所述源域數(shù)據(jù)訓(xùn)練學(xué)生模型包括:
9、基于所述學(xué)生模型提取所述源域數(shù)據(jù)中的實(shí)例特征;
10、對(duì)于同一類別中的任意多個(gè)實(shí)例特征,計(jì)算所述實(shí)例特征之間的距離;
11、在所述實(shí)例特征之間的距離小于預(yù)設(shè)距離的情況下,將所述實(shí)例特征之間的距離小于預(yù)設(shè)距離的特征實(shí)例輸入至同一聚類集合,形成類別多原型結(jié)構(gòu)。
12、在其中一個(gè)實(shí)施例中,所述方法還包括:
13、基于所述類別多原型結(jié)構(gòu)修正所述偽標(biāo)簽以及生成虛擬實(shí)例特征。
14、在其中一個(gè)實(shí)施例中,通過(guò)下述方式修正所述偽標(biāo)簽:
15、提取圖像中每個(gè)目標(biāo)實(shí)例的實(shí)例特征;
16、對(duì)于每個(gè)類別,計(jì)算每個(gè)類別所有實(shí)例特征與每個(gè)類別中所有原型之間的空間距離;
17、根據(jù)以下公式計(jì)算所述空間距離:
18、=<msubsup><mi> i</mi><mi>k</mi><mi>j</mi></msubsup><mi>?φ[dis(</mi><msubsup><mi>i</mi><mi>k</mi><mi>j</mi></msubsup><mi>,</mi><msubsup><mi>p</mi><mi>k</mi><mi>i</mi></msubsup><mi>)]<</mi><msub><mi>δ</mi><mi>d</mi></msub>;
19、其中表示類別k中的第j個(gè)原型,表示類別k中的第j個(gè)實(shí)例特征,<mi>φ[?]</mi>表示映射函數(shù),當(dāng)<mi>[</mi><mi>?</mi><mi>]</mi>中內(nèi)容為真值時(shí),<mi>φ[?]=1</mi>,否則<mi>φ[?]=0</mi>,表示實(shí)例特征和類別多原型之間的距離閾值;
20、將符合所述距離閾值的實(shí)例特征進(jìn)行偽標(biāo)簽預(yù)測(cè)。
21、在其中一個(gè)實(shí)施例中,所述方法還包括:
22、基于源域數(shù)據(jù)對(duì)學(xué)生模型新增的特征點(diǎn)分類分支進(jìn)行參數(shù)初始化,得到初始化損失函數(shù)<msub><mi>l</mi><mi>init</mi></msub><mi>=</mi><mstyle><msub><mo>∑</mo><mi>k</mi></msub><mstyle><msub><mo>∑</mo><mi>n</mi></msub><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msub><mi>y</mi><mi>s</mi></msub></mrow></mstyle></mstyle><mi>]</mi>?;
23、其中,表示一個(gè)批量特征中類別為k中的第n個(gè)特征點(diǎn),表示學(xué)生模型的特征點(diǎn)分類器輸出,表示真實(shí)分類標(biāo)簽;
24、基于類別多原型結(jié)構(gòu)生成虛擬實(shí)例特征,基于學(xué)生模型的輸出結(jié)果、教師模型的輸出結(jié)果、虛擬實(shí)例特征,得到特征一致性損失函數(shù)<msub><mi>l</mi><mi>consist</mi></msub><mi>=</mi><mstyle displaystyle="false"><munder><mo>∑</mo><mo>k</mo></munder><mstyle displaystyle="false"><munder><mo>∑</mo><mo>n</mo></munder><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><msup><mi>f</mi><mi>*</mi></msup><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msubsup><mi>h</mi><mi>cls</mi><mi>tea</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>)]</mi></mrow></mstyle></mstyle><mo>+</mo><mstyle displaystyle="false"><munder><mo>∑</mo><mo>k</mo></munder><mstyle displaystyle="false"><munder><mo>∑</mo><mo>n</mo></munder><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msubsup><mi>h</mi><mi>cls</mi><mi>tea</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>)]</mi></mrow></mstyle></mstyle>,;
25、其中,表示虛擬實(shí)例特征中類別為k中的第n個(gè)特征點(diǎn),表示高斯分布,表示類別k的原型的第i個(gè)類內(nèi)原型的均值,表示一個(gè)批量中的特征點(diǎn)之間的方差,表示學(xué)生模型的輸出結(jié)果,表示教師模型的輸出結(jié)果,表示交叉熵?fù)p失函數(shù)。
26、在其中一個(gè)實(shí)施例中,基于所述優(yōu)化后的學(xué)生模型的模型參數(shù)更新所述教師模型的模型參數(shù)包括:
27、獲取所述優(yōu)化后學(xué)生模型的模型參數(shù),基于指數(shù)移動(dòng)平均算法更新教師模型的模型參數(shù)。
28、第二方面,本技術(shù)還提供了一種目標(biāo)檢測(cè)裝置,所述裝置包括:
29、獲取模塊,用于獲取包括帶標(biāo)注的源域數(shù)據(jù)、包括不帶標(biāo)注的目標(biāo)域數(shù)據(jù)、學(xué)生模型;
30、訓(xùn)練模塊,用于基于所述源域數(shù)據(jù)訓(xùn)練學(xué)生模型,得到訓(xùn)練后的學(xué)生模型的結(jié)構(gòu)、權(quán)重;
31、構(gòu)建模型,用于基于所述訓(xùn)練后的學(xué)生模型的結(jié)構(gòu)、權(quán)重構(gòu)建教師模型;
32、生成模塊,用于將所述目標(biāo)域數(shù)據(jù)輸入至所述教師模型,得到所述目標(biāo)域數(shù)據(jù)的偽標(biāo)簽;
33、檢測(cè)模塊,用于將所述偽標(biāo)簽輸入至訓(xùn)練后的學(xué)生模型進(jìn)行訓(xùn)練,得到優(yōu)化后的學(xué)生模型,基于所述學(xué)生模型的模型參數(shù)更新所述教師模型的模型參數(shù),基于所述更新后的教師模型進(jìn)行目標(biāo)檢測(cè)。
34、在其中一個(gè)實(shí)施例中,所述基于所述源域數(shù)據(jù)訓(xùn)練學(xué)生模型包括:
35、基于所述學(xué)生模型提取所述源域數(shù)據(jù)中的實(shí)例特征;
36、對(duì)于同一類別中的任意多個(gè)實(shí)例特征,計(jì)算所述實(shí)例特征之間的距離;
37、在所述實(shí)例特征之間的距離小于預(yù)設(shè)距離的情況下,將所述實(shí)例特征之間的距離小于預(yù)設(shè)距離的特征實(shí)例輸入至同一聚類集合,形成類別多原型結(jié)構(gòu)。
38、在其中一個(gè)實(shí)施例中,所述裝置還包括:
39、基于所述類別多原型結(jié)構(gòu)修正所述偽標(biāo)簽以及生成虛擬實(shí)例特征。
40、在其中一個(gè)實(shí)施例中,通過(guò)下述方式修正所述偽標(biāo)簽:
41、提取圖像中每個(gè)目標(biāo)實(shí)例的實(shí)例特征;
42、對(duì)于每個(gè)類別,計(jì)算每個(gè)類別所有實(shí)例特征與每個(gè)類別中所有原型之間的空間距離;
43、根據(jù)以下公式計(jì)算所述空間距離:
44、=<msubsup><mi> i</mi><mi>k</mi><mi>j</mi></msubsup><mi>?φ[dis(</mi><msubsup><mi>i</mi><mi>k</mi><mi>j</mi></msubsup><mi>,</mi><msubsup><mi>p</mi><mi>k</mi><mi>i</mi></msubsup><mi>)]<</mi><msub><mi>δ</mi><mi>d</mi></msub>;
45、其中表示類別k中的第j個(gè)原型,表示類別k中的第j個(gè)實(shí)例特征,<mi>φ[?]</mi>表示映射函數(shù),當(dāng)<mi>[</mi><mi>?</mi><mi>]</mi>中內(nèi)容為真值時(shí),<mi>φ[?]=1</mi>,否則<mi>φ[?]=0</mi>,表示實(shí)例特征和類別多原型之間的距離閾值;
46、將符合所述距離閾值的實(shí)例特征進(jìn)行偽標(biāo)簽預(yù)測(cè)。
47、在其中一個(gè)實(shí)施例中,所述裝置還包括:
48、基于源域數(shù)據(jù)對(duì)學(xué)生模型新增的特征點(diǎn)分類分支進(jìn)行參數(shù)初始化,得到初始化損失函數(shù)<msub><mi>l</mi><mi>init</mi></msub><mi>=</mi><mstyle><msub><mo>∑</mo><mi>k</mi></msub><mstyle><msub><mo>∑</mo><mi>n</mi></msub><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msub><mi>y</mi><mi>s</mi></msub></mrow></mstyle></mstyle><mi>]</mi>?;
49、其中,表示一個(gè)批量特征中類別為k中的第n個(gè)特征點(diǎn),表示學(xué)生模型的特征點(diǎn)分類器輸出,表示真實(shí)分類標(biāo)簽;
50、基于類別多原型結(jié)構(gòu)生成虛擬實(shí)例特征,基于學(xué)生模型的輸出結(jié)果、教師模型的輸出結(jié)果、虛擬實(shí)例特征,得到特征一致性損失函數(shù)<msub><mi>l</mi><mi>consist</mi></msub><mi>=</mi><mstyle displaystyle="false"><munder><mo>∑</mo><mo>k</mo></munder><mstyle displaystyle="false"><munder><mo>∑</mo><mo>n</mo></munder><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><msup><mi>f</mi><mi>*</mi></msup><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msubsup><mi>h</mi><mi>cls</mi><mi>tea</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>)]</mi></mrow></mstyle></mstyle><mo>+</mo><mstyle displaystyle="false"><munder><mo>∑</mo><mo>k</mo></munder><mstyle displaystyle="false"><munder><mo>∑</mo><mo>n</mo></munder><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msubsup><mi>h</mi><mi>cls</mi><mi>tea</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>)]</mi></mrow></mstyle></mstyle>,;
51、其中,表示虛擬實(shí)例特征中類別為k中的第n個(gè)特征點(diǎn),表示高斯分布,表示類別k的原型的第i個(gè)類內(nèi)原型的均值,表示一個(gè)批量中的特征點(diǎn)之間的方差,表示學(xué)生模型的輸出結(jié)果,表示教師模型的輸出結(jié)果,表示交叉熵?fù)p失函數(shù)。
52、在其中一個(gè)實(shí)施例中,基于所述優(yōu)化后的學(xué)生模型的模型參數(shù)更新所述教師模型的模型參數(shù)包括:
53、獲取所述優(yōu)化后學(xué)生模型的模型參數(shù),基于指數(shù)移動(dòng)平均算法更新教師模型的模型參數(shù)。
54、第三方面,本公開還提供了一種計(jì)算機(jī)設(shè)備。所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)目標(biāo)檢測(cè)方法的步驟。
55、第四方面,本公開還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)目標(biāo)檢測(cè)方法的步驟。
56、第五方面,本公開還提供了一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)目標(biāo)檢測(cè)方法的步驟。
57、上述目標(biāo)檢測(cè)方法,至少包括以下有益效果:
58、本公開提供的實(shí)施例方案,在預(yù)訓(xùn)練階段,利用源域數(shù)據(jù)訓(xùn)練學(xué)生模型,并基于學(xué)生模型構(gòu)建教師模型,在互相學(xué)習(xí)階段,將目標(biāo)域數(shù)據(jù)輸入至教師模型,得到偽標(biāo)簽,再通過(guò)偽標(biāo)簽訓(xùn)練學(xué)生模型,提高模型的目標(biāo)檢測(cè)能力。
59、應(yīng)當(dāng)理解的是,以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的,并不能限制本公開。