本申請涉及計(jì)算機(jī)視覺，尤其涉及一種基于混合光圖像的偽點(diǎn)生成方法和裝置。

背景技術(shù)：

1、環(huán)境感知是物體檢測中重要的環(huán)節(jié)，它要求系統(tǒng)能夠準(zhǔn)確識別周圍環(huán)境中的物體并估計(jì)其位置、大小和形狀。現(xiàn)有的偽點(diǎn)生成技術(shù)雖然各有優(yōu)勢，但往往難以在準(zhǔn)確性、魯棒性和效率之間取得平衡。特別是在全天候條件下，如何生成高質(zhì)量的偽點(diǎn)成為亟待解決的問題。

2、現(xiàn)有的偽點(diǎn)生成方法主要為基于單目可見光相機(jī)的偽點(diǎn)生成方法，這種方法雖然效率高，但由于從低維信息估計(jì)高維信息的病態(tài)問題，其準(zhǔn)確性較差。因此，研究人員采用基于雙目可見光相機(jī)的偽點(diǎn)生成方法生成偽點(diǎn)，雙目可見光相機(jī)提高了準(zhǔn)確性，但空間分辨率有限，難以保持場景細(xì)節(jié)。這些方法在面對極端光照條件時，性能往往大幅下降，無法滿足實(shí)際使用中的需求。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┮环N基于混合光圖像的偽點(diǎn)生成方法和裝置，用以生成高精度、高質(zhì)量的偽點(diǎn)。

2、具體地，本申請是通過如下技術(shù)方案實(shí)現(xiàn)的：

3、本申請第一方面提供一種基于混合光圖像的偽點(diǎn)生成方法，所述方法包括：

4、深度補(bǔ)全第一深度圖和第二深度圖，生成第三深度圖和第四深度圖，計(jì)算所述第三深度圖和所述第四深度圖對應(yīng)的多模態(tài)幾何點(diǎn)；

5、其中，所述第一深度圖和所述第三深度圖為紅外數(shù)據(jù)、所述第二深度圖和所述第四深度圖為可見光數(shù)據(jù)；所述第三深度圖的密度大于所述第一深度圖、所述第四深度圖的密度大于所述第二深度圖；

6、將所述多模態(tài)幾何點(diǎn)和激光雷達(dá)幾何點(diǎn)輸入編碼器，生成多個稀疏代價體，每個所述稀疏代價體至少包括兩個光譜的數(shù)據(jù)，且各個所述稀疏代價體的光譜數(shù)據(jù)混合比例不同；

7、正則化所述稀疏代價體，分別基于所述多個稀疏代價體中的部分稀疏代價體生成所述第三深度圖和所述第四深度圖對應(yīng)的目標(biāo)置信度和目標(biāo)偏移量；

8、基于所述目標(biāo)置信度和目標(biāo)偏移量校正所述第三深度圖和所述第四深度圖，生成目標(biāo)偽點(diǎn)，其中，所述第三深度圖和所述第四深度圖對應(yīng)的部分稀疏代價體不同。

9、本申請第二方面提供一種基于混合光圖像的偽點(diǎn)生成裝置，所述裝置包括處理模塊、生成模塊和校正模塊；其中，

10、所述處理模塊，用于深度補(bǔ)全第一深度圖和第二深度圖，生成第三深度圖和第四深度圖，計(jì)算所述第三深度圖和所述第四深度圖對應(yīng)的多模態(tài)幾何點(diǎn)；

11、其中，第一深度圖和第三深度圖為紅外數(shù)據(jù)、第二深度圖和第四深度圖為可見光數(shù)據(jù)；所述第三深度圖的密度大于所述第一深度圖、所述第四深度圖的密度大于所述第二深度圖；

12、所述生成模塊，用于將所述多模態(tài)幾何點(diǎn)和激光雷達(dá)幾何點(diǎn)輸入編碼器，生成多個稀疏代價體；其中，每個所述稀疏代價體至少包括兩個光譜的數(shù)據(jù)，且各個所述稀疏代價體的光譜數(shù)據(jù)混合比例不同；

13、所述生成模塊，用于正則化所述稀疏代價體，分別基于所述多個稀疏代價體中的部分稀疏代價體生成所述第三深度圖和所述第四深度圖對應(yīng)的目標(biāo)置信度和目標(biāo)偏移量；

14、所述校正模塊，用于基于所述目標(biāo)置信度和目標(biāo)偏移量校正所述第三深度圖和所述第四深度圖，生成目標(biāo)偽點(diǎn)，其中，所述第三深度圖和所述第四深度圖對應(yīng)的部分稀疏代價體不同。

15、本申請?zhí)峁┑幕诨旌瞎鈭D像的偽點(diǎn)生成方法和裝置，首先深度補(bǔ)全第一深度圖和第二深度圖，生成第三深度圖和第四深度圖，計(jì)算第三深度圖和第四深度圖對應(yīng)的多模態(tài)幾何點(diǎn)，然后將多模態(tài)幾何點(diǎn)和激光雷達(dá)幾何點(diǎn)輸入編碼器，生成多個稀疏代價體，進(jìn)而正則化稀疏代價體，生成目標(biāo)置信度和目標(biāo)偏移量，最后基于目標(biāo)置信度和目標(biāo)偏移量校正第三深度圖和第四深度圖，生成目標(biāo)偽點(diǎn)。這樣，通過補(bǔ)全數(shù)據(jù)量稀疏的第一深度圖和第二深度圖，可以得到數(shù)據(jù)量稠密的第三深度圖和第四深度圖。本發(fā)明提供的方法，綜合使用了可見光數(shù)據(jù)、紅外數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)，以獲得信息量最全面的深度圖，準(zhǔn)確生成偽點(diǎn)。具體來說，由于可見光、紅外數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)在不同的坐標(biāo)系下，難以直接進(jìn)行融合，為此，本發(fā)明首先通過可見光、紅外光數(shù)據(jù)并行處理的方式，分別獲得可見光、紅外光數(shù)據(jù)補(bǔ)全后的深度圖，提高了深度圖的密度，從稀疏深度圖變?yōu)槊芏却笥诘谝粚蛹壍拇罅６壬疃葓D，完成了深度圖信息的第一次補(bǔ)全；隨后為了利用三者之間的融合信息，利用代價體將三個光譜數(shù)據(jù)融合至同一坐標(biāo)系下，根據(jù)待補(bǔ)充光譜數(shù)據(jù)的類型生成不同類型的代價體，構(gòu)建了融合三個光譜數(shù)據(jù)，但是信息含量和組成各不相同的代價體，最終，根據(jù)大粒度深度圖信息缺失的需求，選擇對應(yīng)的代價體對第一次補(bǔ)全后的深度圖進(jìn)行第二次補(bǔ)全，這樣，通過豐富的數(shù)據(jù)可以在光照條件復(fù)雜的情況下準(zhǔn)確的獲取深度信息，保證了后續(xù)偽點(diǎn)生成的準(zhǔn)確性和可靠性，既充分運(yùn)用了單個光譜數(shù)據(jù)中的信息，同時又綜合運(yùn)用了三個光譜數(shù)據(jù)的融合信息。進(jìn)一步的，通過多模態(tài)幾何點(diǎn)和激光雷達(dá)幾何點(diǎn)計(jì)算稀疏代價體，由于多模態(tài)幾何點(diǎn)和激光雷達(dá)幾何點(diǎn)僅包含位置信息，可以有效提高計(jì)算的效率，并減少計(jì)算的資源。進(jìn)一步的，通過稀疏代價體可以結(jié)合紅外、可見光和激光雷達(dá)的高分辨率特征，確定多模態(tài)傳感器之間的一致性，保證了后續(xù)偽點(diǎn)生成的可靠性。進(jìn)一步的，通過多種傳感器聯(lián)合獲取準(zhǔn)確的置信度判斷第三深度圖和第四深度圖中數(shù)據(jù)的可靠性，并基于目標(biāo)偏移量完成校準(zhǔn)微調(diào)，保證了目標(biāo)偽點(diǎn)的可靠性和準(zhǔn)確性。這樣，通過整合多種傳感器數(shù)據(jù)，可以實(shí)現(xiàn)在復(fù)雜環(huán)境高效率的生成高質(zhì)量偽點(diǎn)。

技術(shù)特征：

1.一種基于混合光圖像的偽點(diǎn)生成方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述深度補(bǔ)全第一深度圖和第二深度圖，生成第三深度圖和第四深度圖，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算所述第三深度圖和所述第四深度圖對應(yīng)的多模態(tài)幾何點(diǎn)，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述多模態(tài)幾何點(diǎn)和激光雷達(dá)幾何點(diǎn)輸入編碼器，生成多個稀疏代價體，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述目標(biāo)特征獲取有效體素與體素配比，基于所述體素配比處理所述有效體素對應(yīng)的坐標(biāo)，生成稀疏代價體，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述紅外特征、所述可見光特征和所述激光雷達(dá)特征基于所述體素配比依次配對，得到多個多模態(tài)特征對，包括：

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述紅外特征、所述可見光特征和所述激光雷達(dá)特征基于所述體素配比依次配對，得到多個多模態(tài)特征對，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述正則化所述稀疏代價體，生成目標(biāo)置信度和目標(biāo)偏移量，包括：

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述基于所述目標(biāo)置信度和目標(biāo)偏移量校正所述第三深度圖和所述第四深度圖，生成目標(biāo)偽點(diǎn)，包括：

10.一種基于混合光圖像的偽點(diǎn)生成裝置，其特征在于，所述裝置包括處理模塊、生成模塊和校正模塊；其中，

技術(shù)總結(jié)
本申請?zhí)峁┮环N基于混合光圖像的偽點(diǎn)生成方法和裝置。本申請?zhí)峁┑姆椒?，包括：深度補(bǔ)全第一深度圖和第二深度圖，生成第三深度圖和第四深度圖，計(jì)算第三深度圖和第四深度圖對應(yīng)的多模態(tài)幾何點(diǎn)；其中，第一深度圖和第三深度圖為紅外數(shù)據(jù)、第二深度圖和第四深度圖為可見光數(shù)據(jù)；第三深度圖的密度大于第一深度圖、第四深度圖的密度大于第二深度圖；將多模態(tài)幾何點(diǎn)和激光雷達(dá)幾何點(diǎn)輸入編碼器，生成多個稀疏代價體；正則化稀疏代價體，生成目標(biāo)置信度和目標(biāo)偏移量；基于目標(biāo)置信度和目標(biāo)偏移量校正第三深度圖和第四深度圖，生成目標(biāo)偽點(diǎn)。本申請?zhí)峁┑幕诨旌瞎鈭D像的偽點(diǎn)生成方法和裝置，用以生成高精度、高質(zhì)量的偽點(diǎn)。

技術(shù)研發(fā)人員：宋春毅,艾福元,李澤程,徐志偉
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19