本發(fā)明屬于深海探測(cè)，特別涉及一種auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法。

背景技術(shù)：

1、深海海底蘊(yùn)藏著大量的礦產(chǎn)資源和地球關(guān)鍵生態(tài)系統(tǒng)，是人類知之甚少且急需探索的海底區(qū)域。自主水下機(jī)器人(auv)能夠搭載各種載荷執(zhí)行多種探測(cè)作業(yè)任務(wù)，在礦產(chǎn)資源勘查、生物調(diào)查、環(huán)境監(jiān)測(cè)等深海探測(cè)領(lǐng)域有著廣泛的應(yīng)用，受限于auv攜帶的能源，它們需要在完成單個(gè)探測(cè)任務(wù)后返回輔助船來進(jìn)行能源補(bǔ)充、數(shù)據(jù)交換和維護(hù)保障，打斷了作業(yè)的連續(xù)性。隨著深海科學(xué)問題(海洋生態(tài)系統(tǒng)運(yùn)行機(jī)制等)研究的對(duì)長周期、具有時(shí)間和空間連續(xù)性的探測(cè)數(shù)據(jù)的急迫需求，深海長期駐留auv(rauv)應(yīng)運(yùn)而生，rauv通過自主對(duì)接技術(shù)可與深?；緦?duì)接，在基站內(nèi)進(jìn)行能源補(bǔ)充與數(shù)據(jù)交互，長期在深海海底多次進(jìn)出深?；?，進(jìn)行大范圍、長時(shí)間探測(cè)作業(yè)，獲得具有時(shí)間與空間連續(xù)性的探測(cè)數(shù)據(jù)。由于rauv在海底長期駐留，其可靠性與穩(wěn)定性需要在開發(fā)階段進(jìn)行充分的測(cè)試驗(yàn)證，半物理仿真可以幫助rauv系統(tǒng)開展全流程作業(yè)使命演示與驗(yàn)證、故障模擬、算法參數(shù)調(diào)試和閉路動(dòng)態(tài)驗(yàn)收等任務(wù)，降低試驗(yàn)成本與風(fēng)險(xiǎn)，提高rauv研發(fā)效率。然而，目前半物理仿真中缺乏對(duì)接導(dǎo)引圖像模擬技術(shù)，導(dǎo)致半物理仿真系統(tǒng)無法完成包含自主對(duì)接在內(nèi)的rauv全流程作業(yè)仿真測(cè)試，自主對(duì)接是rauv系統(tǒng)實(shí)現(xiàn)長期駐留探測(cè)的基礎(chǔ)，為了模擬相機(jī)輸出的彩色導(dǎo)引圖像來測(cè)試自主對(duì)接算法，需要研究自主對(duì)接半物理仿真圖像生成方法。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述問題，本發(fā)明的目的在于提供一種auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，利用半物理仿真過程中通過auv動(dòng)力學(xué)模型解算獲得的auv位姿信息和對(duì)接裝置預(yù)設(shè)位姿信息，生成與二者相對(duì)位姿關(guān)系相對(duì)應(yīng)的彩色對(duì)接導(dǎo)引圖像，為自主對(duì)接和全流程作業(yè)的半物理仿真提供模擬感知數(shù)據(jù)，以便于實(shí)現(xiàn)rauv的作業(yè)使命演示驗(yàn)證和算法參數(shù)調(diào)試。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，執(zhí)行如下步驟模擬相機(jī)感知的對(duì)接導(dǎo)引圖像，用于auv系統(tǒng)自主對(duì)接和長期駐留全流程作業(yè)半物理仿真；方法包括：

4、步驟1)基于相機(jī)成像原理，根據(jù)auv相對(duì)對(duì)接裝置位姿計(jì)算已知世界坐標(biāo)的導(dǎo)引燈在導(dǎo)引圖像中的像素位置，創(chuàng)建導(dǎo)引燈圖像；

5、步驟2)構(gòu)建導(dǎo)引燈成像面積估計(jì)網(wǎng)絡(luò)，考慮彩色導(dǎo)引圖像過曝光情況估計(jì)過曝圓點(diǎn)面積，生成二值導(dǎo)引圖像；

6、步驟3)采用pix2pix構(gòu)建彩色導(dǎo)引圖像生成網(wǎng)絡(luò)，利用海試獲得的真實(shí)彩色圖像進(jìn)行迭代學(xué)習(xí)訓(xùn)練，用于模擬導(dǎo)引圖像彩色分布，獲得用于彩色導(dǎo)引圖像生成的理想網(wǎng)絡(luò)模型；

7、步驟4)以二值導(dǎo)引圖像為輸入，利用理想網(wǎng)絡(luò)模型生成彩色導(dǎo)引圖像。

8、所述方法用于生成包含若干個(gè)導(dǎo)引燈的導(dǎo)引圖像。

9、所述導(dǎo)引燈成像位置計(jì)算方法包括：基于相機(jī)成像原理，構(gòu)建導(dǎo)引燈成像模型，在半物理仿真中，根據(jù)動(dòng)力學(xué)解算的auv相對(duì)對(duì)接裝置位姿和預(yù)設(shè)的導(dǎo)引燈在對(duì)接裝置上的位置，計(jì)算導(dǎo)引燈成像像素位置，構(gòu)造導(dǎo)引燈圖像。

10、所述二值導(dǎo)引圖像構(gòu)建方法，彩色導(dǎo)引圖像中導(dǎo)引燈通常呈現(xiàn)一個(gè)過曝圓點(diǎn)，過曝圓點(diǎn)面積與導(dǎo)引燈間距成非線性反比例關(guān)系；為估計(jì)過曝圓點(diǎn)面積，構(gòu)建單輸入單輸出過曝圓點(diǎn)估計(jì)網(wǎng)絡(luò)，擬合過曝圓點(diǎn)面積與導(dǎo)引燈間距之間的映射關(guān)系。

11、所述過曝圓點(diǎn)估計(jì)網(wǎng)絡(luò)包含三個(gè)隱藏層，分別由不等數(shù)量的神經(jīng)元組成，過曝像素估計(jì)網(wǎng)絡(luò)的激活函數(shù)為relu函數(shù)，網(wǎng)絡(luò)輸入為導(dǎo)引圖像中導(dǎo)引燈間距離參數(shù)x，網(wǎng)絡(luò)的輸出為單一導(dǎo)引燈圓點(diǎn)的像素面積y′：

12、

13、其中，x為導(dǎo)引圖像中導(dǎo)引燈間距離參數(shù)，依次為輸入節(jié)點(diǎn)、三個(gè)神經(jīng)元隱藏層、輸出節(jié)點(diǎn)之間的權(quán)重。

14、所述導(dǎo)引圖像中導(dǎo)引燈間距離參數(shù)x為：由若干個(gè)導(dǎo)引燈組成的正多邊形圖像中的各邊均值，或正多邊形圖像中心到各頂點(diǎn)距離的均值。

15、所述探索11000auv海試導(dǎo)引圖像為海上試驗(yàn)拍攝的包含對(duì)接導(dǎo)引燈的圖像，導(dǎo)引燈安裝在探索11000auv的對(duì)接裝置上。

16、所述采用pix2pix網(wǎng)絡(luò)模擬導(dǎo)引圖像彩色分布，模型的輸入為構(gòu)建的二值導(dǎo)引圖像，輸出為彩色導(dǎo)引圖像。

17、所述利用探索11000auv深海自主對(duì)接試驗(yàn)的彩色導(dǎo)引圖像構(gòu)建訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)集包括彩色導(dǎo)引圖像及其對(duì)應(yīng)的二值導(dǎo)引圖像構(gòu)成的圖像對(duì)，二值導(dǎo)引圖像采用自適應(yīng)閾值法獲取，利用該數(shù)據(jù)集對(duì)pix2pix網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其生成網(wǎng)絡(luò)具備導(dǎo)引圖像彩色分布模擬能力。

18、auv自主對(duì)接半物理仿真導(dǎo)引圖像生成系統(tǒng)，包括搭載在計(jì)算機(jī)上的計(jì)算后臺(tái)和可視化界面前端；

19、所述計(jì)算后臺(tái)，設(shè)有導(dǎo)引燈成像位置計(jì)算模塊、二值導(dǎo)引圖像構(gòu)建模塊、彩色導(dǎo)引圖像生成模塊、實(shí)時(shí)彩色圖像生成模塊，各模塊相調(diào)用計(jì)算得到用于彩色導(dǎo)引圖像生成的理想網(wǎng)絡(luò)模型，最終利用理想網(wǎng)絡(luò)模型生成彩色導(dǎo)引圖像；其中，導(dǎo)引燈成像位置計(jì)算模塊：基于相機(jī)成像原理，根據(jù)auv相對(duì)對(duì)接裝置位姿計(jì)算已知世界坐標(biāo)的導(dǎo)引燈在導(dǎo)引圖像中的像素位置，創(chuàng)建導(dǎo)引燈圖像；二值導(dǎo)引圖像構(gòu)建模塊：構(gòu)建導(dǎo)引燈成像面積估計(jì)網(wǎng)絡(luò)，考慮彩色導(dǎo)引圖像過曝光情況估計(jì)過曝圓點(diǎn)面積，生成二值導(dǎo)引圖像；彩色導(dǎo)引圖像生成模塊：采用pix2pix構(gòu)建彩色導(dǎo)引圖像生成網(wǎng)絡(luò)，利用海試獲得的真實(shí)彩色圖像進(jìn)行迭代學(xué)習(xí)訓(xùn)練，用于模擬導(dǎo)引圖像彩色分布，獲得用于彩色導(dǎo)引圖像生成的理想網(wǎng)絡(luò)模型；實(shí)時(shí)彩色圖像生成模塊，以二值導(dǎo)引圖像為輸入，利用理想網(wǎng)絡(luò)模型生成彩色導(dǎo)引圖像；

20、所述可視化界面前端，用于人機(jī)交互，加載訓(xùn)練圖像、輸入模型網(wǎng)絡(luò)參數(shù)和訓(xùn)練參數(shù)；還設(shè)有圖像顯示區(qū)，用于顯示渲染計(jì)算后臺(tái)處理過程圖像及最終生成的彩色導(dǎo)引圖像。

21、本發(fā)明的優(yōu)點(diǎn)及有益效果是：

22、本發(fā)明提供的一種auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，能夠根據(jù)auv相對(duì)對(duì)接裝置位姿關(guān)系，生成一幅能夠反映該位姿關(guān)系的自主對(duì)接導(dǎo)引圖像，該圖像可用來進(jìn)行auv自主對(duì)接和長期駐留作業(yè)全流程的半物理仿真測(cè)試，有助于rauv系統(tǒng)提高算法開發(fā)、調(diào)試和測(cè)試的效率，降低試驗(yàn)成本。

技術(shù)特征：

1.auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，其特征在于，執(zhí)行如下步驟模擬相機(jī)感知的對(duì)接導(dǎo)引圖像，用于auv系統(tǒng)自主對(duì)接和長期駐留全流程作業(yè)半物理仿真；方法包括：

2.根據(jù)權(quán)利要求1所述的auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，其特征在于，所述用于生成包含若干個(gè)導(dǎo)引燈的導(dǎo)引圖像。

3.根據(jù)權(quán)利要求1所述的auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，其特征在于，所述導(dǎo)引燈成像位置計(jì)算方法包括：基于相機(jī)成像原理，構(gòu)建導(dǎo)引燈成像模型，在半物理仿真中，根據(jù)動(dòng)力學(xué)解算的auv相對(duì)對(duì)接裝置位姿和預(yù)設(shè)的導(dǎo)引燈在對(duì)接裝置上的位置，計(jì)算導(dǎo)引燈成像像素位置，構(gòu)造導(dǎo)引燈圖像。

4.根據(jù)權(quán)利要求1所述的auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，其特征在于，所述二值導(dǎo)引圖像構(gòu)建方法，彩色導(dǎo)引圖像中導(dǎo)引燈通常呈現(xiàn)一個(gè)過曝圓點(diǎn)，過曝圓點(diǎn)面積與導(dǎo)引燈間距成非線性反比例關(guān)系；為估計(jì)過曝圓點(diǎn)面積，構(gòu)建單輸入單輸出過曝圓點(diǎn)估計(jì)網(wǎng)絡(luò)，擬合過曝圓點(diǎn)面積與導(dǎo)引燈間距之間的映射關(guān)系。

5.根據(jù)權(quán)利要求4所述的auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，其特征在于，所述過曝圓點(diǎn)估計(jì)網(wǎng)絡(luò)包含三個(gè)隱藏層，分別由不等數(shù)量的神經(jīng)元組成，過曝像素估計(jì)網(wǎng)絡(luò)的激活函數(shù)為relu函數(shù)，網(wǎng)絡(luò)輸入為導(dǎo)引圖像中導(dǎo)引燈間距離參數(shù)x，網(wǎng)絡(luò)的輸出為單一導(dǎo)引燈圓點(diǎn)的像素面積y′：

6.根據(jù)權(quán)利要求5所述的auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，其特征在于，所述導(dǎo)引圖像中導(dǎo)引燈間距離參數(shù)x為：由若干個(gè)導(dǎo)引燈組成的正多邊形圖像中的各邊均值，或正多邊形圖像中心到各頂點(diǎn)距離的均值。

7.根據(jù)權(quán)利要求1所述的auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，其特征在于，所述探索11000auv海試導(dǎo)引圖像為海上試驗(yàn)拍攝的包含對(duì)接導(dǎo)引燈的圖像，導(dǎo)引燈安裝在探索11000auv的對(duì)接裝置上。

8.根據(jù)權(quán)利要求1所述的auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，其特征在于，所述采用pix2pix網(wǎng)絡(luò)模擬導(dǎo)引圖像彩色分布，模型的輸入為構(gòu)建的二值導(dǎo)引圖像，輸出為彩色導(dǎo)引圖像。

9.根據(jù)權(quán)利要求1所述的auv自主對(duì)接半物理仿真導(dǎo)引圖像生成方法，其特征在于，所述利用探索11000auv深海自主對(duì)接試驗(yàn)的彩色導(dǎo)引圖像構(gòu)建訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)集包括彩色導(dǎo)引圖像及其對(duì)應(yīng)的二值導(dǎo)引圖像構(gòu)成的圖像對(duì)，二值導(dǎo)引圖像采用自適應(yīng)閾值法獲取，利用該數(shù)據(jù)集對(duì)pix2pix網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其生成網(wǎng)絡(luò)具備導(dǎo)引圖像彩色分布模擬能力。

10.auv自主對(duì)接半物理仿真導(dǎo)引圖像生成系統(tǒng)，其特征在于，包括搭載在計(jì)算機(jī)上的計(jì)算后臺(tái)和可視化界面前端；

技術(shù)總結(jié)
本發(fā)明屬于深海探測(cè)技術(shù)領(lǐng)域，特別涉及一種AUV自主對(duì)接半物理仿真導(dǎo)引圖像生成方法。自主對(duì)接導(dǎo)引圖像生成主要包括導(dǎo)引燈成像位置計(jì)算、二值導(dǎo)引圖像構(gòu)建和彩色導(dǎo)引圖像生成三部分內(nèi)容。本發(fā)明基于相機(jī)成像原理，根據(jù)AUV相對(duì)對(duì)接裝置位姿計(jì)算導(dǎo)引燈成像位置，創(chuàng)建導(dǎo)引燈圖像，考慮導(dǎo)引燈成像不會(huì)只是一個(gè)點(diǎn)，構(gòu)建導(dǎo)引燈成像面積估計(jì)網(wǎng)絡(luò)，估計(jì)過曝圓點(diǎn)面積，構(gòu)建二值導(dǎo)引圖像，將之作為輸入條件，采用Pix2pix的生成網(wǎng)絡(luò)模擬導(dǎo)引圖像彩色分布，利用探索11000AUV海試獲得的導(dǎo)引圖像構(gòu)建Pix2pix網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集，通過訓(xùn)練使得其生成網(wǎng)絡(luò)能夠?qū)?gòu)建的二值導(dǎo)引圖像映射生成彩色導(dǎo)引圖像，該圖像可作為模擬相機(jī)感知的對(duì)接導(dǎo)引圖像，用于AUV系統(tǒng)自主對(duì)接和長期駐留全流程作業(yè)半物理仿真中，提高長期駐留AUV系統(tǒng)的開發(fā)調(diào)試效率，降低試驗(yàn)成本。

技術(shù)研發(fā)人員：呂鳳天,楊本超,徐會(huì)希,朱寶彤,岳成海,尹忠勛
受保護(hù)的技術(shù)使用者：中國科學(xué)院沈陽自動(dòng)化研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17