本發(fā)明涉及一種圖像處理方法、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、三維圖像顯示方法、圖像處理系統(tǒng)、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練系統(tǒng)和三維圖像顯示系統(tǒng)。

背景技術(shù)：

1、已知一種圖像處理系統(tǒng)，其使用由多個(gè)相機(jī)拍攝的多個(gè)拍攝圖像來合成自由視點(diǎn)圖像，該自由視點(diǎn)圖像是能夠通過自由地移動(dòng)視點(diǎn)來顯示的三維圖像。

2、例如，已知一種預(yù)先定義碗狀(研缽狀)的投影面、將由多個(gè)相機(jī)拍攝的圖像映射到投影面來合成自由視點(diǎn)圖像的技術(shù)(參照非專利文獻(xiàn)1)。此外，已知一種通過使用由lidar(激光成像探測和測距)等三維傳感裝置測量的距離信息來計(jì)算投影面并將由多個(gè)相機(jī)拍攝到的圖像映射到投影面以合成自由視點(diǎn)圖像的技術(shù)(參照非專利文獻(xiàn)2)。

3、非專利文獻(xiàn)1：seiya?shimizu等，“wraparound?view?system?for?motorvehicles”，fujitsu?scientific&technical?journal?46(1):95-102,2010

4、非專利文獻(xiàn)2：“世界初！車周辺の人や物を歪みなく表示し、接觸のリスクをわかりやすく示す車載向け3次元映像合成技術(shù)を開発”，富士通press?release，2013，[在線]，富士通，因特網(wǎng)＜url:https://pr.fujitsu.com/jp/news/2013/10/9-2.html＞，[1992年3月24日檢索]

技術(shù)實(shí)現(xiàn)思路

1、[本發(fā)明要解決的問題]

2、在非專利文獻(xiàn)1公開的技術(shù)中，存在由于預(yù)先定義的投影面與實(shí)際的三維結(jié)構(gòu)的不一致而在投影到投影面的合成圖像中發(fā)生失真的問題。

3、如在非專利文獻(xiàn)2中公開的技術(shù)那樣，可以通過添加lidar等三維傳感裝置來抑制合成圖像的失真，但是存在由于添加三維傳感裝置而增加成本的問題。

4、本發(fā)明的一個(gè)實(shí)施方式是鑒于上述問題點(diǎn)而做出的，其在使用多個(gè)拍攝圖像合成自由視點(diǎn)圖像的圖像處理系統(tǒng)中，能夠不依賴于三維傳感裝置而合成失真較少的自由視點(diǎn)圖像。

5、[用于解決問題的方案]

6、為了解決上述問題，本發(fā)明的一個(gè)實(shí)施方式的圖像處理方法是用于基于視點(diǎn)信息在顯示投影面上合成使用多個(gè)拍攝圖像的自由視點(diǎn)圖像的圖像處理方法，其由計(jì)算機(jī)執(zhí)行：圖像獲取步驟，通過多個(gè)相機(jī)中的每一個(gè)相機(jī)獲取所述多個(gè)拍攝圖像；殘差推定步驟，輸入所述多個(gè)拍攝圖像和所述視點(diǎn)信息，通過機(jī)器學(xué)習(xí)來推定投影面的殘差信息，所述投影面的殘差信息表示預(yù)定義的碗狀的既定投影面與所述顯示投影面之間的差分；以及映射步驟，使用與所述既定投影面相關(guān)的信息、所述殘差信息和所述視點(diǎn)信息，將所述多個(gè)拍攝圖像映射到所述顯示投影面來獲得所述自由視點(diǎn)圖像。

7、[發(fā)明的效果]

8、根據(jù)本發(fā)明的一個(gè)實(shí)施方式，在使用多個(gè)拍攝圖像合成自由視點(diǎn)圖像的圖像處理系統(tǒng)中，能夠不依賴于三維傳感裝置而合成失真較少的自由視點(diǎn)圖像。

技術(shù)特征：

1.一種圖像處理方法，用于在顯示投影面上合成使用多個(gè)拍攝圖像的自由視點(diǎn)圖像，所述圖像處理方法中，由計(jì)算機(jī)執(zhí)行：

2.根據(jù)權(quán)利要求1所述的圖像處理方法，其中，

3.根據(jù)權(quán)利要求1所述的圖像處理方法，其中，

4.根據(jù)權(quán)利要求3所述的圖像處理方法，其中，

5.根據(jù)權(quán)利要求3或4所述的圖像處理方法，其中，

6.根據(jù)權(quán)利要求3或4所述的圖像處理方法，其中，

7.一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，所述神經(jīng)網(wǎng)絡(luò)基于多個(gè)拍攝圖像來推理殘差信息，所述殘差信息表示預(yù)定義的碗狀的既定投影面與反映所述多個(gè)拍攝圖像中映出的一個(gè)以上的立體物的三維信息的投影面之間的差分，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法中，由計(jì)算機(jī)執(zhí)行：

8.一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，所述神經(jīng)網(wǎng)絡(luò)基于多個(gè)拍攝圖像來推理殘差信息，所述殘差信息表示預(yù)定義的碗狀的既定投影面與反映所述多個(gè)拍攝圖像中映出的一個(gè)以上的立體物的三維信息的投影面之間的差分，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法中，由計(jì)算機(jī)執(zhí)行：

9.根據(jù)權(quán)利要求7或8所述的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，其中，

10.一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，所述神經(jīng)網(wǎng)絡(luò)基于多個(gè)拍攝圖像來推理殘差信息，所述殘差信息表示預(yù)定義的碗狀的既定投影面與反映所述多個(gè)拍攝圖像中映出的一個(gè)以上的立體物的三維信息的投影面之間的差分，

11.一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，所述神經(jīng)網(wǎng)絡(luò)基于多個(gè)拍攝圖像，來推理用于對預(yù)定義的碗狀的既定投影面反映所述多個(gè)拍攝圖像中映出的一個(gè)以上的立體物的三維位置信息的投影面的殘差信息，其中，

12.一種三維圖像顯示方法，用于在顯示投影面上顯示使用多個(gè)拍攝圖像合成的自由視點(diǎn)圖像，所述三維圖像顯示方法中，由計(jì)算機(jī)執(zhí)行：

13.一種圖像處理系統(tǒng)，用于在顯示投影面上合成使用多個(gè)拍攝圖像的自由視點(diǎn)圖像，所述圖像處理系統(tǒng)包括：

14.一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練系統(tǒng)，所述神經(jīng)網(wǎng)絡(luò)基于多個(gè)拍攝圖像來推理殘差信息，所述殘差信息表示預(yù)定義的碗狀的既定投影面與反映所述多個(gè)拍攝圖像中映出的一個(gè)以上的立體物的三維信息的投影面之間的差分，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練系統(tǒng)包括：

15.一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練系統(tǒng)，所述神經(jīng)網(wǎng)絡(luò)基于多個(gè)拍攝圖像來推理殘差信息，所述殘差信息表示預(yù)定義的碗狀的既定投影面與反映所述多個(gè)拍攝圖像中映出的一個(gè)以上的立體物的三維信息的投影面之間的差分，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練系統(tǒng)包括：

16.一種三維圖像顯示系統(tǒng)，用于在顯示投影面上顯示使用多個(gè)拍攝圖像合成的自由視點(diǎn)圖像，所述三維圖像顯示系統(tǒng)包括：

技術(shù)總結(jié)
一種圖像處理方法，用于基于視點(diǎn)信息在顯示投影面上合成使用多個(gè)拍攝圖像的自由視點(diǎn)圖像，其由計(jì)算機(jī)執(zhí)行：圖像獲取步驟，通過多個(gè)相機(jī)中的每一個(gè)相機(jī)獲取所述多個(gè)拍攝圖像；殘差推定步驟，輸入所述多個(gè)拍攝圖像和所述視點(diǎn)信息，通過機(jī)器學(xué)習(xí)來推定投影面的殘差信息，所述投影面的殘差信息表示預(yù)定義的碗狀的既定投影面與所述顯示投影面之間的差分；以及映射步驟，使用與所述既定投影面相關(guān)的信息、所述殘差信息和所述視點(diǎn)信息，將所述多個(gè)拍攝圖像映射到所述顯示投影面來獲得所述自由視點(diǎn)圖像。

技術(shù)研發(fā)人員：筱川幸宏
受保護(hù)的技術(shù)使用者：株式會(huì)社索思未來
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17