本申請涉及計算機技術，尤其涉及一種全景圖處理的方法、服務器、存儲介質(zhì)及程序產(chǎn)品。

背景技術：

1、近些年隨著生成式人工智能(artificial?intelligence?generated?content，簡稱aigc)技術快速發(fā)展，推動了數(shù)字化產(chǎn)業(yè)的蓬勃發(fā)展，圖像內(nèi)容的智能生成大大提高了相關行業(yè)的工作效率。360全景圖相對于常規(guī)圖像，包含了更多的圖像內(nèi)容，在虛擬現(xiàn)實/增強現(xiàn)實(va/ar)、游戲制作、室內(nèi)/園林設計等領域具有關鍵用途。

2、目前的全景圖生成方案，基于用戶提供的文本描述生成全景圖，生成結(jié)果僅依賴于文本描述，可控性差，往往生成的全景圖與用戶需求相去甚遠，即使用戶反復調(diào)整改善文本描述，也未必能生成符合用戶需求的全景圖。

技術實現(xiàn)思路

1、本申請?zhí)峁┮环N全景圖處理的方法、服務器、存儲介質(zhì)及程序產(chǎn)品，用以解決全景圖生成的可控制性差，生成結(jié)果不符合用戶需求的問題。

2、第一方面，本申請?zhí)峁┮环N全景圖處理方法，包括：

3、獲取給定的參考圖像和描述文本；

4、對所述參考圖像進行變形及拉伸填充，獲得所述參考圖像的變換圖像，并獲取所述變換圖像對應的掩膜圖像；

5、將所述描述文本、所述變換圖像和所述掩膜圖像輸入圖像生成模型，通過所述圖像生成模型根據(jù)所述描述文本、所述變換圖像和所述掩膜圖像，生成全景圖。

6、第二方面，全景圖處理方法，包括：

7、接收端側(cè)設備發(fā)送的全景圖生成請求，所述全景圖生成請求包含給定的參考圖像和描述文本；

8、對所述參考圖像進行變形及拉伸填充，獲得所述參考圖像的變換圖像，并獲取所述變換圖像對應的掩膜圖像；

9、將所述描述文本、所述變換圖像和所述掩膜圖像輸入圖像生成模型，通過所述圖像生成模型根據(jù)所述變換圖像和所述掩膜圖像，生成全景圖；

10、向所述端側(cè)設備輸出所述全景圖。

11、第三方面，本申請?zhí)峁┮环N服務器，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述服務器執(zhí)行如前述任一方面所提供的方法。

12、第四方面，本申請?zhí)峁┮环N計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令，當處理器執(zhí)行所述計算機執(zhí)行指令時，實現(xiàn)如前述任一方面所提供的方法。

13、第五方面，本申請?zhí)峁┮环N計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如前述任一方面所提供的方法。

14、本申請?zhí)峁┑娜皥D處理的方法、服務器、存儲介質(zhì)及程序產(chǎn)品，通過獲取給定的參考圖像和待生成全景圖的描述文本，對所述參考圖像進行變形及拉伸填充，獲得所述參考圖像的變換圖像，并獲取所述變換圖像對應的掩膜圖像，將所述描述文本、所述變換圖像和所述掩膜圖像輸入圖像生成模型，通過所述圖像生成模型根據(jù)所述變換圖像和所述掩膜圖像，生成全景圖，基于給定的參考圖像和描述文本生成全景圖，使得生成的全景圖以用戶給定的參考圖像的內(nèi)容為基礎、并且符合用戶給定描述文本的描述，生成全景圖的可控性得到很大提升，更加符合用戶需求。

技術特征：

1.一種全景圖處理方法，其特征在于，包括：

2.根據(jù)權利要求1所述的方法，其特征在于，所述對所述參考圖像進行變形及拉伸填充，獲得所述參考圖像的變換圖像，包括：

3.根據(jù)權利要求2所述的方法，其特征在于，所述獲取所述變換圖像對應的掩膜圖像，包括：

4.根據(jù)權利要求2所述的方法，其特征在于，所述根據(jù)配置的填充規(guī)則，將所述參考圖像填充到立方體貼圖中，包括：

5.根據(jù)權利要求2所述的方法，其特征在于，所述根據(jù)配置的填充規(guī)則，將所述參考圖像填充到立方體貼圖中，包括：

6.根據(jù)權利要求1-5中任一項所述的方法，其特征在于，還包括：

7.根據(jù)權利要求6所述的方法，其特征在于，所述構(gòu)建訓練集，包括：

8.根據(jù)權利要求7所述的方法，其特征在于，所述根據(jù)各所述全景圖樣本和掩膜圖像樣本，生成各所述全景圖樣本對應的參考圖像樣本，包括：

9.根據(jù)權利要求6所述的方法，其特征在于，所述使用所述訓練集對所述預訓練模型進行微調(diào)訓練，獲得所述圖像生成模型，包括：

10.根據(jù)權利要求1-5中任一項所述的方法，其特征在于，所述獲取給定的參考圖像和描述文本，包括：

11.一種全景圖處理方法，其特征在于，包括：

12.根據(jù)權利要求11所述的方法，其特征在于，所述對所述參考圖像進行變形及拉伸填充，獲得所述參考圖像的變換圖像，包括：

13.一種服務器，其特征在于，包括：

14.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令，當處理器執(zhí)行所述計算機執(zhí)行指令時，實現(xiàn)如權利要求1-12任一項所述的方法。

15.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，該計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1-12任一項所述的方法。

技術總結(jié)
本申請?zhí)峁┮环N全景圖處理的方法、服務器、存儲介質(zhì)及程序產(chǎn)品。本申請的方法，通過獲取給定的參考圖像和描述文本，對所述參考圖像進行變形及拉伸填充，獲得所述參考圖像的變換圖像，并獲取所述變換圖像對應的掩膜圖像，將所述描述文本、所述變換圖像和所述掩膜圖像輸入圖像生成模型，通過所述圖像生成模型根據(jù)所述變換圖像和所述掩膜圖像，生成全景圖，基于給定的參考圖像和描述文本生成全景圖，使得生成的全景圖以用戶給定的參考圖像的內(nèi)容為基礎、并且符合用戶給定描述文本的描述，生成全景圖的可控性得到很大提升，更加符合用戶需求。

技術研發(fā)人員：馮夢陽
受保護的技術使用者：阿里巴巴（中國）有限公司
技術研發(fā)日：
技術公布日：2024/9/9