本發(fā)明涉及顯示技術(shù)領(lǐng)域，特別涉及一種立體虛擬現(xiàn)實(shí)直播方法、裝置及設(shè)備。

背景技術(shù)：

隨著VR(Virtual Reality，虛擬現(xiàn)實(shí))技術(shù)的興起以及網(wǎng)絡(luò)直播平臺(tái)的盛行，使得基于VR的直播系統(tǒng)站在了時(shí)代的風(fēng)口上，讓人們充滿了想象空間，具備無(wú)限的市場(chǎng)潛力?；赩R的直播系統(tǒng)能夠?qū)⑻摂M場(chǎng)景和現(xiàn)實(shí)直播場(chǎng)景中的直播主體(即主播)融合顯示，帶給VR用戶類(lèi)似于真實(shí)參與的用戶體驗(yàn)，其中，虛擬場(chǎng)景利用計(jì)算機(jī)通過(guò)OpenGL(Open Graphics Library，開(kāi)放圖形庫(kù))等圖形引擎構(gòu)建，而現(xiàn)實(shí)直播場(chǎng)景是主播所在的真實(shí)直播環(huán)境。

目前，將虛擬場(chǎng)景與現(xiàn)實(shí)的直播主體融合顯示進(jìn)行直播最大的問(wèn)題在于，如何融合虛擬場(chǎng)景與現(xiàn)實(shí)中的直播主體，使得用戶能享受到一種舒適、自然、更接近于真實(shí)的觀看體驗(yàn)。因此，如何提升用戶的觀看體驗(yàn)，是一個(gè)亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題是提供一種立體虛擬現(xiàn)實(shí)直播方法、裝置及設(shè)備，能夠?qū)崿F(xiàn)立體的VR直播，而且能夠解決虛擬與現(xiàn)實(shí)融合顯示時(shí)由于視差而導(dǎo)致的立體顯示效果偏差、用戶觀看體驗(yàn)較差的問(wèn)題，給用戶提供更加身臨其境的沉浸感。

為解決上述技術(shù)問(wèn)題，本發(fā)明的實(shí)施例提供一種立體虛擬現(xiàn)實(shí)直播方法，其特征在于，包括：

獲取左右雙目攝像機(jī)拍攝的直播場(chǎng)景的左右圖像；

分別對(duì)所述直播場(chǎng)景的左右圖像進(jìn)行摳圖處理，獲取所述直播場(chǎng)景中主播的左右視圖；

根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整，其中，所述視差調(diào)整參數(shù)是根據(jù)所述直播場(chǎng)景下的視差占比和預(yù)設(shè)虛擬場(chǎng)景下的視差占比確定的，所述直播場(chǎng)景下的視差占比為所述左右雙目攝像機(jī)拍攝的左右圖像的視差值與所述左右雙目攝像機(jī)拍攝的左右圖像的水平寬度的比例，所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比為左右虛擬攝像機(jī)拍攝的左右圖像的視差值與所述左右虛擬攝像機(jī)的拍攝的左右圖像的水平寬度的比例；

將視差調(diào)整后的左右視圖放置在所述預(yù)設(shè)虛擬場(chǎng)景中，利用所述左右虛擬攝像機(jī)拍攝放置有左右視圖的所述預(yù)設(shè)虛擬場(chǎng)景，從而獲取合成有所述主播和所述預(yù)設(shè)虛擬場(chǎng)景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據(jù)所述立體融合視圖進(jìn)行立體化的虛擬現(xiàn)實(shí)顯示，實(shí)現(xiàn)立體虛擬現(xiàn)實(shí)直播。

進(jìn)一步來(lái)說(shuō)，所述方法還包括：

通過(guò)如下公式獲取所述視差調(diào)整參數(shù)PixMove：

PixMove＝PixW*Δdif；

其中，Δdif＝dif₁-dif₀，dif₁為所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比，dif₀為所述直播場(chǎng)景下的視差占比，PixW為所述左右視圖的水平像素寬度。

進(jìn)一步來(lái)說(shuō)，所述方法還包括：

通過(guò)如下公式獲取所述直播場(chǎng)景下的視差占比dif₀：

${\mathrm{dif}}_0=\frac{d_0}{D_0};$

其中，d₀為所述左右雙目攝像機(jī)的視間距，D₀為所述左右雙目攝像機(jī)在所述主播所在平面上的水平拍攝寬度；

通過(guò)如下公式獲取所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比dif1：

${\mathrm{dif}}_1=\frac{d_1}{D_1};$

其中，d₁為所述左右虛擬攝像機(jī)的視間距，D₁為所述左右虛擬攝像機(jī)在所述左右視圖在所述預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上的水平拍攝寬度。

進(jìn)一步來(lái)說(shuō)，所述方法還包括：

通過(guò)如下公式獲取所述左右雙目攝像機(jī)在所述主播所在平面上的水平拍攝寬度D₀：

$D_0=2*z_0*tan\left(\frac{{\mathrm{\θ}}_0}{2}\right);$

其中，θ₀為所述左右雙目攝像機(jī)的水平視角，z₀為所述左右雙目攝像機(jī)到所述主播所在平面的距離；

通過(guò)如下公式獲取所述左右虛擬攝像機(jī)在所述左右視圖在所述預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上的水平拍攝寬度D₁：

$D_1=2*z_1*tan\left(\frac{{\mathrm{\θ}}_1}{2}\right);$

其中，θ₁為所述左右虛擬攝像機(jī)的水平視角，z₁為所述左右虛擬攝像機(jī)到所述左右視圖在所述預(yù)設(shè)虛擬場(chǎng)景中放置位置所在平面的距離。

進(jìn)一步來(lái)說(shuō)，所述方法還包括：

獲取所述左右雙目攝像機(jī)的焦距；

根據(jù)所述左右雙目攝像機(jī)的焦距，通過(guò)如下公式獲取所述左右雙目攝像機(jī)在所述主播所在平面上的水平拍攝寬度D₀：

D₀＝2*z₀*h(a)；

其中，z₀為所述左右雙目攝像機(jī)到所述主播所在平面的距離，a為所述左右雙目攝像機(jī)的焦距，h(a)為以a為變量的關(guān)系式，將獲取到的a代入h(a)所計(jì)算得到的值等于

進(jìn)一步來(lái)說(shuō)，所述方法還包括：

獲取并記錄所述左右雙目攝像機(jī)在不同焦距時(shí)拍攝左右圖像時(shí)的焦距值a和二分之一水平視角的正切值

根據(jù)所述焦距值和所述正切值，利用最小二乘法獲取以a為變量的關(guān)系式h(a)，其中，

進(jìn)一步來(lái)說(shuō)，所述根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整的步驟包括：

根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整處理，從而增加所述左右視圖的視差值，所述視差值的增加量等于所述視差調(diào)整參數(shù)。

進(jìn)一步來(lái)說(shuō)，所述分別對(duì)所述直播場(chǎng)景的左右圖像進(jìn)行摳圖處理，獲取所述直播場(chǎng)景中主播的左右視圖之后，所述方法還包括：

對(duì)所述左右視圖中所述主播的邊界進(jìn)行邊界優(yōu)化處理；和/或

根據(jù)所述預(yù)設(shè)虛擬場(chǎng)景的色溫和/或色調(diào)，對(duì)所述左右視圖的色溫和/或色調(diào)進(jìn)行調(diào)整。

為解決上述技術(shù)問(wèn)題，本發(fā)明的實(shí)施例還提供一種立體虛擬現(xiàn)實(shí)直播裝置，包括：

第一獲取模塊，用于獲取左右雙目攝像機(jī)拍攝的直播場(chǎng)景的左右圖像；

摳圖模塊，用于分別對(duì)所述直播場(chǎng)景的左右圖像進(jìn)行摳圖處理，獲取所述直播場(chǎng)景中主播的左右視圖；

視差調(diào)整模塊，用于根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整，其中，所述視差調(diào)整參數(shù)是根據(jù)所述直播場(chǎng)景下的視差占比和預(yù)設(shè)虛擬場(chǎng)景下的視差占比確定的，所述直播場(chǎng)景下的視差占比為所述左右雙目攝像機(jī)拍攝的左右圖像的視差值與所述左右雙目攝像機(jī)拍攝的左右圖像的水平寬度的比例，所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比為左右虛擬攝像機(jī)拍攝的左右圖像的視差值與所述左右虛擬攝像機(jī)的拍攝的左右圖像的水平寬度的比例；

融合模塊，用于將視差調(diào)整后的左右視圖放置在所述預(yù)設(shè)虛擬場(chǎng)景中，利用所述左右虛擬攝像機(jī)拍攝放置有左右視圖的所述預(yù)設(shè)虛擬場(chǎng)景，從而獲取合成有所述主播和所述預(yù)設(shè)虛擬場(chǎng)景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據(jù)所述立體融合視圖進(jìn)行立體化的虛擬現(xiàn)實(shí)顯示，實(shí)現(xiàn)立體虛擬現(xiàn)實(shí)直播。

進(jìn)一步來(lái)說(shuō)，所述裝置還包括：

第二獲取模塊，用于通過(guò)如下公式獲取所述視差調(diào)整參數(shù)PixMove：

PixMove＝PixW*Δdif；

其中，Δdif＝dif₁-dif₀，dif₁為所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比，dif₀為所述直播場(chǎng)景下的視差占比，PixW為所述左右視圖的水平像素寬度。

進(jìn)一步來(lái)說(shuō)，所述裝置還包括：

第三獲取模塊，用于通過(guò)如下公式獲取所述直播場(chǎng)景下的視差占比dif₀：

${\mathrm{dif}}_0=\frac{d_0}{D_0};$

其中，d₀為所述左右雙目攝像機(jī)的視間距，D₀為所述左右雙目攝像機(jī)在所述主播所在平面上的水平拍攝寬度；

第四獲取模塊，用于通過(guò)如下公式獲取所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比dif1：

${\mathrm{dif}}_1=\frac{d_1}{D_1};$

其中，d₁為所述左右虛擬攝像機(jī)的視間距，D₁為所述左右虛擬攝像機(jī)在所述左右視圖在所述預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上的水平拍攝寬度。

進(jìn)一步來(lái)說(shuō)，所述裝置還包括：

第五獲取模塊，用于通過(guò)如下公式獲取所述左右雙目攝像機(jī)在所述主播所在平面上的水平拍攝寬度D0：

$D_0=2*z_0*tan\left(\frac{{\mathrm{\θ}}_0}{2}\right);$

其中，θ₀為所述左右雙目攝像機(jī)的水平視角，z₀為所述左右雙目攝像機(jī)到所述主播所在平面的距離；

第六獲取模塊，用于通過(guò)如下公式獲取所述左右虛擬攝像機(jī)在所述左右視圖在所述預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上的水平拍攝寬度D₁：

$D_1=2*z_1*tan\left(\frac{{\mathrm{\θ}}_1}{2}\right);$

其中，θ₁為所述左右虛擬攝像機(jī)的水平視角，z₁為所述左右虛擬攝像機(jī)到所述左右視圖在所述預(yù)設(shè)虛擬場(chǎng)景中放置位置所在平面的距離。

進(jìn)一步來(lái)說(shuō)，所述裝置還包括：

第七獲取模塊，用于獲取所述左右雙目攝像機(jī)的焦距；

第八獲取模塊，用于根據(jù)所述左右雙目攝像機(jī)的焦距，通過(guò)如下公式獲取所述左右雙目攝像機(jī)在所述主播所在平面上的水平拍攝寬度D₀：

D₀＝2*z₀*h(a)；

其中，z₀為所述左右雙目攝像機(jī)到所述主播所在平面的距離，a為所述左右雙目攝像機(jī)的焦距，h(a)為以a為變量的關(guān)系式，將獲取到的a代入h(a)所計(jì)算得到的值等于

進(jìn)一步來(lái)說(shuō)，所述裝置還包括：

第九獲取模塊，用于獲取并記錄所述左右雙目攝像機(jī)在不同焦距時(shí)拍攝左右圖像時(shí)的焦距值a和二分之一水平視角的正切值

第十獲取模塊，用于根據(jù)所述焦距值和所述正切值，利用最小二乘法獲取以a為變量的關(guān)系式h(a)，其中，

進(jìn)一步來(lái)說(shuō)，所述視差調(diào)整模塊包括：

視差調(diào)整單元，用于根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整處理，從而增加所述左右視圖的視差值，所述視差值的增加量等于所述視差調(diào)整參數(shù)。

進(jìn)一步來(lái)說(shuō)，所述裝置還包括：

邊界優(yōu)化模塊，用于對(duì)所述左右視圖中所述主播的邊界進(jìn)行邊界優(yōu)化處理；和/或

圖片調(diào)整模塊，用于根據(jù)所述預(yù)設(shè)虛擬場(chǎng)景的色溫和/或色調(diào)，對(duì)所述左右視圖的色溫和/或色調(diào)進(jìn)行調(diào)整。

為解決上述技術(shù)問(wèn)題，本發(fā)明的實(shí)施例還提供一種立體虛擬現(xiàn)實(shí)直播設(shè)備，包括：顯示屏，殼體、處理器、存儲(chǔ)器、電路板和電源電路，其中：

所述顯示屏嵌接在所述殼體上，與所述殼體一起圍成封閉空間；

所述電路板安置在所述殼體和所述顯示屏圍成的空間內(nèi)部，所述處理器和所述存儲(chǔ)器設(shè)置在所述電路板上；

所述電源電路，用于為上述立體虛擬現(xiàn)實(shí)直播設(shè)備的各個(gè)電路或器件供電；

所述存儲(chǔ)器用于存儲(chǔ)可執(zhí)行程序代碼；

所述處理器通過(guò)讀取存儲(chǔ)器中存儲(chǔ)的可執(zhí)行程序代碼來(lái)運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序，執(zhí)行：

獲取左右雙目攝像機(jī)拍攝的直播場(chǎng)景的左右圖像；

分別對(duì)所述直播場(chǎng)景的左右圖像進(jìn)行摳圖處理，獲取所述直播場(chǎng)景中主播的左右視圖；

根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整，其中，所述視差調(diào)整參數(shù)是根據(jù)所述直播場(chǎng)景下的視差占比和預(yù)設(shè)虛擬場(chǎng)景下的視差占比確定的，所述直播場(chǎng)景下的視差占比為所述左右雙目攝像機(jī)拍攝的左右圖像的視差值與所述左右雙目攝像機(jī)拍攝的左右圖像的水平寬度的比例，所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比為左右虛擬攝像機(jī)拍攝的左右圖像的視差值與所述左右虛擬攝像機(jī)的拍攝的左右圖像的水平寬度的比例；

將視差調(diào)整后的左右視圖放置在所述預(yù)設(shè)虛擬場(chǎng)景中，利用所述左右虛擬攝像機(jī)拍攝放置有左右視圖的所述預(yù)設(shè)虛擬場(chǎng)景，從而獲取合成有所述主播和所述預(yù)設(shè)虛擬場(chǎng)景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而通過(guò)所述顯示屏根據(jù)所述立體融合視圖進(jìn)行立體化的虛擬現(xiàn)實(shí)顯示，實(shí)現(xiàn)立體虛擬現(xiàn)實(shí)直播。

本發(fā)明的上述技術(shù)方案的有益效果如下：

本發(fā)明實(shí)施例的立體虛擬現(xiàn)實(shí)直播方法、裝置及設(shè)備，獲取左右雙目攝像機(jī)拍攝的直播場(chǎng)景的左右圖像后，分別對(duì)直播場(chǎng)景的左右圖像進(jìn)行摳圖處理，獲取直播場(chǎng)景中直播的左右視圖；然后根據(jù)視差調(diào)整參數(shù)對(duì)左右視圖進(jìn)行視差調(diào)整，該視差調(diào)整參數(shù)是根據(jù)直播場(chǎng)景下的視差占比和預(yù)設(shè)虛擬場(chǎng)景下的視差占比確定的，以使視差調(diào)整后的左右視圖與虛擬場(chǎng)景中的視差要求相匹配，且與人眼觀看的圖像視差要求相匹配；最后將視差調(diào)整后的左右視圖放置在預(yù)設(shè)虛擬場(chǎng)景中，利用左右虛擬攝像機(jī)拍攝防止有左右視圖的預(yù)設(shè)虛擬場(chǎng)景，獲得了合成有主播和虛擬場(chǎng)景的立體融合視圖，該立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據(jù)立體融合視圖進(jìn)行立體化的虛擬現(xiàn)實(shí)顯示，實(shí)現(xiàn)立體虛擬現(xiàn)實(shí)直播。該方法通過(guò)實(shí)現(xiàn)了立體化的虛擬現(xiàn)實(shí)直播，通過(guò)立體化顯示帶給用戶更加真實(shí)的沉浸感，而且在進(jìn)行虛擬和現(xiàn)實(shí)融合時(shí)，對(duì)左右視圖進(jìn)行視差調(diào)整，優(yōu)化了現(xiàn)實(shí)直播場(chǎng)景與虛擬場(chǎng)景融合的視覺(jué)效果，有效避免虛擬與現(xiàn)實(shí)融合顯示時(shí)由于視差而導(dǎo)致的顯示效果偏差所帶來(lái)的用戶眩暈不適感，觀看體驗(yàn)較差的問(wèn)題，給用戶提供更加身臨其境的沉浸感。

附圖說(shuō)明

圖1為本發(fā)明立體虛擬現(xiàn)實(shí)直播方法的流程圖；

圖2為本發(fā)明直播流程示意圖；

圖3為本發(fā)明另一直播流程示意圖；

圖4為本發(fā)明左右雙目攝像機(jī)拍攝視景示意圖；

圖5為本發(fā)明左右虛擬攝像機(jī)拍攝視景示意圖；

圖6為本發(fā)明左目攝像機(jī)拍攝視景示意圖；

圖7為本發(fā)明立體虛擬現(xiàn)實(shí)直播裝置的結(jié)構(gòu)示意圖；

圖8為本發(fā)明立體虛擬現(xiàn)實(shí)直播設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明要解決的技術(shù)問(wèn)題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具體實(shí)施例進(jìn)行詳細(xì)描述。

為了使本領(lǐng)域技術(shù)人員更好的理解本發(fā)明，首先對(duì)本發(fā)明實(shí)施例中所言的虛擬場(chǎng)景與現(xiàn)實(shí)直播場(chǎng)景相結(jié)合的直播流程進(jìn)行簡(jiǎn)要介紹。

虛擬場(chǎng)景利用計(jì)算機(jī)通過(guò)OpenGL(Open Graphics Library，開(kāi)放圖形庫(kù))等圖形引擎構(gòu)建，計(jì)算機(jī)可以通過(guò)渲染獲取虛擬場(chǎng)景的圖像，而現(xiàn)實(shí)直播場(chǎng)景(簡(jiǎn)稱直播場(chǎng)景)是主播所在的真實(shí)直播環(huán)境，可通過(guò)真實(shí)攝像機(jī)拍攝而獲取直播場(chǎng)景的圖像。本發(fā)明實(shí)施例中，如圖2、3所示，現(xiàn)實(shí)直播場(chǎng)景圖像與虛擬場(chǎng)景圖像可首先經(jīng)過(guò)圖像算法融合，然后經(jīng)過(guò)網(wǎng)絡(luò)、藍(lán)牙等設(shè)備傳輸至直播設(shè)備進(jìn)行顯示?，F(xiàn)實(shí)直播場(chǎng)景與虛擬場(chǎng)景也可以先經(jīng)過(guò)網(wǎng)絡(luò)、藍(lán)牙等設(shè)備傳輸至直播設(shè)備，然后進(jìn)行圖像算法融合后顯示。

本發(fā)明實(shí)施例的立體虛擬現(xiàn)實(shí)直播方法、裝置及設(shè)備，在前述虛擬場(chǎng)景與現(xiàn)實(shí)直播場(chǎng)景相結(jié)合的直播基礎(chǔ)上，實(shí)現(xiàn)了立體化的虛擬現(xiàn)實(shí)直播，通過(guò)立體化顯示帶給用戶更加真實(shí)的沉浸感。而且，在直播場(chǎng)景與虛擬場(chǎng)景融合時(shí)，通過(guò)視差調(diào)整參數(shù)對(duì)直播的立體圖像進(jìn)行視差調(diào)整，使直播的立體圖像視差與虛擬場(chǎng)景的視差要求相匹配，且與人眼觀看的視差要求相匹配，優(yōu)化了現(xiàn)實(shí)直播場(chǎng)景與虛擬場(chǎng)景融合的視覺(jué)效果，有效避免虛擬與現(xiàn)實(shí)融合顯示時(shí)由于視差而導(dǎo)致的顯示效果偏差所帶來(lái)的用戶眩暈不適感，觀看體驗(yàn)較差的問(wèn)題，給用戶提供更加身臨其境的沉浸感。

第一實(shí)施例

結(jié)合圖1所示，本發(fā)明實(shí)施例的立體虛擬現(xiàn)實(shí)直播方法，包括：

步驟101，獲取左右雙目攝像機(jī)拍攝的直播場(chǎng)景的左右圖像。

這里，通過(guò)左右雙目攝像機(jī)拍攝現(xiàn)實(shí)直播場(chǎng)景，得到了具有視差的立體圖像，即直播場(chǎng)景的左右圖像。

該直播場(chǎng)景的左右圖像中均包括直播主體(即主播)和直播主體所在的背景環(huán)境。主播可以是人，當(dāng)然也可以是某種物體。為方便描述，以下以主播為人為例進(jìn)行描述，可以理解的是，主播不限于人。

由于后續(xù)要將主播人像和虛擬場(chǎng)景進(jìn)行融合，需要將主播人像從左右圖像中摳離出來(lái)，因此，在直播場(chǎng)景中，可將主播的背景環(huán)境設(shè)置為綠幕或藍(lán)幕，以方便在后續(xù)處理中將實(shí)際拍攝的背景環(huán)境去除，即將主播人像摳離出來(lái)，并將主播人像信息與虛擬場(chǎng)景模型進(jìn)行合成。

步驟102，分別對(duì)所述直播場(chǎng)景的左右圖像進(jìn)行摳圖處理，獲取所述直播場(chǎng)景中主播的左右視圖。

這里，為了將直播場(chǎng)景中的主播(如人)放到虛擬場(chǎng)景中，需要對(duì)直播場(chǎng)景的左右圖像進(jìn)行摳圖，獲取直播場(chǎng)景中主播的左右視圖。

具體的，假設(shè)主播的背景環(huán)境設(shè)置為綠幕或藍(lán)幕，則，本步驟中，首先，使用摳像算法分別去掉直播場(chǎng)景圖像信息中主播背后的藍(lán)色或綠色背景。所述摳像算法可以是色度鍵摳像法，該算法通過(guò)找到那些飽和度比較高的藍(lán)色或綠色背景顏色區(qū)域，并將這些背景顏色區(qū)域的透明值設(shè)為最小值，而人像顏色區(qū)域則保持原始顏色，從而在直播場(chǎng)景圖像信息中明顯地區(qū)分出人像區(qū)域和背景區(qū)域，完成摳圖。在經(jīng)過(guò)摳圖處理后，可以得到主播人像的左右兩個(gè)視圖。

步驟103，根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整。

其中，視差調(diào)整參數(shù)可以是預(yù)先確定好的，本步驟中直接獲取到預(yù)先確定好的視差調(diào)整參數(shù)進(jìn)行處理即可。當(dāng)然，視差調(diào)整參數(shù)也可以是實(shí)時(shí)確定的，本步驟中，先確定視差調(diào)整參數(shù)，然后利用所確定的視差調(diào)整參數(shù)進(jìn)行處理。

本發(fā)明實(shí)施例中，視差調(diào)整參數(shù)是根據(jù)直播場(chǎng)景下的視差占比和預(yù)設(shè)虛擬場(chǎng)景下的視差占比確定的，其中，預(yù)設(shè)虛擬場(chǎng)景是將要與主播融合顯示的虛擬場(chǎng)景。

具體的，直播場(chǎng)景下的視差占比為左右雙目攝像機(jī)拍攝的左右圖像的視差值與左右雙目攝像機(jī)拍攝的左右圖像的水平寬度的比例；預(yù)設(shè)虛擬場(chǎng)景下的視差占比為左右虛擬攝像機(jī)拍攝的左右圖像的視差值與左右虛擬攝像機(jī)的拍攝的左右圖像的水平寬度的比例。

這里的左右虛擬相機(jī)是指，用來(lái)獲取主播和虛擬場(chǎng)景的融合視圖的虛擬相機(jī)，換言之，主播和虛擬場(chǎng)景的融合視圖是通過(guò)虛擬攝像機(jī)拍攝，即渲染而來(lái)的。

這里，主要考慮以下幾方面原因，對(duì)左右雙目攝像機(jī)拍攝得到的主播的左右視圖進(jìn)行視差調(diào)整。

一方面，因拍攝場(chǎng)地或攝像機(jī)分辨率等因素限制，在現(xiàn)實(shí)直播場(chǎng)景中采用的拍攝距離與虛擬場(chǎng)景中采用的拍攝距離是不一樣的，這樣造成現(xiàn)實(shí)直播場(chǎng)景中左右雙目攝像機(jī)拍攝的左右圖像視差與虛擬場(chǎng)景中左右虛擬攝像機(jī)拍攝的左右圖像視差不一致。例如現(xiàn)實(shí)直播場(chǎng)景一般采用3m遠(yuǎn)的距離拍攝，而虛擬場(chǎng)景中一般采用8m遠(yuǎn)的距離拍攝。

另一方面，為了符合人眼觀看需求，虛擬場(chǎng)景中左右虛擬攝像機(jī)之間的間距一般為人眼的平均間距。但由于左右雙目攝像機(jī)之間具有特定的距離，考慮到攝像機(jī)的體積等原因，左右雙目攝像機(jī)的間距可能并不是按照人眼的間距設(shè)定的，一般情形下左右雙目攝像機(jī)之間的間距與人眼的平均間距相差較大。例如間距只有3cm的左右雙目攝像機(jī)拍攝距離3m遠(yuǎn)的物體的左右圖像，與實(shí)際人眼(平均間距6.5cm)觀看3m遠(yuǎn)的物體所映入左右眼視網(wǎng)膜的左右圖像的視差是不一致的。

另外，現(xiàn)實(shí)直播中使用的左右雙目攝像機(jī)可能存在一定夾角誤差，該夾角誤差也會(huì)影響到人眼觀看視差。

本步驟中，根據(jù)視差調(diào)整參數(shù)對(duì)主播的左右視圖進(jìn)行視差調(diào)整。視差調(diào)整參數(shù)是根據(jù)直播場(chǎng)景下的視差占比和預(yù)設(shè)虛擬場(chǎng)景下的視差占比確定的，直播場(chǎng)景下的視差占比為左右雙目攝像機(jī)拍攝的左右圖像的視差值與左右雙目攝像機(jī)拍攝的左右圖像的水平寬度的比例，預(yù)設(shè)虛擬場(chǎng)景下的視差占比為左右虛擬攝像機(jī)拍攝的左右圖像的視差值與左右虛擬攝像機(jī)的拍攝的左右圖像的水平寬度的比例。根據(jù)該視差調(diào)整參數(shù)對(duì)主播的左右視圖進(jìn)行視差調(diào)整后，視差調(diào)整后的左右視圖與虛擬場(chǎng)景的視差要求能夠基本相匹配，且與人眼觀看的視差要求基本相匹配。

具體的，可以根據(jù)視差調(diào)整參數(shù)，通過(guò)平移、裁切拉伸等方式，增加所述左右視圖的視差值，使視差值的增加量等于視差調(diào)整參數(shù)。

步驟104，將視差調(diào)整后的左右視圖放置在預(yù)設(shè)虛擬場(chǎng)景中，利用左右虛擬攝像機(jī)拍攝放置有左右視圖的所述預(yù)設(shè)虛擬場(chǎng)景，從而獲取合成有主播和預(yù)設(shè)虛擬場(chǎng)景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據(jù)立體融合視圖進(jìn)行立體化的虛擬現(xiàn)實(shí)顯示，實(shí)現(xiàn)立體虛擬現(xiàn)實(shí)直播。

這里，利用左右虛擬攝像機(jī)拍攝(即渲染)放置有左右視圖的預(yù)設(shè)虛擬場(chǎng)景，得到了合成有主播和虛擬場(chǎng)景的立體融合視圖，立體融合視圖包括左眼融合視圖和右眼融合視圖，從而根據(jù)立體融合視圖進(jìn)行立體化的虛擬現(xiàn)實(shí)顯示，實(shí)現(xiàn)了立體虛擬現(xiàn)實(shí)直播。將左眼融合視圖作為VR顯示的左圖，將右眼融合視圖作為VR顯示的右圖，從而將左眼融合視圖提供給VR設(shè)備佩戴者的左眼，將右眼融合視圖提供給VR設(shè)備佩戴者的右眼，從而帶給用戶立體化的虛擬現(xiàn)實(shí)觀感。

由于視差調(diào)整后的左右視圖與虛擬場(chǎng)景的視差要求相匹配，與人眼觀看的視差要求相匹配，可以保證較好的立體效果，因此提升了用戶觀看體驗(yàn)。

為了適配VR設(shè)備的“頭瞄”功能，即可以根據(jù)VR設(shè)備佩戴者的頭部姿態(tài)改變所顯示的內(nèi)容，使所顯示的內(nèi)容與VR設(shè)備佩戴者的視角相對(duì)應(yīng)，可利用左右虛擬攝像機(jī)按照不同拍攝角度拍攝放置有主播人像的預(yù)設(shè)虛擬場(chǎng)景，得到多張立體融合視圖，然后對(duì)這些立體視圖進(jìn)行全景拼接，獲取左右全景融合視圖，進(jìn)而利用這些全景融合視圖進(jìn)行顯示，將與設(shè)備佩戴者視角相對(duì)應(yīng)的左視圖部分提供給設(shè)備佩戴者的左眼，將與設(shè)備佩戴者視角相對(duì)應(yīng)的右視圖部分提供給設(shè)備佩戴者的右眼，而當(dāng)設(shè)備佩戴者視角改變時(shí)，相應(yīng)的改變所顯示的視圖部分，使顯示與設(shè)備佩戴者的視角相對(duì)應(yīng)。

例如，虛擬場(chǎng)景可以是360度全景舞臺(tái)圖像信息，主播可以被融合在舞臺(tái)上的中心位置。通過(guò)左右雙目攝像機(jī)拍攝正在直播的主播，可將主播的立體視圖融合在虛擬場(chǎng)景中的舞臺(tái)的位置，使用戶在VR端可以看到主播在虛擬場(chǎng)景中做直播的立體場(chǎng)景。

本發(fā)明實(shí)施例的立體虛擬現(xiàn)實(shí)直播方法，通過(guò)拍攝直播的立體圖像與虛擬場(chǎng)景融合，實(shí)現(xiàn)了立體虛擬現(xiàn)實(shí)直播，通過(guò)立體化顯示帶給用戶更加真實(shí)的沉浸感，且在進(jìn)行虛擬和現(xiàn)實(shí)融合時(shí)，通過(guò)對(duì)直播的立體圖像進(jìn)行視差調(diào)整，使直播的立體圖像視差與虛擬場(chǎng)景的視差要求相匹配，且與人眼觀看的視差要求相匹配，優(yōu)化了現(xiàn)實(shí)直播場(chǎng)景與虛擬場(chǎng)景融合的效果，提升了用戶觀看體驗(yàn)，有效避免虛擬與現(xiàn)實(shí)融合顯示時(shí)由于視差而導(dǎo)致的顯示效果偏差所帶來(lái)的用戶眩暈不適感，觀看體驗(yàn)較差的問(wèn)題，給用戶提供更加身臨其境的沉浸感。

下面對(duì)本發(fā)明實(shí)施例中視差調(diào)整參數(shù)的確定方法進(jìn)行詳細(xì)介紹。

優(yōu)選的，可通過(guò)如下公式獲取視差調(diào)整參數(shù)PixMove：

PixMove＝PixW*Δdif (1)；

其中，Δdif＝dif₁-dif₀，dif₁為預(yù)設(shè)虛擬場(chǎng)景下的視差占比，dif₀為直播場(chǎng)景下的視差占比，PixW為左右視圖的水平像素寬度。

此時(shí)，利用上述公式(1)，根據(jù)虛擬場(chǎng)景的視差占比與直播場(chǎng)景的視差占比的差值，獲取左右視圖的視差調(diào)整參數(shù)，使得視差調(diào)整后的左右視圖與虛擬場(chǎng)景的視差要求相匹配，與人眼觀看的視差要求相匹配。

下面對(duì)如何獲取預(yù)設(shè)虛擬場(chǎng)景下的視差占比dif₁和直播場(chǎng)景下的視差占比dif₀進(jìn)行詳細(xì)介紹。

參照?qǐng)D4所示，在現(xiàn)實(shí)直播場(chǎng)景中，左右雙目攝像機(jī)(L、R)的視間距為d₀，夾角為180度，水平視角FOV為θ₀，左右雙目攝像機(jī)到主播所在平面的距離為z₀，左右雙目攝像機(jī)在主播所在平面上的水平拍攝寬度為D₀。對(duì)于主播所在平面上任一點(diǎn)P，在左右雙目攝像機(jī)的拍攝范圍AA’和BB’內(nèi)相差水平位移量為d₀。

優(yōu)選的，按照幾何比例關(guān)系，左右圖像的視差即空間上同一點(diǎn)在左右圖像上的像點(diǎn)的水平像素差，根據(jù)幾何關(guān)系，左右圖像的視差值與左右圖像的水平寬度的比值等于d₀與D₀的比值，因此，可通過(guò)如下公式獲取直播場(chǎng)景下的視差占比dif₀：

${\mathrm{dif}}_0=\frac{d_0}{D_0}---\left(2\right);$

其中，d₀為左右雙目攝像機(jī)的視間距，D₀為左右雙目攝像機(jī)在主播所在平面上的水平拍攝寬度。

參照?qǐng)D5所示，在虛擬場(chǎng)景中，左右虛擬攝像機(jī)(L’、R’)的視間距為d₁，一般將d₁設(shè)置為人眼的平均間距，夾角為180度，水平視角FOV為θ₁，為了將主播和預(yù)設(shè)虛擬場(chǎng)景融合，會(huì)將主播的左右視圖放置在預(yù)設(shè)虛擬場(chǎng)景的某個(gè)特定位置，利用虛擬攝像機(jī)拍攝放置有主播的預(yù)設(shè)虛擬場(chǎng)景，假設(shè)左右虛擬攝像機(jī)到左右視圖在預(yù)設(shè)虛擬場(chǎng)景中放置位置所在平面的距離為z₁，左右虛擬攝像機(jī)在左右視圖在預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上的水平拍攝寬度為D₁。對(duì)于左右視圖在預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上任一點(diǎn)P’，在左右虛擬攝像機(jī)的拍攝范圍CC’和EE’內(nèi)相差水平位移量為d₁。

同真實(shí)場(chǎng)景類(lèi)似，可通過(guò)如下公式獲取預(yù)設(shè)虛擬場(chǎng)景下的視差占比dif1：

${\mathrm{dif}}_1=\frac{d_1}{D_1}---\left(3\right);$

其中，d₁為左右虛擬攝像機(jī)的視間距，D₁為左右虛擬攝像機(jī)在左右視圖在預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上的水平拍攝寬度。

進(jìn)一步的，可通過(guò)如下公式獲取左右雙目攝像機(jī)在主播所在平面上的水平拍攝寬度D₀：

$D_0=2*z_0*tan\left(\frac{{\mathrm{\θ}}_0}{2}\right)---\left(4\right);$

其中，θ₀為左右雙目攝像機(jī)的水平視角，z₀為左右雙目攝像機(jī)到主播所在平面的距離。

這里，繼續(xù)參照?qǐng)D4所示，根據(jù)三角形幾何關(guān)系可以得到上述公式(4)。

此時(shí)，通過(guò)上述公式(4)獲取D₀后，可將D₀帶入上述公式(2)進(jìn)而獲取dif₀。

進(jìn)一步的，可通過(guò)如下公式獲取左右虛擬攝像機(jī)在左右視圖在預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上的水平拍攝寬度D₁：

$D_1=2*z_1*tan\left(\frac{{\mathrm{\θ}}_1}{2}\right)---\left(5\right);$

其中，θ₁為左右虛擬攝像機(jī)的水平視角，z₁為左右虛擬攝像機(jī)到左右視圖在預(yù)設(shè)虛擬場(chǎng)景中放置位置所在平面的距離。

這里，繼續(xù)參照?qǐng)D5所示，根據(jù)三角形幾何關(guān)系可以得到上述公式(5)。

此時(shí)，通過(guò)上述公式(5)求取D₁后，可將D₁帶入上述公式(3)進(jìn)而求取dif₁。

在以上論述中d₀，z₀，PixW為測(cè)量值，d₁，z₁，θ₁為設(shè)定值，均為已知量。而θ₀在左右雙目攝像機(jī)焦距固定的情況下，可根據(jù)左右雙目攝像機(jī)的硬件參數(shù)直接計(jì)算或換算得到，是固定值。

但是，在雙目攝像機(jī)焦距可調(diào)的情況下，當(dāng)左右雙目攝像機(jī)焦距a變化時(shí)，θ₀會(huì)隨著變化，導(dǎo)致D₀變化。因此需要根據(jù)焦距a確定θ₀，進(jìn)而確定D₀，下面進(jìn)行詳細(xì)介紹。

為了適配焦距可調(diào)的情況，可預(yù)先確定出D₀和焦距的對(duì)應(yīng)函數(shù)關(guān)系，即D₀是以a為變量的函數(shù)，然后，利用該函數(shù)關(guān)系，獲取到當(dāng)前焦距，根據(jù)當(dāng)前焦距計(jì)算出D₀。即，在本發(fā)明的一個(gè)實(shí)施例中，所述方法還包括：

步驟106，獲取左右雙目攝像機(jī)的焦距a；

步驟107，根據(jù)左右雙目攝像機(jī)的焦距a，通過(guò)如下公式獲取左右雙目攝像機(jī)在主播所在平面上的水平拍攝寬度D₀：

D₀＝2*z₀*h(a) (6)；

其中，z₀為左右雙目攝像機(jī)到主播所在平面的距離，a為左右雙目攝像機(jī)的焦距，h(a)為以a為變量的關(guān)系式，將獲取到的a代入h(a)所計(jì)算得到的值等于

此時(shí)，首先利用以a為變量的關(guān)系式h(a)來(lái)獲取然后獲取D₀。

具體的，通過(guò)如下方式確定上述以a為變量的關(guān)系式，即所述方法還包括：

步驟108，獲取并記錄左右雙目攝像機(jī)在不同焦距時(shí)拍攝左右圖像時(shí)的焦距值a和二分之一水平視角的正切值

這里，參照?qǐng)D6所示，以左右雙目攝像機(jī)的某一攝像機(jī)，如左目攝像機(jī)L為例，可在距離左目攝像機(jī)z₀的位置(也就是左目攝像機(jī)到主播所在平面位置)水平放置一標(biāo)尺，標(biāo)尺上有物理刻度。可在不同焦距時(shí)，分別通過(guò)左目攝像機(jī)拍攝左圖像，利用標(biāo)尺在左圖像上讀取左目攝像機(jī)在距離z₀的位置的水平拍攝寬度D₀，并記錄焦距a和數(shù)據(jù)

其中，

需要說(shuō)明的是，當(dāng)z₀不同時(shí)，D₀也相應(yīng)等比例變化，因此z₀變化不對(duì)的結(jié)果產(chǎn)生影響，與z₀無(wú)關(guān)。

步驟109，根據(jù)焦距值和正切值，利用最小二乘法獲取以a為變量的關(guān)系式h(a)，其中，

這里，通過(guò)上述步驟108采集足夠多的數(shù)據(jù)后，根據(jù)最小二乘法可獲取以a為變量的關(guān)系式h(a)。

其中，

為了計(jì)算方便，可將上述公式(6)直接代入上述公式(4)，然后利用公式(1)-(5)獲得如下公式：

$PixMove=PixW*(\frac{d_1}{2*z_1*tan\left(\frac{{\mathrm{\θ}}_1}{2}\right)}-\frac{d_0}{2*z_0*h\left(a\right)})---\left(7\right);$

此時(shí)，可將d₀，z₀，a，d₁，z₁，θ₁，PixW直接代入上述公式(7)，獲取視差調(diào)整參數(shù)PixMove。

其中，獲得的視差調(diào)整參數(shù)PixMove可能是正數(shù)值，也可能是負(fù)數(shù)值或零。

得到視差調(diào)整參數(shù)PixMove之后，需要對(duì)主播的左右視圖進(jìn)行視差調(diào)整，以使左右視圖與虛擬場(chǎng)景的視差要求相匹配，與人眼觀看的視差要求相匹配。

優(yōu)選的，上述步驟103的步驟包括：

步驟1031，根據(jù)視差調(diào)整參數(shù)對(duì)左右視圖進(jìn)行視差調(diào)整處理，從而增加左右視圖的視差值，視差值的增加量等于視差調(diào)整參數(shù)。

這里，虛擬場(chǎng)景中的視差占比為dif₁，直播場(chǎng)景下本身具有的視差占比為dif₀，因此需要增加左右視圖的視差值，使增加視差值后左右視圖的視差占比與虛擬場(chǎng)景的視差占比相同。

通過(guò)上述分析可知，左右視圖的視差值增加PixMove之后，左右視圖的視差占比dif₀’為：

${{\mathrm{dif}}_0}^{\′}=\frac{PixMove+PixW*{\mathrm{dif}}_0}{PixW}=\mathrm{\Δ}dif+{\mathrm{dif}}_0={\mathrm{dif}}_1.$

因此，視差調(diào)整后左右視圖與虛擬場(chǎng)景的視差要求相匹配，與人眼觀看的視差要求相匹配。

其中，可將左視圖或者右視圖按照視差調(diào)整參數(shù)進(jìn)行平移，來(lái)增加左右視圖的視差值。也可對(duì)左視圖或者右視圖按照視差調(diào)整參數(shù)進(jìn)行裁剪，來(lái)增加左右視圖的視差值。

當(dāng)然，也可采用其他方式對(duì)左右視圖進(jìn)行視差調(diào)整，在此不一一說(shuō)明。

以上，通過(guò)對(duì)主播的左右視圖進(jìn)行視差調(diào)整，優(yōu)化了現(xiàn)實(shí)直播場(chǎng)景與虛擬場(chǎng)景融合的效果，提升了用戶觀看體驗(yàn)。

其中，利用左右雙目攝像機(jī)對(duì)直播場(chǎng)景拍攝后，需要對(duì)直播場(chǎng)景的左右圖像進(jìn)行摳圖處理，以將摳圖得到的主播的左右視圖與虛擬場(chǎng)景融合。此時(shí)，摳圖的質(zhì)量直接影響融合效果，如摳圖邊界不干凈會(huì)讓用戶看到毛邊，造成現(xiàn)實(shí)場(chǎng)景與虛擬場(chǎng)景不協(xié)調(diào)，使用戶觀看體驗(yàn)下降。因此摳圖結(jié)果要盡量保持邊界的完整流暢，保持細(xì)節(jié)的完整性，如頭等，要盡量將背景扣干凈。

為了提高摳圖質(zhì)量可進(jìn)行如下改進(jìn)：改善光源環(huán)境；選用較好的攝像機(jī)；選取與主播相差較大的背景色；選用更適合的摳圖算法等。

進(jìn)一步的，為了保持摳圖邊界的完整流暢，上述步驟102之后，方法還可以包括：

步驟1010，對(duì)左右視圖中主播的邊界進(jìn)行邊界優(yōu)化處理。

其中，如果主播邊緣摳不干凈，可以通過(guò)圖像腐蝕算法優(yōu)化邊界。如果邊緣鋸齒感較強(qiáng)，可以通過(guò)圖像邊界檢測(cè)并進(jìn)行邊界平滑處理。另外，還可以通過(guò)邊界檢測(cè)算法和一個(gè)簡(jiǎn)單的羽化算法使得邊界過(guò)度更加自然。

此時(shí)，若左右視圖與虛擬場(chǎng)景的交接處不做任何處理的話會(huì)感覺(jué)過(guò)度太陡，不協(xié)調(diào)。通過(guò)對(duì)左右視圖中主播的邊界進(jìn)行邊界優(yōu)化，可以明顯的提升邊界處的觀看體驗(yàn)。

另外，由于左右雙目攝像機(jī)自身硬件特性，采集到的左右視圖可能與虛擬場(chǎng)景的圖像在色溫、色調(diào)上不相匹配。為了保持左右視圖與虛擬場(chǎng)景的相匹配性，優(yōu)選的，上述步驟102之后，方法還可以包括：

步驟1011，根據(jù)預(yù)設(shè)虛擬場(chǎng)景的色溫和/或色調(diào)，對(duì)左右視圖的色溫和/或色調(diào)進(jìn)行調(diào)整。

此時(shí)，通過(guò)對(duì)左右視圖的色溫和/或色調(diào)進(jìn)行調(diào)整，保證了左右視圖與虛擬場(chǎng)景圖像的相匹配性，提升了圖像融合效果。

另外，由于左右雙目攝像機(jī)擁有特定的參數(shù)，如焦距、FOV、分辨率等，這些參數(shù)影響著采集到的圖像大小和長(zhǎng)寬縮放比例。而虛擬場(chǎng)景中左右虛擬攝像機(jī)根據(jù)渲染的虛擬場(chǎng)景有已經(jīng)設(shè)定好的大小和長(zhǎng)寬縮放比例。虛擬場(chǎng)景的長(zhǎng)寬縮放比例與左右雙目攝像機(jī)采集圖像的長(zhǎng)寬縮放比例一般并不相同。因此在將主播的左右視圖放置到虛擬場(chǎng)景中時(shí)，可將左右視圖調(diào)整為適合虛擬場(chǎng)景的長(zhǎng)寬縮放比例，使得左右視圖與虛擬場(chǎng)景的尺寸比例相匹配。

綜上，本發(fā)明實(shí)施例的立體虛擬現(xiàn)實(shí)直播方法，通過(guò)拍攝直播的立體圖像與虛擬場(chǎng)景融合，實(shí)現(xiàn)了立體虛擬現(xiàn)實(shí)直播；且通過(guò)對(duì)直播的立體圖像進(jìn)行視差調(diào)整，使直播的立體圖像視差與虛擬場(chǎng)景的視差要求相匹配，且與人眼觀看的視差要求相匹配；另外，通過(guò)邊界優(yōu)化、色溫和/或色調(diào)調(diào)整等，保證了左右視圖與虛擬場(chǎng)景圖像的相匹配；優(yōu)化了現(xiàn)實(shí)直播場(chǎng)景與虛擬場(chǎng)景融合的效果，提升了用戶觀看體驗(yàn)。

第二實(shí)施例

結(jié)合圖7所示，本發(fā)明實(shí)施例的立體虛擬現(xiàn)實(shí)直播裝置，包括：

第一獲取模塊701，用于獲取左右雙目攝像機(jī)拍攝的直播場(chǎng)景的左右圖像；

摳圖模塊702，用于分別對(duì)所述直播場(chǎng)景的左右圖像進(jìn)行摳圖處理，獲取所述直播場(chǎng)景中主播的左右視圖；

視差調(diào)整模塊703，用于根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整，其中，所述視差調(diào)整參數(shù)是根據(jù)所述直播場(chǎng)景下的視差占比和預(yù)設(shè)虛擬場(chǎng)景下的視差占比確定的，所述直播場(chǎng)景下的視差占比為所述左右雙目攝像機(jī)拍攝的左右圖像的視差值與所述左右雙目攝像機(jī)拍攝的左右圖像的水平寬度的比例，所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比為左右虛擬攝像機(jī)拍攝的左右圖像的視差值與所述左右虛擬攝像機(jī)的拍攝的左右圖像的水平寬度的比例；

融合模塊704，用于將視差調(diào)整后的左右視圖放置在所述預(yù)設(shè)虛擬場(chǎng)景中，利用所述左右虛擬攝像機(jī)拍攝放置有左右視圖的所述預(yù)設(shè)虛擬場(chǎng)景，從而獲取合成有所述主播和所述預(yù)設(shè)虛擬場(chǎng)景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據(jù)所述立體融合視圖進(jìn)行立體化的虛擬現(xiàn)實(shí)顯示，實(shí)現(xiàn)立體虛擬現(xiàn)實(shí)直播。

本發(fā)明實(shí)施例的立體虛擬現(xiàn)實(shí)直播裝置，通過(guò)拍攝直播的立體圖像與虛擬場(chǎng)景融合，實(shí)現(xiàn)了立體虛擬現(xiàn)實(shí)直播，通過(guò)立體化顯示帶給用戶更加真實(shí)的沉浸感，且在進(jìn)行虛擬和現(xiàn)實(shí)融合時(shí)，通過(guò)對(duì)直播的立體圖像進(jìn)行視差調(diào)整，使直播的立體圖像視差與虛擬場(chǎng)景的視差要求相匹配，且與人眼觀看的視差要求相匹配，優(yōu)化了現(xiàn)實(shí)直播場(chǎng)景與虛擬場(chǎng)景融合的效果，提升了用戶觀看體驗(yàn)。解決了現(xiàn)有技術(shù)中在融合虛擬場(chǎng)景與現(xiàn)實(shí)直播場(chǎng)景時(shí)，不能合理調(diào)整視差，降低用戶觀看體驗(yàn)的問(wèn)題，有效避免虛擬與現(xiàn)實(shí)融合顯示時(shí)由于視差而導(dǎo)致的顯示效果偏差所帶來(lái)的用戶眩暈不適感，觀看體驗(yàn)較差的問(wèn)題，給用戶提供更加身臨其境的沉浸感。

優(yōu)選的，所述裝置還包括：

第二獲取模塊，用于通過(guò)如下公式獲取所述視差調(diào)整參數(shù)PixMove：

PixMove＝PixW*Δdif；

其中，Δdif＝dif₁-dif₀，dif₁為所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比，dif₀為所述直播場(chǎng)景下的視差占比，PixW為所述左右視圖的水平像素寬度。

優(yōu)選的，所述裝置還包括：

第三獲取模塊，用于通過(guò)如下公式獲取所述直播場(chǎng)景下的視差占比dif₀：

${\mathrm{dif}}_0=\frac{d_0}{D_0};$

其中，d₀為所述左右雙目攝像機(jī)的視間距，D₀為所述左右雙目攝像機(jī)在所述主播所在平面上的水平拍攝寬度；

第四獲取模塊，用于通過(guò)如下公式獲取所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比dif1：

${\mathrm{dif}}_1=\frac{d_1}{D_1};$

其中，d₁為所述左右虛擬攝像機(jī)的視間距，D₁為所述左右虛擬攝像機(jī)在所述左右視圖在所述預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上的水平拍攝寬度。

優(yōu)選的，所述裝置還包括：

第五獲取模塊，用于通過(guò)如下公式獲取所述左右雙目攝像機(jī)在所述主播所在平面上的水平拍攝寬度D0：

$D_0=2*z_0*tan\left(\frac{{\mathrm{\θ}}_0}{2}\right);$

其中，θ₀為所述左右雙目攝像機(jī)的水平視角，z₀為所述左右雙目攝像機(jī)到所述主播所在平面的距離；

第六獲取模塊，用于通過(guò)如下公式獲取所述左右虛擬攝像機(jī)在所述左右視圖在所述預(yù)設(shè)虛擬場(chǎng)景中的放置位置所在平面上的水平拍攝寬度D₁：

$D_1=2*z_1*tan\left(\frac{{\mathrm{\θ}}_1}{2}\right);$

其中，θ₁為所述左右虛擬攝像機(jī)的水平視角，z₁為所述左右虛擬攝像機(jī)到所述左右視圖在所述預(yù)設(shè)虛擬場(chǎng)景中放置位置所在平面的距離。

優(yōu)選的，所述裝置還包括：

第七獲取模塊，用于獲取所述左右雙目攝像機(jī)的焦距；

第八獲取模塊，用于根據(jù)所述左右雙目攝像機(jī)的焦距，通過(guò)如下公式獲取所述左右雙目攝像機(jī)在所述主播所在平面上的水平拍攝寬度D₀：

D₀＝2*z₀*h(a)；

其中，z₀為所述左右雙目攝像機(jī)到所述主播所在平面的距離，a為所述左右雙目攝像機(jī)的焦距，h(a)為以a為變量的關(guān)系式，將獲取到的a代入h(a)所計(jì)算得到的值等于

優(yōu)選的，所述裝置還包括：

第九獲取模塊，用于獲取并記錄所述左右雙目攝像機(jī)在不同焦距時(shí)拍攝左右圖像時(shí)的焦距值a和二分之一水平視角的正切值

第十獲取模塊，用于根據(jù)所述焦距值和所述正切值，利用最小二乘法獲取以a為變量的關(guān)系式h(a)，其中，

優(yōu)選的，所述視差調(diào)整模塊703包括：

視差調(diào)整單元，用于根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整處理，從而增加所述左右視圖的視差值，所述視差值的增加量等于所述視差調(diào)整參數(shù)。

優(yōu)選的，所述裝置還包括：

邊界優(yōu)化模塊，用于對(duì)所述左右視圖中所述主播的邊界進(jìn)行邊界優(yōu)化處理；和/或

圖片調(diào)整模塊，用于根據(jù)所述預(yù)設(shè)虛擬場(chǎng)景的色溫和/或色調(diào)，對(duì)所述左右視圖的色溫和/或色調(diào)進(jìn)行調(diào)整。

本發(fā)明實(shí)施例的立體虛擬現(xiàn)實(shí)直播裝置，通過(guò)拍攝直播的立體圖像與虛擬場(chǎng)景融合，實(shí)現(xiàn)了立體虛擬現(xiàn)實(shí)直播；且通過(guò)對(duì)直播的立體圖像進(jìn)行視差調(diào)整，使直播的立體圖像視差與虛擬場(chǎng)景的視差要求相匹配，且與人眼觀看的視差要求相匹配；另外，通過(guò)邊界優(yōu)化、色溫和/或色調(diào)調(diào)整等，保證了左右視圖與虛擬場(chǎng)景圖像的相匹配性；優(yōu)化了現(xiàn)實(shí)直播場(chǎng)景與虛擬場(chǎng)景融合的效果，提升了用戶觀看體驗(yàn)。

需要說(shuō)明的是，該立體虛擬現(xiàn)實(shí)直播裝置是與上述立體虛擬現(xiàn)實(shí)直播方法相對(duì)應(yīng)的裝置，其中上述方法實(shí)施例中所有實(shí)現(xiàn)方式均適用于該裝置的實(shí)施例中，也能達(dá)到同樣的技術(shù)效果。

第三實(shí)施例

本發(fā)明實(shí)施例提供一種立體虛擬現(xiàn)實(shí)直播設(shè)備，所述立體虛擬現(xiàn)實(shí)直播設(shè)備可包含前述任一實(shí)施例所述的立體虛擬現(xiàn)實(shí)直播裝置。

圖8為本發(fā)明立體虛擬現(xiàn)實(shí)直播設(shè)備一個(gè)實(shí)施例的結(jié)構(gòu)示意圖，可以實(shí)現(xiàn)本發(fā)明圖1所示實(shí)施例的流程。如圖8所示，上述立體虛擬現(xiàn)實(shí)直播設(shè)備，包括：顯示屏(未示出)，殼體81、處理器82、存儲(chǔ)器83、電路板84和電源電路85，其中，顯示屏嵌接在殼體81上，與殼體一起圍成封閉空間；電路板84安置在顯示屏和殼體81圍成的空間內(nèi)部，處理器82和存儲(chǔ)器83設(shè)置在電路板84上；電源電路85，用于為上述立體虛擬現(xiàn)實(shí)直播設(shè)備的各個(gè)電路或器件供電；存儲(chǔ)器83用于存儲(chǔ)可執(zhí)行程序代碼；處理器82通過(guò)讀取存儲(chǔ)器83中存儲(chǔ)的可執(zhí)行程序代碼來(lái)運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序，用于執(zhí)行前述任一實(shí)施例所述的立體虛擬現(xiàn)實(shí)直播方法，獲取左右雙目攝像機(jī)拍攝的直播場(chǎng)景的左右圖像；分別對(duì)所述直播場(chǎng)景的左右圖像進(jìn)行摳圖處理，獲取所述直播場(chǎng)景中主播的左右視圖；根據(jù)視差調(diào)整參數(shù)對(duì)所述左右視圖進(jìn)行視差調(diào)整，其中，所述視差調(diào)整參數(shù)是根據(jù)所述直播場(chǎng)景下的視差占比和預(yù)設(shè)虛擬場(chǎng)景下的視差占比確定的，所述直播場(chǎng)景下的視差占比為所述左右雙目攝像機(jī)拍攝的左右圖像的視差值與所述左右雙目攝像機(jī)拍攝的左右圖像的水平寬度的比例，所述預(yù)設(shè)虛擬場(chǎng)景下的視差占比為左右虛擬攝像機(jī)拍攝的左右圖像的視差值與所述左右虛擬攝像機(jī)的拍攝的左右圖像的水平寬度的比例；將視差調(diào)整后的左右視圖放置在所述預(yù)設(shè)虛擬場(chǎng)景中，利用所述左右虛擬攝像機(jī)拍攝放置有左右視圖的所述預(yù)設(shè)虛擬場(chǎng)景，從而獲取合成有所述主播和所述預(yù)設(shè)虛擬場(chǎng)景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而通過(guò)所述顯示屏根據(jù)所述立體融合視圖進(jìn)行立體化的虛擬現(xiàn)實(shí)顯示，實(shí)現(xiàn)立體虛擬現(xiàn)實(shí)直播。

處理器82對(duì)上述步驟的具體執(zhí)行過(guò)程以及處理器82通過(guò)運(yùn)行可執(zhí)行程序代碼來(lái)進(jìn)一步執(zhí)行的步驟，可以參見(jiàn)本發(fā)明圖1所示實(shí)施例的描述，在此不再贅述。

該立體虛擬現(xiàn)實(shí)直播設(shè)備以多種形式存在，包括但不限于：

(1)移動(dòng)通信設(shè)備：這類(lèi)設(shè)備的特點(diǎn)是具備移動(dòng)通信功能，并且以提供話音、數(shù)據(jù)通信為主要目標(biāo)。這類(lèi)終端包括：智能手機(jī)(例如iPhone)、多媒體手機(jī)、功能性手機(jī)，以及低端手機(jī)等。

(2)超移動(dòng)個(gè)人計(jì)算機(jī)設(shè)備：這類(lèi)設(shè)備屬于個(gè)人計(jì)算機(jī)的范疇，有計(jì)算和處理功能，一般也具備移動(dòng)上網(wǎng)特性。這類(lèi)終端包括：PDA、MID和UMPC設(shè)備等，例如iPad。

(3)便攜式娛樂(lè)設(shè)備：這類(lèi)設(shè)備可以顯示和播放多媒體內(nèi)容。該類(lèi)設(shè)備包括：音頻、應(yīng)用程序的提供器(例如iPod)，掌上游戲機(jī)，電子書(shū)，以及智能玩具和便攜式車(chē)載導(dǎo)航設(shè)備。

(4)服務(wù)器：提供計(jì)算服務(wù)的設(shè)備，服務(wù)器的構(gòu)成包括處理器、硬盤(pán)、內(nèi)存、系統(tǒng)總線等，服務(wù)器和通用的計(jì)算機(jī)架構(gòu)類(lèi)似，但是由于需要提供高可靠的服務(wù)，因此在處理能力、穩(wěn)定性、可靠性、安全性、可擴(kuò)展性、可管理性等方面要求較高。

(5)其他具有數(shù)據(jù)交互功能的電子設(shè)備。

本發(fā)明實(shí)施例中，模塊可以用軟件實(shí)現(xiàn)，以便由各種類(lèi)型的處理器執(zhí)行。舉例來(lái)說(shuō)，一個(gè)標(biāo)識(shí)的可執(zhí)行代碼模塊可以包括計(jì)算機(jī)指令的一個(gè)或多個(gè)物理或者邏輯塊，舉例來(lái)說(shuō)，其可以被構(gòu)建為對(duì)象、過(guò)程或函數(shù)。盡管如此，所標(biāo)識(shí)模塊的可執(zhí)行代碼無(wú)需物理地位于一起，而是可以包括存儲(chǔ)在不同位里上的不同的指令，當(dāng)這些指令邏輯上結(jié)合在一起時(shí)，其構(gòu)成模塊并且實(shí)現(xiàn)該模塊的規(guī)定目的。

實(shí)際上，可執(zhí)行代碼模塊可以是單條指令或者是許多條指令，并且甚至可以分布在多個(gè)不同的代碼段上，分布在不同程序當(dāng)中，以及跨越多個(gè)存儲(chǔ)器設(shè)備分布。同樣地，操作數(shù)據(jù)可以在模塊內(nèi)被識(shí)別，并且可以依照任何適當(dāng)?shù)男问綄?shí)現(xiàn)并且被組織在任何適當(dāng)類(lèi)型的數(shù)據(jù)結(jié)構(gòu)內(nèi)。所述操作數(shù)據(jù)可以作為單個(gè)數(shù)據(jù)集被收集，或者可以分布在不同位置上(包括在不同存儲(chǔ)設(shè)備上)，并且至少部分地可以僅作為電子信號(hào)存在于系統(tǒng)或網(wǎng)絡(luò)上。

在模塊可以利用軟件實(shí)現(xiàn)時(shí)，考慮到現(xiàn)有硬件工藝的水平，所以可以以軟件實(shí)現(xiàn)的模塊，在不考慮成本的情況下，本領(lǐng)域技術(shù)人員都可以搭建對(duì)應(yīng)的硬件電路來(lái)實(shí)現(xiàn)對(duì)應(yīng)的功能，所述硬件電路包括常規(guī)的超大規(guī)模集成(VLSI)電路或者門(mén)陣列以及諸如邏輯芯片、晶體管之類(lèi)的現(xiàn)有半導(dǎo)體或者是其它分立的元件。模塊還可以用可編程硬件設(shè)備，諸如現(xiàn)場(chǎng)可編程門(mén)陣列、可編程陣列邏輯、可編程邏輯設(shè)備等實(shí)現(xiàn)。

在本發(fā)明的各種實(shí)施例中，應(yīng)理解，上述各過(guò)程的序號(hào)的大小并不意味著執(zhí)行順序的先后，各過(guò)程的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定，而不應(yīng)對(duì)本發(fā)明實(shí)施例的實(shí)施過(guò)程構(gòu)成任何限定。

以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。