基于單幅攝影球圖像的真實點光源方向的計算及虛擬化方法
【技術領域】
[0001] 本發(fā)明涉及一種基于單幅攝影球圖像的真實點光源方向的計算及虛擬化方法，屬 于增強現實技術領域。
【背景技術】
[0002] 目前，大多數基于攝影球的光源測量方法都是使用方形標識物進行相機位置的測 量，但在一些遮擋面積大、遮擋物多的復雜場景中，方形標識物往往有很大的局限性，甚至 無法估計出結果。如在一片濃密的叢林中融入一株虛擬的植被，因為缺乏適用于方形標識 物的理想角度，從而需要一種魯棒性更強的標記方法。
[0003] 基于增強現實的立體電影制作過程中，決定真實場景、角色同虛擬場景、角色合成 效果真實感的一個關鍵技術是光照一致性技術，包括明暗、反射、陰影等方面。早期基于增 強現實的立體電影制作過程中，光照效果的解決方案多是虛擬布光和后期調整，這種方法 只能提供一種近似的逼真感，并且這種方法需要花費大量的后期制作時間和精力，如果更 換了環(huán)境，則需要對場景進行重新布光和調整。而現今生成虛擬對象的技術往往是基于 MAYA、3DMAX等軟件，在某一角度生成照射虛擬對象的虛擬光源之后，即可以將其與虛擬對 象綁定，從而可以減少后期制作的時間和精力。
[0004] 基于圖像的光照，其核心技術是記錄真實場景光照信息載體的獲取。經典的球鏡 模型是在2002年Kanbara等人將一個二維方形板和一個球鏡組合在一起，形成一個三維標 志物，能夠同時完成幾何注冊和光照注冊；美國特拉華大學的Wei Zhou等人，針對于以往 光照估計中要求單一特定類型光源的局限，提出了一種場景光照模型的統(tǒng)一化框架，對不 同類型的光源建立了更普遍適用的光源模型；Willianms提出的陰影映射算法，首先提取 從光源到場景物體所有輪廓邊，然后得到由光源點及每個輪廓邊生成的半無限四邊形，這 些四邊形構成物體的陰影體。
[0005] 目前真實光照恢復方法主要有三種：第一種是在已知物體幾何形狀以及物體表面 為Lambert漫反射的前提下，從單幅圖像中根據物體表面明暗信息恢復出光源的數目和 方向；第二種是通過已知幾何形狀的物體在場景中投射出的陰影區(qū)域，計算區(qū)域內的光能 輻射分布來恢復出場景中的光照分布；第三種是為了模擬真實世界中的復雜光照，利用純 鏡面反光球計算場景中某一點處的環(huán)境映照圖，然后通過高動態(tài)范圍的恢復算法計算場景 的輻射度圖。當獲得了光照信息之后，其中虛擬光生成方法分為：一種是先用經驗光照明模 型和場景幾何來恢復物體材料的光照屬性，再根據這些屬性生成新光照條件或新視點下的 同一場景的圖像。該方法可以實現漫游和交互，但比較復雜；另一種是基于不同視點、光照 方向的采樣圖像，采用合適的基函數對采樣圖像進行插值、擬合等處理，從而獲得以視點和 光照方向為變量的重光照函數，包含了間接光照和環(huán)境光照，具有全局性，但全局光照計算 復雜度較高。本發(fā)明提出了一種基于單幅攝影球圖像的真實點光源方向的計算及虛擬化方 法，具有高效、精準等優(yōu)點，更適合在實際中使用。

【發(fā)明內容】

[0006] 本發(fā)明提出了一種基于單幅攝影球圖像的真實點光源方向的計算及虛擬化方法， 其能夠快速、高精度地計算真實點光源的方向并且在三維建模軟件中將其虛擬化。
[0007] 本發(fā)明的技術方案是這樣實現的：一種基于單幅攝影球圖像的真實點光源方向的 計算及虛擬化方法，其特征在于：其設備由攝影球、隨機點云標記紙、彩色數碼相機、三角 架、計算機組成，其中彩色數碼相機與三角架通過快裝板相連，彩色數碼相機與計算機通過 電纜相連，計算機中存有隨機點云標記圖，隨機點云標記圖為62個半徑為IOmm的正圓，并 將其分別編號dt記為1，2, 3, ...，62并隨機分布構成，并打印于A4紙上構成隨機點云標記 紙，攝影球置于隨機點云標記紙的幾何中心處，攝影球的直徑為25cm ; 其具體的實現步驟如下： 步驟1、調整三角架的腳架部分和云臺部分，使得通過彩色數碼相機3的取景器目鏡能 夠看到攝影球的全部以及隨機點云標記紙的全部，用彩色數碼相機3拍攝，得到一幅攝影 球圖片。
[0008] 步驟2、在隨機點云標記紙上建立世界坐標系，其中世界坐標系的原點0選為隨機 點云標記紙的幾何中心，Z軸正方向選為沿紙面向里，X軸正方向選為由七點邊指向五點邊 并垂直于A4點云標記紙的短邊，Y軸正方向選為由十一點邊指向四點邊并垂直于A4點云 標記紙的長邊。
[0009] 步驟3、在攝影球圖片中建立攝影球圖片坐標系，攝影球圖片坐標系的原點選為攝 影球圖片中攝影球的球心，攝影球圖片坐標系的Z軸正方向選為攝影球圖片內過原點0垂 直向上，攝影球圖片坐標系的Y軸正方向選為攝影球圖片內過原點〇水平向右，攝影球圖片 坐標系的X軸正方向選為過原點〇垂直于攝影球圖片向外。
[0010] 步驟4、由攝影球圖片上所有像素點按照從左到右，從上到下的順序構成矩陣P ; 設矩陣P有m行，η列；P(i，j) =(R (i，j)，G (i，j)，B (i，j))為矩陣P的第i行第j列元 素，其中R (i，j)、G (i，j)、B (i，j)分別為P (i，j)的RGB值。構造矩陣I，設元素 I (i，j) 是矩陣 I 的第 i 行第 j 列元素 ，I (i，j) = (R (i，j)+G (i，j)+B (i，j))/3/255，i=l，2，..· ，m，j=l, 2,…，η ;在攝影球圖片中攝影球的輪廓上選取三個點pointl、point2、point3， 并記其于攝影球圖片坐標系中的像素坐標分別為、I「W m，同 時，易在攝影球圖片中攝影球區(qū)域內讀取到每個點光源于攝影球圖片坐標系中的坐標 I每即可求得圓心于攝影球圖片坐標系下的像素坐標，以及以像素 為單位的圓半徑值，方法如下：
解得％，
得到圓心在攝影球圖片坐標系下的像素坐標，用|jy__表示，則以像素為單位的圓 半徑為
得點光源于攝影球1表面所呈光斑的于攝影球圖 片坐標系中的坐標 '萃赫，:。
[0012] 步驟6、如圖5所示，經過計算：
即可計算得到點光源于攝影球圖片坐標系下的坐較
[0013] 步驟7、使用OpenCVL 0中的cvThreshold函數，對隨機點云標記圖進行 二值化；使用OpenCVL 0中的cvFindContours函數，在其中找出各圖形的輪廓的 點集；使用OpenCVL 0中的CvCvtSeqToArray函數，依次將每一個圖形的輪廓的點 集轉換為一維數組，一維數組中元素的類型都為CvPoint ;最后，使用OpenCVL 0中 的cvFitEllipse函數，對每個一維數組進行圓擬合，得到每個圓的圓心坐標，并記 為J)，設 cvFitEllipse 函數的返回值用 Box 表示，Xq=Box. center. X， y〇=Box. center, y, a=Box. size, height, b=Box. size, width,
， 則 令
并將 Psfe歸一化并記為^-穿麵，dt=1，2,…PN。
[0014] 步驟 8、構造矩陣 T_R，T_R(i，j，k)為矩陣 T_R 的，T_R(i，j，1)
計算隨機點云標記圖中每個圓的與其他所有圓的的跡，并將 編號為dt圓與其他所有圓計算的跡值按快速排序法非降次排序后的前4個跡值 以及后者的編號存入矩陣T_R(PN) (4) (2)中，其中矩陣T_R中的元素 T_R(dt，u，l)
丨::表示編號為dt圓與其他所有圓中編號為di圓構成了第u小的 跡:觀di=l, 2, 3,. . .，PN，PN表示隨機點云標記圖中圓點的總數，在本方 法中 u=l，2, 3, 4。
[0015] 步驟9、如圖6所示，構建一個PN*4的矩陣中，記為XYJl (PN) (4)，其中
步驟10、將攝影球圖片存儲于計算機中，使用OpenCVL 0中的cvThreshold函數， 對攝影球圖片進行二值化；使用OpenCVL 0中的cvFindContours函數，在二值化后 的攝影球圖片中找出除邊界處外的每一個可見橢圓的輪廓點集；使用OpenCVLO中 的CvCvtSeqToArray函數，依次將每一個可見橢圓的輪廓的點集轉換為一維數組， 一維數組中元素的類型都為CvPoint ;最后，使用OpenCVL 0中的cvFitEllipse函 數，對每個一維數組進行橢圓擬合，并對每個橢圓編號為dt'，得到每個橢圓的圓心坐 dj t c '，將 cvFitEllipse 函數中的參數 centerpoint. X 記為 XX。，centerpoint. y 記為 yy〇，ellsize.height 記為 aa，ellsize.width 記為 bb，angle 記為遂，則 令
，并將 酵4#_歸一化記為戶_，其中績示攝影球圖片中可見橢圓的編號。
[0016] 步驟11、計算攝影球圖片中除邊界處外的每一個可見的橢圓的與其他 所有橢圓計算的.的跡，并將編號為dt'橢圓與其他所有可見橢圓的跡值按快速排 序法非降次排序后的前4個