專利名稱：一種實現(xiàn)無標記增強現(xiàn)實鋼琴教學系統(tǒng)的方法
技術領域：
本發(fā)明涉及增強現(xiàn)實技術，尤其涉及一種實現(xiàn)無標記增強現(xiàn)實鋼琴教學的方法及系統(tǒng)。
背景技術：
增強現(xiàn)實可以讓用戶看到真實的世界，同時把虛擬的物體跟現(xiàn)實環(huán)境合成。一個增強現(xiàn)實系統(tǒng)的流程一般是，系統(tǒng)首先定位一個物體的三維信息并且基于其建立空間三維立體坐標系，然后把虛擬三維物體增加到坐標系中，虛擬的物體和真實世界一起被顯示出來。在增強現(xiàn)實的應用中，有標記的汁算機視覺定位方式因為簡單和較好的魯棒性備受歡迎，通常預定義大小和形狀物體被用來作為增強現(xiàn)實的標記?；谟袠擞浀脑鰪姮F(xiàn)實技術已經(jīng)非常成熟，他們實現(xiàn)起來速度快，準確性高，但是因為使用的時候必須要有預定義形狀 和大小的標記，因而缺少自然性，在真實應用中并不普遍。
文獻〈〈H. Kato and M. Bilinghurst Marker tracking and hmd calibration for avideo-based augmented reahtyconferencmg system. In iwar,page 85. Pubhshed by theIEEE Computer Society, 1999》中提出了一種基于標記的增強現(xiàn)實方法,并由此設計了開源軟件包(ARTbolkit)。在ARToolkit中，一個正方形黑色框被作為標記識別，首先在三維圖像中找出正方形框的邊和頂點，利用這些幾何特性實現(xiàn)三維定位，然后把虛擬三維物體增加到正方形框中。文獻《M. Fiala. Artag, an improved marker system based on artoolklt. 2010》中提供了一種更加快速準確的基于標記定位的方法(ARTag)，用數(shù)字編碼后的圖形作為標記代替正方形黑色條框，使得識別標記更加快速準確，并且這種標記尺寸小不需要預存。文獻〈〈I. Barakonyl and D. Schmalstleg Augmented reahly agents in thedcwelopment pipehne of computerentertainment. In Entertainment computing-ICEC2005 4th international confer-ence, Sanda, Japan, September 19—21,2005 proceedings,page 345. Springer-Verlag New York Inc, 2005》提供了一種基于 ARTag 的鋼琴教學方法，在鋼琴上貼上ARTag中的標記，然后在鋼琴上建立坐標系并且計算每個鍵的位置，這樣鍵盤上就可以畫出虛擬的提示來指導鋼琴初學者應該彈奏哪個鍵。鋼琴通過MIDI按口跟計算機相連，這樣鋼琴初學者彈奏發(fā)出的聲音能被傳入計算機，計算機可以判斷用戶的彈奏是否正確。上面的文獻都是使用基于標記識別的增強現(xiàn)實技術，相比而言，自然特征追蹤(NFT)技術要更受歡迎，這種技術不需要額外的標記，能夠使的增強現(xiàn)實場景更加真實，讓用戶覺得更加自然。文獻《T Lee and THollerer. Handy AR Markerless inspection ofaugmented reahty obects using fingertip trackmg In WearabIeComputers,2007 IlthIEEE International Symposium on, pages 83-90. IEEE, 2007》給出了一種實現(xiàn)自然特征識別的方法，首先用方格紙對手做一次校正，這樣手就可以取代傳統(tǒng)增強現(xiàn)實中標記的作用。識別手的方法是利用膚色對圖形區(qū)域做劃分，選擇區(qū)域最大的部分作為手的區(qū)域，然后用橢圓逼近的方法識別出各個手指。計算出基于手指的三維坐標系后就可以把虛擬物體畫在手上了。這篇文獻中利用一次校正實現(xiàn)了自然特征追蹤，缺點是手是形變的，如果手指的形狀變化的話，則需要重新校正。

發(fā)明內容
首先通過攝像頭實時采集圖像，從圖像中識別和定位鋼琴鍵盤的四邊形信息(頂點坐標和邊方程)，計算其幾何特征參數(shù)，利用這些參數(shù)計算并建立基于鋼琴鍵盤的三維坐標系，把虛擬3D物體模型顯示在基于鋼琴鍵盤的三維坐標系中，如圖2所示。本發(fā)明的實現(xiàn)基于這樣一個思想在有標記的增強現(xiàn)實系統(tǒng)中，標記往往被預定義固定的大小和形狀，利用這些標記計算空間的位置，但是自然物體都有自己的大小和形狀特征，這些特征可以被識別來替代傳統(tǒng)增強現(xiàn)實中的標記。鋼琴鍵盤有固定的形狀和大小，通過識別鍵盤的四邊形信息(頂點坐標和邊方程)，計算從鍵盤坐標系到攝像頭坐標系的轉換矩陣，利用轉換矩陣建立三維坐標系。本發(fā)明的特點是實時性好，觀念新穎。系統(tǒng) 能夠實時的運行，幀率達到20-25fps。相比傳統(tǒng)的增強現(xiàn)實系統(tǒng)，本發(fā)明使用物體本身的幾何特征代替預定的標記，從而實現(xiàn)自然的增強現(xiàn)實。這種方法同樣適用于其它很多增強現(xiàn)實系統(tǒng)，在針對其它目標的增強現(xiàn)實系統(tǒng)時，目標物體的幾何特性可以以同樣的方式被識別追蹤后用來計算轉換矩陣。
四

圖I是本發(fā)明的系統(tǒng)流程2是本發(fā)明的中間結果，在鍵盤上建立出三維坐標系，并且識別出每個鍵的位
置圖3是本發(fā)明識別鋼琴鍵盤的過程圖
五、具體實施方法下面說明本發(fā)明的具體實施過程，如圖I所示101 :攝像機參數(shù)測量。在運行系統(tǒng)之前，首先測量一些系統(tǒng)過程中需要的參數(shù)，101測量攝像頭的透視投影矩陣P，即攝像頭參數(shù)，透視投影矩陣根據(jù)公式EqlOl把基于攝像頭焦點三維坐標系的坐標轉換成屏幕上對應的三維坐標系，其中R是屏幕坐標系上的坐
標向量，Vl是攝像機坐標系中的坐標向量。
叫卜 P12 pn 0]p,
hvs 0 P11 P1, 0 r ,=r、 ；； n 7(EqlOl)
h0 0 /3, 0 Zt
1」L0 0 。i」L I
k~"-V-V~-
I'I:102 :真實鍵盤的幾何參數(shù)測量。測量鋼琴鍵盤的長、寬等實際尺寸。111 :系統(tǒng)獲取一幀圖像，對圖像做預處理。首先對圖像二值化，由于鍵盤上的每鍵之間有空隙，使得二值化后的鍵盤區(qū)域有一些黑色線，如圖3(a)所示。這些黑色線會對鍵盤的識別造成一些影的，用圖形學閉運算可以去除這些噪點，結果如圖3(b)所示，鍵盤的白色區(qū)域成為了一個整體。112.輪廓提取和分析。提取圖像的輪廓并對輪廓做分析，首先提取整幅圖像的所有輪廓，求出所有輪廓的凸包，然后使用Douglas-Peucker多邊形逼近算法擬合輪廓的凸包，如果輪廓的凸包能被四邊形逼近，則保留輪廓做進一步的處理，否則，刪除輪廓。在我們使用的圖像中只有兩個輪廓的凸包能夠被多邊形擬合，如圖3(c)中粗線標出來的301和302是經(jīng)過本步驟后被保留下來的兩個輪廓凸包。113 :鍵盤識別。進一步識別凸包包含的區(qū)域是否為鍵盤區(qū)域，求出每個凸包的凸缺陷，取最深凸缺陷所依賴的那條邊作為頂邊，在頂邊附近做一條直線EF平行于頂邊，如圖3(d)所示，沿著線段EF掃描步驟111處理后的二值化圖像，得到一個數(shù)組，統(tǒng)計數(shù)組中的黑色條帶數(shù)目，如果黑色條帶數(shù)等于鍵盤黑色鍵的數(shù)目，則所處理的區(qū)域為鍵盤區(qū)域，否則不是。114:獲取對應的鍵盤何特征參數(shù)。根據(jù)鍵盤的頂邊找出左右兩條邊的對應信息，如圖3(e)所示，取線段麗的中點，P是凸包的凸缺陷中距離麗最遠的點。假設Z^ = (HO), ^ = (x2J2，0)，汾 = (x3,_y3，0)，則不管鍵盤在圖像中怎樣旋轉，公式Eqll4總是成立的OP X OM = (O1O1X3JiX3J1 - .T1V3 > 0 (Eql 14) OP X ON = (0,0, x3y2 - x: V3)’ x,y - x j、< 0根據(jù)這個特性，可以區(qū)分出鋼琴的M和N兩個頂點，這樣可以得到跟鋼琴鍵盤四條邊和四個頂點的對應信息；121 :計算旋轉矩陣。根據(jù)114得到的鍵盤幾何尺寸，計算轉換矩陣，轉換矩陣Tdt把鍵盤坐標系坐標轉換為攝像機坐標系坐標，可以表示成Eql211
權利要求
1.一種實現(xiàn)無標記增強現(xiàn)實鋼琴教學系統(tǒng)的方法，其特征包含以下幾個步驟 A :系統(tǒng)直接追蹤識別真實的鋼琴鍵盤，并且計算鋼琴的幾何特征信息，包括頂點坐標和邊的直線方程； B :利用這些幾何特征信息計算從鋼琴坐標系坐標到攝像機坐標系坐標的轉換矩陣，建立基于鋼琴鍵盤的三維坐標系； C :從3D模型軟件中導入三維手指模型，虛擬手指根據(jù)譜子彈奏真實的鍵盤，并且用計算機模擬彈奏出的音樂；
2.根據(jù)權利要求I所述的系統(tǒng)直接追蹤識別真實的鋼琴鍵盤并且計算鋼琴的幾何特征信息的方法，其特征在于，所述步驟A進一步包括步驟 Al :圖像預處理，用閾值對原始圖像二值化，然后對圖像做閉運算，去除圖像中因為鋼琴鍵盤的鍵空隙造成的比較細的黑色線條； A2:提取圖像中所有輪廓并分析，首先提義圖像的輪廓，然后求出所有輪廓的凸包，用Douglas-Peuker(DP)多邊形逼近算法逼近所有凸包，只有包逼近四邊形的輪廓被保留做進一步的處理； A3 :鍵盤識別，對A2保留下來的輪廓做進一步處理，找出凸包的凸缺陷所依賴的邊作為輪廓的頂邊，靠近頂邊找一條平行于頂邊的直線，沿著直線在Al預處理后的二值化圖像中取像素值構成一個數(shù)組，統(tǒng)計數(shù)組中連續(xù)黑色條帶數(shù)，黑色條帶數(shù)目應該跟鍵盤的黑色鍵數(shù)目相同，否則輪廓不是鍵盤輪廓；根據(jù)權利要求I所述的實現(xiàn)利用這些幾何特征信息計算從鋼琴坐標系坐標到攝像機坐標系坐標的轉換矩陣，建立基于鋼琴鍵盤的三維坐標系的方法，其特征在于，所述步驟B進一步包括步驟 BI :根據(jù)A3中識別出的鋼琴鍵盤的四條邊和四個頂點，需要求出從鍵盤坐標系到攝像頭坐標系的轉換矩陣，轉換矩陣包括旋轉部分和平移部分，首先根據(jù)鋼琴的兩對平行邊在圖像中的方程計算轉換矩陣中的旋轉矩陣； B2 :利用鋼琴鍵盤的四個頂點在鍵盤坐標系下的坐標和在圖像中的坐標，使用最小二乘法計算轉換矩陣的平移部分； B3 :根據(jù)轉換矩陣建立基于鋼琴鍵盤的三維坐標系。
全文摘要
本發(fā)明提出了一個基于無標記增強現(xiàn)實鋼琴教學的方法，鋼琴初學者們可以根據(jù)鋼琴鍵盤上虛擬手指的指示彈奏真實的鋼琴。通過追蹤鍵盤和檢測鍵盤的幾何特征參數(shù)，代替?zhèn)鹘y(tǒng)增強現(xiàn)實中標記的作用，這些參數(shù)被用來計算從鍵盤坐標系到攝像頭坐標系的轉換矩陣。我們首先提取圖像所有的輪廓，然后找出所有可能為鍵盤的輪廓，再通過鋼琴的結構特征找出鍵盤的輪廓。本發(fā)明的主要用途是，用戶可以跟著虛擬手指的指型彈奏真實的鋼琴，讓用戶不必經(jīng)過枯燥的學習過程，就能夠彈奏出一首曲子。
文檔編號G09B15/00GK102737534SQ20111009208
公開日2012年10月17日 申請日期2011年4月13日 優(yōu)先權日2011年4月13日
發(fā)明者于耀, 周余, 孔令紅, 李楊, 楊瑜, 狄海進, 王自強, 袁杰, 許斌鋒, 趙康鏈, 都思丹, 黃鋒 申請人:南京大學