專利名稱：激光筆的數(shù)字墨水生成方法與生成系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種激光筆的數(shù)字墨水生成方法與生成系統(tǒng)(10)，其采用一個(gè)攝像頭(11)，利用計(jì)算機(jī)視覺技術(shù)來捕捉激光筆發(fā)射在投影屏幕上的激光束，然后以數(shù)字墨水的形式保存這些激光束的軌跡，并嵌入到投影所用的文檔中，最后把得到的數(shù)字墨水實(shí)時(shí)顯示在投影屏幕上面。
背景技術(shù)：
激光筆在電子演講、多媒體教學(xué)等活動(dòng)中起著非常重要的作用。用戶在自由的發(fā)表演說時(shí)，為了強(qiáng)調(diào)要點(diǎn)和重點(diǎn)內(nèi)容，無需中斷后去計(jì)算機(jī)上進(jìn)行相應(yīng)的鼠標(biāo)和鍵盤操作；只需要使用激光筆，在投影上利用激光圈劃相應(yīng)的區(qū)域部分即可。令人遺憾的是，在實(shí)際使用中，那些圈劃要點(diǎn)和重點(diǎn)內(nèi)容的激光軌跡瞬間即逝，沒有留下半點(diǎn)痕跡；這樣，內(nèi)容的接受者還沒有完全理解時(shí)，已經(jīng)在投影上找不到重點(diǎn)信息的強(qiáng)調(diào)信號(hào)痕跡了。
為了克服這個(gè)問題，一般的處理方法為，事先在文檔中把需要強(qiáng)調(diào)的內(nèi)容進(jìn)行圈劃，然而，這樣不能達(dá)到現(xiàn)場強(qiáng)調(diào)的效果；另外一種方法，就是利用電腦筆在特定的介質(zhì)(電腦手寫板和超聲波裝置等)上對(duì)需要強(qiáng)調(diào)的內(nèi)容進(jìn)行圈劃，然而，演講者只能在特定的介質(zhì)旁邊，一邊操作，一邊講解，這限制了演講者的活動(dòng)，不能發(fā)揮現(xiàn)場自由演講的效果。
因此，需要一種技術(shù)與系統(tǒng)，能夠把激光筆所發(fā)射的激光束軌跡長時(shí)間的保留在投影文檔上，又不要限制演講者的自由活動(dòng)，從而達(dá)到現(xiàn)場演講的效果。

發(fā)明內(nèi)容
采用計(jì)算機(jī)視覺技術(shù)來檢測、定位、跟蹤和獲取激光筆所發(fā)射的激光束在投影屏幕上的軌跡和形狀。采用文檔分析算法和數(shù)字墨水技術(shù)，把這些軌跡和形狀進(jìn)行進(jìn)一步精確定位和形狀修飾，并轉(zhuǎn)化為數(shù)字墨水，以彩色透明方式嵌入投影所用的WORD和PPT文檔中。此系統(tǒng)能夠長時(shí)間的記錄激光筆所發(fā)射的激光束在投影屏幕上的軌跡，同時(shí)也可以把這些軌跡保存到投影所用的文檔中。
在第一普遍的方面，本發(fā)明提供了一種激光筆的數(shù)字墨水生成方法與生成系統(tǒng)(10)，包括用于產(chǎn)生代表了激光筆所發(fā)射的激光束在投影屏幕上軌跡的視頻信號(hào)的捕捉方法(11)。
在第二普遍的方面，本發(fā)明提供了一種方法，包括激光束軌跡視頻捕捉，激光束軌跡計(jì)算機(jī)視覺技術(shù)粗定位；以及激光束軌跡圖形的生成方法。
在第三普遍的方面，本發(fā)明提供了一種方法，對(duì)于激光束在投影屏幕上的位置與形狀，利用分析本地計(jì)算機(jī)上的用于投影的文檔來進(jìn)行進(jìn)一步位置定位與圖形處理，包括激光束軌跡文檔分析技術(shù)精確定位方法；以及利用相關(guān)文檔分析技術(shù)的激光束軌跡圖形修飾方法。


圖1顯示了根據(jù)本發(fā)明實(shí)施例的代表性激光筆的數(shù)字墨水生成系統(tǒng)；圖2顯示了根據(jù)本發(fā)明實(shí)施例的圖1所示激光筆的數(shù)字墨水生成系統(tǒng)的流程圖；圖3顯示了本發(fā)明中激光束軌跡計(jì)算機(jī)視覺技術(shù)粗定位方法的流程圖；圖4顯示了本發(fā)明中激光束軌跡圖形轉(zhuǎn)化為數(shù)字墨水方法的流程圖。
具體實(shí)施例方式
本發(fā)明公開了一種激光筆的數(shù)字墨水生成方法與生成系統(tǒng)(10)。采用計(jì)算機(jī)視覺技術(shù)來檢測、定位、跟蹤和獲取激光筆所發(fā)射的激光束在投影屏幕上的軌跡和形狀。采用文檔分析算法和數(shù)字墨水技術(shù)，把這些軌跡和形狀進(jìn)行進(jìn)一步精確定位和形狀修飾，并轉(zhuǎn)化為數(shù)字墨水，以彩色透明方式嵌入投影所用的WORD和PPT文檔中。此系統(tǒng)能夠長時(shí)間的記錄激光筆所發(fā)射的激光束在投影屏幕上的軌跡，同時(shí)也可以把這些軌跡保存到投影所用的文檔中。
現(xiàn)在參看附圖并從圖1開始，其中顯示了一種代表性的激光筆的數(shù)字墨水生成系統(tǒng)(10)。激光筆的數(shù)字墨水生成系統(tǒng)硬件包括一個(gè)攝像頭，一臺(tái)投影儀，一個(gè)投影屏幕，以及一臺(tái)計(jì)算機(jī)。簡單的說，在處理過程中，激光筆的數(shù)字墨水生成系統(tǒng)(10)，通過攝像頭對(duì)顯示在投影屏幕上的激光束軌跡進(jìn)行視頻捕捉。首先通過捕捉的視頻信號(hào)進(jìn)行激光束軌跡的粗定位。然后利用投影所用的存放在計(jì)算機(jī)上的文檔，對(duì)激光束軌跡文檔分析技術(shù)精確定位；基于文檔知識(shí)，對(duì)激光束軌跡圖形進(jìn)行修改處理。通過通用的數(shù)字墨水生成接口，生成激光束軌跡圖形的數(shù)字墨水。最后，把數(shù)字墨水嵌入到投影用的文檔中，并進(jìn)行實(shí)時(shí)投影顯示。
11為普通的攝像頭；而激光筆、投影儀與投影屏幕也是普通的。通過通用的數(shù)字墨水生成接口把激光束軌跡圖形轉(zhuǎn)換為數(shù)字墨水，也可以轉(zhuǎn)化為普通的數(shù)字圖片，再嵌入到投影所用的WORD和PPT文檔中，在投影屏幕上進(jìn)行實(shí)時(shí)顯示。
請(qǐng)參閱圖2所示，是本發(fā)明的激光筆的數(shù)字墨水生成系統(tǒng)的功能流程圖。包括利用CCD攝像頭拍攝激光筆所發(fā)射的激光束在投影屏幕上的軌跡，并轉(zhuǎn)化為視頻信號(hào)(21)；激光束軌跡計(jì)算機(jī)視覺技術(shù)粗定位，并生成軌跡圖形(22)；把激光束的軌跡圖形轉(zhuǎn)化為數(shù)字墨水(23)；把數(shù)字墨水嵌入投影所用文檔的方法，并通過投影儀，實(shí)時(shí)顯示在投影屏幕上(24)等四個(gè)步驟，現(xiàn)將各步驟說明如下(a)在投影屏幕的正前方，安裝一個(gè)CCD攝像頭；利用該攝像頭，對(duì)投影屏幕處進(jìn)行拍攝，把整個(gè)投影屏幕處的所有可視信號(hào)(包括激光束在投影屏幕上的軌跡)進(jìn)行視頻捕捉，形成視頻信號(hào)。
(b)對(duì)投影屏幕處進(jìn)行動(dòng)態(tài)建模，利用相減法與背景模型相減，并建立圖像相減后的激光束軌跡判斷法則，進(jìn)行激光束軌跡的定位；根據(jù)視頻中投影屏幕的位置，提取激光束軌跡；然后對(duì)視頻中的投影屏幕圖像進(jìn)行射影校正；再根據(jù)投影屏幕左上角與投影所用文檔左上角的位置對(duì)應(yīng)關(guān)系，把相對(duì)于投影屏幕位置的激光束軌跡轉(zhuǎn)換為相對(duì)于文檔左上角的激光束軌跡。
(c)利用本地計(jì)算機(jī)中投影所用文檔的知識(shí)特性，而不是視頻中投影屏幕上的文檔圖像，把上述粗定位的激光束軌跡定位在文檔上，分析文檔中的字符行等版面信息，進(jìn)行激光束軌跡的再次精確定位；然后再根據(jù)軌跡所在文檔的版面信息，對(duì)軌跡進(jìn)行平移與旋轉(zhuǎn)等處理，使得軌跡更能表現(xiàn)演講者所強(qiáng)調(diào)的信息；通過微軟公司.net技術(shù)中通用的數(shù)字墨水接口，把這些軌跡轉(zhuǎn)換為數(shù)字墨水。
(d)利用微軟公司提供的WORD和PPT編程API函數(shù)，把通過上述步驟得到的激光束軌跡數(shù)字墨水以彩色透明方式嵌入到投影所用的WORD和PPT文檔中，并實(shí)時(shí)在投影屏幕上進(jìn)行顯示。
對(duì)于上述步驟(b)中的激光束軌跡計(jì)算機(jī)視覺技術(shù)粗定位方法，其具體流程如圖3所示。包括跟蹤與定位視頻中的激光束軌跡(31)；提取激光束軌跡(32)；對(duì)視頻中的投影屏幕圖像進(jìn)行射影校正(33)；把相對(duì)于投影屏幕位置的激光束軌跡轉(zhuǎn)換為相對(duì)于文檔左上角的激光束軌跡(34)等四個(gè)步驟，現(xiàn)將各步驟說明如下(1)對(duì)投影屏幕處背景進(jìn)行動(dòng)態(tài)建模，利用相減法與前一段視頻相減，以去除背景及顯示文檔的干擾，建立圖像相減后的激光束軌跡判斷法則，并保留激光束的動(dòng)態(tài)特性，跟蹤與定位視頻中的激光束軌跡。
對(duì)于無激光束軌跡的投影屏幕進(jìn)行均值濾波背景建模，設(shè)得到的投影屏幕處背景模型為B(x，y)，(x，y)為投影屏幕處背景圖像中的某一點(diǎn)，設(shè)Ft(x，y)為視頻信號(hào)中t時(shí)刻的一幀圖像點(diǎn)(x，y)處的亮度值，如果，|Ft(x，y)-B(x，y)|＞THRES則有，F(xiàn)t(x，y)為激光束軌跡點(diǎn)，其中THRES為檢測閾值。
同時(shí)，投影儀每次更換一個(gè)顯示畫面，對(duì)背景模型進(jìn)行動(dòng)態(tài)更新；即重新對(duì)新投影屏幕背景進(jìn)行均值濾波建模。
(2)根據(jù)視頻中投影屏幕的位置，提取激光束軌跡。
本發(fā)明以一定時(shí)間間隔內(nèi)激光筆所發(fā)射的激光束來表示處理的一個(gè)激光束軌跡單元。根據(jù)上述步驟(1)的檢測，從t＝0開始，到第T幀圖像(t＝T-1)時(shí)，此時(shí)的激光束軌跡為，ELaser＝{(x，y)，|Ft(x，y)-B(x，y)|＞THRES，0≤t＜T}此時(shí)，ELaser表示提取出來的激光筆所發(fā)射的激光束軌跡。
(3)對(duì)視頻中的投影屏幕圖像進(jìn)行射影校正。
利用攝像頭捕捉得到的圖像，容易產(chǎn)生射影變形。我們采用一種快速算法對(duì)投影屏幕圖像進(jìn)行射影校正。
首先利用Hough變換，找到投影儀投影四邊形區(qū)域的四條邊，設(shè)上、下兩條邊的直線方程為Tline和Bline，左、右兩條邊的直線方程為Lline和Rline；然后求得直線Tline和Bline的交點(diǎn)，即為射影變換中的水平消失點(diǎn)Phor_v；再求得直線Lline和Rline的交點(diǎn)，即為射影變換中的垂直消失點(diǎn)Pver_v；最后，利用這兩個(gè)消失點(diǎn)Phor_v和Pver_v就很容易的對(duì)圖像進(jìn)行射影校正了。
(4)根據(jù)投影屏幕左上角與投影所用文檔左上角的位置對(duì)應(yīng)關(guān)系，把相對(duì)于投影屏幕位置的激光束軌跡轉(zhuǎn)換為相對(duì)于文檔左上角的激光束軌跡。
對(duì)于數(shù)字墨水生成系統(tǒng)步驟(c)中的把激光束的軌跡圖形轉(zhuǎn)化為數(shù)字墨水過程，其具體流程如圖4所示。包括激光束軌跡文檔分析技術(shù)精確定位處理(41)；激光束軌跡圖形修飾處理(42)；利用微軟公司.net技術(shù)中的數(shù)字墨水SDK，把激光束軌跡圖形轉(zhuǎn)換為數(shù)字墨水(43)等三個(gè)步驟，現(xiàn)將各步驟說明如下(1)利用本地計(jì)算機(jī)中投影所用文檔的版面結(jié)構(gòu)，而不是視頻中投影屏幕上的文檔圖像，分析文檔中的字符行等版面信息，進(jìn)行激光束軌跡的再次精確定位，使得激光束軌跡定位在所指示的字符行上面。
通過激光束軌跡計(jì)算機(jī)視覺技術(shù)粗定位方法中的步驟(4)，可以得到相對(duì)于文檔左上角的激光束軌跡；計(jì)算投影所用當(dāng)前頁文檔的行位置信息，并計(jì)算激光束軌跡與各文本行相對(duì)應(yīng)的位置關(guān)系，進(jìn)行激光束軌跡的精確定位。
(2)利用本地計(jì)算機(jī)中投影所用文檔的版面結(jié)構(gòu)，而不是視頻中投影屏幕上的文檔圖像，根據(jù)軌跡所在文檔的版面信息，對(duì)軌跡圖形進(jìn)行旋轉(zhuǎn)與平移等處理。
以投影所用當(dāng)前頁文檔的左上角為坐標(biāo)原點(diǎn)，水平方向?yàn)閤軸，向右為正方向，垂直方向?yàn)閥軸，向下為正方向。則激光束軌跡表示為ELaser＝{(x，y)}，且有xstart≤x≤xend和ystart≤y≤yend，其中，xstart為激光束軌跡點(diǎn)所在范圍的最左x軸坐標(biāo)，xend為最右x軸坐標(biāo)，ystart為激光束軌跡點(diǎn)所在范圍的最上y軸坐標(biāo)，yend為最下y軸坐標(biāo)。
計(jì)算激光束軌跡在x軸方向的中心線。即沿x軸，計(jì)算{(xi，yi)}，for(xi＝xstart；xi≤xend；xi++){yi=1CiΣkyk,(xi,yk)∈ELaser;]]>}其中，Ci表示符合(xi，yk)∈ELaser的點(diǎn)的個(gè)數(shù)。
然后通過擬合點(diǎn)集合{(xi，yi)}得到水平方向的中心直線L。再旋轉(zhuǎn)激光束軌跡，使得直線L與x軸平行。此時(shí)，則完成了激光束軌跡圖形的旋轉(zhuǎn)操作。
下面具體介紹激光束軌跡的平移操作。
首先計(jì)算激光束軌跡的閉合輪廓，并計(jì)算該閉合輪廓所包括的區(qū)域與各文本行重疊點(diǎn)的數(shù)目{Ni，1≤i≤C}，其中C表示該文檔頁中文本的行數(shù)。若，Nk=maxiNi]]>則把激光束軌跡圖形進(jìn)行垂直方向平移，使得平移后軌跡圖形的重心與第k行的文本中心在一條水平直線上。
(3)利用微軟公司.net技術(shù)中的數(shù)字墨水SDK，把激光束軌跡圖形轉(zhuǎn)換為數(shù)字墨水。
綜上所述，通過本發(fā)明的方法，可利用計(jì)算機(jī)視覺技術(shù)與文檔分析技術(shù)，并將軟硬件結(jié)合成獨(dú)立的激光筆的數(shù)字墨水生成方法與生成系統(tǒng)。所以，本發(fā)明完全符合發(fā)明專利申請(qǐng)要件，故依法提出發(fā)明專利申請(qǐng)，請(qǐng)?jiān)敳椴⑴鷾?zhǔn)授予專利權(quán)，以保障發(fā)明者的權(quán)益。
雖然這里為說明目的而介紹了本發(fā)明的實(shí)施例，但是對(duì)本領(lǐng)域的技術(shù)人員來說很明顯，可以對(duì)其進(jìn)行許多修改和變化。因此，所附權(quán)利要求預(yù)期包括了屬于本發(fā)明的精神實(shí)質(zhì)和范圍內(nèi)的所有這些修改和變化。
權(quán)利要求
1.一種激光筆的數(shù)字墨水生成方法與生成系統(tǒng)，其特征在于采用激光筆、CCD攝像頭、投影儀、投影屏幕和PC計(jì)算機(jī)構(gòu)成的計(jì)算機(jī)視覺和圖像處理系統(tǒng)，具體處理步驟如下(a)在投影儀屏幕前方放置一個(gè)CCD攝像頭，利用該攝像頭拍攝激光筆所發(fā)射的激光束在投影屏幕上的軌跡，并轉(zhuǎn)化為視頻信號(hào)；(b)激光束軌跡計(jì)算機(jī)視覺技術(shù)粗定位，并生成軌跡圖形；(c)把激光束的軌跡圖形轉(zhuǎn)化為數(shù)字墨水；(d)把數(shù)字墨水嵌入投影所用WORD和PPT文檔的方法，并通過投影儀，實(shí)時(shí)顯示在投影屏幕上。
2.根據(jù)權(quán)利要求1所述的方法與系統(tǒng)，其中，所述激光束軌跡計(jì)算機(jī)視覺技術(shù)粗定位進(jìn)一步包括步驟(a)對(duì)投影屏幕處背景進(jìn)行動(dòng)態(tài)建模，利用相減法與背景模型相減，建立圖像相減后的激光束軌跡判斷法則，并保留激光束的動(dòng)態(tài)特性，跟蹤與定位視頻中的激光束軌跡；(b)根據(jù)視頻中投影屏幕的位置，提取激光束軌跡；(c)對(duì)視頻中的投影屏幕圖像進(jìn)行射影校正；(d)根據(jù)投影屏幕左上角與投影所用文檔左上角的位置對(duì)應(yīng)關(guān)系，把相對(duì)于投影屏幕位置的激光束軌跡轉(zhuǎn)換為相對(duì)于文檔左上角的激光束軌跡。
3.根據(jù)權(quán)利要求1所述的方法與系統(tǒng)，其中，所述激光束軌跡圖形轉(zhuǎn)化為數(shù)字墨水進(jìn)一步包括步驟(a)激光束軌跡文檔分析技術(shù)精確定位處理；(b)激光束軌跡圖形修飾處理；(c)利用微軟公司.net技術(shù)中的數(shù)字墨水SDK，把激光束軌跡圖形轉(zhuǎn)換為數(shù)字墨水。
4.根據(jù)權(quán)利要求1所述的方法與系統(tǒng)，其中，所述激光束軌跡文檔分析技術(shù)精確定位處理表示，利用本地計(jì)算機(jī)中投影所用文檔的版面結(jié)構(gòu)，而不是視頻中投影屏幕上的文檔圖像，分析文檔中的字符行等版面信息，進(jìn)行激光束軌跡的再次精確定位，使得激光束軌跡定位在所指示的字符行上面。
5.根據(jù)權(quán)利要求1所述的方法與系統(tǒng)，其中，所述激光束軌跡圖形修飾處理表示，利用本地計(jì)算機(jī)中顯示所用文檔的版面結(jié)構(gòu)，而不是視頻中投影屏幕上的文檔圖像，根據(jù)軌跡所在文檔的版面信息，對(duì)軌跡圖形進(jìn)行平移與旋轉(zhuǎn)等處理。
6.根據(jù)權(quán)利要求1所述的方法與系統(tǒng)，其特征在于，包括了把激光束軌跡圖形轉(zhuǎn)化為普通數(shù)字圖片，把數(shù)字圖片嵌入到投影所用的WORD和PPT文檔，并通過投影儀，實(shí)時(shí)顯示在投影屏幕上。
全文摘要
一種激光筆的數(shù)字墨水生成方法與生成系統(tǒng)，其采用一個(gè)攝像頭，來捕捉激光筆發(fā)射在投影屏幕上的激光束，然后以數(shù)字墨水的形式保存這些激光束的軌跡圖形，并嵌入到投影所用的文檔中，最后把得到的數(shù)字墨水實(shí)時(shí)顯示在投影屏幕上面。硬件包括激光筆、攝像頭、計(jì)算機(jī)、投影儀和投影屏幕。采用計(jì)算機(jī)視覺技術(shù)來檢測、定位、跟蹤和獲取激光束在投影屏幕上的軌跡和形狀。采用文檔分析算法和數(shù)字墨水技術(shù)，把這些軌跡和形狀進(jìn)行進(jìn)一步精確定位和形狀修飾，并轉(zhuǎn)化為數(shù)字墨水，以彩色透明方式嵌入投影所用的文檔中。此系統(tǒng)能夠長時(shí)間的記錄激光筆所發(fā)射的激光束在投影屏幕上的軌跡，同時(shí)也可以把這些軌跡保存到投影所用的文檔中。
文檔編號(hào)G06F3/00GK1687869SQ20051006957
公開日2005年10月26日 申請(qǐng)日期2005年5月17日 優(yōu)先權(quán)日2005年5月17日
發(fā)明者殷緒成 申請(qǐng)人:殷緒成