專利名稱：基于體感技術(shù)的電子演示系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于體感設(shè)備技術(shù)領(lǐng)域，具體涉及一種基于體感技術(shù)的電子演示系統(tǒng)及其電子演示方法。
背景技術(shù)：
課堂和辦公環(huán)境離不開演示，以前黑板是最主要的演示道具，而現(xiàn)在多媒體技術(shù)的發(fā)展使黑板漸漸不能滿足多媒體展示的要求，從而促使其替代品電子白板的出現(xiàn)。目前，就目前電子白板的應(yīng)用技術(shù)而言，主要是應(yīng)用觸摸屏技術(shù)的電子白板。通常是將觸摸屏放置在顯示設(shè)備上，演示者通過手或觸摸筆操控電子白板，使電子白板感應(yīng)到手或觸摸筆的運(yùn)動(dòng)，完成對(duì)電子白板的操控。但是，這種技術(shù)需要配備大尺寸，高分辨率的觸摸屏和顯示設(shè)備，對(duì)設(shè)備的要求高且成本較大。并且演示者只能通過觸摸屏來實(shí)現(xiàn)對(duì)電子白板的操控而不能脫離觸摸設(shè)備。用戶只能通過觸摸完成操作，在一定程度上限制了演示者的演示風(fēng)格和肢體動(dòng)作，從而影響了演示的最佳效果。本發(fā)明因此而來。

發(fā)明內(nèi)容
本發(fā)明目的在于提供一種基于體感技術(shù)的電子演示系統(tǒng)，解決了現(xiàn)有技術(shù)中演示系統(tǒng)只能通過觸摸屏進(jìn)行演示，限制了演示者的演示風(fēng)格和肢體動(dòng)作，影響演示的最佳效果O為了解決現(xiàn)有技術(shù)中的這些問題，本發(fā)明提供的技術(shù)方案是:—種基于體感技術(shù)的電子演不系統(tǒng)，包括用于實(shí)時(shí)向被演不者展不內(nèi)容的屏幕、將演示者的演示內(nèi)容投放到屏幕上的投影裝置，其特征在于所述系統(tǒng)還包括用于捕獲演示者動(dòng)作的體感裝置、與投影裝置連接的信息處理裝置，所述體感裝置將捕獲演示者動(dòng)作的圖像傳輸給信息處理裝置，所述信息處理裝置根據(jù)演示者動(dòng)作的圖像判斷演示者演示指令和演示內(nèi)容，并通過投影裝置將演示內(nèi)容實(shí)時(shí)投放到屏幕上進(jìn)行實(shí)時(shí)演示。優(yōu)選的,所述體感裝置為Kinect設(shè)備；所述Kinect設(shè)備通過Kinect攝像頭拍攝演示者的視頻圖像，并將演示者的視頻圖像通過usb數(shù)據(jù)線傳送至信息處理裝置。優(yōu)選的，所述信息處理裝置為計(jì)算機(jī)，所述計(jì)算機(jī)通過視頻輸出線與投影裝置連接，接收從Kinect設(shè)備傳來的視頻圖像，并對(duì)視頻圖像進(jìn)行處理獲取演示者的演示指令和演示內(nèi)容。優(yōu)選的，所述投影裝置選用投影儀。優(yōu)選的，所述屏幕設(shè)置在投影裝置的對(duì)側(cè)，并與投影裝置的投影范圍相適應(yīng)。本發(fā)明的另一目的在于提供了一種采用所述的電子演示系統(tǒng)進(jìn)行電子演示方法，其特征在于所述方法包括以下步驟:(I)通過體感裝置捕獲演示者動(dòng)作；(2)信息處理裝置根據(jù)演示者動(dòng)作的圖像判斷演示者演示指令和演示內(nèi)容，并通過投影裝置將演示內(nèi)容實(shí)時(shí)投放到屏幕上進(jìn)行實(shí)時(shí)演示。
優(yōu)選的，所述方法中演示指令為根據(jù)演示者動(dòng)作的圖像判斷的演示者手勢指令，根據(jù)演示者手勢指令判斷用戶需要實(shí)時(shí)演示的內(nèi)容。本發(fā)明是為了克服傳統(tǒng)電子白板的不足，提供體積更加小，成本更加廉價(jià)，配合演示效果更好的電子白板產(chǎn)品，利用Kinect體感攝像頭的輔助，演示者站在攝像頭前通過手勢操控電子白板，完成演示功能。具體的基于體感技術(shù)的電子演示系統(tǒng)由Kinect攝像頭、計(jì)算機(jī)、投影儀、屏幕組成，其中Kinect攝像頭用于拍攝包含深度的視頻圖像，并將所述視頻圖像通過usb數(shù)據(jù)線傳送至計(jì)算機(jī)。計(jì)算機(jī)設(shè)備用于接受視頻圖像，并利用OpenNI自然用戶界面開發(fā)包，解析所獲得的視頻圖像和其中包含的深度信息，追蹤用戶的手部位置。并利用手勢分割識(shí)別算法，分割手部圖像并獲得手勢。計(jì)算機(jī)響應(yīng)控制手勢，產(chǎn)生控制命令控制畫筆在電子白板上繪圖，并控制投影儀把影響投射在屏幕上。投影儀用于將計(jì)算機(jī)生成的即時(shí)圖像實(shí)時(shí)地投放出來。屏幕用于實(shí)時(shí)地向觀眾展示圖像。本發(fā)明有效地提高了多媒體演示的多樣性，將多媒體技術(shù)、圖形圖像處理技術(shù)、機(jī)器視覺技術(shù)有機(jī)結(jié)合起來，替代黑板的作用，大大豐富了現(xiàn)場演示的最佳效果。相對(duì)于現(xiàn)有技術(shù)中的方案，本發(fā)明的優(yōu)點(diǎn)是:相比現(xiàn)有技術(shù)中觸摸屏電子白板，本發(fā)明使用的Kinect設(shè)備具有體積小，成本低廉的優(yōu)點(diǎn)。相比現(xiàn)有技術(shù)中觸摸屏電子白板，本發(fā)明使用的計(jì)算機(jī)、投影儀和屏幕設(shè)備目前已經(jīng)廣泛配置在演示場合，如教室、禮堂等，不需要另行購買安裝。其更加適合目前的演示領(lǐng)域。本發(fā)明使用的Kinect設(shè)備使得演示者可以使用手勢操控電子白板，從一定程度上豐富了演示者的動(dòng)作，并且演示者不需要離開觀眾去操作觸摸屏。在演示效果上講，本發(fā)明較之觸摸屏電子白板擁有更好的現(xiàn)場效果。


下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述:圖1為基于Kinect的電子演示系統(tǒng)的結(jié)構(gòu)示意圖；其中有Kinect設(shè)備I,計(jì)算機(jī)2，投影儀3，屏幕4，USB連接線5，視頻連接線6和用戶(演講者)7。
具體實(shí)施例方式以下結(jié)合具體實(shí)施例對(duì)上述方案做進(jìn)一步說明。應(yīng)理解，這些實(shí)施例是用于說明本發(fā)明而不限于限制本發(fā)明的范圍。實(shí)施例中采用的實(shí)施條件可以根據(jù)具體廠家的條件做進(jìn)一步調(diào)整，未注明的實(shí)施條件通常為常規(guī)實(shí)驗(yàn)中的條件。實(shí)施例如圖1所示，本實(shí)施例中基于Kinect的電子演示系統(tǒng)(電子白板)的組成包括:Kinect設(shè)備I,計(jì)算機(jī)2,投影儀3和屏幕4。Kinect設(shè)備I用于拍攝包含深度信息的視頻圖像,通過USB線5連接在計(jì)算機(jī)2上。Kinect設(shè)備I放置在面對(duì)演示者的位置，并限制演示者的活動(dòng)范圍是Kinect設(shè)備I水平視角范圍小于57。，垂直視角范圍小于43。和傳感深度范圍在1.2米到3.5米之間。計(jì)算機(jī)2用于接收從Kinect設(shè)備I傳來的視頻圖像，并利用OpenNI開發(fā)包對(duì)視頻圖像進(jìn)行處理，獲得手勢并產(chǎn)生相應(yīng)命令，通過USB連接線5與Kinect設(shè)備I連接。然后控制投影儀3實(shí)時(shí)投放畫面，通過視頻輸出線6與投影儀3連接。投影儀3用于實(shí)時(shí)投放畫面，通過視頻輸出線與計(jì)算機(jī)2連接。屏幕4用于向觀眾展示畫面，放置在投影儀3的正面。采用的視頻圖像處理過程按照以下步驟:1、采用基于模糊連通性的區(qū)域分割算法分割手掌圖像:基于模糊邏輯的區(qū)域連通性，相鄰像素之間的連通量根據(jù)其深度值之間的差異取介于0-1之間的值。前后相鄰的像素列構(gòu)成一條路徑，任意一條路徑的連通量由路徑上相鄰像素的連通量最小值。任意兩點(diǎn)之間連通量定義為，兩點(diǎn)間所有路徑的連通量之最大值。通過動(dòng)態(tài)規(guī)劃算法可以遞歸地求出任何兩點(diǎn)之間的連通量。2、對(duì)包含深度信息的視頻圖像進(jìn)行處理，利用OpenNI庫中的人體識(shí)別功能支持，得到人體的掌心節(jié)點(diǎn)三維位置。3、計(jì)算圖像上所有像素點(diǎn)與掌心的連通量:將掌心位置定義為種子點(diǎn)，構(gòu)造圖像上全部點(diǎn)與種子點(diǎn)的連通值。4、對(duì)連通值取適當(dāng)閾值后可以分割出手掌圖像。采用的手勢識(shí)別過程包括以下流程:1、計(jì)算手掌圖形的Hu不變矩，并利用Hu不變矩之特征識(shí)別手勢:Hu不變矩中包含了手掌形狀的一般特征，并且具有平移和旋轉(zhuǎn)不變性，對(duì)于手勢識(shí)別來說是比較慣用的一種特征。2、從視頻流中提取模板手勢:利用OpenNI庫的支持，可以錄制出包含深度信息的視頻圖像資料保存下來。通過對(duì)視頻流中的手勢進(jìn)行自動(dòng)截取，有目的地進(jìn)行分類整理之后，產(chǎn)生一個(gè)模板手勢庫。本實(shí)例中，對(duì)演示中比較常用的動(dòng)作場景進(jìn)行了錄制，包括:播放幻燈片、書寫文字、繪制圖像、移動(dòng)光標(biāo)等動(dòng)作場景。然后將從這些視頻流中截取到的手勢進(jìn)行歸類，儲(chǔ)存下來作為模板手勢庫，總共有大約10種手勢，每種手勢大約150幅模板圖像。3、利用隨機(jī)森林算法訓(xùn)練手勢分類器:使用圖像處理庫OpenCV的機(jī)器學(xué)習(xí)模塊，利用隨機(jī)森林算法對(duì)模板手勢庫中的圖像訓(xùn)練，生成了一個(gè)手勢分類器。4、利用訓(xùn)練完成后的手勢分類器對(duì)新輸入的手掌圖像進(jìn)行識(shí)別，測試分類器的準(zhǔn)確率。反復(fù)測試并調(diào)整部分參數(shù)后，直到準(zhǔn)確率達(dá)到70%以上。5、使用訓(xùn)練完成的分類器進(jìn)行手勢的識(shí)別。本實(shí)施例中，繪圖功能部分包含以下流程:1、對(duì)輸入的手勢產(chǎn)生手勢響應(yīng)命令:繪圖實(shí)例中的手勢包含以下5種:“下筆”、“抬筆”、“擦除”、“更新”和“保存”。每種手勢由預(yù)先訓(xùn)練完成的手勢分類器進(jìn)行識(shí)別。對(duì)識(shí)別的結(jié)果，計(jì)算機(jī)產(chǎn)生相應(yīng)的響應(yīng)命令，例如:在識(shí)別到“下筆”手勢時(shí)，計(jì)算機(jī)會(huì)開始記錄之后時(shí)間內(nèi)手掌的移動(dòng)位置，直到識(shí)別到“抬筆”手勢后，產(chǎn)生一條完成的路徑。2、繪圖操作由“下筆”手勢開始，以“抬筆”手勢結(jié)束:在識(shí)別到“下筆”手勢時(shí)，計(jì)算機(jī)會(huì)開始記錄之后時(shí)間內(nèi)手掌的移動(dòng)位置，直到識(shí)別到“抬筆”手勢后，產(chǎn)生一條完成的軌跡。計(jì)算機(jī)會(huì)對(duì)軌跡進(jìn)行平滑化，以減少人為原因產(chǎn)生的抖動(dòng)，對(duì)繪制時(shí)的軌跡進(jìn)行美化。利用指數(shù)平滑算法，可以對(duì)軌跡進(jìn)行實(shí)時(shí)的平滑。在識(shí)別到“抬筆”手勢之后，計(jì)算機(jī)在屏幕上繪制出平滑后的軌跡，完成一次繪圖操作。3、擦除操作以“擦除”手勢開始，以“抬筆”手勢結(jié)束:在識(shí)別到“擦除”手勢時(shí)，計(jì)算機(jī)會(huì)開始記錄之后時(shí)間內(nèi)手掌的移動(dòng)位置，并實(shí)時(shí)地對(duì)圖像上這些位置上的像素點(diǎn)進(jìn)行擦除操作，直到識(shí)別到“抬筆”手勢。4、更新操作在“更新”手勢后完成:識(shí)別到“更新”手勢之后，計(jì)算機(jī)會(huì)將屏幕上已經(jīng)繪制的圖形清除掉。5、保存操作在“保存”手勢后完成:識(shí)別到“保存”手勢之后，計(jì)算機(jī)會(huì)將屏幕上已經(jīng)繪制的圖形保存在文件目錄下。本發(fā)明可以在軟件、固件、硬件或者其結(jié)合中實(shí)現(xiàn)。本發(fā)明可以包括在具有計(jì)算機(jī)可用介質(zhì)的物品中。該介質(zhì)在其中具有例如計(jì)算機(jī)可讀程序代碼裝置或者邏輯(例如指令，代碼，命令等)來提供和使用本發(fā)明的能力。該制造物品可作為計(jì)算機(jī)系統(tǒng)的一部分或者單獨(dú)出售。所有上述變化被認(rèn)為是要求保護(hù)的本發(fā)明的一部分。上述實(shí)例只為說明本發(fā)明的技術(shù)構(gòu)思及特點(diǎn)，其目的在于讓熟悉此項(xiàng)技術(shù)的人是能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，并不能以此限制本發(fā)明的保護(hù)范圍。凡根據(jù)本發(fā)明精神實(shí)質(zhì)所做的等效變換或修飾，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于體感技術(shù)的電子演不系統(tǒng)，包括用于實(shí)時(shí)向被演不者展不內(nèi)容的屏幕、將演示者的演示內(nèi)容投放到屏幕上的投影裝置，其特征在于所述系統(tǒng)還包括用于捕獲演示者動(dòng)作的體感裝置、與投影裝置連接的信息處理裝置，所述體感裝置將捕獲演示者動(dòng)作的圖像傳輸給信息處理裝置，所述信息處理裝置根據(jù)演示者動(dòng)作的圖像判斷演示者演示指令和演示內(nèi)容，并通過投影裝置將演示內(nèi)容實(shí)時(shí)投放到屏幕上進(jìn)行實(shí)時(shí)演示。
2.根據(jù)權(quán)利要求1所述的基于體感技術(shù)的電子演示系統(tǒng)，其特征在于所述體感裝置為Kinect設(shè)備；所述Kinect設(shè)備通過Kinect攝像頭拍攝演示者的視頻圖像，并將演示者的視頻圖像通過usb數(shù)據(jù)線傳送至信息處理裝置。
3.根據(jù)權(quán)利要求2所述的基于體感技術(shù)的電子演示系統(tǒng)，其特征在于所述信息處理裝置為計(jì)算機(jī)，所述計(jì)算機(jī)通過視頻輸出線與投影裝置連接，接收從Kinect設(shè)備傳來的視頻圖像，并對(duì)視頻圖像進(jìn)行處理獲取演示者的演示指令和演示內(nèi)容。
4.根據(jù)權(quán)利要求2所述的基于體感技術(shù)的電子演示系統(tǒng)，其特征在于所述投影裝置選用投影儀。
5.根據(jù)權(quán)利要求2所述的基于體感技術(shù)的電子演示系統(tǒng)，其特征在于所述屏幕設(shè)置在投影裝置的對(duì)側(cè)，并與投影裝置的投影范圍相適應(yīng)。
6.一種采用權(quán)利要求1所述的電子演示系統(tǒng)進(jìn)行電子演示方法，其特征在于所述方法包括以下步驟: (O通過體感裝置捕獲演示者動(dòng)作； (2)信息處理裝置根據(jù)演示者動(dòng)作的圖像判斷演示者演示指令和演示內(nèi)容，并通過投影裝置將演示內(nèi)容實(shí)時(shí)投放到屏幕上進(jìn)行實(shí)時(shí)演示。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于所述方法中演示指令為根據(jù)演示者動(dòng)作的圖像判斷的演示者手勢指令，根據(jù)演示者手勢指令判斷用戶需要實(shí)時(shí)演示的內(nèi)容。
全文摘要
本發(fā)明公開了一種基于體感技術(shù)的電子演示系統(tǒng)，包括用于實(shí)時(shí)向被演示者展示內(nèi)容的屏幕、將演示者的演示內(nèi)容投放到屏幕上的投影裝置，其特征在于所述系統(tǒng)還包括用于捕獲演示者動(dòng)作的體感裝置、與投影裝置連接的信息處理裝置，所述體感裝置將捕獲演示者動(dòng)作的圖像傳輸給信息處理裝置，所述信息處理裝置根據(jù)演示者動(dòng)作的圖像判斷演示者演示指令和演示內(nèi)容，并通過投影裝置將演示內(nèi)容實(shí)時(shí)投放到屏幕上進(jìn)行實(shí)時(shí)演示。該系統(tǒng)將多媒體技術(shù)、圖形圖像處理技術(shù)、機(jī)器視覺技術(shù)有機(jī)結(jié)合起來，替代黑板的作用，大大豐富了現(xiàn)場演示的最佳效果。
文檔編號(hào)G06F3/01GK103207674SQ201310091358
公開日2013年7月17日 申請(qǐng)日期2013年3月21日 優(yōu)先權(quán)日2013年3月21日
發(fā)明者吳俊敏, 黃治峰, 姜文斌 申請(qǐng)人:蘇州展科光電科技有限公司