專利名稱：攝像頭視頻圖像處理的系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像特效處理系統(tǒng)，特別是對攝像頭的視頻圖像 進(jìn)行特效處理的系統(tǒng)及其方法。
背景技術(shù)：
計(jì)算機(jī)系統(tǒng)的應(yīng)用已經(jīng)越來越廣泛，功能越來越全面。通用USB 接口使得計(jì)算機(jī)(PC)可以外接多種硬件，進(jìn)一步擴(kuò)展PC的功能，滿 足用戶的多種需求。其中，攝像頭作為人們常用的外接硬件之一，在 多種應(yīng)用程序，如QQ， MSN中得到直接的應(yīng)用。攝像頭所攝取的圖像 往往需要進(jìn)行進(jìn)一步處理，擴(kuò)展其功能。
圖1是一種現(xiàn)有技術(shù)的對攝像頭的視頻圖像進(jìn)行特效處理的系統(tǒng) 和方法。如圖l所示在圖1中，系統(tǒng)分為硬件、內(nèi)核層、應(yīng)用層。攝 像頭作為外接硬件，通過通用USB接口與系統(tǒng)相連，系統(tǒng)通過內(nèi)核層 中的USB驅(qū)動(dòng)、攝像頭驅(qū)動(dòng)來讀取攝取的圖像。然后，由內(nèi)核層中的 過濾層驅(qū)動(dòng)(filter driver )對視頻圖像進(jìn)行特效處理。通過該過濾 層驅(qū)動(dòng)，可以對視頻圖像進(jìn)行各種特效處理，如加入相框，調(diào)整背景 色，視頻跟蹤等。最后，經(jīng)過特效處理后的視頻圖像經(jīng)DirectShow 組件傳送給應(yīng)用層的各種視頻應(yīng)用程序，如視頻捕捉程序、視頻聊天 軟件等。
但是，在內(nèi)核層進(jìn)行攝像頭的視頻圖像特效處理對于系統(tǒng)的穩(wěn)定 有潛在的風(fēng)險(xiǎn)。并且，由于過濾層驅(qū)動(dòng)設(shè)置在唯一的數(shù)據(jù)路徑之中， 因此只要用戶選中了使用攝像頭，不管他是否期望擁有特效，是否選 擇進(jìn)行特效處理，過濾層驅(qū)動(dòng)都會(huì)一直在內(nèi)存中加載，占用系統(tǒng)資源。 因此，以過濾層驅(qū)動(dòng)的方式進(jìn)行特效處理，風(fēng)險(xiǎn)很大而靈活度很低， 具有明顯的不足。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中視頻特效處理系統(tǒng)穩(wěn)定性差、
靈活度低的缺陷，利用孩i軟新開發(fā)的DSF (device simulation framework )技術(shù)，提供一種全新的攝像頭視頻圖像特效處理的系統(tǒng)及 其方法。
根據(jù)本發(fā)明的第 一方面，提供了 一種攝像頭視頻圖像處理系統(tǒng)， 包括
真實(shí)攝像頭系統(tǒng)，包括真實(shí)攝像頭、第一驅(qū)動(dòng)程序模塊和第一 DirectShow組件；
虛擬攝像頭系統(tǒng)，包括利用DSF構(gòu)架模擬出的虛擬攝像頭、笫二 驅(qū)動(dòng)程序模塊和第二DirectShow組件；
視頻處理模塊，從第一DirectShow組件讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行特 效處理，傳送給虛擬攝像頭。
優(yōu)選地，所述視頻處理模塊位于系統(tǒng)的應(yīng)用層。
優(yōu)選地，所述視頻處理模塊由DSF構(gòu)架下的動(dòng)態(tài)鏈接庫實(shí)現(xiàn)。
在一個(gè)優(yōu)選實(shí)施方案中，所述視頻處理模塊包括取數(shù)單元和特效 處理單元，取數(shù)單元從第一 DirectShow組件讀取圖像數(shù)據(jù)，特效處理 單元對該圖像數(shù)據(jù)進(jìn)行特效處理，傳送給虛擬攝像頭。
優(yōu)選地，第一驅(qū)動(dòng)程序模塊、第一DirectShow組件、第二驅(qū)動(dòng)程 序模塊和第二 DirectShow組件為windows系統(tǒng)標(biāo)準(zhǔn)組件。
根據(jù)本發(fā)明的第二方面，提供了 一種攝像頭視頻圖像處理的方法， 包括
從真實(shí)攝像頭讀取數(shù)據(jù)，經(jīng)由第一驅(qū)動(dòng)程序模塊和第一 DirectShow組件處理；
利用DSF構(gòu)架模擬出虛擬攝像頭；
從第一DirectShow組件讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行特效處理，傳送給 虛擬攝像頭。
優(yōu)選地，所述方法的最后一個(gè)步驟在系統(tǒng)的應(yīng)用層中進(jìn)行。 根據(jù)本發(fā)明的第三方面，提供一種虛擬攝像頭系統(tǒng)，包括 利用DSF構(gòu)架模擬出的虛擬攝像頭，驅(qū)動(dòng)程序模塊和DirectShow 組件；以及
視頻處理模塊，從另一DirectShow組件讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行特 效處理，傳送給虛擬凝j象頭，所述另一DirectShow組件在真實(shí)攝像頭 系統(tǒng)中。根據(jù)本發(fā)明，為攝像頭視頻圖像特效處理提供了 一種全新的系統(tǒng) 和方法。視頻特效的處理獨(dú)立于真實(shí)攝像頭系統(tǒng)的數(shù)據(jù)路徑，使得系 統(tǒng)更為穩(wěn)定。用戶可以在使用真實(shí)攝像頭和虛擬攝像頭之間進(jìn)行選擇， 來決定是否需要擁有視頻圖像特效，由此為系統(tǒng)提供了很大的靈活性。


下面將參照附圖對本發(fā)明的具體實(shí)施方案進(jìn)行更詳細(xì)的說明，其中..
圖l是現(xiàn)有技術(shù)的視頻特效處理系統(tǒng)； 圖2是本發(fā)明系統(tǒng)結(jié)構(gòu)的示意圖； 圖3是驅(qū)動(dòng)程序模塊的結(jié)構(gòu)圖；以及 圖4是視頻處理模塊的結(jié)構(gòu)圖。
具體實(shí)施例方式
本發(fā)明利用設(shè)備模擬開發(fā)構(gòu)架DSF (Device Simulation Framework)技術(shù)提供一種全新的視頻特效處理系統(tǒng)。DSF是微軟新推 出的設(shè)備模擬開發(fā)構(gòu)架，它提供了一個(gè)用軟件在Windows系統(tǒng)里模擬 硬件設(shè)備的體系?，F(xiàn)有技術(shù)中利用DSF已經(jīng)可以實(shí)現(xiàn)多種硬件設(shè)備的 軟件模擬，如虛擬USB鍵盤、虛擬USB攝像頭等。
圖2為本發(fā)明視頻特效處理系統(tǒng)結(jié)構(gòu)的示意圖。如圖2所示，整 個(gè)系統(tǒng)在縱向上用虛線分為硬件層、內(nèi)核層和應(yīng)用層，應(yīng)用層又分為 用戶層面和應(yīng)用程序?qū)用?。在橫向上，系統(tǒng)被分為真實(shí)攝像頭系統(tǒng)、 虛擬才H像頭系統(tǒng)和它們之間的DSF動(dòng)態(tài)鏈接庫(dynamic link library, dll)系統(tǒng)。系統(tǒng)中各模塊/組件/程序之間用箭頭相連，表示圖像數(shù)據(jù) 的數(shù)據(jù)路徑及其方向。
首先，描述真實(shí)攝像頭系統(tǒng)。
攝像頭是計(jì)算機(jī)系統(tǒng)的外接硬件，位于系統(tǒng)中的硬件層，為整個(gè) 視頻特效處理系統(tǒng)提供原始的圖像數(shù)據(jù)。攝像頭可以通過USB或其他 通用接口接入系統(tǒng)后。
第一驅(qū)動(dòng)程序模塊位于系統(tǒng)的內(nèi)核層，用于從攝像頭讀取數(shù)據(jù)， 進(jìn)行格式處理。圖3示出驅(qū)動(dòng)程序模塊的結(jié)構(gòu)。如圖3所示，驅(qū)動(dòng)程 序模塊包括接口驅(qū)動(dòng)300和攝像頭系統(tǒng)文件302。其中，接口驅(qū)動(dòng)300
用于控制接口的數(shù)據(jù)讀取和交換。經(jīng)由該接口的數(shù)據(jù)被接口驅(qū)動(dòng)300 讀取之后，由攝像頭系統(tǒng)文件302進(jìn)行識別、格式處理。在一個(gè)實(shí)施 方案中，攝像頭是通過通用USB接口接入系統(tǒng)的，相應(yīng)地，所述接口 驅(qū)動(dòng)300是USB驅(qū)動(dòng)。攝像頭系統(tǒng)文件主要包括Windows系統(tǒng)自帶的 USB Video Class設(shè)備類通用驅(qū)動(dòng)程序usbvideo. sys或申請人自己研 發(fā)的Camera驅(qū)動(dòng)程序VMcam. sys等常規(guī)攝像頭驅(qū)動(dòng)程序文件。通用接 口驅(qū)動(dòng)和才聶像頭系統(tǒng)文件已經(jīng)預(yù)先安裝在windows系統(tǒng)中。
回到圖2，視頻數(shù)據(jù)經(jīng)由驅(qū)動(dòng)程序模塊讀取處理之后，通過 DirectShow組件與應(yīng)用程序?qū)崿F(xiàn)交互。
DirectShow是微軟公司提供的一套在Windows平臺上進(jìn)行流媒體 處理的開發(fā)包，為多媒體流的捕捉和回放提供支持。為了系統(tǒng)的穩(wěn)定 性，Windows操作系統(tǒng)對硬件操作進(jìn)行了隔離，應(yīng)用程序一般不能直 接訪問硬件，而Direct Show組件的設(shè)計(jì)正是為應(yīng)用程序提供了一套 統(tǒng)一的應(yīng)用程序接口，來實(shí)現(xiàn)與內(nèi)核層的交互。運(yùn)用DirectShow,就 可以很方便地從WDM驅(qū)動(dòng)的硬件上捕獲數(shù)據(jù)，進(jìn)行相應(yīng)處理乃至存儲(chǔ) 到文件中。
DirectShow組件工作于應(yīng)用層的用戶才莫式下，為石更件設(shè)計(jì)了包裝 過濾器(filter),來實(shí)現(xiàn)與硬件驅(qū)動(dòng)程序的交互。具體來說，對于采 用WDM驅(qū)動(dòng)程序的硬件，包括攝像頭，DirectShowi殳計(jì)了 KsProxy Filter ( Ksproxy. ax ) ， ^吏用該過濾器(fi Iter )控制石更件的驅(qū)動(dòng)程序。 針對攝像頭的視頻捕捉來說，DirectShow組件通過圖形過濾管理器 (Filter Graph Manager)來與上層應(yīng)用程序和下層的驅(qū)動(dòng)進(jìn)行聯(lián)系， 而上層的各種通用視頻捕捉預(yù)覽程序，如MSN, QQ等，都是基于Direct Show開發(fā)的，因此都默i人直接與DirectShow組件交換數(shù)據(jù)。
由DirectShow組件獲得的視頻數(shù)據(jù)可以直接送入S見頻應(yīng)用程序 中，供用戶直接控制使用。如此，視頻應(yīng)用程序獲得了不經(jīng)過特效處 理的攝像頭視頻數(shù)據(jù)。
為了實(shí)現(xiàn)視頻圖像的特效處理，本發(fā)明用Dll技術(shù)設(shè)計(jì)了視頻處 理模塊。該碎見頻處理模塊從真實(shí)攝像頭系統(tǒng)的DirectShow組件讀取視 頻數(shù)據(jù)，進(jìn)行特效處理。圖4示出視頻處理模塊的結(jié)構(gòu)。如圖4所示， 視頻處理模塊包括取數(shù)單元400和特效處理單元402。取數(shù)單元400 用于讀取DirectShow組件得到的視頻數(shù)據(jù)，將其傳送給特效處理單元 402。特效處理單元402可以是一些特效處理程序組，對圖像進(jìn)行各種 特效處理。特效處理的內(nèi)容可以有很多，比較簡單的例如給圖像加上 相框，將圖像旋轉(zhuǎn)一定角度，對圖像進(jìn)行灰度處理，改變背景顏色等 等。根據(jù)需要，也可以將現(xiàn)有技術(shù)中較為復(fù)雜的圖像分析處理方法引 入特效處理單元，例如可以采用人臉檢測跟蹤算法檢測圖像中的人臉， 并訓(xùn)練提取面部特征，對面部特征進(jìn)行定位跟蹤，對局部的面部特征 進(jìn)行處理等。特效處理單元402所包括的特效處理程序的功能可以根 據(jù)用戶需要的圖像特效內(nèi)容來設(shè)定。
回到圖2，視頻處理模塊處理之后的圖像數(shù)據(jù)被傳送至虛擬攝像頭 系統(tǒng)。
接下來，將描述虛擬攝像頭系統(tǒng)。
在虛擬攝像頭系統(tǒng)中，虛擬攝像頭模塊是在DSF構(gòu)架下通過一個(gè) 軟件模塊對攝像頭的模擬而實(shí)現(xiàn)的，位于系統(tǒng)中的內(nèi)核層。視頻處理 模塊和虛擬攝像頭模塊均在DSF運(yùn)行支持(DSF RunTime)的平臺下運(yùn) 行。DSF運(yùn)行支持也是通過dll實(shí)現(xiàn)。
DSF虛擬攝像頭模塊擁有與實(shí)際的視頻輸入設(shè)備完全一樣的接口 和功能，因此操作系統(tǒng)中的標(biāo)準(zhǔn)組件和用戶應(yīng)用程序都可以像從實(shí)際 攝像頭讀取數(shù)據(jù)一樣與該虛擬攝像頭交互。這樣，驅(qū)動(dòng)程序模塊就會(huì)
將該虛擬攝像頭認(rèn)為是真實(shí)的攝像頭，從而自動(dòng)從虛擬攝像頭讀取數(shù) 據(jù)。由于該虛擬攝像頭實(shí)際上并不存在，因此可以人為認(rèn)定在硬件層 有一個(gè)攝像頭模擬器提供了該攝像頭，以與真實(shí)攝像頭系統(tǒng)結(jié)構(gòu)相對 應(yīng)。
經(jīng)過虛擬攝像頭模塊處理的視頻數(shù)據(jù)送往第二驅(qū)動(dòng)程序模塊。 第二驅(qū)動(dòng)程序模塊開始，圖像數(shù)據(jù)的數(shù)據(jù)路徑與不進(jìn)行特效處理
的真實(shí)攝像頭系統(tǒng)中的數(shù)據(jù)路徑一致。也就是說，內(nèi)核層的第二驅(qū)動(dòng) 程序模塊從虛擬攝像頭模塊讀取數(shù)據(jù)，進(jìn)行格式處理；用戶模式下的 第二 DirectShow組件從第二驅(qū)動(dòng)程序模塊讀取數(shù)據(jù)，并完成與具體應(yīng) 用程序的交互。
由于虛擬攝像頭提供的已經(jīng)是經(jīng)過特效處理的視頻圖像數(shù)據(jù)，該 圖像數(shù)據(jù)經(jīng)過第二驅(qū)動(dòng)程序模塊、第二 DirectShow組件的常規(guī)處理之 后直接傳送給應(yīng)用程序，因此，應(yīng)用程序得到的就是具有特效的視頻 圖像。這樣，用戶在QQ， MSN等各種應(yīng)用程序的視頻窗口中都可以直接得到具有特效的視頻圖像。
虛擬攝像頭系統(tǒng)中的第二驅(qū)動(dòng)程序模塊和第二DirectShow組件 與真實(shí)攝像頭系統(tǒng)中是一樣的，但是在DSF構(gòu)架下，兩個(gè)系統(tǒng)各自獨(dú) 立地讀取和處理數(shù)據(jù)，互不影響。
在整個(gè)特效視頻處理系統(tǒng)中，數(shù)據(jù)在從真實(shí)攝像頭系統(tǒng)中的第一 DirectShow組件送出之后分為兩條數(shù)據(jù)路徑，第 一路徑直接指向應(yīng)用 程序，第二路徑經(jīng)由視頻處理模塊傳送至虛擬攝像頭系統(tǒng)。用戶可以 在兩條路徑之間進(jìn)行選擇。當(dāng)選擇使用真實(shí)攝像頭時(shí)，則數(shù)據(jù)沿第一 路徑傳送，用戶不擁有視頻特效；當(dāng)選擇使用虛擬攝像頭時(shí)，數(shù)據(jù)沿 第二路徑傳送，用戶使用的各種應(yīng)用程序中的視頻圖像都具有特效。
以上對本發(fā)明的具體描述旨在說明具體實(shí)施方案的實(shí)現(xiàn)方式，不 能理解為是對本發(fā)明的限制。本領(lǐng)域普通技術(shù)人員在本發(fā)明的教導(dǎo)下， 可以在詳述的實(shí)施方案的基礎(chǔ)上做出各種變體，這些變體均應(yīng)包含在 本發(fā)明的構(gòu)思之內(nèi)。本發(fā)明所要求保護(hù)的范圍僅由所述的權(quán)利要求書 進(jìn)行限定。
權(quán)利要求
1.一種攝像頭視頻圖像處理的系統(tǒng)，包括真實(shí)攝像頭系統(tǒng)，包括真實(shí)攝像頭、第一驅(qū)動(dòng)程序模塊和第一DirectShow組件；虛擬攝像頭系統(tǒng)，包括利用DSF構(gòu)架模擬出的虛擬攝像頭、第二驅(qū)動(dòng)程序模塊和第二DirectShow組件；視頻處理模塊，從第一DirectShow組件讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行特效處理，傳送給虛擬攝像頭。
2. 權(quán)利要求1的系統(tǒng)，其中所述視頻處理模塊位于系統(tǒng)應(yīng)用層。
3. 權(quán)利要求1的系統(tǒng)，其中所述視頻處理模塊由DSF構(gòu)架下的動(dòng) 態(tài)鏈接庫實(shí)現(xiàn)。
4. 權(quán)利要求1的系統(tǒng)，其中所述視頻處理模塊包括取數(shù)單元和特 效處理單元，取數(shù)單元從第一 DirectShow組件讀取圖^f象數(shù)據(jù)，特效處 理單元對該圖像數(shù)據(jù)進(jìn)行特效處理，傳送給虛擬攝像頭。
5. 權(quán)利要求1的系統(tǒng)，其中第一驅(qū)動(dòng)程序模塊、第一DirectShow 組件、第二驅(qū)動(dòng)程序模塊和第二 DirectShow組件為windows系統(tǒng)標(biāo)準(zhǔn) 組件。
6. —種攝像頭視頻圖像處理的方法，包括 從真實(shí)攝像頭讀取數(shù)據(jù)，經(jīng)由第一驅(qū)動(dòng)程序模塊和第一DirectShow組件處理；利用DSF構(gòu)架模擬出虛擬攝像頭；從第一 DirectShow組件讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行特效處理，傳送給 虛擬攝像頭。
7. 權(quán)利要求6的方法，其中從第一 DirectShow組件讀取數(shù)據(jù)，對 數(shù)據(jù)進(jìn)行特效處理，傳送給虛擬攝像頭的步驟在系統(tǒng)的應(yīng)用層進(jìn)行。
8. —種虛擬攝像頭系統(tǒng)，包括利用DSF構(gòu)架模擬出的虛擬攝像頭，驅(qū)動(dòng)程序模塊和DirectShow 組件；以及視頻處理才莫塊，從另一 DirectShow組件讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行特 效處理，傳送給虛擬攝像頭，所述另一 DirectShow組件在真實(shí)攝像頭 系統(tǒng)中。
全文摘要
本發(fā)明涉及一種攝像頭視頻圖像處理的系統(tǒng)，包括真實(shí)攝像頭系統(tǒng)，其包括真實(shí)攝像頭、第一驅(qū)動(dòng)程序模塊和第一DirectShow組件；虛擬攝像頭系統(tǒng)，其包括利用DSF構(gòu)架模擬出的虛擬攝像頭、第二驅(qū)動(dòng)程序模塊和第二DirectShow組件；以及視頻處理模塊，位于系統(tǒng)的應(yīng)用層，從第一DirectShow組件讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行處理，傳送給虛擬攝像頭。本發(fā)明還提供了攝像頭視頻圖像處理的方法。根據(jù)本發(fā)明的系統(tǒng)及其方法可以增強(qiáng)系統(tǒng)的穩(wěn)定性和靈活性。
文檔編號H04N5/225GK101179660SQ20071017926
公開日2008年5月14日 申請日期2007年12月12日 優(yōu)先權(quán)日2007年12月12日
發(fā)明者曹玉弟 申請人:北京中星微電子有限公司