一種基于圖像識(shí)別的電視節(jié)目識(shí)別方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于圖像識(shí)別的電視節(jié)目識(shí)別方法和系統(tǒng)，所述方法包括：S1，視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并發(fā)送到圖像處理服務(wù)器；S2，圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表；S3，移動(dòng)終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值到圖像處理服務(wù)器；S4，圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對(duì)，確定當(dāng)前電視頻道的頻道ID；S5，移動(dòng)終端根據(jù)頻道ID確定當(dāng)前直播視頻所屬節(jié)目。本發(fā)明能提高圖像識(shí)別的準(zhǔn)確率和效率，抗干擾能力強(qiáng)。
【專利說明】一種基于圖像識(shí)別的電視節(jié)目識(shí)別方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于圖像識(shí)別的電視節(jié)目識(shí)別方法和系統(tǒng)，屬于圖像內(nèi)容識(shí)別和電視互動(dòng)社交領(lǐng)域。

【背景技術(shù)】
[0002]隨著三網(wǎng)融合的推進(jìn)，IPTV日益普及，尤其是OTT平臺(tái)及智能電視的快速發(fā)展，觀眾收視習(xí)慣日益多樣化。為積極有效應(yīng)對(duì)全媒體多屏融合的市場競爭，廣電行業(yè)相關(guān)企事業(yè)單位正積極有效利用外部資源，充分發(fā)揮各自優(yōu)勢，開拓思路，努力創(chuàng)新，提供更多增值業(yè)務(wù)及新媒體應(yīng)用，提升現(xiàn)有用戶的ARPU值及用戶黏度，并在新業(yè)務(wù)與新運(yùn)營模式上進(jìn)行積極探索與嘗試。
[0003]電視互動(dòng)社交應(yīng)用系統(tǒng)，作為以廣電有線網(wǎng)絡(luò)為基礎(chǔ)的一款服務(wù)于電視終端用戶的互聯(lián)網(wǎng)應(yīng)用業(yè)務(wù)，一方面滿足了廣電網(wǎng)絡(luò)運(yùn)營商發(fā)展基礎(chǔ)收視業(yè)務(wù)的需求，一方面滿足了用戶及時(shí)方便獲取海量電視信息資源的需求。此應(yīng)用業(yè)務(wù)可以通過手機(jī)、PAD等終端為用戶提供節(jié)目導(dǎo)視、社交、商務(wù)、娛樂等綜合信息推送與互動(dòng)服務(wù)，實(shí)現(xiàn)跨屏導(dǎo)視、點(diǎn)播控制、互動(dòng)共享及電視購物等手機(jī)與電視交互的業(yè)務(wù)模式，打造適合不同用戶需求的手機(jī)互動(dòng)電視資訊業(yè)務(wù)，吸引更多年輕用戶回歸到電視。
[0004]目前，在用戶參與電視節(jié)目互動(dòng)方面，除了傳統(tǒng)的熱線電話、短信參與等方式，還出現(xiàn)了基于聲音感知的參與方式，但是基于直播視頻識(shí)別的非現(xiàn)場互動(dòng)參與方式，目前還相對(duì)缺乏。因而，如果能讓用戶通過移動(dòng)終端攝像設(shè)備，拍攝并發(fā)送實(shí)時(shí)直播視頻圖像，在服務(wù)后臺(tái)進(jìn)行圖像識(shí)別，判斷用戶正在參與該節(jié)目，并且推送互動(dòng)參與內(nèi)容，將極大改善用戶的互動(dòng)參與體驗(yàn)。
[0005]而現(xiàn)有的電視節(jié)目圖像識(shí)別技術(shù)，一般都是提取電視畫面中的電視臺(tái)臺(tái)標(biāo)和頻道名稱來進(jìn)行識(shí)別，確定用戶正在參與的電視節(jié)目，但這種方法在實(shí)際應(yīng)用過程中很難有好的效果。根據(jù)實(shí)驗(yàn)，通常用戶與電視的距離為2-3米或更遠(yuǎn)，在這樣的距離條件下手機(jī)拍攝的電視畫面中的電視臺(tái)臺(tái)標(biāo)和頻道名稱會(huì)非常小，拍攝光線差、拍攝視角造成的偏差也會(huì)導(dǎo)致拍攝畫面不清晰，這幾種情況下采集的圖像并不適合將其與服務(wù)器后臺(tái)中的頻道數(shù)據(jù)進(jìn)行比對(duì)分析，會(huì)導(dǎo)致識(shí)別的結(jié)果不準(zhǔn)確，常常需要反復(fù)拍攝多次進(jìn)行識(shí)別。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于，提供一種基于圖像識(shí)別的電視節(jié)目識(shí)別方法和系統(tǒng)，能夠提高圖像識(shí)別的準(zhǔn)確率和效率，并且抗干擾能力強(qiáng)。
[0007]為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案:一種基于圖像識(shí)別的電視節(jié)目識(shí)別方法，包括以下步驟:
[0008]SI，視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器；
[0009]S2，圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表，所述視頻圖像特征索引表主要包含視頻圖像特征值與頻道ID的對(duì)應(yīng)關(guān)系，即采集的某張圖像特征值屬于哪個(gè)頻道的；
[0010]S3，移動(dòng)終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值到圖像處理服務(wù)器；
[0011]S4，圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對(duì)，確定當(dāng)前電視頻道的頻道ID ;
[0012]S5，移動(dòng)終端根據(jù)當(dāng)前電視頻道的頻道ID確定當(dāng)前直播視頻所屬節(jié)目。
[0013]前述的基于圖像識(shí)別的電視節(jié)目識(shí)別方法中，步驟SI和步驟S3中所述提取視頻圖像特征值具體包括:
[0014]S11，利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像；
[0015]S12，利用SIFT算法對(duì)二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
[0016]前述的基于圖像識(shí)別的電視節(jié)目識(shí)別方法中，步驟S3具體包括:
[0017]S31，判斷移動(dòng)終端是否有方向傳感器，若有，則轉(zhuǎn)至步驟S32 ;若沒有，則轉(zhuǎn)至步驟 S33 ；
[0018]S32，判斷移動(dòng)終端是否有被舉起動(dòng)作，若有，則轉(zhuǎn)至步驟S33 ;若沒有，則重復(fù)步驟S32，直到檢測到移動(dòng)終端被舉起動(dòng)作為止；
[0019]S33，攝像頭開始對(duì)焦，待對(duì)焦完成，獲取當(dāng)前電視頻道的視頻圖像，并提取視頻圖像特征值；
[0020]S34，發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值數(shù)據(jù)到圖像處理服務(wù)器。
[0021]前述的基于圖像識(shí)別的電視節(jié)目識(shí)別方法中，圖像處理服務(wù)器有一個(gè)圖像識(shí)別線程池，線程池中有多個(gè)功能相同的線程，稱為圖像識(shí)別線程；每個(gè)圖像識(shí)別線程在一段時(shí)間內(nèi)(比如200ms，該時(shí)間取決于圖像處理服務(wù)器CPU的處理能力，CPU能力越強(qiáng)需要的時(shí)間越短)處理一個(gè)圖像識(shí)別請(qǐng)求。當(dāng)圖像處理服務(wù)器接收到多個(gè)用戶并發(fā)的圖像識(shí)別請(qǐng)求時(shí)，先進(jìn)行調(diào)度控制，再進(jìn)行圖像識(shí)別，所述調(diào)度控制具體為:圖像處理服務(wù)器內(nèi)的調(diào)度控制算法將多個(gè)用戶并發(fā)圖像識(shí)別請(qǐng)求按請(qǐng)求時(shí)間順序放入一個(gè)請(qǐng)求隊(duì)列中；監(jiān)測請(qǐng)求隊(duì)列和圖像識(shí)別線程池，若發(fā)現(xiàn)請(qǐng)求隊(duì)列中有未處理的圖像識(shí)別請(qǐng)求并且圖像識(shí)別線程池中有狀態(tài)為空閑的圖像識(shí)別線程時(shí)，則將請(qǐng)求時(shí)間最早的圖像識(shí)別請(qǐng)求分配給狀態(tài)為空閑的圖像識(shí)別線程，從請(qǐng)求隊(duì)列中移除此請(qǐng)求，將此圖像識(shí)別線程的狀態(tài)改為忙；一旦圖像識(shí)別線程處理完請(qǐng)求后將立即回到圖像識(shí)別線程池，并把狀態(tài)改為“空閑”，等待調(diào)度控制算法分配新的圖像識(shí)別請(qǐng)求。
[0022]前述的基于圖像識(shí)別的電視節(jié)目識(shí)別方法中，步驟S4具體包括:
[0023]S41，根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8?12條候選視頻圖像特征值；
[0024]S42，根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值；
[0025]S43，根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對(duì)應(yīng)的頻道ID，返回該頻道ID到移動(dòng)終端。
[0026]優(yōu)選的，所述步驟S41中，根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的10條候選視頻圖像特征值。
[0027]前述的基于圖像識(shí)別的電視節(jié)目識(shí)別方法中，步驟S5具體為:移動(dòng)終端根據(jù)圖像處理服務(wù)器返回的頻道ID，確定當(dāng)前發(fā)送的視頻圖像所屬的頻道，自動(dòng)調(diào)用電視節(jié)目互動(dòng)服務(wù)器的電子節(jié)目菜單確定當(dāng)前直播視頻所屬節(jié)目。
[0028]一種實(shí)現(xiàn)前述方法的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)，包括:
[0029]圖像采集服務(wù)器，用于通過視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器；
[0030]圖像特征索引表模塊，用于圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表；
[0031]電視圖像采集模塊，用于移動(dòng)終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值到圖像處理服務(wù)器；
[0032]圖像識(shí)別模塊，用于圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對(duì)，確定當(dāng)前電視頻道的頻道ID ;
[0033]節(jié)目確定模塊，用于移動(dòng)終端根據(jù)當(dāng)前電視頻道的頻道ID確定當(dāng)前直播視頻所屬節(jié)目。
[0034]前述的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)中，圖像采集服務(wù)器包括:
[0035]視頻卡采集模塊，用于通過視頻采集卡對(duì)各電視頻道的直播節(jié)目視頻流進(jìn)行圖像數(shù)據(jù)采集；圖像預(yù)處理模塊，用于利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像，再利用SIFT算法對(duì)二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
[0036]前述的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)中，電視圖像采集模塊包括:
[0037]方向傳感器判斷模塊，用于判斷移動(dòng)終端是否有方向傳感器，若有，則轉(zhuǎn)至舉起動(dòng)作判斷模塊；若沒有，則轉(zhuǎn)至圖像特征值提取模塊；
[0038]舉起動(dòng)作判斷模塊，用于判斷移動(dòng)終端是否有被舉起動(dòng)作，若有，則轉(zhuǎn)至圖像特征值提取模塊；若沒有，則一直判斷是否有被舉起動(dòng)作，直到檢測到為止；
[0039]圖像特征值提取模塊，用于攝像頭開始對(duì)焦，待對(duì)焦完成，獲取視頻圖像，并提取視頻圖像特征值；
[0040]圖像識(shí)別請(qǐng)求模塊，用于向圖像處理服務(wù)器發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值數(shù)據(jù)。
[0041 ] 前述的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)中，還包括識(shí)別請(qǐng)求控制模塊，用于圖像處理服務(wù)器接收多個(gè)并發(fā)的圖像識(shí)別請(qǐng)求并對(duì)其進(jìn)行調(diào)度控制，啟動(dòng)圖像識(shí)別模塊；所述識(shí)別請(qǐng)求控制模塊包括:
[0042]隊(duì)列建立模塊，用于將多個(gè)用戶并發(fā)圖像識(shí)別請(qǐng)求按請(qǐng)求時(shí)間順序放入一個(gè)請(qǐng)求隊(duì)列中；
[0043]監(jiān)測模塊，用于監(jiān)測請(qǐng)求隊(duì)列是否有未處理的圖像識(shí)別請(qǐng)求，以及圖像識(shí)別線程池中是否有狀態(tài)為空閑的圖像識(shí)別線程；
[0044]請(qǐng)求分配模塊，用于當(dāng)發(fā)現(xiàn)請(qǐng)求隊(duì)列中有未處理的圖像識(shí)別請(qǐng)求并且圖像識(shí)別線程池中有狀態(tài)為空閑的圖像識(shí)別線程時(shí)，將請(qǐng)求時(shí)間最早的圖像識(shí)別請(qǐng)求分配給狀態(tài)為空閑的圖像識(shí)別線程，從請(qǐng)求隊(duì)列中移除此請(qǐng)求，將此圖像識(shí)別線程的狀態(tài)改為忙。
[0045]前述的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)中，圖像識(shí)別模塊包括:
[0046]粗配模塊，用于根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8?12條候選視頻圖像特征值；
[0047]精配模塊，用于根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值；
[0048]對(duì)比模塊，用于根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對(duì)應(yīng)的頻道ID，返回該頻道ID到移動(dòng)終端。
[0049]前述的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)中，所述節(jié)目確定模塊，用于移動(dòng)終端根據(jù)圖像處理服務(wù)器返回的頻道ID，確定當(dāng)前發(fā)送的視頻圖像所屬的頻道，自動(dòng)調(diào)用電視節(jié)目互動(dòng)服務(wù)器的電子節(jié)目菜單確定當(dāng)前直播視頻所屬節(jié)目。
[0050]與現(xiàn)有技術(shù)相比，本發(fā)明應(yīng)用于數(shù)字化電視領(lǐng)域，通過視頻卡實(shí)時(shí)采集電視直播節(jié)目視頻圖像，運(yùn)用局部圖像特征描述及匹配技術(shù)對(duì)圖像進(jìn)行識(shí)別，并與用戶移動(dòng)終端發(fā)送的節(jié)目圖像進(jìn)行比對(duì)，來識(shí)別用戶正在觀看哪個(gè)頻道的哪個(gè)電視節(jié)目。
[0051]本發(fā)明沒有使用電視臺(tái)臺(tái)標(biāo)或頻道名稱進(jìn)行圖像比對(duì)，而是將移動(dòng)終端拍攝的整幅圖像與索引表中的整幅圖像進(jìn)行對(duì)比，因此能夠抵抗以下干擾因素:1)拍攝距離遠(yuǎn)而造成的圖像??；2)拍攝時(shí)光線差造成的圖像明暗度問題；3)拍攝視角造成的圖像偏差；抗干擾能力強(qiáng)。
[0052]在圖像比對(duì)過程中，采用“粗配”和“精配”兩個(gè)階段，“粗配”耗時(shí)少，從大量后臺(tái)服務(wù)器采集到的各個(gè)電視頻道的圖像中迅速篩選出很少一部分與移動(dòng)終端發(fā)送過來的圖像相似的圖像，作為候選圖像；粗配完成后，將進(jìn)行耗時(shí)較多的精配，精配即把移動(dòng)終端發(fā)送來的圖像與粗選出來的多個(gè)候選圖像一一進(jìn)行精細(xì)的比對(duì)，這樣可以大大提高算法運(yùn)行的速度。在比對(duì)過程中，考慮到一張電視畫面圖像不一定能確保服務(wù)器比對(duì)成功，為此在預(yù)先設(shè)定的時(shí)間段內(nèi)(即用戶能容忍等待的時(shí)間段內(nèi))，如果一次比對(duì)不成功，移動(dòng)終端還會(huì)接著發(fā)第二張電視畫面圖像給服務(wù)器用于比對(duì)，由此提高了算法的強(qiáng)壯性，使得比對(duì)成功的概率大大提高。假設(shè)有100個(gè)頻道，對(duì)于每個(gè)頻道，圖像采集服務(wù)器每秒采集8幀圖像，在I秒內(nèi)系統(tǒng)將采集800幀圖像。對(duì)于移動(dòng)終端發(fā)來的一個(gè)圖像識(shí)別請(qǐng)求，考慮兩個(gè)延時(shí)因素:第一個(gè)延時(shí)是電視信號(hào)與圖像采集服務(wù)器的電視信號(hào)之間可能有延時(shí)；第二個(gè)延時(shí)是移動(dòng)終端發(fā)送拍攝圖像到圖像處理服務(wù)器過程中的網(wǎng)絡(luò)傳輸延時(shí)(必然因素)。為了提高圖像比對(duì)成功率，圖像處理服務(wù)器必須將移動(dòng)終端發(fā)來的圖像與服務(wù)器中某一段時(shí)間內(nèi)的所有圖像進(jìn)行比對(duì)，假設(shè)取時(shí)間段為60秒(根據(jù)以往的實(shí)驗(yàn)，對(duì)于國內(nèi)的電視及網(wǎng)絡(luò)狀況，延遲產(chǎn)生的時(shí)間段可能在5?70秒)，這就意味著圖像處理服務(wù)器在圖像識(shí)別時(shí)需要將一張拍攝圖像與服務(wù)器中的48000張圖像進(jìn)行比對(duì)，而對(duì)于目前市場流行的服務(wù)器而言，這樣的比對(duì)通常需要消耗至少幾十分鐘甚至更長時(shí)間。而采用本發(fā)明后，從拍攝視頻圖像到獲得確定的頻道ID —般僅需要2?5秒，因此通過這樣一個(gè)從粗到精的圖像比對(duì)過程，既保證了系統(tǒng)的執(zhí)行速度，又保證系統(tǒng)的選取準(zhǔn)確率。
[0053]本發(fā)明是一種除傳統(tǒng)的熱線電話、短信參與等方式外的電視節(jié)目非現(xiàn)場互動(dòng)參與方式，它極大改善用戶的電視互動(dòng)參與體驗(yàn)。用戶可以借助身邊的移動(dòng)終端的攝像設(shè)備，發(fā)送實(shí)時(shí)直播視頻圖像，在服務(wù)后臺(tái)通過圖像識(shí)別，判斷用戶正在參與該節(jié)目，并且推送互動(dòng)參與內(nèi)容，非現(xiàn)場實(shí)時(shí)地參與電視節(jié)目互動(dòng)，拓展電視節(jié)目的有趣性和參與感，提高電視節(jié)目收視率，使其作為用戶與電視節(jié)目互動(dòng)的一種現(xiàn)實(shí)和有效的實(shí)現(xiàn)途徑，可以建立一個(gè)統(tǒng)一的電視節(jié)目互動(dòng)平臺(tái)，實(shí)現(xiàn)與傳統(tǒng)的電視節(jié)目對(duì)接，具有巨大的市場價(jià)值。

【專利附圖】

【附圖說明】
[0054]圖1是本發(fā)明實(shí)施例1的方法流程圖；
[0055]圖2是本發(fā)明實(shí)施例1的電視圖像采集流程圖；
[0056]圖3是本發(fā)明實(shí)施例1的移動(dòng)終端圖像識(shí)別請(qǐng)求流程圖；
[0057]圖4是本發(fā)明實(shí)施例1的圖像識(shí)別流程圖；
[0058]圖5是本發(fā)明實(shí)施例2的系統(tǒng)結(jié)構(gòu)示意圖；
[0059]圖6是本發(fā)明實(shí)施例2的電視圖像采集模塊的結(jié)構(gòu)示意圖；
[0060]圖7是本發(fā)明實(shí)施例2的識(shí)別請(qǐng)求控制模塊的結(jié)構(gòu)示意圖；
[0061]圖8是本發(fā)明實(shí)施例2的圖像識(shí)別模塊的結(jié)構(gòu)示意圖。
[0062]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步的說明。

【具體實(shí)施方式】
[0063]本發(fā)明實(shí)施例1:一種基于圖像識(shí)別的電視節(jié)目識(shí)別方法，如圖1所示，包括以下步驟:
[0064]SI，通過視頻采集卡對(duì)各電視頻道的直播節(jié)目視頻流進(jìn)行每秒N幀的圖像采集，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器(如圖2所示)；
[0065]S2，圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表；
[0066]S3，移動(dòng)終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值到圖像處理服務(wù)器；
[0067]S4，圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對(duì)，確定當(dāng)前電視頻道的頻道ID ;
[0068]S5，移動(dòng)終端根據(jù)圖像處理服務(wù)器返回的頻道ID，確定當(dāng)前發(fā)送的視頻圖像所屬的頻道，自動(dòng)調(diào)用電視節(jié)目互動(dòng)服務(wù)器的電子節(jié)目菜單(EPG)確定當(dāng)前直播視頻所屬節(jié)目。
[0069]所述步驟SI中N的取值根據(jù)實(shí)際需要而定，N越大則采集的圖像越密集，對(duì)后續(xù)的頻道圖像識(shí)別越有利，但N越大會(huì)消耗服務(wù)器越多的CPU和內(nèi)存資源，也為頻道圖像識(shí)別帶來更大的代價(jià)，因此在實(shí)際應(yīng)用中，必須綜合考慮可接受的頻道識(shí)別成功率和硬件代價(jià)這兩個(gè)因素，尋找一個(gè)折中的取值。假設(shè)視頻的幀率為每秒25幀，則N可以取I和25之間的任一整數(shù)。
[0070]所述步驟SI和步驟S3中所述提取視頻圖像特征值具體包括:
[0071]Sll，利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像；
[0072]S12，利用SIFT算法對(duì)二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
[0073]所述步驟S2中，索引表的更新時(shí)間與視頻采集卡采集直播節(jié)目圖像的時(shí)間是一致的，也是每秒N幀。
[0074]如圖3所示，所述步驟S3具體包括:
[0075]S31，判斷移動(dòng)終端是否有方向傳感器，若有，則轉(zhuǎn)至步驟S32 ;若沒有，則轉(zhuǎn)至步驟 S33 ；
[0076]S32，判斷移動(dòng)終端是否有被舉起動(dòng)作，若有，則轉(zhuǎn)至步驟S33 ;若沒有，則重復(fù)步驟S32，直到檢測到移動(dòng)終端被舉起動(dòng)作為止；
[0077]S33，攝像頭開始對(duì)焦，待對(duì)焦完成，獲取當(dāng)前電視頻道的視頻圖像，并提取視頻圖像特征值；
[0078]S34，發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值數(shù)據(jù)到圖像處理服務(wù)器。
[0079]所述步驟S32中，移動(dòng)終端是否有被舉起動(dòng)作可通過移動(dòng)終端中的重力傳感器輔助判斷，即:讀取重力傳感器X軸、y軸、Z軸三個(gè)方向的數(shù)據(jù)，通過這三個(gè)數(shù)據(jù)來判斷是否被舉起。
[0080]圖像處理服務(wù)器有一個(gè)圖像識(shí)別線程池，線程池中有多個(gè)功能相同的線程，稱為圖像識(shí)別線程；每個(gè)圖像識(shí)別線程在一段時(shí)間內(nèi)(比如200ms，該時(shí)間取決于圖像處理服務(wù)器CPU的處理能力，CPU能力越強(qiáng)需要的時(shí)間越短)處理一個(gè)圖像識(shí)別請(qǐng)求。當(dāng)圖像處理服務(wù)器接收到多個(gè)用戶并發(fā)的圖像識(shí)別請(qǐng)求時(shí)，先進(jìn)行調(diào)度控制，再進(jìn)行圖像識(shí)別。所述調(diào)度控制具體為:圖像處理服務(wù)器內(nèi)的調(diào)度控制算法將多個(gè)用戶并發(fā)圖像識(shí)別請(qǐng)求按請(qǐng)求時(shí)間順序放入一個(gè)請(qǐng)求隊(duì)列中；監(jiān)測請(qǐng)求隊(duì)列和圖像識(shí)別線程池，若發(fā)現(xiàn)請(qǐng)求隊(duì)列中有未處理的圖像識(shí)別請(qǐng)求并且圖像識(shí)別線程池中有狀態(tài)為空閑的圖像識(shí)別線程時(shí)，則將請(qǐng)求時(shí)間最早的圖像識(shí)別請(qǐng)求分配給狀態(tài)為空閑的圖像識(shí)別線程，從請(qǐng)求隊(duì)列中移除此請(qǐng)求，將此圖像識(shí)別線程的狀態(tài)改為忙；一旦圖像識(shí)別線程處理完請(qǐng)求后將立即回到圖像識(shí)別線程池，并把狀態(tài)改為“空閑”，等待調(diào)度控制算法分配新的圖像識(shí)別請(qǐng)求。
[0081]如圖4所示，經(jīng)過圖像識(shí)別請(qǐng)求調(diào)度控制處理后，啟動(dòng)圖像識(shí)別模塊，所述步驟S4具體包括:
[0082]S41，根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8、9、10、11或12 (優(yōu)選是10條)條候選視頻圖像特征值；
[0083]S42，根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值；
[0084]S43，根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對(duì)應(yīng)的頻道ID，返回該頻道ID到移動(dòng)終端。
[0085]所述步驟S41中，圖像粗配是為了快速查找視頻圖像特征索引表中的相似圖像集，通過將局部視覺特征集合轉(zhuǎn)化為視覺詞匯，建立樹形結(jié)構(gòu)的分層聚類模型，利用分頻詞匯關(guān)鍵詞檢索技術(shù)的特點(diǎn)，將視覺特征轉(zhuǎn)化為視覺詞匯，在匹配過程中無需遍歷所有節(jié)點(diǎn)，大大減少了查詢時(shí)間，提升了系統(tǒng)性能。
[0086]所述步驟S42中，圖像精配是利用局部特征精確匹配相似圖像集，確定最終匹配結(jié)果，即:通過兩兩比較局部特征點(diǎn)集合，計(jì)算所有視覺特征的相似度并對(duì)其進(jìn)行幾何校驗(yàn)，獲取相似度最高的圖像，并輸出結(jié)果。
[0087]本發(fā)明實(shí)施例2:—種實(shí)現(xiàn)實(shí)施例1的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)，如圖5所示，包括:
[0088]圖像采集服務(wù)器，用于通過視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器；
[0089]圖像特征索引表模塊，用于圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表；
[0090]電視圖像采集模塊，用于移動(dòng)終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值到圖像處理服務(wù)器；
[0091]圖像識(shí)別模塊，用于圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對(duì)，確定當(dāng)前電視頻道的頻道ID ;
[0092]節(jié)目確定模塊，用于終端根據(jù)圖像處理服務(wù)器返回的頻道ID，確定當(dāng)前發(fā)送的視頻圖像所屬的頻道，自動(dòng)調(diào)用電視節(jié)目互動(dòng)服務(wù)器的電子節(jié)目菜單確定當(dāng)前直播視頻所屬
-H-* 口
T N ο
[0093]所述圖像采集服務(wù)器包括:
[0094]視頻卡采集模塊，用于通過視頻采集卡對(duì)各電視頻道的直播節(jié)目視頻流進(jìn)行圖像數(shù)據(jù)采集；圖像預(yù)處理模塊，用于利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像，再利用SIFT算法對(duì)二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
[0095]如圖6所示，所述電視圖像采集模塊包括:
[0096]方向傳感器判斷模塊，用于判斷移動(dòng)終端是否有方向傳感器，若有，則轉(zhuǎn)至舉起動(dòng)作判斷模塊；若沒有，則轉(zhuǎn)至圖像特征值提取模塊；
[0097]舉起動(dòng)作判斷模塊，用于判斷移動(dòng)終端是否有被舉起動(dòng)作，若有，則轉(zhuǎn)至圖像特征值提取模塊；若沒有，則一直判斷是否有被舉起動(dòng)作，直到檢測到為止；
[0098]圖像特征值提取模塊，用于攝像頭開始對(duì)焦，待對(duì)焦完成，獲取視頻圖像，并提取視頻圖像特征值；
[0099]圖像識(shí)別請(qǐng)求模塊，用于向圖像處理服務(wù)器發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值數(shù)據(jù)。
[0100]系統(tǒng)還包括識(shí)別請(qǐng)求控制模塊，用于圖像處理服務(wù)器接收多個(gè)并發(fā)的圖像識(shí)別請(qǐng)求并對(duì)其進(jìn)行調(diào)度控制，啟動(dòng)圖像識(shí)別模塊；如圖7所示，所述識(shí)別請(qǐng)求控制模塊包括:
[0101]隊(duì)列建立模塊，用于將多個(gè)用戶并發(fā)圖像識(shí)別請(qǐng)求按請(qǐng)求時(shí)間順序放入一個(gè)請(qǐng)求隊(duì)列中；
[0102]監(jiān)測模塊，用于監(jiān)測請(qǐng)求隊(duì)列是否有未處理的圖像識(shí)別請(qǐng)求，以及圖像識(shí)別線程池中是否有狀態(tài)為空閑的圖像識(shí)別線程；
[0103]請(qǐng)求分配模塊，用于當(dāng)發(fā)現(xiàn)請(qǐng)求隊(duì)列中有未處理的圖像識(shí)別請(qǐng)求并且圖像識(shí)別線程池中有狀態(tài)為空閑的圖像識(shí)別線程時(shí)，將請(qǐng)求時(shí)間最早的圖像識(shí)別請(qǐng)求分配給狀態(tài)為空閑的圖像識(shí)別線程，從請(qǐng)求隊(duì)列中移除此請(qǐng)求，將此圖像識(shí)別線程的狀態(tài)改為忙。
[0104]如圖8所示，所述圖像識(shí)別模塊包括:
[0105]粗配模塊，用于根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8?12條候選視頻圖像特征值；
[0106]精配模塊，用于根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值；
[0107]對(duì)比模塊，用于根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對(duì)應(yīng)的頻道ID，返回該頻道ID到移動(dòng)終端。
[0108]其中，該系統(tǒng)的網(wǎng)絡(luò)架構(gòu)中還涉及到了以下設(shè)備:
[0109](I)圖像采集服務(wù)器
[0110]主要負(fù)責(zé)從視頻采集卡采集圖像，同時(shí)對(duì)采集的圖像進(jìn)行預(yù)處理，提取圖像特征并發(fā)送給圖像處理服務(wù)器。
[0111](2)圖像處理服務(wù)器
[0112]圖像處理服務(wù)器包括兩部分:應(yīng)用服務(wù)器和識(shí)別服務(wù)器。應(yīng)用服務(wù)器負(fù)責(zé)接收來自移動(dòng)終端的圖像識(shí)別請(qǐng)求，解析請(qǐng)求并轉(zhuǎn)發(fā)給識(shí)別服務(wù)器，并接收頻道識(shí)別結(jié)果最終返回給手機(jī)用戶；識(shí)別服務(wù)器負(fù)責(zé)處理來自用戶發(fā)起的頻道識(shí)別請(qǐng)求并把結(jié)果返回給應(yīng)用服務(wù)器。
[0113](3)移動(dòng)終端
[0114]移動(dòng)設(shè)備客戶端應(yīng)用主要包括互動(dòng)參模塊和電視圖像采集模塊?；?dòng)參與模塊主要提供用戶與電視節(jié)目互動(dòng)功能，諸如投票功能，評(píng)論和抽獎(jiǎng)等。電視圖像采集模塊主要提供通過手機(jī)攝像頭實(shí)時(shí)拍攝電視節(jié)目視頻圖像，抽取圖像局部特征值，并且向圖像處理服務(wù)器發(fā)送圖像識(shí)別請(qǐng)求；并且把圖像處理服務(wù)器識(shí)別的結(jié)果告訴互動(dòng)參與模塊。
[0115](4)電視節(jié)目互動(dòng)內(nèi)容服務(wù)器
[0116]提供一個(gè)電視節(jié)目互動(dòng)內(nèi)容平臺(tái)，為手機(jī)電視節(jié)目互動(dòng)應(yīng)用提供內(nèi)容和配置服務(wù)。
[0117]通過此系統(tǒng)網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)了用戶通過移動(dòng)終端應(yīng)用與電視的節(jié)目實(shí)時(shí)互動(dòng)。
【權(quán)利要求】
1.一種基于圖像識(shí)別的電視節(jié)目識(shí)別方法，其特征在于，包括以下步驟: 31，視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器； 32，圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表； 33，移動(dòng)終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值到圖像處理服務(wù)器； 34，圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對(duì)，確定當(dāng)前電視頻道的頻道10 ； 35，移動(dòng)終端根據(jù)當(dāng)前電視頻道的頻道10確定當(dāng)前直播視頻所屬節(jié)目。
2.根據(jù)權(quán)利要求1所述的基于圖像識(shí)別的電視節(jié)目識(shí)別方法，其特征在于，步驟51和步驟33中所述提取視頻圖像特征值具體包括: 311，利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像； 312，利用31冗算法對(duì)二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
3.根據(jù)權(quán)利要求1或2所述的基于圖像識(shí)別的電視節(jié)目識(shí)別方法，其特征在于，步驟83具體包括: 3 31，判斷移動(dòng)終端是否有方向傳感器，若有，則轉(zhuǎn)至步驟3 3 2 ；若沒有，則轉(zhuǎn)至步驟833 ； 332，判斷移動(dòng)終端是否有被舉起動(dòng)作，若有，則轉(zhuǎn)至步驟333 ；若沒有，則重復(fù)步驟332，直到檢測到移動(dòng)終端被舉起動(dòng)作為止； 333，攝像頭開始對(duì)焦，待對(duì)焦完成，獲取當(dāng)前電視頻道的視頻圖像，并提取視頻圖像特征值； 334，發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值數(shù)據(jù)到圖像處理服務(wù)器。
4.根據(jù)權(quán)利要求1或3所述的基于圖像識(shí)別的電視節(jié)目識(shí)別方法，其特征在于:當(dāng)圖像處理服務(wù)器接收到多個(gè)用戶并發(fā)的圖像識(shí)別請(qǐng)求時(shí)，先進(jìn)行調(diào)度控制，再進(jìn)行圖像識(shí)別，所述調(diào)度控制具體為:將多個(gè)用戶并發(fā)圖像識(shí)別請(qǐng)求按請(qǐng)求時(shí)間順序放入一個(gè)請(qǐng)求隊(duì)列中；監(jiān)測請(qǐng)求隊(duì)列和圖像識(shí)別線程池，若發(fā)現(xiàn)請(qǐng)求隊(duì)列中有未處理的圖像識(shí)別請(qǐng)求并且圖像識(shí)別線程池中有狀態(tài)為空閑的圖像識(shí)別線程時(shí)，則將請(qǐng)求時(shí)間最早的圖像識(shí)別請(qǐng)求分配給狀態(tài)為空閑的圖像識(shí)別線程，從請(qǐng)求隊(duì)列中移除此請(qǐng)求，將此圖像識(shí)別線程的狀態(tài)改為忙。
5.根據(jù)權(quán)利要求1所述的基于圖像識(shí)別的電視節(jié)目識(shí)別方法，其特征在于，步驟34具體包括: 341，根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出8?12條候選視頻圖像特征值； 342，根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值； 343，根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對(duì)應(yīng)的頻道10，返回該頻道10到移動(dòng)終端。
6.一種實(shí)現(xiàn)權(quán)利要求1?5任意一項(xiàng)所述方法的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)，其特征在于，包括: 圖像采集服務(wù)器，用于通過視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器； 圖像特征索引表模塊，用于圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表； 電視圖像采集模塊，用于移動(dòng)終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值到圖像處理服務(wù)器； 圖像識(shí)別模塊，用于圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對(duì)，確定當(dāng)前電視頻道的頻道10 ； 節(jié)目確定模塊，用于移動(dòng)終端根據(jù)當(dāng)前電視頻道的頻道10確定當(dāng)前直播視頻所屬節(jié)目。
7.根據(jù)權(quán)利要求6所述的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)，其特征在于，圖像采集服務(wù)器包括: 視頻卡采集模塊，用于通過視頻采集卡對(duì)各電視頻道的直播節(jié)目視頻流進(jìn)行圖像數(shù)據(jù)采集；圖像預(yù)處理模塊，用于利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像，再利用算法對(duì)二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
8.根據(jù)權(quán)利要求6或7所述的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)，其特征在于，電視圖像采集模塊包括: 方向傳感器判斷模塊，用于判斷移動(dòng)終端是否有方向傳感器，若有，則轉(zhuǎn)至舉起動(dòng)作判斷模塊；若沒有，則轉(zhuǎn)至圖像特征值提取模塊； 舉起動(dòng)作判斷模塊，用于判斷移動(dòng)終端是否有被舉起動(dòng)作，若有，則轉(zhuǎn)至圖像特征值提取模塊；若沒有，則一直判斷是否有被舉起動(dòng)作，直到檢測到為止； 圖像特征值提取模塊，用于攝像頭開始對(duì)焦，待對(duì)焦完成，獲取視頻圖像，并提取視頻圖像特征值； 圖像識(shí)別請(qǐng)求模塊，用于向圖像處理服務(wù)器發(fā)送圖像識(shí)別請(qǐng)求和視頻圖像特征值數(shù)據(jù)。
9.根據(jù)權(quán)利要求6或8所述的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)，其特征在于:還包括識(shí)別請(qǐng)求控制模塊，用于圖像處理服務(wù)器接收多個(gè)并發(fā)的圖像識(shí)別請(qǐng)求并對(duì)其進(jìn)行調(diào)度控制，啟動(dòng)圖像識(shí)別模塊；所述識(shí)別請(qǐng)求控制模塊包括: 隊(duì)列建立模塊，用于將多個(gè)用戶并發(fā)圖像識(shí)別請(qǐng)求按請(qǐng)求時(shí)間順序放入一個(gè)請(qǐng)求隊(duì)列中； 監(jiān)測模塊，用于監(jiān)測請(qǐng)求隊(duì)列是否有未處理的圖像識(shí)別請(qǐng)求，以及圖像識(shí)別線程池中是否有狀態(tài)為空閑的圖像識(shí)別線程； 請(qǐng)求分配模塊，用于當(dāng)發(fā)現(xiàn)請(qǐng)求隊(duì)列中有未處理的圖像識(shí)別請(qǐng)求并且圖像識(shí)別線程池中有狀態(tài)為空閑的圖像識(shí)別線程時(shí)，將請(qǐng)求時(shí)間最早的圖像識(shí)別請(qǐng)求分配給狀態(tài)為空閑的圖像識(shí)別線程，從請(qǐng)求隊(duì)列中移除此請(qǐng)求，將此圖像識(shí)別線程的狀態(tài)改為忙。
10.根據(jù)權(quán)利要求6所述的基于圖像識(shí)別的電視節(jié)目識(shí)別系統(tǒng)，其特征在于，圖像識(shí)別豐吳塊包括: 粗配模塊，用于根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8?12條候選視頻圖像特征值； 精配模塊，用于根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值； 對(duì)比模塊，用于根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對(duì)應(yīng)的頻道10，返回該頻道10到移動(dòng)終端。
【文檔編號(hào)】H04N21/258GK104506946SQ201410729624
【公開日】2015年4月8日 申請(qǐng)日期:2014年12月4日 優(yōu)先權(quán)日:2014年12月4日
【發(fā)明者】孔炯, 馬小駿 申請(qǐng)人:南京閱視網(wǎng)絡(luò)科技有限公司