本發(fā)明涉及計(jì)算機(jī)視覺與圖像識別技術(shù)領(lǐng)域，尤其涉及一種視頻交互方法及終端。

背景技術(shù)：

隨著移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展與快速普及，電子商務(wù)模式不斷地改變著人們傳統(tǒng)的消費(fèi)習(xí)慣與消費(fèi)行為。在開放的互聯(lián)網(wǎng)環(huán)境下，消費(fèi)者能夠越來越便捷地體驗(yàn)網(wǎng)上購物、電子支付以及線上到線下服務(wù)等。

目前消費(fèi)者網(wǎng)上購物的過程通常是：通過電腦或智能終端輸入所需商品的名稱，通過網(wǎng)絡(luò)搜索查找相關(guān)商品的信息，根據(jù)查找到的商品信息如商品價(jià)格、商品介紹、商家信息等確定是否購買相應(yīng)商品，確定后選擇購買并按指定的支付方式進(jìn)行付費(fèi)，從而完成購物過程。此種方式比傳統(tǒng)的實(shí)體店購物方式更為方便快捷，消費(fèi)者足不出戶便能夠選擇自己所需的商品和服務(wù)，一定程度上減少了消費(fèi)者購物所花費(fèi)的時(shí)間和精力，提升了消費(fèi)者的購物體驗(yàn)。但同時(shí)，現(xiàn)有的網(wǎng)上購物方式，消費(fèi)者需要主動(dòng)進(jìn)行商品的搜索，要求消費(fèi)者必須對該商品具有一定的了解和認(rèn)知才能夠準(zhǔn)確地在互聯(lián)網(wǎng)搜索到所需的商品，當(dāng)消費(fèi)者對某一商品的屬性認(rèn)知較少的時(shí)候，采用現(xiàn)有的網(wǎng)上購物方式普通消費(fèi)者并不能快速準(zhǔn)確地搜索到想要購買的商品，比如，消費(fèi)者在一部電影或一段視頻中看到一件心儀的商品，對該商品的品牌、名稱和類別等相關(guān)信息無從獲知時(shí)，通過現(xiàn)有的網(wǎng)上購物方式想要查找到該商品就會(huì)相對困難，從而影響用戶體驗(yàn)，顯然無法滿足用戶更進(jìn)一步的需求。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問題至少之一，本發(fā)明提供一種視頻交互方法及終端，實(shí)時(shí)接收并響應(yīng)用戶與視頻內(nèi)容的交互指令，通過圖像識別與信息檢索，自動(dòng)獲取視頻圖像中對象的相關(guān)信息，并將對象的相關(guān)信息疊加顯示于當(dāng)前視頻圖像中。

有鑒于此，本發(fā)明一方面提供一種視頻交互方法，其特征在于，包括：步 驟101，接收用戶的第一操作指令；步驟102，根據(jù)接收到的所述第一操作指令，對視頻當(dāng)前幀進(jìn)行圖像解析，識別所述視頻當(dāng)前幀圖像中的至少一個(gè)對象；步驟103，獲取所述對象的相關(guān)信息；步驟104，將所述對象相關(guān)信息疊加顯示于所述視頻當(dāng)前幀圖像中。

優(yōu)選地，所述步驟101具體為：接收用戶的第一操作指令，所述第一操作指令包括觸控指令、手勢指令和/或語音指令；或者，檢測用戶視線在所述視頻圖像中的焦點(diǎn)，根據(jù)所述用戶視線焦點(diǎn)確定所述第一操作指令。

優(yōu)選地，所述步驟102具體為：根據(jù)接收到的所述第一操作指令，對視頻當(dāng)前幀圖像中的至少一個(gè)對象區(qū)域進(jìn)行圖像解析，通過與預(yù)設(shè)的對象模型進(jìn)行特征匹配確定所述對象。

優(yōu)選地，所述步驟103具體為：通過網(wǎng)絡(luò)獲取所述對象的相關(guān)信息，所述對象的相關(guān)信息包括：屬性信息、商品信息和/或評價(jià)信息。

優(yōu)選地，所述步驟104之后，還包括：接收用戶對所述對象相關(guān)信息的第二操作指令。

本發(fā)明另一方面提供一種視頻交互終端，其特征在于，包括：指令接收模塊：用于接收用戶的第一操作指令；圖像識別模塊：用于根據(jù)接收到的所述第一操作指令，對視頻當(dāng)前幀進(jìn)行圖像解析，識別所述視頻當(dāng)前幀圖像中的至少一個(gè)對象；信息獲取模塊：用于獲取所述對象的相關(guān)信息；圖像顯示模塊：用于將所述對象相關(guān)信息疊加顯示于所述視頻當(dāng)前幀圖像中。

優(yōu)選地，所述指令接收模塊用于接收用戶的第一操作指令，所述第一操作指令包括觸控指令、手勢指令和/或語音指令；以及，所述指令接收模塊還用于檢測用戶視線在所述視頻圖像中的焦點(diǎn)，根據(jù)所述用戶視線焦點(diǎn)確定所述第一操作指令。

優(yōu)選地，所述圖像識別模塊根據(jù)接收到的所述第一操作指令，對視頻當(dāng)前幀圖像中的至少一個(gè)對象區(qū)域進(jìn)行圖像解析，通過與預(yù)設(shè)的對象模型進(jìn)行特征匹配確定所述對象。

優(yōu)選地，所述信息獲取模塊通過網(wǎng)絡(luò)獲取所述對象的相關(guān)信息，所述對象的相關(guān)信息包括：屬性信息、商品信息和/或評價(jià)信息。

優(yōu)選地，所述指令接收模塊還用于接收用戶對所述對象相關(guān)信息的第二操作指令。

本發(fā)明所提供的視頻交互方法及終端，通過接收用戶的操作指令對視頻圖像進(jìn)行解析，自動(dòng)識別視頻圖像中的對象物品，通過網(wǎng)絡(luò)查詢與該對象物品相關(guān)的信息，用戶無需主動(dòng)地辨識視頻中的物品和搜索物品的相關(guān)信息。同時(shí)，通過將對象物品的相關(guān)信息疊加顯示在視頻圖像中，用戶可以根據(jù)該對象物品的相關(guān)信息進(jìn)行后續(xù)的操作，比如購買該物品、對比同類物品或查看關(guān)聯(lián)物品等，有效地降低了用戶的操作復(fù)雜度，提高了用戶的操作效率，顯著地提升了用戶的使用體驗(yàn)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖：

圖1示出了本發(fā)明實(shí)施例視頻交互方法的流程圖；

圖2示出了本發(fā)明實(shí)施例視頻交互終端的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了能夠更清楚地理解本發(fā)明的目的、特征和優(yōu)點(diǎn)，下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明做進(jìn)一步的詳細(xì)描述。需要說明的是，在不沖突的情況下，本申請的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合。

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是，這僅僅是本發(fā)明的一些實(shí)施例，本發(fā)明還可以采用其他不同于在此描述的其他方式來實(shí)施，因此，本發(fā)明的保護(hù)范圍并不受下面公開的具體實(shí)施例的限制。

實(shí)施例一

圖1示出了本發(fā)明實(shí)施例視頻交互方法的流程圖。

如圖1所示，本發(fā)明實(shí)施例視頻交互方法，包括：步驟101，接收用戶的第一操作指令；步驟102，根據(jù)接收到的第一操作指令，對視頻當(dāng)前幀進(jìn)行圖像解析，識別視頻當(dāng)前幀圖像中的至少一個(gè)對象；步驟103，獲取對象的相關(guān)信息；步驟104，將所述對象相關(guān)信息疊加顯示于視頻當(dāng)前幀圖像中。

在上述技術(shù)方案中，所述步驟101具體為：接收用戶的第一操作指令，所述第一操作指令包括觸控指令、手勢指令和/或語音指令；或者，檢測用戶視線 在所述視頻圖像中的焦點(diǎn)，根據(jù)所述用戶視線焦點(diǎn)確定所述第一操作指令。

在該技術(shù)方案中，既可以通過接收用戶通過觸控指令、手勢指令和/或語音指令確定對視頻圖像中的某一區(qū)域或某一對象的選定操作；也可以檢測用戶視線在所述視頻圖像中的焦點(diǎn)，根據(jù)用戶視線焦點(diǎn)在所述視頻圖像中某一區(qū)域或某一對象停留的時(shí)間閾值，確定所述用戶對所述視頻圖像中的某一區(qū)域或某一對象的選定操作。

在上述技術(shù)方案中，所述步驟102具體為：根據(jù)接收到的所述第一操作指令，對視頻當(dāng)前幀圖像中的至少一個(gè)對象區(qū)域進(jìn)行圖像解析，通過與預(yù)設(shè)的對象模型進(jìn)行特征匹配確定圖像中的對象。

在該技術(shù)方案中，根據(jù)用戶對視頻圖像的選定操作，確定視頻當(dāng)前幀圖像中的至少一個(gè)對象區(qū)域，對該圖像區(qū)域進(jìn)行圖像解析，識別圖像中的對象特征，并將識別出的對象特征與預(yù)設(shè)的對象模型數(shù)據(jù)庫的對象模型進(jìn)行特征匹配，從而確定所述視頻圖像中的對象所對應(yīng)的物品。其中，對象模型數(shù)據(jù)庫可以預(yù)置在本地，也可以預(yù)設(shè)在特定服務(wù)器，通過網(wǎng)絡(luò)將待解析識別的圖像數(shù)據(jù)發(fā)送到服務(wù)器，服務(wù)器完成圖像解析識別之后將結(jié)果返回。

在上述技術(shù)方案中，所述步驟103具體為：通過網(wǎng)絡(luò)獲取所述對象的相關(guān)信息，所述對象的相關(guān)信息包括：屬性信息、商品信息和/或評價(jià)信息。

在該技術(shù)方案中，通過對視頻圖像進(jìn)行圖像解析識別確定所述對象后，可以進(jìn)一步通過網(wǎng)絡(luò)查詢獲取所述對象對應(yīng)物品的相關(guān)信息，例如，所述對象物品的屬性信息，包括名稱、分類、材質(zhì)、構(gòu)造等；所述對象物品的商品信息，包括價(jià)格、款型、性能、在售商家等；以及所述對象物品的評價(jià)信息、售后服務(wù)信息等。

在上述技術(shù)方案中，所述步驟104之后，還包括：接收用戶對所述對象相關(guān)信息的第二操作指令。

在該技術(shù)方案中，通過將對象物品的相關(guān)信息疊加顯示于視頻圖像的對應(yīng)區(qū)域，用戶能夠直觀地獲取視頻圖像中對象物品的相關(guān)信息，同時(shí)用戶可以對視頻圖像中顯示的對象物品相關(guān)信息進(jìn)行進(jìn)一步地操作，包括觸控操控、手勢操控或語音操控等，從而獲取所述對象物品相關(guān)信息的擴(kuò)展信息，例如，對象物品的同類物品信息；或者進(jìn)行與所述對象物品相關(guān)信息的有關(guān)操作，例如預(yù)先建立與網(wǎng)上商城的關(guān)聯(lián)接口，在所述對象物品相關(guān)信息中顯示網(wǎng)上商城信息， 用戶通過點(diǎn)擊該網(wǎng)上商城信息可以直接進(jìn)入網(wǎng)上商城完成對該對象物品的選購。

本發(fā)明實(shí)施例的視頻交互方法，通過接收用戶與視頻內(nèi)容的交互操作指令，對視頻圖像進(jìn)行解析，自動(dòng)識別視頻圖像中的對象物品，通過網(wǎng)絡(luò)查詢與該對象物品相關(guān)的信息，用戶無需主動(dòng)地辨識視頻中的物品和搜索物品的相關(guān)信息。同時(shí)，通過將對象物品的相關(guān)信息疊加顯示在視頻圖像中，用戶可以根據(jù)該對象物品的相關(guān)信息進(jìn)行后續(xù)的操作，比如購買該物品、對比同類物品或查看關(guān)聯(lián)物品等，有效地降低了用戶的操作復(fù)雜度，提高了用戶的操作效率，顯著地提升了用戶的使用體驗(yàn)。

實(shí)施例二

圖2示出了本發(fā)明實(shí)施例視頻交互終端的結(jié)構(gòu)示意圖。

如圖2所示，本發(fā)明實(shí)施例視頻交互終端200，包括：指令接收模塊202：用于接收用戶的第一操作指令；圖像識別模塊204：用于根據(jù)接收到的所述第一操作指令，對視頻當(dāng)前幀進(jìn)行圖像解析，識別所述視頻當(dāng)前幀圖像中的至少一個(gè)對象；信息獲取模塊206：用于獲取所述對象的相關(guān)信息；圖像顯示模塊208：用于將所述對象相關(guān)信息疊加顯示于所述視頻當(dāng)前幀圖像中。

在上述技術(shù)方案中，指令接收模塊202用于接收用戶的第一操作指令，所述第一操作指令包括觸控指令、手勢指令和/或語音指令；以及，指令接收模塊202還用于檢測用戶視線在所述視頻圖像中的焦點(diǎn)，根據(jù)所述用戶視線焦點(diǎn)確定所述第一操作指令。

在該技術(shù)方案中，指令接收模塊202既可以通過接收用戶通過觸控指令、手勢指令和/或語音指令確定對視頻圖像中的某一區(qū)域或某一對象進(jìn)行的選定操作；也可以檢測用戶視線在所述視頻圖像中的焦點(diǎn)，根據(jù)用戶視線焦點(diǎn)在視頻圖像中某一區(qū)域或某一對象停留的時(shí)間閾值，確定用戶對視頻圖像中的某一區(qū)域或某一對象的選定操作。

在上述技術(shù)方案中，圖像識別模塊204根據(jù)接收到的第一操作指令，對視頻當(dāng)前幀圖像中的至少一個(gè)對象區(qū)域進(jìn)行圖像解析，通過與預(yù)設(shè)的對象模型進(jìn)行特征匹配確定圖像中的對象。

在該技術(shù)方案中，圖像識別模塊204根據(jù)用戶對視頻圖像的選定操作，確定視頻當(dāng)前幀圖像中的至少一個(gè)對象區(qū)域，對該圖像區(qū)域進(jìn)行圖像解析，識別 圖像中的對象特征，并將識別出的對象特征與預(yù)設(shè)的對象模型數(shù)據(jù)庫中的對象模型進(jìn)行特征匹配，從而確定所述視頻圖像中的對象所對應(yīng)的物品。其中，對象對象模型數(shù)據(jù)庫可以預(yù)置在終端本地，也可以預(yù)設(shè)在特定服務(wù)器，圖像識別模塊204將待解析識別的圖像數(shù)據(jù)發(fā)送到服務(wù)器，并接收服務(wù)器返回的圖像解析識別結(jié)果。

在上述技術(shù)方案中，信息獲取模塊206通過網(wǎng)絡(luò)獲取所述對象的相關(guān)信息，所述對象的相關(guān)信息包括：屬性信息、商品信息和/或評價(jià)信息。

在該技術(shù)方案中，圖像識別模塊204對視頻圖像進(jìn)行圖像解析識別確定圖像中對象對應(yīng)的物品后，信息獲取模塊206通過網(wǎng)絡(luò)查詢獲取對象物品的相關(guān)信息，例如，對象物品的屬性信息，包括名稱、分類、材質(zhì)、構(gòu)造等；對象物品的商品信息，包括價(jià)格、款型、性能、在售商家等；以及對象物品的評價(jià)信息、售后服務(wù)信息等。

在上述技術(shù)方案中，指令接收模塊202還用于接收用戶對對象相關(guān)信息的第二操作指令。

在該技術(shù)方案中，圖像顯示模塊208將對象物品的相關(guān)信息疊加顯示于視頻圖像的對應(yīng)區(qū)域，用戶能夠在觀看視頻過程中直觀地獲取視頻圖像中對象物品的相關(guān)信息，同時(shí)用戶可以對視頻圖像中顯示的對象物品相關(guān)信息進(jìn)行進(jìn)一步地操作，包括觸控操控、手勢操控或語音操控等，從而獲取所述對象物品相關(guān)信息的擴(kuò)展信息，例如，通過點(diǎn)擊對象物品或?qū)ο笪锲返南嚓P(guān)信息，可以進(jìn)一步顯示對象物品的同類物品信息；或者通過手勢指令或語音指令進(jìn)行與所述對象物品相關(guān)信息的有關(guān)操作，例如預(yù)先建立與網(wǎng)上商城的關(guān)聯(lián)接口，在所述對象物品相關(guān)信息中顯示網(wǎng)上商城信息，用戶通過點(diǎn)擊該網(wǎng)上商城信息可以直接進(jìn)入網(wǎng)上商城完成對該對象物品的選購。

本發(fā)明所提供的視頻交互終端，通過接收用戶與視頻內(nèi)容的交互操作指令，對視頻圖像進(jìn)行解析，自動(dòng)識別視頻圖像中的對象物品，通過網(wǎng)絡(luò)查詢與該對象物品相關(guān)的信息，用戶無需主動(dòng)地辨識視頻中的物品和搜索物品的相關(guān)信息。同時(shí)，通過將對象物品的相關(guān)信息疊加顯示在視頻圖像中，用戶可以根據(jù)該對象物品的相關(guān)信息進(jìn)行后續(xù)的操作，比如購買該物品、對比同類物品或查看關(guān)聯(lián)物品等，有效地降低了用戶的操作復(fù)雜度，提高了用戶的操作效率，顯著地提升了用戶的使用體驗(yàn)。

上述本發(fā)明實(shí)施例視頻交互終端，可以是智能手機(jī)、平板電腦等智能移動(dòng)設(shè)備，也可以是智能眼鏡等可穿戴式智能設(shè)備，還可以是車載智能終端等車載式智能設(shè)備或者智能電視等智能家居設(shè)備。

再次聲明，本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。

本說明書(包括任何附加權(quán)利要求、摘要和附圖)中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個(gè)特征只是一系列等效或類似特征中的一個(gè)例子而已。

本發(fā)明并不局限于前述的具體實(shí)施方式。本發(fā)明可以擴(kuò)展到任何在本說明書中披露的新特征或任何新的組合，以及披露的任一新的方法或過程的步驟或任何新的組合。