本發(fā)明屬于視頻無線通信領(lǐng)域,更具體地,涉及一種基于協(xié)作性組群機(jī)制的視頻處理系統(tǒng)。
背景技術(shù):
近些年來,隨著通信和網(wǎng)絡(luò)技術(shù)的快速發(fā)展,例如無線傳感器網(wǎng)絡(luò),短距離無線通信和4g/5g蜂窩通信,物聯(lián)網(wǎng)正在成為一種能使智能城市和家居中的物體和人類交互的機(jī)制。作為一種興起的物聯(lián)網(wǎng)類型,多媒體物聯(lián)網(wǎng)系統(tǒng)整合圖像處理、計(jì)算機(jī)視覺和網(wǎng)絡(luò),包含攝像頭節(jié)點(diǎn)和物聯(lián)網(wǎng)服務(wù)器兩大主要部分,已經(jīng)廣泛應(yīng)用在監(jiān)控、自動行為分析和事件偵測。常見的多媒體物聯(lián)網(wǎng)系統(tǒng)處理框架分為兩種,一種是傳統(tǒng)視頻處理框架,另一種為基于邊緣計(jì)算的視頻處理框架。在這兩種視頻處理框架中,都包含了攝像頭節(jié)點(diǎn)和物聯(lián)網(wǎng)服務(wù)器,其中攝像頭節(jié)點(diǎn)都具備捕獲視頻圖像功能,物聯(lián)網(wǎng)服務(wù)器負(fù)責(zé)對視頻圖像進(jìn)行分析處理,例如特征匹配、目標(biāo)偵測。
傳統(tǒng)視頻處理框架,傳統(tǒng)視頻處理框架可分為兩種,分別為本地視頻處理框架和遠(yuǎn)端服務(wù)器視頻處理框架:本地視頻處理框架是指由攝像頭節(jié)點(diǎn)處預(yù)處理視頻任務(wù),例如視頻壓縮、特征提取,然后將預(yù)處理視頻結(jié)果傳輸給遠(yuǎn)端物聯(lián)網(wǎng)服務(wù)器進(jìn)行深入的視頻分析,例如特征匹配、目標(biāo)偵測;而在遠(yuǎn)端物聯(lián)網(wǎng)服務(wù)器視頻處理框架內(nèi),攝像頭將捕獲的視頻圖像任務(wù)不經(jīng)任何處理直接傳輸?shù)竭h(yuǎn)端物聯(lián)網(wǎng)服務(wù)器,由服務(wù)器來完成所有的處理。然而,測試表明上述兩種機(jī)制會導(dǎo)致嚴(yán)重的時延,分別為當(dāng)在本地預(yù)處理視頻時,由于攝像頭節(jié)點(diǎn)有限的計(jì)算資源可能會導(dǎo)致計(jì)算時延,而由于有限的網(wǎng)絡(luò)帶寬,傳輸視頻任務(wù)數(shù)據(jù)到遠(yuǎn)端服務(wù)器可能會造成擁塞和時延。
基于邊緣計(jì)算的視頻處理框架,該框架引入了邊緣計(jì)算,利用邊緣節(jié)點(diǎn)來協(xié)作計(jì)算,其能夠?qū)崿F(xiàn)低時延,該框架包括攝像頭節(jié)點(diǎn)、邊緣節(jié)點(diǎn)和遠(yuǎn)端物聯(lián)網(wǎng)服務(wù)器三大部分,其中攝像頭節(jié)點(diǎn)負(fù)責(zé)捕獲視頻圖像任務(wù)并將任務(wù)分配給邊緣節(jié)點(diǎn)進(jìn)行預(yù)處理,邊緣節(jié)點(diǎn)主要負(fù)責(zé)對視頻子任務(wù)執(zhí)行興趣點(diǎn)偵測和特征提取等工作,遠(yuǎn)端物聯(lián)網(wǎng)服務(wù)器則收集邊緣節(jié)點(diǎn)的視頻預(yù)處理結(jié)果并進(jìn)行整合以及深入分析,來實(shí)現(xiàn)識別率最大化的目標(biāo)。
傳統(tǒng)視頻處理框架中,在本地預(yù)處理視頻時,由于攝像頭節(jié)點(diǎn)有限的計(jì)算資源可能會導(dǎo)致計(jì)算時延,而由于有限的網(wǎng)絡(luò)帶寬,傳輸視頻任務(wù)數(shù)據(jù)到遠(yuǎn)端服務(wù)器可能會造成擁塞和時延。非協(xié)作處理機(jī)制中,沒有考慮多節(jié)點(diǎn)協(xié)作處理同一子任務(wù),導(dǎo)致資源的閑置;同時沒有考慮由于傳輸速率的差異性帶來的子任務(wù)調(diào)度問題。
技術(shù)實(shí)現(xiàn)要素:
針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求,本發(fā)明提供了一種基于協(xié)作性組群機(jī)制的視頻處理系統(tǒng),其目的在于通過利用邊緣節(jié)點(diǎn)的協(xié)作處理,即形成協(xié)作性組群,以及視頻塊調(diào)度機(jī)制,可以有效地提高物體偵測精確度,解決在本地?cái)z像頭節(jié)點(diǎn)視頻處理帶來的計(jì)算時延、在遠(yuǎn)端服務(wù)器視頻處理帶來的傳輸時延、非協(xié)作處理機(jī)制中多余的邊緣節(jié)點(diǎn)的計(jì)算資源浪費(fèi)以及傳輸速率的差異性帶來的子任務(wù)調(diào)度問題。
為實(shí)現(xiàn)上述目的,按照本發(fā)明的一個方面,提供了一種基于協(xié)作性組群機(jī)制的視頻處理系統(tǒng),所述系統(tǒng)包括:
攝像頭節(jié)點(diǎn),用于捕獲視頻信號并將視頻信號分割成相等大小的視頻塊并對視頻塊進(jìn)行壓縮,根據(jù)邊緣節(jié)點(diǎn)的信道狀態(tài)和計(jì)算能力信息得到視頻塊的壓縮率、協(xié)作組群形成方案和視頻塊調(diào)度方案;將按視頻塊的壓縮率壓縮后的視頻塊按照視頻塊調(diào)度方案傳輸給邊緣節(jié)點(diǎn),將協(xié)作組群形成方案發(fā)送至相應(yīng)邊緣節(jié)點(diǎn);
邊緣節(jié)點(diǎn),用于將各自的信道狀態(tài)和計(jì)算能力信息發(fā)送給攝像頭節(jié)點(diǎn),然后根據(jù)協(xié)作組群形成方案形成協(xié)作性組群,對接收到的視頻塊進(jìn)行初步處理,并將處理后的結(jié)果發(fā)送至服務(wù)器節(jié)點(diǎn);
服務(wù)器節(jié)點(diǎn),用于接收和整合邊緣節(jié)點(diǎn)的視頻處理結(jié)果并進(jìn)行深入的視頻分析。
進(jìn)一步地,所述攝像頭節(jié)點(diǎn)包括:
捕獲模塊,用于周期性捕獲視頻信號并暫時儲存在緩存區(qū)內(nèi);
控制模塊,用于接收各個邊緣節(jié)點(diǎn)發(fā)送的信道狀態(tài)和計(jì)算能力信息,并根據(jù)信道狀態(tài)和計(jì)算能力信息計(jì)算得到協(xié)作組群形成方案、視頻塊的壓縮率和視頻塊調(diào)度方案;將協(xié)作組群形成方案發(fā)送至相應(yīng)邊緣節(jié)點(diǎn),將視頻塊的壓縮率發(fā)送至壓縮模塊,將視頻塊調(diào)度方案發(fā)送至調(diào)度模塊;
壓縮模塊,用于將緩存區(qū)內(nèi)的視頻信號分割成相等大小的視頻塊,并根據(jù)壓縮指令將相應(yīng)視頻塊按照特定的壓縮率進(jìn)行壓縮;
調(diào)度模塊,用于根據(jù)視頻塊調(diào)度方案將壓縮后的視頻塊分配給相應(yīng)的邊緣節(jié)點(diǎn)。
進(jìn)一步地,所述協(xié)作組群形成方案具體為:
定義前l(fā)個邊緣節(jié)點(diǎn)作為競拍者i={1,2,…,l},剩余邊緣節(jié)點(diǎn)作為物品δ={1,2,…,δ},其中,δ=n-l;n為邊緣節(jié)點(diǎn)總數(shù);物品包b是一個物品集合且滿足
其中,如果第i個競拍者拍到了物品包b,其計(jì)算時間的減少量為
其中,cps表示每個邊緣節(jié)點(diǎn)處理單位任務(wù)所需時間;
構(gòu)建協(xié)作性組群形成問題p1:二元變量集合x={xi(b),i∈ι}被定義為具體的分配結(jié)果,xi(b)=1表示競拍者i獲得物品包b,而xi(b)=0表示物品包b沒有分配給競拍者i;通過求解所有競拍者的效益和最大化問題p1,即得到最優(yōu)二元變量集合{x(b)},以此獲得協(xié)作性組群形成方案:
其中,問題p1的目標(biāo)是最大化所有竟拍者的效益和f(x);e表示物品集合δ中的一個物品;限制條件
進(jìn)一步地,所述視頻塊調(diào)度方案具體為:
通過解決問題p1,獲得了協(xié)作性組群集合
s.t.:ri=αis,i∈l,αi∈α
t=max{ti|i∈l}≤d
αi∈β={β1,β2,…,βp},i∈l
gi,j∈{0,1}
其中,問題p2的目標(biāo)是最大化所有視頻塊的平均視頻碼率f(α);ri表示視頻塊i的碼率;l表示視頻塊集合;l表示視頻塊數(shù)量;α表示視頻塊的壓縮率集合;αi表示視頻塊i的壓縮率,αk表示視頻塊k的壓縮率;s表示視頻塊的原始大??;ti表示前i個視頻塊的傳輸時間和視頻塊i的處理時間的和;gi,j=1表示視頻塊i分配給組群j處理;gk,j=1表示視頻塊k分配給組群j處理;t表示視頻任務(wù)的完成時間,d表示視頻任務(wù)的截止時間,β={β1,β2,…,βp}表示每個視頻塊的壓縮率等級集合;限制條件t=max{ti|i∈l}≤d表示視頻任務(wù)的完成時間是由最慢處理完的視頻塊決定的,限制條件
為解決視頻塊調(diào)度問題p2,先證明了最佳匹配理論,即當(dāng)視頻塊和協(xié)作性組群是按照組群傳輸速率遞減順序匹配時,最優(yōu)匹配序列就會得到;其中,最佳匹配序列指依次處理視頻塊1到視頻塊l的l個組群的排列順序,其能產(chǎn)生最大的平均壓縮率;然后基于最佳匹配理論,視頻塊調(diào)度問題p2轉(zhuǎn)換為一個整數(shù)線性規(guī)劃問題p3:
s.t.:ri=αis,i∈l,αi∈α
t=max{ti|i∈l}≤d
αi∈β={β1,β2,…,βp},i∈l
其中,限制條件
總體而言,通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比,具有以下技術(shù)特征及有益效果:
(1)本發(fā)明提出了一種基于協(xié)作性組群機(jī)制的視頻處理系統(tǒng),利用邊緣節(jié)點(diǎn)形成最優(yōu)協(xié)作性組群,并為組群設(shè)計(jì)最優(yōu)任務(wù)調(diào)度方案,實(shí)現(xiàn)了在視頻任務(wù)截止期限內(nèi)最大化物體偵測精確度;
(2)本發(fā)明針對協(xié)作性組群的形成問題,創(chuàng)造性地構(gòu)建贏者決策模型并采用貪婪算法求解,極大地降低了計(jì)算復(fù)雜度和計(jì)算開銷;
(3)本發(fā)明針對協(xié)作性組群的視頻調(diào)度問題,基于導(dǎo)出的最優(yōu)匹配理論,并采用啟發(fā)式算法求解,極大地降低了計(jì)算復(fù)雜度和計(jì)算開銷。
附圖說明
圖1是本發(fā)明系統(tǒng)的結(jié)構(gòu)示意圖;
圖2是本發(fā)明攝像頭節(jié)點(diǎn)的結(jié)構(gòu)框圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。此外,下面所描述的本發(fā)明各個實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
如圖1所示,本發(fā)明框架包括攝像頭節(jié)點(diǎn)1、邊緣節(jié)點(diǎn)2、邊緣節(jié)點(diǎn)3、邊緣節(jié)點(diǎn)4以及服務(wù)器節(jié)點(diǎn)5,其中邊緣節(jié)點(diǎn)2和邊緣節(jié)點(diǎn)3在同一協(xié)作組群內(nèi)。
攝像頭節(jié)點(diǎn)1用于捕獲視頻信號,將視頻信號分割為更小的視頻塊,根據(jù)邊緣節(jié)點(diǎn)2、3、4的無線信道狀態(tài)和計(jì)算能力信息并給出相應(yīng)的協(xié)作組群形成、視頻塊的壓縮以及視頻塊調(diào)度方案,將壓縮后的視頻塊最終傳輸給協(xié)作組群中的邊緣節(jié)點(diǎn)進(jìn)行預(yù)處理。攝像頭節(jié)點(diǎn)將壓縮后的視頻塊傳輸給邊緣節(jié)點(diǎn)有兩種方式,分別為組播和單播,其中組播是指將視頻塊以組播方式傳輸給協(xié)作性組群內(nèi)的邊緣節(jié)點(diǎn),例如邊緣節(jié)點(diǎn)2和邊緣節(jié)點(diǎn)3,而單播則是將視頻塊直接傳輸給單個邊緣節(jié)點(diǎn),例如邊緣節(jié)點(diǎn)4。
邊緣節(jié)點(diǎn)2、3、4將各自的信道狀態(tài)和計(jì)算能力信息通過短距離通信技術(shù),例如設(shè)備間直接通信(device-to-device,d2d),方式傳輸給攝像頭節(jié)點(diǎn)1,然后根據(jù)攝像頭節(jié)點(diǎn)的協(xié)作組群形成方案形成協(xié)作性組群,此處,邊緣節(jié)點(diǎn)2和邊緣節(jié)點(diǎn)3形成協(xié)作性組群,同時,根據(jù)視頻塊調(diào)度方案接收相應(yīng)的視頻塊進(jìn)行后續(xù)處理。同一協(xié)作性組群內(nèi)的邊緣節(jié)點(diǎn)均分處理相應(yīng)視頻塊的等大小非重疊的部分。邊緣節(jié)點(diǎn)處理完視頻塊后,例如圖像特征識別和提取,將視頻處理結(jié)果傳輸給服務(wù)器節(jié)點(diǎn)進(jìn)行深入分析。
服務(wù)器節(jié)點(diǎn)5負(fù)責(zé)收集來自邊緣節(jié)點(diǎn)2、3、4視頻處理結(jié)果,并對所收集的視頻處理結(jié)果進(jìn)行深入分析,例如物體偵測以及行為分析等等。其中,服務(wù)器節(jié)點(diǎn)5會首先對邊緣節(jié)點(diǎn)2、3的視頻處理結(jié)果進(jìn)行整合。
圖2所示為基于組群形成和視頻塊調(diào)度的攝像頭節(jié)點(diǎn)的系統(tǒng)框圖,包括捕獲模塊11、壓縮模塊12、調(diào)度模塊13、控制模塊14。
捕獲模塊11的主要功能是周期性捕獲視頻信號并暫時存儲在其緩存區(qū)內(nèi),等待控制模塊14的進(jìn)一步指令。壓縮模塊12則根據(jù)控制模塊14的分割指令將視頻信號分割成特定數(shù)量的視頻塊,并根據(jù)控制模塊的壓縮指令將相應(yīng)視頻塊按照特定的壓縮率進(jìn)行壓縮,此處的壓縮率指的是壓縮后的視頻塊的大小與視頻塊的原始大小的比值。調(diào)度模塊13則根據(jù)控制模塊14的視頻塊調(diào)度方案,將壓縮后的視頻塊分配給相應(yīng)的協(xié)作性組群??刂颇K14用于收集邊緣節(jié)點(diǎn)2、3、4發(fā)送的信道狀態(tài)和計(jì)算能力信息,根據(jù)所收集的信息來確定邊緣節(jié)點(diǎn)的協(xié)作組群形成方案、視頻塊的壓縮率以及視頻塊調(diào)度方案??刂颇K14將協(xié)作組群形成方案傳輸給相應(yīng)的邊緣節(jié)點(diǎn),視頻塊的壓縮率則傳給壓縮模塊12,視頻塊調(diào)度方案則傳給攝像頭節(jié)點(diǎn)的調(diào)度模塊13。
控制模塊14給出協(xié)作性組群形成方案和視頻塊調(diào)度方案。在本發(fā)明中,邊緣節(jié)點(diǎn)集合為n={1,2,...,n},協(xié)作性組群集合表示
將協(xié)作性組群形成問題構(gòu)建成一個贏者決策問題,定義前面l個邊緣節(jié)點(diǎn)作為競拍者i={1,2,…,l},剩余的邊緣節(jié)點(diǎn)作為物品δ={1,2,…,δ},δ=n-l,其中n為邊緣節(jié)點(diǎn)總數(shù)。物品包b是一個物品集合且滿足
其中,如果第i個競拍者拍到了物品包b,其計(jì)算時間的減少量
其中,邊緣節(jié)點(diǎn)是按傳輸速率大小降序排列的,
構(gòu)建協(xié)作性組群形成問題p1:二元變量集合x={xi(b),i∈ι}被定義為具體的分配結(jié)果。xi(b)=1表示競拍者i獲得物品包b,而xi(b)=0表示物品包b沒有分配給競拍者i。通過求解所有競拍者的效益和最大化問題p1,即得到最優(yōu)二元變量集合{x(b)},以此獲得協(xié)作性組群形成方案:
其中,問題p1的目標(biāo)是最大化所有竟拍者的效益和f(x);e表示物品集合δ中的一個物品,公式(4)表示每個竟拍者最多能獲得一個物品包,公式(5)表示每個物品最多只能出現(xiàn)在一個物品包中。
提出一個2-approximate的貪婪算法來求解p1,其基本思想如下:
將物品集合δ中的物品一個一個進(jìn)行分配,例如:分配第1個物品時,計(jì)算所有的競拍者獲得第1個物品后的獲得的增益,假設(shè)將第1個物品分配給競拍者1能獲得最大增益,則將第1個物品分配給競拍者1;分配第2個物品時,計(jì)算所有的競拍者獲得第2個物品后的獲得的增益,競拍者1獲得了第1個物品,因此此處競拍者1獲得第2個物品的增益應(yīng)該為競拍者獲得第1、2個物品后的增益減去獲得第1個物品的增益,這樣才是第2個物品帶來的新增益,獲得增益最大的競拍者獲得第2個物品;依次進(jìn)行下去,直到物品集合δ中的物品全部被分配完。
視頻塊調(diào)度的流程如下:
通過解決問題p1,獲得了協(xié)作性組群集合
s.t.:ri=αis,i∈l,αi∈α(6)
t=max{ti|i∈l}≤d(8)
αi∈β={β1,β2,…,βp},i∈l(11)
gi,j∈{0,1}(12)
其中,問題p2的目標(biāo)是最大化所有視頻塊的平均視頻碼率f(α);ri表示視頻塊i的碼率;α表示視頻塊的壓縮率集合;αi表示視頻塊i的壓縮率,αk表示視頻塊k的壓縮率,此處的壓縮率定義為視頻塊壓縮后的大小與視頻塊原大小的比值;s表示視頻塊的原始大?。籺i表示前i個視頻塊的傳輸時間和視頻塊i的處理時間的和;gi,j=1表示視頻塊i分配給組群j處理;gk,j=1表示視頻塊k分配給組群j處理;t表示視頻任務(wù)的完成時間,d表示視頻任務(wù)的截止時間,β={β1,β2,…,βp}表示每個視頻塊的壓縮率等級集合;限制條件t1=max{ti|i∈l}≤d表示視頻任務(wù)的完成時間是由最慢處理完的視頻塊決定的,限制條件
為了解決視頻塊調(diào)度問題p2,我們先證明了最佳匹配理論,即當(dāng)視頻塊和協(xié)作性組群是按照組群傳輸速率遞減順序匹配時,最優(yōu)匹配序列就會得到。其中,最佳匹配序列指依次處理視頻塊1到視頻塊l的l個組群的排列順序,其能產(chǎn)生最大的平均壓縮率。然后基于最佳匹配理論,視頻塊調(diào)度問題p2轉(zhuǎn)換為一個整數(shù)線性規(guī)劃問題p3:
s.t.:ri=αis,i∈l,αi∈α(13)
t1=max{ti|i∈l}≤d(15)
αi∈{β1,β2,…,βp},i∈l(16)
其中,公式
為了解決問題p3,我們提出了一個低復(fù)雜度的啟發(fā)式算法,其基本思想如下:
首先,基于協(xié)作性組群形成方案和最優(yōu)匹配理論,形成協(xié)作性組群以及組群匹配序列。然后,初始化迭代為d=0,初始化每個視頻塊的壓縮率級別為最低的,即β1,集合γ由在截止期限內(nèi)的視頻塊組成,在當(dāng)前壓縮率級別下滿足ti<d,集合ω由超過截止期限的視頻塊組成,在當(dāng)前壓縮率級別下滿足ti>d,集合ψ包含即使是最小壓縮率級別下還是超出截止期限的視頻塊。初始化集合γ,ω,ψ分別為l,φ,φ。每次迭代過程如下:
步驟1:計(jì)算集合l中的每個視頻塊的完成時間,將集合γ中的超過截止期限的視頻塊移出,并將它們加入集合ω;
步驟2:判斷集合ω是否為空,如果為空,則讓集合γ中的所有視頻塊的壓縮級別提高一個層次,在增加前,先移除集合γ已經(jīng)達(dá)到最高壓縮率級別的視頻塊,即βp;如果集合ω非空,將集合ω中壓縮率是β1的視頻塊移出,并將它們加入到集合ψ中,然后再將集合ω中的視頻塊的壓縮率級別都分別提高一個層次;
步驟3:將集合ω設(shè)置為φ,迭代標(biāo)號d加1。
當(dāng)集合γ為空或者集合ψ等于集合l時,迭代將會停止。然后,視頻塊的壓縮率集合就得到了。
本領(lǐng)域的技術(shù)人員容易理解,以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。