本公開涉及圖像處理領(lǐng)域，更具體地，本公開涉及利用現(xiàn)場(chǎng)可編程門陣列(FPGA)實(shí)現(xiàn)用于圖像處理的神經(jīng)網(wǎng)絡(luò)算法的圖像處理方法和圖像處理設(shè)備。

背景技術(shù)：

目標(biāo)檢測(cè)是計(jì)算機(jī)圖像處理領(lǐng)域中一個(gè)基礎(chǔ)性的研究課題，其在人臉識(shí)別、安全監(jiān)控以及動(dòng)態(tài)追蹤等很多方面都有廣泛的應(yīng)用前景。目標(biāo)檢測(cè)是指對(duì)于任意一幀或連續(xù)幀圖像，檢測(cè)和識(shí)別其中特定的目標(biāo)(例如人臉)，并返回目標(biāo)的位置、大小信息，例如輸出包圍目標(biāo)的邊界框。神經(jīng)網(wǎng)絡(luò)是一種大規(guī)模、多參數(shù)優(yōu)化的工具。依靠大量的訓(xùn)練數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)出數(shù)據(jù)中難以總結(jié)的隱藏特征，從而完成多項(xiàng)復(fù)雜的任務(wù)，如人臉檢測(cè)，圖片分類，物體檢測(cè)，動(dòng)作追蹤，自然語(yǔ)言翻譯等。神經(jīng)網(wǎng)絡(luò)已被人工智能界廣泛應(yīng)用。當(dāng)前，諸如行人檢測(cè)的目標(biāo)檢測(cè)中最廣泛應(yīng)用的是卷積神經(jīng)網(wǎng)絡(luò)?，F(xiàn)有的圖像處理方法通常使用單一的芯片實(shí)現(xiàn)具體目標(biāo)檢測(cè)功能，由于這些芯片往往并行計(jì)算的能力有限，無(wú)法適應(yīng)現(xiàn)有的使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的人臉檢測(cè)算法，導(dǎo)致可抓拍的人臉數(shù)目有限且算法效率低。

現(xiàn)場(chǎng)可編程門陣列作為一種通用芯片，其通過(guò)將算法映射到硬件的方式實(shí)現(xiàn)并行計(jì)算，從而具有數(shù)據(jù)吞吐率高、同等計(jì)算量下功耗低、價(jià)格便宜的特點(diǎn)。

因此，希望提供一種利用現(xiàn)場(chǎng)可編程門陣列作為協(xié)處理器實(shí)現(xiàn)用于目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)算法的圖像處理方法和圖像處理設(shè)備。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問題而提出了本發(fā)明。本發(fā)明提供了一種利用現(xiàn)場(chǎng)可編程門陣列實(shí)現(xiàn)用于圖像處理的神經(jīng)網(wǎng)絡(luò)算法的圖像處理方法和圖像處理設(shè)備。

根據(jù)本公開的一個(gè)實(shí)施例，提供了一種圖像處理方法，包括：獲取由圖像獲取單元采集的原始圖像數(shù)據(jù)；由第一圖像處理單元對(duì)所述原始圖像數(shù)據(jù)執(zhí)行第一圖像處理，以獲取第一圖像數(shù)據(jù)；由現(xiàn)場(chǎng)可編程門陣列單元基于所述第一圖像數(shù)據(jù)，確定所述第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果；以及由所述第一圖像處理單元基于所述第一圖像數(shù)據(jù)和所述目標(biāo)的檢測(cè)結(jié)果，生成對(duì)應(yīng)于所述目標(biāo)的編碼圖像數(shù)據(jù)。

此外，根據(jù)本公開的一個(gè)實(shí)施例的像處理方法，其中，由所述第一圖像處理單元基于所述第一圖像數(shù)據(jù)和所述目標(biāo)的檢測(cè)結(jié)果，生成對(duì)應(yīng)于所述目標(biāo)的圖像數(shù)據(jù)包括：基于所述第一圖像數(shù)據(jù)中的每一幀圖像數(shù)據(jù)以及所述每一幀圖像數(shù)據(jù)中的所述目標(biāo)的檢測(cè)結(jié)果，裁剪所述每一幀圖像數(shù)據(jù)，生成僅包括所述目標(biāo)的圖像數(shù)據(jù)；以及對(duì)所述僅包括所述目標(biāo)的圖像數(shù)據(jù)執(zhí)行第一編碼，生成對(duì)應(yīng)于所述目標(biāo)的編碼圖像數(shù)據(jù)。

此外，根據(jù)本公開的一個(gè)實(shí)施例的圖像處理方法，其中，由所述第一圖像處理單元基于所述第一圖像數(shù)據(jù)和所述目標(biāo)的檢測(cè)結(jié)果，生成對(duì)應(yīng)于所述目標(biāo)的圖像數(shù)據(jù)還包括：基于包括連續(xù)幀圖像的所述第一圖像數(shù)據(jù)以及所述包括連續(xù)幀圖像的所述第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的所述目標(biāo)的檢測(cè)結(jié)果，標(biāo)注所述包括連續(xù)幀圖像的所述第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的目標(biāo)；以及對(duì)標(biāo)注有所述目標(biāo)的所述包括連續(xù)幀圖像的所述第一圖像數(shù)據(jù)執(zhí)行第二編碼，生成連續(xù)幀對(duì)應(yīng)于所述目標(biāo)的編碼圖像數(shù)據(jù)。

此外，根據(jù)本公開的一個(gè)實(shí)施例的圖像處理方法，其中，所述圖像處理方法還包括：經(jīng)由第一接口單元將所述第一圖像數(shù)據(jù)從所述第一圖像處理單元傳輸?shù)剿霈F(xiàn)場(chǎng)可編程門陣列單元；以及經(jīng)由第二接口單元將所述目標(biāo)的檢測(cè)結(jié)果從所述現(xiàn)場(chǎng)可編程門陣列單元傳輸?shù)剿龅谝粓D像處理單元。

此外，根據(jù)本公開的一個(gè)實(shí)施例的圖像處理方法，其中，所述第一圖像處理單元包括裁剪子單元和第一編碼子單元，所述裁剪子單元和所述第一編碼子單元為硬件，所述裁剪的步驟由所述裁剪子單元實(shí)現(xiàn)，所述第一編碼由所述第一編碼子單元實(shí)現(xiàn)。

此外，根據(jù)本公開的一個(gè)實(shí)施例的圖像處理方法，其中，所述第一圖像處理單元包括第二編碼子單元，所述第二編碼子單元為硬件，所述第二編碼由所述第二編碼子單元實(shí)現(xiàn)。

此外，根據(jù)本公開的一個(gè)實(shí)施例的圖像處理方法，其中，所述圖像處理方法還包括：將所述目標(biāo)的編碼圖像數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸給后端服務(wù)器進(jìn)行處理。

此外，根據(jù)本公開的一個(gè)實(shí)施例的圖像處理方法，其中，所述目標(biāo)包括人臉，所述后端服務(wù)器進(jìn)行的所述處理包括人臉屬性分析、人臉識(shí)別、人臉美顏、人臉卡通化中的至少一種。

此外，根據(jù)本公開的一個(gè)實(shí)施例的圖像處理方法，其中，所述獲取由圖像獲取單元采集的原始圖像數(shù)據(jù)的步驟，所述由第一圖像處理單元對(duì)所述原始圖像數(shù)據(jù)執(zhí)行第一圖像處理以獲取第一圖像數(shù)據(jù)的步驟，所述由現(xiàn)場(chǎng)可編程門陣列單元基于所述第一圖像數(shù)據(jù)確定所述第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果的步驟，以及所述由所述第一圖像處理單元基于所述第一圖像數(shù)據(jù)和所述目標(biāo)的檢測(cè)結(jié)果生成對(duì)應(yīng)于所述目標(biāo)的編碼圖像數(shù)據(jù)的步驟由攝像頭實(shí)現(xiàn)，所述攝像頭包括所述圖像獲取單元、所述第一圖像處理單元和所述現(xiàn)場(chǎng)可編程門陣列單元。

根據(jù)本公開的另一個(gè)實(shí)施例，提供了一種圖像處理設(shè)備，包括：圖像獲取單元，用于采集原始圖像數(shù)據(jù)；第一圖像處理單元，用于對(duì)所述原始圖像數(shù)據(jù)執(zhí)行第一圖像處理，以獲取第一圖像數(shù)據(jù)；以及現(xiàn)場(chǎng)可編程門陣列單元，用于基于所述第一圖像數(shù)據(jù)，確定所述第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果；其中，所述第一圖像處理單元還用于基于所述第一圖像數(shù)據(jù)和所述目標(biāo)的檢測(cè)結(jié)果，生成對(duì)應(yīng)于所述目標(biāo)的編碼圖像數(shù)據(jù)。

此外，根據(jù)本公開的另一個(gè)實(shí)施例的圖像處理設(shè)備，其中所述第一圖像處理單元還包括：裁剪子單元，用于基于所述第一圖像數(shù)據(jù)中的每一幀圖像數(shù)據(jù)以及所述每一幀圖像數(shù)據(jù)中的所述目標(biāo)的檢測(cè)結(jié)果，裁剪所述每一幀圖像數(shù)據(jù)，生成僅包括所述目標(biāo)的圖像數(shù)據(jù)；以及第一編碼子單元，用于對(duì)所述僅包括所述目標(biāo)的圖像數(shù)據(jù)執(zhí)行第一編碼，生成對(duì)應(yīng)于所述目標(biāo)的編碼圖像數(shù)據(jù)。

此外，根據(jù)本公開的另一個(gè)實(shí)施例的圖像處理設(shè)備，其中所述第一圖像處理單元還包括：標(biāo)注子單元，用于基于包括連續(xù)幀圖像的所述第一圖像數(shù)據(jù)以及所述連續(xù)幀圖像的所述第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的所述目標(biāo)的檢測(cè)結(jié)果，標(biāo)注所述包括連續(xù)幀圖像的所述第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的目標(biāo)；以及第二編碼子單元，用于對(duì)標(biāo)注有所述目標(biāo)的所述包括連續(xù)幀圖像的所述第一圖像數(shù)據(jù)執(zhí)行第二編碼，生成連續(xù)幀對(duì)應(yīng)于所述目標(biāo)的編碼圖像數(shù)據(jù)。

此外，根據(jù)本公開的另一個(gè)實(shí)施例的圖像處理設(shè)備，還包括：第一接口單元，用于將所述第一圖像數(shù)據(jù)從所述第一圖像處理單元傳輸?shù)剿鯢PGA單元；以及第二接口單元，用于將所述目標(biāo)的檢測(cè)結(jié)果從所述現(xiàn)場(chǎng)可編程門陣列單元傳輸?shù)剿龅谝粓D像處理單元。

此外，根據(jù)本公開的另一個(gè)實(shí)施例的圖像處理設(shè)備，其中，所述裁剪子單元和所述第一編碼子單元由硬件實(shí)現(xiàn)。

此外，根據(jù)本公開的另一個(gè)實(shí)施例的圖像處理設(shè)備，其中，所述標(biāo)注子單元由軟件實(shí)現(xiàn)或者由硬件實(shí)現(xiàn)或者由硬件結(jié)合軟件實(shí)現(xiàn)，所述第二編碼子單元由硬件實(shí)現(xiàn)。

此外，根據(jù)本公開的另一個(gè)實(shí)施例的圖像處理設(shè)備，其中，所述圖像處理設(shè)備還包括數(shù)據(jù)發(fā)送單元，用于將所述目標(biāo)的編碼圖像數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸給后端服務(wù)器進(jìn)行處理。

此外，根據(jù)本公開的另一個(gè)實(shí)施例的圖像處理設(shè)備，其中，所述目標(biāo)包括人臉，所述后端服務(wù)器進(jìn)行的所述處理包括人臉屬性分析、人臉識(shí)別、人臉美顏、人臉卡通化中的至少一種。

此外，根據(jù)本公開的另一個(gè)實(shí)施例的圖像處理設(shè)備，其中，所述圖像處理設(shè)備為攝像頭，所述圖像獲取單元包括光學(xué)傳感器，所述第一圖像處理單元包括圖形信號(hào)處理(ISP)模塊和中央處理單元(CPU)模塊。

根據(jù)本公開的實(shí)施例圖像處理方法和圖像處理設(shè)備，通過(guò)利用現(xiàn)場(chǎng)可編程門陣列作為協(xié)處理器實(shí)現(xiàn)用于目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)算法，使得神經(jīng)網(wǎng)絡(luò)需要的大量卷積運(yùn)算使用現(xiàn)場(chǎng)可編程門陣列的并行計(jì)算能力實(shí)現(xiàn)，充分的并行化處理使得計(jì)算效率相比單核處理器計(jì)算有了很大的提升；此外，通過(guò)使用專門硬件進(jìn)行視頻流編碼，同時(shí)將大規(guī)模的計(jì)算放到現(xiàn)場(chǎng)可編程門陣列上進(jìn)行，減輕了主處理器芯片的負(fù)載，有效降低了卡頓的可能；前端實(shí)現(xiàn)快速的人臉檢測(cè)后僅僅傳輸固定大小的人臉框編碼的圖片，而不是傳輸整個(gè)圖片，減小了傳輸帶寬，同時(shí)方便后臺(tái)服務(wù)器運(yùn)算；進(jìn)一步地，由于現(xiàn)場(chǎng)可編程門陣列與主處理器芯片間耦合度較小，可以分別進(jìn)行開發(fā)，實(shí)現(xiàn)了開發(fā)效率提升并且便于優(yōu)化。

要理解的是，前面的一般描述和下面的詳細(xì)描述兩者都是示例性的，并且意圖在于提供要求保護(hù)的技術(shù)的進(jìn)一步說(shuō)明。

附圖說(shuō)明

通過(guò)結(jié)合附圖對(duì)本公開實(shí)施例進(jìn)行更詳細(xì)的描述，本公開的上述以及其它目的、特征和優(yōu)勢(shì)將變得更加明顯。附圖用來(lái)提供對(duì)本公開實(shí)施例的進(jìn)一步理解，并且構(gòu)成說(shuō)明書的一部分，與本公開實(shí)施例一起用于解釋本公開，并不構(gòu)成對(duì)本公開的限制。在附圖中，相同的參考標(biāo)號(hào)通常代表相同部件或步驟。

圖1是圖示根據(jù)本公開實(shí)施例的圖像處理設(shè)備的框圖。

圖2是圖示根據(jù)本公開實(shí)施例的圖像處理方法的流程圖。

圖3是進(jìn)一步圖示根據(jù)本公開實(shí)施例的圖像處理設(shè)備的框圖。

圖4是進(jìn)一步圖示根據(jù)本公開實(shí)施例的圖像處理方法的流程圖。

圖5是進(jìn)一步圖示根據(jù)本公開實(shí)施例的圖像處理方法的流程圖。

圖6是圖示根據(jù)本公開實(shí)施例的攝像頭的框圖。

圖7是圖示根據(jù)本公開實(shí)施例的圖像處理系統(tǒng)的示意圖。

具體實(shí)施方式

為了使得本公開的目的、技術(shù)方案和優(yōu)點(diǎn)更為明顯，下面將參照附圖詳細(xì)描述根據(jù)本公開的示例實(shí)施例。顯然，所描述的實(shí)施例僅僅是本公開的一部分實(shí)施例，而不是本公開的全部實(shí)施例，應(yīng)理解，本公開不受這里描述的示例實(shí)施例的限制?；诒竟_中描述的本公開實(shí)施例，本領(lǐng)域技術(shù)人員在沒有付出創(chuàng)造性勞動(dòng)的情況下所得到的所有其它實(shí)施例都應(yīng)落入本公開的保護(hù)范圍之內(nèi)。以下，將參考附圖詳細(xì)描述本公開的各個(gè)實(shí)施例。

首先，參照?qǐng)D1和圖2概述根據(jù)本公開實(shí)施例的圖像處理設(shè)備及其圖像處理方法。

圖1是圖示根據(jù)本公開實(shí)施例的圖像處理設(shè)備的框圖。如圖1所示的圖像處理設(shè)備10例如可以是用于執(zhí)行特定場(chǎng)景的視頻監(jiān)控的攝像頭?；蛘撸鐖D1所示的圖像處理設(shè)備10可以為獨(dú)立的圖像處理裝置，例如圖像處理服務(wù)器?；蛘撸鐖D1所示的圖像處理設(shè)備10可以配置在用于對(duì)從執(zhí)行特定場(chǎng)景的視頻監(jiān)控的攝像頭提供的視頻數(shù)據(jù)執(zhí)行目標(biāo)識(shí)別和圖像處理的服務(wù)器中。

具體地，根據(jù)本公開實(shí)施例的圖像處理設(shè)備10包括圖像獲取單元101、第一圖像處理單元102和現(xiàn)場(chǎng)可編程門陣列單元103。容易理解的是，根據(jù)本公開實(shí)施例的圖像處理設(shè)備10不限于此，而是可以包括諸如數(shù)據(jù)發(fā)送單元、接口單元等其他單元。

圖像獲取單元101用于采集原始圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，圖像獲取單元101由諸如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體器件(CMOS)的圖像傳感器配置。圖像獲取單元101可以與其后的第一圖像處理單元102和現(xiàn)場(chǎng)可編程門陣列單元103等物理位置上分離分配，并且經(jīng)由有線或者無(wú)線方式，從圖像獲取單元101發(fā)送采集的原始圖像數(shù)據(jù)給其后的各單元?？商娲兀瑘D像獲取單元101可以與圖像處理設(shè)備10中的其他單元物理上位于同一位置甚至位于同一機(jī)殼內(nèi)部，圖像處理設(shè)備10中的其他單元經(jīng)由內(nèi)部總線接收從圖像獲取單元101發(fā)送的圖像數(shù)據(jù)。

第一圖像處理單元102用于對(duì)原始圖像數(shù)據(jù)執(zhí)行第一圖像處理，以獲取第一圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，第一圖像處理單元102包括諸如圖像信號(hào)處理(ISP)的處理單元。第一圖像處理單元102對(duì)從圖像獲取單元101發(fā)送的原始圖像數(shù)據(jù)執(zhí)行預(yù)定的圖像處理操作(例如圖像降噪增強(qiáng)處理、白平衡等)以獲取第一圖像數(shù)據(jù)。第一圖像處理單元102將獲取的第一圖像數(shù)據(jù)發(fā)送給現(xiàn)場(chǎng)可編程門陣列單元103。

現(xiàn)場(chǎng)可編程門陣列單元103用于基于第一圖像數(shù)據(jù)，確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果。在本公開各實(shí)施例中，第一圖像數(shù)據(jù)中的目標(biāo)可以為人臉、行人、車輛等各種對(duì)象，在此并不進(jìn)行限定。在某些實(shí)施例中，以檢測(cè)的目標(biāo)是人臉為例進(jìn)行說(shuō)明。在本公開的一個(gè)實(shí)施例中，確定第一圖像數(shù)據(jù)中的目標(biāo)包括確定第一圖像數(shù)據(jù)中包括的作為目標(biāo)的行人或者人臉?，F(xiàn)場(chǎng)可編程門陣列單元103由現(xiàn)場(chǎng)可編程門陣列(FPGA)配置?，F(xiàn)場(chǎng)可編程門陣列作為一種通用芯片，其通過(guò)將算法映射到硬件的方式實(shí)現(xiàn)并行計(jì)算。例如，利用現(xiàn)場(chǎng)可編程門陣列實(shí)現(xiàn)低比特卷積神經(jīng)網(wǎng)絡(luò)(BCNN)算法，其中通過(guò)利用現(xiàn)場(chǎng)可編程門陣列中的10K甚至100K數(shù)量級(jí)的查找表(LUT)作為卷積計(jì)算模塊，以便充分利用現(xiàn)場(chǎng)可編程門陣列的資源以提高計(jì)算力。同時(shí)由查找表實(shí)現(xiàn)的卷積計(jì)算模塊增加了可靜態(tài)配置的通道數(shù)、數(shù)據(jù)位寬數(shù)以及可動(dòng)態(tài)配置的循環(huán)次數(shù)和方式，配合可調(diào)整參數(shù)的控制模塊(例如，現(xiàn)場(chǎng)可編程門陣列的ARM處理器)，可以快速實(shí)現(xiàn)不同架構(gòu)的CNN模型，其中每個(gè)模塊都采用硬件語(yǔ)言編寫，這樣在編寫時(shí)可以從最底層的硬件開始優(yōu)化，減少了冗余。本公開各實(shí)施例中的現(xiàn)場(chǎng)可編程門陣列(FPGA)，除包括FPGA模塊外，還可以包括其他模塊(例如ARM處理器等)，在此并不進(jìn)行限定。

在通過(guò)現(xiàn)場(chǎng)可編程門陣列單元103實(shí)現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)于第一圖像數(shù)據(jù)，確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果之后，現(xiàn)場(chǎng)可編程門陣列單元103將目標(biāo)的檢測(cè)結(jié)果提供給第一圖像處理單元102。第一圖像處理單元102基于第一圖像數(shù)據(jù)和目標(biāo)的檢測(cè)結(jié)果，生成對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。如以下將參照附圖描述的，第一圖像處理單元102可以生成僅包括目標(biāo)的編碼圖像數(shù)據(jù)(即，生成的對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)為圖片格式的數(shù)據(jù))，也可以生成連續(xù)幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)(即，生成的對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)為視頻格式的數(shù)據(jù))。其中，第一圖像處理單元102生成的僅包括目標(biāo)的編碼圖像數(shù)據(jù)為圖片格式的數(shù)據(jù)，對(duì)于每一幀第一圖像數(shù)據(jù)，生成與檢測(cè)到的目標(biāo)數(shù)量一致的僅包括目標(biāo)的編碼圖像數(shù)據(jù)，每個(gè)僅包括目標(biāo)的編碼圖像數(shù)據(jù)中包括一個(gè)目標(biāo)。例如，在某一幀第一圖像數(shù)據(jù)中的目標(biāo)為兩張人臉，則生成兩個(gè)僅包括目標(biāo)的編碼圖像數(shù)據(jù)(即兩張圖像)，每個(gè)編碼圖像數(shù)據(jù)中包括一張人臉。其中，生成連續(xù)幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)，是指生成的編碼圖像數(shù)據(jù)是與第一圖像數(shù)據(jù)中的連續(xù)幀相對(duì)應(yīng)的標(biāo)記出目標(biāo)的視頻格式的數(shù)據(jù)。

在一個(gè)具體示例中，根據(jù)本公開的圖像處理設(shè)備為攝像頭(例如抓拍攝像頭)，該圖像處理設(shè)備除包括上述組件外，還可以包括例如鏡頭、圖像傳感器等其他組件。通過(guò)在攝像頭內(nèi)利用現(xiàn)場(chǎng)可編程門陣列以及第一圖像處理單元和第二處理單元實(shí)現(xiàn)對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)，可以提高攝像頭自身的圖像處理能力，實(shí)現(xiàn)某些圖像處理操作(例如人臉檢測(cè)、人臉圖像截取等)在攝像頭本地完成，相對(duì)于現(xiàn)有技術(shù)中依賴服務(wù)器實(shí)現(xiàn)相關(guān)圖像處理的方式，可以減輕服務(wù)器的運(yùn)算壓力。

圖2是圖示根據(jù)本公開實(shí)施例的圖像處理方法的流程圖。圖2所示的根據(jù)本公開實(shí)施例的圖像處理方法20由如圖1所示的圖像處理設(shè)備10執(zhí)行。如圖2所示的根據(jù)本公開實(shí)施例的圖像處理方法20包括以下步驟。

在步驟S201中，獲取由圖像獲取單元采集的原始圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，由諸如電荷耦合器件或互補(bǔ)金屬氧化物半導(dǎo)體器件的圖像傳感器配置圖像獲取單元101采集監(jiān)控場(chǎng)景的原始圖像數(shù)據(jù)。此后，處理進(jìn)到步驟S202。

在步驟S202中，由第一圖像處理單元對(duì)原始圖像數(shù)據(jù)執(zhí)行第一圖像處理，以獲取第一圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，由第一圖像處理單元102中包括的諸如圖像信號(hào)處理器(ISP)的處理單元從圖像獲取單元101發(fā)送的原始圖像數(shù)據(jù)執(zhí)行預(yù)定的圖像處理操作(例如圖像降噪增強(qiáng)處理)以獲取第一圖像數(shù)據(jù)。此后，處理進(jìn)到步驟S203。

在步驟S203中，由現(xiàn)場(chǎng)可編程門陣列單元基于第一圖像數(shù)據(jù)，確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果。在本公開的一個(gè)實(shí)施例中，通過(guò)現(xiàn)場(chǎng)可編程門陣列單元103實(shí)現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)于第一圖像數(shù)據(jù)執(zhí)行低比特卷積神經(jīng)網(wǎng)絡(luò)(BCNN)算法，確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果。此后，處理進(jìn)到步驟S204。

在步驟S204中，由第一圖像處理單元基于第一圖像數(shù)據(jù)和目標(biāo)的檢測(cè)結(jié)果，生成對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，第一圖像處理單元102基于第一圖像數(shù)據(jù)和目標(biāo)的檢測(cè)結(jié)果，可以生成僅包括目標(biāo)的每一幀編碼圖像數(shù)據(jù)，也可以生成連續(xù)幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。

通過(guò)參照?qǐng)D1和圖2描述的根據(jù)本公開實(shí)施例的圖像處理設(shè)備及其圖像處理方法，通過(guò)利用現(xiàn)場(chǎng)可編程門陣列單元103作為協(xié)處理器實(shí)現(xiàn)用于目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)算法，使得神經(jīng)網(wǎng)絡(luò)需要的大量卷積運(yùn)算使用現(xiàn)場(chǎng)可編程門陣列單元103的并行計(jì)算能力實(shí)現(xiàn)，充分的并行化處理使得計(jì)算效率相比單核處理器計(jì)算有了很大的提升。通過(guò)使用專門硬件(即，第一圖像處理單元102)進(jìn)行視頻流編碼，同時(shí)將大規(guī)模的計(jì)算放到現(xiàn)場(chǎng)可編程門陣列單元103上進(jìn)行，減輕了主處理器芯片的負(fù)載，有效降低了卡頓的可能。

以下，將進(jìn)一步參照?qǐng)D3到圖5詳細(xì)描述根據(jù)本公開實(shí)施例的圖像處理設(shè)備及其圖像處理方法。

圖3是進(jìn)一步圖示根據(jù)本公開實(shí)施例的圖像處理設(shè)備的框圖。如圖3所示的圖像處理設(shè)備30與參照?qǐng)D1描述的圖像處理設(shè)備10相比，進(jìn)一步包括第一接口單元104、第二接口單元105以及數(shù)據(jù)發(fā)送單元106。此外，如圖3所示，第一圖像處理單元102具體包括圖像處理子單元1021、裁剪子單元1022、第一編碼子單元1023、標(biāo)注子單元1024和第二編碼子單元1025。此外，如圖3所示的圖像獲取單元101和現(xiàn)場(chǎng)可編程門陣列單元103與參照?qǐng)D1描述的圖像獲取單元101和現(xiàn)場(chǎng)可編程門陣列單元103相同，在此將省略其重復(fù)描述。

具體地，圖像獲取單元101將采集的原始圖像數(shù)據(jù)提供給第一圖像處理單元102。第一圖像處理單元102中的圖像處理子單元1021對(duì)原始圖像數(shù)據(jù)執(zhí)行第一圖像處理，以獲取第一圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，圖像處理子單元1021由圖像信號(hào)處理器(ISP)配置。圖像處理子單元1021對(duì)從圖像獲取單元101發(fā)送的原始圖像數(shù)據(jù)執(zhí)行第一圖像處理(例如圖像降噪增強(qiáng)處理等)以獲取第一圖像數(shù)據(jù)。

第一接口單元104用于將第一圖像數(shù)據(jù)從圖像處理子單元1021傳輸?shù)浆F(xiàn)場(chǎng)可編程門陣列單元103。在本公開的一個(gè)實(shí)施例中，第一接口單元104為BT1120接口。

如上參照?qǐng)D1所述，現(xiàn)場(chǎng)可編程門陣列單元103基于經(jīng)由第一接口單元104接收的第一圖像數(shù)據(jù)，確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果。

第二接口單元105用于將目標(biāo)的檢測(cè)結(jié)果從現(xiàn)場(chǎng)可編程門陣列單元103傳輸?shù)降谝粓D像處理單元102。在本公開的一個(gè)實(shí)施例中，第二接口單元105為諸如USB、SPI或LAN接口。

如上參照?qǐng)D1所述，第一圖像處理單元102基于第一圖像數(shù)據(jù)和經(jīng)由第二接口單元105接收的目標(biāo)的檢測(cè)結(jié)果，生成對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。

具體地，裁剪子單元1022用于基于第一圖像數(shù)據(jù)中的每一幀圖像數(shù)據(jù)以及經(jīng)由第二接口單元105接收的每一幀圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果，裁剪第一圖像數(shù)據(jù)中的每一幀圖像數(shù)據(jù)，生成僅包括目標(biāo)的每一幀圖像數(shù)據(jù)。第一編碼子單元1023用于對(duì)從裁剪子單元1022接收的僅包括目標(biāo)的每一幀圖像數(shù)據(jù)執(zhí)行第一編碼，生成每一幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，裁剪子單元1022和第一編碼子單元1023由硬件實(shí)現(xiàn)。第一編碼子單元1023例如為視頻編碼器(VENC)，其對(duì)僅包括目標(biāo)的每一幀圖像數(shù)據(jù)執(zhí)行諸如聯(lián)合圖像專家小組(JPEG)編碼的第一編碼，獲得一幀僅包括目標(biāo)(例如，人臉)的圖像。

標(biāo)注子單元1024用于基于包括連續(xù)幀圖像的第一圖像數(shù)據(jù)以及經(jīng)由第二接口單元105接收的連續(xù)幀圖像的第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果，標(biāo)注包括連續(xù)幀圖像的第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的目標(biāo)。第二編碼子單元1025用于對(duì)標(biāo)注有所述目標(biāo)的包括連續(xù)幀圖像的第一圖像數(shù)據(jù)執(zhí)行第二編碼，生成連續(xù)幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，標(biāo)注子單元1024由軟件實(shí)現(xiàn)或者由硬件實(shí)現(xiàn)或者由硬件結(jié)合軟件實(shí)現(xiàn)，第二編碼子單元1025硬件實(shí)現(xiàn)。標(biāo)注子單元1024例如為視頻處理子系統(tǒng)(VPSS)，VPSS利用現(xiàn)場(chǎng)可編程門陣列單元103提供的目標(biāo)(例如，人臉等)的檢測(cè)結(jié)果進(jìn)行畫框，即標(biāo)注目標(biāo)的位置。第二編碼子單元1025例如為視頻編碼器(VENC)，其對(duì)于標(biāo)注有目標(biāo)的包括連續(xù)幀圖像的第一圖像數(shù)據(jù)執(zhí)行諸如H.264或H.265的第二編碼，生成連續(xù)幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。

數(shù)據(jù)發(fā)送單元106用于將所述目標(biāo)的編碼圖像數(shù)據(jù)(包括第一編碼子單元1023生成的僅包括目標(biāo)的JPEG圖像和/或第二編碼子單元1025生成的標(biāo)注有目標(biāo)的H.264或H.265視頻)通過(guò)網(wǎng)絡(luò)傳輸給后端服務(wù)器(未示出)進(jìn)行處理。在所述目標(biāo)包括人臉的情況下，后端服務(wù)器進(jìn)行的處理可以包括人臉屬性分析(例如年齡分析、性別分析等)、人臉識(shí)別、人臉美顏、人臉卡通化中的至少一種。

圖4和圖5是進(jìn)一步圖示根據(jù)本公開實(shí)施例的圖像處理方法的流程圖。圖4和圖5所示的根據(jù)本公開實(shí)施例的圖像處理方法40和50由如圖3所示的圖像處理設(shè)備30執(zhí)行。如圖4所示的根據(jù)本公開實(shí)施例的圖像處理方法40包括以下步驟。

圖4所示的步驟S401和S402分別與參照?qǐng)D2描述的步驟S201和S202相同，在此將省略其重復(fù)描述。

在步驟S402中獲取第一圖像數(shù)據(jù)之后，處理進(jìn)到步驟S403。在步驟S403中，由現(xiàn)場(chǎng)可編程門陣列單元基于第一圖像數(shù)據(jù)，確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果。此后，處理進(jìn)到步驟S404。

在步驟S404中，基于第一圖像數(shù)據(jù)中的每一幀圖像數(shù)據(jù)以及每一幀圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果，裁剪每一幀圖像數(shù)據(jù)，生成僅包括目標(biāo)的圖像數(shù)據(jù)。對(duì)于每一幀圖像數(shù)據(jù)中的每個(gè)對(duì)象，通常對(duì)應(yīng)裁剪出一幅圖像。在本公開的一個(gè)實(shí)施例中，裁剪子單元1022基于第一圖像數(shù)據(jù)中的每一幀圖像數(shù)據(jù)以及每一幀圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果，裁剪每一幀圖像數(shù)據(jù)，生成僅包括目標(biāo)的每一幀圖像數(shù)據(jù)。此后，處理進(jìn)到步驟S405。

在步驟S405中，對(duì)僅包括目標(biāo)的每一幀圖像數(shù)據(jù)執(zhí)行第一編碼，生成每一幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，第一編碼子單元1023用于對(duì)從裁剪子單元1022接收的僅包括目標(biāo)的每一幀圖像數(shù)據(jù)執(zhí)行第一編碼，生成每一幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。如上所述，裁剪子單元1022和第一編碼子單元1023由硬件實(shí)現(xiàn)。第一編碼子單元1023例如為視頻編碼器(VENC)，其對(duì)僅包括目標(biāo)的每一幀圖像數(shù)據(jù)執(zhí)行諸如聯(lián)合圖像專家小組(JPEG)編碼的第一編碼，獲得一幀僅包括目標(biāo)(例如，人臉)的圖像。此后，處理進(jìn)到步驟S406。

在步驟S406中，基于包括連續(xù)幀圖像的第一圖像數(shù)據(jù)以及包括連續(xù)幀圖像的第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果，標(biāo)注包括連續(xù)幀圖像的第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的目標(biāo)。其中，標(biāo)注的方式可以為添加人臉框、行人框等標(biāo)示框，也可以為其他可行的方式，在此并不進(jìn)行限定。在本公開的一個(gè)實(shí)施例中，標(biāo)注子單元1024基于包括連續(xù)幀圖像的第一圖像數(shù)據(jù)以及連續(xù)幀圖像的第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果，標(biāo)注包括連續(xù)幀圖像的第一圖像數(shù)據(jù)中每一幀圖像數(shù)據(jù)中的目標(biāo)。此后，處理進(jìn)到步驟S407。

在步驟S407中，對(duì)標(biāo)注有目標(biāo)的包括連續(xù)幀圖像的第一圖像數(shù)據(jù)執(zhí)行第二編碼，生成連續(xù)幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，第二編碼子單元1025對(duì)標(biāo)注有所述目標(biāo)的包括連續(xù)幀圖像的第一圖像數(shù)據(jù)執(zhí)行第二編碼，生成連續(xù)幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。如上所述，標(biāo)注子單元1024由軟件實(shí)現(xiàn)或者由硬件實(shí)現(xiàn)或者由硬件結(jié)合軟件實(shí)現(xiàn)，第二編碼子單元1025硬件實(shí)現(xiàn)。標(biāo)注子單元1024例如為視頻處理子系統(tǒng)(VPSS)，VPSS利用現(xiàn)場(chǎng)可編程門陣列單元103提供的目標(biāo)(例如，人臉)的檢測(cè)結(jié)果進(jìn)行畫框，即標(biāo)注人臉框的位置。第二編碼子單元1025例如為視頻編碼器(VENC)，其對(duì)于標(biāo)注有目標(biāo)的包括連續(xù)幀圖像的第一圖像數(shù)據(jù)執(zhí)行諸如H.264或H.265的第二編碼，生成連續(xù)幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。

需要理解的是，上述用于執(zhí)行第一編碼的步驟S404和S405以及用于執(zhí)行第二編碼的步驟S406和S407不必以如圖4所示的順序執(zhí)行，而是可以根據(jù)需要選擇執(zhí)行的順序，或者選擇執(zhí)行步驟S404和S405以及步驟S406和S407之一。

如圖5所示的根據(jù)本公開實(shí)施例的圖像處理方法50包括以下步驟。

圖5所示的步驟S501和S502分別與參照?qǐng)D2描述的步驟S201和S202相同，在此將省略其重復(fù)描述。

在步驟S502中獲取第一圖像數(shù)據(jù)之后，處理進(jìn)到步驟S503。在步驟S503中，經(jīng)由第一接口單元將第一圖像數(shù)據(jù)從第一圖像處理單元傳輸?shù)浆F(xiàn)場(chǎng)可編程門陣列單元。在本公開的一個(gè)實(shí)施例中，經(jīng)由BT1120接口將第一圖像數(shù)據(jù)從第一圖像處理單元102傳輸?shù)浆F(xiàn)場(chǎng)可編程門陣列單元103。此后，處理進(jìn)到步驟S504。

在步驟S504中，由現(xiàn)場(chǎng)可編程門陣列單元基于第一圖像數(shù)據(jù)，確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果。在本公開的一個(gè)實(shí)施例中，通過(guò)現(xiàn)場(chǎng)可編程門陣列單元103實(shí)現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)于第一圖像數(shù)據(jù)執(zhí)行低比特卷積神經(jīng)網(wǎng)絡(luò)(BCNN)算法，確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果。此后，處理進(jìn)到步驟S505。

在步驟S505中，經(jīng)由第二接口單元將目標(biāo)的檢測(cè)結(jié)果從現(xiàn)場(chǎng)可編程門陣列單元傳輸?shù)降谝粓D像處理單元。在本公開的一個(gè)實(shí)施例中，經(jīng)由USB、SPI或LAN接口將目標(biāo)的檢測(cè)結(jié)果從現(xiàn)場(chǎng)可編程門陣列單元103傳輸回第一圖像處理單元102。此后，處理進(jìn)到步驟S506。

在步驟S506中，由第一圖像處理單元基于第一圖像數(shù)據(jù)和目標(biāo)的檢測(cè)結(jié)果，生成對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。如上所述，生成對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)包括參照?qǐng)D4中的步驟S404和S405描述的生成每一幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)，還包括參照?qǐng)D4中的步驟S406和S407描述的生成連續(xù)幀對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)。此后，處理進(jìn)到步驟S507。

在步驟S507中，將目標(biāo)的編碼圖像數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸給后端服務(wù)器進(jìn)行處理。在本公開的一個(gè)實(shí)施例中，將所述目標(biāo)的編碼圖像數(shù)據(jù)(包括第一編碼子單元1023生成的僅包括目標(biāo)的JPEG圖像和/或第二編碼子單元1025生成的標(biāo)注有目標(biāo)的H.264或H.265視頻)通過(guò)網(wǎng)絡(luò)傳輸給后端服務(wù)器(未示出)進(jìn)行處理。在所述目標(biāo)包括人臉的情況下，后端服務(wù)器進(jìn)行的處理包括人臉屬性分析、人臉識(shí)別、人臉美顏、人臉卡通化中的至少一種。

如圖3所示的根據(jù)本公開實(shí)施例的圖像處理設(shè)備30以及參照?qǐng)D4和圖5描述的根據(jù)本公開實(shí)施例的圖像處理方法40和50，為從圖像獲取單元101采集的圖像數(shù)據(jù)配置有兩條數(shù)據(jù)通路：一條直接送給現(xiàn)場(chǎng)可編程門陣列單元103進(jìn)行人臉檢測(cè)算法的計(jì)算，然后根據(jù)現(xiàn)場(chǎng)可編程門陣列單元103返回的檢測(cè)結(jié)果截取視頻中的人臉部分并進(jìn)行JPEG編碼；另一條基于現(xiàn)場(chǎng)可編程門陣列單元103的返回的檢測(cè)結(jié)果，通過(guò)VPSS、VENC等單元后輸出編碼后的視頻碼流。如此，以上兩條數(shù)據(jù)通路之間耦合度低，可以根據(jù)實(shí)際的應(yīng)用需要選擇相應(yīng)的數(shù)據(jù)通路輸出。同時(shí)圖像處理子單元1021(ISP芯片)內(nèi)部不進(jìn)行大量計(jì)算，ISP、編碼、裁剪等操作直接由硬件實(shí)現(xiàn)，減小了系統(tǒng)負(fù)荷。包括第一編碼子單元1023的數(shù)據(jù)通路僅僅是編碼大小較小的人臉區(qū)域的圖像，可以實(shí)現(xiàn)每秒鐘編碼上千張人臉，而輸出的人臉圖片可以直接進(jìn)行人臉識(shí)別計(jì)算，使得整個(gè)人臉檢測(cè)與識(shí)別過(guò)程更加方便快捷。

以下，將參照?qǐng)D6和圖7進(jìn)一步描述根據(jù)本公開實(shí)施例的圖像處理設(shè)備和包括該圖像處理設(shè)備的圖像處理系統(tǒng)的實(shí)例。

圖6是圖示根據(jù)本公開實(shí)施例的攝像頭的框圖。如6所示的攝像頭60為參照?qǐng)D1描述的根據(jù)本公開實(shí)施例的圖像處理設(shè)備10和參照?qǐng)D3描述的根據(jù)本公開實(shí)施例的圖像處理設(shè)備30的具體示例。

如圖6所示，根據(jù)本公開實(shí)施例的攝像頭60包括光學(xué)傳感器601、第一圖像處理單元602和現(xiàn)場(chǎng)可編程門陣列603。攝像頭60中的光學(xué)傳感器601對(duì)應(yīng)于圖1和圖3中圖示的圖像獲取單元101，用于采集原始圖像數(shù)據(jù)。第一圖像處理單元602對(duì)應(yīng)于圖1和圖3中圖示的第一圖像處理單元102，并且第一圖像處理單元602進(jìn)一步包括圖形信號(hào)處理(ISP)模塊6021和中央處理單元(CPU)模塊6022，其以硬件和/或軟件的方式對(duì)原始圖像數(shù)據(jù)執(zhí)行第一圖像處理，以及生成對(duì)應(yīng)于目標(biāo)的編碼圖像數(shù)據(jù)?，F(xiàn)場(chǎng)可編程門陣列603對(duì)應(yīng)于圖1和圖3中圖示的現(xiàn)場(chǎng)可編程門陣列103，用于基于第一圖像數(shù)據(jù)，確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果。

圖7是圖示根據(jù)本公開實(shí)施例的圖像處理系統(tǒng)的示意圖。如圖7所示的圖像處理系統(tǒng)7包括攝像頭60和服務(wù)器70。攝像頭60獲取原始圖像數(shù)據(jù)，對(duì)原始圖像數(shù)據(jù)執(zhí)行第一圖像處理以獲取第一圖像數(shù)據(jù)，并且利用其中配置的現(xiàn)場(chǎng)可編程門陣列單元基于第一圖像數(shù)據(jù)確定第一圖像數(shù)據(jù)中的目標(biāo)的檢測(cè)結(jié)果，以及基于所述第一圖像數(shù)據(jù)和所述目標(biāo)的檢測(cè)結(jié)果生成對(duì)應(yīng)于所述目標(biāo)的編碼圖像數(shù)據(jù)。攝像頭60將最終獲取的目標(biāo)的編碼圖像數(shù)據(jù)(包括第一編碼子單元1023生成的僅包括目標(biāo)的JPEG圖像和/或第二編碼子單元1025生成的標(biāo)注有目標(biāo)的H.264或H.265視頻)通過(guò)網(wǎng)絡(luò)有線地或無(wú)線地傳輸給后端服務(wù)器70進(jìn)行諸如人臉屬性分析、人臉識(shí)別、人臉美顏、人臉卡通化中的至少一種的處理。

以上，參照?qǐng)D1到圖7描述了根據(jù)本公開的實(shí)施例圖像處理方法、圖像處理設(shè)備以及圖像處理系統(tǒng)，其中通過(guò)利用現(xiàn)場(chǎng)可編程門陣列作為協(xié)處理器實(shí)現(xiàn)用于目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)算法，使得神經(jīng)網(wǎng)絡(luò)需要的大量卷積運(yùn)算使用現(xiàn)場(chǎng)可編程門陣列的并行計(jì)算能力實(shí)現(xiàn)，充分的并行化處理使得計(jì)算效率相比單核處理器計(jì)算有了很大的提升；此外，通過(guò)使用專門硬件進(jìn)行視頻流編碼，同時(shí)將大規(guī)模的計(jì)算放到現(xiàn)場(chǎng)可編程門陣列上進(jìn)行，減輕了主處理器芯片的負(fù)載，有效降低了卡頓的可能；前端實(shí)現(xiàn)快速的人臉檢測(cè)后僅僅傳輸固定大小的人臉框編碼的圖片，而不是傳輸整個(gè)圖片，減小了傳輸帶寬，同時(shí)方便后臺(tái)服務(wù)器運(yùn)算；進(jìn)一步地，由于現(xiàn)場(chǎng)可編程門陣列與主處理器芯片間耦合度較小，可以分別進(jìn)行開發(fā)，實(shí)現(xiàn)了開發(fā)效率提升并且便于優(yōu)化。

以上結(jié)合具體實(shí)施例描述了本公開的基本原理，但是，需要指出的是，在本公開中提及的優(yōu)點(diǎn)、優(yōu)勢(shì)、效果等僅是示例而非限制，不能認(rèn)為這些優(yōu)點(diǎn)、優(yōu)勢(shì)、效果等是本公開的各個(gè)實(shí)施例必須具備的。另外，上述公開的具體細(xì)節(jié)僅是為了示例的作用和便于理解的作用，而非限制，上述細(xì)節(jié)并不限制本公開為必須采用上述具體的細(xì)節(jié)來(lái)實(shí)現(xiàn)。

本公開中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進(jìn)行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到的，可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語(yǔ)是開放性詞匯，指“包括但不限于”，且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”，且可與其互換使用，除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”，且可與其互換使用。

另外，如在此使用的，在以“至少一個(gè)”開始的項(xiàng)的列舉中使用的“或”指示分離的列舉，以便例如“A、B或C的至少一個(gè)”的列舉意味著A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辭“示例的”不意味著描述的例子是優(yōu)選的或者比其他例子更好。

還需要指出的是，在本公開的系統(tǒng)和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本公開的等效方案。

可以不脫離由所附權(quán)利要求定義的教導(dǎo)的技術(shù)而進(jìn)行對(duì)在此所述的技術(shù)的各種改變、替換和更改。此外，本公開的權(quán)利要求的范圍不限于以上所述的處理、機(jī)器、制造、事件的組成、手段、方法和動(dòng)作的具體方面?？梢岳门c在此所述的相應(yīng)方面進(jìn)行基本相同的功能或者實(shí)現(xiàn)基本相同的結(jié)果的當(dāng)前存在的或者稍后要開發(fā)的處理、機(jī)器、制造、事件的組成、手段、方法或動(dòng)作。因而，所附權(quán)利要求包括在其范圍內(nèi)的這樣的處理、機(jī)器、制造、事件的組成、手段、方法或動(dòng)作。

提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本公開。對(duì)這些方面的各種修改對(duì)于本領(lǐng)域技術(shù)人員而言是非常顯而易見的，并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本公開的范圍。因此，本公開不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特征一致的最寬范圍。

為了例示和描述的目的已經(jīng)給出了以上描述。此外，此描述不意圖將本公開的實(shí)施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個(gè)示例方面和實(shí)施例，但是本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到其某些變型、修改、改變、添加和子組合。