本發(fā)明涉及檢測技術(shù)領(lǐng)域，具體涉及一種用戶接打手機行為檢測方法和裝置。

背景技術(shù)：

智能交通系統(tǒng)是未來交通系統(tǒng)的發(fā)展方向，也是目前世界交通運輸領(lǐng)域的前沿研究課題。隨著計算機視覺技術(shù)、嵌入式技術(shù)、網(wǎng)絡(luò)通信技術(shù)的發(fā)展，研究車輛違章行為自動檢測系統(tǒng)已經(jīng)成為當(dāng)前智能交通中的一個研究熱點。作為保障司機安全駕駛和降低交通事故中死傷率的一項重要措施，而隨著現(xiàn)代通信技術(shù)的發(fā)展，駕駛員在行駛過程中接打手機的行為越來越成為交通事故的重大誘因，每年因駕駛員打手機造成的交通死亡率的升高令人痛惜，因此交管部門嚴(yán)格要求汽車司機在行駛過程中禁用手機。但是智能交通系統(tǒng)還無法自動檢測到駕駛員在行車過程中是否具有打手機的行為，這使得智能交通系統(tǒng)隱藏著巨大的安全隱患。

因此，如何自動檢測駕駛員在行車過程中是否有接打手機行為，成為一個亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)要素：

因此，本發(fā)明要解決的技術(shù)問題在于現(xiàn)有技術(shù)中無法自動檢測駕駛員在行車過程中是否有打手機行為，使得交通系統(tǒng)存在安全隱患。

從而提供一種用戶接打手機行為檢測方法和裝置。

有鑒于此，本發(fā)明實施例的第一方面提供了一種用戶接打手機行為檢測方法，包括：根據(jù)歷史圖像建立人臉和手部檢測模型；將目標(biāo)圖像輸入所述人臉和手部檢測模型進行檢測；在檢測出所述目標(biāo)圖像中同時存在人臉區(qū)域與手部區(qū)域時，判斷所述人臉區(qū)域與所述手部區(qū)域是否存在交集區(qū)域；在所述人臉區(qū)域與所述手部區(qū)域存在交集區(qū)域時，判斷所述交集區(qū)域是否達(dá)到預(yù)設(shè)交集閾值；在判定所述交集區(qū)域達(dá)到所述預(yù)設(shè)交集閾值時，確定所述目標(biāo)圖像中的用戶存在接打手機行為。

優(yōu)選地，所述根據(jù)歷史圖像建立人臉和手部檢測模型包括：對所述歷史圖像中的用戶未接打電話的第一歷史人臉信息、第一手部信息和用戶接打手機時的第二歷史人臉信息和第二手部信息進行標(biāo)注，生成標(biāo)注后的訓(xùn)練樣本，所述第一、二歷史人臉信息包括人臉特征和人臉位置信息，所述第一、二歷史手部信息包括手部特征和手部位置信息；提取所述訓(xùn)練樣本的特征圖；將所述特征圖輸入深度學(xué)習(xí)模型進行訓(xùn)練，得到所述人臉和手部檢測模型。

優(yōu)選地，所述深度學(xué)習(xí)模型為卷積神經(jīng)網(wǎng)絡(luò)模型，所述提取所述訓(xùn)練樣本的特征圖包括：采用五層卷積分別提取所述訓(xùn)練樣本的特征圖，其中，將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖全連接。

優(yōu)選地，所述將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖全連接包括：將所述第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖進行歸一化處理；將經(jīng)過行歸一化處理的所述第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖進行全連接。

優(yōu)選地，獲取所述預(yù)設(shè)交集閾值的步驟包括：統(tǒng)計所述歷史圖像中的用戶在接打手機時的歷史人臉和手部的交集區(qū)域樣本；分析所述交集區(qū)域樣本中交集區(qū)域的最小值；將所述最小值作為所述預(yù)設(shè)交集閾值。

本發(fā)明實施例的第二方面提供了一種用戶接打手機行為檢測裝置，包括：建立模塊，用于根據(jù)歷史圖像建立人臉和手部檢測模型；檢測模塊，用于將目標(biāo)圖像輸入所述人臉和手部檢測模型進行檢測；第一判斷模塊，用于在檢測出所述目標(biāo)圖像中同時存在人臉區(qū)域與手部區(qū)域時，判斷所述人臉區(qū)域與所述手部區(qū)域是否存在交集區(qū)域；第二判斷模塊，用于在所述人臉區(qū)域與所述手部區(qū)域存在交集區(qū)域時，判斷所述交集區(qū)域是否達(dá)到預(yù)設(shè)交集閾值；確定模塊，用于在判定所述交集區(qū)域達(dá)到所述預(yù)設(shè)交集閾值時，確定所述目標(biāo)圖像中的用戶存在接打手機行為。

優(yōu)選地，所述建立模塊包括：標(biāo)注單元，用于對所述歷史圖像中的用戶未接打電話的第一歷史人臉信息、第一手部信息和用戶接打手機時的第二歷史人臉信息和第二手部信息進行標(biāo)注，生成標(biāo)注后的訓(xùn)練樣本，所述第一、二歷史人臉信息包括人臉特征和人臉位置信息，所述第一、二歷史手部信息包括手部特征和手部位置信息；提取單元，用于提取所述訓(xùn)練樣本的特征圖；訓(xùn)練單元，用于將所述特征圖輸入深度學(xué)習(xí)模型進行訓(xùn)練，得到所述人臉和手部檢測模型。

優(yōu)選地，所述深度學(xué)習(xí)模型為卷積神經(jīng)網(wǎng)絡(luò)模型，所述提取單元包括：提取子單元，用于采用五層卷積分別提取所述訓(xùn)練樣本的特征圖，其中，將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖全連接。

優(yōu)選地，所述將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖全連接包括：將所述第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖進行歸一化處理；將經(jīng)過行歸一化處理的所述第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖進行全連接。

優(yōu)選地，獲取所述預(yù)設(shè)交集閾值的步驟包括：統(tǒng)計所述歷史圖像中的用戶在接打手機時的歷史人臉和手部的交集區(qū)域樣本；分析所述交集區(qū)域樣本中交集區(qū)域的最小值；將所述最小值作為所述預(yù)設(shè)交集閾值。

本發(fā)明的技術(shù)方案具有以下優(yōu)點：

本發(fā)明實施例提供的用戶接打手機行為檢測方法和裝置，通過將實時獲取到的目標(biāo)圖像輸入預(yù)先建立的人臉和手部檢測模型進行檢測，以確定目標(biāo)圖像中用戶的人臉區(qū)域與手部區(qū)域是否同時存在，在人臉區(qū)域與手部區(qū)域同時存在時，判斷人臉區(qū)域與手部區(qū)域是否有交集區(qū)域，并判斷該交集區(qū)域是否達(dá)到了預(yù)設(shè)交集區(qū)域來確定該用戶是否存在接打手機的行為，不僅考慮了人臉與手部的位置關(guān)系，而且更進一步的考慮了兩者具有交集區(qū)域的大小，只有滿足預(yù)設(shè)交集區(qū)域的人臉和手部，才能確定該用戶在接打手機，提高了接打手機行為檢測的準(zhǔn)確度，為交通系統(tǒng)檢測駕駛員是否在行車過程中接打手機提供了更加精確的參考方案。

附圖說明

為了更清楚地說明本發(fā)明具體實施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對具體實施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施方式，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例1的用戶接打手機行為檢測方法的一個流程圖；

圖2為本發(fā)明實施例2的用戶接打手機行為檢測裝置的一個框圖。

具體實施方式

下面將結(jié)合附圖對本發(fā)明的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

在本發(fā)明的描述中，需要說明的是，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。

此外，下面所描述的本發(fā)明不同實施方式中所涉及的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互結(jié)合。

實施例1

本實施例提供一種用戶接打手機行為檢測方法，可用于識別駕駛員是否在行車過程中有接打手機行為，如圖1所示，包括如下步驟：

S11：根據(jù)歷史圖像建立人臉和手部檢測模型。此處歷史圖像可以根據(jù)實際應(yīng)用場景進行素材篩選，比如對于用戶為駕駛員時，歷史圖像可以采集駕駛艙內(nèi)的歷史視頻流獲得，一般地，車內(nèi)裝有攝像頭，由于將攝像頭安裝在車內(nèi)的前擋風(fēng)玻璃上，通過車內(nèi)安裝的攝像頭對駕駛員座椅區(qū)域進行圖像采集，可以很清晰的拍攝到司機的行為，且不需其他電子器件輔助，不會影響到司機的正常行車。

作為一種優(yōu)選方案，步驟S11可以包括：對所述歷史圖像中的用戶未接打電話的第一歷史人臉信息、第一手部信息和用戶接打手機時的第二歷史人臉信息和第二手部信息進行標(biāo)注，生成標(biāo)注后的訓(xùn)練樣本，所述第一、二歷史人臉信息包括人臉特征和人臉位置信息，所述第一、二歷史手部信息包括手部特征和手部位置信息；提取所述訓(xùn)練樣本的特征圖；將所述特征圖輸入深度學(xué)習(xí)模型進行訓(xùn)練，得到所述人臉和手部檢測模型。深度學(xué)習(xí)模型為卷積神經(jīng)網(wǎng)絡(luò)模型，提取訓(xùn)練樣本的特征圖包括采用五層卷積分別提取訓(xùn)練樣本的特征圖，其中，將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖全連接。將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖全連接包括：將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖進行歸一化處理；將經(jīng)過行歸一化處理的第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖進行全連接。

作為一種具體的實施方式，比如可以將歷史圖像中駕駛員的人臉的大致位置從復(fù)雜的背景標(biāo)注出來，即從圖像中找到駕駛員人臉的具體位置，對車窗區(qū)域內(nèi)的駕駛員臉部區(qū)域位置信息和手部區(qū)域位置信息進行標(biāo)注，具體地，將人臉特征和人臉位置信息作為第一歷史人臉信息、將手部特征和手部位置信息作為第一歷史手部信息分別進行標(biāo)注；同時，挑選正在打電話的圖像，并對其中駕駛員的手部區(qū)域和人臉區(qū)域進行標(biāo)注，將手部特征和手部位置信息作為第二歷史手部信息進行標(biāo)注，將此情況下的人臉特征和人臉位置信息作為第二歷史人臉信息進行標(biāo)注，根據(jù)上述標(biāo)注后的歷史圖像制作訓(xùn)練樣本。然后可以采用卷積神經(jīng)網(wǎng)絡(luò)算法分別提取訓(xùn)練樣本的特征圖，具體地，采用五層卷積層對訓(xùn)練樣本進行特征圖提取。由于當(dāng)完成第五層的特征圖提取之后，特征圖的尺寸偏小，以至于一些訓(xùn)練樣本中的手部區(qū)域不完整，比如手部區(qū)域較小，那么手部區(qū)域信息在所有的特征圖中就會被弱化，致使檢測模型不能學(xué)習(xí)到該區(qū)域的有效信息，進而影響最終檢測結(jié)果的精確度。為了更好地提取圖像的全局特征和局部特征，本實施例將第三層、第四層、第五層卷積層的ROI(region of interest)池化特征圖進行全連接，以保證特征圖的全局特性和局部特性，使特征圖更加全面準(zhǔn)確的表征訓(xùn)練樣本的特征，從而提高人臉和手部交集檢測模型的準(zhǔn)確率。鑒于各個ROI池化層輸出特征圖的大小不一致，為了計算結(jié)果的準(zhǔn)確性，可以使用L2歸一化算法對各個層的池化特征圖進行尺寸歸一化，然后將經(jīng)過行歸一化處理的各個層對應(yīng)的池化特征圖進行全連接，既保證了特征圖的全局特性，也保證了特征圖的局部特性，使特征圖更加全面準(zhǔn)確的表征訓(xùn)練樣本的特征，提高了人臉和手部檢測模型的準(zhǔn)確率。

S12：將目標(biāo)圖像輸入人臉和手部檢測模型進行檢測。比如對于車窗區(qū)域的目標(biāo)圖像，將目標(biāo)圖像輸入步驟S11建立的人臉和手部檢測模型進行檢測，以確定該目標(biāo)圖像中的駕駛員的人臉與手部是否同時存在，本實施例通過檢測人臉的位置信息與手部的位置信息是否同時存在來確定目標(biāo)人臉與目標(biāo)手部是否同時存在，檢測結(jié)果更加準(zhǔn)確，數(shù)據(jù)計算簡單。

S13：在檢測出目標(biāo)圖像中同時存在人臉區(qū)域與手部區(qū)域時，判斷人臉區(qū)域與手部區(qū)域是否存在交集區(qū)域。在步驟S12的輸出結(jié)果為人臉區(qū)域與手部區(qū)域同時存在時，說明該駕駛員可能在接打電話，也可能在做別的事情，為了更進一步的確定駕駛員是否在接打手機，進一步判斷該駕駛員的人臉區(qū)域和手部區(qū)域是否有交集區(qū)域，如果有，說明駕駛員在接打電話的可能性更大一點，則進入步驟S14，否則說明該駕駛員沒有接打電話的行為。則獲取交集區(qū)域進行下一步的判斷。如此，不僅考慮了人臉與手部的位置關(guān)系，而且更進一步的考慮了兩者具有交集區(qū)域的大小，提高了接打手機行為檢測的準(zhǔn)確度。

S14：在人臉區(qū)域與所述手部區(qū)域存在交集區(qū)域時，判斷交集區(qū)域是否達(dá)到預(yù)設(shè)交集閾值，具體地，如果人臉區(qū)域與所述手部區(qū)域存在交集區(qū)域，則獲取交集區(qū)域與預(yù)設(shè)交集閾值進行比較來確定最終檢測結(jié)果，如果判斷結(jié)果為是，進入步驟S15，否則說明即使該駕駛員的臉部與手部有交集區(qū)域，他也不存在接打手機的行為，避免誤判。如此，不僅考慮了人臉與手部的位置關(guān)系，而且更進一步的考慮了兩者具有交集區(qū)域的大小，提高了接打手機行為檢測的準(zhǔn)確度。

作為一種優(yōu)選方案，步驟S14中的預(yù)設(shè)交集閾值可以格局實際應(yīng)用場景來確定，比如可以統(tǒng)計歷史圖像中的用戶在接打手機時的歷史人臉和手部的交集區(qū)域樣本；分析交集區(qū)域樣本中交集區(qū)域的最小值；將最小值作為預(yù)設(shè)交集閾值。如此，預(yù)設(shè)交集閾值可以更加準(zhǔn)確地確定存在交集區(qū)域的目標(biāo)人臉與目標(biāo)手部是否是在接打手機。

S15：在判定交集區(qū)域達(dá)到預(yù)設(shè)交集閾值時，確定目標(biāo)圖像中用戶存在接打手機行為。如果判定交集區(qū)域達(dá)到預(yù)設(shè)交集閾值，說明檢測圖像中存在打手機行為，即用戶在接打手機，如果該用戶是駕駛員，那么就存在交通安全隱患，則可以根據(jù)實際情況對駕駛員發(fā)出提醒或警告，可以有效預(yù)防交通事故的發(fā)生，降低交通事故中的死亡率。

本實施例提供的用戶接打手機行為檢測方法，通過將實時獲取到的目標(biāo)圖像輸入預(yù)先建立的人臉和手部檢測模型進行檢測，以確定目標(biāo)圖像中用戶的人臉區(qū)域與手部區(qū)域是否同時存在，在人臉區(qū)域與手部區(qū)域同時存在時，判斷人臉區(qū)域與手部區(qū)域是否有交集區(qū)域，并判斷該交集區(qū)域是否達(dá)到了預(yù)設(shè)交集區(qū)域來確定該用戶是否存在接打手機的行為，不僅考慮了人臉與手部的位置關(guān)系，而且更進一步的考慮了兩者具有交集區(qū)域的大小，只有滿足預(yù)設(shè)交集區(qū)域的人臉和手部，才能確定該用戶在接打手機，提高了接打手機行為檢測的準(zhǔn)確度，為交通系統(tǒng)檢測駕駛員是否在行車過程中接打手機提供了更加精確的參考方案。

實施例2

本實施例供了一種用戶接打手機行為檢測裝置，可用于識別駕駛員是否在行車過程中有接打手機行為，如圖2所示，包括：建立模塊21、檢測模塊22、獲取模塊23、判斷模塊24和確定模塊25，各模塊功能如下：

建立模塊21，用于根據(jù)歷史圖像建立人臉和手部檢測模型，具體參見實施例1中對步驟S11的詳細(xì)描述。

檢測模塊22，用于將目標(biāo)圖像輸入人臉和手部檢測模型進行檢測，具體參見實施例1中對步驟S12的詳細(xì)描述。

第一判斷模塊23，用于在檢測出目標(biāo)圖像中同時存在人臉區(qū)域與手部區(qū)域時，判斷人臉區(qū)域與手部區(qū)域是否存在交集區(qū)域，具體參見實施例1中對步驟S13的詳細(xì)描述。

第二判斷模塊24，用于在人臉區(qū)域與手部區(qū)域存在交集區(qū)域時，判斷交集區(qū)域是否達(dá)到預(yù)設(shè)交集閾值，具體參見實施例1中對步驟S14的詳細(xì)描述。

確定模塊25，用于在判定交集區(qū)域達(dá)到預(yù)設(shè)交集閾值時，確定目標(biāo)圖像中的用戶存在接打手機行為。具體參見實施例1中對步驟S15的詳細(xì)描述。

作為一種優(yōu)選方案，建立模塊21包括：標(biāo)注單元，用于對所述歷史圖像中的用戶未接打電話的第一歷史人臉信息、第一手部信息和用戶接打手機時的第二歷史人臉信息和第二手部信息進行標(biāo)注，生成標(biāo)注后的訓(xùn)練樣本，所述第一、二歷史人臉信息包括人臉特征和人臉位置信息，所述第一、二歷史手部信息包括手部特征和手部位置信息；提取單元，用于提取所述訓(xùn)練樣本的特征圖；訓(xùn)練單元，用于將所述特征圖輸入深度學(xué)習(xí)模型進行訓(xùn)練，得到所述人臉和手部檢測模型。具體參見實施例1中對步驟S11的優(yōu)選方案的詳細(xì)描述。

作為一種優(yōu)選方案，深度學(xué)習(xí)模型為卷積神經(jīng)網(wǎng)絡(luò)模型，提取單元包括：提取子單元，用于采用五層卷積分別提取訓(xùn)練樣本的特征圖，其中，將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖全連接。具體參見實施例1中的相關(guān)詳細(xì)描述。

作為一種優(yōu)選方案，將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖全連接包括：將第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖進行歸一化處理；將經(jīng)過行歸一化處理的第三層卷積、第四層卷積和第五層卷積對應(yīng)的池化特征圖進行全連接。具體參見實施例1中的相關(guān)詳細(xì)描述。

作為一種優(yōu)選方案，獲取預(yù)設(shè)交集閾值的步驟包括：統(tǒng)計歷史圖像中的用戶在接打手機時的歷史人臉和手部的交集區(qū)域樣本；分析交集區(qū)域樣本中交集區(qū)域的最小值；將最小值作為預(yù)設(shè)交集閾值。具體參見實施例1中的相關(guān)詳細(xì)描述。

本實施例提供的用戶接打手機行為檢測裝置，通過將實時獲取到的目標(biāo)圖像輸入預(yù)先建立的人臉和手部檢測模型進行檢測，以確定目標(biāo)圖像中用戶的人臉區(qū)域與手部區(qū)域是否同時存在，在人臉區(qū)域與手部區(qū)域同時存在時，判斷人臉區(qū)域與手部區(qū)域是否有交集區(qū)域，并判斷該交集區(qū)域是否達(dá)到了預(yù)設(shè)交集區(qū)域來確定該用戶是否存在接打手機的行為，不僅考慮了人臉與手部的位置關(guān)系，而且更進一步的考慮了兩者具有交集區(qū)域的大小，只有滿足預(yù)設(shè)交集區(qū)域的人臉和手部，才能確定該用戶在接打手機，提高了接打手機行為檢測的準(zhǔn)確度，為交通系統(tǒng)檢測駕駛員是否在行車過程中接打手機提供了更加精確的參考方案。

顯然，上述實施例僅僅是為清楚地說明所作的舉例，而并非對實施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明創(chuàng)造的保護范圍之中。