本公開總體上涉及載具中的駕駛輔助。更具體地，本公開涉及用于確定載具的駕駛員是否操作載具的操作元件的方法、裝置和系統(tǒng)。本公開的方法、裝置和系統(tǒng)用于載具的高級駕駛輔助系統(tǒng)和自主駕駛系統(tǒng)。

背景技術(shù)：

1、近年來，在駕駛員輔助系統(tǒng)以及用于自主駕駛的系統(tǒng)的領(lǐng)域中的發(fā)展已經(jīng)進步。在載具中使用這種系統(tǒng)用于支持駕駛員，并且例如用于檢測和防止危險情況。駕駛輔助系統(tǒng)現(xiàn)在是無處不在的，并且在某些情況下甚至是強制性的。

2、當前的駕駛員輔助系統(tǒng)和用于自主駕駛的系統(tǒng)要求駕駛員監(jiān)測載具的周圍環(huán)境并且不斷地準備好接管載具控制。為了監(jiān)測駕駛員接管載具控制的準備，已經(jīng)提出了不同的技術(shù)。這些技術(shù)之一包括檢測駕駛員是否保持用于操作載具的操作元件，例如方向盤。這種技術(shù)通?；趦?nèi)置在操作元件中的傳感器或基于檢測操作元件的運動。然而，這些技術(shù)可以容易被欺騙，例如通過駕駛員將膝蓋放在操作元件下面以模擬保持操作元件。

3、為了改進已知技術(shù)，已經(jīng)開發(fā)了基于攝像頭的解決方案?；跀z像頭的解決方案不是基于內(nèi)置在操作元件中的傳感器或基于檢測操作元件的運動，而是使用攝像頭來檢測駕駛員是否保持操作元件。這種解決方案較難以被欺騙，因為可以使用攝像頭來檢測將膝放在操作元件下面以模擬保持操作元件。

技術(shù)實現(xiàn)思路

1、本公開旨在改進載具中的駕駛輔助。主要方面由獨立權(quán)利要求提出。

2、根據(jù)本公開的第一個方面，提供了一種用于載具中的駕駛輔助的由計算機實現(xiàn)的方法。該方法可以由處理裝置執(zhí)行。所述方法包括以下步驟：基于捕捉所述載具的操作元件和所述載具的駕駛員的圖像，確定所述操作元件與所述駕駛員的手之間的距離；并且響應(yīng)于所述距離滿足指示所述駕駛員操作所述操作元件的可能性的標準：基于捕捉所述操作元件的部分圖像，確定所述操作元件的分類信息；基于捕捉所述駕駛員的部分圖像，確定駕駛員的姿態(tài)的分類信息；基于所述距離、所述操作元件的分類信息和所述駕駛員的姿態(tài)的分類信息，確定所述駕駛員是否操作所述操作元件。

3、在第一個方面的一些示例中，所述方法還包括：在所述圖像中定義包括所述操作元件的至少部分的區(qū)域，或者使用被訓(xùn)練以定位所述操作元件的部分的檢測網(wǎng)絡(luò)來檢測包括所述操作元件的至少所述部分的所述區(qū)域；基于所述區(qū)域確定所述操作元件的位置。

4、在第一個方面的一些示例中，所述方法還包括：基于所述駕駛員的多個身體關(guān)鍵點，確定指示所述駕駛員的手的一個或更多個身體關(guān)鍵點；基于所述一個或更多個身體關(guān)鍵點確定所述手的位置。

5、在第一個方面的一些示例中，手包括駕駛員的左手和右手。在這些示例中，確定距離的步驟包括分別確定操作元件與左手之間的距離以及操作元件與右手之間的距離。在這樣的示例中，可以分別為左手和右手確定距離。

6、在第一個方面的一些示例中，操作元件的位置和手的位置是相對于用于載具的參考坐標系來確定的。在這些示例中，確定距離的步驟包括計算相對于該參考坐標系的歐幾里德距離。

7、在第一個方面的一些示例中，確定所述操作元件的分類信息的步驟包括：使用用于檢測所述操作元件的操作的分類網(wǎng)絡(luò)對所述部分圖像進行分類，以檢測所述駕駛員的手是否位于所述操作元件附近從而允許操作所述操作元件；以及基于所述分類，確定指示所述駕駛員是否操作所述操作元件的所述操作元件的分類信息。在這樣的示例中，用于檢測所述操作元件的操作的所述分類網(wǎng)絡(luò)可以被訓(xùn)練成檢測在所述圖像中捕捉的所述駕駛員的手是否能夠被定位在所述操作元件附近。

8、在第一個方面的一些示例中，確定所述駕駛員的姿態(tài)的分類信息的步驟包括：使用用于檢測所述駕駛員的身體姿態(tài)的分類網(wǎng)絡(luò)對在圖像中捕捉的駕駛員進行分類，以檢測所述駕駛員的所述身體姿態(tài)；以及基于所述分類，確定指示所述駕駛員的身體姿態(tài)是否允許所述駕駛員操作所述操作元件的分類信息。在這樣的示例中，所述駕駛員的身體姿態(tài)的分類網(wǎng)絡(luò)可以被訓(xùn)練成基于所述駕駛員的多個身體關(guān)鍵點來檢測在所述圖像中捕捉的所述駕駛員的身體姿態(tài)。

9、在第一個方面的一些示例中，確定所述駕駛員的姿態(tài)的分類信息的步驟包括：使用用于檢測所述駕駛員的手姿態(tài)的分類網(wǎng)絡(luò)對在所述圖像中捕捉的所述駕駛員進行分類，以檢測駕駛員的手姿態(tài)；以及基于所述分類，確定指示所述駕駛員的手姿態(tài)是否允許操作所述操作元件的分類信息。在這樣的示例中，用于檢測所述駕駛員的手姿態(tài)的所述分類網(wǎng)絡(luò)可以被訓(xùn)練成基于與所述駕駛員的手相關(guān)的多個身體關(guān)鍵點來檢測在所述部分圖像中捕捉的所述駕駛員的手姿態(tài)。

10、在第一個方面的一些示例中，確定駕駛員的姿態(tài)的分類信息的步驟包括：使用用于檢測駕駛員的手中的對象的分類網(wǎng)絡(luò)對在圖像中捕捉的駕駛員進行分類，以檢測駕駛員的手中是否存在對象；以及基于所述分類確定指示所述手中是否存在所述對象的所述分類信息，以得出所述駕駛員是否能夠操作所述操作元件。在這樣的示例中，可以訓(xùn)練用于檢測駕駛員的手中的對象的分類網(wǎng)絡(luò)以檢測在部分圖像中捕捉的駕駛員的手中保持的對象。

11、在第一個方面的一些示例中，所述方法還包括：基于所述操作元件的位置裁剪所述圖像以生成捕捉所述操作元件的所述部分圖像。

12、在第一個方面的一些示例中，所述方法還包括：基于所述駕駛員的多個身體關(guān)鍵點和/或使用用于檢測所述圖像中的所述駕駛員的至少部分的分類網(wǎng)絡(luò)來裁剪所述圖像，以生成捕捉所述駕駛員的至少所述部分的所述部分圖像。

13、在第一個方面的一些示例中，所述方法還包括：基于捕捉駕駛員的圖像，確定駕駛員的多個身體關(guān)鍵點。

14、在第一個方面的一些示例中，確定駕駛員是否操作操作元件的步驟包括：對所述距離、操作元件的分類信息和駕駛員的姿態(tài)的分類信息進行加權(quán)。

15、在第一個方面的一些示例中，所述方法還包括：確定所述距離是否滿足所述標準，所述標準指示所述駕駛員的手是否位于所述操作元件附近以允許操作所述操作元件。在這樣的示例中，確定該距離是否滿足該標準的步驟可以包括：確定所述駕駛員的手是否位于所述圖像的包括所述操作元件的區(qū)域內(nèi)，以確定所述距離滿足所述標準。

16、在第一個方面的一些示例中，所述方法還包括：生成用于指示所述駕駛員是否操作所述操作元件的用于駕駛輔助的控制信號。

17、在第一個方面的一些示例中，所述方法還包括：借助于所述載具的傳感器拍攝所述圖像。

18、在第一個方面的一些示例中，操作元件包括載具的方向盤。

19、根據(jù)本公開的第二個方面，提供了一種處理裝置。該處理裝置包括被配置成執(zhí)行根據(jù)第一個方面及其實施方式的方法的處理器。另選地或附加地，處理裝置可以包括處理器和包括計算機程序代碼的存儲器。當用處理器執(zhí)行時，計算機程序代碼使處理裝置執(zhí)行根據(jù)第一個方面及其實施方式的方法。另選地或附加地，該處理裝置可以包括被配置成執(zhí)行根據(jù)第一個方面及其實施方式的方法的一個或更多個單元。

20、根據(jù)第三個方面，提供了另一處理裝置。所述處理裝置包括距離確定部件，所述距離確定部件用于基于捕捉所述載具的操作元件和所述載具的駕駛員的圖像來確定所述操作元件與所述駕駛員的手之間的距離；操作元件分類部件，用于基于捕捉操作元件的部分圖像來確定操作元件的分類信息；駕駛員姿態(tài)分類部件，用于基于捕捉駕駛員的部分圖像來確定駕駛員的姿態(tài)的分類信息；以及操作確定部件，用于基于距離、操作元件的分類信息和駕駛員的姿態(tài)的分類信息來確定駕駛員是否操作操作元件。操作元件分類部件、駕駛員姿態(tài)分類部件和操作確定部件響應(yīng)于距離滿足指示駕駛員操作操作元件的可能性的標準而操作。

21、根據(jù)第四個方面，提供了一種用于載具的駕駛輔助系統(tǒng)。駕駛輔助系統(tǒng)包括根據(jù)第二個方面和/或第三個方面的處理裝置。用于載具的自主駕駛系統(tǒng)還可以設(shè)置有根據(jù)第二個方面和/或第三個方面的處理裝置。

22、根據(jù)第五個方面，載具設(shè)置有用于捕捉包括載具的操作元件的至少部分和載具的駕駛員的至少部分的圖像的圖像捕捉系統(tǒng)和根據(jù)第四個方面的駕駛輔助系統(tǒng)。另選地或附加地，該載具可以包括該圖像捕捉系統(tǒng)和該自主駕駛系統(tǒng)。

23、根據(jù)第六個方面，提供了一種計算機程序產(chǎn)品。該計算機程序產(chǎn)品包括當由計算機執(zhí)行時使計算機執(zhí)行根據(jù)第一個方面及其實施方式的方法的指令。

24、本概述旨在提供根據(jù)本公開的一些方面和特征的簡要概述。因此，應(yīng)當理解，上述特征僅是示例，而不應(yīng)被解釋為以任何方式縮小本公開的范圍。通過以下詳細描述、附圖和權(quán)利要求，本公開的其他特征、方面和優(yōu)點將變得明顯。