本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別涉及一種基于人工智能的跟蹤拍攝方法、裝置和電子設(shè)備。

背景技術(shù)：

人工智能(Artificial Intelligence)，英文縮寫(xiě)為AI。它是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)新的技術(shù)科學(xué)。人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類(lèi)智能相似的方式做出反應(yīng)的智能機(jī)器，該領(lǐng)域的研究包括機(jī)器人、語(yǔ)言識(shí)別、圖像識(shí)別、自然語(yǔ)言處理和專(zhuān)家系統(tǒng)等。

跟蹤拍攝是飛行器或陸地機(jī)器人的導(dǎo)航、跟拍、控制、避障等功能的基本功能，也是人工智能研究領(lǐng)域的一個(gè)關(guān)鍵問(wèn)題。目前，傳統(tǒng)的跟拍主要是由控制平臺(tái)基于經(jīng)典控制理論和定位系統(tǒng)、圖像處理和計(jì)算等技術(shù)制定一套完整的跟拍規(guī)則，以使跟拍設(shè)備根據(jù)這套規(guī)則實(shí)現(xiàn)跟拍。但是，這種方式需要通過(guò)復(fù)雜的計(jì)算過(guò)程確定跟拍規(guī)則，編碼技術(shù)過(guò)程復(fù)雜，且存在平臺(tái)深度定制、跟拍穩(wěn)定性低的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在至少在一定程度上解決上述技術(shù)問(wèn)題。

為此，本發(fā)明的第一個(gè)目的在于提出一種基于人工智能的跟蹤拍攝方法，該方法可使得跟拍設(shè)備在不同平臺(tái)上能夠自主學(xué)習(xí)跟拍，從而根據(jù)跟拍的實(shí)際情況采取不同的跟拍策略，以改善跟蹤拍攝的自由度，提高跟蹤拍攝的質(zhì)量。

本發(fā)明的第二個(gè)目的在于提出一種基于人工智能的跟蹤拍攝裝置。

本發(fā)明的第三個(gè)目的在于提出一種電子設(shè)備。

為達(dá)上述目的，根據(jù)本發(fā)明第一方面實(shí)施例提出了一種基于人工智能的跟蹤拍攝方法，該方法包括以下步驟：a、根據(jù)預(yù)設(shè)的跟拍策略模型確定當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)，并根據(jù)所述控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，并根據(jù)所述第二狀態(tài)的狀態(tài)信息確定所述控制信號(hào)對(duì)應(yīng)的評(píng)估值；b、將所述第二狀態(tài)作為當(dāng)前狀態(tài)，并重復(fù)步驟a直至獲取預(yù)設(shè)數(shù)量的評(píng)估值；c、根據(jù)所述預(yù)設(shè)數(shù)量的評(píng)估值更新所述跟拍策略模型的模型參數(shù)，以更新所述跟拍策略模型；d、將更新后的跟拍策略模型作為預(yù)設(shè)的跟拍策略模型，并重復(fù)步驟a-c，直至所述跟拍策略模型的模型參數(shù)收斂；e、使用收斂時(shí)的跟拍策略模型進(jìn)行跟蹤拍攝。

本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝方法，通過(guò)分析跟拍設(shè)備在跟拍過(guò)程中的不同參數(shù)，以確定出最適合當(dāng)前跟拍環(huán)境的跟拍策略模型，進(jìn)而根據(jù)該跟拍策略模型進(jìn)行跟蹤拍攝操作，從而實(shí)現(xiàn)了跟拍設(shè)備在不同的跟拍環(huán)境下都能夠采取最適合的跟拍策略進(jìn)行跟蹤拍攝，以改善跟蹤拍攝的自由度，提高跟蹤拍攝的質(zhì)量。

本發(fā)明第二方面實(shí)施例提出了一種基于人工智能的跟蹤拍攝裝置，該裝置包括：確定模塊，用于根據(jù)預(yù)設(shè)的跟拍策略模型確定當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)，并根據(jù)所述控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，并根據(jù)所述第二狀態(tài)的狀態(tài)信息確定所述控制信號(hào)對(duì)應(yīng)的評(píng)估值；第一控制模塊，用于將所述第二狀態(tài)作為當(dāng)前狀態(tài)，并控制所述確定模塊重復(fù)執(zhí)行，直至獲取預(yù)設(shè)數(shù)量的評(píng)估值；更新模塊，用于根據(jù)所述預(yù)設(shè)數(shù)量的評(píng)估值更新所述跟拍策略模型的模型參數(shù)，以更新所述跟拍策略模型；第二控制模塊，用于將更新后的跟拍策略模型作為預(yù)設(shè)的跟拍策略模型，并控制所述確定模塊、第一控制模塊和所述更新模塊重復(fù)執(zhí)行，直至所述跟拍策略模型的模型參數(shù)收斂；跟蹤拍攝模塊，用于使用收斂時(shí)的跟拍策略模型進(jìn)行跟蹤拍攝。

本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝裝置，通過(guò)分析跟拍設(shè)備在跟拍過(guò)程中的不同參數(shù)，以確定出最適合當(dāng)前跟拍環(huán)境的跟拍策略模型，進(jìn)而根據(jù)該跟拍策略模型進(jìn)行跟蹤拍攝操作，從而實(shí)現(xiàn)了跟拍設(shè)備在不同的跟拍環(huán)境下都能夠采取最適合的跟拍策略進(jìn)行跟蹤拍攝，以改善跟蹤拍攝的自由度，提高跟蹤拍攝的質(zhì)量。

本發(fā)明第三方面實(shí)施例提出了一種電子設(shè)備，包括：用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為：執(zhí)行上述基于人工智能的跟蹤拍攝方法。

本發(fā)明實(shí)施例的電子設(shè)備，通過(guò)分析跟拍設(shè)備在跟拍過(guò)程中的不同參數(shù)，以確定出最適合當(dāng)前跟拍環(huán)境的跟拍策略模型，進(jìn)而根據(jù)該跟拍策略模型進(jìn)行跟蹤拍攝操作，從而實(shí)現(xiàn)了跟拍設(shè)備在不同的跟拍環(huán)境下都能夠采取最適合的跟拍策略進(jìn)行跟蹤拍攝，以改善跟蹤拍攝的自由度，提高跟蹤拍攝的質(zhì)量。

本發(fā)明第四方面實(shí)施例提出了一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由電子設(shè)備的處理器被執(zhí)行時(shí)，使得電子設(shè)備能夠執(zhí)行一種基于人工智能的跟蹤拍攝方法。

本發(fā)明第五方面實(shí)施例提出了一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述計(jì)算機(jī)程序產(chǎn)品中的指令處理器執(zhí)行時(shí)，執(zhí)行一種基于人工智能的跟蹤拍攝方法。

本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1為本發(fā)明的一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝方法的流程圖；

圖2為本發(fā)明的另一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝方法的流程圖；

圖3為本發(fā)明的一個(gè)具體地跟拍策略模型的示意圖；

圖4為本發(fā)明的一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝裝置的結(jié)構(gòu)示意圖；

圖5為本發(fā)明的一個(gè)實(shí)施例的確定模塊的結(jié)構(gòu)示意圖；

圖6為本發(fā)明另一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。

在本發(fā)明的描述中，需要理解的是，術(shù)語(yǔ)“多個(gè)”指兩個(gè)或兩個(gè)以上；術(shù)語(yǔ)“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。

為了改善傳統(tǒng)跟拍系統(tǒng)在跟拍時(shí)所存在的編碼計(jì)算復(fù)雜、平臺(tái)深度定制以及跟拍穩(wěn)定性低等技術(shù)問(wèn)題，本發(fā)明提出了基于人工智能的跟蹤拍攝方法、裝置和電子設(shè)備，下面參考附圖描述根據(jù)本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝方法、裝置和電子設(shè)備。

根據(jù)本發(fā)明一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝方法，包括以下步驟：a、根據(jù)預(yù)設(shè)的跟拍策略模型確定當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)，并根據(jù)所述控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，并根據(jù)所述第二狀態(tài)的狀態(tài)信息確定所述控制信號(hào)對(duì)應(yīng)的評(píng)估值；b、將所述第二狀態(tài)作為當(dāng)前狀態(tài)，并重復(fù)步驟a直至獲取預(yù)設(shè)數(shù)量的評(píng)估值；c、根據(jù)所述預(yù)設(shè)數(shù)量的評(píng)估值更新所述跟拍策略模型的模型參數(shù)，以更新所述跟拍策略模型；d、將更新后的跟拍策略模型作為預(yù)設(shè)的跟拍策略模型，并重復(fù)步驟a-c，直至所述跟拍策略模型的模型參數(shù)收斂；e、使用收斂時(shí)的跟拍策略模型進(jìn)行跟蹤拍攝。

圖1為根據(jù)本發(fā)明一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝方法的流程圖。

如圖1所示，根據(jù)本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝方法，包括以下步驟S101-S105。

S101，根據(jù)預(yù)設(shè)的跟拍策略模型確定當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)，并根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，并根據(jù)第二狀態(tài)的狀態(tài)信息確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

其中，跟拍策略模型是用于學(xué)習(xí)跟拍設(shè)備在跟拍過(guò)程中的狀態(tài)信息-控制信號(hào)對(duì)的映射函數(shù)，即策略模型，可用帶參數(shù)的函數(shù)π(s,a,θ)表示，其中，s為拍攝設(shè)備的狀態(tài)信息，a為控制信號(hào)，θ為模型參數(shù)。

具體地，當(dāng)跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，在當(dāng)前狀態(tài)，可根據(jù)跟拍策略模型和當(dāng)前狀態(tài)的狀態(tài)信息確定對(duì)應(yīng)的控制信號(hào)，然后根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，并根據(jù)第二狀態(tài)的狀態(tài)信息確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

其中，評(píng)估值是指跟拍設(shè)備從第一狀態(tài)(即當(dāng)前狀態(tài))到第二狀態(tài)的一個(gè)反饋值，即對(duì)當(dāng)前使用的跟拍策略模型的反饋評(píng)估，可用r表示。

進(jìn)一步地，在本發(fā)明的實(shí)施例中，根據(jù)第二狀態(tài)確定控制信號(hào)對(duì)應(yīng)的評(píng)估值包括：根據(jù)第二狀態(tài)對(duì)應(yīng)的狀態(tài)信息基于預(yù)設(shè)的評(píng)估函數(shù)確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

其中，狀態(tài)信息可包括跟拍設(shè)備的姿態(tài)信息、跟拍設(shè)備的能量消耗信息、跟拍設(shè)備是否撞上障礙物、跟蹤窗口的位置信息、跟蹤窗口的大小中的至少一個(gè)。在本發(fā)明的一個(gè)實(shí)施例中，評(píng)估函數(shù)可以為對(duì)上述狀態(tài)信息進(jìn)行加權(quán)求和的函數(shù)。

舉例來(lái)說(shuō)，在本發(fā)明實(shí)施例中，跟拍設(shè)備的狀態(tài)信息可以是跟拍設(shè)備的姿態(tài)信息，具體體現(xiàn)在穩(wěn)定性和動(dòng)作平順性(例如，如果出現(xiàn)抖動(dòng)，大幅度搖擺等情況，則在計(jì)算評(píng)估值時(shí)采取減分懲罰)、能量的耗費(fèi)信息(例如電機(jī)的能量消耗)、跟蹤窗口是否位于拍攝窗口中央(如按窗口中央離跟蹤物的距離給予懲罰)、窗口大小是否滿(mǎn)足一定標(biāo)準(zhǔn)(如根據(jù)窗口大小離一個(gè)標(biāo)準(zhǔn)設(shè)定值的偏離給予懲罰)、跟拍設(shè)備是否撞上障礙物(如果撞上，給予非常大的懲罰)等。

S102，將第二狀態(tài)作為當(dāng)前狀態(tài)，并重復(fù)步驟S101直至獲取預(yù)設(shè)數(shù)量的評(píng)估值。

在本發(fā)明實(shí)施例中，在獲取到跟拍設(shè)備的第二狀態(tài)后，可將第二狀態(tài)作為跟拍設(shè)備的當(dāng)前狀態(tài)，然后獲取對(duì)應(yīng)的控制信號(hào)，并根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入下一狀態(tài)，即新的當(dāng)前狀態(tài)對(duì)應(yīng)的第二狀態(tài)，并根據(jù)此時(shí)的第二狀態(tài)的狀態(tài)信息確定對(duì)應(yīng)的評(píng)估值，一直重復(fù)直至達(dá)到預(yù)設(shè)次數(shù)為止，從而得到預(yù)設(shè)數(shù)量的評(píng)估值，并根據(jù)得到的評(píng)估值進(jìn)行進(jìn)一步操作。

其中，預(yù)設(shè)數(shù)量可以是預(yù)先設(shè)定好的數(shù)量，當(dāng)然也可以根據(jù)實(shí)際情況進(jìn)行具體的設(shè)定。例如10次、20次或者是其他的次數(shù)，在此不對(duì)其進(jìn)行具體限制。

舉例來(lái)說(shuō)，當(dāng)跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，首先，執(zhí)行步驟1，在當(dāng)前狀態(tài)s_t,根據(jù)預(yù)設(shè)的跟拍策略模型π(s_t,a_t,θ)選擇一個(gè)控制信號(hào)a_t；

然后，在步驟2中，執(zhí)行控制信號(hào)a_t查看下一步狀態(tài)s_t+1,并且計(jì)算評(píng)估值r_t；

在步驟3中，重復(fù)執(zhí)行步驟2中的邏輯，直到執(zhí)行預(yù)設(shè)步數(shù)為止，并記錄下執(zhí)行過(guò)程中所有步數(shù)對(duì)應(yīng)的樣本{s_t,a_t,s_t+1,r_t}，t∈{0，n}，n為預(yù)設(shè)步數(shù)，并得到對(duì)應(yīng)的n個(gè)評(píng)估值。

S103，根據(jù)預(yù)設(shè)數(shù)量的評(píng)估值更新跟拍策略模型的模型參數(shù)，以更新跟拍策略模型。

具體地，在本發(fā)明實(shí)施例中，當(dāng)獲取到預(yù)設(shè)數(shù)量的評(píng)估值后，拍攝設(shè)備可根據(jù)獲取的預(yù)設(shè)數(shù)量的評(píng)估值執(zhí)行更新操作，即更新跟拍策略模型的模型參數(shù)。更具體地，根據(jù)預(yù)設(shè)數(shù)量的評(píng)估值更新跟拍策略模型的模型參數(shù)時(shí)，可基于以下公式進(jìn)行更新跟拍策略模型的模型參數(shù)：

其中，θ_k為更新前的模型參數(shù)，θ_k+1為更新后的模型參數(shù)，n為所述預(yù)設(shè)數(shù)量，r_t為第t個(gè)評(píng)估值，π(s_t,a_t,θ)為預(yù)設(shè)跟拍策略模型，a_t為與所述第t個(gè)評(píng)估值對(duì)應(yīng)的控制信號(hào)，s_t為與所述控制信號(hào)a_t對(duì)應(yīng)的狀態(tài)信號(hào)。

在更新跟拍策略模型的模型參數(shù)之后，跟拍策略模型也根據(jù)跟拍策略模型的參數(shù)模型的更新進(jìn)行更新操作，得到更新的跟拍策略模型。

S104，將更新后的跟拍策略模型作為預(yù)設(shè)的跟拍策略模型，并重復(fù)步驟S101-S103，直至跟拍策略模型的模型參數(shù)收斂。

S105，使用收斂時(shí)的跟拍策略模型進(jìn)行跟蹤拍攝。

通過(guò)重復(fù)執(zhí)行步驟S101-S103以獲取到適合當(dāng)前跟拍環(huán)境的跟拍策略模型，從而根據(jù)獲取適合的跟拍策略模型進(jìn)行跟蹤拍攝。

在本發(fā)明的實(shí)施例中，可以不對(duì)跟拍策略模型π(s_t,a_t,θ)做任何假設(shè)，跟拍策略模型π(s_t,a_t,θ)可為線(xiàn)性模型，也可為神經(jīng)網(wǎng)絡(luò)模型、貝葉斯模型等非線(xiàn)性模型，或者線(xiàn)性+非線(xiàn)性模型組合成的混合模型。

舉例來(lái)說(shuō)，如圖3所示，本發(fā)明所述的跟拍策略模型可基于圖3所示的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到。

此外，根據(jù)本發(fā)明實(shí)施例，在跟拍攝設(shè)備進(jìn)行跟蹤拍攝時(shí)，如果遇到障礙物，跟拍設(shè)備可根據(jù)收斂時(shí)的跟拍策略模型自主的采取避障策略以規(guī)避跟拍軌跡中的障礙物，即繞行障礙物，從而能夠減少甚至避免因跟拍設(shè)備無(wú)法規(guī)避障礙物而導(dǎo)致跟蹤拍攝受影響的問(wèn)題出現(xiàn)，提高了使用滿(mǎn)意度。

進(jìn)一步地，在跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，跟拍設(shè)備可對(duì)跟拍物體進(jìn)行追蹤操作，即跟拍設(shè)備可根據(jù)跟拍窗口來(lái)圈定物體，并且能夠通過(guò)圖像算法一直追蹤窗口內(nèi)的主要物體，從而實(shí)現(xiàn)了跟拍設(shè)備追蹤目標(biāo)物體的目的。

其中，跟拍的攝像頭可采用單目/雙目攝像頭，以及深度攝像頭配合普通RGB攝像頭等多種硬件。具體而言，追蹤算法可以是包括卷積神經(jīng)網(wǎng)絡(luò)模型，以及其他圖像特征抽取的追蹤方法，以及其他圖像匹配方法。

本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝方法，通過(guò)分析跟拍設(shè)備在跟拍過(guò)程中的不同參數(shù)，以確定出最適合當(dāng)前跟拍環(huán)境的跟拍策略模型，進(jìn)而根據(jù)該跟拍策略模型進(jìn)行跟蹤拍攝操作，從而實(shí)現(xiàn)了跟拍設(shè)備在不同的跟拍環(huán)境下都能夠采取最適合的跟拍策略進(jìn)行跟蹤拍攝，以改善跟蹤拍攝的自由度，提高跟蹤拍攝的質(zhì)量。

此外，本發(fā)明的實(shí)施例，通過(guò)將平滑性，避障，追蹤等多個(gè)目標(biāo)合入到一個(gè)統(tǒng)一學(xué)習(xí)框架中，而不需調(diào)參操作，且在不同平臺(tái)上都能夠自主學(xué)習(xí)追蹤，對(duì)于平臺(tái)的自由度，攝像頭等自由度都沒(méi)有具體地限制，能夠?qū)⑺凶杂啥热考尤肟刂谱兞?，參考因素更加全面，能夠提高跟拍過(guò)程中的避障的準(zhǔn)確性，且提高跟拍的穩(wěn)定性和動(dòng)作平順性。

需要說(shuō)明的是，跟拍設(shè)備的輸出即可以是軌跡(或者是軌跡的間接控制變量)，也可以是直接的底層控制信號(hào)輸出。

上述步驟S101中所使用的預(yù)設(shè)的跟拍策略模型可以是預(yù)先根據(jù)模擬數(shù)據(jù)訓(xùn)練得到的跟拍策略模型。具體的訓(xùn)練過(guò)程為，基于隨機(jī)初始模型，參照與本發(fā)明實(shí)施例中跟拍過(guò)程中的自主學(xué)習(xí)追蹤邏輯(即步驟S101-S105的自學(xué)習(xí)過(guò)程)，使用模擬數(shù)據(jù)對(duì)該初始模型進(jìn)行自學(xué)習(xí)，訓(xùn)練得到該預(yù)設(shè)的訓(xùn)練模型。

或者，上述預(yù)設(shè)的跟拍策略模型也可以是傳統(tǒng)跟拍方法中使用的跟拍模型。本發(fā)明實(shí)施例中，對(duì)自主學(xué)習(xí)過(guò)程中使用的初始的跟拍策略模型不做具體限定。

圖2為本發(fā)明的另一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝方法。如圖2所示，本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝方法，包括：

S201，根據(jù)跟拍策略模型確定當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)的概率分布數(shù)據(jù)。

具體地，在本發(fā)明實(shí)施例中，由于跟拍策略模型包括跟拍設(shè)備的狀態(tài)、控制信號(hào)以及模型參數(shù)，所以在跟拍策略模型中就可直接確定出跟拍設(shè)備的當(dāng)前狀態(tài)，而每一個(gè)狀態(tài)都對(duì)應(yīng)著控制信號(hào)的概率分布情況，因此可以很便捷地確定出跟拍設(shè)備當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)的概率分布數(shù)據(jù)。

S202，根據(jù)控制信號(hào)的概率分布數(shù)據(jù)選擇當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)。

具體地，在獲取到控制信號(hào)的概率分布數(shù)據(jù)后，可通過(guò)不同的方式獲取出當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)。例如，第一種方式，按照概率分布進(jìn)行隨機(jī)抽樣，具體地，在獲取的控制信號(hào)的概率分布數(shù)據(jù)后，先將概率分布數(shù)據(jù)中小于預(yù)定概率的數(shù)據(jù)進(jìn)行剔除，然后在剩余的概率分布數(shù)據(jù)中進(jìn)行隨機(jī)抽樣操作，即可獲得對(duì)應(yīng)的控制信號(hào)。第二種方式，可以用貪婪的方式直接在獲取的控制信號(hào)的概率分布數(shù)據(jù)中選擇出概率最大的數(shù)據(jù)作為控制信號(hào)。除此之外還有其他獲取控制信號(hào)的方式，在此對(duì)其不作具體的贅述。

S203，根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，并根據(jù)第二狀態(tài)的狀態(tài)信息確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

在獲取到控制信號(hào)后，根據(jù)獲取的控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，以根據(jù)第二狀態(tài)的狀態(tài)信息確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

其中，評(píng)估值是指跟拍設(shè)備從第一狀態(tài)(即當(dāng)前狀態(tài))到第二狀態(tài)的一個(gè)反饋值，即對(duì)當(dāng)前使用的跟拍策略模型的反饋評(píng)估，可用r表示。

進(jìn)一步地，在本發(fā)明的實(shí)施例中，根據(jù)第二狀態(tài)確定控制信號(hào)對(duì)應(yīng)的評(píng)估值包括：根據(jù)第二狀態(tài)對(duì)應(yīng)的狀態(tài)信息基于預(yù)設(shè)的評(píng)估函數(shù)確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

其中，狀態(tài)信息可包括跟拍設(shè)備的姿態(tài)信息、跟拍設(shè)備的能量消耗信息、跟拍設(shè)備是否撞上障礙物、跟蹤窗口的位置信息、跟蹤窗口的大小中的至少一個(gè)。在本發(fā)明的一個(gè)實(shí)施例中，評(píng)估函數(shù)可以為對(duì)上述狀態(tài)信息進(jìn)行加權(quán)求和的函數(shù)。

舉例來(lái)說(shuō)，在本發(fā)明實(shí)施例中，跟拍設(shè)備的狀態(tài)信息可以是跟拍設(shè)備的姿態(tài)信息，具體體現(xiàn)在穩(wěn)定性和動(dòng)作平順性(例如，如果出現(xiàn)抖動(dòng)，大幅度搖擺等情況，則在計(jì)算評(píng)估值時(shí)采取減分懲罰)、能量的耗費(fèi)信息(例如電機(jī)的能量消耗)、跟蹤窗口是否位于拍攝窗口中央(如按窗口中央離跟蹤物的距離給予懲罰)、窗口大小是否滿(mǎn)足一定標(biāo)準(zhǔn)(如根據(jù)窗口大小離一個(gè)標(biāo)準(zhǔn)設(shè)定值的偏離給予懲罰)、跟拍設(shè)備是否撞上障礙物(如果撞上，給予非常大的懲罰)等。

S204，將第二狀態(tài)作為當(dāng)前狀態(tài)，并重復(fù)執(zhí)行步驟S201-S203直至獲取預(yù)設(shè)數(shù)量的評(píng)估值。

在本發(fā)明實(shí)施例中，在獲取到跟拍設(shè)備的第二狀態(tài)后，可將第二狀態(tài)作為跟拍設(shè)備的當(dāng)前狀態(tài)，然后獲取對(duì)應(yīng)的控制信號(hào)，并根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入下一狀態(tài)，即新的當(dāng)前狀態(tài)對(duì)應(yīng)的第二狀態(tài)，并根據(jù)此時(shí)的第二狀態(tài)的狀態(tài)信息確定對(duì)應(yīng)的評(píng)估值，一直重復(fù)直至達(dá)到預(yù)設(shè)次數(shù)為止，從而得到預(yù)設(shè)數(shù)量的評(píng)估值，并根據(jù)得到的評(píng)估值進(jìn)行進(jìn)一步操作。

其中，預(yù)設(shè)數(shù)量可以是預(yù)先設(shè)定好的數(shù)量，當(dāng)然也可以根據(jù)實(shí)際情況進(jìn)行具體的設(shè)定。例如10次、20次或者是其他的次數(shù)，在此不對(duì)其進(jìn)行具體限制。

舉例來(lái)說(shuō)，當(dāng)跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，首先，執(zhí)行步驟1，在當(dāng)前狀態(tài)s_t,根據(jù)預(yù)設(shè)的跟拍策略模型π(s_t,a_t,θ)選擇一個(gè)控制信號(hào)a_t；

然后，在步驟2中，執(zhí)行控制信號(hào)a_t查看下一步狀態(tài)s_t+1,并且計(jì)算評(píng)估值r_t；

在步驟3中，重復(fù)執(zhí)行步驟2中的邏輯，直到執(zhí)行預(yù)設(shè)步數(shù)為止，并記錄下執(zhí)行過(guò)程中所有步數(shù)對(duì)應(yīng)的樣本{s_t,a_t,s_t+1,r_t}，t∈{0，n}，n為預(yù)設(shè)步數(shù)，并得到對(duì)應(yīng)的n個(gè)評(píng)估值。

S205，根據(jù)預(yù)設(shè)數(shù)量的評(píng)估值更新跟拍策略模型的模型參數(shù)，以更新跟拍策略模型。

具體地，在本發(fā)明實(shí)施例中，當(dāng)獲取到預(yù)設(shè)數(shù)量的評(píng)估值后，拍攝設(shè)備可根據(jù)獲取的預(yù)設(shè)數(shù)量的評(píng)估值執(zhí)行更新操作，即更新跟拍策略模型的模型參數(shù)。更具體地，根據(jù)預(yù)設(shè)數(shù)量的評(píng)估值更新跟拍策略模型的模型參數(shù)時(shí)，可基于以下公式進(jìn)行更新跟拍策略模型的模型參數(shù)：

其中，θ_k為更新前的模型參數(shù)，θ_k+1為更新后的模型參數(shù)，n為所述預(yù)設(shè)數(shù)量，r_t為第t個(gè)評(píng)估值，π(s_t,a_t,θ)為預(yù)設(shè)跟拍策略模型，a_t為與所述第t個(gè)評(píng)估值對(duì)應(yīng)的控制信號(hào)，s_t為與所述控制信號(hào)a_t對(duì)應(yīng)的狀態(tài)信號(hào)。

在更新跟拍策略模型的模型參數(shù)之后，跟拍策略模型也根據(jù)跟拍策略模型的參數(shù)模型的更新進(jìn)行更新操作，得到更新的跟拍策略模型。

S206，將更新后的跟拍策略模型作為預(yù)設(shè)的跟拍策略模型，并重復(fù)步驟S201-S205，直至跟拍策略模型的模型參數(shù)收斂。

S207，使用收斂時(shí)的跟拍策略模型進(jìn)行跟蹤拍攝。

在本發(fā)明的實(shí)施例中，可以不對(duì)跟拍策略模型π(s_t,a_t,θ)做任何假設(shè)，跟拍策略模型π(s_t,a_t,θ)可為線(xiàn)性模型，也可為神經(jīng)網(wǎng)絡(luò)模型、貝葉斯模型等非線(xiàn)性模型，或者線(xiàn)性+非線(xiàn)性模型組合成的混合模型。

舉例來(lái)說(shuō)，如圖3所示，本發(fā)明所述的跟拍策略模型可基于圖3所示的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到。

此外，根據(jù)本發(fā)明的一個(gè)實(shí)施例中，在跟拍攝設(shè)備進(jìn)行跟蹤拍攝時(shí)，如果遇到障礙物，跟拍設(shè)備可根據(jù)收斂時(shí)的跟拍策略模型自主的采取避障策略以規(guī)避跟拍軌跡中的障礙物，即繞行策略，從而能夠減少甚至避免因跟拍設(shè)備無(wú)法規(guī)避障礙物而導(dǎo)致跟蹤拍攝受影響的問(wèn)題出現(xiàn)，提高了使用滿(mǎn)意度。

進(jìn)一步地，在跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，跟拍設(shè)備可對(duì)于跟拍物體進(jìn)行追蹤操作，即跟拍設(shè)備可根據(jù)跟拍窗口來(lái)圈定物體，并且能夠通過(guò)圖像算法一直追蹤窗口內(nèi)的主要物體，從而實(shí)現(xiàn)了跟拍設(shè)備追蹤目標(biāo)物體的目的。

其中，跟拍的攝像頭可采用單目/雙目攝像頭，以及深度攝像頭配合普通RGB攝像頭等多種硬件。具體而言，追蹤算法可以是包括卷積神經(jīng)網(wǎng)絡(luò)模型，以及其他圖像特征抽取的追蹤方法，以及其他圖像匹配方法。

本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝方法，通過(guò)分析跟拍設(shè)備在跟拍過(guò)程中的不同參數(shù)，以確定出最適合當(dāng)前跟拍環(huán)境的跟拍策略模型，進(jìn)而根據(jù)該跟拍策略模型進(jìn)行跟蹤拍攝操作，從而實(shí)現(xiàn)了跟拍設(shè)備在不同的跟拍環(huán)境下都能夠采取最適合的跟拍策略進(jìn)行跟蹤拍攝，以改善跟蹤拍攝的自由度，提高跟蹤拍攝的質(zhì)量。

此外，本發(fā)明的實(shí)施例，通過(guò)將平滑性，避障，追蹤等多個(gè)目標(biāo)合入到一個(gè)統(tǒng)一學(xué)習(xí)框架中，而不需調(diào)參操作，且在不同平臺(tái)上都能夠自主學(xué)習(xí)追蹤，對(duì)于平臺(tái)的自由度，攝像頭等自由度都沒(méi)有具體地限制，能夠?qū)⑺凶杂啥热考尤肟刂谱兞?，參考因素更加全面，能夠提高跟拍過(guò)程中的避障的準(zhǔn)確性，且提高跟拍的穩(wěn)定性和動(dòng)作平順性。

需要說(shuō)明的是，跟拍設(shè)備的輸出即可以是軌跡(或者是軌跡的間接控制變量)，也可以是直接的底層控制信號(hào)輸出。

上述步驟S201中所使用的預(yù)設(shè)的跟拍策略模型可以是預(yù)先根據(jù)模擬數(shù)據(jù)訓(xùn)練得到的跟拍策略模型。具體的訓(xùn)練過(guò)程為，基于隨機(jī)初始模型，參照與本發(fā)明實(shí)施例中跟拍過(guò)程中的自主學(xué)習(xí)追蹤邏輯(即步驟S201-S207的自學(xué)習(xí)過(guò)程)，使用模擬數(shù)據(jù)對(duì)該初始模型進(jìn)行自學(xué)習(xí)，訓(xùn)練得到該預(yù)設(shè)的訓(xùn)練模型。

或者，上述預(yù)設(shè)的跟拍策略模型也可以是傳統(tǒng)跟拍方法中使用的跟拍模型。本發(fā)明實(shí)施例中，對(duì)自主學(xué)習(xí)過(guò)程中使用的初始的跟拍策略模型不做具體限定。

為了實(shí)現(xiàn)上述實(shí)施例，本發(fā)明還提出一種基于人工智能的跟蹤拍攝裝置。

圖4為根據(jù)本發(fā)明一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝裝置的結(jié)構(gòu)示意圖。

如圖4所示，根據(jù)本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝裝置100，包括：確定模塊10、第一控制模塊20、更新模塊30、第二控制模塊40、以及跟蹤拍攝模塊50。

具體地，確定模塊10用于根據(jù)預(yù)設(shè)的跟拍策略模型確定當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)，并根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，并根據(jù)第二狀態(tài)的狀態(tài)信息確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

其中，跟拍策略模型是用于學(xué)習(xí)跟拍設(shè)備在跟拍過(guò)程中的狀態(tài)信息-控制信號(hào)對(duì)的映射函數(shù)，即策略模型，可用帶參數(shù)的函數(shù)π(s,a,θ)表示，其中，s為拍攝設(shè)備的狀態(tài)信息，a為控制信號(hào)，θ為模型參數(shù)。

具體地，當(dāng)跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，在當(dāng)前狀態(tài)，可根據(jù)跟拍策略模型和當(dāng)前狀態(tài)的狀態(tài)信息確定對(duì)應(yīng)的控制信號(hào)，然后根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，并根據(jù)第二狀態(tài)的狀態(tài)信息確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

其中，評(píng)估值是指跟拍設(shè)備從第一狀態(tài)(即當(dāng)前狀態(tài))到第二狀態(tài)的一個(gè)反饋值，即對(duì)當(dāng)前使用的跟拍策略模型的反饋評(píng)估，可用r表示。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，如圖5所示，確定模塊10包括：評(píng)估值確定單元11。其中，評(píng)估值確定單元11用于根據(jù)第二狀態(tài)對(duì)應(yīng)的狀態(tài)信息基于預(yù)設(shè)的評(píng)估函數(shù)確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

其中，狀態(tài)信息可包括跟拍設(shè)備的姿態(tài)信息、跟拍設(shè)備的能量消耗信息、跟拍設(shè)備是否撞上障礙物、跟蹤窗口的位置信息、跟蹤窗口的大小中的至少一個(gè)。在本發(fā)明的一個(gè)實(shí)施例中，評(píng)估函數(shù)可以為對(duì)上述狀態(tài)信息進(jìn)行加權(quán)求和的函數(shù)。

舉例來(lái)說(shuō)，在本發(fā)明實(shí)施例中，跟拍設(shè)備的狀態(tài)信息可以是跟拍設(shè)備的姿態(tài)信息，具體體現(xiàn)在穩(wěn)定性和動(dòng)作平順性(例如，如果出現(xiàn)抖動(dòng)，大幅度搖擺等情況，則在計(jì)算評(píng)估值時(shí)采取減分懲罰)、能量的耗費(fèi)信息(例如電機(jī)的能量消耗)、跟蹤窗口是否位于拍攝窗口中央(如按窗口中央離跟蹤物的距離給予懲罰)、窗口大小是否滿(mǎn)足一定標(biāo)準(zhǔn)(如根據(jù)窗口大小離一個(gè)標(biāo)準(zhǔn)設(shè)定值的偏離給予懲罰)、跟拍設(shè)備是否撞上障礙物(如果撞上，給予非常大的懲罰)等。

第一控制模塊20用于將第二狀態(tài)作為當(dāng)前狀態(tài)，并控制確定模塊重復(fù)執(zhí)行，直至獲取預(yù)設(shè)數(shù)量的評(píng)估值。

在本發(fā)明實(shí)施例中，在獲取到跟拍設(shè)備的第二狀態(tài)后，可將第二狀態(tài)作為跟拍設(shè)備的當(dāng)前狀態(tài)，然后獲取對(duì)應(yīng)的控制信號(hào)，并根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入下一狀態(tài)，即新的當(dāng)前狀態(tài)對(duì)應(yīng)的第二狀態(tài)，并根據(jù)此時(shí)的第二狀態(tài)的狀態(tài)信息確定對(duì)應(yīng)的評(píng)估值，一直重復(fù)直至達(dá)到預(yù)設(shè)次數(shù)為止，從而得到預(yù)設(shè)數(shù)量的評(píng)估值，并根據(jù)得到的評(píng)估值進(jìn)行進(jìn)一步操作。

其中，預(yù)設(shè)數(shù)量可以是預(yù)先設(shè)定好的數(shù)量，當(dāng)然也可以根據(jù)實(shí)際情況進(jìn)行具體的設(shè)定。例如10次、20次或者是其他的次數(shù)，在此不對(duì)其進(jìn)行具體限制。

舉例來(lái)說(shuō)，當(dāng)跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，首先，執(zhí)行步驟1，在當(dāng)前狀態(tài)s_t,根據(jù)預(yù)設(shè)的跟拍策略模型π(s_t,a_t,θ)選擇一個(gè)控制信號(hào)a_t；

然后，在步驟2中，執(zhí)行控制信號(hào)a_t查看下一步狀態(tài)s_t+1,并且計(jì)算評(píng)估值r_t；

在步驟3中，重復(fù)執(zhí)行步驟2中的邏輯，直到執(zhí)行預(yù)設(shè)步數(shù)為止，并記錄下執(zhí)行過(guò)程中所有步數(shù)對(duì)應(yīng)的樣本{s_t,a_t,s_t+1,r_t}，t∈{0，n}，n為預(yù)設(shè)步數(shù)，并得到對(duì)應(yīng)的n個(gè)評(píng)估值。

更新模塊30用于根據(jù)預(yù)設(shè)數(shù)量的評(píng)估值更新跟拍策略模型的模型參數(shù)，以更新跟拍策略模型。

具體地，在本發(fā)明實(shí)施例中，當(dāng)獲取到預(yù)設(shè)數(shù)量的評(píng)估值后，拍攝設(shè)備可根據(jù)獲取的預(yù)設(shè)數(shù)量的評(píng)估值執(zhí)行更新操作，即更新跟拍策略模型的模型參數(shù)。更具體地，更新模塊30用于根據(jù)預(yù)設(shè)數(shù)量的評(píng)估值更新跟拍策略模型的模型參數(shù)時(shí)，可基于以下公式進(jìn)行更新跟拍策略模型的模型參數(shù)：

其中，θ_k為更新前的模型參數(shù)，θ_k+1為更新后的模型參數(shù)，n為所述預(yù)設(shè)數(shù)量，r_t為第t個(gè)評(píng)估值，π(s_t,a_t,θ)為預(yù)設(shè)跟拍策略模型，a_t為與所述第t個(gè)評(píng)估值對(duì)應(yīng)的控制信號(hào)，s_t為與所述控制信號(hào)a_t對(duì)應(yīng)的狀態(tài)信號(hào)。

在更新跟拍策略模型的模型參數(shù)之后，跟拍策略模型也根據(jù)跟拍策略模型的參數(shù)模型的更新進(jìn)行更新操作，得到更新的跟拍策略模型。

第二控制模塊40用于將更新后的跟拍策略模型作為預(yù)設(shè)的跟拍策略模型，并控制確定模塊10、第一控制模塊20和更新模塊30重復(fù)執(zhí)行，直至跟拍策略模型的模型參數(shù)收斂。跟蹤拍攝模塊50用于使用收斂時(shí)的跟拍策略模型進(jìn)行跟蹤拍攝。

通過(guò)重復(fù)執(zhí)行確定模塊10、第一控制模塊20和更新模塊30以獲取到適合當(dāng)前跟拍環(huán)境的跟拍策略模型，從而根據(jù)獲取適合的跟拍策略模型進(jìn)行跟蹤拍攝。

在本發(fā)明的實(shí)施例中，可以不對(duì)跟拍策略模型π(s_t,a_t,θ)做任何假設(shè)，跟拍策略模型π(s_t,a_t,θ)可為線(xiàn)性模型，也可為神經(jīng)網(wǎng)絡(luò)模型、貝葉斯模型等非線(xiàn)性模型，或者線(xiàn)性+非線(xiàn)性模型組合成的混合模型。

舉例來(lái)說(shuō)，如圖3所示，本發(fā)明所述的跟拍策略模型可基于圖3所示的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到。

此外，根據(jù)本發(fā)明實(shí)施例，在跟拍攝設(shè)備進(jìn)行跟蹤拍攝時(shí)，如果遇到障礙物，跟拍設(shè)備可根據(jù)收斂時(shí)的跟拍策略模型自主的采取避障策略以規(guī)避跟拍軌跡中的障礙物，即繞行障礙物，從而能夠減少甚至避免因跟拍設(shè)備無(wú)法規(guī)避障礙物而導(dǎo)致跟蹤拍攝受影響的問(wèn)題出現(xiàn)，提高了使用滿(mǎn)意度。

進(jìn)一步地，在跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，跟拍設(shè)備可對(duì)跟拍物體進(jìn)行追蹤操作，即跟拍設(shè)備可根據(jù)跟拍窗口來(lái)圈定物體，并且能夠通過(guò)圖像算法一直追蹤窗口內(nèi)的主要物體，從而實(shí)現(xiàn)了跟拍設(shè)備追蹤目標(biāo)物體的目的。

其中，跟拍的攝像頭可采用單目/雙目攝像頭，以及深度攝像頭配合普通RGB攝像頭等多種硬件。具體而言，追蹤算法可以是包括卷積神經(jīng)網(wǎng)絡(luò)模型，以及其他圖像特征抽取的追蹤方法，以及其他圖像匹配方法。

本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝裝置，通過(guò)分析跟拍設(shè)備在跟拍過(guò)程中的不同參數(shù)，以確定出最適合當(dāng)前跟拍環(huán)境的跟拍策略模型，進(jìn)而根據(jù)該跟拍策略模型進(jìn)行跟蹤拍攝操作，從而實(shí)現(xiàn)了跟拍設(shè)備在不同的跟拍環(huán)境下都能夠采取最適合的跟拍策略進(jìn)行跟蹤拍攝，以改善跟蹤拍攝的自由度，提高跟蹤拍攝的質(zhì)量。

此外，本發(fā)明的實(shí)施例，通過(guò)將平滑性，避障，追蹤等多個(gè)目標(biāo)合入到一個(gè)統(tǒng)一學(xué)習(xí)框架中，而不需調(diào)參操作，且在不同平臺(tái)上都能夠自主學(xué)習(xí)追蹤，對(duì)于平臺(tái)的自由度，攝像頭等自由度都沒(méi)有具體地限制，能夠?qū)⑺凶杂啥热考尤肟刂谱兞?，參考因素更加全面，能夠提高跟拍過(guò)程中的避障的準(zhǔn)確性，且提高跟拍的穩(wěn)定性和動(dòng)作平順性。

需要說(shuō)明的是，跟拍設(shè)備的輸出即可以是軌跡(或者是軌跡的間接控制變量)，也可以是直接的底層控制信號(hào)輸出。

為了使得本領(lǐng)域的技術(shù)人員能夠清楚地了解本發(fā)明的特點(diǎn)，下面將結(jié)合圖6進(jìn)行進(jìn)一步描述。

圖6為本發(fā)明另一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝裝置的結(jié)構(gòu)示意圖。

如圖6所示，根據(jù)本發(fā)明另一個(gè)實(shí)施例的基于人工智能的跟蹤拍攝裝置100，包括：確定模塊10、第一控制模塊20、更新模塊30、第二控制模塊40、以及跟蹤拍攝模塊50。

具體地，確定模塊10用于根據(jù)預(yù)設(shè)的跟拍策略模型確定當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)，并根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入第二狀態(tài)，并根據(jù)第二狀態(tài)的狀態(tài)信息確定控制信號(hào)對(duì)應(yīng)的評(píng)估值。

更具體地，在本發(fā)明的一個(gè)實(shí)施例中，如圖6所示，確定模塊10包括：控制信號(hào)確定單元12。其中，控制信號(hào)確定單元12用于根據(jù)跟拍策略模型確定當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)的概率分布數(shù)據(jù)；根據(jù)控制信號(hào)的概率分布數(shù)據(jù)選擇當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)。

在本發(fā)明實(shí)施例中，由于跟拍策略模型包括跟拍設(shè)備的狀態(tài)、控制信號(hào)以及模型參數(shù)，所以在跟拍策略模型中就可直接確定出跟拍設(shè)備的當(dāng)前狀態(tài)，而每一個(gè)狀態(tài)都對(duì)應(yīng)著控制信號(hào)的概率分布情況，因此可以很便捷地確定出跟拍設(shè)備當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)的概率分布數(shù)據(jù)。

在獲取到控制信號(hào)的概率分布數(shù)據(jù)后，可通過(guò)不同的方式獲取出當(dāng)前狀態(tài)對(duì)應(yīng)的控制信號(hào)。例如，第一種方式，按照概率分布進(jìn)行隨機(jī)抽樣，具體地，在獲取的控制信號(hào)的概率分布數(shù)據(jù)后，先將概率分布數(shù)據(jù)中小于預(yù)定概率的數(shù)據(jù)進(jìn)行剔除，然后在剩余的概率分布數(shù)據(jù)中進(jìn)行隨機(jī)抽樣操作，即可獲得對(duì)應(yīng)的控制信號(hào)。第二種方式，可以用貪婪的方式直接在獲取的控制信號(hào)的概率分布數(shù)據(jù)中選擇出概率最大的數(shù)據(jù)作為控制信號(hào)。除此之外還有其他獲取控制信號(hào)的方式，在此對(duì)其不作具體的贅述。

第一控制模塊20用于將第二狀態(tài)作為當(dāng)前狀態(tài)，并控制確定模塊重復(fù)執(zhí)行，直至獲取預(yù)設(shè)數(shù)量的評(píng)估值。

在本發(fā)明實(shí)施例中，在獲取到跟拍設(shè)備的第二狀態(tài)后，可將第二狀態(tài)作為跟拍設(shè)備的當(dāng)前狀態(tài)，然后獲取對(duì)應(yīng)的控制信號(hào)，并根據(jù)控制信號(hào)控制跟拍設(shè)備進(jìn)入下一狀態(tài)，即新的當(dāng)前狀態(tài)對(duì)應(yīng)的第二狀態(tài)，并根據(jù)此時(shí)的第二狀態(tài)的狀態(tài)信息確定對(duì)應(yīng)的評(píng)估值，一直重復(fù)直至達(dá)到預(yù)設(shè)次數(shù)為止，從而得到預(yù)設(shè)數(shù)量的評(píng)估值，并根據(jù)得到的評(píng)估值進(jìn)行進(jìn)一步操作。

其中，預(yù)設(shè)數(shù)量可以是預(yù)先設(shè)定好的數(shù)量，當(dāng)然也可以根據(jù)實(shí)際情況進(jìn)行具體的設(shè)定。例如10次、20次或者是其他的次數(shù)，在此不對(duì)其進(jìn)行具體限制。

舉例來(lái)說(shuō)，當(dāng)跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，首先，執(zhí)行步驟1，在當(dāng)前狀態(tài)s_t,根據(jù)預(yù)設(shè)的跟拍策略模型π(s_t,a_t,θ)選擇一個(gè)控制信號(hào)a_t；

然后，在步驟2中，執(zhí)行控制信號(hào)a_t查看下一步狀態(tài)s_t+1,并且計(jì)算評(píng)估值r_t；

在步驟3中，重復(fù)執(zhí)行步驟2中的邏輯，直到執(zhí)行預(yù)設(shè)步數(shù)為止，并記錄下執(zhí)行過(guò)程中所有步數(shù)對(duì)應(yīng)的樣本{s_t,a_t,s_t+1,r_t}，t∈{0，n}，n為預(yù)設(shè)步數(shù)，并得到對(duì)應(yīng)的n個(gè)評(píng)估值。

更新模塊30用于根據(jù)預(yù)設(shè)數(shù)量的評(píng)估值更新跟拍策略模型的模型參數(shù)，以更新跟拍策略模型。

具體地，在本發(fā)明實(shí)施例中，當(dāng)獲取到預(yù)設(shè)數(shù)量的評(píng)估值后，拍攝設(shè)備可根據(jù)獲取的預(yù)設(shè)數(shù)量的評(píng)估值執(zhí)行更新操作，即更新跟拍策略模型的模型參數(shù)。更具體地，更新模塊30用于根據(jù)預(yù)設(shè)數(shù)量的評(píng)估值更新跟拍策略模型的模型參數(shù)時(shí)，可基于以下公式進(jìn)行更新跟拍策略模型的模型參數(shù)：

其中，θ_k為更新前的模型參數(shù)，θ_k+1為更新后的模型參數(shù)，n為所述預(yù)設(shè)數(shù)量，r_t為第t個(gè)評(píng)估值，π(s_t,a_t,θ)為預(yù)設(shè)跟拍策略模型，a_t為與所述第t個(gè)評(píng)估值對(duì)應(yīng)的控制信號(hào)，s_t為與所述控制信號(hào)a_t對(duì)應(yīng)的狀態(tài)信號(hào)。

在更新跟拍策略模型的模型參數(shù)之后，跟拍策略模型也根據(jù)跟拍策略模型的參數(shù)模型的更新進(jìn)行更新操作，得到更新的跟拍策略模型。

第二控制模塊40用于將更新后的跟拍策略模型作為預(yù)設(shè)的跟拍策略模型，并控制確定模塊10、第一控制模塊20和更新模塊30重復(fù)執(zhí)行，直至跟拍策略模型的模型參數(shù)收斂。跟蹤拍攝模塊50用于使用收斂時(shí)的跟拍策略模型進(jìn)行跟蹤拍攝。

通過(guò)重復(fù)執(zhí)行確定模塊10、第一控制模塊20和更新模塊30以獲取到適合當(dāng)前跟拍環(huán)境的跟拍策略模型，從而根據(jù)獲取適合的跟拍策略模型進(jìn)行跟蹤拍攝。

在本發(fā)明的實(shí)施例中，可以不對(duì)跟拍策略模型π(s_t,a_t,θ)做任何假設(shè)，跟拍策略模型π(s_t,a_t,θ)可為線(xiàn)性模型，也可為神經(jīng)網(wǎng)絡(luò)模型、貝葉斯模型等非線(xiàn)性模型，或者線(xiàn)性+非線(xiàn)性模型組合成的混合模型。

舉例來(lái)說(shuō)，如圖3所示，本發(fā)明所述的跟拍策略模型可基于圖3所示的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到。

此外，根據(jù)本發(fā)明實(shí)施例，在跟拍攝設(shè)備進(jìn)行跟蹤拍攝時(shí)，如果遇到障礙物，跟拍設(shè)備可根據(jù)收斂時(shí)的跟拍策略模型自主的采取避障策略以規(guī)避跟拍軌跡中的障礙物，即繞行障礙物，從而能夠減少甚至避免因跟拍設(shè)備無(wú)法規(guī)避障礙物而導(dǎo)致跟蹤拍攝受影響的問(wèn)題出現(xiàn)，提高了使用滿(mǎn)意度。

進(jìn)一步地，在跟拍設(shè)備進(jìn)行跟蹤拍攝時(shí)，跟拍設(shè)備可對(duì)跟拍物體進(jìn)行追蹤操作，即跟拍設(shè)備可根據(jù)跟拍窗口來(lái)圈定物體，并且能夠通過(guò)圖像算法一直追蹤窗口內(nèi)的主要物體，從而實(shí)現(xiàn)了跟拍設(shè)備追蹤目標(biāo)物體的目的。

其中，跟拍的攝像頭可采用單目/雙目攝像頭，以及深度攝像頭配合普通RGB攝像頭等多種硬件。具體而言，追蹤算法可以是包括卷積神經(jīng)網(wǎng)絡(luò)模型，以及其他圖像特征抽取的追蹤方法，以及其他圖像匹配方法。

本發(fā)明實(shí)施例的基于人工智能的跟蹤拍攝裝置，通過(guò)分析跟拍設(shè)備在跟拍過(guò)程中的不同參數(shù)，以確定出最適合當(dāng)前跟拍環(huán)境的跟拍策略模型，進(jìn)而根據(jù)該跟拍策略模型進(jìn)行跟蹤拍攝操作，從而實(shí)現(xiàn)了跟拍設(shè)備在不同的跟拍環(huán)境下都能夠采取最適合的跟拍策略進(jìn)行跟蹤拍攝，以改善跟蹤拍攝的自由度，提高跟蹤拍攝的質(zhì)量。

此外，本發(fā)明的實(shí)施例，通過(guò)將平滑性，避障，追蹤等多個(gè)目標(biāo)合入到一個(gè)統(tǒng)一學(xué)習(xí)框架中，而不需調(diào)參操作，且在不同平臺(tái)上都能夠自主學(xué)習(xí)追蹤，對(duì)于平臺(tái)的自由度，攝像頭等自由度都沒(méi)有具體地限制，能夠?qū)⑺凶杂啥热考尤肟刂谱兞?，參考因素更加全面，能夠提高跟拍過(guò)程中的避障的準(zhǔn)確性，且提高跟拍的穩(wěn)定性和動(dòng)作平順性。

需要說(shuō)明的是，跟拍設(shè)備的輸出即可以是軌跡(或者是軌跡的間接控制變量)，也可以是直接的底層控制信號(hào)輸出。

為了實(shí)現(xiàn)上述實(shí)施例，本發(fā)明還提出一種電子設(shè)備，包括：用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為：執(zhí)行上述基于人工智能的跟蹤拍攝方法。

本發(fā)明實(shí)施例的電子設(shè)備，通過(guò)分析跟拍設(shè)備在跟拍過(guò)程中的不同參數(shù)，以確定出最適合當(dāng)前跟拍環(huán)境的跟拍策略模型，進(jìn)而根據(jù)該跟拍策略模型進(jìn)行跟蹤拍攝操作，從而實(shí)現(xiàn)了跟拍設(shè)備在不同的跟拍環(huán)境下都能夠采取最適合的跟拍策略進(jìn)行跟蹤拍攝，以改善跟蹤拍攝的自由度，提高跟蹤拍攝的質(zhì)量。

應(yīng)當(dāng)理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來(lái)實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來(lái)實(shí)現(xiàn)。例如，如果用硬件來(lái)實(shí)現(xiàn)，和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來(lái)實(shí)現(xiàn)：具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門(mén)電路的離散邏輯電路，具有合適的組合邏輯門(mén)電路的專(zhuān)用集成電路，可編程門(mén)陣列(PGA)，現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)等。

本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。

盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。