本申請(qǐng)要求于2016年1月27日提交到美國(guó)專(zhuān)利商標(biāo)局的第62/287,706號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)和于2016年3月21日提交到美國(guó)專(zhuān)利商標(biāo)局的第15/076,203號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)的優(yōu)先權(quán)，所述申請(qǐng)的全部?jī)?nèi)容通過(guò)引用合并于此。

本公開(kāi)總體涉及一種動(dòng)態(tài)視覺(jué)傳感器(dvs)的事件采樣的設(shè)備和方法，更具體地講，涉及一種用于產(chǎn)生在圖像之間具有減少的變化的圖像的dvs的事件采樣的設(shè)備和方法。

背景技術(shù)：

傳統(tǒng)的視覺(jué)傳感器捕捉場(chǎng)景作為以一定的速率(例如，幀率)拍攝的一系列圖片或幀，其中，在幀的邊界內(nèi)的每一個(gè)圖片元素(例如，像素)被捕捉到幀中。從一幀到另一幀不發(fā)生改變的像素信息是冗余信息。存儲(chǔ)和處理冗余信息浪費(fèi)存儲(chǔ)空間、處理時(shí)間和電池電力。

dvs不以幀的形式捕捉場(chǎng)景，而是與人的視網(wǎng)膜功能相似。即，dvs在發(fā)生事件時(shí)僅發(fā)送在場(chǎng)景內(nèi)的特定位置的像素亮度的變化(例如，事件)。

dvs的輸出是事件流，其中，每一個(gè)事件與特定的狀態(tài)(即，相機(jī)陣列內(nèi)的事件的位置以及指示與關(guān)聯(lián)的位置的前一狀態(tài)相比關(guān)聯(lián)的事件的亮度的正變化或負(fù)變化的二進(jìn)制狀態(tài))關(guān)聯(lián)。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)一個(gè)實(shí)施例，一種設(shè)備包括：dvs，被構(gòu)造為生成事件流，其中，事件包括位置和指示亮度的正變化或負(fù)變化的二進(jìn)制值；采樣單元，連接到dvs并被構(gòu)造為對(duì)事件流進(jìn)行采樣；以及圖像形成單元，連接到采樣單元并被構(gòu)造為針對(duì)事件流的每一個(gè)樣本形成圖像。

根據(jù)一個(gè)實(shí)施例，一種方法包括：通過(guò)dvs來(lái)生成事件流，其中，事件包括位置和指示亮度的正變化或負(fù)變化的二進(jìn)制值；通過(guò)連接到dvs的采樣單元來(lái)對(duì)事件流進(jìn)行采樣；通過(guò)連接到采樣單元的圖像形成單元，針對(duì)事件流的每一個(gè)樣本形成圖像。

根據(jù)一個(gè)實(shí)施例，一種設(shè)備包括：dvs，被構(gòu)造為生成事件流，其中，事件包括位置和指示亮度的正變化或負(fù)變化的二進(jìn)制值；采樣單元，連接到dvs并被構(gòu)造為對(duì)事件流進(jìn)行采樣；慣性測(cè)量單元(imu)，位于與dvs相同的位置并被構(gòu)造為測(cè)量dvs在x軸、y軸和z軸上的加速度，并且包括連接到采樣單元的輸出端；以及圖像形成單元，連接到采樣單元并被構(gòu)造為針對(duì)事件流的每一個(gè)樣本形成圖像，其中，調(diào)整采樣單元的采樣方式來(lái)減少通過(guò)圖像形成單元形成的圖像之間的變化。

根據(jù)一個(gè)實(shí)施例，一種方法包括：通過(guò)dvs來(lái)生成事件流，其中，事件包括位置和指示亮度的正變化或負(fù)變化的二進(jìn)制值；通過(guò)連接到dvs的采樣單元來(lái)對(duì)事件流進(jìn)行采樣；通過(guò)位于與dvs相同位置的imu，來(lái)確定dvs在x軸、y軸和z軸方向上的加速度；以及通過(guò)連接到采樣單元的圖像形成單元，針對(duì)事件流的每一個(gè)樣本形成圖像，其中，基于預(yù)定的采樣條件來(lái)調(diào)整采樣單元的采樣方式。

根據(jù)一個(gè)實(shí)施例，一種設(shè)備包括：動(dòng)態(tài)視覺(jué)傳感器(dvs)，被構(gòu)造為生成事件流，其中，事件包括位置和指示亮度的正變化或負(fù)變化的二進(jìn)制值；采樣單元，連接到dvs并被構(gòu)造為對(duì)事件流進(jìn)行采樣；圖像形成單元，連接到采樣單元并被構(gòu)造為從事件流的兩個(gè)樣本形成第一圖像和第二圖像；圖像對(duì)齊單元，連接到圖像形成單元并被構(gòu)造為將第一圖像和第二圖像對(duì)齊；以及圖像比較單元，包括連接到圖像對(duì)齊單元的輸入端和連接到采樣單元的輸出端，其中，基于通過(guò)圖像比較單元進(jìn)行的第一圖像和第二圖像的比較調(diào)整采樣單元的采樣方式，以減少圖像之間的變化。

根據(jù)一個(gè)實(shí)施例，一種方法包括：通過(guò)動(dòng)態(tài)視覺(jué)傳感器(dvs)來(lái)生成事件流，其中，事件包括位置和指示亮度的正變化或負(fù)變化的二進(jìn)制值；通過(guò)連接到dvs的采樣單元來(lái)對(duì)事件流進(jìn)行采樣；通過(guò)連接到采樣單元的圖像形成單元，從事件流的兩個(gè)樣本形成第一圖像和第二圖像；通過(guò)連接到圖像形成單元的圖像對(duì)齊單元，將第一圖像和第二圖像對(duì)齊；以及通過(guò)連接到圖像對(duì)齊單元和采樣單元的圖像比較單元，將第一圖像和第二圖像進(jìn)行比較，其中，基于比較的結(jié)果調(diào)整采樣單元的采樣方式，以減少圖像之間的變化。

附圖說(shuō)明

從下面結(jié)合附圖的詳細(xì)描述，本公開(kāi)的特定實(shí)施例的上面的和其他的方面、特征和優(yōu)點(diǎn)將更清楚，其中：

圖1是根據(jù)本公開(kāi)的實(shí)施例的用于減少?gòu)膁vs事件形成的圖像中的變化的設(shè)備的框圖；

圖2是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的采樣周期的圖示；

圖3是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等的時(shí)間周期的相鄰的樣本的圖示；

圖4是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等的時(shí)間周期的重疊的樣本的圖示；

圖5是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等的時(shí)間周期的不相鄰的樣本的圖示；

圖6是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的事件的數(shù)量的樣本的圖示；

圖7是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等數(shù)量的事件的相鄰的樣本的圖示；

圖8是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等數(shù)量的事件的重疊的樣本的圖示；

圖9是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等數(shù)量的事件的不相鄰的樣本的圖示；

圖10是根據(jù)本公開(kāi)的實(shí)施例的基于用于從dvs事件形成圖像的采樣周期和事件的數(shù)量的組合的樣本的圖示；

圖11是根據(jù)本公開(kāi)的實(shí)施例的減少?gòu)膁vs事件形成的圖像中的變化的方法的流程圖；

圖12是根據(jù)本公開(kāi)的實(shí)施例的通過(guò)dvs生成的第一圖像、通過(guò)快速移動(dòng)的dvs生成的第二圖像以及dvs生成的包括新的對(duì)象的第三圖像的圖示；

圖13是根據(jù)本公開(kāi)的實(shí)施例的用于通過(guò)確定dvs的速度減少?gòu)膁vs事件形成的圖像中的變化的設(shè)備的框圖；

圖14是根據(jù)本公開(kāi)的實(shí)施例的通過(guò)確定dvs的速度減少?gòu)膁vs事件形成的圖像中的變化的方法的流程圖；

圖15是根據(jù)本公開(kāi)的實(shí)施例的用于通過(guò)比較從dvs事件形成的圖像來(lái)減少形成的圖像中的變化的設(shè)備的框圖；

圖16是根據(jù)本公開(kāi)的實(shí)施例的通過(guò)比較從dvs事件形成的圖像來(lái)減少形成的圖像中的變化的方法的流程圖。

具體實(shí)施方式

以下，參照附圖對(duì)本公開(kāi)的實(shí)施例進(jìn)行詳細(xì)描述。應(yīng)注意，雖然相同的元件被示出在不同的圖中，但它們將由相同的參考標(biāo)號(hào)指示。在下面的描述中，具體細(xì)節(jié)(諸如，詳細(xì)的配置和組件)僅被提供用于幫助全面理解本公開(kāi)的實(shí)施例。因此，本領(lǐng)域的技術(shù)人員將清楚，在不脫離本公開(kāi)的范圍和精神的情況下，可對(duì)在此描述的實(shí)施例進(jìn)行各種改變和修改。另外，為了清楚和簡(jiǎn)潔，省略公知的功能和結(jié)構(gòu)的描述。下面描述的術(shù)語(yǔ)是考慮到本公開(kāi)的功能而定義的術(shù)語(yǔ)，并且可根據(jù)用戶、用戶的意圖或慣例而不同。因此，術(shù)語(yǔ)的定義應(yīng)基于貫穿說(shuō)明書(shū)的內(nèi)容而確定。

本公開(kāi)可具有各種修改和各種實(shí)施例，在本公開(kāi)之中，以下參照附圖詳細(xì)描述實(shí)施例。然而，應(yīng)理解，本公開(kāi)不受限于實(shí)施例，而是包括在本公開(kāi)的精神和范圍內(nèi)的各種修改、等同物以及替換物。

雖然包括序數(shù)的術(shù)語(yǔ)(諸如，第一、第二等)可被用于描述各種元件，但是結(jié)構(gòu)元件不被這些術(shù)語(yǔ)限制。這些術(shù)語(yǔ)僅用于將一個(gè)元件與另一個(gè)元件進(jìn)行區(qū)分。例如，在不脫離本公開(kāi)的范圍的情況下，第一結(jié)構(gòu)元件可被稱為第二結(jié)構(gòu)元件。同樣地，第二結(jié)構(gòu)元件也可被稱為第一結(jié)構(gòu)元件。如在此使用的，術(shù)語(yǔ)“和/或”包括一個(gè)或多個(gè)相關(guān)項(xiàng)的任意組合和全部組合。

在此使用的術(shù)語(yǔ)僅用于描述本公開(kāi)的各種實(shí)施例，但不意在限制本公開(kāi)。除非上下文明確地另有指示，否則單數(shù)形式意在包括復(fù)數(shù)形式。在本公開(kāi)中，應(yīng)理解，術(shù)語(yǔ)“包括”或“具有”表示特征、數(shù)量、步驟、操作、結(jié)構(gòu)元件、部件或它們的組合的存在，而不排除一個(gè)或多個(gè)其他特征、數(shù)量、步驟、操作、結(jié)構(gòu)元件、部件或它們的組合的存在或添加的可能性。

除非不同地定義，否則在此使用的所有術(shù)語(yǔ)具有與本公開(kāi)所屬的領(lǐng)域的技術(shù)人員理解的含義相同的含義。術(shù)語(yǔ)(諸如在通用字典中定義的術(shù)語(yǔ))將被解釋為具有與相關(guān)領(lǐng)域中的上下文含義相同的含義，并且除非在本公開(kāi)中明確定義，否則術(shù)語(yǔ)不被解釋為具有理想的或過(guò)于正式的含義。

在本公開(kāi)的實(shí)施例中，提供了dvs的事件采樣的設(shè)備和方法。為了針對(duì)特定的任務(wù)(例如，視覺(jué)識(shí)別、即時(shí)定位與地圖構(gòu)建(slam)、模式識(shí)別、場(chǎng)景理解、用于基于姿勢(shì)的用戶裝置交互(例如，電視(tv)、游戲)的姿勢(shì)識(shí)別、用戶識(shí)別(例如，針對(duì)tv、移動(dòng)裝置)和機(jī)器人學(xué))使用dvs，必須將dvs流轉(zhuǎn)換為反映在環(huán)境中的結(jié)構(gòu)模式的圖像。按照一種方式對(duì)dvs事件流(例如，事件流)進(jìn)行采樣來(lái)生成圖像間的變化減少的圖像。減少?gòu)氖录魃傻膱D像中的變化有益于基于圖像的任務(wù)。

通過(guò)dvs生成的事件流的采樣可以基于預(yù)定的時(shí)間間隔、事件的預(yù)定數(shù)量或兩者的組合。然而，因?yàn)檫\(yùn)動(dòng)表示對(duì)局部的變化、偏差和噪聲敏感，所以如果dvs和/或?qū)ο笤趫?chǎng)景內(nèi)的移動(dòng)存在動(dòng)態(tài)變化，則這樣的采樣方法可能無(wú)法很好地執(zhí)行。另外，從事件流估計(jì)運(yùn)動(dòng)可能無(wú)法準(zhǔn)確地表示dvs的移動(dòng)。此外，將局部的運(yùn)動(dòng)轉(zhuǎn)換成全局的dvs的移動(dòng)在實(shí)踐中是困難的。例如，與用于進(jìn)行長(zhǎng)期調(diào)整相比，兩個(gè)相鄰的圖像可能更適用于進(jìn)行短期調(diào)整。

本公開(kāi)涉及對(duì)通過(guò)dvs產(chǎn)生的事件流進(jìn)行采樣來(lái)減少圖像之間產(chǎn)生的變化并有益于基于圖像的任務(wù)的設(shè)備和方法。

圖1是根據(jù)本公開(kāi)的實(shí)施例的用于減少?gòu)膁vs事件形成的圖像中的變化的設(shè)備的框圖。

參照?qǐng)D1，設(shè)備100包括dvs101、采樣單元103和圖像形成單元105。

dvs101捕捉在場(chǎng)景內(nèi)的像素亮度的變化(例如，事件)并輸出事件流，其中，每一個(gè)事件具有一個(gè)狀態(tài)。事件的狀態(tài)包括事件在相機(jī)陣列內(nèi)的位置和指示與關(guān)聯(lián)的位置的前一狀態(tài)比較關(guān)聯(lián)的事件的亮度的正變化或負(fù)變化的二進(jìn)制值。

采樣單元103包括連接到dvs101的輸出端的、用于從dvs101接收事件流的輸入端和用于輸出事件流的樣本的輸出端。采樣單元103可基于時(shí)間周期、事件的數(shù)量或兩者的組合對(duì)事件流進(jìn)行采樣。采樣單元103包括用于將事件流的樣本輸出到圖像形成單元105的輸出端。

圖像形成單元105包括連接到采樣單元103的輸出端的、用于接收事件流的樣本的輸入端。圖像形成單元105從事件流的每一個(gè)樣本形成圖像并輸出針對(duì)事件流的每一個(gè)樣本的圖像。通過(guò)圖像形成單元105輸出的圖像可被用于需要圖像的應(yīng)用或應(yīng)用單元(例如，視覺(jué)識(shí)別、即時(shí)定位與地圖構(gòu)建(slam)、模式識(shí)別、場(chǎng)景理解、用于基于姿勢(shì)的用戶裝置交互(例如，電視(tv)、游戲)的姿勢(shì)識(shí)別、用戶識(shí)別(例如，針對(duì)tv、移動(dòng)裝置)和機(jī)器人學(xué))。

dvs101可移動(dòng)。dvs101移動(dòng)越迅速，可捕捉越多的事件并且事件流中可包括越多的事件。事件流中包括越多的事件，事件流的樣本中可包括越多的事件。事件流的樣本中包括越多的事件，在從事件流的樣本形成的圖像之間可發(fā)生越多的變化。使用包括圖像間更多變化的圖像的應(yīng)用或應(yīng)用單元可經(jīng)受性能的劣化。因此，需要減少?gòu)氖录鞯臉颖拘纬傻膱D像中的變化的設(shè)備和方法。

圖2是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的采樣時(shí)間周期的圖示。采樣周期可以是相鄰的、重疊的或不相鄰的(disjointed)。

參照?qǐng)D2，使用預(yù)定的時(shí)間周期對(duì)事件流進(jìn)行采樣。發(fā)生在預(yù)定的時(shí)間周期之內(nèi)的所有事件被包括在事件流的一個(gè)樣本中。然而，存在與用于對(duì)事件流進(jìn)行采樣的預(yù)定的時(shí)間周期相關(guān)聯(lián)的一些問(wèn)題。第一問(wèn)題是何時(shí)dvs101移動(dòng)迅速。如果dvs101移動(dòng)迅速，則更多變化可在從事件流的樣本形成的圖像之間發(fā)生，這會(huì)降低使用圖像的應(yīng)用或應(yīng)用單元的性能。第二問(wèn)題是何時(shí)dvs101移動(dòng)緩慢或根本不移動(dòng)。如果dvs101移動(dòng)緩慢或根本不移動(dòng)，則可能不存在包括在事件流的樣本中的用于形成適當(dāng)?shù)膱D像的足夠數(shù)量的事件。

圖3是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等的時(shí)間周期的相鄰的樣本的圖示。

圖4是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等的時(shí)間周期的重疊的樣本的圖示。

圖5是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等的時(shí)間周期的不相鄰的樣本的圖示。

在本公開(kāi)的實(shí)施例中，事件流可被采樣為包括預(yù)定數(shù)量的事件。

圖6是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的事件的數(shù)量的樣本的圖示。預(yù)定數(shù)量的事件的樣本可以是相鄰的、重疊的或不相鄰的。不管發(fā)生所述數(shù)量的事件耗費(fèi)多少時(shí)間，事件流的每一個(gè)樣本都包括預(yù)定數(shù)量的事件。

圖7是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等數(shù)量的事件的相鄰的樣本的圖示。

圖8是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等數(shù)量的事件的重疊的樣本的圖示。

圖9是根據(jù)本公開(kāi)的實(shí)施例的用于從dvs事件形成圖像的相等數(shù)量的事件的不相鄰的樣本的圖示。

在本公開(kāi)的實(shí)施例中，按照時(shí)間周期和事件的數(shù)量二者的組合來(lái)對(duì)事件流進(jìn)行采樣(例如，事件可以是在特定的時(shí)間周期之內(nèi)發(fā)生的至少n個(gè)事件)。

圖10是根據(jù)本公開(kāi)的實(shí)施例的基于用于從dvs事件形成圖像的采樣周期和事件的數(shù)量的組合的樣本的圖示。

參照?qǐng)D10，僅當(dāng)在預(yù)定的時(shí)間周期內(nèi)事件流中存在至少預(yù)定數(shù)量的事件時(shí)，才對(duì)事件流進(jìn)行采樣。如果在預(yù)定的時(shí)間周期內(nèi)不存在至少預(yù)定數(shù)量的事件，則在該時(shí)間周期期間不對(duì)事件流進(jìn)行采樣?；跇颖局械氖录拿芏?例如，每個(gè)經(jīng)過(guò)時(shí)間的事件的數(shù)量)，每個(gè)樣本的事件的數(shù)量可被用于估計(jì)dvs101的速度?？筛鶕?jù)事件密度調(diào)整用于采樣的時(shí)間周期，以減少?gòu)氖录鞯臉颖拘纬傻膱D像中的變化。采樣周期和事件的數(shù)量的組合的樣本可以是相鄰的、重疊的或不相鄰的。

圖11是根據(jù)本公開(kāi)的實(shí)施例的減少?gòu)膁vs事件形成的圖像中的變化的方法的流程圖。

參照?qǐng)D11，在1101中，通過(guò)dvs(例如，圖1的dvs101)生成事件流。

在1103中，通過(guò)采樣單元(例如，圖1的采樣單元103)以一種方式對(duì)事件流進(jìn)行采樣。可使用預(yù)定的時(shí)間周期、事件的預(yù)定數(shù)量或兩者的組合對(duì)事件流進(jìn)行采樣?？砂凑崭鞣N方式對(duì)時(shí)間周期和事件的數(shù)量進(jìn)行組合(例如，預(yù)定的時(shí)間周期和事件的預(yù)定數(shù)量的最小值、事件的預(yù)定數(shù)量除以預(yù)定的時(shí)間周期等)來(lái)提供適應(yīng)性并減少形成的圖像之間的變化。樣本可以是相鄰的、重疊的或不相鄰的。

在1105中，針對(duì)每一個(gè)樣本生成圖像。

圖12是根據(jù)本公開(kāi)的實(shí)施例的通過(guò)dvs生成的第一圖像1201、通過(guò)快速移動(dòng)的dvs生成的第二圖像1203以及dvs生成的包括新的對(duì)象的第三圖像1205的圖示。

參照?qǐng)D12，第一圖像1201可以是不會(huì)降低需要圖像的應(yīng)用或應(yīng)用單元的性能的圖像。第二圖像1203示出基于包括dvs快速移動(dòng)時(shí)捕捉的事件的事件流的樣本而生成的圖像，如圖所示，看上去就像第一圖像1201中的事件的圖案的兩個(gè)副本，這兩個(gè)副本時(shí)間上緊密間隔并且具有與第一圖像1201中的事件的圖案相同的方向。由于第一圖像1201與第二圖像1203之間的變化的數(shù)量會(huì)降低使用第一圖像1201和第二圖像1203的應(yīng)用和應(yīng)用單元的性能，所以需要識(shí)別何時(shí)dvs快速移動(dòng)并相應(yīng)地調(diào)整采樣方式以減少圖像之間的變化的設(shè)備和方法。

另外，第三圖像1205包括事件的兩個(gè)圖案，其中，事件的一個(gè)圖案與第一圖像1201的事件的圖案相同，事件的另一個(gè)圖案具有與第一圖像1201的事件的圖案不同的方向并且與所述事件的一個(gè)圖案間隔很遠(yuǎn)。這可以指示第三圖像1205包括不在第一圖像1201中的邊緣/對(duì)象。因此，因?yàn)榕c快速移動(dòng)的dvs關(guān)聯(lián)的事件可被用于調(diào)整采樣方式，而與新的邊緣/對(duì)象關(guān)聯(lián)的事件不可被用于調(diào)整采樣方式，所以需要在指示快速移動(dòng)的dvs和在圖像中引入新的邊緣/對(duì)象的圖像之間進(jìn)行區(qū)別的設(shè)備和方法。

圖13是根據(jù)本公開(kāi)的實(shí)施例的用于通過(guò)確定dvs的速度減少?gòu)膁vs事件形成的圖像中的變化的設(shè)備1300的框圖。

參照?qǐng)D13，設(shè)備1300包括dvs1301、慣性測(cè)量單元(imu)1303、采樣單元1305以及圖像形成單元1307。

dvs1301捕捉在場(chǎng)景內(nèi)的像素亮度的變化(例如，事件)并輸出事件流，其中，每一個(gè)事件具有一個(gè)狀態(tài)。事件的狀態(tài)包括事件在相機(jī)陣列內(nèi)的的位置和指示與關(guān)聯(lián)的位置的前一狀態(tài)相比的關(guān)聯(lián)的事件的亮度的正變化或負(fù)變化的二進(jìn)制值。

imu1303位于與dvs1301相同的位置(例如，彼此相鄰、彼此不相鄰但在使得imu和dvs以相同的速度移動(dòng)的相同的裝置上)，從而通過(guò)imu1303測(cè)量的x軸、y軸和z軸上的加速度表示dvs1301的x軸、y軸和z軸上的加速度。imu1303包括用于輸出表示dvs1301的x軸、y軸和z軸上的加速度的輸出端。

采樣單元1305包括連接到dvs1301的輸出端的用于從dvs1301接收事件流的第一輸入端、連接到imu1303的輸出端的用于接收表示dvs1301的x軸、y軸和z軸上的加速度的第二輸入端以及用于輸出事件流的樣本的輸出端。采樣單元1305可基于時(shí)間周期、事件的數(shù)量或兩者的組合來(lái)對(duì)事件流進(jìn)行采樣，其中，根據(jù)imu1303的輸出來(lái)調(diào)整采樣單元1305的采樣方式。采樣單元1305包括用于輸出事件流的樣本的輸出端。

圖像形成單元1307包括連接到采樣單元1305的輸出端的用于接收事件流的樣本的輸入端。圖像形成單元1307從事件流的每一個(gè)樣本形成圖像并輸出針對(duì)事件流的每一個(gè)樣本的圖像。通過(guò)圖像形成單元1307輸出的圖像可用于需要圖像的應(yīng)用或應(yīng)用單元(例如，視覺(jué)識(shí)別、slam、模式識(shí)別、場(chǎng)景理解、用于基于姿勢(shì)的用戶裝置交互的姿勢(shì)識(shí)別(例如，電視(tv)、游戲)、用戶識(shí)別(例如，針對(duì)tv、移動(dòng)裝置)和機(jī)器人學(xué))。

圖14是根據(jù)本公開(kāi)的實(shí)施例的通過(guò)確定dvs的速度減少?gòu)膁vs事件形成的圖像中的變化的方法的流程圖。

參照?qǐng)D14，在1401中，通過(guò)dvs(例如，圖13的dvs1301)生成事件流。

在1403中，通過(guò)采樣單元(例如，圖13的采樣單元1305)以一種方式對(duì)事件流進(jìn)行采樣。可使用預(yù)定的時(shí)間周期、事件的預(yù)定數(shù)量或兩者的組合對(duì)事件流進(jìn)行采樣。樣本可以是相鄰的、重疊的或不相鄰的。

在1405中，針對(duì)每一個(gè)樣本生成圖像。

在1407中，通過(guò)慣性測(cè)量單元確定dvs的速度。

在1409中，根據(jù)dvs的速度調(diào)整采樣的方式來(lái)減少圖像之間的變化?？稍跁r(shí)間上接近或在時(shí)間上遠(yuǎn)離的時(shí)間確定dvs的速度。時(shí)間上接近而確定的dvs的速度可被用于提供短期的魯棒性，而時(shí)間上遠(yuǎn)離而確定的dvs的速度可被用于提供長(zhǎng)期的魯棒性。

圖15是根據(jù)本公開(kāi)的實(shí)施例的用于通過(guò)比較從dvs事件形成的圖像來(lái)減少形成的圖像中的變化的設(shè)備1500的框圖。

參照?qǐng)D15，設(shè)備1500包括dvs1501、采樣單元1503、圖像形成單元1505、圖像對(duì)齊單元1507以及圖像比較單元1509。

dvs1501捕捉在場(chǎng)景內(nèi)的像素亮度的變化(例如，事件)并輸出事件流，其中，每一個(gè)事件具有一個(gè)狀態(tài)。事件的狀態(tài)包括事件在相機(jī)陣列內(nèi)的位置和指示與關(guān)聯(lián)的位置的前一狀態(tài)相比關(guān)聯(lián)的事件的亮度的正變化或負(fù)變化的二進(jìn)制值。

采樣單元1503包括連接到dvs1501的輸出端的用于從dvs1501接收事件流的第一輸入端、用于調(diào)整采樣單元1503的采樣方式的第二輸入端以及用于輸出事件流的樣本的輸出端。采樣單元1503可基于時(shí)間周期、事件的數(shù)量或兩者的組合來(lái)對(duì)事件流進(jìn)行采樣。采樣單元1503包括用于輸出事件流的樣本的輸出端。因?yàn)樵趯?duì)采樣方式進(jìn)行調(diào)整之前可能需要至少兩個(gè)圖像，所以針對(duì)前兩個(gè)樣本，采樣方式可以是相同的。之后，針對(duì)下一個(gè)樣本，采樣方式可以不同。

圖像形成單元1505包括連接到采樣單元1503的輸出端的用于接收事件流的樣本的輸入端。圖像形成單元1505從事件流的每一個(gè)樣本形成圖像并輸出針對(duì)事件流的每一個(gè)樣本的圖像。因?yàn)樵趯?duì)采樣的方式進(jìn)行調(diào)整之前可能需要至少兩個(gè)圖像，所以基于相同的采樣方式形成針對(duì)前兩個(gè)樣本而形成的圖像。此后，可基于與前一采樣方式不同的采樣方式形成每個(gè)后續(xù)的圖像。通過(guò)圖像形成單元1505輸出的圖像可用于需要圖像的應(yīng)用或應(yīng)用單元(例如，視覺(jué)識(shí)別、即時(shí)定位與地圖構(gòu)建(slam)、模式識(shí)別、場(chǎng)景理解、用于基于姿勢(shì)的用戶裝置交互(例如，電視(tv)、游戲)的姿勢(shì)識(shí)別、用戶識(shí)別(例如，針對(duì)tv、移動(dòng)裝置)和機(jī)器人學(xué))。

圖像對(duì)齊單元1507包括連接到圖像形成單元1505的輸出端的輸入端和用于輸出為了比較的目的而對(duì)齊或登記的通過(guò)圖像形成單元1505形成的兩個(gè)圖像(例如，第一圖像和第二圖像)的輸出端。這兩個(gè)圖像可以是通過(guò)圖像形成單元1505產(chǎn)生的相鄰的圖像或者可以是通過(guò)圖像形成單元1505生成的時(shí)間上不相鄰的圖像，其中，相鄰的圖像提供短期的魯棒性，不相鄰的圖像提供長(zhǎng)期的魯棒性。

圖像比較單元1509包括連接到圖像對(duì)齊單元1507的輸出端的輸入端和連接到采樣單元1503的第二輸入端的輸出端。圖像比較單元1509將通過(guò)圖像對(duì)齊單元1507輸出的兩個(gè)圖像進(jìn)行比較并確定這兩個(gè)圖像中的事件是否匹配(例如，共享相同的位置)。匹配的事件被稱為參考事件，并確定匹配的事件的數(shù)量r。

針對(duì)第一圖像，圖像比較單元1509確定在參考事件的預(yù)定鄰域內(nèi)的第一圖像中的事件的數(shù)量n1。然后，針對(duì)第二圖像，圖像比較單元1509確定在參考事件的預(yù)定鄰域內(nèi)的第二圖像中的事件的數(shù)量n2。

隨后，圖像比較單元1509計(jì)算(r+n1)/(r+n2)。如果(r+n1)/(r+n2)大于預(yù)定閾值t或小于1/t，則圖像比較單元1509向采樣單元1503輸出信號(hào)來(lái)相應(yīng)地調(diào)整采樣方式。即，如果(r+n1)/(r+n2)>t，則指示在第一圖像中參考事件的鄰域內(nèi)的事件比第二圖像中參考事件的鄰域內(nèi)的事件多(即，鄰近的事件的數(shù)量減少，這指示dvs的速度減小)以及采樣方式可被減小(例如，減小采樣周期、減小樣本中的事件的預(yù)定數(shù)量或減小采樣周期和事件的數(shù)量的組合)。如果(r+n1)/(r+n2)<1/t，則指示在第二圖像中參考事件的鄰域內(nèi)的事件比第一圖像中參考事件的鄰域內(nèi)的事件多(即，鄰近的事件的數(shù)量增加，這指示dvs的速度增加)以及采樣方式可被增加(例如，增加采樣周期、增加樣本中的事件的預(yù)定數(shù)量或增加采樣周期和事件的數(shù)量組合)。注意，由于圖像中的新的邊界/對(duì)象而產(chǎn)生的事件不被用于確定采樣的方式的調(diào)整，這是因?yàn)樗鼈儾粫?huì)出現(xiàn)在參考事件的預(yù)定鄰域內(nèi)。如果1/t<(r+n1)/(r+n2)<t，則圖像比較單元1509不向采樣單元1503輸出信號(hào)來(lái)相應(yīng)地調(diào)整采樣方式(即，保持當(dāng)前的采樣的方式)。

圖16是根據(jù)本公開(kāi)的實(shí)施例的通過(guò)比較從dvs事件形成的圖像來(lái)減少形成的圖像中的變化的方法的流程圖。

參照?qǐng)D16，在1601中，通過(guò)dvs(例如，圖15的dvs1501)生成事件流。

在1603中，通過(guò)采樣單元(例如，圖15的采樣單元1503)以一種方式對(duì)事件流進(jìn)行第一次采樣。可使用預(yù)定的時(shí)間周期、事件的預(yù)定數(shù)量或兩者的組合對(duì)事件流進(jìn)行采樣。樣本可以是相鄰的、重疊的或不相鄰的。

在1605中，通過(guò)圖像形成單元(例如，圖15的圖像形成單元1505)針對(duì)第一樣本生成第一圖像。

在1607中，通過(guò)采樣單元以一種方式對(duì)事件流進(jìn)行第二次采樣。如果第二樣本恰好在第一樣本之后發(fā)生，則采樣的方式與針對(duì)第一樣本的采樣的方式相同。之后，采樣的方式可與前一采樣的方式不同?？墒褂妙A(yù)定的時(shí)間周期、事件的預(yù)定數(shù)量或兩者的組合對(duì)事件流進(jìn)行采樣。樣本可以是相鄰的、重疊的或不相鄰的。

在1609中，通過(guò)圖像形成單元針對(duì)第二樣本生成第二圖像。

在1611中，通過(guò)圖像對(duì)齊單元(例如，圖15的圖像對(duì)齊單元1507)對(duì)第一圖像和第二圖像進(jìn)行對(duì)齊或登記。這兩個(gè)圖像可以是通過(guò)圖像形成單元產(chǎn)生的相鄰的圖像或者可以是通過(guò)圖像形成單元生成的時(shí)間上不相鄰的圖像，其中，相鄰的圖像可提供短期的魯棒性，不相鄰的圖像可提供長(zhǎng)期的魯棒性。

在1613中，通過(guò)圖像比較單元(例如，圖15的圖像比較單元1509)將第一圖像和第二圖像進(jìn)行比較來(lái)確定這兩個(gè)圖像中的事件是否匹配(例如，共享相同的位置)，如果這兩個(gè)圖像中的事件匹配，則確定匹配的事件的數(shù)量r。匹配的事件被稱為參考事件。

在1615中，圖像比較單元針對(duì)第一圖像確定在參考事件的預(yù)定鄰域內(nèi)的與第二圖像中的事件不匹配的第一圖像中的事件的數(shù)量n1。

在1617中，圖像比較單元針對(duì)第二圖像確定在參考事件的預(yù)定鄰域內(nèi)的與第一圖像中的事件不匹配的第二圖像中的事件的數(shù)量n2。

在1619中，圖像比較單元計(jì)算(r+n1)/(r+n2)。

在1621中，如果(r+n1)/(r+n2)大于預(yù)定閾值t或小于1/t，則圖像比較單元向采樣單元輸出信號(hào)來(lái)相應(yīng)地調(diào)整采樣方式。即，如果(r+n1)/(r+n2)>t，則指示在第一圖像中參考事件的鄰域內(nèi)的事件比第二圖像中參考事件的鄰域內(nèi)的事件多(即，鄰近的事件的數(shù)量減少，這指示dvs的速度減小)以及采樣方式可被減小(例如，減小采樣周期、減小樣本中的事件的預(yù)定數(shù)量或減小采樣周期和事件的數(shù)量的組合)。如果(r+n1)/(r+n2)<1/t，則指示在第二圖像中參考事件的鄰域內(nèi)的事件比第一圖像中參考事件的鄰域內(nèi)的事件多(即，鄰近的事件的數(shù)量增加，這指示dvs的速度增加)以及采樣方式可被增加(例如，增加采樣周期、增加樣本中的事件的預(yù)定數(shù)量或增加采樣周期和事件的數(shù)量組合)。注意，由于圖像中的新的邊界/對(duì)象而產(chǎn)生的事件不被用于確定采樣的方式的調(diào)整，這是因?yàn)樗鼈儾粫?huì)出現(xiàn)在參考事件的預(yù)定鄰域內(nèi)。

在1623中，如果1/t<(r+n1)/(r+n2)<t，則圖像比較單元保持采樣單元的采樣方式。

雖然在本公開(kāi)的具體實(shí)施方式中已經(jīng)描述了本公開(kāi)的特定實(shí)施例，但是可在不脫離本公開(kāi)的范圍的情況下對(duì)本公開(kāi)進(jìn)行各種形式的修改。因此，本公開(kāi)的范圍不應(yīng)僅基于描述的實(shí)施例來(lái)確定，而是基于權(quán)利要求及其等同物來(lái)確定。