實(shí)時(shí)時(shí)間標(biāo)記的cmos異步時(shí)間域圖像傳感器的制造方法
【專利摘要】本發(fā)明涉及微電子學(xué)的集成電路設(shè)計(jì)領(lǐng)域和數(shù)字圖像處理領(lǐng)域，為解決AER異步輸出方式帶來(lái)的事件-時(shí)間不匹配問(wèn)題，實(shí)現(xiàn)圖像行間時(shí)間精確標(biāo)記輸出，提高獲得圖像在時(shí)間域內(nèi)的準(zhǔn)確性，為達(dá)到上述目的，本發(fā)明采取的技術(shù)方案是，實(shí)時(shí)時(shí)間標(biāo)記的CMOS異步時(shí)間域圖像傳感器，包括由光強(qiáng)變化感知電路CD和雙采樣脈沖寬度調(diào)制電路PWM，還包括：(1)行/列復(fù)位控制電路；(2)行仲裁電路；(3)行級(jí)時(shí)間標(biāo)記電路；(4)行/列地址編碼電路：行地址編碼電路接收行輪權(quán)仲裁結(jié)構(gòu)發(fā)出的行選中信號(hào)，輸出選中的行地址；行地址編碼電路由輸出像素的CD電路輸出信號(hào)觸發(fā)。本發(fā)明主要應(yīng)用于圖像傳感器的設(shè)計(jì)制造。
【專利說(shuō)明】實(shí)時(shí)時(shí)間標(biāo)記的CMOS異步時(shí)間域圖像傳感器
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及微電子學(xué)的集成電路設(shè)計(jì)領(lǐng)域和數(shù)字圖像處理領(lǐng)域，具體講，涉及實(shí)現(xiàn)實(shí)時(shí)時(shí)間標(biāo)記的CMOS異步時(shí)間域圖像傳感器。
【背景技術(shù)】
[0002]相對(duì)于傳統(tǒng)“幀”圖像采集方式，異步時(shí)間域CMOS圖像傳感器(CIS)模仿生物視覺(jué)的工作機(jī)理，采用異步地址一事件表示(Address-Event Representation, AER),僅輸出發(fā)生光強(qiáng)變化的像素地址和信息，而不是依次讀出“幀”內(nèi)每個(gè)像素信息。具有場(chǎng)景變化實(shí)時(shí)動(dòng)態(tài)響應(yīng)、圖像超稀疏表示、時(shí)域變化事件異步輸出等特點(diǎn)，可解決“幀”圖像采集方式帶來(lái)的聞幾余、聞延遲、聞噪聲、低動(dòng)態(tài)范圍、傳輸瓶頸等缺陷。
[0003]AER異步表示方法將發(fā)生特定事件的像素對(duì)外部進(jìn)行通信請(qǐng)求，請(qǐng)求獲準(zhǔn)后輸出量為該像素所在坐標(biāo)位置(x，y)及發(fā)生的事件。如圖1所示，對(duì)于一維單一事件異步并行輸出，事件引起其所在行的地址編碼器實(shí)時(shí)輸出行地址，后續(xù)接收處理電路根據(jù)接收到的行地址及接收編碼的時(shí)間間隔還原事件屬性及所在行。
[0004]異步時(shí)間域像素結(jié)構(gòu)如圖2所示，由光強(qiáng)變化感知電路(change detector,⑶)和雙采樣脈沖寬度調(diào)制(Pulse-Width-Modulation，PWM)電路組成。CD電路通過(guò)光電流探測(cè)、比較放大、輸出比較及邏輯修正用于探測(cè)該像素光強(qiáng)是否發(fā)生超過(guò)閾值的變化，是AER異步方式的基礎(chǔ)。雙采樣PWM電路工作原理如圖3所示，復(fù)位管MRst2復(fù)位后，光電二極管Η)2開(kāi)始曝光。此時(shí)，開(kāi)關(guān)SI閉合，S2斷開(kāi)，比較器的負(fù)端接高參考電壓VrefJL隨著曝光的過(guò)程，Vint電壓線性降低，到達(dá)Vref_H時(shí)，比較器輸出翻轉(zhuǎn)，觸發(fā)計(jì)時(shí)模塊復(fù)位，并開(kāi)始計(jì)數(shù)。隨機(jī)，開(kāi)關(guān)SI斷開(kāi)，S2閉合，比較器的負(fù)端接低參考電壓Vref_L，Vint下降至Vref_L時(shí)再次產(chǎn)生比較器輸出翻轉(zhuǎn)，此時(shí)結(jié)束計(jì)數(shù)，并將8位計(jì)數(shù)結(jié)果存儲(chǔ)在像素級(jí)存儲(chǔ)器中，等待輸出。
[0005]在異步時(shí)間域圖像傳感器中，當(dāng)有大量數(shù)據(jù)同時(shí)產(chǎn)生，需要輸出時(shí)，將會(huì)由仲裁模塊控制數(shù)據(jù)的輸出順序。由此,原本同時(shí)的數(shù)據(jù)將變成不同時(shí)的輸出，并且,異步AER方式的特殊性，無(wú)法預(yù)測(cè)數(shù)據(jù)的間隔及數(shù)據(jù)量，這就導(dǎo)致輸出數(shù)據(jù)在時(shí)間上的不匹配，即某一幀內(nèi)的各像素的數(shù)據(jù)有可能應(yīng)屬于其他幀的情況發(fā)生。所以，傳感器內(nèi)進(jìn)行實(shí)時(shí)時(shí)間標(biāo)記可對(duì)于這種不匹配進(jìn)行修正，提高AER異步方式的準(zhǔn)確性。

【發(fā)明內(nèi)容】

[0006]本發(fā)明旨在克服現(xiàn)有技術(shù)的不足，解決AER異步輸出方式帶來(lái)的事件-時(shí)間不匹配問(wèn)題，實(shí)現(xiàn)圖像行間時(shí)間精確標(biāo)記輸出，提高獲得圖像在時(shí)間域內(nèi)的準(zhǔn)確性，提供一種，為達(dá)到上述目的，本發(fā)明采取的技術(shù)方案是，實(shí)時(shí)時(shí)間標(biāo)記的CMOS異步時(shí)間域圖像傳感器，包括由光強(qiáng)變化感知電路CD和雙采樣脈沖寬度調(diào)制電路PWM，還包括:
[0007](I)行/列復(fù)位控制電路:列復(fù)位控制電路控制各像素CD電路的復(fù)位，列復(fù)位控制信號(hào)列共用；行復(fù)位控制電路控制各像素雙采樣PWM電路的復(fù)位，行控制信號(hào)行共用；[0008](2)行仲裁電路:光照發(fā)生變化時(shí)，像素內(nèi)的CD電路輸出使雙采樣PWM電路開(kāi)始曝光工作，光強(qiáng)結(jié)果存儲(chǔ)在像素級(jí)8位存儲(chǔ)器中，等待輸出；當(dāng)不同像素同時(shí)發(fā)出輸出請(qǐng)求時(shí)，行輪權(quán)仲裁結(jié)構(gòu)仲裁，輸出請(qǐng)求信號(hào)y_Req，接收信號(hào)y_Ack為行共用；
[0009](3)行級(jí)時(shí)間標(biāo)記電路；為16位計(jì)時(shí)器，計(jì)時(shí)器精度由量化精度決定，以像素發(fā)出請(qǐng)求信號(hào)y_Req為標(biāo)記事件觸發(fā)信號(hào)，在8bit量化信號(hào)前輸出；
[0010](4)行/列地址編碼電路:行地址編碼電路接收行輪權(quán)仲裁結(jié)構(gòu)發(fā)出的行選中信號(hào)，輸出選中的行地址；行地址編碼電路由輸出像素的⑶電路輸出信號(hào)觸發(fā)。
[0011]行仲裁電路輸出請(qǐng)求信號(hào)y_Req，接收信號(hào)y_Ack為行共用，行輪權(quán)仲裁方式遵循“先進(jìn)先出”的原則，每次仲裁按照第一行依次至最后一行的順序決定優(yōu)先權(quán)，使每行優(yōu)先權(quán)相對(duì)平均。
[0012]利用像素級(jí)光強(qiáng)變化感知電路探測(cè)光強(qiáng)變化，雙采樣PWM電路量化光強(qiáng)；采用地址-事件(AER)表達(dá)方式及實(shí)時(shí)時(shí)間標(biāo)記。
[0013]行輪權(quán)仲裁結(jié)構(gòu)的結(jié)構(gòu)由二選一仲裁單元構(gòu)成，當(dāng)一個(gè)二選一仲裁單元發(fā)生第一次沖突時(shí)，優(yōu)先選中端口一，當(dāng)?shù)诙伟l(fā)生沖突時(shí)，優(yōu)先選中端口二。
[0014]本發(fā)明的技術(shù)特點(diǎn)及效果:
[0015]本發(fā)明通過(guò)僅采集變化像素信息，能夠在源頭上消除冗余信息，各像素的測(cè)量及輸出由光強(qiáng)變化驅(qū)動(dòng)，實(shí)現(xiàn)了異步工作輸出，時(shí)間域量化，脫離了傳統(tǒng)圖像傳感器“幀”的束縛，并擴(kuò)大動(dòng)態(tài)范圍。同時(shí)，能夠在片上進(jìn)行實(shí)時(shí)時(shí)間標(biāo)記，結(jié)合行仲裁電路，對(duì)于事件-時(shí)間的扭曲進(jìn)行修正，提高AER異步方式的準(zhǔn)確性。輸出數(shù)據(jù)可以滿足任何量化編碼需要，提高了圖像傳感器效率，具有數(shù)據(jù)量小，動(dòng)態(tài)范圍大，幀頻高的特點(diǎn)，適用于高速目標(biāo)跟蹤、視頻監(jiān)控、微粒研究等領(lǐng)域。
【專利附圖】

【附圖說(shuō)明】
[0016]圖1 一維單一事件AER表達(dá)原理。
[0017]圖2異步時(shí)間域像素結(jié)構(gòu)。
[0018]圖3采樣PWM電路工作原理。
[0019]圖4本發(fā)明的異步時(shí)間域CIS結(jié)構(gòu)。
[0020]圖5本發(fā)明結(jié)構(gòu)圖。
[0021]圖6由多個(gè)輪權(quán)仲裁單元組成的多路仲裁結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0022]本發(fā)明傳感器采用128*128像素陣列，結(jié)構(gòu)如圖4所示，由行/列復(fù)位控制電路、行仲裁電路、行時(shí)間標(biāo)記電路及行/列地址編碼電路組成。
[0023](I)行/列復(fù)位控制電路。列復(fù)位控制電路(x_reset control)控制各像素⑶電路的復(fù)位，控制信號(hào)x_Rst列共用。行復(fù)位控制電路(y_reset control)控制各像素雙采樣PWM電路的復(fù)位，控制信號(hào)y_Rst行共用。將CD電路和雙采樣PWM電路分別設(shè)置復(fù)位的好處是，當(dāng)進(jìn)行全局拍攝模式或快照模式時(shí)可直接控制雙采樣PWM電路，而使CD電路處于待命狀態(tài)。
[0024](2)行仲裁電路(y_arbiter)。光照發(fā)生變化時(shí)，像素內(nèi)的⑶電路輸出使雙采樣PWM電路開(kāi)始曝光工作，光強(qiáng)結(jié)果存儲(chǔ)在像素級(jí)8位存儲(chǔ)器中，等待輸出。當(dāng)不同像素同時(shí)發(fā)出輸出請(qǐng)求時(shí)，需要仲裁的方法決定輸出順序。本結(jié)構(gòu)中采用行輪權(quán)仲裁結(jié)構(gòu)，輸出請(qǐng)求信號(hào)y_Req，接收信號(hào)y_Ack為行共用。行輪權(quán)仲裁方式遵循“先進(jìn)先出”的原則，每次仲裁按照第一行依次至最后一行的順序決定優(yōu)先權(quán)，可使每行優(yōu)先權(quán)相對(duì)平均。適用于需要對(duì)全景信息采集，但對(duì)幀頻要求較低的視覺(jué)圖像采集領(lǐng)域。
[0025](3)行級(jí)時(shí)間標(biāo)記電路(Time stamp)。采用16位計(jì)時(shí)器,計(jì)時(shí)器精度由量化精度決定，以像素發(fā)出請(qǐng)求信號(hào)y_Req為標(biāo)記事件觸發(fā)信號(hào)，在8bit量化信號(hào)前輸出。
[0026](4)行/列地址編碼電路(address encoder)。本設(shè)計(jì)遵循AER表示原理,需輸出光強(qiáng)變化事件及所在像素坐標(biāo)(X，y)。本結(jié)構(gòu)要求時(shí)間標(biāo)記有較高實(shí)時(shí)性，故在結(jié)構(gòu)中優(yōu)先輸出時(shí)間標(biāo)記及時(shí)間測(cè)量，由確定的事件輸出觸發(fā)地址編碼即可，并且行/列的編碼可異步進(jìn)行。行地址編碼電路(y_address encoder)接收行仲裁發(fā)出的行選中信號(hào),輸出選中的行地址。行地址編碼電路(x_address encoder)由輸出像素的⑶電路輸出信號(hào)觸發(fā)。
[0027]應(yīng)用于一個(gè)128 X 128的有源像素陣列，輸出圖像精度為8bit，地址位為14bit，時(shí)間標(biāo)記位為20bit。仲裁方式采用輪權(quán)制。采用0.18um標(biāo)準(zhǔn)CMOS工藝實(shí)現(xiàn)，適用于高速實(shí)時(shí)視覺(jué)芯片系統(tǒng)。
[0028](5)輪權(quán)仲裁結(jié)構(gòu)。輪權(quán)仲裁的特點(diǎn)是仲裁器的輸入各個(gè)端口具有相同的權(quán)重，是一種公平仲裁。當(dāng)一個(gè)二選一仲裁單元發(fā)生第一次沖突時(shí)，優(yōu)先選中端口一，那么當(dāng)它第二次發(fā)生沖突時(shí)，優(yōu)先選中端口二。一個(gè)二選一輪權(quán)仲裁單元的基本結(jié)構(gòu)如圖5所示:其中
(a)是二選一輪權(quán)仲裁單元的基本結(jié)構(gòu)；(b)是預(yù)選單元的一種實(shí)現(xiàn)結(jié)構(gòu)，其中ps信號(hào)可以標(biāo)識(shí)這是第一次沖突還是第二次沖突。(C)是一個(gè)基本仲裁單元，它在ps的控制下實(shí)現(xiàn)輪權(quán)選擇。(d)是確認(rèn)單元和輸出請(qǐng)求部分的結(jié)構(gòu)。
[0029]圖6所示為由多個(gè)輪權(quán)仲裁單元組成的多路仲裁結(jié)構(gòu)，它是由多個(gè)輪權(quán)仲裁單元組成樹(shù)狀結(jié)構(gòu)，可以根據(jù)行列數(shù)目的需要擴(kuò)展仲裁的數(shù)目。
【權(quán)利要求】
1.一種實(shí)時(shí)時(shí)間標(biāo)記的CMOS異步時(shí)間域圖像傳感器，包括由光強(qiáng)變化感知電路CD和雙采樣脈沖寬度調(diào)制電路PWM，其特征是，還包括: (1)行/列復(fù)位控制電路:列復(fù)位控制電路控制各像素CD電路的復(fù)位，列復(fù)位控制信號(hào)列共用；行復(fù)位控制電路控制各像素雙采樣PWM電路的復(fù)位，行控制信號(hào)行共用； (2)行仲裁電路:光照發(fā)生變化時(shí)，像素內(nèi)的CD電路輸出使雙采樣PWM電路開(kāi)始曝光工作，光強(qiáng)結(jié)果存儲(chǔ)在像素級(jí)8位存儲(chǔ)器中，等待輸出；當(dāng)不同像素同時(shí)發(fā)出輸出請(qǐng)求時(shí)，行輪權(quán)仲裁結(jié)構(gòu)仲裁，輸出請(qǐng)求信號(hào)y_Req，接收信號(hào)y_Ack為行共用； (3)行級(jí)時(shí)間標(biāo)記電路；為16位計(jì)時(shí)器，計(jì)時(shí)器精度由量化精度決定，以像素發(fā)出請(qǐng)求信號(hào)y_Req為標(biāo)記事件觸發(fā)信號(hào)，在8bit量化信號(hào)前輸出； (4)行/列地址編碼電路:行地址編碼電路接收行輪權(quán)仲裁結(jié)構(gòu)發(fā)出的行選中信號(hào)，輸出選中的行地址；行地址編碼電路由輸出像素的⑶電路輸出信號(hào)觸發(fā)。
2.如權(quán)利要求1所述的實(shí)時(shí)時(shí)間標(biāo)記的CMOS異步時(shí)間域圖像傳感器，其特征是，行仲裁電路輸出請(qǐng)求信號(hào)y_Req，接收信號(hào)y_Ack為行共用，行輪權(quán)仲裁方式遵循“先進(jìn)先出”的原則，每次仲裁按照第一行依次至最后一行的順序決定優(yōu)先權(quán)，使每行優(yōu)先權(quán)相對(duì)平均。
3.如權(quán)利要求1所述的實(shí)時(shí)時(shí)間標(biāo)記的CMOS異步時(shí)間域圖像傳感器，其特征是利用像素級(jí)光強(qiáng)變化感知電路探測(cè)光強(qiáng)變化，雙采樣PWM電路量化光強(qiáng)；采用地址-事件(AER)表達(dá)方式及實(shí)時(shí)時(shí)間標(biāo)記。
4.如權(quán)利要求1所述的實(shí)時(shí)時(shí)間標(biāo)記的CMOS異步時(shí)間域圖像傳感器，其特征是，行輪權(quán)仲裁結(jié)構(gòu)的結(jié)構(gòu)由二選一仲裁單元構(gòu)成，當(dāng)一個(gè)二選一仲裁單元發(fā)生第一次沖突時(shí)，優(yōu)先選中端口一，當(dāng)?shù)诙伟l(fā)生沖突時(shí)，優(yōu)先選中端口二。
【文檔編號(hào)】H04N5/345GK103595931SQ201310542731
【公開(kāi)日】2014年2月19日 申請(qǐng)日期:2013年11月5日 優(yōu)先權(quán)日:2013年11月5日
【發(fā)明者】姚素英, 于璐, 徐江濤, 高靜, 史再峰, 聶凱明 申請(qǐng)人:天津大學(xué)