專利名稱：攝像設(shè)備和攝像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于將時(shí)變圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)上的攝像設(shè)備和攝像方法。
背景技術(shù)：
近年來，因特網(wǎng)已經(jīng)廣泛普及，并且一般通過WWW(萬維網(wǎng))等進(jìn)行信息傳輸。在這種情況下，出現(xiàn)了一種具有實(shí)時(shí)拍攝圖像并將影像(時(shí)變圖像)發(fā)送到網(wǎng)絡(luò)上的功能的攝像設(shè)備。佳能公司的網(wǎng)絡(luò)照相機(jī)服務(wù)器(Network Camera Server)VB-C10就是其很好的例子。
當(dāng)試圖通過網(wǎng)絡(luò)為用戶提供服務(wù)時(shí)，因?yàn)橛脩舻恼埱笫嵌鄻踊模钥赡艹霈F(xiàn)這樣一種情況對于在某個(gè)時(shí)間點(diǎn)拍攝的一個(gè)輸入圖像，請求以多個(gè)不同參數(shù)處理過的編碼數(shù)據(jù)。作為試圖響應(yīng)這種請求的圖像處理設(shè)備的第一個(gè)例子，存在這樣一種圖像處理設(shè)備，其試圖通過具有多個(gè)編碼處理單元來響應(yīng)這種請求(例如，日本特開2003-309853號(hào)公報(bào)(P.19；圖1和6；P.20；圖3))。
因而，在試圖通過具有多個(gè)編碼處理單元來響應(yīng)多個(gè)圖像處理請求的情況下，可被提供的服務(wù)內(nèi)容受到處理單元的數(shù)量的限制。通過增加處理單元的數(shù)量，可以緩解該限制。然而，具有攝像功能的網(wǎng)絡(luò)照相機(jī)服務(wù)器等通常需要小型化，并且，可在其中安裝的處理單元的數(shù)量受到板/芯片面積或發(fā)熱量的限制。因此，存在處理單元的數(shù)量實(shí)際上受限的問題。
同時(shí)，在為了監(jiān)控或傳送的目的而實(shí)時(shí)拍攝圖像并積累圖像的情況下，決不允許丟掉從攝像設(shè)備輸入的圖像。例如，在獲取從每秒拍攝30幀圖像的攝像機(jī)輸入的影像的情況下，原則上，用于處理任意給定幀所允許的時(shí)間為1/30秒，1/30秒是輸入一幀圖像所需的時(shí)間。以下將輸入一幀圖像所需的時(shí)間稱為“一個(gè)影像周期”。需要一種在該影像周期內(nèi)對上述多種多樣的用戶請求做出響應(yīng)的系統(tǒng)。要求能夠遠(yuǎn)程操作影像拍攝單元的網(wǎng)絡(luò)照相機(jī)是實(shí)時(shí)的，并具有低延遲。
作為圖像處理設(shè)備的第二個(gè)例子，存在這樣一種圖像處理設(shè)備，其試圖通過根據(jù)需要讀取預(yù)先存儲(chǔ)在ROM中的各種轉(zhuǎn)換算法，并使DSP執(zhí)行該算法的處理來響應(yīng)各種用戶請求(例如，日本特開平06-125411號(hào)公報(bào)(P.8；圖1；P.10；圖4))。
在該技術(shù)中，僅僅由DSP根據(jù)該算法以分時(shí)方式并行地進(jìn)行多個(gè)圖像處理，而存在的問題是不能確保在一個(gè)影像周期內(nèi)完成處理。
也就是說，將時(shí)變圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)上的現(xiàn)有技術(shù)的攝像設(shè)備難以保持實(shí)時(shí)地為在網(wǎng)絡(luò)上發(fā)出各種請求的用戶提供多種服務(wù)。

發(fā)明內(nèi)容
本發(fā)明提供了一種能夠?qū)崟r(shí)地為在網(wǎng)絡(luò)上發(fā)出各種請求的用戶提供多種服務(wù)的攝像設(shè)備。
根據(jù)本發(fā)明，通過提供一種攝像設(shè)備來解決前述問題，該攝像設(shè)備包括攝像單元，用于通過拍攝被攝體來獲取圖像數(shù)據(jù)；顯像單元，用于將由所述攝像單元獲取的圖像數(shù)據(jù)顯像成時(shí)變圖像數(shù)據(jù)；圖像處理單元，用于對所述時(shí)變圖像數(shù)據(jù)進(jìn)行圖像處理；網(wǎng)絡(luò)通信單元，用于將由所述圖像處理單元處理后的所述時(shí)變圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)上；以及控制單元，用于控制由所述圖像處理單元進(jìn)行了多種不同的圖像處理的時(shí)變圖像數(shù)據(jù)，以在一個(gè)影像周期內(nèi)將其輸出到所述網(wǎng)絡(luò)通信單元，其中，所述影像周期是與一個(gè)畫面相對應(yīng)的構(gòu)成所述時(shí)變圖像數(shù)據(jù)的圖像數(shù)據(jù)的更新間隔。
根據(jù)本發(fā)明，通過提供一種包括以下步驟的攝像方法來解決前述問題通過拍攝被攝體的圖像來獲取圖像數(shù)據(jù)；將所獲取的圖像數(shù)據(jù)顯像成時(shí)變圖像數(shù)據(jù)；對所述時(shí)變圖像數(shù)據(jù)進(jìn)行圖像處理；以及在一個(gè)影像周期內(nèi)，將進(jìn)行了多種不同類型的圖像處理的時(shí)變圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)上，其中，所述影像周期是與一個(gè)畫面相對應(yīng)的且構(gòu)成所述時(shí)變圖像數(shù)據(jù)的圖像數(shù)據(jù)的更新間隔。
通過下面結(jié)合附圖對典型實(shí)施例的說明，本發(fā)明的其它特征將變得很明顯。


圖1是示出根據(jù)本發(fā)明的第一實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的圖；圖2是詳細(xì)示出本發(fā)明的第一實(shí)施例中的圖像處理單元的圖；圖3是示出本發(fā)明的第一實(shí)施例中的圖像處理單元的操作流程的圖；圖4是示出使用根據(jù)本發(fā)明的第一實(shí)施例的攝像設(shè)備的系統(tǒng)的結(jié)構(gòu)例子的圖；圖5是示出本發(fā)明的第二實(shí)施例中閱讀器側(cè)所請求的圖像的視場角(field angle)和分辨率的圖；圖6是詳細(xì)示出本發(fā)明的第二實(shí)施例中的圖像處理單元的圖；圖7是示出本發(fā)明的第二實(shí)施例中的圖像處理單元的操作流程的圖；圖8是詳細(xì)示出本發(fā)明的第三實(shí)施例中的圖像處理單元的圖；圖9是示出本發(fā)明的第三實(shí)施例中的圖像處理單元的操作流程的圖；圖10是示出本發(fā)明的第三實(shí)施例中閱讀器側(cè)所請求的圖像的視場角和分辨率的圖；圖11是示出在本發(fā)明的第三實(shí)施例中連續(xù)兩個(gè)影像周期的圖像處理單元的操作流程的圖；圖12是詳細(xì)示出本發(fā)明的第四實(shí)施例中的圖像處理單元的圖；圖13是示出本發(fā)明的第四實(shí)施例中的圖像處理單元的操作流程的圖；圖14是示出本發(fā)明的第四實(shí)施例中閱讀器側(cè)所請求的圖像的視場角和分辨率的圖；圖15是詳細(xì)示出本發(fā)明的第五實(shí)施例中的圖像處理單元的圖；圖16是示出本發(fā)明的第五實(shí)施例中閱讀器側(cè)所請求的圖像的視場角和分辨率的圖；圖17是詳細(xì)示出本發(fā)明的第五實(shí)施例中的圖像數(shù)據(jù)DMAC的圖；圖18是示出本發(fā)明的第五實(shí)施例中圖像數(shù)據(jù)DMAC與分辨率轉(zhuǎn)換單元和光柵/塊轉(zhuǎn)換存儲(chǔ)器之間的移交數(shù)據(jù)的定時(shí)的圖；圖19是詳細(xì)示出本發(fā)明的第五實(shí)施例中的光柵/塊轉(zhuǎn)換存儲(chǔ)器的圖；圖20是詳細(xì)示出本發(fā)明的第五實(shí)施例中的分辨率轉(zhuǎn)換單元的圖；圖21是示出本發(fā)明的第六實(shí)施例中閱讀器側(cè)所請求的圖像的視場角和分辨率的圖；圖22是示出本發(fā)明的第六實(shí)施例中的圖像處理單元的操作流程的圖；圖23A和23B是示出本發(fā)明的第六實(shí)施例中連續(xù)兩個(gè)影像周期的圖像處理單元的操作流程的圖；
圖24是示出本發(fā)明的第七實(shí)施例中的圖像處理單元的操作流程的圖；以及圖25是詳細(xì)示出本發(fā)明的第七實(shí)施例中的光柵/塊轉(zhuǎn)換存儲(chǔ)器的圖。
具體實(shí)施例方式
現(xiàn)參照附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。應(yīng)該注意，在這些實(shí)施例中所說明的組件的相對配置、數(shù)字表達(dá)形式和數(shù)字值不限制本發(fā)明的范圍，除非另外特別說明。
第一實(shí)施例圖1是示出根據(jù)本發(fā)明的第一實(shí)施例的攝像設(shè)備的框圖。
在圖1中，在攝像設(shè)備5中主要有三個(gè)組件，即，圖像處理單元1、攝像單元2和通信單元3。攝像單元2包括影像進(jìn)入的鏡頭210、用于將由該鏡頭收集的光轉(zhuǎn)換成電信號(hào)的傳感器220、以及用于對從傳感器220獲得的信號(hào)進(jìn)行顯像的顯像單元230。
將顯像后的信號(hào)作為圖像數(shù)據(jù)送到圖像處理單元1。在此對圖像數(shù)據(jù)進(jìn)行編碼等處理，然后將該數(shù)據(jù)作為編碼數(shù)據(jù)送到通信單元3。在通信單元3，根據(jù)網(wǎng)絡(luò)控制單元310將已輸入于此的編碼數(shù)據(jù)發(fā)送到的網(wǎng)絡(luò)的形式，對該數(shù)據(jù)進(jìn)行打包等處理，然后將數(shù)據(jù)移交給網(wǎng)絡(luò)接口320，作為將被傳送的數(shù)據(jù)。網(wǎng)絡(luò)接口320將該數(shù)據(jù)以與網(wǎng)絡(luò)4的形式兼容的形式發(fā)送給網(wǎng)絡(luò)4。假定網(wǎng)絡(luò)4典型的是由Ethernet(注冊商標(biāo))LAN等有線LAN所代表的網(wǎng)絡(luò)、由IEEE802.11b類型代表的類型的無線LAN、或ISDN等公共線路網(wǎng)絡(luò)。
在本實(shí)施例中，將圖像處理單元1、攝像單元2和通信單元3描述為圖1中獨(dú)立的模塊。然而，當(dāng)通過硬件配置本實(shí)施例時(shí)，可以有各種實(shí)現(xiàn)形式，例如，作為獨(dú)立的IC實(shí)現(xiàn)這些模塊的形式和在一個(gè)芯片上集中并實(shí)現(xiàn)各個(gè)單元(例如，顯像單元230、圖像處理單元1和網(wǎng)絡(luò)控制單元310)的某些部分的形式。也就是說，形式不受本實(shí)施例的限制。
圖2是詳細(xì)示出圖像處理單元1的結(jié)構(gòu)的框圖。圖2示出圖像處理單元1中的幀緩沖器10、圖像數(shù)據(jù)DMAC(direct memoryaccess controller，直接存儲(chǔ)器存取控制器)20、光柵/塊轉(zhuǎn)換存儲(chǔ)器40、CODEC 50、編碼數(shù)據(jù)DMAC 60、控制序列器70、圖像處理存儲(chǔ)器11和數(shù)據(jù)緩沖器12?？刂菩蛄衅?0通過控制信號(hào)線與圖像處理單元1中的圖像數(shù)據(jù)DMAC 20、光柵/塊轉(zhuǎn)換存儲(chǔ)器40、CODEC 50和編碼數(shù)據(jù)DMAC 60中的每一個(gè)連接，并控制每個(gè)單元。而且，控制序列器70通過幀數(shù)據(jù)傳送完成中斷信號(hào)線與顯像單元230連接，并通過圖像與通信單元之間的控制信號(hào)71與通信單元3連接，且控制序列器70與它們相互交換信號(hào)以控制它們的操作。CODEC 50與圖像處理存儲(chǔ)器11連接，并且使用該存儲(chǔ)器進(jìn)行各種圖像處理。此外，CODEC 50在其內(nèi)具有參數(shù)寄存器51，并且，假定根據(jù)控制序列器70寫入該參數(shù)寄存器中的值進(jìn)行各種圖像處理。
對于幀緩沖器10、圖像處理存儲(chǔ)器11和數(shù)據(jù)緩沖器12中的每一個(gè)，當(dāng)在一個(gè)IC上實(shí)現(xiàn)圖像處理單元的其它組件時(shí)，可以將它們中的每一個(gè)作為片上存儲(chǔ)器(例如，作為SDR(single data rate，單倍數(shù)據(jù)速率)或DDR(double data rate，雙倍數(shù)據(jù)速率)的SDRAM(同步DRAM))配置在同一IC上，或作為在該IC外部連接到該IC的存儲(chǔ)裝置來實(shí)現(xiàn)。另外對于所述存儲(chǔ)器，各種結(jié)構(gòu)都是可以的，例如，以獨(dú)立的存儲(chǔ)裝置配置所述存儲(chǔ)器中的每一個(gè)以及將它們配置在同一存儲(chǔ)裝置上。
將利用圖1和圖2詳細(xì)說明攝像設(shè)備5的基本操作。在圖1中，首先，通過傳感器220獲取關(guān)于由攝像單元2的鏡頭210所收集的光的圖像信息，作為電信號(hào)?？梢允褂肅CD圖像傳感器、CMOS圖像傳感器等作為傳感器220。在本實(shí)施例中，假定傳感器220是正方形像素逐行掃描格式(square pixel progressive format)CCD。假定其有效像素的數(shù)量是640×480的所謂VGA大小，并且，假定該傳感器能夠輸出每1/30秒一幀的VGA圖像。也就是說，假定本實(shí)施例中的一個(gè)影像周期為1/30秒(約33.3ms)。順序讀取由傳感器220進(jìn)行了光電轉(zhuǎn)換并作為電信號(hào)獲取的圖像數(shù)據(jù)，并將其交給顯像單元230。顯像單元230對從傳感器220獲得的圖像數(shù)據(jù)進(jìn)行信號(hào)處理，以生成亮度信號(hào)和色差信號(hào)，并將其以可被隨后的階段容易處理的形式輸出。這里，假定以YUV422格式輸出它們。
將通過攝像單元2的顯像單元230轉(zhuǎn)換成YUV422形式的圖像數(shù)據(jù)，以幀存儲(chǔ)在圖像處理單元1的幀緩沖器10中。將利用圖2和圖3中的時(shí)序圖說明隨后的操作。
將從顯像單元230輸出的數(shù)據(jù)以幀存儲(chǔ)在幀緩沖器10中。如圖3所示，幀緩沖器10的內(nèi)部配置成雙緩沖器形式，并且，第n幀和第(n+1)幀的圖像數(shù)據(jù)被存儲(chǔ)在不同區(qū)域(緩沖器A和B)。因此，例如，在某個(gè)影像周期中，在將第n幀的圖像數(shù)據(jù)積累在緩沖器A中的情況下，在下一個(gè)影像周期內(nèi)讀取并使用第n幀的圖像數(shù)據(jù)的同時(shí)，可以將第(n+1)幀的圖像數(shù)據(jù)積累在緩沖器B中。
現(xiàn)假定剛剛完成第n幀在幀緩沖器10的緩沖器A中的積累。然后，發(fā)生從顯像單元230到控制序列器70的幀數(shù)據(jù)傳送完成中斷(圖3中的箭頭1)。
響應(yīng)于該幀數(shù)據(jù)傳送完成中斷，控制序列器70首先在CODEC50的參數(shù)寄存器51中設(shè)置用于指定CODEC處理單元應(yīng)該進(jìn)行什么處理的參數(shù)(圖3中的箭頭2a)。在本實(shí)施例中，假定該CODEC進(jìn)行JPEG壓縮處理。在這種情況下，壓縮參數(shù)的典型例子是表示影像壓縮度的Q值。
當(dāng)參數(shù)寄存器51中的參數(shù)的設(shè)置結(jié)束時(shí)，控制序列器70指示圖像數(shù)據(jù)DMAC 20從幀緩沖器10的緩沖器A讀取第n幀的圖像數(shù)據(jù)，并開始用于為CODEC 50提供該數(shù)據(jù)的傳送(圖3中的箭頭3a)。
接收該指示，圖像數(shù)據(jù)DMAC 20順序從幀緩沖器10的緩沖器A讀取第n幀的圖像數(shù)據(jù)，并為光柵/塊轉(zhuǎn)換存儲(chǔ)器40提供該數(shù)據(jù)。為了通過CODEC 50進(jìn)行JPEG處理，需要以8×8像素的塊提供數(shù)據(jù)。因此，通過光柵/塊轉(zhuǎn)換存儲(chǔ)器40將該數(shù)據(jù)轉(zhuǎn)換成該形式，然后將其提供給CODEC 50(圖3中的箭頭4a)。
CODEC 50根據(jù)設(shè)置在參數(shù)寄存器51中的參數(shù)值，對從光柵/塊轉(zhuǎn)換存儲(chǔ)器40送來的圖像數(shù)據(jù)進(jìn)行JPEG壓縮，以生成編碼數(shù)據(jù)JPEGa。在本實(shí)施例中假定在第一次壓縮中以Q值＝Qa進(jìn)行壓縮。將由CODEC 50壓縮了的編碼數(shù)據(jù)順序移交給編碼數(shù)據(jù)DMAC60，而編碼數(shù)據(jù)DMAC 60以預(yù)定單位將該編碼數(shù)據(jù)傳送給數(shù)據(jù)緩沖器12。當(dāng)完成從第n幀的圖像數(shù)據(jù)生成的所有編碼數(shù)據(jù)的傳送時(shí)，控制序列器70將編碼數(shù)據(jù)傳送完成中斷發(fā)送給通信單元3(圖3中的箭頭5a)。通過圖像與通信單元之間的控制信號(hào)71傳達(dá)該中斷通知。
在通信單元3，響應(yīng)于該編碼數(shù)據(jù)傳送完成中斷，網(wǎng)絡(luò)控制單元310從數(shù)據(jù)緩沖器12讀取該編碼數(shù)據(jù)，根據(jù)該編碼數(shù)據(jù)將被傳送到的網(wǎng)絡(luò)的形式進(jìn)行打包等處理，并將該數(shù)據(jù)交給網(wǎng)絡(luò)接口320。網(wǎng)絡(luò)接口320以與網(wǎng)絡(luò)4的形式兼容的形式，將該數(shù)據(jù)傳送給網(wǎng)絡(luò)4。
圖4是示出使用根據(jù)本實(shí)施例的攝像設(shè)備5的系統(tǒng)的結(jié)構(gòu)例子的圖。
顯示終端400與網(wǎng)絡(luò)4連接，并且用戶利用該終端上的閱讀器401顯示通過攝像設(shè)備5所拍攝的圖像。在圖4中，存在總共8個(gè)顯示終端400a到400h(其中5個(gè)未被示出)。假定閱讀器401a到401h分別運(yùn)行在所述顯示終端上，并且，每一個(gè)用戶正在使用其中一個(gè)。
在圖4中所示的系統(tǒng)中，連接用戶的網(wǎng)絡(luò)環(huán)境、以及用戶要求的圖像質(zhì)量等不同。如果可以利用與送到CODEC 50的參數(shù)寄存器51的參數(shù)相同的參數(shù)來實(shí)現(xiàn)用戶要求的圖像質(zhì)量，則當(dāng)攝像設(shè)備5的通信單元3的網(wǎng)絡(luò)控制單元310將數(shù)據(jù)發(fā)送給每個(gè)用戶的終端時(shí)，可以通過復(fù)制相同的編碼數(shù)據(jù)并將所復(fù)制的數(shù)據(jù)移交給網(wǎng)絡(luò)接口320，來將該影像數(shù)據(jù)提供給多個(gè)用戶。
然而，在每個(gè)用戶請求不同圖像質(zhì)量參數(shù)的情況下，不能僅通過如上所述復(fù)制數(shù)據(jù)來實(shí)現(xiàn)以上情況。而且，為了在不掉幀的情況下在用戶顯示終端400上平穩(wěn)地顯示時(shí)變圖像，需要在一個(gè)影像周期(在本實(shí)施例中為1/30秒(約33.3ms))內(nèi)進(jìn)行每個(gè)用戶所請求的圖像處理。以下將利用圖1到圖4對在這種情況下進(jìn)行的攝像設(shè)備5的操作進(jìn)行說明。由于已利用圖2和圖3說明了該操作的基礎(chǔ)，因而，將對響應(yīng)于多個(gè)用戶的請求所進(jìn)行的操作和響應(yīng)于該操作的一系列操作的流程進(jìn)行說明。
在圖4中，現(xiàn)假定使用顯示終端400a到400h的用戶分別要求具有由Q＝Qa到Qh所表示的Q值的JPEG圖像。位于通信單元3的網(wǎng)絡(luò)控制單元310中的處理性能判斷單元311判斷在一個(gè)影像周期內(nèi)，是否可以使圖像處理單元處理各個(gè)終端所請求的處理的所有內(nèi)容。在本實(shí)施例中，預(yù)先參考用于基于處理內(nèi)容(例如，處理的種類、待處理的數(shù)據(jù)量以及壓縮度)評價(jià)圖像處理單元的處理性能的表。根據(jù)該結(jié)果，判斷出對具有由Q＝Qa到Qh表示的Q值的JPEG圖像進(jìn)行處理不會(huì)出現(xiàn)問題，并將進(jìn)行該處理的指示發(fā)送到圖像處理單元。利用圖2中的圖像與通信單元之間的控制信號(hào)71，將該指示傳達(dá)給圖像處理單元1的控制序列器70。
在本實(shí)施例中，假定處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中。然而，例如，還可以將其配置在圖像處理單元1中，或作為整合在圖像處理單元1的控制序列器70中的功能的一部分來實(shí)現(xiàn)?；旧希瑸榱藢?shí)現(xiàn)該功能，其位置不受本實(shí)施例的限制。
在將處理性能判斷單元311整合在控制序列器70中的情況下，通過網(wǎng)絡(luò)控制單元310，由圖像與通信單元之間的控制信號(hào)71將各個(gè)終端所請求的處理內(nèi)容傳達(dá)給控制序列器70中的處理性能判斷單元311。利用該信息做出以上判斷。然而，在這種情況下，即使處理性能判斷單元311已判斷出不能再接受壓縮處理等圖像處理，因?yàn)樵撆袛鄦卧诳刂菩蛄衅?0內(nèi)部，所以新的用戶請求也通過圖像與通信單元之間的控制信號(hào)71傳達(dá)給控制序列器70中的處理性能判斷單元311，并且，沿著同一線路返回對該用戶請求的拒絕應(yīng)答。由于未與影像周期同步發(fā)送來自該網(wǎng)絡(luò)上的用戶的請求，因而，數(shù)據(jù)也被不定期地發(fā)送給控制序列器70。因此，圖像處理單元1的控制可能受到不利影響。例如，控制序列器不得不對在意外定時(shí)做出的請求進(jìn)行應(yīng)答。
在處理性能判斷單元311位于網(wǎng)絡(luò)控制單元310中的情況下，基本上在網(wǎng)絡(luò)控制單元310內(nèi)判斷響應(yīng)于用戶請求的處理，并且，僅在需要時(shí)，通過圖像與通信單元之間的控制信號(hào)71將請求傳達(dá)給控制序列器70?？梢砸耘c影像周期同步的恒定定時(shí)傳達(dá)該數(shù)據(jù)。從通過如上所述僅進(jìn)行必要的數(shù)據(jù)傳輸以盡可能地減輕整個(gè)處理負(fù)荷的角度考慮，如本實(shí)施例中那樣，處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中更為理想。
在圖3中，當(dāng)使用壓縮參數(shù)Q＝Qa的圖像壓縮處理結(jié)束，并且控制序列器70識(shí)別到已針對編碼數(shù)據(jù)JPEGa發(fā)送了傳送完成中斷(圖3中的箭頭5a)時(shí)，控制序列器70檢查下一個(gè)所請求的圖像處理的參數(shù)。然后，如圖3所示，在CODEC 50的參數(shù)寄存器51中設(shè)置下一個(gè)所請求的壓縮要使用的參數(shù)Q＝Qb(圖3中的箭頭2b)。
隨后的操作與在Q＝Qa情況下的相似。當(dāng)在參數(shù)寄存器51中該參數(shù)的設(shè)置結(jié)束時(shí)，控制序列器70指示圖像數(shù)據(jù)DMAC 20從幀緩沖器10的緩沖器A讀取第n幀的圖像數(shù)據(jù)，并開始用于為CODEC 50提供該數(shù)據(jù)的傳送(圖3中的箭頭3b)。然后，接收該指示，圖像數(shù)據(jù)DMAC 20從幀緩沖器10的緩沖器A順序讀取第n幀的圖像數(shù)據(jù)，并將該數(shù)據(jù)提供給光柵/塊轉(zhuǎn)換存儲(chǔ)器40。該圖像數(shù)據(jù)被轉(zhuǎn)換成8×8像素的塊，并被提供給CODEC 50(圖3中的箭頭4b)。
CODEC 50根據(jù)設(shè)置在參數(shù)寄存器51中的參數(shù)值(在該時(shí)間點(diǎn)，Q＝Qb)，對從光柵/塊轉(zhuǎn)換存儲(chǔ)器40給出的圖像數(shù)據(jù)進(jìn)行JPEG壓縮，以生成編碼數(shù)據(jù)JPEGb。將通過CODEC 50壓縮的編碼數(shù)據(jù)順序移交給編碼數(shù)據(jù)DMAC 60，而編碼數(shù)據(jù)DMAC 60以預(yù)定單位將該編碼數(shù)據(jù)傳送給數(shù)據(jù)緩沖器12。當(dāng)從第n幀的圖像數(shù)據(jù)生成的Q＝Qb時(shí)的所有編碼數(shù)據(jù)的傳送完成時(shí)，控制序列器70將Q＝Qb時(shí)的編碼數(shù)據(jù)JPEGb的傳送完成中斷，發(fā)送給通信單元3(圖3中的箭頭5b)。
在通信單元3，響應(yīng)于Q＝Qb時(shí)所處理的編碼數(shù)據(jù)的傳送完成中斷，網(wǎng)絡(luò)控制單元310從數(shù)據(jù)緩沖器12讀取該編碼數(shù)據(jù)，并進(jìn)行尋址處理等，使得可以將該編碼數(shù)據(jù)發(fā)送給發(fā)出利用Q＝Qb進(jìn)行處理的請求的顯示終端400b。網(wǎng)絡(luò)接口320通過網(wǎng)絡(luò)4將該數(shù)據(jù)發(fā)送給顯示終端400b。
根據(jù)各個(gè)用戶所請求的不同Q值，在一個(gè)影像周期內(nèi)多次重復(fù)該系列操作。在本實(shí)施例中，在一個(gè)影像周期內(nèi)，總共進(jìn)行8次與Qa到Qh相對應(yīng)的參數(shù)設(shè)置和伴隨的圖像壓縮處理，其中，處理性能判斷單元311判斷出在一個(gè)影像周期內(nèi)這些圖像壓縮處理是可以實(shí)現(xiàn)的。從而，可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)進(jìn)行多次圖像壓縮處理，而無需并行實(shí)施多個(gè)處理單元，因此可以實(shí)時(shí)地為具有各種請求的網(wǎng)絡(luò)上的用戶提供多種服務(wù)。
例如，可以在多個(gè)用戶的顯示終端上平穩(wěn)地顯示具有不同質(zhì)量的時(shí)變圖像，而不掉幀。而且，由于消除了并行實(shí)施多個(gè)處理單元的必要，因而可以縮小板或芯片的面積，并且，還可以降低功耗。結(jié)果，可以提供小型化網(wǎng)絡(luò)照相機(jī)。
而且，尤其通過處理性能判斷單元311進(jìn)行準(zhǔn)確判斷，可以將圖像壓縮處理等單元性能有效地利用到該性能的最大，并且，可以在保持實(shí)時(shí)性的同時(shí)，利用一個(gè)CODEC在一個(gè)影像周期內(nèi)為更多用戶提供多種服務(wù)。而且，通過將處理性能判斷單元311配置在網(wǎng)絡(luò)控制單元310中，可以在進(jìn)一步縮減內(nèi)部數(shù)據(jù)通信的同時(shí)，實(shí)現(xiàn)以上功能，從而可獲得增強(qiáng)整體處理性能和降低功耗等效果。
第二實(shí)施例在第一實(shí)施例中，用戶所請求的圖像處理在Q值上是不同的。然而，從另一方面，可能出現(xiàn)用戶所請求的圖像處理不局限于Q值的情況。將利用圖1、圖4、圖5和圖7對這樣的情況進(jìn)行說明。在本實(shí)施例中也使用第一實(shí)施例的圖1和圖4中相同的組件。
在本實(shí)施例中，假定圖1中的攝像單元2的傳感器220是全像素讀取系統(tǒng)CMOS傳感器，其有效像素的數(shù)量為1600×1200的所謂UXGA大小。假定像素是正方形像素，并且可以每1/30秒輸出與一幀相對應(yīng)的UXGA圖像。也就是說，假定本實(shí)施例中的一個(gè)影像周期為1/30秒(約33.3ms)。
在這樣的情況下，假定圖4中的每個(gè)用戶在UXGA圖像內(nèi)設(shè)置具有等于或小于VGA大小的任意圖像區(qū)域，并切取和使用該部分圖像。圖5示出表示在UXGA圖像大小內(nèi)切取并使用哪一部分圖像的例子。
在圖5中，用a表示顯示在圖4中的顯示終端400a的閱讀器401a上的圖像區(qū)域，用b表示顯示在顯示終端400b的閱讀器401b上的圖像區(qū)域。類似地示出了隨后的圖像區(qū)域，直到與顯示終端400h相對應(yīng)的圖像區(qū)域h。這里，顯示終端400a到400f的用戶使用圖像大小為VGA大小(640×480)的影像數(shù)據(jù)，而顯示終端400g到400h的用戶使用其圖像大小為QVGA大小(320×240)的影像數(shù)據(jù)。
此外，位于通信單元3的網(wǎng)絡(luò)控制單元310中的處理性能判斷單元311判斷是否可以使圖像處理單元在一個(gè)影像周期內(nèi)處理由各個(gè)終端所請求的處理的所有內(nèi)容。在本實(shí)施例中，假定已判斷出對圖5中所示所有圖像區(qū)域進(jìn)行切取處理并且圖像處理單元利用該影像進(jìn)行JPEG圖像處理不會(huì)出現(xiàn)問題，因此發(fā)出處理指示給圖像處理單元。
在本實(shí)施例中，假定處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中。然而，例如，還可以與第一實(shí)施例相似地將其配置在圖像處理單元1中，或作為整合在圖像處理單元1的控制序列器70中的功能的一部分來實(shí)現(xiàn)。其位置不受本實(shí)施例的限制。然而，與第一實(shí)施例相似，從通過如上所述僅進(jìn)行必要的數(shù)據(jù)傳輸以盡可能地減輕整個(gè)處理負(fù)荷的角度考慮，如本實(shí)施例中，處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中更為理想。
基于這些假定，將利用圖6和圖7并參照圖1以及圖4和圖5，說明本實(shí)施例中的圖像處理單元1的操作。
在圖6中，將從顯像單元230輸出的UXGA大小圖像數(shù)據(jù)以幀存儲(chǔ)在幀緩沖器10中。如圖7中所示，幀緩沖器10的內(nèi)部配置成雙緩沖器形式，并且，將第n幀和第(n+1)幀的圖像數(shù)據(jù)存儲(chǔ)在不同區(qū)域(緩沖器A和B)。
假定剛完成幀緩沖器10的緩沖器A中的第n幀數(shù)據(jù)的積累。然后發(fā)生從顯像單元230到控制序列器70的幀數(shù)據(jù)傳送完成中斷(圖7中的箭頭1)。
與第一實(shí)施例相似，響應(yīng)于該幀數(shù)據(jù)傳送完成中斷，控制序列器70首先在CODEC 50的參數(shù)寄存器51中設(shè)置用于指定CODEC處理單元應(yīng)該進(jìn)行什么處理的參數(shù)(圖7中的箭頭2a)。在本實(shí)施例中，假定CODEC進(jìn)行JPEG壓縮處理。在這種情況下，壓縮參數(shù)的典型例子是表示影像的壓縮度的Q值。假定此時(shí)設(shè)置顯示終端400a所請求的Q＝Qa。
然后，控制序列器70指示圖像數(shù)據(jù)DMAC 20從幀緩沖器10的緩沖器A讀取第n幀圖像數(shù)據(jù)，并開始為CODEC 50提供該數(shù)據(jù)的傳送(圖7中的箭頭3a)。在這種情況下，控制序列器70為圖像數(shù)據(jù)DMAC 20的傳送區(qū)域設(shè)置寄存器21設(shè)置區(qū)域參數(shù)，該區(qū)域參數(shù)用于指定應(yīng)當(dāng)從積累在幀緩沖器10中的UXGA圖像數(shù)據(jù)中讀取哪個(gè)區(qū)域并將其送給CODEC 50。
假定網(wǎng)絡(luò)上的顯示終端400a到400h中的每一個(gè)已利用圖6中的圖像與通信單元之間的控制信號(hào)71，向圖像處理單元1的控制序列器70請求了該區(qū)域參數(shù)。此時(shí)，將表示待送給CODEC 50的數(shù)據(jù)的開始位置的坐標(biāo)數(shù)據(jù)和表示圖像大小(VGA)的數(shù)據(jù)送給控制序列器70，以便指定顯示終端400a所請求的VGA大小圖像(圖5中的區(qū)域)，并且，控制序列器70將從這些數(shù)據(jù)所確定的傳送區(qū)域信息作為區(qū)域參數(shù)設(shè)置給傳送區(qū)域設(shè)置寄存器21。
接收到該區(qū)域和大小的指定后，圖像數(shù)據(jù)DMAC 20從幀緩沖器10的緩沖器A順序讀取第n幀的指定區(qū)域的圖像數(shù)據(jù)，并將該數(shù)據(jù)提供給光柵/塊轉(zhuǎn)換存儲(chǔ)器40。光柵/塊轉(zhuǎn)換存儲(chǔ)單元將該數(shù)據(jù)轉(zhuǎn)換成8×8塊，并將該塊提供給CODEC 50(圖7中的箭頭4a)。
CODEC 50根據(jù)設(shè)置在參數(shù)寄存器51中的參數(shù)值(Q＝Qa)對從光柵/塊轉(zhuǎn)換存儲(chǔ)器40送來的圖像數(shù)據(jù)進(jìn)行JPEG壓縮，以生成編碼數(shù)據(jù)JPEGa。將由CODEC 50壓縮的編碼數(shù)據(jù)順序移交給編碼數(shù)據(jù)DMAC 60，編碼數(shù)據(jù)DMAC 60以預(yù)定單位將該編碼數(shù)據(jù)傳送給數(shù)據(jù)緩沖器12。當(dāng)完成由顯示終端400a指定的、從第n幀中構(gòu)成該區(qū)域的圖像數(shù)據(jù)所生成的所有編碼數(shù)據(jù)的傳送時(shí)，控制序列器70將編碼數(shù)據(jù)傳送完成中斷發(fā)送給通信單元3(圖7中的箭頭5a)。通過圖像與通信單元之間的控制信號(hào)71傳達(dá)該中斷通知。
在通信單元3，響應(yīng)于該編碼數(shù)據(jù)傳送完成中斷，網(wǎng)絡(luò)控制單元310從數(shù)據(jù)緩沖器12讀取該編碼數(shù)據(jù)，根據(jù)要將該編碼數(shù)據(jù)發(fā)送到的網(wǎng)絡(luò)的形式進(jìn)行打包等處理，并將該數(shù)據(jù)交給網(wǎng)絡(luò)接口320。網(wǎng)絡(luò)接口320以顯示終端400a作為目的地，將該數(shù)據(jù)以與網(wǎng)絡(luò)4的形式兼容的形式發(fā)送到網(wǎng)絡(luò)4。顯示終端400a對所接收的數(shù)據(jù)進(jìn)行顯像，并將該數(shù)據(jù)作為VGA大小數(shù)據(jù)顯示在閱讀器401a上。
在圖7中，當(dāng)使用顯示終端400a的區(qū)域參數(shù)和壓縮參數(shù)Q＝Qa進(jìn)行的圖像壓縮處理結(jié)束，并且控制序列器70識(shí)別出已發(fā)出編碼數(shù)據(jù)JPEGa的傳送完成中斷時(shí)(圖7中的箭頭5a)，控制序列器70檢查下一個(gè)所請求的圖像處理的參數(shù)。然后，如圖7中所示，在CODEC 50的參數(shù)寄存器51中設(shè)置下一個(gè)請求的壓縮將使用的參數(shù)Q＝Qb(圖7中的箭頭2b)。
然后，當(dāng)從幀緩沖器10的緩沖器A讀取第n幀的圖像數(shù)據(jù)時(shí)，控制序列器70基于顯示終端400b的指定，指示圖像數(shù)據(jù)DMAC 20在圖像數(shù)據(jù)DMAC 20的傳送區(qū)域設(shè)置寄存器21中設(shè)置應(yīng)當(dāng)以哪個(gè)大小讀取哪一部分?jǐn)?shù)據(jù)，并開始為C0DEC 50提供該數(shù)據(jù)的傳送(圖7中的箭頭3b)。隨后的操作與為顯示終端400a所進(jìn)行的操作相似。
根據(jù)各個(gè)用戶所請求的不同參數(shù)(例如，圖像區(qū)域和Q值)，在一個(gè)影像周期內(nèi)多次重復(fù)該系列操作。在本實(shí)施例中，如圖5中所示，基于不同的切取位置、大小和壓縮參數(shù)的指定，在一個(gè)影像周期內(nèi)總共進(jìn)行8次參數(shù)設(shè)置和伴隨的壓縮處理。因此，可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)對多個(gè)區(qū)域進(jìn)行圖像壓縮處理，因此，在保持實(shí)時(shí)性的同時(shí)，可以為具有不同請求的網(wǎng)絡(luò)上的用戶提供多種服務(wù)。而且，可以通過指定任意位置和任意大小從一個(gè)高分辨率圖像生成多個(gè)部分區(qū)域圖像，并可以在一個(gè)影像周期內(nèi)使用所述多個(gè)部分區(qū)域圖像進(jìn)行圖像處理。
第三實(shí)施例在第一和第二實(shí)施例中，對處理與所拍攝的原始圖像的分辨率相同的圖像的情況進(jìn)行了說明。然而，還可能有這樣一種情況想要通過降低分辨率，在小屏幕顯示器上使用具有與所拍攝的原始圖像相同的視場角的影像。
將參照圖1和圖4以及圖8到圖11說明這樣的情況。在本實(shí)施例中也使用第一實(shí)施例中的圖1和圖4中的相同組件。在本實(shí)施例中，與第二實(shí)施例相似，假定圖1中的攝像單元2的傳感器220是全像素讀取系統(tǒng)CMOS傳感器，并且有效像素的數(shù)量是1600×1200的所謂UXGA大小。假定像素是正方形像素，并可以每1/30秒輸出與一幀相對應(yīng)的UXGA圖像。也就是說，假定本實(shí)施例中的一個(gè)影像周期為1/30秒(約33.3ms)。
圖8是示出分辨率轉(zhuǎn)換單元30位于圖像處理單元1中的情況下的結(jié)構(gòu)的圖。與第二實(shí)施例中的圖6相比，圖像數(shù)據(jù)DMAC 20與光柵/塊轉(zhuǎn)換存儲(chǔ)器40之間的數(shù)據(jù)路徑分支成兩個(gè)數(shù)據(jù)路徑，并且，分辨率轉(zhuǎn)換單元位于這兩個(gè)數(shù)據(jù)路徑中的一個(gè)上?？刂菩蛄衅?0根據(jù)需要切換數(shù)據(jù)路徑以通過分辨率轉(zhuǎn)換單元30提供數(shù)據(jù)。
圖9是示出本實(shí)施例中的圖像處理單元的操作的圖；圖10是示出本實(shí)施例中所請求的視場角和分辨率的圖。
如圖10所示，在本實(shí)施例中，假定請求以下數(shù)據(jù)通過將UXGA大小數(shù)據(jù)轉(zhuǎn)換成具有相同視場角的VGA大小圖像并壓縮該圖像所獲得的數(shù)據(jù)(數(shù)據(jù)a)、通過壓縮從UXGA大小原始數(shù)據(jù)切取的VGA大小圖像所獲得的數(shù)據(jù)(數(shù)據(jù)b和c)、以及通過直接壓縮UXGA大小圖像所獲得的數(shù)據(jù)(數(shù)據(jù)d)。這里，數(shù)據(jù)a到d分別對應(yīng)于來自圖4中的終端400a到400d的請求。
在圖8中，將從顯像單元230輸出的UXGA大小圖像數(shù)據(jù)以幀存儲(chǔ)在幀緩沖器10中。如圖9中所示，幀緩沖器10的內(nèi)部配置成雙緩沖器形式，第n幀和第(n+1)幀的圖像數(shù)據(jù)被存儲(chǔ)在不同區(qū)域(緩沖器A和B)。
現(xiàn)假定剛完成幀緩沖器10的緩沖器A中的第n幀的積累。然后發(fā)生從顯像單元230到控制序列器70的幀數(shù)據(jù)傳送完成中斷(圖9中的箭頭1)。
與第二實(shí)施例相似，響應(yīng)于該幀數(shù)據(jù)傳送完成中斷，控制序列器70首先在CODEC 50的參數(shù)寄存器51中設(shè)置用于指定CODEC處理單元應(yīng)當(dāng)進(jìn)行什么處理的參數(shù)(圖9中的箭頭2a)。在本實(shí)施例中，假定該CODEC進(jìn)行JPEG壓縮處理。在這種情況下，壓縮參數(shù)的典型例子是表示影像的壓縮度的Q值。假定此時(shí)設(shè)置顯示終端400a所請求的Q＝Qa。
然后，控制序列器70指示分辨率轉(zhuǎn)換單元30進(jìn)行將從圖像數(shù)據(jù)DMAC 20輸入的UXGA大小圖像數(shù)據(jù)轉(zhuǎn)換成VGA大小的分辨率轉(zhuǎn)換(未示出該定時(shí))。至于通過該分辨率轉(zhuǎn)換將獲得哪一大小，假定網(wǎng)絡(luò)上的顯示終端400a已經(jīng)利用圖8中的圖像與通信單元之間的控制信號(hào)71，向圖像處理單元1的控制序列器70做出了請求。
然后，控制序列器70指示圖像數(shù)據(jù)DMAC 20從幀緩沖器10的緩沖器A讀取第n幀圖像數(shù)據(jù)，并開始通過分辨率轉(zhuǎn)換單元30為CODEC 50提供該數(shù)據(jù)的傳送(圖9中的箭頭3a)。在本實(shí)施例中的此時(shí)，由于需要讀取所有UXGA數(shù)據(jù)并將該數(shù)據(jù)輸入分辨率轉(zhuǎn)換單元30，因而，在傳送區(qū)域設(shè)置寄存器21中設(shè)置區(qū)域參數(shù)以進(jìn)行這樣的輸入。盡管這在本實(shí)施例中沒有特別說明，但是在這種情況下，如果在傳送區(qū)域設(shè)置寄存器21中指定并設(shè)置了UXGA區(qū)域中的部分區(qū)域，則可以通過讀取該區(qū)域中的數(shù)據(jù)并將其送到分辨率轉(zhuǎn)換單元30來轉(zhuǎn)換與該部分區(qū)域相對應(yīng)的圖像的分辨率。
當(dāng)如上所述，通過圖像數(shù)據(jù)DMAC 20開始從幀緩沖器10到分辨率轉(zhuǎn)換單元30的數(shù)據(jù)傳送時(shí)，分辨率轉(zhuǎn)換單元30開始從UXGA到VGA的分辨率轉(zhuǎn)換(圖9中的箭頭4)。然后，分辨率已被轉(zhuǎn)換的圖像數(shù)據(jù)按照被轉(zhuǎn)換的順序，依次提供給光柵/塊轉(zhuǎn)換存儲(chǔ)器40。光柵/塊轉(zhuǎn)換存儲(chǔ)單元將該數(shù)據(jù)轉(zhuǎn)換成8×8塊，并將該塊提供給CODEC 50(圖9中箭頭5)。
CODEC 50根據(jù)設(shè)置在參數(shù)寄存器51中的參數(shù)值(Q＝Qa)，對從光柵/塊轉(zhuǎn)換存儲(chǔ)器40送來的圖像數(shù)據(jù)進(jìn)行JPEG壓縮以生成編碼數(shù)據(jù)。與其它VGA數(shù)據(jù)的編碼處理相比，需要更多的時(shí)間來編碼數(shù)據(jù)a。這是因?yàn)?，在本?shí)施例中，用于從幀緩沖器10讀取將被作為VGA數(shù)據(jù)的原始數(shù)據(jù)的UXGA數(shù)據(jù)并轉(zhuǎn)換分辨率以生成VGA數(shù)據(jù)的處理是決定整個(gè)處理速度的因素。
通過CODEC 50壓縮的編碼數(shù)據(jù)被順序移交給編碼數(shù)據(jù)DMAC 60，編碼數(shù)據(jù)DMAC 60以預(yù)定單位將該編碼數(shù)據(jù)傳送給數(shù)據(jù)緩沖器12。當(dāng)構(gòu)成該VGA數(shù)據(jù)的所有編碼數(shù)據(jù)的傳送完成時(shí)，控制序列器70發(fā)送編碼數(shù)據(jù)傳送完成中斷給通信單元3(圖9中的箭頭6a)。通過圖像與通信單元之間的控制信號(hào)71傳達(dá)該中斷通知。
在通信單元3，響應(yīng)于該編碼數(shù)據(jù)傳送完成中斷，網(wǎng)絡(luò)控制單元310從數(shù)據(jù)緩沖器12讀取該編碼數(shù)據(jù)，根據(jù)將該編碼數(shù)據(jù)發(fā)送到的網(wǎng)絡(luò)的形式進(jìn)行打包等處理，并將該數(shù)據(jù)交給網(wǎng)絡(luò)接口320。網(wǎng)絡(luò)接口320以顯示終端400a作為目的地，將該數(shù)據(jù)以與網(wǎng)絡(luò)4的形式兼容的形式發(fā)送到網(wǎng)絡(luò)4。顯示終端400a對所接收的數(shù)據(jù)進(jìn)行顯像，并將該數(shù)據(jù)作為VGA大小數(shù)據(jù)顯示在閱讀器401a上。
在圖9中，當(dāng)使用顯示終端400a的壓縮參數(shù)Q＝Qa進(jìn)行的分辨率轉(zhuǎn)換和圖像壓縮處理結(jié)束，并且控制序列器70識(shí)別出已發(fā)出編碼數(shù)據(jù)JPEG:VGA-a的傳送完成中斷時(shí)(圖9中的箭頭6a)，控制序列器70檢查下一個(gè)所請求的圖像處理的參數(shù)。然后，在此將Q＝Qb設(shè)置在CODEC 50的參數(shù)寄存器51中(圖9中的箭頭2b)。
然后，當(dāng)從幀緩沖器10的緩沖器A讀取第n幀的圖像數(shù)據(jù)時(shí)，控制序列器70指示圖像數(shù)據(jù)DMAC 20基于顯示終端400b的指定，在圖像數(shù)據(jù)DMAC 20的傳送區(qū)域設(shè)置寄存器21中，設(shè)置由圖10中的b所表示的VGA數(shù)據(jù)的開始坐標(biāo)和大小(VGA)所確定的傳送區(qū)域信息，然后開始用于為CODEC 50提供該數(shù)據(jù)的傳送(圖9中的箭頭3b)。隨后的操作與第二實(shí)施例中為顯示終端400a所進(jìn)行的處理相似，并且，為終端400c類似地進(jìn)行壓縮所切取的VGA圖像數(shù)據(jù)c的處理。
在圖9中，當(dāng)為顯示終端400c的圖像壓縮處理結(jié)束，且控制序列器70識(shí)別出已發(fā)出編碼數(shù)據(jù)JPEGc的傳送完成中斷時(shí)(圖9中的箭頭6c)，控制序列器70檢查下一個(gè)所請求的圖像處理的參數(shù)。這里，下一個(gè)所請求的操作是對未改變分辨率的UXGA大小圖像數(shù)據(jù)d進(jìn)行JPEG壓縮，并將其發(fā)送給終端400d。
然而，直接壓縮和發(fā)送UXGA圖像數(shù)據(jù)加重了整個(gè)系統(tǒng)尤其是CODEC處理的負(fù)荷。因此，在本實(shí)施例中，在一個(gè)影像周期內(nèi)僅處理UXGA圖像的一半，剩下的一半在下一個(gè)影像周期中處理。由位于通信單元3的網(wǎng)絡(luò)控制單元310中的處理性能判斷單元311預(yù)先進(jìn)行該判斷。如果該情況是可接受的，則通知顯示終端400d的用戶即將開始服務(wù)。假定請求該影像的顯示終端400d的用戶已接受了該情況。
該處理的過程與其它圖像的處理相似。也就是說，首先在CODEC 50的參數(shù)寄存器51中設(shè)置壓縮所使用的參數(shù)Q＝Qd(圖9中的箭頭2d)，然后將用以在傳送區(qū)域設(shè)置寄存器21中進(jìn)行設(shè)置并開始該圖像數(shù)據(jù)傳送的指示，發(fā)送給圖像數(shù)據(jù)DMAC 20(圖9中的箭頭3d)。然后，當(dāng)開始該圖像數(shù)據(jù)的傳送時(shí)(圖9中的箭頭8)，CODEC 50開始使用所指定的參數(shù)進(jìn)行JPEG壓縮。當(dāng)壓縮了該UXGA數(shù)據(jù)的一半并將其傳送給數(shù)據(jù)緩沖器12時(shí)，控制序列器70將編碼數(shù)據(jù)JPEGd的傳送完成中斷發(fā)送給數(shù)據(jù)緩沖器通信單元3(圖9的箭頭6d)。
通過如上所述，在完成與一個(gè)畫面(sheet)相對應(yīng)的數(shù)據(jù)之前終止處理一次并將該處理移交給通信單元3，可以在通信單元3側(cè)考慮了數(shù)據(jù)通信中的負(fù)荷的均衡化進(jìn)行傳送。
圖11是示出使用連續(xù)兩個(gè)影像周期對UXGA大小圖像進(jìn)行JPEG壓縮的情況下所進(jìn)行的操作的圖。
與影像周期[1]相對應(yīng)的內(nèi)容與圖9中所示的內(nèi)容相同。當(dāng)在影像周期[1]的后一半中對UXGA大小數(shù)據(jù)進(jìn)行一半JPEG壓縮時(shí)，需要在隨后的影像周期[2]中對UXGA大小數(shù)據(jù)進(jìn)行剩余的JPEG壓縮。在這種情況下，壓縮所使用的圖像數(shù)據(jù)是第n幀圖像數(shù)據(jù)，并且，第n幀圖像數(shù)據(jù)被存儲(chǔ)在構(gòu)成幀緩沖器10的雙緩沖器中的緩沖器A中。
在影像周期[2]中，緩沖器A基本上是輸入第(n+2)幀數(shù)據(jù)的區(qū)域，因此，需要在第(n+2)幀數(shù)據(jù)重寫第n幀數(shù)據(jù)前，對UXGA大小數(shù)據(jù)進(jìn)行剩余一半的JPEG壓縮。因此，與影像周期[1]不同，該壓縮處理位于影像周期[2]的開頭。通過以這樣的次序進(jìn)行該處理，移交數(shù)據(jù)給通信單元3被連續(xù)進(jìn)行，其處理更簡化。
在本實(shí)施例中，假定處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中。然而，與第一實(shí)施例相似，例如還可以將其配置在圖像處理單元1中，或作為整合在圖像處理單元1中的控制序列器70中的功能的一部分來實(shí)現(xiàn)。其位置不受本實(shí)施例的限制。如果處理性能判斷單元311被整合在控制序列器70中，則通過網(wǎng)絡(luò)控制單元310，由圖像與通信單元之間的控制信號(hào)71將各個(gè)終端請求的處理內(nèi)容傳達(dá)給控制序列器70。利用該信息做出以上判斷。然后，通過圖像與通信單元之間的控制信號(hào)71將是否可以提供該服務(wù)的判斷結(jié)果，傳達(dá)給網(wǎng)絡(luò)控制單元310，使得網(wǎng)絡(luò)控制單元310將該信息發(fā)送給各終端。
然而，與第一實(shí)施例相似，從通過如上所述僅進(jìn)行必要的數(shù)據(jù)傳輸以盡可能地減輕整個(gè)處理負(fù)荷的角度考慮，在本實(shí)施例中，處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中更為理想。
因此，可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)，對多個(gè)區(qū)域進(jìn)行圖像壓縮處理以及對具有多種分辨率的圖像進(jìn)行圖像壓縮處理。特別地，可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)為多個(gè)用戶，基于用戶的要求處理高分辨率影像，以獲得具有任意視場角和任意分辨率的圖像，例如，通過切取高分辨率拍攝圖像的任意區(qū)域并對其進(jìn)行分辨率轉(zhuǎn)換所獲得的圖像，以及未進(jìn)行分辨率轉(zhuǎn)換的部分切取圖像。
此外，本實(shí)施例使得可以利用多個(gè)影像周期處理高分辨率數(shù)據(jù)。特別地，在本實(shí)施例中，通過將UXGA大小數(shù)據(jù)的JPEG壓縮分配給兩個(gè)連續(xù)影像周期并控制處理順序使得該處理被連續(xù)進(jìn)行，來提供服務(wù)。因此，消除了對專門用于保持跨多個(gè)影像周期的高分辨率數(shù)據(jù)的幀緩沖器的需要，獲得節(jié)省存儲(chǔ)器大小的效果。
然而，分配處理順序的方法不是固定的，其可根據(jù)對用戶的服務(wù)策略而改變。例如，還可以先于其它處理在一個(gè)影像周期的開頭進(jìn)行該處理。
此外，當(dāng)需要跨多于兩個(gè)的周期進(jìn)行處理時(shí)，可以配置幀緩沖器以使得可以跨多個(gè)影像周期保持該幀數(shù)據(jù)，并且，保持該幀數(shù)據(jù)的方法不受本實(shí)施例的限制。
第四實(shí)施例在第三實(shí)施例中，由于轉(zhuǎn)換分辨率后的圖像是直接順序壓縮的，因而它們僅可被使用一次。然而，可能作出以不同的壓縮參數(shù)壓縮通過對原始圖像進(jìn)行相同的分辨率轉(zhuǎn)換所獲得的圖像的請求。在這種情況下，作為一種方法，可能要進(jìn)行兩次相同的分辨率轉(zhuǎn)換。然而，特別當(dāng)原始數(shù)據(jù)的圖像分辨率高時(shí)，從幀緩沖器讀取原始圖像并對其進(jìn)行分辨率轉(zhuǎn)換需要長的時(shí)間，并且，降低了在一個(gè)影像周期內(nèi)進(jìn)行的處理的性能。
為了避免此種情況，如果在隨后的處理中要求相同的分辨率轉(zhuǎn)換處理，或如果使用分辨率轉(zhuǎn)換后的圖像進(jìn)一步進(jìn)行分辨率轉(zhuǎn)換處理是有效的，則可以考慮將分辨率轉(zhuǎn)換后的圖像發(fā)送給CODEC的處理，同時(shí)，將該圖像臨時(shí)積累在幀緩沖器中一次以在隨后的處理中使用。將參照圖1和圖4以及圖12到圖14對這種情況進(jìn)行說明。
在本實(shí)施例中也使用第一實(shí)施例中的圖1和圖4中的相同組件。在本實(shí)施例中，與第二實(shí)施例相似，假定圖1中的攝像單元2的傳感器220是全像素讀取系統(tǒng)CMOS傳感器，并且其有效像素的數(shù)量是1600×1200的所謂UXGA大小。假定像素是正方形像素，并且可以每1/30秒輸出與一幀相對應(yīng)的UXGA圖像。也就是說，假定本實(shí)施例中的一個(gè)影像周期為1/30秒(約33.3ms)。
圖12示出用于臨時(shí)積累通過分辨率轉(zhuǎn)換單元30處理的數(shù)據(jù)的幀緩沖器(2)13位于圖像處理單元1中的情況下的配置。與第三實(shí)施例中圖8相比，添加了幀緩沖器(2)13作為功能塊，并添加了來自分辨率轉(zhuǎn)換單元30的數(shù)據(jù)路徑和到圖像數(shù)據(jù)DMAC 20的數(shù)據(jù)路徑。
與幀緩沖器10、圖像處理存儲(chǔ)器11和數(shù)據(jù)緩沖器12相似，當(dāng)在一個(gè)IC中實(shí)現(xiàn)圖像處理單元的其它組件時(shí)，可以在同一IC上配置該幀緩沖器(2)13作為片上存儲(chǔ)器，或可以作為在該IC外部與該IC連接的存儲(chǔ)裝置(例如，作為SDR或DDR的SDRAM)實(shí)現(xiàn)該幀緩沖器(2)13。而且，存儲(chǔ)器的各種結(jié)構(gòu)也都是可以的，例如，以獨(dú)立的存儲(chǔ)裝置配置存儲(chǔ)器中的每一個(gè)，或?qū)⑺鼈兣渲迷谕淮鎯?chǔ)裝置上。
圖13是示出本實(shí)施例中圖像處理單元的操作的圖，圖14是示出本實(shí)施例中所請求的視場角和分辨率的圖。如圖14所示，在本實(shí)施例中，假定請求以下數(shù)據(jù)通過以不同的兩種壓縮參數(shù)對已經(jīng)從UXGA大小數(shù)據(jù)轉(zhuǎn)換成具有相同視場角VGA大小數(shù)據(jù)的圖像進(jìn)行壓縮所獲得的數(shù)據(jù)(數(shù)據(jù)a和b)、具有相同視場角的QVGA大小圖像(數(shù)據(jù)d)、通過壓縮從UXGA大小原始數(shù)據(jù)切取的VGA大小圖像所獲得的數(shù)據(jù)(數(shù)據(jù)c)、以及通過直接壓縮UXGA大小圖像所獲得的數(shù)據(jù)(數(shù)據(jù)e)。這里，數(shù)據(jù)a到e分別對應(yīng)于來自圖4中的終端400a到400e的請求。
在圖13中，從圖像處理流程的開始到中間與第三實(shí)施例中的圖9中的圖像處理流程相同。不同點(diǎn)在于，當(dāng)分辨率轉(zhuǎn)換單元30開始從UXGA到VGA的分辨率轉(zhuǎn)換時(shí)(圖13中的箭頭4a)，將分辨率轉(zhuǎn)換后的圖像數(shù)據(jù)順序提供給光柵/塊轉(zhuǎn)換存儲(chǔ)器40，并且，同時(shí)，將它們傳送給幀緩沖器(2)13以開始VGA圖像的積累(圖13中的箭頭9)。至于對是否在幀緩沖器(2)13中積累分辨率轉(zhuǎn)換后的圖像的判斷，假定已經(jīng)基于來自該網(wǎng)絡(luò)上的各顯示終端的請求，利用圖像與通信單元之間的控制信號(hào)71，通過網(wǎng)絡(luò)控制單元310，預(yù)先對圖像處理單元1的控制序列器70為此進(jìn)行了設(shè)置。
CODEC 50根據(jù)設(shè)置在參數(shù)寄存器51中的參數(shù)值(Q＝Qa)，對來自光柵/塊轉(zhuǎn)換存儲(chǔ)器40的圖像數(shù)據(jù)進(jìn)行JPEG壓縮(圖13中的箭頭5a)，以生成編碼數(shù)據(jù)JPEG:VGA-a，并且，編碼數(shù)據(jù)DMAC60將該數(shù)據(jù)順序傳送給數(shù)據(jù)緩沖器12。然后，當(dāng)完成所有編碼數(shù)據(jù)的傳送時(shí)，控制序列器70將編碼數(shù)據(jù)傳送完成中斷發(fā)送給數(shù)據(jù)緩沖器通信單元3(圖13中的箭頭6a)。通過圖像與通信單元之間的控制信號(hào)71傳達(dá)該中斷通知。通過通信單元3將該圖像發(fā)送給終端400a。
然后，控制序列器70檢查下一個(gè)請求的圖像處理的參數(shù)、視場角和分辨率。然后，在CODEC 50的參數(shù)寄存器51中設(shè)置下一個(gè)請求的壓縮將使用的參數(shù)Q＝Qb(圖13中的箭頭2b)。
然后，控制序列器70指示圖像數(shù)據(jù)DMAC 20在傳送區(qū)域設(shè)置寄存器21中將幀緩沖器(2)13設(shè)置為數(shù)據(jù)傳送源，并開始用于為CODEC 50提供該數(shù)據(jù)的傳送(圖13中的箭頭3a)，以利用已被分辨率轉(zhuǎn)換成VGA數(shù)據(jù)的數(shù)據(jù)，進(jìn)行圖像壓縮處理。在通過光柵/塊轉(zhuǎn)換存儲(chǔ)器40將VGA數(shù)據(jù)分塊之后，圖像數(shù)據(jù)DMAC 20從幀緩沖器(2)13讀取該VGA數(shù)據(jù)，并將其提供給CODEC 50。CODEC50利用所設(shè)置的參數(shù)Qb進(jìn)行壓縮處理。
然后，在對VGA大小切取圖像進(jìn)行壓縮之后，請求對與原始UXGA圖像相同視場角的QVGA大小圖像數(shù)據(jù)(數(shù)據(jù)d)進(jìn)行處理。由于具有相同視場角的VGA圖像已被積累在幀緩沖器(2)13中，因而，通過使用所積累的VGA圖像進(jìn)行分辨率轉(zhuǎn)換，可以容易地生成所請求的QVGA圖像。
控制序列器70首先指示分辨率轉(zhuǎn)換單元30進(jìn)行VGA到QVGA轉(zhuǎn)換(未示出該定時(shí))。然后，控制序列器70指示圖像數(shù)據(jù)DMAC20在傳送區(qū)域設(shè)置寄存器21中將幀緩沖器(2)13設(shè)置為數(shù)據(jù)傳送源，并開始用于為CODEC 50提供該數(shù)據(jù)的傳送(圖13中的箭頭3d)，從而利用已被分辨率轉(zhuǎn)換成VGA數(shù)據(jù)的數(shù)據(jù)，進(jìn)行圖像分辨率轉(zhuǎn)換。
圖像數(shù)據(jù)DMAC 20從幀緩沖器(2)13讀取VGA數(shù)據(jù)，并將其提供給分辨率轉(zhuǎn)換單元30。通過光柵/塊轉(zhuǎn)換存儲(chǔ)器40將由分辨率轉(zhuǎn)換單元30從VGA轉(zhuǎn)換成QVGA的圖像數(shù)據(jù)分塊，并將其提供給CODEC 50(圖13中的箭頭5d)。CODEC 50利用所設(shè)置的參數(shù)Qd進(jìn)行壓縮處理。由于隨后的流程與第三實(shí)施例中的相似，因而省略對其的說明。
另外，在本實(shí)施例中，假定處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中。然而，與第一實(shí)施例相似，例如，還可以將其配置在圖像處理單元1中，或作為整合在圖像處理單元1的控制序列器70中的功能的一部分來實(shí)現(xiàn)。其位置不受本實(shí)施例的限制。然而，與第一實(shí)施例相似，從通過如上所述僅進(jìn)行必要的數(shù)據(jù)傳輸以盡可能地減輕整個(gè)處理負(fù)荷的角度考慮，在本實(shí)施例中，處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中更為理想。
因此，除第三實(shí)施例的效果外，可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)對多個(gè)區(qū)域有效地進(jìn)行圖像壓縮處理。特別地，通過使得可以與在幀緩沖器中積累分辨率轉(zhuǎn)換后的圖像并行地在CODEC使用該圖像，在多個(gè)顯示終端請求具有相同的視場角的圖像分辨率轉(zhuǎn)換處理的情況下，消除了重復(fù)進(jìn)行相同的分辨率轉(zhuǎn)換或基于過分詳細(xì)的數(shù)據(jù)進(jìn)行壓縮的必要。從而可以提高一個(gè)影像周期內(nèi)的處理性能，并可以進(jìn)行響應(yīng)于來自更多用戶的不同請求的處理。
第五實(shí)施例在第四實(shí)施例中，從UXGA圖像生成VGA圖像，并將生成的VGA圖像移交給光柵/塊轉(zhuǎn)換存儲(chǔ)器40用于CODEC處理，同時(shí)，將其另外積累在幀緩沖器(2)中。關(guān)于這種情況下的處理流程，在時(shí)間上順序進(jìn)行分辨率轉(zhuǎn)換、分塊和CODEC處理。然而，在同一影像周期內(nèi)要求對UXGA圖像、和通過進(jìn)行將UXGA圖像轉(zhuǎn)換成具有相同視場角的VGA大小的分辨率轉(zhuǎn)換所獲得的兩個(gè)圖像，進(jìn)行數(shù)據(jù)處理的情況下，在對UXGA圖像進(jìn)行壓縮后，為了分辨率轉(zhuǎn)換再次從幀緩沖器讀取UXGA數(shù)據(jù)意味著重復(fù)從幀緩沖器讀取UXGA圖像數(shù)據(jù)，這嚴(yán)重降低了效率。
可以考慮，在同一影像周期內(nèi)，當(dāng)要求對具有某一視場角的影像進(jìn)行CODEC處理，且需要對通過對具有相同視場角的影像進(jìn)行分辨率轉(zhuǎn)換所獲得的圖像進(jìn)行CODEC處理時(shí)，在僅從幀緩沖器讀取該數(shù)據(jù)一次的同時(shí)，可以通過在時(shí)間上并行進(jìn)行分辨率處理和CODEC處理既進(jìn)行CODEC處理又進(jìn)行分辨率轉(zhuǎn)換處理。在本實(shí)施例，將利用圖1、4和12以及圖15到20說明這種情況。
在本實(shí)施例中同樣使用第一實(shí)施例中的圖1和4中的相同組件。用于第四實(shí)施例的圖12也用于此。在本實(shí)施例中，與第二實(shí)施例相似，假定圖1中的攝像單元2的傳感器220是全像素讀取系統(tǒng)CMOS傳感器，并且有效像素的數(shù)量是1600×1200的所謂UXGA大小。假定像素是正方形像素，并且可以每1/30秒輸出與一幀相對應(yīng)的UXGA圖像。也就是說，假定本實(shí)施例中的一個(gè)影像周期是1/30秒(約33.3ms)。由于圖12中的組成模塊的說明與第四實(shí)施例的相同，因而省略對其的詳細(xì)說明。
圖15是示出本實(shí)施例中的圖像處理單元的操作的圖，而圖16是示出本實(shí)施例中所請求的視場角和分辨率的圖。
如圖16所示，在本實(shí)施例中，請求如下數(shù)據(jù)通過壓縮UXGA大小圖像數(shù)據(jù)所獲得的數(shù)據(jù)(數(shù)據(jù)a)、通過壓縮被轉(zhuǎn)換成VGA大小并具有與UXGA大小圖像相同的視場角的圖像所獲得的數(shù)據(jù)(數(shù)據(jù)b)、具有與數(shù)據(jù)b相同的視場角的QVGA大小圖像(數(shù)據(jù)c)、以及通過壓縮從UXGA大小原始數(shù)據(jù)切取的VGA大小圖像所獲得的數(shù)據(jù)(數(shù)據(jù)d)。這里，數(shù)據(jù)a到d分別對應(yīng)于來自圖4中的終端400a到400d的請求。
處理性能判斷單元311判斷哪里存在重復(fù)的視場角或可以被并行操作的此類部分；以使得圖像處理單元1發(fā)揮其最大性能的形式確定圖像處理單元1的操作序列；并使用圖像與通信單元之間的控制信號(hào)71指示控制序列器70進(jìn)行操作。以下將說明圖像處理單元1的該操作。
在圖12中，將從顯像單元230輸出的UXGA大小圖像數(shù)據(jù)以幀存儲(chǔ)在幀緩沖器10中。如圖15中所示，幀緩沖器10的內(nèi)部配置成雙緩沖器形式，將第n幀和第(n+1)幀的圖像數(shù)據(jù)存儲(chǔ)在不同區(qū)域(緩沖器A和B)。
假定剛剛完成幀緩沖器10的緩沖器A中的第n幀的數(shù)據(jù)的積累。然后，發(fā)生從顯像單元230到控制序列器70的幀數(shù)據(jù)傳送完成中斷(圖15中的箭頭1)。
響應(yīng)于該幀數(shù)據(jù)傳送完成中斷，控制序列器70首先在CODEC50的參數(shù)寄存器51中設(shè)置用于指定CODEC處理單元應(yīng)當(dāng)進(jìn)行什么處理的參數(shù)(圖15中的箭頭2a)。在本實(shí)施例中，假定該CODEC進(jìn)行JPEG壓縮處理。在這種情況下，壓縮參數(shù)的典型例子是表示影像的壓縮度的Q值。假定此時(shí)設(shè)置顯示終端400a所請求的Q＝Qa。
然后，控制序列器70指示分辨率轉(zhuǎn)換單元30對從圖像數(shù)據(jù)DMAC 20輸入的UXGA大小圖像數(shù)據(jù)進(jìn)行分辨率轉(zhuǎn)換，以轉(zhuǎn)換成VGA大小。這樣做是為了使用為壓縮數(shù)據(jù)a所讀取的UXGA數(shù)據(jù)，同時(shí)對數(shù)據(jù)b進(jìn)行分辨率轉(zhuǎn)換(未示出該定時(shí))。在本實(shí)施例中，需要相互并行進(jìn)行圖像壓縮處理和分辨率轉(zhuǎn)換處理。至于該操作的并行處理的必要性，假定基于來自該網(wǎng)絡(luò)上的各顯示終端的請求，利用圖像與通信單元之間的控制信號(hào)71，已通過網(wǎng)絡(luò)控制單元310預(yù)先對圖像處理單元1的控制序列器70進(jìn)行了設(shè)置。
然后，控制序列器70指示圖像數(shù)據(jù)DMAC 20從幀緩沖器10的緩沖器A讀取第n幀的圖像數(shù)據(jù)，并開始用于提供該數(shù)據(jù)的傳送(圖15中的箭頭3a)。在本實(shí)施例中，需要并行為分辨率轉(zhuǎn)換單元30和光柵/塊轉(zhuǎn)換存儲(chǔ)器40提供從幀緩沖器10讀取的數(shù)據(jù)，并在傳送區(qū)域設(shè)置寄存器21中設(shè)置參數(shù)，使其得以實(shí)現(xiàn)。
將參照圖17和18詳細(xì)說明圖像數(shù)據(jù)DMAC 20的操作。
這里，假定以YUV422形式輸入該圖像數(shù)據(jù)，并且以類似U0Y0V0Y1U1Y2V1Y3...的順序?qū)⒃摂?shù)據(jù)存儲(chǔ)在幀緩沖器10上。數(shù)據(jù)Y、U和V中每一個(gè)均為8位數(shù)據(jù)。在圖17中，圖像數(shù)據(jù)DMAC從幀緩沖器10以64位數(shù)據(jù)讀取該數(shù)據(jù)，并將該數(shù)據(jù)存儲(chǔ)在64位FIFO寄存器22中。
在64位FIFO寄存器22中，以8字節(jié)數(shù)據(jù)形式存儲(chǔ)數(shù)據(jù)。在64位FIFO寄存器22的讀取側(cè)，具有兩個(gè)輸出目的地系統(tǒng)。一個(gè)是光柵/塊轉(zhuǎn)換存儲(chǔ)器40，其每個(gè)時(shí)鐘可以讀取8字節(jié)寬的數(shù)據(jù)。另一個(gè)是分辨率轉(zhuǎn)換單元30，其以各樣本單位(8位)接收Y、U和V數(shù)據(jù)。
圖18是示出64位FIFO寄存器22與作為數(shù)據(jù)輸出目的地的光柵/塊轉(zhuǎn)換存儲(chǔ)器40和分辨率轉(zhuǎn)換單元30之間的數(shù)據(jù)交換的圖。
64位FIFO寄存器22主要用于在rclk1的上升沿以64位數(shù)據(jù)寬度在FIFO讀取端口24讀取新數(shù)據(jù)。例如，在圖18中的定時(shí)[1]和[4]，在FIFO讀取端口24進(jìn)行利用新值的更新。
當(dāng)更新了FIFO讀取端口的值時(shí)，光柵/塊轉(zhuǎn)換存儲(chǔ)器40在wclk1的上升沿將數(shù)據(jù)獲取到其內(nèi)部。這里，在圖18的定時(shí)[2]和[5]，讀取該數(shù)據(jù)。
同時(shí)，分辨率轉(zhuǎn)換單元30需要以各樣本單位(以組成Y、U和V中的任何一個(gè)的8位寬度數(shù)據(jù))接收數(shù)據(jù)。這里，假定圖17和18中的FIFO讀取端口24中用斜線表示的單元為到分辨率轉(zhuǎn)換單元30的輸出端口。分辨率轉(zhuǎn)換單元30在srclk的每個(gè)上升沿以8位為單位從該端口讀取圖像數(shù)據(jù)。
例如，在[2]的上升沿讀取U0，在[3]的上升沿讀取Y0。同時(shí)，在FIFO讀取端口，對每一srclk將數(shù)據(jù)向下移8位以更新數(shù)據(jù)，用于為下一次讀取做準(zhǔn)備。srclk、rclk1和wclk1的定時(shí)之間的關(guān)系如圖18所示。因此，通過進(jìn)行一次從幀緩沖器的讀取，就能夠進(jìn)行光柵/塊轉(zhuǎn)換處理、CODEC處理和分辨率轉(zhuǎn)換處理。
srclk、rclk1和wclk1是受如圖17所示的圖像數(shù)據(jù)DMAC 20中的時(shí)鐘控制單元23控制的信號(hào)。在本實(shí)施例中，響應(yīng)于控制序列器70對在哪一時(shí)鐘定時(shí)操作每一時(shí)鐘效率最高的指定，在保持圖18中所示的相位關(guān)系的同時(shí)，時(shí)鐘控制單元控制64位FIFO寄存器22與作為來自64位FIFO寄存器22的數(shù)據(jù)的輸出目的地的光柵/塊轉(zhuǎn)換存儲(chǔ)器40和分辨率轉(zhuǎn)換單元30之間的數(shù)據(jù)交換。
當(dāng)如上所述通過圖像數(shù)據(jù)DMAC 20將該數(shù)據(jù)從幀緩沖器10傳送到光柵/塊轉(zhuǎn)換存儲(chǔ)器40時(shí)，光柵/塊轉(zhuǎn)換存儲(chǔ)單元將該數(shù)據(jù)轉(zhuǎn)換成8×8塊，并將該塊提供給CODEC 50，該CODEC開始?jí)嚎s處理(圖15中的箭頭4a)。
圖19是示出光柵/塊轉(zhuǎn)換存儲(chǔ)器40的結(jié)構(gòu)的圖。
首先，與wclk1信號(hào)同步，將來自圖像數(shù)據(jù)DMAC 20的64位FIFO寄存器22的讀取端口24的光柵格式的圖像數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)接收單元41中。將通過該數(shù)據(jù)接收單元分成Y、U和V信號(hào)的數(shù)據(jù)分別發(fā)送給信號(hào)選擇器42、43和44。
在每個(gè)信號(hào)選擇器的內(nèi)部，連接所分開的數(shù)據(jù)以形成塊的水平方向單位(8個(gè)樣本)。當(dāng)積累了與8個(gè)樣本相對應(yīng)的數(shù)據(jù)時(shí)，將該數(shù)據(jù)發(fā)送給各選擇器的光柵/塊轉(zhuǎn)換線存儲(chǔ)器。將線存儲(chǔ)器配置為雙緩沖器，即，Y0光柵/塊轉(zhuǎn)換線存儲(chǔ)器45-1和Y1光柵/塊轉(zhuǎn)換線存儲(chǔ)器45-2、U0光柵/塊轉(zhuǎn)換線存儲(chǔ)器46-1和U1光柵/塊轉(zhuǎn)換線存儲(chǔ)器46-2、以及V0光柵/塊轉(zhuǎn)換線存儲(chǔ)器47-1和V1光柵/塊轉(zhuǎn)換線存儲(chǔ)器47-2。每個(gè)線存儲(chǔ)器由8個(gè)線配置而成，其中，每個(gè)線對應(yīng)于64位寬存儲(chǔ)器。
當(dāng)將數(shù)據(jù)傳送給CODEC 50時(shí)，在各線存儲(chǔ)器Y、U和V中的一個(gè)存儲(chǔ)器的所有8個(gè)線都填充有數(shù)據(jù)的階段，從右沿順序讀取該數(shù)據(jù)。在這種情況下，與一列相對應(yīng)的各線的右沿的數(shù)據(jù)，首先被讀取給宏塊傳送緩沖器48。這意味著在該階段準(zhǔn)備了與由水平方向8個(gè)樣本和垂直方向8個(gè)線組成的一個(gè)塊相對應(yīng)的數(shù)據(jù)，即，總共64個(gè)樣本。然后，以兩個(gè)Y信號(hào)塊、一個(gè)U信號(hào)塊、以及一個(gè)V信號(hào)塊的順序重復(fù)讀取，并將該數(shù)據(jù)傳送給CODEC 50。即使當(dāng)正在進(jìn)行讀取到CODEC 50時(shí)，由于雙緩沖器配置，可能在不從其進(jìn)行讀取的每個(gè)線存儲(chǔ)器中填充數(shù)據(jù)。在CODEC開始?jí)嚎s處理的同時(shí)，分辨率轉(zhuǎn)換單元開始分辨率轉(zhuǎn)換處理(圖15中的箭頭5a)。
圖20是示出分辨率轉(zhuǎn)換單元30的結(jié)構(gòu)的圖。
以類似U0Y0V0Y1U1Y2V1Y3...的順序根據(jù)srclk將8位寬Y、U和V信號(hào)輸入分辨率轉(zhuǎn)換單元30。接收這些信號(hào)，選擇器34將這些信號(hào)分類成Y信號(hào)和U/V信號(hào)。然后，分別將Y信號(hào)和U/V信號(hào)輸入Y信號(hào)線緩沖器36和U/V信號(hào)線緩沖器31。在每一線緩沖器中，數(shù)據(jù)被每個(gè)時(shí)鐘移動(dòng)8位(對應(yīng)于一個(gè)樣本)。
對于U/V信號(hào)，當(dāng)將該數(shù)據(jù)移位到位于用于輸入到水平轉(zhuǎn)換單元中的位置的寄存器的位置時(shí)的某一定時(shí)，將數(shù)據(jù)U0U1U2...(將使用的樣本的數(shù)量根據(jù)所要求的分辨率轉(zhuǎn)換而改變，以下相同)應(yīng)用于U/V水平方向轉(zhuǎn)換單元32，并將操作結(jié)果存儲(chǔ)在U信號(hào)緩沖器33-1中。在下一個(gè)定時(shí)，由于寄存器移位了1位，因而將數(shù)據(jù)V0V1V2...應(yīng)用于U/V水平方向轉(zhuǎn)換單元32，并將操作結(jié)果存儲(chǔ)在V信號(hào)緩沖器33-2中。接著，對數(shù)據(jù)U1U2U3...進(jìn)行相似的操作。因此，交替地處理U和V數(shù)據(jù)。
對于Y信號(hào)，在某一定時(shí)將數(shù)據(jù)Y0Y1Y2Y3...應(yīng)用于Y水平方向轉(zhuǎn)換單元37，并將操作結(jié)果存儲(chǔ)在Y信號(hào)緩沖器38中。在下一個(gè)定時(shí)，處理Y1Y2Y3Y4...數(shù)據(jù)。因此，在處理與一個(gè)像素相對應(yīng)的每一個(gè)U和V數(shù)據(jù)時(shí)，對與兩個(gè)像素相對應(yīng)的Y數(shù)據(jù)執(zhí)行處理。通過如上所述對U/V和Y信號(hào)進(jìn)行并行處理，可以與信號(hào)的定時(shí)同步，對YUV422格式的數(shù)據(jù)進(jìn)行分辨率轉(zhuǎn)換。
此后，當(dāng)將已對其進(jìn)行了水平方向分辨率轉(zhuǎn)換處理的數(shù)據(jù)積累在垂直方向U信號(hào)緩沖器33-1、V信號(hào)緩沖器33-2和Y信號(hào)緩沖器38中時(shí)，將該數(shù)據(jù)應(yīng)用于垂直方向分辨率轉(zhuǎn)換器以對其進(jìn)行垂直方向分辨率轉(zhuǎn)換。U/V垂直方向轉(zhuǎn)換單元35交替處理U和V數(shù)據(jù)。與水平方向的情況相似，在U/V垂直方向轉(zhuǎn)換單元35對與一個(gè)像素相對應(yīng)的每一個(gè)U和V數(shù)據(jù)進(jìn)行處理時(shí)，Y垂直方向轉(zhuǎn)換單元39對與兩個(gè)像素相對應(yīng)的Y數(shù)據(jù)執(zhí)行處理。
然后，在本實(shí)施例中，將已以這種方式進(jìn)行了分辨率轉(zhuǎn)換的圖像數(shù)據(jù)發(fā)送給幀緩沖器(2)13，并等待下一個(gè)壓縮處理。如果積累了分辨率轉(zhuǎn)換后的數(shù)據(jù)，同時(shí)將其用于如第四實(shí)施例中所示的壓縮處理，則處理后的數(shù)據(jù)還被輸出給光柵/塊轉(zhuǎn)換存儲(chǔ)器40。
回到圖15，如上所述并行進(jìn)行光柵/塊轉(zhuǎn)換、CODEC處理和分辨率轉(zhuǎn)換處理。所生成的VGA數(shù)據(jù)被積累在幀緩沖器(2)13中，并等待開始使用該VGA數(shù)據(jù)的處理。同時(shí)，CODEC 50根據(jù)設(shè)置在參數(shù)寄存器51中的參數(shù)值(Q＝Qa)，對來自光柵/塊轉(zhuǎn)換存儲(chǔ)器40的圖像數(shù)據(jù)進(jìn)行JPEG壓縮，并且，將壓縮后的編碼數(shù)據(jù)JPEGa順序移交給編碼數(shù)據(jù)DMAC 60。編碼數(shù)據(jù)DMAC 60將該編碼數(shù)據(jù)以預(yù)定單位傳送給數(shù)據(jù)緩沖器12。
然后，當(dāng)完成了所有編碼數(shù)據(jù)的傳送時(shí)，控制序列器70發(fā)送編碼數(shù)據(jù)傳送完成中斷給通信單元3(圖15中的箭頭6a)。通過圖像與通信單元之間的控制信號(hào)71傳達(dá)該中斷通知。響應(yīng)于該中斷，通信單元3將JPEGa數(shù)據(jù)發(fā)送給顯示終端400a。
當(dāng)對UXGA數(shù)據(jù)的圖像壓縮結(jié)束時(shí)，開始使用先前已被分辨率轉(zhuǎn)換并被積累在幀緩沖器(2)13中的VGA大小圖像數(shù)據(jù)的處理。圖像數(shù)據(jù)DMAC 20從幀緩沖器(2)13讀取VGA大小圖像數(shù)據(jù)，并開始處理(圖15中的箭頭3b)。此時(shí)，還利用該VGA數(shù)據(jù)并行進(jìn)行CODEC 50中的處理和由分辨率轉(zhuǎn)換單元30進(jìn)行的從VGA到QVGA數(shù)據(jù)的分辨率轉(zhuǎn)換處理(圖15中的箭頭4b和5b)。由分辨率轉(zhuǎn)換單元30生成的QVGA數(shù)據(jù)被積累在幀緩沖器(2)13中，并被用于下一個(gè)壓縮處理。由于隨后的處理與前面所述的部分的操作相似，因而省略對其的說明。
在本實(shí)施例中，假定處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中。然而，與第一實(shí)施例相似，例如，還可以將其配置在圖像處理單元1中，或作為整合在圖像處理單元1的控制序列器70中的功能的一部分來實(shí)現(xiàn)。其位置不受本實(shí)施例的限制。然而，與第一實(shí)施例相似，從通過如上所述僅進(jìn)行必要的數(shù)據(jù)傳輸以盡可能地減少整個(gè)處理的負(fù)荷的角度考慮，如本實(shí)施例中，處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中更為理想。
因此，除第四實(shí)施例的效果外，可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)對多個(gè)區(qū)域高效地進(jìn)行圖像壓縮處理。特別地，通過并行使用從編碼處理單元中的幀緩沖器和分辨率轉(zhuǎn)換單元讀取的影像，當(dāng)在同一影像周期中，多個(gè)顯示終端請求處理具有相同視場角和不同分辨率的圖像時(shí)，可以減少分辨率轉(zhuǎn)換前讀取原始數(shù)據(jù)的次數(shù)。因此，可以高效利用存儲(chǔ)器和總線的帶寬性能，并且，當(dāng)在一個(gè)影像周期內(nèi)處理多個(gè)圖像時(shí)，可以提高處理性能。結(jié)果，可以進(jìn)行與來自更多用戶的不同請求相對應(yīng)的處理。
第六實(shí)施例在第三實(shí)施例中，在一個(gè)影像周期內(nèi)，對具有UXGA大小的一半大小的圖像、具有與UXGA圖像相同的視場角的已通過分辨率轉(zhuǎn)換被轉(zhuǎn)換成VGA分辨率的圖像、以及從UXGA大小圖像切取的兩種類型的VGA大小圖像，進(jìn)行處理。在第三實(shí)施例中未假定分辨率轉(zhuǎn)換單元和CODEC并行操作。然而，如在第五實(shí)施例中所示，通過在分辨率轉(zhuǎn)換單元和CODEC可以并行操作的情況下，進(jìn)一步添加用于分開多次進(jìn)行分辨率轉(zhuǎn)換的功能，以及通過在連續(xù)進(jìn)行對部分圖像的處理的情況下添加用于跨多個(gè)影像周期進(jìn)行處理的功能，可以進(jìn)一步增強(qiáng)處理能力。
將利用圖1、4和12以及圖21到23A和23B說明這種情況。
在本實(shí)施例中同樣使用第一實(shí)施例中的圖1和4中的相同組件。在本實(shí)施例中還使用第四實(shí)施例中的圖12中的相同組件。在本實(shí)施例中，與第二實(shí)施例相似，假定圖1中的攝像單元2的傳感器是全像素讀取系統(tǒng)CMOS傳感器，并假定有效像素的數(shù)量是1600×1200的所謂UXGA大小。假定像素是正方形像素，并且可以每1/30秒輸出與一幀相對應(yīng)的UXGA圖像。也就是說，假定本實(shí)施例中的一個(gè)影像周期為1/30秒(約33.3ms)。
圖21是示出本實(shí)施例中所請求的視場角和分辨率的圖。
所請求的圖像基本上與第三實(shí)施例中的圖像(圖10)相同。由于在本實(shí)施例中增強(qiáng)了處理性能，因而處理性能判斷單元311新添加了從UXGA大小原始數(shù)據(jù)切取的VGA大小圖像數(shù)據(jù)e作為處理目標(biāo)。與其它圖像相比，假定要求以一半幀速率處理通過直接壓縮UXGA大小圖像所獲得的數(shù)據(jù)(數(shù)據(jù)d)。這里，數(shù)據(jù)a到e分別對應(yīng)于來自圖4中的終端400a到400e的請求。
圖22示出該處理流程。在本實(shí)施例中，當(dāng)請求對具有相同視場角和不同分辨率的圖像的處理時(shí)，處理性能判斷單元311檢查是否存在可以通過利用從幀緩沖器讀取一次來并行進(jìn)行CODEC處理和分辨率轉(zhuǎn)換處理的任何部分。如果存在可以并行進(jìn)行該處理的任何部分，則處理性能判斷單元311檢查可以并行進(jìn)行處理的該部分是否是部分圖像。
例如，如在本實(shí)施例中那樣，當(dāng)請求在第一個(gè)影像周期中進(jìn)行對1/2UXGA大小圖像數(shù)據(jù)(數(shù)據(jù)d)的壓縮和通過進(jìn)行從UXGA大小原始數(shù)據(jù)的圖像到VGA大小圖像的分辨率轉(zhuǎn)換所獲得的圖像(數(shù)據(jù)a)的壓縮時(shí)，可以使用壓縮1/2UXGA大小圖像數(shù)據(jù)時(shí)從幀緩沖器讀取的圖像數(shù)據(jù)，以與該壓縮并行進(jìn)行UXGA到VGA分辨率轉(zhuǎn)換的前一半。在這種情況下，處理性能判斷單元311指示控制序列器70并行執(zhí)行可以并行進(jìn)行的部分，并基于該結(jié)果完成剩余的處理。
以下將對序列控制器70如何控制圖像處理單元1的各組件以根據(jù)指示的內(nèi)容執(zhí)行處理進(jìn)行說明。
基本處理流程幾乎與第五實(shí)施例的處理流程相同。然而，這次，首先壓縮的圖像是具有UXGA大小的一半大小的圖像。并且，與該處理并行地在隨后的處理所要求的UXGA到VGA圖像分辨率轉(zhuǎn)換中，進(jìn)行與可通過處理為了壓縮所讀取的1/2UXGA圖像數(shù)據(jù)生成的1/2VGA大小圖像相對應(yīng)的處理(圖22中的箭頭5d)。所生成的1/2VGA圖像被存儲(chǔ)在幀緩沖器(2)13中。
當(dāng)與該UXGA數(shù)據(jù)的一半相對應(yīng)的處理結(jié)束時(shí)(圖22中的箭頭6d)，控制序列器70開始對具有與UXGA大小圖像d相同的視場角的VGA大小圖像a的處理。首先，控制序列器70從幀緩沖器(2)13讀取該圖像，并指示圖像數(shù)據(jù)DMAC 20傳送已被分辨率轉(zhuǎn)換的1/2VGA數(shù)據(jù)部分(圖22中的箭頭3a)，從而進(jìn)行CODEC處理。響應(yīng)于該傳送，CODEC 50開始?jí)嚎s處理(圖22中箭頭4a)。
當(dāng)使用積累在幀緩沖器(2)13中的1/2VGA數(shù)據(jù)部分的處理結(jié)束時(shí)，控制序列器70指示圖像數(shù)據(jù)DMAMC 20將用于分辨率轉(zhuǎn)換的原始數(shù)據(jù)的后一半1/2UXGA數(shù)據(jù)傳送給分辨率轉(zhuǎn)換單元30，以生成并壓縮后一半VGA圖像(圖22中的箭頭7a)。接收后一半1/2UXGA數(shù)據(jù)后，CODEC30開始進(jìn)行剩余的UXGA到VGA轉(zhuǎn)換(圖22中的箭頭8a)。
在光柵/塊轉(zhuǎn)換后將分辨率轉(zhuǎn)換后的圖像數(shù)據(jù)發(fā)送給CODEC50，并且，該CODEC對VGA數(shù)據(jù)的后一半進(jìn)行壓縮處理。因?yàn)殡S后的處理與上述的實(shí)施例中的說明是重復(fù)的，因此省略對其的說明。
圖23A和23B示出跨兩個(gè)連續(xù)的影像周期進(jìn)行該處理的情況。這里，請求在兩個(gè)連續(xù)的影像周期的每一個(gè)中處理UXGA圖像的二等分中的一個(gè)，并進(jìn)行這樣的處理。圖23A示出在每一個(gè)影像周期的段內(nèi)安排要進(jìn)行的該處理的情況。
圖23A中的影像周期[1]示出圖22中的相同內(nèi)容。在這種情況下，在影像周期[2]中進(jìn)行在影像周期[1]中所進(jìn)行的第n幀的UXGA圖像的壓縮處理的后一半。然而，該圖像不同于對影像周期[2]所請求的第(n+1)幀的VGA圖像，因此，不能并行執(zhí)行分辨率轉(zhuǎn)換處理和CODEC處理。因此，需要在影像周期[2]中對VGA圖像從頭開始獨(dú)立地進(jìn)行分辨率轉(zhuǎn)換處理。因此，與影像周期[1]相比，需要更長處理時(shí)間，并且在影像周期[2]中僅能對VGA切取圖像(對應(yīng)于數(shù)據(jù)e)進(jìn)行較少處理。
然而，實(shí)際上，不必要求在影像周期[2]中進(jìn)行的UXGA圖像的后一半處理在時(shí)間[2]中進(jìn)行。由于該數(shù)據(jù)已存在于幀緩沖器10的緩沖器A中，所以如果影像周期[1]的處理能力足夠的話，將連續(xù)的兩個(gè)影像周期作為一個(gè)周期，跨影像周期[1]和[2]進(jìn)行處理不會(huì)出現(xiàn)問題。圖23B示出這種情況。
這里，通過將影像周期[1]的過剩的處理時(shí)間應(yīng)用于UXGA圖像的后一半處理來預(yù)先進(jìn)行該處理。因此在影像周期[2]中同樣導(dǎo)致了過剩的處理時(shí)間，并且，VGA切取圖像處理與圖23A中的情況相比可以被多執(zhí)行一次。因此，成功消除了影像周期[1]和[2]之間的圖像處理能力之間的差異。
在本實(shí)施例中，假定處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中。然而，與第一實(shí)施例相似，例如還可以將其配置在圖像處理單元1中，或作為整合在圖像處理單元1的控制序列器70中功能的一部分來實(shí)現(xiàn)?；旧?，其位置不受本實(shí)施例的限制。如果將處理性能判斷單元311整合在控制序列器70中，則通過網(wǎng)絡(luò)控制單元310，由圖像與通信單元之間的控制信號(hào)71將各個(gè)終端所請求的處理的內(nèi)容傳達(dá)給控制序列器70。利用該信息做出以上判斷。
然后，通過圖像與通信單元之間的控制信號(hào)71將是否可以提供該服務(wù)的判斷結(jié)果傳達(dá)給網(wǎng)絡(luò)控制單元310，以使得網(wǎng)絡(luò)控制單元310將該信息發(fā)送給各終端。然而，與第一實(shí)施例相似，從通過如上所述僅進(jìn)行必要的數(shù)據(jù)傳輸以盡可能地減輕整個(gè)處理負(fù)荷的角度考慮，在本實(shí)施例中那樣，處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中更為理想。
因此，除第五實(shí)施例的效果外，通過并行處理可被并行處理的部分處理，即使是部分的并行處理，并通過提供一種能夠在由于實(shí)現(xiàn)并行處理而部分進(jìn)行了本來要求的處理時(shí)補(bǔ)充該處理的機(jī)構(gòu)，可以增強(qiáng)一個(gè)影像周期內(nèi)一個(gè)處理設(shè)備進(jìn)行處理的能力。在本實(shí)施例中，可以對多于第三實(shí)施例的一個(gè)圖像進(jìn)行VGA圖像處理。結(jié)果，可以在一個(gè)影像周期內(nèi)通過一個(gè)處理設(shè)備，進(jìn)行響應(yīng)于來自更多用戶的不同請求的處理。
而且，通過在多個(gè)連續(xù)影像周期對部分圖像連續(xù)進(jìn)行處理的情況下添加用于跨多個(gè)影像周期進(jìn)行處理的功能，可以進(jìn)一步增強(qiáng)處理能力，并降低由于執(zhí)行的并行處理程度的差異所導(dǎo)致的多個(gè)影像周期中的處理能力間的變化。
第七實(shí)施例在第一到第六實(shí)施例中，基本上都將JPEG壓縮處理用作CODEC處理的例子。然而，CODEC處理不局限于JPEG壓縮處理。將利用圖1、12、19、24和25對在一個(gè)影像周期內(nèi)以多種方法多次進(jìn)行壓縮處理的情況進(jìn)行說明。
在本實(shí)施例中同樣使用第一實(shí)施例中的圖1中的相同組件。在本實(shí)施例中還使用第四實(shí)施例中的圖12中的相同組件。而且，在本實(shí)施例中還使用第五實(shí)施例中的圖19中的相同組件。與第一實(shí)施例相似，在本實(shí)施例中假定圖1中的攝像單元1的傳感器220是正方形像素逐行掃描格式CCD。假定有效像素的數(shù)量是640×480的所謂VGA大小，并且可以每1/30秒輸出一幀VGA圖像。也就是說，假定本實(shí)施例中的一個(gè)影像周期為1/30秒(約33.3ms)。
圖24是示出在CODEC壓縮處理中插入JPEG壓縮和MPEG4壓縮這兩種處理的情況下的處理流程的圖。圖25是示出具有在進(jìn)行MPEG4壓縮時(shí)所需要的從YUV422到Y(jié)UV420的轉(zhuǎn)換功能的光柵/塊轉(zhuǎn)換存儲(chǔ)器40的圖。從組件的角度來看，圖25類似于第五實(shí)施例中所示的圖19。然而，與圖19相比，每個(gè)光柵/塊轉(zhuǎn)換線存儲(chǔ)器的線長度為半個(gè)，而線的數(shù)量為二倍。當(dāng)本實(shí)施例中的CODEC50處理MPEG4時(shí)，對于Y信號(hào)，待處理的數(shù)據(jù)單位為16×16個(gè)樣本。因此，組成各光柵/塊轉(zhuǎn)換線存儲(chǔ)器的存儲(chǔ)模塊的使用與圖19中的發(fā)生了改變，從而可以容易地提供該數(shù)據(jù)。
而且，在U/V的光柵/塊轉(zhuǎn)換線存儲(chǔ)器46-1到46-4和47-1到47-4的各出口，添加了用于將YUV422數(shù)據(jù)轉(zhuǎn)換成YUV420數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換單元49。該數(shù)據(jù)轉(zhuǎn)換單元是由于改變了圖19中的存儲(chǔ)模塊的使用而添加和連接的功能模塊。該數(shù)據(jù)轉(zhuǎn)換單元具有用于跳過不必要的處理的功能。
圖25中的操作基本上與圖19中的操作相同。不同點(diǎn)是由于數(shù)據(jù)傳送的單位主要是16線，因而考慮將Y信號(hào)的光柵/塊轉(zhuǎn)換線存儲(chǔ)器配置為雙緩沖器，在其中，45-1和45-2對被當(dāng)作為一個(gè)16線緩沖器，而45-3和45-4對被當(dāng)作另一個(gè)16線緩沖器。
而且，U/V的光柵/塊轉(zhuǎn)換線存儲(chǔ)器46-1到46-4和47-1到47-4同樣被認(rèn)為是分別由46-1和46-2、46-3和46-4、47-1和47-2、以及47-3和47-4組成的雙緩沖器。而且，當(dāng)需要從YUV422到Y(jié)UV420的信號(hào)轉(zhuǎn)換時(shí)，在位于該線存儲(chǔ)器的出口處的數(shù)據(jù)轉(zhuǎn)換單元49，根據(jù)原始圖像上垂直相鄰的兩個(gè)線的數(shù)據(jù)生成新的數(shù)據(jù)。
通過切換數(shù)據(jù)路徑，可以將光柵/塊轉(zhuǎn)換存儲(chǔ)器40從圖19中所示的結(jié)構(gòu)調(diào)整成圖25中的結(jié)構(gòu)。在本實(shí)施例中，通過根據(jù)待壓縮的數(shù)據(jù)的特征改變數(shù)據(jù)路徑的設(shè)置來切換數(shù)據(jù)路徑。
參照圖12并利用圖24，對包括如上所述的包括光柵/塊轉(zhuǎn)換存儲(chǔ)器40的圖像處理單元1的操作流程進(jìn)行說明。
在圖12中，將從顯像單元230輸出的VGA大小圖像數(shù)據(jù)以幀存儲(chǔ)在幀緩沖器10中。如圖24中所示，幀緩沖器10的內(nèi)部配置成雙緩沖器形式，第n幀和第(n+1)幀的圖像數(shù)據(jù)被存儲(chǔ)在不同區(qū)域(緩沖器A和B)。
現(xiàn)假定剛完成幀緩沖器10的緩沖器A中的第n幀的積累。然后，發(fā)生從顯像單元230到控制序列器70的幀數(shù)據(jù)傳送完成中斷(圖24中的箭頭1)。
響應(yīng)于該幀數(shù)據(jù)傳送完成中斷，控制序列器70首先將用于指定CODEC處理單元應(yīng)當(dāng)進(jìn)行什么處理的參數(shù)設(shè)置到CODEC 50的參數(shù)寄存器51(圖24中箭頭2a)。在本實(shí)施例中，假定請求將使用MPEG4的壓縮作為第一壓縮處理。這里，控制序列器70在參數(shù)寄存器51中設(shè)置用于使得CODEC 50進(jìn)行MPEG4處理的多個(gè)參數(shù)，并將CODEC 50的處理模式設(shè)置成MPEG4處理模式。
然后，控制序列器70指示光柵/塊轉(zhuǎn)換存儲(chǔ)器40，將從圖像數(shù)據(jù)DMAC 20輸入的YUV422格式的VGA大小圖像數(shù)據(jù)轉(zhuǎn)換成YUV420格式，并將該數(shù)據(jù)提供給在MPEG4模式中的CODEC 50(圖24中的箭頭4a)。接收該指示后，光柵/塊轉(zhuǎn)換存儲(chǔ)器40調(diào)整圖25中所示的數(shù)據(jù)路徑的結(jié)構(gòu)，以能夠在MPEG4模式中進(jìn)行操作，并等待數(shù)據(jù)傳送的開始。
然后，控制序列器70指示圖像數(shù)據(jù)DMAC 20從幀緩沖器10的緩沖器A讀取第n幀的圖像數(shù)據(jù)，并開始用于為光柵/塊轉(zhuǎn)換存儲(chǔ)器40提供該數(shù)據(jù)的傳送(圖24中的箭頭3a)。接收該指示后，圖像數(shù)據(jù)DMAC 20從幀緩沖器10讀取該圖像數(shù)據(jù)，并將其提供給光柵/塊轉(zhuǎn)換存儲(chǔ)器40。
被提供了該圖像數(shù)據(jù)后，光柵/塊轉(zhuǎn)換存儲(chǔ)器40開始從YUV422到Y(jié)UV420的轉(zhuǎn)換(圖24中的箭頭7a)，并以預(yù)定順序?qū)⒎謮K后的數(shù)據(jù)提供給CODEC 50。被提供了分塊后的圖像數(shù)據(jù)后，CODEC 50以MPEG4格式進(jìn)行圖像壓縮，并隨后將編碼數(shù)據(jù)移交給編碼數(shù)據(jù)DMAC 60。編碼數(shù)據(jù)DMAC 60以預(yù)定單位將該編碼數(shù)據(jù)傳送給數(shù)據(jù)緩沖器12。當(dāng)構(gòu)成第n幀中的圖像的所有編碼數(shù)據(jù)的傳送完成時(shí)，控制序列器70將編碼數(shù)據(jù)傳送完成中斷發(fā)送給數(shù)據(jù)緩沖器通信單元3(圖24中的箭頭6a)。通過圖像與通信單元之間的控制信號(hào)71傳達(dá)該中斷通知。
在圖24中，當(dāng)控制序列器70識(shí)別出已發(fā)送了編碼數(shù)據(jù)JPEG4的傳送完成中斷時(shí)(圖24中的箭頭6a)，控制序列器70檢查下一個(gè)所請求的圖像處理的參數(shù)。這里，假定下一個(gè)所請求的操作是對VGA大小圖像數(shù)據(jù)以未改變的分辨率進(jìn)行JPEG壓縮。由于已知在隨后的流程中存在使用通過對具有相同的視場角的數(shù)據(jù)進(jìn)行到QVGA數(shù)據(jù)的分辨率轉(zhuǎn)換所獲得的數(shù)據(jù)的JPEG處理，因而需要為并行進(jìn)行圖像壓縮處理和分辨率轉(zhuǎn)換處理進(jìn)行設(shè)置。
因此，控制序列器70首先在參數(shù)寄存器51中設(shè)置用于使CODEC 50進(jìn)行JPEG處理的多個(gè)參數(shù)，并將CODEC 50的處理模式設(shè)置成JPEG處理模式(圖24中的箭頭2b)。
然后，控制序列器70指示光柵/塊轉(zhuǎn)換存儲(chǔ)器40將分塊處理模式改變成JPEG處理模式(圖24中的箭頭4b)。接收該指示后，光柵/塊轉(zhuǎn)換存儲(chǔ)器40將數(shù)據(jù)路徑的結(jié)構(gòu)從圖25中所示的結(jié)構(gòu)調(diào)整成圖19中所示的結(jié)構(gòu)，以能夠在JPEG模式中進(jìn)行操作，并等待數(shù)據(jù)傳送的開始。
然后，控制序列器70指示分辨率轉(zhuǎn)換單元30對從圖像數(shù)據(jù)DMAC 20輸入的VGA大小圖像數(shù)據(jù)進(jìn)行到QVGA大小的分辨率轉(zhuǎn)換(未示出該定時(shí))。
然后，控制序列器70指示圖像數(shù)據(jù)DMAC 20從幀緩沖器10的緩沖器A讀取第n幀的圖像數(shù)據(jù)，并開始用于為CODEC 50提供該數(shù)據(jù)的傳送(圖24中的箭頭3b)。
在本實(shí)施例中，需要將從幀緩沖器10讀取的數(shù)據(jù)并行提供給分辨率轉(zhuǎn)換單元30和光柵/塊轉(zhuǎn)換存儲(chǔ)器40，并且，在傳送區(qū)域設(shè)置寄存器21中設(shè)置參數(shù)，以使其得以實(shí)現(xiàn)。
當(dāng)圖像數(shù)據(jù)DMAC 20開始數(shù)據(jù)傳送時(shí)，分辨率轉(zhuǎn)換單元30開始從VGA到QVGA的圖像轉(zhuǎn)換(圖24中的箭頭8b)，并將該數(shù)據(jù)積累在幀緩沖器(2)13中。同時(shí)，接收通過光柵/塊轉(zhuǎn)換存儲(chǔ)器40分塊的圖像數(shù)據(jù)后，該CODEC開始JPEG方法的壓縮(圖24中的箭頭5b)，并隨后將已以JPEG方法壓縮的編碼數(shù)據(jù)JPEGb移交給編碼數(shù)據(jù)DMAC 60。
編碼數(shù)據(jù)DMAC 60以預(yù)定單位將該編碼數(shù)據(jù)傳送給數(shù)據(jù)緩沖器12。當(dāng)?shù)趎幀中的編碼數(shù)據(jù)JPEGb的傳送完成時(shí)，控制序列器70將編碼數(shù)據(jù)傳送完成中斷發(fā)送給數(shù)據(jù)緩沖器通信單元3(圖24中的箭頭6b)。通過圖像與通信單元之間的控制信號(hào)71傳達(dá)該中斷通知。接著，利用已被分辨率轉(zhuǎn)換成QVGA且積累在幀緩沖器(2)中的圖像數(shù)據(jù)，開始JPEG壓縮處理。由于隨后的處理與上述實(shí)施例中的處理相似，因而省略對其的說明。
在本實(shí)施例中，也假定處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中。然而，例如，還可以將其配置在圖像處理單元1中，或作為整合在圖像處理單元1的控制序列器70中的功能的一部分來實(shí)現(xiàn)。其位置不受本實(shí)施例的限制。然而，與第一實(shí)施例相似，從通過如上所述僅進(jìn)行必要的數(shù)據(jù)傳輸以盡可能地減輕整個(gè)處理負(fù)荷的角度考慮，在本實(shí)施例中，處理性能判斷單元311位于通信單元3的網(wǎng)絡(luò)控制單元310中更為理想。
因此，除上述第一到第六實(shí)施例的效果外，可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)以多種編碼方法高效進(jìn)行圖像壓縮處理。特別地，通過具有用于根據(jù)壓縮方法動(dòng)態(tài)切換數(shù)據(jù)路徑的機(jī)構(gòu)，可以高效利用內(nèi)部存儲(chǔ)器并可以增強(qiáng)處理能力，同時(shí)提高IC內(nèi)部的資源的高效利用。
根據(jù)本發(fā)明，可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)多次進(jìn)行圖像處理而無需并行實(shí)施多個(gè)處理單元，因此，可以在保持實(shí)時(shí)性的同時(shí)，為發(fā)出各種請求的網(wǎng)絡(luò)上的用戶提供多種服務(wù)。而且，由于可以在無需并行執(zhí)行多個(gè)處理單元的情況下提供服務(wù)，因而，在不削弱實(shí)時(shí)性的范圍內(nèi)，可以提供該服務(wù)而不會(huì)預(yù)先通過處理單元的數(shù)量限制服務(wù)的內(nèi)容(影像壓縮方法的種類、分辨率、以及Q值等)。
由于設(shè)置了能夠在一個(gè)影像周期內(nèi)多次設(shè)置處理參數(shù)的編碼處理單元，因而可以在一個(gè)影像周期內(nèi)在一個(gè)處理單元上進(jìn)行根據(jù)用戶所請求的各種圖像參數(shù)的編碼處理。例如，可以在不掉幀的情況下，在多個(gè)用戶的顯示終端上平穩(wěn)地顯示具有不同質(zhì)量的時(shí)變圖像。而且，由于消除了并行執(zhí)行多個(gè)處理單元的必要，因而可以縮小板或芯片的面積，還可以降低功耗。結(jié)果，可以提供小型化攝像設(shè)備。
而且，提供了一種處理性能判斷單元，用于基于來自網(wǎng)絡(luò)上的用戶的請求，判斷在一個(gè)影像周期內(nèi)可以進(jìn)行的處理內(nèi)容，并用于至少給圖像處理單元指定圖像處理的順序或圖像處理的內(nèi)容。因此，可以將單元性能，例如圖像壓縮處理，高效地利用到最大性能，并且，可以在保持實(shí)時(shí)性的同時(shí)，利用一個(gè)CODEC在一個(gè)影像周期內(nèi)為更多用戶提供多種服務(wù)。此外，為網(wǎng)絡(luò)通信單元設(shè)置了處理性能判斷單元。因此，可以在更多地減少內(nèi)部數(shù)據(jù)通信的同時(shí)實(shí)現(xiàn)以上功能，并且，可以實(shí)現(xiàn)整個(gè)處理性能的提高以及功耗的降低。
而且，除了編碼處理單元外，圖像處理單元還包括能夠在一個(gè)影像周期內(nèi)多次設(shè)置處理參數(shù)的圖像切取處理單元。因此，除了通過設(shè)置編碼處理單元所獲得的效果外，還可以響應(yīng)于來自用戶的各種請求通過指定任一位置和任一大小從一個(gè)高分辨率圖像生成多個(gè)部分區(qū)域圖像，并在一個(gè)處理單元上在一個(gè)影像周期內(nèi)使用多個(gè)部分區(qū)域圖像進(jìn)行圖像處理。
除了編碼處理單元外，圖像處理單元還包括能夠在一個(gè)影像周期內(nèi)多次設(shè)置處理參數(shù)的分辨率轉(zhuǎn)換單元。因此，除了通過設(shè)置編碼處理單元所獲得的效果外，還可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)進(jìn)行多個(gè)區(qū)域的圖像處理和具有多種分辨率的圖像的圖像處理。特別地，可以為多個(gè)用戶利用一個(gè)CODEC在一個(gè)影像周期內(nèi)，對從高分辨率影像獲得的、具有基于用戶的請求的任意視場角和任意分辨率的圖像進(jìn)行處理，例如，通過切取具有高分辨率的所拍攝的圖像的任何區(qū)域并進(jìn)行分辨率轉(zhuǎn)換所獲得的圖像、以及未經(jīng)過分辨率轉(zhuǎn)換的部分切取的圖像。而且，還可以利用多個(gè)影像周期進(jìn)行高分辨率數(shù)據(jù)的處理。特別地，通過將UXGA大小數(shù)據(jù)的JPEG壓縮分配給兩個(gè)連續(xù)的影像周期，并通過在提供服務(wù)中控制處理順序使得在時(shí)間上連續(xù)進(jìn)行該處理，消除了設(shè)置用于跨多個(gè)影像周期保持高分辨率數(shù)據(jù)的處理專用的幀緩沖器的必要，從而達(dá)到了節(jié)省存儲(chǔ)器大小的效果。
而且，圖像處理單元包括用于臨時(shí)積累已進(jìn)行了分辨率轉(zhuǎn)換處理的圖像數(shù)據(jù)的幀緩沖器，使得能夠在一個(gè)影像周期內(nèi)進(jìn)行隨后的處理。因此，當(dāng)多個(gè)顯示終端請求對具有相同視場角的圖像的分辨率轉(zhuǎn)換處理時(shí)，可以消除重復(fù)進(jìn)行相同的分辨率轉(zhuǎn)換以及基于過分詳細(xì)的數(shù)據(jù)進(jìn)行壓縮等的必要，并且可以縮短隨后的分辨率轉(zhuǎn)換處理所需的時(shí)間。因此，可以增加在一個(gè)影像周期內(nèi)在一個(gè)處理單元上所進(jìn)行的處理的內(nèi)容。
而且，圖像處理單元具有用于在時(shí)間上并行為編碼處理單元和分辨率轉(zhuǎn)換單元提供一個(gè)圖像數(shù)據(jù)的圖像數(shù)據(jù)DMA機(jī)構(gòu)。因此，在多個(gè)顯示終端請求在同一影像周期內(nèi)處理具有相同視場角和不同分辨率的圖像的情況下，可以減少分辨率轉(zhuǎn)換前用于讀取原始數(shù)據(jù)所需的次數(shù)和時(shí)間，因此，可以高效使用存儲(chǔ)器和總線的帶寬性能。特別地，可以預(yù)期縮短在與使用高分辨率圖像數(shù)據(jù)的圖像處理有關(guān)的部分所需的處理時(shí)間的效果，并且，可以提高在一個(gè)影像周期內(nèi)在一個(gè)處理單元上可以進(jìn)行的處理內(nèi)容。結(jié)果，可以進(jìn)行與來自更多用戶的不同請求相對應(yīng)的處理。
而且，從一個(gè)圖像數(shù)據(jù)中排除部分?jǐn)?shù)據(jù)后剩余的部分?jǐn)?shù)據(jù)被獨(dú)立地提供給分辨率轉(zhuǎn)換單元，并且，作為分開進(jìn)行的分辨率轉(zhuǎn)換處理的結(jié)果所獲得的數(shù)據(jù)，通過編碼處理單元作為一個(gè)圖像數(shù)據(jù)進(jìn)行處理。因此，可以減少用于從幀緩沖器讀取圖像數(shù)據(jù)所需的次數(shù)和時(shí)間。特別地，由于還可以并行使用部分?jǐn)?shù)據(jù)，因而，可以預(yù)期縮短在與使用高分辨率圖像數(shù)據(jù)的圖像處理有關(guān)的部分所需的處理時(shí)間的效果，并且，可以增加在一個(gè)影像周期內(nèi)在一個(gè)處理單元上可以進(jìn)行的處理內(nèi)容。而且，通過添加用于在多個(gè)連續(xù)影像周期連續(xù)進(jìn)行部分圖像的處理的情況下跨多個(gè)影像周期進(jìn)行處理的功能，可以進(jìn)一步增強(qiáng)處理能力并減少由于執(zhí)行并行處理的程度上的差異所導(dǎo)致的多個(gè)影像周期中的處理能力間的改變。
通過使圖像數(shù)據(jù)的編碼處理對應(yīng)于多種類型的編碼處理，可以利用一個(gè)CODEC在一個(gè)影像周期內(nèi)以多種編碼方法高效進(jìn)行圖像壓縮處理。特別地，通過根據(jù)多種類型的編碼處理動(dòng)態(tài)改變光柵/塊轉(zhuǎn)換單元的數(shù)據(jù)路徑，可以處理多種類型的編碼處理，而無需設(shè)置多種光柵/塊轉(zhuǎn)換單元。因此，提高了整個(gè)系統(tǒng)的存儲(chǔ)器使用效率，并實(shí)現(xiàn)了縮小芯片的大小和攝像設(shè)備的大小。
其它實(shí)施例注意，本發(fā)明可應(yīng)用于包括單個(gè)裝置的設(shè)備或由多個(gè)裝置構(gòu)成的系統(tǒng)。
而且，本發(fā)明可這樣實(shí)現(xiàn)直接或間接向系統(tǒng)或設(shè)備提供實(shí)現(xiàn)上述實(shí)施例的功能的軟件程序，使用系統(tǒng)或設(shè)備的計(jì)算機(jī)讀取所提供的程序代碼，然后執(zhí)行該程序代碼。在這種情況下，只要系統(tǒng)或設(shè)備具有程序的功能，實(shí)現(xiàn)的方式無需依賴于程序。
因此，由于本發(fā)明的功能由計(jì)算機(jī)實(shí)現(xiàn)，所以安裝在計(jì)算機(jī)上的程序代碼本身也實(shí)現(xiàn)了本發(fā)明。換句話說，本發(fā)明的權(quán)利要求還覆蓋用來實(shí)現(xiàn)本發(fā)明的功能的計(jì)算機(jī)程序。
在這種情況下，只要系統(tǒng)或設(shè)備具有程序的功能，該程序可以以任何形式來執(zhí)行，例如目標(biāo)代碼、由解譯器執(zhí)行的程序、或向操作系統(tǒng)提供的腳本數(shù)據(jù)。
能用來提供程序的存儲(chǔ)介質(zhì)的例子包括軟盤、硬盤、光盤、磁光盤、CD-ROM、CD-R、CD-RW、磁帶、非易失型存儲(chǔ)卡、ROM、以及DVD(DVD-ROM和DVD-R)。
關(guān)于提供程序的方法，客戶計(jì)算機(jī)可以使用客戶計(jì)算機(jī)的瀏覽器連接到因特網(wǎng)上的網(wǎng)站，可將本發(fā)明的計(jì)算機(jī)程序或該程序的自動(dòng)安裝壓縮文件下載到記錄介質(zhì)例如硬盤上。而且，本發(fā)明的程序可通過將構(gòu)成程序的程序代碼分為多個(gè)文件，并從不同網(wǎng)站下載該文件來提供。換句話說，本發(fā)明的權(quán)利要求也覆蓋將通過計(jì)算機(jī)實(shí)現(xiàn)本發(fā)明的功能的程序文件下載到多個(gè)用戶的WWW(World Wide Web，萬維網(wǎng))服務(wù)器。
還可以在例如CD-ROM等存儲(chǔ)介質(zhì)上加密并存儲(chǔ)本發(fā)明的程序，將該存儲(chǔ)介質(zhì)分發(fā)給用戶，允許滿足一定要求的用戶通過因特網(wǎng)從網(wǎng)站下載解密密鑰信息，并允許這些用戶使用該密鑰信息來解密該加密的程序，從而將程序安裝在用戶計(jì)算機(jī)中。
此外，除了通過由計(jì)算機(jī)執(zhí)行所讀取的程序來實(shí)現(xiàn)根據(jù)所述實(shí)施例的上述功能的情況之外，運(yùn)行在計(jì)算機(jī)上的操作系統(tǒng)等可執(zhí)行全部或部分實(shí)際處理，從而可由該處理來實(shí)現(xiàn)上述實(shí)施例的功能。
而且，當(dāng)將從存儲(chǔ)介質(zhì)中讀取的程序?qū)懭氲讲迦胗?jì)算機(jī)中的功能擴(kuò)展板、或與計(jì)算機(jī)連接的功能擴(kuò)展單元所配備的存儲(chǔ)器之后，安裝在功能擴(kuò)展板或功能擴(kuò)展單元上的CPU等執(zhí)行全部或部分實(shí)際處理，從而可由該處理來實(shí)現(xiàn)上述實(shí)施例的功能。
盡管參考典型實(shí)施例說明了本發(fā)明，但應(yīng)當(dāng)指出，本發(fā)明不局限于所公開的實(shí)施例。以下權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改和等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種攝像設(shè)備，包括攝像單元，用于通過拍攝被攝體的圖像來獲取圖像數(shù)據(jù)；顯像單元，用于將由所述攝像單元獲取的圖像數(shù)據(jù)顯像成時(shí)變圖像數(shù)據(jù)；圖像處理單元，用于對所述時(shí)變圖像數(shù)據(jù)進(jìn)行圖像處理；網(wǎng)絡(luò)通信單元，用于將由所述圖像處理單元處理后的所述時(shí)變圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)上；以及控制單元，用于控制在一個(gè)影像周期內(nèi)將由所述圖像處理單元進(jìn)行了不同類型圖像處理的時(shí)變圖像數(shù)據(jù)輸出到所述網(wǎng)絡(luò)通信單元，其中，所述影像周期是與一個(gè)畫面相對應(yīng)的構(gòu)成所述時(shí)變圖像數(shù)據(jù)的圖像數(shù)據(jù)的更新間隔。
2.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其特征在于，所述圖像處理單元包括用于對所述圖像數(shù)據(jù)進(jìn)行編碼的編碼單元；以及在所述一個(gè)影像周期內(nèi)多次為所述編碼單元設(shè)置參數(shù)。
3.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其特征在于，所述圖像處理單元還包括圖像切取單元，該圖像切取單元用于從具有高分辨率的所述圖像數(shù)據(jù)切取圖像；以及在所述一個(gè)影像周期內(nèi)多次為所述圖像切取單元設(shè)置參數(shù)。
4.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其特征在于，所述圖像處理單元還包括用于轉(zhuǎn)換所述圖像數(shù)據(jù)的分辨率的分辨率轉(zhuǎn)換器；以及在所述一個(gè)影像周期內(nèi)多次為所述分辨率轉(zhuǎn)換器設(shè)置參數(shù)。
5.根據(jù)權(quán)利要求4所述的攝像設(shè)備，其特征在于，所述圖像處理單元包括幀緩沖器，該幀緩沖器用于臨時(shí)積累已進(jìn)行了所述分辨率轉(zhuǎn)換處理的所述圖像數(shù)據(jù)，以使得能夠在所述一個(gè)影像周期內(nèi)進(jìn)行隨后的處理。
6.根據(jù)權(quán)利要求4所述的攝像設(shè)備，其特征在于，所述圖像處理單元具有圖像數(shù)據(jù)DMA機(jī)構(gòu)，該圖像數(shù)據(jù)DMA機(jī)構(gòu)用于在時(shí)間上并行為所述編碼單元和所述分辨率轉(zhuǎn)換器提供圖像數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的攝像設(shè)備，其特征在于，所述DMA機(jī)構(gòu)在時(shí)間上并行為所述編碼單元和所述分辨率轉(zhuǎn)換器提供所述一個(gè)圖像數(shù)據(jù)的部分?jǐn)?shù)據(jù)；以及所述圖像處理單元將從所述一個(gè)圖像數(shù)據(jù)中排除了所述部分?jǐn)?shù)據(jù)后剩余的部分?jǐn)?shù)據(jù)獨(dú)立地提供給所述分辨率轉(zhuǎn)換器，并將作為分開進(jìn)行的所述分辨率轉(zhuǎn)換處理的結(jié)果獲得的數(shù)據(jù)作為所述一個(gè)圖像數(shù)據(jù)，由所述編碼單元對其進(jìn)行處理。
8.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其特征在于，所述圖像處理單元還包括光柵/塊轉(zhuǎn)換器，用于對所述圖像數(shù)據(jù)進(jìn)行光柵/塊轉(zhuǎn)換；由所述編碼單元對所述圖像數(shù)據(jù)進(jìn)行的編碼對應(yīng)于多種類型的編碼；以及所述圖像處理單元根據(jù)所述多種類型的編碼，動(dòng)態(tài)地改變所述光柵/塊轉(zhuǎn)換器的數(shù)據(jù)路徑。
9.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其特征在于，還包括處理性能判斷單元，該處理性能判斷單元用于基于來自所述網(wǎng)絡(luò)上的用戶的請求來判斷能夠在所述一個(gè)影像周期內(nèi)進(jìn)行的處理內(nèi)容，并為所述圖像處理單元至少指定圖像處理的順序或所述圖像處理的內(nèi)容。
10.根據(jù)權(quán)利要求9所述的攝像設(shè)備，其特征在于，為所述網(wǎng)絡(luò)通信單元設(shè)置所述處理性能判斷單元。
11.一種攝像方法，包括以下步驟通過拍攝被攝體的圖像來獲取圖像數(shù)據(jù)；將所獲取的圖像數(shù)據(jù)顯像成時(shí)變圖像數(shù)據(jù)；對所述時(shí)變圖像數(shù)據(jù)進(jìn)行圖像處理；以及在一個(gè)影像周期內(nèi)，將進(jìn)行了多種不同類型的圖像處理的時(shí)變圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)上，其中，所述影像周期是與一個(gè)畫面相對應(yīng)的構(gòu)成所述時(shí)變圖像數(shù)據(jù)的圖像數(shù)據(jù)的更新間隔。
全文摘要
一種攝像設(shè)備和攝像方法。提供一種能夠?qū)崟r(shí)地為在網(wǎng)絡(luò)上發(fā)出各種請求的用戶提供多種服務(wù)圖像處理設(shè)備。該圖像處理設(shè)備包括顯像單元(230)，用于將圖像數(shù)據(jù)顯像成時(shí)變圖像數(shù)據(jù)；圖像處理單元(1)，用于對該時(shí)變圖像數(shù)據(jù)進(jìn)行圖像處理；網(wǎng)絡(luò)接口(320)，用于將由圖像處理單元(1)處理過的時(shí)變圖像數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)(4)上；以及網(wǎng)絡(luò)控制單元(310)，用于控制由圖像處理單元(1)進(jìn)行了多種不同圖像處理的時(shí)變圖像數(shù)據(jù)，以使得在一個(gè)影像周期內(nèi)將其輸出到網(wǎng)絡(luò)接口(320)，其中，該影像周期是與一個(gè)畫面相對應(yīng)的構(gòu)成該時(shí)變圖像數(shù)據(jù)的圖像數(shù)據(jù)的更新間隔。
文檔編號(hào)H04N7/26GK1960442SQ200610137698
公開日2007年5月9日 申請日期2006年11月3日 優(yōu)先權(quán)日2005年11月4日
發(fā)明者福井俊之 申請人:佳能株式會(huì)社