專利名稱：數(shù)據(jù)處理設(shè)備及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理設(shè)備及其控制方法，在該數(shù)據(jù)處理設(shè)備中，多個處理模塊串聯(lián)連接，并且進行根據(jù)當(dāng)前的處理結(jié)果判斷是否執(zhí)行后續(xù)處理的級聯(lián)處理。
背景技術(shù)：
一般地，提出了用于在數(shù)字照相機和打印機中檢測輸入圖像中諸如人物或面部的特定被攝體，并進行適用于所檢測到的被攝體的處理的技術(shù)。用于對面部進行皮膚顏色校正處理的面部檢測處理是檢測特定被攝體的例子。已經(jīng)提出了用于人面部檢測處理的各種方法，例如由 P. Viola 和 M. Jones 在"Robust Real-time Object Detection”，SECOND INTERNATIONALffORKSHOP ON STATISTICAL AND C0MPUTATI0NALTHE0RIES OF VISION, July 13 2001(以下稱為文獻1)中提出的方法(稱為Viola & Jones方法)，以及利用人面部的對稱特征、模板匹配和神經(jīng)網(wǎng)絡(luò)等的方法。利用Viola & Jones方法，基于Adaboost學(xué)習(xí)的結(jié)果(特征量)來執(zhí)行多個識別處理。通過級聯(lián)處理來實現(xiàn)這些識別處理，并且各識別處理在將要進行下一識別處理時輸出True (正確)，或在將不進行下一識別處理時輸出False (錯誤)，作為進行了識別的結(jié)果。如果識別處理為!^1%，則識別處理結(jié)束。圖15A示出作為在這種處理時使用的學(xué)習(xí)的結(jié)果而獲得的特征量的例子。特征量210呈現(xiàn)了以下特征當(dāng)眼部周圍的小的矩形部分與眼部下面的部分(臉頰部分)相比較時，眼部周圍的部分比眼部下面的部分黑。特征量 211呈現(xiàn)以下特征在眼部周圍的部分中，眼部的部分黑，眉毛之間的眉間部分比眼部的部分白。將輸入數(shù)據(jù)與這種學(xué)習(xí)的結(jié)果(學(xué)習(xí)的特征量)進行比較，如果針對所有的特征量識別處理輸出True，則判斷為輸入數(shù)據(jù)表示(人的)面部。而且，利用Viola & Jones方法，將識別處理分成多個區(qū)(以下稱為級)，針對每個級進行Ture/False識別，從而進行面部或非面部的識別。而且，前面的級僅使用簡單的特征，以使得false negative (錯誤否定)(將面部判斷為非面部、或漏失)的概率最小化，并且false positive (錯誤肯定)(將非面部判斷為面部、或錯誤檢測)的概率相對較高。僅使用簡單的特征使得能夠利用減少了的計算次數(shù)進行識別處理，由此即使使用處理器進行處理，也可以進行高速處理。此外，為了檢測整個圖像的一部分中存在的面部，從整個圖像中剪切矩形區(qū)域來識別剪切出的區(qū)域。根據(jù)上述方法，在前面的級，可以將更多的矩形區(qū)域有效地識別為非面部)，由此可以在短時間內(nèi)完成對整個圖像的面部檢測處理。當(dāng)從整個圖像中剪切矩形區(qū)域以在矩形區(qū)域上順次進行識別處理時，考慮能確定剪切矩形區(qū)域的順序的幾種方法。廣泛使用的是以下方法以圖像的左上方的像素為起始點，在主掃描方向(水平方向)上逐像素地進行掃描。將參考圖14A說明這種掃描方法。 將通過以進行識別處理的矩形區(qū)域的高度、在主掃描方向上對輸入圖像進行分割而創(chuàng)建的帶狀的區(qū)域稱為帶(band)。在圖14A中，Band_A是頂角為輸入圖像的左上方的像素的帶。 Band_a是頂角為從Band_A的頂角在副掃描方向(垂直方向)上偏移一個像素的位置處的像素的帶。在這種掃描方法中，首先，將輸入圖像的左上方的像素設(shè)置為起始點，并對矩形區(qū)域的左上方的像素與起始點一致的該矩形區(qū)域(子窗口)進行識別處理。接著，對在主掃描方向上分別偏移一個像素的位置處的矩形區(qū)域順次進行識別處理，直到矩形區(qū)域的右端與輸入圖像的右端一致為止。此時完成對Band_A的處理。接著，將從處理Band_A時使用的起始點在副掃描方向上偏移了一個像素的位置處的像素設(shè)置為起始點，并對在主掃描方向上分別偏移一個像素的位置處的矩形區(qū)域順次進行識別處理，直到矩形區(qū)域的右端與輸入圖像的右端一致為止。此時完成對Band_a的處理。之后，通過在副掃描方向上偏移一個像素對各帶進行處理，直到矩形區(qū)域的下端與輸入圖像的下端一致為止。將參考圖15A 15E說明當(dāng)使用上述掃描方法進行順次識別處理時，在識別處理的初始級(級0)中隨著掃描的進行，識別結(jié)果從False轉(zhuǎn)變到True然后從True轉(zhuǎn)變到 False.假定在級0，使用圖15A中示出的特征量210來進行識別處理。圖15B 15E是示出當(dāng)針對輸入圖像的面部部分在主掃描方向上掃描矩形區(qū)域時、特征量210和面部部分之間的相對位置的圖。在圖15C中示出的矩形區(qū)域位置處，面部基本上位于矩形區(qū)域的中心， 因此判斷為True (可能是面部)作為與特征量210比較的結(jié)果。圖15B和15D分別示出被判斷為True (可能是面部)作為與特征量210比較的結(jié)果的左端和右端矩形區(qū)域。換句話說，將從圖15B向左偏移一個像素的位置處的矩形區(qū)域判斷為非面部)，并將從圖 15D向右偏移一個像素的位置處的矩形區(qū)域判斷為i^alse (非面部)，來作為識別的結(jié)果。圖 15E示出在進行從圖15A到圖15D的掃描時，識別結(jié)果從False轉(zhuǎn)變到True然后從True轉(zhuǎn)變到False。當(dāng)通過一點一點地偏移矩形區(qū)域進行識別處理時，如上所述，識別結(jié)果隨著掃描的進行而重復(fù)地從False轉(zhuǎn)變到True然后從True轉(zhuǎn)變到hise。在這種情況下，True和 False出現(xiàn)的頻率根據(jù)輸入圖像中包括的面部部分的密度而變化。將參考圖16A 16C說明True和i^ilse出現(xiàn)的頻率由于面部部分的密度而在級0中如何變化。在圖16A 16C 中，在識別結(jié)果為True的矩形區(qū)域的左上方示出T，以及在識別結(jié)果為False的矩形區(qū)域的左上方示出F。圖16A示出在一個帶內(nèi)僅存在一個面部部分的例子。隨著掃描的進行，9個 T(True)連續(xù)并且之后27個FO^alse)連續(xù)。圖16B示出兩個面部部分在同一帶內(nèi)相互遠離的例子。9個T(True)后跟隨著6個F(False)，并且另外的9個T(True)后跟隨著6個 FO^alse)。圖16C示出兩個面部部分在同一帶內(nèi)相互相鄰的例子。9個T(True)后跟隨著 1個F(False)，并且另外的9個T(True)后跟隨著1個F(False)。從上述可以看出，作為來自面部檢測處理時使用的識別器的輸出結(jié)果的True和 False中哪一個具有較高的出現(xiàn)頻率取決于輸入圖像中包括的面部部分的密度。在面部檢測時，將識別處理分成各級，并針對各級判斷True或i^alse。以下將各級中True出現(xiàn)的概率稱為“通過率”。在圖16A的情況下，根據(jù)T(True)和Fpalse)之間的比計算出級0的通過率為1/4。同樣，在圖16B的情況下，通過率為3/5，以及在圖16C的情況下，通過率為 9/10。接著將說明在多個級串聯(lián)的級聯(lián)處理中、各級的通過率與作為識別結(jié)果從初始級到特定級連續(xù)返回True的概率(累積通過率)之間的關(guān)系。將第一或開頭級的識別處理的處理總數(shù)(輸入矩形區(qū)域的數(shù)量)定義為S。僅將作為前一級的第一級的識別處理中識別為True的矩形區(qū)域輸入至接下來的第二級的識別處理。因此，第二級的識別處理所處理的數(shù)據(jù)量、或換句話說矩形區(qū)域的數(shù)量是通過將第一級的識別處理所處理的矩形區(qū)域的數(shù)量乘以第一級的識別處理的通過率P [1]而獲得的積 (S*p[l])。此外，第三級的識別處理所處理的數(shù)據(jù)量、或換句話說矩形區(qū)域的數(shù)量是通過將第二級的識別處理所處理的矩形區(qū)域的數(shù)量乘以第二級的識別處理的通過率P [2]而獲得的積(S*p[l])*p[2]。以下利用相同的計算，可以將第N級的識別處理所處理的數(shù)據(jù)量、或換句話說矩形區(qū)域的數(shù)量表示如下S*p
*p[l]*...*p[N-2]*p[N-l]。以下，將ρ
*ρ[1]*…*p[N_l]稱為級N中的識別處理的累積通過率P[N]。而且， 因為將所有的輸入數(shù)據(jù)輸入至第一級中的識別器，所以P
= 1 (以100 %的通過率將數(shù)據(jù)輸入至第一級中的識別器)。如前所述，通過率根據(jù)輸入圖像的類型和圖像內(nèi)的處理位置(要被處理的矩形區(qū)域的位置)而變化。換句話說，諸如集體照片等的具有高的面部密度的圖像的通過率一般高于諸如風(fēng)景照片等的具有低的面部密度的圖像的通過率。而且，即使在集體照片中，在輸入圖像在照片上部為風(fēng)景并且照片下部為人物的情況下，在照片的下部面部密度較高。因此，對具有高的面部密度的照片下部(人物部分)進行識別處理期間的通過率一般高于對具有低的面部密度的照片上部(風(fēng)景部分)進行識別處理期間的通過率。將參考圖14A、14B和14C具體說明累積通過率根據(jù)輸入圖像的類型和輸入圖像內(nèi)的處理位置而如何變化。圖14A是在輸入圖像中包括相對較多數(shù)量的面部部分的集體照片的例子。針對圖14A中示出的Band_A、Band_B、BandJ^n Band_D在圖14C中示出的圖形中標(biāo)繪各級的平均累積通過率。在諸如Band_A的具有低的面部密度的帶中，通過級0的識別處理將幾乎所有的矩形區(qū)域判斷為非面部，由此級1中的平均累積通過率基本為0%。另一方面，在諸如Band_D的具有高的面部密度的帶中，在所有級中將大量的矩形區(qū)域判斷為很可能是面部，由此級2中的平均累積通過率為50%以上。從前述可以看出，即使在整體上具有高的面部密度的輸入圖像中，累積通過率也根據(jù)處理位置而顯著變化。另一方面，圖14B是與圖14A的集體照片相比，輸入圖像中包括較少數(shù)量的面部部分的集體照片的例子。在圖14C的圖形中，還針對圖14B中示出的Band_X、Band_Y和BancL Z來標(biāo)繪各級的平均累積通過率。Band_X中的平均累積通過率與圖14A的Band_A的平均累積通過率相同，但在圖14B中具有最高面部密度的Band_Z中，級2的平均累積通過率在 50%以下。換句話說，在圖14A和14B中示出的不同輸入圖像中，即使在相同的處理位置， 平均累積通過率也顯著變化。通過由多個級構(gòu)成的多級級聯(lián)處理并通過在前面的級中將更多的矩形區(qū)域判斷為非面部來實施以Viola & Jones方法為代表的識別處理，實現(xiàn)了高速處理。然而，如上所述，各級中判斷為非面部的概率根據(jù)輸入圖像的類型和輸入圖像內(nèi)的處理位置而顯著變化。近來，越來越多的數(shù)字照相機等配備有面部檢測功能。將來，除了簡單地包含這種功能以外，還將增加高速處理的需求，以使得可以在攝像期間實時進行面部檢測處理。用于不僅加速識別處理還加速數(shù)據(jù)處理的一般方法包括增大工作頻率，并內(nèi)部提供FIFO或RAM 以防止傳送輸入/輸出數(shù)據(jù)時的速率限制。而且，廣泛使用用于時間上/空間上并行地進行處理的方法。利用時間上的并行處理(流水線處理)，針對順次執(zhí)行的各級以級聯(lián)方式安裝和連接專用的識別器，以使得可以同時并行地操作這些識別器，因此可以實現(xiàn)高速處理。 然而，各級中最長的處理時間對整個處理時間進行了速率限制。因此，假定在所有級中，通過率為100%并且處理時間均勻，則可以以與級的數(shù)量相對應(yīng)的量來增大處理速度(如果有3個級，則為3倍)?？臻g上的并行處理是以下加速技術(shù)為了進一步加速上述流水線處理，安裝多個流水線以同時處理多個輸入數(shù)據(jù)。利用空間上的并行處理，如果可以將輸入數(shù)據(jù)平滑地提供至各流水線處理，則可以以空間并行化的量來增大處理速度(如果安裝了 4個流水線，則為4倍)。因此，利用使用12個識別器安裝各自具有3個級的4個流水線的結(jié)構(gòu)，理論上， 可以使處理速度增大12倍。如上所述，為了加速面部檢測時的識別處理，根據(jù)傳統(tǒng)的技術(shù)，結(jié)合時間上的并行處理和空間上的并行處理以實現(xiàn)性能提高。例如，與安裝了一個識別器的結(jié)構(gòu)相比，傳統(tǒng)的技術(shù)試圖通過安裝12個識別器，使性能提高了與流水線級的數(shù)量X空間并行度相對應(yīng)的量(上述例子中為12倍)。然而，如上所述，平均累積通過率根據(jù)輸入圖像的類型和輸入圖像內(nèi)的處理位置而很大地變化。當(dāng)面部密度高時，可以使性能提高與流水線級的數(shù)量X空間并行度所對應(yīng)的量接近的量，但是當(dāng)面部密度低時，性能提高不與流水線級的數(shù)量X空間并行度所對應(yīng)的量接近。換句話說，根據(jù)傳統(tǒng)技術(shù)的使用時間上/空間上的并行處理的加速技術(shù)的問題在于，根據(jù)通過率不能實現(xiàn)足夠的性能提高，而且性能根據(jù)輸入圖像的類型和輸入圖像內(nèi)的處理位置而顯著地變化。當(dāng)級中的平均累積通過率由于變化而下降時，中斷了對后續(xù)級的數(shù)據(jù)供應(yīng)，從而針對后續(xù)級安裝的識別器不工作，這一情況引起了性能下降和性能變化。將采用以下情況詳細說明識別器不工作的情況利用使用12個識別器安裝各自具有3個級的4個流水線的結(jié)構(gòu)來處理圖14A和14B的圖像。圖17A 17D及圖17F和17H是分別示出當(dāng)在Band_A、 Band_X、B and_B、Band_C、Band_D、Band_Y和Band_Z進行識別處理時，識別器的平均工作狀態(tài)的示意圖。在圖17A 17H所示的傳統(tǒng)的例子中，固定安裝了 4X3個模塊，4個流水線。 圖17E和17H是分別示出識別器在圖14A示出的圖像中的平均通過率時和圖14B示出的圖像中的平均通過率時的平均工作狀態(tài)的示意圖。應(yīng)該注意，以下說明假定在所有識別器中， 處理時間相同。在圖17A 17H中，非陰影線的圈表示恒定工作的識別器，以及陰影線的圈表示根據(jù)前一級的處理結(jié)果而工作或停止的模塊。而且，交叉陰影線的圈表示恒定停止的模塊。 如果從圖14C中示出的上述圖中針對各帶確定級N中的識別處理的平均累積通過率P [N]， 則在Band_A中，獲得P[l] = 10%和P[2] =2%。因此，4個識別器在級0恒定工作，但是在級1和級2中各自恒定停止3個識別器，級1中工作的僅有的識別器的工作率為40%， 級2中工作的僅有的識別器的工作率為0.8%。因此，在Band_A中，僅可以獲得增大約 4. 5 ( = 4+0. 4+0. 08)倍的性能。另一方面，在Band_D中，獲得高的平均累積通過率P[l] =92%和P[2] = 90%，因此在級1和級2中，幾乎所有的識別器恒定工作。結(jié)果，可以使處理速度增大約11.3( = 4+4X0. 92+4X0. 9)倍，接近目標(biāo)性能。然而，圖14A的整個圖像的平均累積通過率為P[l] =50%,P[2] = 40%，因此，僅使處理速度增大了約7.6(= 4+4X0. 5+4X0. 4)倍。
當(dāng)以上述方式分析各帶時，在圖14A的Band_D中，因為各級中的平均累積通過率高，所以使性能提高了約11. 3倍，接近于目標(biāo)值的12倍。然而，性能在Band_C中僅提高了約8. 4倍，在Band_B中僅提高了約5. 8倍，以及在Band_A中僅提高了約4. 5倍。因此，在整個圖像中，僅使性能提高了約7. 5倍。同樣，在圖14B中示出的圖像中，性能在Band_X中僅提高了約4. 5倍(與圖14A的Band A相同)，在Band_Y中僅提高了約4. 9倍，在Band_Z 中僅提高了約6. 8倍，以及在整個圖像中，性能僅提高了 4. 7倍，甚至低于圖14A。假定在所有識別器中的處理時間相同的情況下給出以上說明，但實際上，各級具有不同的處理負載。因此，在之前所述的時間上的并行處理中可能發(fā)生處理的速率限制 (各級中最長的處理時間可能對整個處理時間造成速率限制)，這可能引起進一步的性能下降。通過識別用的特征量來定義各級的識別器的識別處理。因此，如果可以改變識別器中的特征量和連接關(guān)系，可以將對各級的識別器的分配進行調(diào)整以分散負載。傳統(tǒng)上，提出了各種動態(tài)負載平衡方法以通過使處理器的工作率均勻來提高和穩(wěn)定處理性能。例如， 日本特開2003-256221 (以下稱為文獻幻提出以下建議。具體地，根據(jù)與針對各并行程序而預(yù)設(shè)的處理器分配率相對應(yīng)的時間，將并行程序所生成的處理分配給多個處理器的處理時間帶。然后判斷是否可以將并行程序所生成的多個并行處理分配給處理器的處理時間中沒有分配到處理的空閑時間帶，以能夠進行并行工作。如果可以進行并行工作，則將其它并行處理另外分配給空閑時間帶，并且處理器執(zhí)行分配給處理器的處理時間帶的并行處理。然而，根據(jù)文獻2的技術(shù)，將需要保證運轉(zhuǎn)時間的處理分配給預(yù)定時間帶，并且將能夠并行工作的多個并行處理另外分配給空閑時間帶，從而在保證運轉(zhuǎn)時間的同時提高了處理器的工作率。然而，文獻2僅考慮了處理具有預(yù)定負載的處理的情況。換句話說，傳統(tǒng)技術(shù)沒有關(guān)注于各級的通過率和處理時間進行控制。因此，諸如根據(jù)Viola & Jones方法的面部檢測的、基于處理結(jié)果來判斷是否執(zhí)行下一處理的、控制多個處理的數(shù)據(jù)處理(所謂的級聯(lián)處理)的缺點在于，當(dāng)處理的負載(執(zhí)行時間)根據(jù)輸入數(shù)據(jù)而變化時，抑制性能下降和性能變化的效果小。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供以下的數(shù)據(jù)處理設(shè)備和數(shù)據(jù)處理方法，其性能幾乎不根據(jù)輸入圖像的類型和圖像內(nèi)的處理位置而變化，并具有均勻和高的處理性能。例如，根據(jù)本發(fā)明的一個方面，提供一種數(shù)據(jù)處理設(shè)備，其執(zhí)行用于判斷從運動圖像的各幀的圖像中順次提取的部分圖像是否與特定模式相對應(yīng)的判斷處理，其中，所述判斷處理具有多個級，所述數(shù)據(jù)處理設(shè)備包括多個識別器，其被分配至所述多個級中的任一個級，并且用于通過與所分配的級相應(yīng)的識別處理判斷所述部分圖像是否與所述特定模式相對應(yīng)，并且當(dāng)判斷為所述部分圖像與所述特定模式相對應(yīng)時，將所述部分圖像輸出至后續(xù)級，以使所述部分圖像在所述后續(xù)級中被處理；分配部件，用于針對各級分配所述多個識別器，使得并行處理多個部分圖像；計算部件，用于將圖像分成多個區(qū)域，并且針對各區(qū)域的圖像，根據(jù)輸入至級的部分圖像的數(shù)量與被判斷為與所述特定模式相對應(yīng)的部分圖像的數(shù)量的比，計算通過率或者累積通過率，而且針對每級將所計算出的通過率或者累積通過率保持在保持部件中；以及改變部件，用于從所述保持部件獲取從正被處理的圖像中提取的部分圖像所屬的區(qū)域的、前次處理的圖像的通過率或者累積通過率，并且基于所獲取的通過率或者累積通過率，改變所述分配部件對各級的識別器的分配。此外，例如，根據(jù)本發(fā)明的一個方面，提供一種數(shù)據(jù)處理設(shè)備的控制方法，其中，所述數(shù)據(jù)處理設(shè)備執(zhí)行用于判斷從運動圖像的各幀的圖像中順次提取的部分圖像是否與特定模式相對應(yīng)的判斷處理，所述判斷處理具有多個級，而且所述數(shù)據(jù)處理設(shè)備包括多個識別器，所述多個識別器被分配至所述多個級中的任一個級，并且所述多個識別器通過與所分配的級相應(yīng)的識別處理判斷所述部分圖像是否與所述特定模式相對應(yīng)，當(dāng)判斷為所述部分圖像與所述特定模式相對應(yīng)時，所述多個識別器將所述部分圖像輸出至后續(xù)級，以使所述部分圖像在所述后續(xù)級中被處理，所述控制方法包括以下步驟分配步驟，用于針對各級分配所述多個識別器，使得并行處理多個部分圖像；將圖像分成多個區(qū)域，并且針對各區(qū)域的圖像，根據(jù)輸入至級的部分圖像的數(shù)量與被判斷為與所述特定模式相對應(yīng)的部分圖像的數(shù)量的比，計算通過率或者累積通過率，而且針對每級將所計算出的通過率或者累積通過率保持在保持單元中；以及從所述保持單元獲取從正被處理的圖像中提取的部分圖像所屬的區(qū)域的、前次處理的圖像的通過率或者累積通過率，并且基于所獲取的通過率或者累積通過率，改變所述分配步驟中對各級的識別器的分配。通過以下(參考附圖)對典型實施例的說明，本發(fā)明的其它特征將變得明顯。


圖1是示出根據(jù)第一實施例的數(shù)據(jù)處理設(shè)備的示例結(jié)構(gòu)的框圖。圖2是示出根據(jù)實施例的模塊結(jié)構(gòu)改變單元的示例結(jié)構(gòu)的圖。圖3是示出利用多個識別器在時間上/空間上使處理并行化的連接的例子的圖。圖4A 4D是示出各級的累積通過率和模塊分配的例子的圖。圖5是示出檢測通過率的例子的圖。圖6A 6D是示出M個識別器各自的工作狀態(tài)的圖。圖7A 7D是示出如何根據(jù)通過率改變M個識別器的連接模式的圖。圖8A和8B是示出用于確定識別器的連接結(jié)構(gòu)的過程的圖。圖9A和9B是示出用于確定識別器的連接結(jié)構(gòu)的過程的圖。圖10是示出相鄰幀的區(qū)域之間的對應(yīng)關(guān)系的圖。圖11是示出根據(jù)第二實施例的數(shù)據(jù)處理設(shè)備的示例結(jié)構(gòu)的框圖。圖12A和12B是示出利用網(wǎng)絡(luò)(互連接)來實現(xiàn)模塊結(jié)構(gòu)改變單元的例子的圖。圖13是示出使用處理器來實現(xiàn)識別器的情況的圖。圖14A和14B是示出進行面部檢測的示例圖像的圖。圖14C是示出圖14A和14B中示出的圖像中的帶的通過率的圖。圖15A示出在面部識別時使用的特征量的例子。圖15B 15E是示出示例面部檢測結(jié)果的例子的圖。圖16A 16C是示出由于圖像中不同的面部密度而引起的通過率變化的圖。圖17A 17H是示出識別器工作率由于通過率變化而如何改變的圖。圖18是示出在拍攝運動圖像時相鄰幀的圖像之間的相似度的圖。圖19是示出幀N和幀N-I的示例識別處理結(jié)果的圖。
圖20是示出根據(jù)第一實施例的用于改變模塊結(jié)構(gòu)的處理的流程圖。
具體實施例方式以下將參考

本發(fā)明的優(yōu)選實施例。第一實施例圖1是示出根據(jù)本發(fā)明第一實施例的數(shù)據(jù)處理設(shè)備的整體結(jié)構(gòu)的例子的框圖。根據(jù)本實施例的數(shù)據(jù)處理設(shè)備通過使用多個處理模塊執(zhí)行由預(yù)定數(shù)量的兩個以上的級構(gòu)成的數(shù)據(jù)處理。將處理模塊分配給這些級。處理從輸入數(shù)據(jù)中順次提取的部分數(shù)據(jù)(例如， 數(shù)據(jù)片段或數(shù)據(jù)部分)，并根據(jù)前一級的處理結(jié)果來判斷是否在后續(xù)級中處理部分數(shù)據(jù)。在以下說明中，使用圖像數(shù)據(jù)作為輸入數(shù)據(jù)，并且使用利用圖像數(shù)據(jù)進行模式識別的識別器作為處理模塊，但輸入數(shù)據(jù)和處理模塊不限于此。例如，也可以應(yīng)用到與DNA堿基序列信息有關(guān)的模式識別或與音頻信號有關(guān)的模式識別。CPU 100通過執(zhí)行在作為只讀存儲器的ROM 101中存儲的各種程序來對數(shù)據(jù)處理設(shè)備進行整體控制。DRAM 103存儲要被處理的圖像數(shù)據(jù)。經(jīng)由DRAM控制器102將DRAM 103中存儲的圖像數(shù)據(jù)提供至控制器105。處理單元106包括用于進行模式識別的識別器 0 11。模塊結(jié)構(gòu)改變單元110分別將識別器0 11分配給預(yù)定數(shù)量的級，并連接識別器以使得在預(yù)定數(shù)量的級之間并且在至少一個級內(nèi)并行處理多個部分數(shù)據(jù)，后面將參考圖2 和3進行詳細說明。當(dāng)開始識別處理時，CPU 100從ROM 101中包括的處理設(shè)置數(shù)據(jù)存儲單元104獲得例如以特征量(例如，圖像條件)為代表的設(shè)置數(shù)據(jù)，并將數(shù)據(jù)設(shè)置在處理單元106內(nèi)的各識別器中。更具體地，在各識別器中，設(shè)置與識別器所屬的級相對應(yīng)的特征量(例如，在屬于級0的識別器中設(shè)置圖15A中示出的特征量210，以及在屬于級1的識別器中設(shè)置特征量 211)。而且，CPU 100從處理設(shè)置數(shù)據(jù)存儲單元104獲得例如以圖像數(shù)據(jù)位置(地址)為代表的設(shè)置數(shù)據(jù)，并將數(shù)據(jù)設(shè)置在控制器105中。此外，在該初始狀態(tài)下，CPU 100初始化模塊結(jié)構(gòu)改變單元110。模塊結(jié)構(gòu)改變單元110在初始狀態(tài)下設(shè)置識別器0 11的連接， 以使得并行地連接各自具有3個級的4個流水線結(jié)構(gòu)，后面將參考圖2和3說明。當(dāng)在控制器105、處理單元106和模塊結(jié)構(gòu)改變單元110中的設(shè)置結(jié)束時，CPU 100 將用于開始處理的通知發(fā)送至控制器105和處理單元106?？刂破?05通過基于所設(shè)置的圖像數(shù)據(jù)位置(地址)訪問DRAM控制器102，來從DRAM 103中存儲的圖像數(shù)據(jù)順次讀取矩形區(qū)域數(shù)據(jù)，并將該數(shù)據(jù)傳送至處理單元106。以上參考圖14A說明了矩形區(qū)域。處理單元106對傳送來的矩形區(qū)域圖像數(shù)據(jù)順次執(zhí)行識別處理。將處理結(jié)果存儲在結(jié)果存儲單元 112中。CPU 100可以通過讀取結(jié)果來獲得圖像數(shù)據(jù)中被判斷為面部的矩形區(qū)域的坐標(biāo)值。圖3是示出在模塊結(jié)構(gòu)改變單元110連接識別器0 11以使得并行連接各自具有3個級的4個流水線結(jié)構(gòu)的情況下的識別器的連接模式(初始狀態(tài))的圖。如圖2所示， 可以通過模塊結(jié)構(gòu)改變單元110切換連接來改變識別器的連接。在圖2中，識別器0連接至控制器105，以規(guī)定的順序連接識別器0、識別器1和識別器2，之后將識別器2的輸出提供至結(jié)果存儲單元112。將說明作為從控制器105輸入至識別器0的輸入圖像的一部分的矩形區(qū)域圖像數(shù)據(jù)(輸入數(shù)據(jù)ο :data_in0)。這里使用的valid信號為用于控制datajn是否有效的控制信號。如果識別器0判斷為True，則輸出valid_0ut = 1，以及如果識別器0判斷為i^alse， 則輸出 valid_out = 0。在檢測到控制信號的有效(Valid_in0 = 1)時，控制器105檢測到輸入了有效數(shù)據(jù)(data_in0)。然后，控制器105將有效數(shù)據(jù)(data_in0)輸出至識別器0的data_in,并將“1”輸出至識別器0的Valid_in，以表示輸入數(shù)據(jù)有效。在檢測到valid_in = 1時，識別器0基于輸入數(shù)據(jù)(datajn)進行識別處理，并輸出識別結(jié)果(valid_0Ut)。識別器0輸出的結(jié)果為輸入至識別器1的輸入信號valid_in。如果識別器0識別為True，則將輸入數(shù)據(jù)輸出至接下來的識別器1的datajn，并將表示輸入數(shù)據(jù)有效的“1”輸出至識別器1的 Valid_in，從而識別器1可以檢測和處理有效輸入數(shù)據(jù)。以上述方式，使用數(shù)據(jù)線傳遞輸入數(shù)據(jù)，利用有效線來控制是否輸入有效數(shù)據(jù)(是否進行處理)。如果識別器0 2的所有識別結(jié)果都為hue，則從識別器2輸出valid_0ut = 1，從而判斷為輸入數(shù)據(jù)0 (datajnO)包括面部。利用上述結(jié)構(gòu)，在3個級上分布的識別器可以同時完全并行地工作的情況下，與包括一個識別器的結(jié)構(gòu)相比，可以使處理速度增大到3倍。在圖3中，為了進一步增大上述時間上的并行處理的處理速度，連接識別器以進行空間上的并行處理。具體地，并行地連接各自在3個級上執(zhí)行處理的4個流水線結(jié)構(gòu)以實現(xiàn)總體快12倍的處理速度。因此，在圖3中示出的結(jié)構(gòu)中，使用表示矩形區(qū)域的坐標(biāo)位置的坐標(biāo)數(shù)據(jù)(coorcLin)以判斷處理結(jié)果所屬的矩形區(qū)域的坐標(biāo)，以進行空間上的并行處理。當(dāng)將 data_in 和 valid_in 輸入至控制器 105 時，將 data_inO、data_inl、data_in2 和data_in3依次輸入至針對級O安裝的4個識別器0、3、6和9。然后，在進行了空間上的并行處理之后，將coord_outO、coord_outl、coord_out2 和C00rd_0ut3從針對級2安裝的4個識別器2、5、8和11輸入至結(jié)果存儲單元112。換句話說，針對級O安裝的識別器的數(shù)量為4個，因此可以同時處理4個不同的矩形區(qū)域數(shù)據(jù) (data_inO、data_inl、data_in2和data_in3)。因此，與包括一個識別器的結(jié)構(gòu)相比，在可以完全同時并行地操作12個識別器的情況下，可以使處理速度增大到12倍。在圖2中，各信號線(輸入信號in和輸出信號out)是圖1中示出的3種類型的輸入/輸出信號(坐標(biāo)數(shù)據(jù)(coord_in/out)、圖像數(shù)據(jù)(data_in/out)和控制信號(valid_in/out))集中至單個線中的表示。返回至圖1，本實施例的數(shù)據(jù)處理設(shè)備還包括通過率檢測單元107、處理時間存儲單元108、計算單元109、通過率存儲單元115和通過率參考單元116。而且，模塊結(jié)構(gòu)改變單元110根據(jù)計算單元109的計算結(jié)果改變識別器之間的連接。通過率檢測單元107在接收到從各識別器輸出的識別結(jié)果信號(結(jié)果信號，與本實施例中的有效線相同)的輸入時，檢測(判斷)各級的通過率(使得后續(xù)級執(zhí)行處理的處理結(jié)果的比)。以區(qū)域和幀為單位，將通過率檢測單元107所檢測到的各級(識別器)的通過率存儲在通過率存儲單元115中。計算單元109(CPU 100所執(zhí)行的計算程序)通過使用通過率存儲單元115中存儲的前一幀的通過率(后面說明)和處理時間存儲單元108中存儲的各級的識別器處理時間來計算模塊結(jié)構(gòu)。接著，參考圖10和20說明通過率檢測單元107、通過率存儲單元115和通過率參考單元116的操作。圖10示出作為輸入至本實施例的數(shù)據(jù)處理設(shè)備的數(shù)據(jù)的示例圖像，其中示出當(dāng)前輸入數(shù)據(jù)(幀N)和前一輸入數(shù)據(jù)(幀N-1)。將要被處理的各數(shù)據(jù)(各幀的圖像)分成諸如區(qū)域0和區(qū)域1等的矩形區(qū)域，以及針對各矩形區(qū)域，計算、存儲和參考通過率。例如，當(dāng)對幀N的區(qū)域0進行識別處理時，通過率參考單元116參考通過率存儲單元 115中存儲的幀N-I的區(qū)域0的通過率。通過率檢測單元107接收各識別器輸出的識別結(jié)果信號的輸入，并且針對各級計算每一矩形區(qū)域的通過率。在幀N的區(qū)域0的數(shù)據(jù)處理完成的時刻，將與區(qū)域0相對應(yīng)的新的通過率存儲在通過率存儲單元115中。換句話說，通過率檢測單元107將圖像分成多個區(qū)域，而且針對各區(qū)域的圖像，基于輸入至各級的部分圖像的量和要被輸出至后續(xù)級的部分圖像的量，計算通過率。然后，通過率檢測單元107基于區(qū)域，將所計算出的各級的通過率保持在通過率存儲單元115中。代替通過率，可以保持累積通過率。上述以Viola & Jones方法為代表的識別處理還可應(yīng)用于運動圖像的識別。將該識別處理應(yīng)用于運動圖像的例子包括用于利用數(shù)字照相機檢測面部并且將焦點對準(zhǔn)該面部的處理、以及用于利用監(jiān)視攝像機檢測面部并且指定嫌疑人的處理等。當(dāng)將該識別處理應(yīng)用于運動圖像時，對圖18中示出的運動圖像的幀組1801中包括的各幀都進行識別處理。 此時，如圖18所示，作為幀(幀N)和緊挨著的前一幀(幀N-1)的圖像的圖像1803和1804 類似，因而很可能產(chǎn)生非常類似的處理結(jié)果。換句話說，在幀的處理期間，在前一幀的處理期間檢測到了面部的區(qū)域附近，很可能會檢測到面部。這是推測出來的，因為諸如面部或人的身體等要被識別的對象的移動速度相對運動圖像的幀頻來說十分慢。圖19示出幀N-I 和幀N的示例識別處理結(jié)果。該附圖中示出的數(shù)字表示在結(jié)束處理時獲得True的級編號。 從該附圖可以看出，幀之間的處理結(jié)果高度相關(guān)。因此，本實施例利用幀之間的這種關(guān)系以使用在當(dāng)前正處理的幀的前一幀中所檢測到的通過率來動態(tài)改變模塊結(jié)構(gòu)。將以要被識別的特定模式是人的面部的例子說明本實施例，但是要被識別的特定模式不局限于此。圖20是示出根據(jù)本實施例的模塊結(jié)構(gòu)改變處理的流程圖。首先，針對區(qū)域0，通過率參考單元116從通過率存儲單元115獲得通過前一幀的圖像的處理所獲得的通過率或累積通過率(S101、S102)。接著，計算單元109基于前一幀的圖像中的區(qū)域0的通過率或累積通過率，確定要分配給各級的識別器的數(shù)量(S103)。 然后，CPU 100基于計算單元109所計算出的識別器的數(shù)量控制模塊結(jié)構(gòu)改變單元110以將識別器分配至各級(S104)。利用這樣改變后的模塊結(jié)構(gòu)對要被處理的圖像(當(dāng)前幀的圖像)中的區(qū)域0的部分圖像進行判斷處理(S105)。當(dāng)對區(qū)域0的判斷處理結(jié)束時，將通過率檢測單元107檢測到的各級的通過率或累積通過率保持在通過率存儲單元115中(S106)，作為判斷處理的結(jié)果。此時，可以覆蓋與前一幀中的相應(yīng)區(qū)域有關(guān)的信息。對所有其余區(qū)域執(zhí)行上述從S102到S106的處理(S107 為“否”，則進入S108)，而且當(dāng)處理了所有區(qū)域時，處理結(jié)束(S107為“是”)。下面將詳細說明根據(jù)本實施例的模塊結(jié)構(gòu)改變處理(S102 S104)。在對各區(qū)域η的部分圖像的判斷處理中，當(dāng)處理了區(qū)域η的所有部分圖像時，處理可以移動至區(qū)域η+1，但本實施例不局限于此。例如，在將圖像在主掃描方向上分成N 個區(qū)域而且在副掃描方向上分成M個區(qū)域的情況下，可以對圖10中示出的區(qū)域0、區(qū)域
1.......以及區(qū)域N的第一行進行處理，然后對區(qū)域0、區(qū)域1.......以及區(qū)域N的第二
行進行處理。在這種情況下，每一次改變要被處理的區(qū)域時，都獲得相應(yīng)區(qū)域的通過率/累積通過率，其中，基于該通過率/累積通過率而改變對各級的識別器的分配。
模塊結(jié)構(gòu)改變單元110基于計算單元109所計算出的結(jié)構(gòu)信息來改變模塊結(jié)構(gòu)。 模塊結(jié)構(gòu)改變單元110由交叉開關(guān)(crossbar switch)構(gòu)成，以使得可以設(shè)置來自控制器 105的輸入信號(inO inll)、至結(jié)果存儲單元的輸出信號(outO outll)以及識別器 0 11的輸入/輸出信號的所有連接。通過連接(ON)多個水平設(shè)置的開關(guān)中的至多一個開關(guān)來建立輸入和輸出之間的連接。路徑(開關(guān))設(shè)置單元114控制開關(guān)的接通和斷開 (0N/0FF)(見圖 2)。接著，將說明計算單元109進行的、用于使用經(jīng)由通過率參考單元116參考通過率存儲單元115所獲得的各級的通過率和處理時間存儲單元108中存儲的各級的處理時間來計算模塊結(jié)構(gòu)的方法。以下將使用圖4A 4D(以下稱為例子1 4)中示出的特定時間時檢測到的通過率和處理時間詳細說明該方法。將針對級N安裝的每個識別器的處理時間定義為Tm[N]，并將級N中的累積通過率定義為P[N]。在這種情況下，可以通過以下等式(1)給出級N中每個輸入數(shù)據(jù)(矩形圖像數(shù)據(jù))的一個識別器所需的平均處理時間Td[N]Td[N] = Tm[N]*P[N]··· (1)因為Td[N]為每個識別器的平均處理時間，所以如果安裝了能夠處理同一級的多個識別器(模塊)，則可以共享級的處理。因此，如果將針對級N安裝的識別器(模塊)的數(shù)量定義為Num[N]，則可以通過以下等式( 給出級N中的每個輸入數(shù)據(jù)(矩形圖像數(shù)據(jù)) 的處理時間T [N]T [N] = Td [N]/Num [N] = (Tm [N] [N])/Num [N] — (2)如前所述，為了最優(yōu)化時間上的并行處理的效率，需要級具有均勻的處理時間。換句話說，通過確定Num[N]以使得T[N]在所有級是均勻的，可以計算應(yīng)該針對各級安裝的識別器的最佳數(shù)量。以下將說明計算單元109進行的、用于基于圖4A的例子1中示出的各級中每個識別器的處理時間Tm和與累積通過率P有關(guān)的信息，來計算應(yīng)該針對級0、1或2安裝的識別器的最佳數(shù)量(NumW]、Num[l]或Num[2])的方法。為了使處理時間在所有級上均勻，僅需要確定針對各級分配的識別器的數(shù)量 (Num
, Num [1]或 Num[2])以滿足(Tm
*P
)/Num
= (Tm[l]*P[1])/Num[l] = (Tm[2]*P[2])/Num[2]…(3)S卩，根據(jù)各級的處理時間和使用累積通過率所確定的各級中處理的數(shù)據(jù)量，來確定針對各級分配的識別器的數(shù)量，以使得在各級的處理時間均勻。將例子1中的每個識別器的處理時間Tm和累積通過率P代入等式(3)中得到(l*l)/Num
= (1*1/2)/Num[l] = (1* (1/2*1/2))/Num[2]，然后得到Num
Num[l] Num[2] =4 2 1. · · (4)。因此，通過使用通過率參考單元116所參考的通過率、構(gòu)造各級以使得各級的識別器(處理模塊)的數(shù)量滿足等式⑷的比，可以實現(xiàn)停止的模塊的數(shù)量小的最佳電路結(jié)構(gòu)。例子2、3和4還示出以相同的方式計算級中的模塊的數(shù)量比的例子。其中，在圖4B的例子2中，
權(quán)利要求
1.一種數(shù)據(jù)處理設(shè)備，其執(zhí)行用于判斷從運動圖像的各幀的圖像中順次提取的部分圖像是否與特定模式相對應(yīng)的判斷處理，其中，所述判斷處理具有多個級，所述數(shù)據(jù)處理設(shè)備包括多個識別器，其被分配至所述多個級中的任一個級，并且用于通過與所分配的級相應(yīng)的識別處理判斷所述部分圖像是否與所述特定模式相對應(yīng)，并且當(dāng)判斷為所述部分圖像與所述特定模式相對應(yīng)時，將所述部分圖像輸出至后續(xù)級，以使所述部分圖像在所述后續(xù)級中被處理；分配部件，用于針對各級分配所述多個識別器，使得并行處理多個部分圖像；計算部件，用于將圖像分成多個區(qū)域，并且針對各區(qū)域的圖像，根據(jù)輸入至級的部分圖像的數(shù)量與被判斷為與所述特定模式相對應(yīng)的部分圖像的數(shù)量的比，計算通過率或者累積通過率，而且針對每級將所計算出的通過率或者累積通過率保持在保持部件中；以及改變部件，用于從所述保持部件獲取從正被處理的圖像中提取的部分圖像所屬的區(qū)域的、前次處理的圖像的通過率或者累積通過率，并且基于所獲取的通過率或者累積通過率， 改變所述分配部件對各級的識別器的分配。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理設(shè)備，其特征在于，所述改變部件基于所述保持部件中保持的通過率或者累積通過率，計算各級中要處理的數(shù)據(jù)量，基于級之間的數(shù)據(jù)量的比來確定要分配給各級的識別器的數(shù)量，并且根據(jù)所確定的識別器的數(shù)量來改變對各級的識別器的分配。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理設(shè)備，其特征在于，還包括存儲部件，所述存儲部件用于針對所述多個級中的各級，存儲各識別器處理所述部分圖像所需的處理時間，其中，所述改變部件基于通過率或者累積通過率，計算各級中要處理的數(shù)據(jù)量，并且針對各級，確定要分配給各級的識別器的數(shù)量，使得根據(jù)所述數(shù)據(jù)量、所述處理時間和要分配給各級的識別器的數(shù)量所獲得的各級的平均處理時間的最大值最小化。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理設(shè)備，其特征在于，所述改變部件監(jiān)視各識別器的處理是否結(jié)束，并且當(dāng)所分配的識別器的數(shù)量在相鄰級之間不同時，按照相鄰級中的前一級中的識別器的處理結(jié)束的順序，將所述前一級中的識別器連接至相鄰級中的后續(xù)級中的處理已經(jīng)結(jié)束的識別器。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理設(shè)備，其特征在于，還包括檢測部件，所述檢測部件用于基于被攝體在幀之間的移動來檢測各像素的運動矢量，其中，所述改變部件將各像素的位置回移相應(yīng)運動矢量所表示的移動量，從所述保持部件獲取移動后的位置所屬的區(qū)域的通過率或者累積通過率，并且基于所獲取的通過率或者累積通過率來改變所述分配部件對各級的識別器的分配。
6.一種數(shù)據(jù)處理設(shè)備的控制方法，其中，所述數(shù)據(jù)處理設(shè)備執(zhí)行用于判斷從運動圖像的各幀的圖像中順次提取的部分圖像是否與特定模式相對應(yīng)的判斷處理，所述判斷處理具有多個級，而且所述數(shù)據(jù)處理設(shè)備包括多個識別器，所述多個識別器被分配至所述多個級中的任一個級，并且所述多個識別器通過與所分配的級相應(yīng)的識別處理判斷所述部分圖像是否與所述特定模式相對應(yīng)，當(dāng)判斷為所述部分圖像與所述特定模式相對應(yīng)時，所述多個識別器將所述部分圖像輸出至后續(xù)級，以使所述部分圖像在所述后續(xù)級中被處理，所述控制方法包括以下步驟分配步驟，用于針對各級分配所述多個識別器，使得并行處理多個部分圖像； 將圖像分成多個區(qū)域，并且針對各區(qū)域的圖像，根據(jù)輸入至級的部分圖像的數(shù)量與被判斷為與所述特定模式相對應(yīng)的部分圖像的數(shù)量的比，計算通過率或者累積通過率，而且針對每級將所計算出的通過率或者累積通過率保持在保持單元中；以及從所述保持單元獲取從正被處理的圖像中提取的部分圖像所屬的區(qū)域的、前次處理的圖像的通過率或者累積通過率，并且基于所獲取的通過率或者累積通過率，改變所述分配步驟中對各級的識別器的分配。
全文摘要
本發(fā)明提供一種數(shù)據(jù)處理設(shè)備及其控制方法，該數(shù)據(jù)處理設(shè)備使用多個級執(zhí)行用于判斷從運動圖像的各幀的圖像中順次提取的部分圖像是否與特定模式相對應(yīng)的判斷處理，并且針對各級分配多個識別器，使得并行處理多個部分圖像。數(shù)據(jù)處理設(shè)備將圖像分成多個區(qū)域，針對各區(qū)域的圖像，根據(jù)輸入至級的部分圖像的數(shù)量和被判斷為與特定模式相對應(yīng)的部分圖像的數(shù)量之間的比，計算通過率或者累積通過率?；趶恼惶幚淼膱D像中提取的部分圖像所屬的區(qū)域的前一處理圖像的通過率或者累積通過率，改變對各級的識別器的分配。
文檔編號G06K9/62GK102346856SQ201110206610
公開日2012年2月8日 申請日期2011年7月21日 優(yōu)先權(quán)日2010年7月21日
發(fā)明者名取良子, 白神慎二 申請人:佳能株式會社