專利名稱：圖像處理方法,圖像處理裝置,顯示裝置以及程序的制作方法
技術(shù)領(lǐng)域：
0001本發(fā)明涉及補(bǔ)償鄰接的幀間的圖像運(yùn)動(dòng)的插補(bǔ)圖像的技術(shù)。
背景技術(shù)：
0002生成插補(bǔ)圖像，例如為了幀補(bǔ)償而需要。在幀補(bǔ)償中，插補(bǔ)圖像被插入到影像內(nèi)鄰接的幀間。因此，通過幀補(bǔ)償提高影像的顯示質(zhì)量時(shí)，需要生成符合鄰接的幀間圖像運(yùn)動(dòng)的插補(bǔ)圖像。因此，開發(fā)了為了幀補(bǔ)償，在生成插補(bǔ)圖像時(shí)，對(duì)分割幀得到的多個(gè)塊的每一個(gè)，檢測(cè)運(yùn)動(dòng)矢量，用檢測(cè)的運(yùn)動(dòng)矢量生成插補(bǔ)圖像的技術(shù)。在該技術(shù)中，能否以充分高的概率檢測(cè)正確的運(yùn)動(dòng)矢量成為關(guān)鍵。
0003一般，檢測(cè)運(yùn)動(dòng)矢量時(shí)，使用所謂的塊匹配法，來(lái)比較圖像。在塊匹配法中，根據(jù)與處理對(duì)象的塊鄰接的幀，搜索與該塊相同尺寸和形狀的區(qū)域，比較根據(jù)搜索確定區(qū)域的圖像和該塊的圖像。根據(jù)搜索確定的區(qū)域是多個(gè)，上述比較是對(duì)每個(gè)確定的區(qū)域都進(jìn)行的。因此，如果將區(qū)域的搜索范圍作為幀全體，比較次數(shù)(運(yùn)算量)變多，根據(jù)影像的幀率，實(shí)時(shí)進(jìn)行幀補(bǔ)償變得不現(xiàn)實(shí)。
0004作為抑制比較次數(shù)的方法有，根據(jù)與處理對(duì)象的塊空間上或者時(shí)間上鄰接的塊的運(yùn)動(dòng)矢量，限制搜索范圍的方法(非專利文獻(xiàn)1)。所謂空間上鄰接的塊是指，在與處理對(duì)象的塊相同的幀內(nèi)與該塊鄰接的塊。時(shí)間的相鄰接的塊是指，在與包含處理對(duì)象的塊的幀鄰接的幀內(nèi)的，相當(dāng)于該塊位置的塊和與該塊鄰接的塊。以后，將兩者稱為“鄰接塊”。
0005由該方法檢測(cè)的運(yùn)動(dòng)矢量，成為與鄰接塊的運(yùn)動(dòng)矢量不是顯著不同的矢量。即，成為空間上和時(shí)間上連續(xù)的運(yùn)動(dòng)矢量。在一般的影像中，在與某塊鄰接塊之間，正確的運(yùn)動(dòng)矢量相差很大的很少，正確的運(yùn)動(dòng)矢量多成為空間上和時(shí)間的連續(xù)的運(yùn)動(dòng)矢量。因此，通過上述方法，能夠以高精度地檢測(cè)運(yùn)動(dòng)矢量。
非專利文獻(xiàn)1ベラ一ス(E.B.Bellers)，ハ一ン(G de Haan)著.『デ.ィンタ一レ一シングァ.キ一.テクノロジ一.フォ一.スキャン.レ一ト.コンバ一ジョン(De-interlacingA Key Technology for Scan RateConversion)』，(オランダ)、ェルゼビァ(ELSEVIER)，2000.9，p.111-115。

發(fā)明內(nèi)容
0006但是，在上述方法中，有時(shí)運(yùn)動(dòng)矢量的檢測(cè)精度不充分。例如，對(duì)從上空拍攝的從網(wǎng)球場(chǎng)上高速移動(dòng)過的球的影像，進(jìn)行幀補(bǔ)償?shù)那闆r。這種情況下，幀內(nèi)的多數(shù)塊群被網(wǎng)球場(chǎng)的靜止圖像占據(jù)，被這些塊群包圍的塊群由高速移動(dòng)的球的圖像占據(jù)。檢測(cè)與網(wǎng)球場(chǎng)塊鄰接的球的塊的運(yùn)動(dòng)矢量時(shí)，對(duì)于網(wǎng)球場(chǎng)的塊，根據(jù)已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量限制此搜索范圍，由于相對(duì)于網(wǎng)球場(chǎng)的塊的正確的運(yùn)動(dòng)矢量的大小為零，球的塊的正確的運(yùn)動(dòng)矢量的大小顯著變大，在限制的搜索范圍的搜索不能檢測(cè)正確的運(yùn)動(dòng)矢量的可能性高。并且，如果檢測(cè)不正確的運(yùn)動(dòng)矢量，根據(jù)此運(yùn)動(dòng)矢量限制下一個(gè)塊的搜索范圍，下一個(gè)塊的運(yùn)動(dòng)矢量的檢測(cè)精度也降低。
本發(fā)明目的在于，根據(jù)上述情況，以現(xiàn)實(shí)的運(yùn)算量，能夠以充分高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量的圖像處理方法、圖像處理裝置、顯示裝置以及程序。
0007本發(fā)明中的圖像處理方法具有，在生成補(bǔ)償鄰接的幀間圖像的運(yùn)動(dòng)的插補(bǔ)圖像的圖像處理方法中，其特征在于，具有檢測(cè)步驟，將幀分割為多個(gè)塊，將各塊的圖像與鄰接的幀的搜索范圍內(nèi)所包含的圖像進(jìn)行比較，根據(jù)比較結(jié)果，檢測(cè)該塊的運(yùn)動(dòng)矢量；和插補(bǔ)圖像生成步驟，其使用上述檢測(cè)步驟中檢測(cè)的運(yùn)動(dòng)矢量，生成上述插補(bǔ)圖像，在上述檢測(cè)步驟中，在每個(gè)塊中選擇上述搜索范圍廣的第1處理和上述搜索范圍窄的第2處理作為檢測(cè)運(yùn)動(dòng)矢量的處理，對(duì)于選擇了上述第2處理的塊，根據(jù)與該塊鄰接的塊的已經(jīng)檢測(cè)出的運(yùn)動(dòng)矢量，確定上述搜索范圍?！皫笔菢?gòu)成影像的單位，“影像”將多個(gè)幀的圖像排列在時(shí)間軸上的。
通過該圖像處理方法，對(duì)于選擇第2處理的塊，對(duì)于該塊的鄰接塊，根據(jù)已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量，確定搜索范圍，與不進(jìn)行這樣的搜索范圍確定的方式相比較，容易檢測(cè)空間上和時(shí)間的連續(xù)的正確的運(yùn)動(dòng)矢量。另外，對(duì)每塊選擇搜索范圍寬的第1處理和搜索范圍窄的第2處理，對(duì)于選擇第1處理的塊，由于在與選擇第2處理的塊的搜索范圍相比寬的搜索范圍中檢測(cè)運(yùn)動(dòng)矢量，與對(duì)所有的塊通過第2處理檢測(cè)運(yùn)動(dòng)矢量的方式相比，檢測(cè)空間上或者時(shí)間上不連續(xù)的正確的運(yùn)動(dòng)矢量變得容易。另外，在圖像處理方法中，由于對(duì)選擇第2處理的塊，根據(jù)與該塊鄰接的塊已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量確定搜索范圍，根據(jù)以充分高的精度檢測(cè)的運(yùn)動(dòng)矢量，能夠檢測(cè)運(yùn)動(dòng)矢量。與以上相比，通過該圖像處理方法，能夠以充分高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量。因此，包含與上述鄰接的塊時(shí)間上鄰接的塊情況中的運(yùn)動(dòng)矢量的檢測(cè)精度的向上速度大幅度地提高。
在該圖像處理方法中，檢測(cè)某塊的運(yùn)動(dòng)矢量時(shí)，比較該塊的圖像和搜索范圍中包含的圖像。搜索范圍越寬該比較的次數(shù)越多，搜索范圍越窄該比較的次數(shù)越少。即，圖像的比較次數(shù)，在選擇第1處理的塊的運(yùn)動(dòng)矢量的檢測(cè)中變多，在選擇第2處理的塊的運(yùn)動(dòng)矢量的檢測(cè)中變少。基本上，由于對(duì)1塊選擇一種處理，生成插補(bǔ)圖像時(shí)需要的圖像的比較次數(shù)は，與對(duì)所有的塊，通過第1處理檢測(cè)運(yùn)動(dòng)矢量的方式相比較，變少。因此，通過該圖像處理方法，能夠以現(xiàn)實(shí)的運(yùn)算量檢測(cè)運(yùn)動(dòng)矢量。
0008在上述圖像處理方法中，上述檢測(cè)步驟中，判定成為檢測(cè)對(duì)象的塊是否為確定的塊，是上述確定的塊時(shí)，可以對(duì)該塊選擇上述第1處理。例如，也可以周期的選擇第1處理。更具體的說，也可以每一常數(shù)塊選擇第1處理。通過該方式，能夠?qū)⒂傻?處理連續(xù)地檢測(cè)不正確的運(yùn)動(dòng)矢量的塊數(shù)抑制到不足一定數(shù)。另外也可以具有例如，表示上述鄰接的幀的圖像間的各像素中的灰度值之差的、生成差圖像的差圖像生成步驟；和根據(jù)上述差圖像，確定上述確定的塊的確定步驟。通過該方式，對(duì)于即使通過搜索范圍窄的第2處理也可以檢測(cè)正確的運(yùn)動(dòng)矢量的塊，能夠減少選擇搜索范圍寬的第1處理導(dǎo)致的浪費(fèi)。并且，在該方式中，也可以在上述確定步驟中，在規(guī)定的時(shí)間內(nèi)執(zhí)行從上述差圖像生成步驟到上述插補(bǔ)圖像生成步驟，并且，設(shè)定塊的數(shù)量?！耙?guī)定的時(shí)間”是，例如可以實(shí)時(shí)進(jìn)行幀補(bǔ)償?shù)臅r(shí)間。并且，在該方式中，也可以根據(jù)某些優(yōu)先順序，確定確定的塊。
0009在上述圖像處理方法中，在上述檢測(cè)步驟中，如果檢測(cè)選擇上述第2處理的塊的運(yùn)動(dòng)矢量，根據(jù)在該檢測(cè)時(shí)得到的上述比較結(jié)果，判斷該檢測(cè)的精度是否滿足基準(zhǔn)，不滿足上述基準(zhǔn)時(shí)，也可以選擇上述第1處理，作為該塊的檢測(cè)運(yùn)動(dòng)矢量的處理。
通過該方式，能夠通過第2處理，將連續(xù)檢測(cè)到不正確的運(yùn)動(dòng)矢量的塊數(shù)作為零。因此，能夠以更高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量。另外，由于通過第1處理能夠檢測(cè)運(yùn)動(dòng)矢量，被局限到通過第2處理的運(yùn)動(dòng)矢量的檢測(cè)精度不滿足基準(zhǔn)的塊，能夠以現(xiàn)實(shí)的運(yùn)算量檢測(cè)運(yùn)動(dòng)矢量，另一方面，即使通過搜索范圍窄的限制搜索，對(duì)于可以檢測(cè)正確的運(yùn)動(dòng)矢量的塊，能夠節(jié)省進(jìn)行搜索范圍寬的廣域搜索的浪費(fèi)。并且，作為判斷運(yùn)動(dòng)矢量是檢測(cè)精度是否滿足基準(zhǔn)的判定方法，能夠例舉例如，將檢測(cè)運(yùn)動(dòng)矢量時(shí)得到的比較結(jié)果保持原樣或者加工，作為該檢測(cè)精度的評(píng)價(jià)值，通過比較該評(píng)價(jià)值和基準(zhǔn)值，進(jìn)行判斷的方法。
0010一般，進(jìn)行寬的搜索范圍的處理，不進(jìn)行窄搜索范圍處理的系統(tǒng)中，采用比幀整個(gè)范圍窄的搜索范圍，作為搜索范圍。因此，需要決定搜索范圍的位置。通常，作為該位置，采用適應(yīng)要求運(yùn)動(dòng)矢量的塊的位置。在上述各方式中，也可以根據(jù)該例子，決定第1處理的搜索范圍的位置。但是，此時(shí)，第1處理沒有，空間上連續(xù)的檢測(cè)運(yùn)動(dòng)矢量的處理。因此，在上述檢測(cè)步驟中，通過上述第1處理檢測(cè)第2個(gè)以后的塊的運(yùn)動(dòng)矢量時(shí)，在與該塊相同的幀中，也可以根據(jù)與該塊鄰接的其他塊已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量確定上述搜索范圍。通過這樣做，對(duì)于第2個(gè)以后的塊，通過第1處理，能夠檢測(cè)空間上連續(xù)的運(yùn)動(dòng)矢量。由于正確的運(yùn)動(dòng)矢量多，成為空間上連續(xù)的運(yùn)動(dòng)矢量，通過該方式，能夠以更高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量。
0011本發(fā)明中的圖像處理裝置特征在于，在生成補(bǔ)償鄰接的幀間圖像運(yùn)動(dòng)的插補(bǔ)圖像的圖像處理裝置中具有，將幀分割為多個(gè)塊，將各塊圖像與鄰接的幀的搜索范圍包含的圖像相比較，根據(jù)比較結(jié)果，檢測(cè)該塊的運(yùn)動(dòng)矢量的檢測(cè)電路，和使用由上述檢測(cè)電路檢測(cè)的運(yùn)動(dòng)矢量，生成上述插補(bǔ)圖像的生成電路，上述檢測(cè)電路，作為檢測(cè)運(yùn)動(dòng)矢量的處理，對(duì)每個(gè)塊選擇上述搜索范圍寬的第1處理和上述搜索范圍窄的第2處理，對(duì)于選擇上述第2處理的塊，根據(jù)與該塊鄰接的塊已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量確定上述搜索范圍。
通過該圖像處理裝置，對(duì)于選擇第2處理的塊，由于對(duì)于該塊的鄰接塊，根據(jù)已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量，確定搜索范圍，與進(jìn)行這樣的搜索范圍確定的方式相比較，變得容易檢測(cè)空間上和時(shí)間的連續(xù)的正確的運(yùn)動(dòng)矢量。另外，對(duì)每塊選擇搜索范圍寬的第1處理和搜索范圍窄的第2處理，對(duì)于選擇第1處理的塊，由于以比選擇第2處理的塊的搜索范圍寬的搜索范圍檢測(cè)運(yùn)動(dòng)矢量，與對(duì)所有的塊由第2處理檢測(cè)運(yùn)動(dòng)矢量的方式相比較，檢測(cè)空間上或者時(shí)間上不連續(xù)的正確的運(yùn)動(dòng)矢量變得容易。另外，在該圖像處理裝置中，由于對(duì)選擇第2處理的塊，根據(jù)與該塊鄰接的塊已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量，確定搜索范圍，可以以充分高的精度檢測(cè)運(yùn)動(dòng)矢量，意味著可以以充分高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量。因此，通過該圖像處理裝置，能夠以充分高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量。
在該圖像處理裝置中，檢測(cè)某塊的運(yùn)動(dòng)矢量時(shí)，比較該塊的圖像和搜索范圍包含的圖像。搜索范圍越寬該比較的次數(shù)越多，搜索范圍越窄該比較的次數(shù)變得越少。即，圖像的比較次數(shù)，選擇第1處理的塊的運(yùn)動(dòng)矢量的檢測(cè)變多，選擇第2處理的塊的運(yùn)動(dòng)矢量的檢測(cè)變少。對(duì)于1個(gè)塊，選擇一個(gè)處理后，生成插補(bǔ)圖像時(shí)需要的圖像的比較的次數(shù)，與對(duì)所有的塊，通過第1處理檢測(cè)運(yùn)動(dòng)矢量的方式相比較，變少。因此，通過該圖像處理裝置，能夠以現(xiàn)實(shí)的運(yùn)算量檢測(cè)運(yùn)動(dòng)矢量。
0012

本發(fā)明中的顯示裝置特征在于，具有上述的圖像處理裝置；和根據(jù)提供的電氣能量變化發(fā)光特性或者光的透過特性的多個(gè)電光學(xué)元件排列成面狀的電光學(xué)裝置，通過上述圖像處理裝置，根據(jù)生成的上述插補(bǔ)圖像變化上述多個(gè)電光學(xué)元件的發(fā)光特性或者光的透過特性顯示該插補(bǔ)圖像。
作為電光學(xué)元件中，根據(jù)提供的電氣能量，發(fā)光特性變化的元件，能夠例舉OLED(Organic Light-Emitting Diode)元件，無(wú)機(jī)EL(ElectroLuminescent)元件，場(chǎng)發(fā)射(FE)元件，表面導(dǎo)電型發(fā)射(SESurface-conduction Electron-emitter)元件，沖擊電子發(fā)射(BSBallisticelectron Surface emitting)元件，LED(Light Emitting Diode)元件等各種發(fā)光元件。作為根據(jù)提供的電氣能量改變光的透過特性的元件能夠例舉，液晶的像素或電氣泳動(dòng)顯示器的像素等各種，根據(jù)電氣的能量變化光的透過率的光閥像素。
由于通過該顯示裝置，具有上述圖像處理裝置，能夠以現(xiàn)實(shí)的運(yùn)算量，以充分高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量。因此，能夠顯示高質(zhì)量的插補(bǔ)圖像。
0013本發(fā)明中的程序是用于讓生成補(bǔ)償鄰接的幀間的圖像運(yùn)動(dòng)的插補(bǔ)圖像的圖像處理裝置執(zhí)行，檢測(cè)步驟，其將幀分割為多個(gè)塊，將各塊的圖像與鄰接的幀的搜索范圍包含的圖像相比較，根據(jù)比較結(jié)果檢測(cè)該塊的運(yùn)動(dòng)矢量；插補(bǔ)圖像生成步驟，其使用上述檢測(cè)步驟中檢測(cè)的運(yùn)動(dòng)矢量生成上述插補(bǔ)圖像的程序，其特征在于，在上述檢測(cè)步驟中，作為檢測(cè)運(yùn)動(dòng)矢量的處理，對(duì)每個(gè)塊選擇上述搜索范圍寬的第1處理和上述搜索范圍窄的第2處理，對(duì)于選擇上述第2處理的塊，根據(jù)與該塊鄰接的塊的已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量確定上述搜索范圍。
通過該程序，能夠進(jìn)行上述圖像處理方法。因此，以現(xiàn)實(shí)的運(yùn)算量，能夠以充分高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量。


圖1是表示本發(fā)明的各實(shí)施方式中的圖像顯示裝置1(1A、1B、1C)的構(gòu)成的圖。
圖2是用于說明通過構(gòu)成圖像顯示裝置1的插補(bǔ)圖像生成電路15的插補(bǔ)圖像數(shù)據(jù)的生成的圖。
圖3是用于說明通過構(gòu)成圖像顯示裝置1的運(yùn)動(dòng)矢量運(yùn)算電路14的運(yùn)動(dòng)矢量的檢測(cè)的概略的圖。
圖4是用于說明通過運(yùn)動(dòng)矢量運(yùn)算電路14的廣域搜索的圖。
圖5是用于說明通過運(yùn)動(dòng)矢量運(yùn)算電路14的限制搜索的圖。
圖6是用于對(duì)塊編號(hào)進(jìn)行說明的圖。
圖7是用于說明只進(jìn)行限制搜索時(shí)的問題點(diǎn)的圖。
圖8是表示通過本發(fā)明第1實(shí)施方式中的運(yùn)動(dòng)矢量運(yùn)算電路14A，只進(jìn)行限制搜索的限制塊和只進(jìn)行廣域搜索的廣域塊配置的圖。
圖9是用于說明矢量運(yùn)算電路14A功能的圖。
圖10是本發(fā)明第1實(shí)施方式中的運(yùn)動(dòng)矢量檢測(cè)處理的流程圖。
圖11是用于說明本發(fā)明第2實(shí)施方式中的矢量運(yùn)算電路14B功能的圖。
圖12是本發(fā)明第2實(shí)施方式中的運(yùn)動(dòng)矢量檢測(cè)處理的流程圖。
圖13是用于說明本發(fā)明第3實(shí)施方式中的矢量運(yùn)算電路14C的功能的圖。
圖14是本發(fā)明第3實(shí)施方式中的運(yùn)動(dòng)矢量檢測(cè)處理的流程圖。
圖15是采用圖像顯示裝置1作為顯示裝置的移動(dòng)式個(gè)人計(jì)算機(jī)構(gòu)成的圖。
圖16是表示采用圖像顯示裝置1作為顯示裝置的攜帶電話機(jī)的構(gòu)成的圖。
圖17是表示采用圖像顯示裝置1作為顯示裝置的攜帶信息終端構(gòu)成的圖。
0066圖中1(1A、1B、1C)-圖像顯示裝置，10(10A、10B、10C)-圖像處理裝置，10(14A、14B、14C)-運(yùn)動(dòng)矢量運(yùn)算電路，15-插補(bǔ)圖像生成電路，20-電光學(xué)裝置。
具體實(shí)施例方式
0014一邊參照附圖，一邊對(duì)本發(fā)明的最佳實(shí)施方式進(jìn)行說明。說明的實(shí)施方式是第1～第3共3個(gè)。各圖的符號(hào)中，“A”～“C”意味著是，分別對(duì)應(yīng)第1～第3實(shí)施方式的符號(hào)。在以后的說明中，首先，對(duì)各實(shí)施方式中共通的部分進(jìn)行說明，接著，對(duì)各實(shí)施方式固有的部分按順序進(jìn)行說明。
0015(各實(shí)施方式中共通的部分)圖1是表示本發(fā)明各實(shí)施方式中的圖像顯示裝置1(1A、1B、1C)構(gòu)成的圖。圖像顯示裝置1是，輸入幀率為60Hz低速度影像，通過幀補(bǔ)償將該低速度影像變換為幀率為120Hz的高速度影像進(jìn)行顯示的裝置，具備圖像處理裝置10(10A，10B，10C)和電光學(xué)裝置20。圖像處理裝置10，輸入低速度影像的影像數(shù)據(jù)D1，通過幀補(bǔ)償將影像數(shù)據(jù)D1變換為高速度影像的影像數(shù)據(jù)D2，輸出其。影像數(shù)據(jù)D1和D2的幀是同一尺寸。
0016電光學(xué)裝置20是，根據(jù)提供的電氣能量變化發(fā)光特性或者光的透過特性的多個(gè)電光學(xué)元件被排列成面狀的保持型顯示裝置，輸出從圖像處理裝置10輸出的影像數(shù)據(jù)D2，根據(jù)多個(gè)電光學(xué)元件的發(fā)光特性或者影像數(shù)據(jù)D2，變化光的透過特性，顯示影像數(shù)據(jù)D2的影像。電光學(xué)元件為例如OLED元件等發(fā)光元件。
0017在保持型顯示裝置中，產(chǎn)生圖像中包含的被拍攝物體的移動(dòng)和要追蹤其的觀察者的視點(diǎn)的移動(dòng)的偏差引起的、由觀察者感覺的被拍攝物體的輪廓變得不清楚的現(xiàn)象(以下稱為“運(yùn)動(dòng)圖像延遲(ボケ)”)。作為用于解決該運(yùn)動(dòng)圖像延遲的對(duì)策，并不是在幀期間的全程維持各發(fā)光元件的灰度，有如以CRT(Cathode Ray Tube)為代表的脈沖型顯示裝置，使各發(fā)光元件間歇的發(fā)光的方法。可是，如果各發(fā)光元件發(fā)光的各期間有間隔，圖像整體的亮度周期性變動(dòng)的被稱為閃爍的現(xiàn)象變得顯著。因此，在本發(fā)明的各實(shí)施方式中，通過由幀補(bǔ)償提高影像的幀率，防止運(yùn)動(dòng)圖像延遲和閃爍。
并且，即使在上述保持型顯示裝置中，控制發(fā)光和透過光的時(shí)間比率，例如如果在不產(chǎn)生閃爍的范圍內(nèi)并用，縮短發(fā)光時(shí)間，提高幀率，也能夠進(jìn)行進(jìn)一步減少運(yùn)動(dòng)圖像延遲的顯示。
0018圖像處理裝置10具備輸入緩沖器11，當(dāng)前幀緩沖器12，前一幀緩沖器13，運(yùn)動(dòng)矢量運(yùn)算電路14(14A，14B，14C)，插補(bǔ)圖像生成電路15以及影像合成電路16。輸入緩沖器11，輸入影像數(shù)據(jù)D1，以幀單位輸出。當(dāng)前幀緩沖器12保持從輸入緩沖器11輸出的最新的幀的圖像數(shù)據(jù)。以后，將現(xiàn)在保持在幀緩沖器12中的圖像數(shù)據(jù)幀稱為“當(dāng)前幀”。在該保持開始之前，前一幀緩沖器13，開始保持在當(dāng)前幀緩沖器12中的圖像數(shù)據(jù)的保持。以后，將保持在前一幀緩沖器1 3中的圖像數(shù)據(jù)的幀稱為“前一幀”。
0019運(yùn)動(dòng)矢量運(yùn)算電路14，通過使用當(dāng)前幀的圖像數(shù)據(jù)和前一幀的圖像數(shù)據(jù)的運(yùn)算，檢測(cè)表示從前一幀到當(dāng)前幀的被拍攝物體的運(yùn)動(dòng)的運(yùn)動(dòng)矢量。插補(bǔ)圖像生成電路15，生成、輸出插補(bǔ)圖像數(shù)據(jù)。運(yùn)動(dòng)矢量運(yùn)算電路14和插補(bǔ)圖像生成電路15，通過DSP(數(shù)字·信號(hào)·處理器)，或者通過計(jì)算機(jī)執(zhí)行能夠?qū)崿F(xiàn)適應(yīng)各實(shí)施方式的程序。
0020由插補(bǔ)圖像生成電路15生成的插補(bǔ)圖像數(shù)據(jù)是表示插入到前一幀和當(dāng)前幀中間的中間幀的圖像(以后，“插補(bǔ)圖像”)的數(shù)據(jù)。
該插入是為了補(bǔ)償影像中的被拍攝物體的運(yùn)動(dòng)而形成的，在插補(bǔ)圖像數(shù)據(jù)的生成中需要運(yùn)動(dòng)補(bǔ)償。因此，在本發(fā)明的各實(shí)施方式中，使用由運(yùn)動(dòng)矢量運(yùn)算電路14檢測(cè)的運(yùn)動(dòng)矢量和當(dāng)前幀的圖像數(shù)據(jù)，生成插補(bǔ)圖像數(shù)據(jù)。影像合成電路16依次輸出，每1/60秒更新的前一幀的圖像數(shù)據(jù)，和每1/60秒生成的插補(bǔ)圖像數(shù)據(jù)。這樣影像數(shù)據(jù)D2被輸出。在影像數(shù)據(jù)D2中，在影像數(shù)據(jù)D1的鄰接幀的中間存在插補(bǔ)圖像數(shù)據(jù)的幀。
0021圖2是用于對(duì)通過插補(bǔ)圖像生成電路15的插補(bǔ)圖像數(shù)據(jù)的生成進(jìn)行說明的圖。在該圖的例子中，在幀補(bǔ)償前的影像中，在鄰接的第N-1幀和第N幀中間，插入插補(bǔ)圖像生成電路15生成的第N-1/2幀。如該圖所示，為了補(bǔ)償影像中的被拍攝物體運(yùn)動(dòng)，第N-1/2幀的插補(bǔ)圖像數(shù)據(jù)是應(yīng)該以第N-1/2幀內(nèi)的被拍攝物體G1位于表示第N-1幀和第N幀之間的被拍攝物體G1的運(yùn)動(dòng)的直線上的方式生成的。即，正確地檢測(cè)將上述直線，或者該直線投影到幀上得到的運(yùn)動(dòng)矢量很重要。
0022圖3是用于說明，由運(yùn)動(dòng)矢量運(yùn)算電路14檢測(cè)運(yùn)動(dòng)矢量的概略的圖。該檢測(cè)是由眾所周知的塊匹配法進(jìn)行的。在塊匹配法中，例如，檢測(cè)表示從前一幀到當(dāng)前幀的被拍攝物體的運(yùn)動(dòng)的運(yùn)動(dòng)矢量時(shí)，將前一幀分割為同一形狀和尺寸的多個(gè)塊，對(duì)各塊檢測(cè)運(yùn)動(dòng)矢量。在關(guān)于各塊的檢測(cè)中，一邊在當(dāng)前幀中，進(jìn)行按順序確定與該塊相同形狀和尺寸的區(qū)域的搜索，一邊比較該塊的圖像和確定區(qū)域的圖像，根據(jù)比較結(jié)果確定該塊的運(yùn)動(dòng)矢量。該比較和確定的方法是任意的。例如，也可以確定使對(duì)應(yīng)的位置的像素間的灰度值的差值的絕對(duì)值，對(duì)所有像素合計(jì)的差絕對(duì)值和變?yōu)樽钚〉?個(gè)區(qū)域，將該區(qū)域的中心點(diǎn)作為終點(diǎn)，以處理對(duì)象的塊(以后，“對(duì)象塊”)的中心點(diǎn)為始點(diǎn)的矢量作為運(yùn)動(dòng)矢量。另外也可以確定例如，對(duì)應(yīng)位置的像素和灰度值計(jì)數(shù)相等的像素?cái)?shù)量，確定計(jì)數(shù)值最高的1個(gè)區(qū)域，將該區(qū)域的中心點(diǎn)作為終點(diǎn)，將以對(duì)象塊的中心點(diǎn)為始點(diǎn)的矢量作為運(yùn)動(dòng)矢量。并且，對(duì)于確定的區(qū)域的上述差值絕對(duì)值和小于規(guī)定的基準(zhǔn)值時(shí)，或者上述計(jì)數(shù)值超過規(guī)定的基準(zhǔn)值時(shí)，也可以將運(yùn)動(dòng)矢量作為未定。
0023圖3表示，檢測(cè)表示從第N-1幀到第N幀的被拍攝物體G2的運(yùn)動(dòng)的運(yùn)動(dòng)矢量的例子。在該例中，區(qū)域的搜索，通過在第N幀內(nèi)，每隔1像素或者多個(gè)像素進(jìn)行移動(dòng)區(qū)域。并且，最終，確定區(qū)域R。圖3表示，這樣得到的運(yùn)動(dòng)矢量MV1映射到作為假設(shè)的映象的矢量圖上。該矢量圖，是重疊第N-1幀和第N幀得到的圖，各塊的中心點(diǎn)與該塊的運(yùn)動(dòng)矢量的始點(diǎn)一致。如該圖表明的，運(yùn)動(dòng)矢量MV1成為表示被拍攝物體G2的運(yùn)動(dòng)的矢量。這是由于被拍攝物體G2的一部分包含在塊FB1中。
0024運(yùn)動(dòng)矢量運(yùn)算電路14，能夠選擇進(jìn)行廣域搜索和限制搜索，作為上述搜索。廣域搜索，由于搜索范圍寬，也能檢測(cè)大的運(yùn)動(dòng)矢量，但是由于圖像的比較次數(shù)多，處理量變多。限制搜索由于搜索范圍窄，不能檢測(cè)大的運(yùn)動(dòng)矢量，由于圖像的比較次數(shù)少，能夠減少處理量。
0025圖4是用于說明通過運(yùn)動(dòng)矢量運(yùn)算電路14的廣域搜索的圖。在該圖所例示的廣域搜索中，將相當(dāng)于作為檢測(cè)運(yùn)動(dòng)矢量的塊的中心點(diǎn)的鄰接幀的點(diǎn)作為中心，4×4塊稱為搜索范圍。例如，檢測(cè)第N-1幀的塊FB2的運(yùn)動(dòng)矢量時(shí)，將相當(dāng)于塊FB2的中心點(diǎn)FP1的第N幀的塊FP2的中心點(diǎn)FP2作為中心，4×4塊成為搜索范圍SA1。并且，圖4是一個(gè)例子，廣域搜索中的搜索范圍的寬度不局限于4×4塊。
0026圖5是用于說明運(yùn)動(dòng)矢量運(yùn)算電路14中的限制搜索的圖。限制搜索是，根據(jù)在鄰接的塊間被拍攝物體的運(yùn)動(dòng)相差很大的概率低的思想的搜索，通過參照與要檢測(cè)運(yùn)動(dòng)矢量的塊鄰接的塊(以后，“鄰接塊”)的已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量，確定搜索范圍，即使在狹的搜索范圍內(nèi)也可以高精度檢測(cè)運(yùn)動(dòng)矢量。鄰接塊有，空間上鄰接的塊，和時(shí)間上鄰接的塊。前者是同一幀內(nèi)的塊，后者是鄰接幀內(nèi)的塊。
0027成為運(yùn)動(dòng)矢量檢測(cè)對(duì)象的塊，按順序變化。在圖5的例中，在塊的行方向和列方向上變化。在該變化中，如果結(jié)束對(duì)某行所有的塊的運(yùn)動(dòng)矢量的檢測(cè)，開始對(duì)下一行的塊的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)。即，行方向?yàn)橹鳈z測(cè)方向，列方向?yàn)楦睓z測(cè)方向。
0028由于變?yōu)檫@樣的變化，檢測(cè)從第N-1幀到第N幀的塊FB3的運(yùn)動(dòng)矢量時(shí)，第N-1幀內(nèi)的4個(gè)鄰接塊的運(yùn)動(dòng)矢量(包括運(yùn)動(dòng)矢量MV2)已經(jīng)被檢測(cè)。因此，參照這些，能夠決定用于確定搜索范圍的代表矢量MV2’。由4個(gè)運(yùn)動(dòng)矢量確定代表矢量的方法是任意的。另外，應(yīng)該運(yùn)動(dòng)矢量的、同一幀內(nèi)的鄰接塊的數(shù)量不局限于4塊。
0029另一方面，由于第N-2幀內(nèi)的5個(gè)鄰接塊的運(yùn)動(dòng)矢量(包括運(yùn)動(dòng)矢量MV3)也已經(jīng)被檢測(cè)，參照這些能夠確定代表矢量MV3’。由5個(gè)運(yùn)動(dòng)矢量確定代表矢量的方法是任意的。另外，應(yīng)該運(yùn)動(dòng)矢量的、鄰接幀內(nèi)鄰接塊的數(shù)量不局限于5塊。
0030接著，使相當(dāng)于塊FB3的中心點(diǎn)FP3的第N幀內(nèi)的點(diǎn)FP4變?yōu)槭键c(diǎn)，求配置代表矢量MV2’和代表矢量MV3’時(shí)的終點(diǎn)的位置，將以各位置為中心的1.5×1.5塊作為搜索范圍SA2。并且，圖5是一個(gè)例子，代表矢量的數(shù)量不局限于2個(gè)，搜索范圍的寬度不局限于1.5×1.5塊。但是，限制搜索中的搜索范圍必須比廣域搜索中的搜索范圍窄。
0031圖6是用于對(duì)塊編號(hào)進(jìn)行說明的圖。如上所述，按順序變化成為運(yùn)動(dòng)矢量的檢測(cè)對(duì)象的塊。表示該變化的順序的概念是“塊編號(hào)”。例如，1幀被分割為8×8塊時(shí)，各塊具有1～64整數(shù)值的塊編號(hào)，塊編號(hào)小的順序處理。
0032圖7是用于說明只進(jìn)行限制搜索時(shí)問題點(diǎn)的圖。在該圖中，搜索范圍的寬度由兩端箭頭的長(zhǎng)度表示。該圖中假設(shè)的情況，塊編號(hào)1～9的塊中被拍攝物體無(wú)運(yùn)動(dòng)，塊編號(hào)10～13的塊中被拍攝物體以越出窄的搜索范圍的方式大變動(dòng)，塊編號(hào)14～16的塊中，是沒有被拍攝物體的運(yùn)動(dòng)的。
0033如上所述，限制搜索中，盡管搜索范圍窄，可以以高精度檢測(cè)運(yùn)動(dòng)矢量。但是，某塊群從窄的搜索范圍脫離，產(chǎn)生大變動(dòng)時(shí)，運(yùn)動(dòng)矢量的檢測(cè)精度大大降低。例如，圖7中，塊編號(hào)9之前的塊中，正確的運(yùn)動(dòng)矢量的大小(白圓)，和檢測(cè)的運(yùn)動(dòng)矢量的大小(黑圓)同時(shí)為零一致，塊編號(hào)10～13的塊，兩矢量的大小相差很大。即，塊編號(hào)10～13的塊中，搜索范圍的中心位置被規(guī)定牽引到同一幀內(nèi)的鄰接塊的已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量，其結(jié)果，運(yùn)動(dòng)矢量的檢測(cè)精度大大降低。
0034運(yùn)動(dòng)矢量的檢測(cè)精度如果經(jīng)過多個(gè)塊連續(xù)地降低，由插補(bǔ)圖像生成電路15生成的插補(bǔ)圖像數(shù)據(jù)的質(zhì)量大幅度降低，不僅不能解除運(yùn)動(dòng)圖像延遲，還有可能產(chǎn)生新的問題。因此，應(yīng)該回避運(yùn)動(dòng)矢量的檢測(cè)精度經(jīng)過多個(gè)塊而連續(xù)降低的情況。因此，在本發(fā)明的各實(shí)施方式中，運(yùn)動(dòng)矢量運(yùn)算電路14，基本上進(jìn)行限制搜索，對(duì)確定的塊要進(jìn)行廣域搜索，可以回避上述的情況。
0035(第1實(shí)施方式)圖8是表示，通過本發(fā)明第1實(shí)施方式中的運(yùn)動(dòng)矢量運(yùn)算電路14A，只進(jìn)行限制搜索的限制塊和只進(jìn)行廣域搜索的廣域塊的配置的圖。如該圖所示，運(yùn)動(dòng)矢量運(yùn)算電路14A，周期的，具體的說，每5塊進(jìn)行廣域搜索。另外，矢量運(yùn)算電路14A，確定的鄰接塊的運(yùn)動(dòng)矢量確定，關(guān)于廣域塊的搜索范圍的中心位置。具體的說，以相當(dāng)于對(duì)象塊的中心點(diǎn)的鄰接幀的位置成為始點(diǎn)的方式，配置確定的鄰接塊的運(yùn)動(dòng)矢量時(shí)，將成為該矢量的終點(diǎn)的位置作為搜索范圍的中心位置。確定的鄰接塊，對(duì)象塊如果不是行的開頭塊，是圖8中正左的塊，如果是行開頭的塊，不是列開頭的塊，是圖8中正上的塊。
0036圖9是用于說明本發(fā)明第1實(shí)施方式中的矢量運(yùn)算電路14A的功能的圖。該圖中假設(shè)的情況，與圖7中假設(shè)的情況相同。塊編號(hào)10的塊為限制塊，該塊中，被拍攝物體的運(yùn)動(dòng)脫離搜索范圍，正確的運(yùn)動(dòng)矢量的大小(白圓)，和檢測(cè)的運(yùn)動(dòng)矢量的大小(黑圓)相差很大。由于下一個(gè)塊為廣域塊，該塊中，被拍攝物體的運(yùn)動(dòng)不脫離搜索范圍，兩矢量的大小一致。由于塊編號(hào)12～15的塊為限制塊，在這些塊中，搜索范圍的中心位置被牽引規(guī)定為同一幀內(nèi)的鄰接塊的已經(jīng)檢測(cè)的大的運(yùn)動(dòng)矢量。其結(jié)果，兩矢量的大小，塊編號(hào)12～13的塊中一致，塊編號(hào)14～15的塊中相差很大。塊編號(hào)16的塊為廣域塊。因此，被拍攝物體的運(yùn)動(dòng)沒有脫離搜索范圍，兩矢量的大小一致。在下一個(gè)塊中，搜索范圍的中心位置被牽引規(guī)定為，同一幀內(nèi)的鄰接塊的已經(jīng)檢測(cè)的大小為零的運(yùn)動(dòng)矢量。
0037圖10是本發(fā)明第1實(shí)施方式中的運(yùn)動(dòng)矢量檢測(cè)處理的流程圖。運(yùn)動(dòng)矢量檢測(cè)處理是1幀量的檢測(cè)運(yùn)動(dòng)矢量的處理。如該圖所示，矢量運(yùn)算電路14A，首先，將前一幀分割為多個(gè)塊(步驟201)。實(shí)際上，設(shè)定1幀包含的塊的行數(shù)和列數(shù)。行數(shù)和列數(shù)如果不變，沒有必要對(duì)每幀進(jìn)行此設(shè)定。下面，矢量運(yùn)算電路14A，用于確定廣域塊的計(jì)數(shù)器中設(shè)置初始值(步驟202)。初始值例如為1。下面，矢量運(yùn)算電路14A，將最初的塊作為對(duì)象塊(步驟203)。這通過，例如，在存儲(chǔ)塊編號(hào)的規(guī)定的存儲(chǔ)區(qū)域?qū)懭?進(jìn)行。
0038接著，矢量運(yùn)算電路14A判斷計(jì)數(shù)器值是否達(dá)到規(guī)定值(步驟204)，達(dá)到時(shí)，由廣域搜索檢測(cè)對(duì)象塊的運(yùn)動(dòng)矢量(步驟205)，復(fù)位計(jì)數(shù)器(步驟206)。沒有達(dá)到時(shí)，通過限制搜索檢測(cè)對(duì)象塊的運(yùn)動(dòng)矢量(步驟207)，計(jì)數(shù)器值增加(步驟208)。規(guī)定值例如為5。計(jì)數(shù)值，計(jì)數(shù)器如果被復(fù)位，變?yōu)槌跏贾担绻黾?，只增?。接著，矢量運(yùn)算電路14A判斷對(duì)象塊是否為最終塊(步驟209)。該判定，例如，通過存儲(chǔ)在上述的規(guī)定的存儲(chǔ)區(qū)域的塊編號(hào)和最終塊的塊編號(hào)(例如63)的比較來(lái)進(jìn)行。如果該判定是否定的，矢量運(yùn)算電路14A，將下一個(gè)塊作為對(duì)象塊(步驟210)。這是通過，例如，增加存儲(chǔ)在上述規(guī)定的存儲(chǔ)區(qū)域中的塊編號(hào)進(jìn)行的。并且，處理返回步驟204。運(yùn)動(dòng)矢量檢測(cè)處理，步驟209的判定結(jié)果是肯定的就結(jié)束。
0039如以上說明的，通過矢量運(yùn)算電路14A，對(duì)于限制塊，根據(jù)對(duì)該塊的鄰接塊已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量決定搜索范圍，與不進(jìn)行這樣的搜索范圍的確定的方式相比較，檢測(cè)空間上和時(shí)間的連續(xù)的正確的運(yùn)動(dòng)矢量變得容易。另外，由于對(duì)每塊進(jìn)行廣域搜索和限制搜索，與對(duì)1幀內(nèi)的所有的塊進(jìn)行限制搜索的方式相比較，檢測(cè)空間上或者時(shí)間上不連續(xù)的正確的運(yùn)動(dòng)矢量變得容易。另外，對(duì)于限制塊，由于根據(jù)與該塊鄰接的塊的已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量確定搜索范圍，能夠根據(jù)以充分高的精度檢測(cè)的運(yùn)動(dòng)矢量，檢測(cè)運(yùn)動(dòng)矢量。與以上相比，通過矢量運(yùn)算電路14A，能夠以充分高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量。并且，由于包含與鄰接塊時(shí)間上鄰接的塊，有效利用前的幀中的運(yùn)動(dòng)矢量的檢測(cè)結(jié)果，能夠檢測(cè)運(yùn)動(dòng)矢量。即，運(yùn)動(dòng)矢量的檢測(cè)精度迅速地提高。
0040

矢量運(yùn)算電路14A中，檢測(cè)某塊的運(yùn)動(dòng)矢量時(shí)，比較該塊圖像和搜索范圍包含的圖像。該比較的次數(shù)，搜索范圍越寬就越多，搜索范圍越窄就越少。如上所述，矢量運(yùn)算電路14A，基本上進(jìn)行限制搜索，由于對(duì)確定的塊不進(jìn)行限制搜索，而進(jìn)行廣域搜索，插補(bǔ)圖像生成電路15生成插補(bǔ)圖像數(shù)據(jù)時(shí)需要的圖像的比較的次數(shù)，與對(duì)所有的塊由廣域搜索檢測(cè)運(yùn)動(dòng)矢量的方式相比較變少。因此，通過矢量運(yùn)算電路14A，能夠以現(xiàn)實(shí)的運(yùn)算量檢測(cè)運(yùn)動(dòng)矢量。
0041另外，由于通過矢量運(yùn)算電路14A，每隔一常數(shù)塊進(jìn)行廣域搜索，能夠?qū)⒂蓮V域搜索連續(xù)地檢測(cè)不正確的運(yùn)動(dòng)矢量的塊數(shù)抑制到不足一常數(shù)。因此，能夠回避運(yùn)動(dòng)矢量的檢測(cè)精度經(jīng)過多的塊連續(xù)地降低的情況。
0042另外，矢量運(yùn)算電路14A中，由廣域搜索檢測(cè)前一幀中的第2個(gè)以后的塊的運(yùn)動(dòng)矢量時(shí)，與該塊相同幀中，根據(jù)與該塊鄰接的其他塊的已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量，確定搜索范圍。因此，通過矢量運(yùn)算電路14A，對(duì)于第2個(gè)以后的塊，能夠由廣域搜索檢測(cè)空間上連續(xù)的運(yùn)動(dòng)矢量。這與不能檢測(cè)空間上連續(xù)的運(yùn)動(dòng)矢量的一般的廣域搜索相比較是有利的。
0043另外，由于圖像處理裝置10A具備，以現(xiàn)實(shí)的運(yùn)算量，以充分高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量運(yùn)算電路14A；和，生成使用由運(yùn)動(dòng)矢量運(yùn)算電路14檢測(cè)的運(yùn)動(dòng)矢量的插補(bǔ)圖像數(shù)據(jù)的插補(bǔ)圖像生成電路15，能夠以現(xiàn)實(shí)的運(yùn)算量，與不具有矢量運(yùn)算電路14A的圖像處理裝置相比，能夠生成高質(zhì)量的插補(bǔ)圖像數(shù)據(jù)。另外，通過圖像處理裝置10A，輸入幀率60Hz的影像數(shù)據(jù)D1，根據(jù)該影像數(shù)據(jù)D1，生成高質(zhì)量的插補(bǔ)圖像數(shù)據(jù)，進(jìn)行幀補(bǔ)償，能夠生成幀率120Hz的影像數(shù)據(jù)D2。即，通過不具有運(yùn)動(dòng)矢量運(yùn)算電路14的圖像處理裝置，能夠生成比根據(jù)影像數(shù)據(jù)D1生成的120Hz的影像數(shù)據(jù)更高質(zhì)量的影像數(shù)據(jù)D2。
0044另外，由于圖像顯示裝置1A具備以現(xiàn)實(shí)的運(yùn)算量，能夠生成比較高質(zhì)量的插補(bǔ)圖像數(shù)據(jù)的圖像處理裝置10A；和，由圖像處理裝置10A生成的插補(bǔ)圖像數(shù)據(jù)，顯示以該數(shù)據(jù)表示的插補(bǔ)圖像的電光學(xué)裝置20，能夠以現(xiàn)實(shí)的運(yùn)算量，顯示與不具備圖像處理裝置10A的圖像顯示裝置相比高質(zhì)量的插補(bǔ)圖像。另外，在圖像顯示裝置1A中，輸入、顯示影像數(shù)據(jù)D1的影像，成為使用影像數(shù)據(jù)D2的影像。由于影像數(shù)據(jù)D2的質(zhì)量如上所述，通過圖像顯示裝置1A，能夠顯示，與不具備圖像處理裝置10A的圖像顯示裝置輸入、顯示影像數(shù)據(jù)D1的影像相比高質(zhì)量的影像。因此，能夠防止運(yùn)動(dòng)圖像延遲和閃爍。
0045(第2實(shí)施方式)本發(fā)明第2實(shí)施方式中的運(yùn)動(dòng)矢量運(yùn)算電路14B，繼續(xù)基本的限制搜索，通過限制搜索檢測(cè)某塊的運(yùn)動(dòng)矢量，根據(jù)該檢測(cè)時(shí)得到的比較結(jié)果，評(píng)價(jià)該檢測(cè)的精度，判斷評(píng)價(jià)是否滿足基準(zhǔn)，不滿足基準(zhǔn)時(shí)，由廣域搜索檢測(cè)該塊的運(yùn)動(dòng)矢量。另外，矢量運(yùn)算電路14B，與矢量運(yùn)算電路14A一樣，使用確定的鄰接塊的運(yùn)動(dòng)矢量確定廣域搜索中的搜索范圍的中心位置。
0046圖11是用于說明本發(fā)明第2實(shí)施方式中的矢量運(yùn)算電路14B功能的圖。該圖中假設(shè)的情況，與圖7中假設(shè)的情況是相同的。如圖11所示，塊編號(hào)10的塊中，首先，進(jìn)行限制搜索，接著進(jìn)行廣域搜索。由此，正確的運(yùn)動(dòng)矢量的大小(白圓)，和檢測(cè)的運(yùn)動(dòng)矢量的大小(黑圓)一致。塊編號(hào)11～13的塊中，只進(jìn)行限制搜索，兩矢量的大小一致。這是由于，這些塊中，確定搜索范圍的中心位置，指向同一幀內(nèi)的鄰接塊的已經(jīng)檢測(cè)的大的運(yùn)動(dòng)矢量。下一個(gè)塊中，首先，進(jìn)行限制搜索，接著進(jìn)行廣域搜索。由此，兩矢量的大小一致。塊編號(hào)15～16的塊中，只進(jìn)行限制搜索，兩矢量的大小一致。這是由于，這些塊中，確定搜索范圍的中心位置指向同一幀內(nèi)鄰接塊的已經(jīng)檢測(cè)的大小零的運(yùn)動(dòng)矢量。
0047圖12是本發(fā)明第2實(shí)施方式中的運(yùn)動(dòng)矢量檢測(cè)處理的流程圖。如該圖所示，矢量運(yùn)算電路14B，首先，將前一幀分割為多個(gè)塊(步驟301)。設(shè)定實(shí)際上，1幀中包含的塊的行數(shù)和列數(shù)。如果行數(shù)和列數(shù)不變，沒有必要對(duì)每幀進(jìn)行該設(shè)定。接著，矢量運(yùn)算電路14B，將最初的塊作為對(duì)象塊(步驟302)。
0048下面，矢量運(yùn)算電路14B，通過限制搜索，檢測(cè)對(duì)象塊的運(yùn)動(dòng)矢量(步驟303)，評(píng)價(jià)此檢測(cè)精度(步驟304)。該評(píng)價(jià)是根據(jù)，該檢測(cè)時(shí)得到的比較結(jié)果產(chǎn)生的。具體的評(píng)價(jià)方法是任意的，例如，使用該檢測(cè)時(shí)得到的，該運(yùn)動(dòng)矢量的終點(diǎn)為中心點(diǎn)的區(qū)域的圖像與對(duì)象塊的圖像比較結(jié)果，原樣作為評(píng)價(jià)。
0049下面，矢量運(yùn)算電路14B判斷得到的評(píng)價(jià)是否滿足規(guī)定的基準(zhǔn)(步驟305)，只在不滿足時(shí)，通過廣域搜索檢測(cè)對(duì)象塊的運(yùn)動(dòng)矢量(步驟306)。以后，矢量運(yùn)算電路14B，判斷對(duì)象塊是否為最終塊(步驟307)，如果是最終塊，結(jié)束運(yùn)動(dòng)矢量檢測(cè)處理，如果不是最終塊，將下一塊作為對(duì)象塊(步驟308)，處理返回步驟303。
0050如以上說明的，通過矢量運(yùn)算電路14B，圖像處理裝置10B或者圖像顯示裝置1B，能夠得到與由第1實(shí)施方式中的矢量運(yùn)算電路14A，圖像處理裝置10A或者圖像顯示裝置1A得到的效果一樣的效果。另外，由圖11知，通過矢量運(yùn)算電路14B，即使是圖7中假設(shè)的情況，也能夠可靠地檢測(cè)正確的運(yùn)動(dòng)矢量。即，對(duì)由限制搜索和廣域搜索可以檢測(cè)正確的運(yùn)動(dòng)矢量的塊，能夠可靠地檢測(cè)正確的運(yùn)動(dòng)矢量。并且，由于只在不能通過限制搜索檢測(cè)正確的運(yùn)動(dòng)矢量時(shí)，進(jìn)行廣域搜索，能夠節(jié)省即使由搜索范圍窄的限制搜索，對(duì)檢測(cè)正確的運(yùn)動(dòng)矢量的塊，進(jìn)行搜索范圍寬的廣域搜索導(dǎo)致的浪費(fèi)。
0051但是，矢量運(yùn)算電路14B中的運(yùn)動(dòng)矢量的檢測(cè)中，通過廣域搜索檢測(cè)運(yùn)動(dòng)矢量的塊的數(shù)量變得不定。另外，對(duì)通過限制搜索檢測(cè)運(yùn)動(dòng)矢量的塊，有由廣域搜索檢測(cè)運(yùn)動(dòng)矢量的情況。因此，插補(bǔ)圖像生成電路15生成插補(bǔ)圖像數(shù)據(jù)時(shí)需要的、矢量運(yùn)算電路14B中的圖像的比較次數(shù)，與矢量運(yùn)算電路14A中的圖像的比較次數(shù)相比，也有變多的可能性，也有變少的可能性。但是，矢量運(yùn)算電路14B由廣域搜索檢測(cè)運(yùn)動(dòng)矢量，只在對(duì)象塊的運(yùn)動(dòng)矢量的檢測(cè)精度的評(píng)價(jià)不滿足規(guī)定的基準(zhǔn)時(shí)，通過適當(dāng)?shù)卮_定規(guī)定的基準(zhǔn)，上述的次數(shù)，與對(duì)所有的塊由廣域搜索檢測(cè)運(yùn)動(dòng)矢量的方式相比較能夠減少。另外，矢量運(yùn)算電路14B是進(jìn)行基本的上述的限制搜索的電路，一般，與構(gòu)成1幀的塊的數(shù)量相比較，由上述限制搜索，不能檢測(cè)正確的運(yùn)動(dòng)矢量的塊的數(shù)量少。因此，通過矢量運(yùn)算電路14B，既減少上述次數(shù)，又能夠確保正確的運(yùn)動(dòng)矢量的檢測(cè)精度充分高。
0052(第3實(shí)施方式)本發(fā)明第3實(shí)施方式中的運(yùn)動(dòng)矢量運(yùn)算電路14C，對(duì)每1幀，決定廣域塊和限制塊的配置，然后，檢測(cè)每塊的運(yùn)動(dòng)矢量。另外，矢量運(yùn)算電路14C，與矢量運(yùn)算電路14A一樣，使用確定的鄰接塊的運(yùn)動(dòng)矢量確定廣域搜索中的搜索范圍的中心位置。
0053圖13是用于說明本發(fā)明第3實(shí)施方式中的矢量運(yùn)算電路14C功能的圖。該圖中假設(shè)的情況，與圖7中假設(shè)的情況相同。在圖13中，塊編號(hào)9，10，15和16的塊為限制塊，塊編號(hào)11～14的塊為廣域塊。在塊編號(hào)為10的限制塊中，正的運(yùn)動(dòng)矢量的大小(白圓)，和檢測(cè)的運(yùn)動(dòng)矢量的大小(黑圓)大不相同，但是在其他塊中，兩矢量一致。這是由于在塊編號(hào)11～13的限制塊中，正確的運(yùn)動(dòng)矢量的大小不管多大，兩矢量的大小一致，在這些塊中，確定搜索范圍的中心位置，指向同一幀內(nèi)的鄰接塊的已經(jīng)檢測(cè)的大的運(yùn)動(dòng)矢量。與此相同，對(duì)塊編號(hào)15和16的限制塊也適用。
0054圖14是本發(fā)明第3實(shí)施方式中的運(yùn)動(dòng)矢量檢測(cè)處理的流程圖。如該圖所示，矢量運(yùn)算電路14C，首先，將前一幀分割為多個(gè)塊(步驟401)。實(shí)際上，設(shè)定包含在1幀內(nèi)的塊的行數(shù)和列數(shù)。如果行數(shù)和列數(shù)不變，不必對(duì)每一幀進(jìn)行此設(shè)定。接著，生成表示差圖像的幀間差圖像數(shù)據(jù)(步驟402)。差圖像是當(dāng)前幀圖像和前一幀圖像的差的圖像，此像素的灰度值是兩幀同一位置中的像素間的灰度值差的絕對(duì)值。因此，幀間差圖像數(shù)據(jù)成為表示從前一幀到當(dāng)前幀的灰度值變化分布的數(shù)據(jù)。
0055下面，矢量運(yùn)算電路14C，根據(jù)生成的幀間差圖像數(shù)據(jù)，選擇前一幀內(nèi)的至少1個(gè)塊作為廣域塊(步驟403)。該選擇，在插補(bǔ)圖像生成電路15生成插補(bǔ)圖像數(shù)據(jù)時(shí)需要的，矢量運(yùn)算電路14B中的圖像的比較次數(shù)，以成為現(xiàn)實(shí)的次數(shù)的方式進(jìn)行。具體的說，例如，也可以根據(jù)幀間差圖像數(shù)據(jù)中的每塊的灰度值和與規(guī)定的優(yōu)先順序，選擇規(guī)定數(shù)量的塊作為廣域塊。規(guī)定數(shù)量是上述次數(shù)成為現(xiàn)實(shí)的次數(shù)的上限，是事先規(guī)定的。規(guī)定的優(yōu)先順序是，使運(yùn)動(dòng)矢量的檢測(cè)精度變?yōu)楦叩姆绞剑孪纫?guī)定的優(yōu)先順序，例如，可以是幀間差圖像數(shù)據(jù)中的每塊的灰度值的和大的順序，也可以是該順序與檢測(cè)運(yùn)動(dòng)矢量的順序的組合。另外例如，也可以從幀間差圖像數(shù)據(jù)中的每塊的灰度值的和達(dá)到規(guī)定的基準(zhǔn)值的塊中隨機(jī)地選擇規(guī)定數(shù)量的塊，作為廣域塊。下面，矢量運(yùn)算電路14C，將最初的塊作為對(duì)象塊(步驟404)。
0056下面，矢量運(yùn)算電路14C判斷對(duì)象塊是否為廣域塊(步驟405)，為廣域塊時(shí)，由廣域搜索檢測(cè)對(duì)象塊的運(yùn)動(dòng)矢量(步驟406)，不是廣域塊時(shí)，由限制搜索檢測(cè)對(duì)象塊的運(yùn)動(dòng)矢量(步驟407)。接著，矢量運(yùn)算電路14C判斷對(duì)象塊是否為最終塊(步驟408)，如果是最終塊，結(jié)束運(yùn)動(dòng)矢量檢測(cè)處理，如果不是最終塊，將下一塊作為對(duì)象塊(步驟409)，處理返回步驟405。
0057如以上說明的，通過矢量運(yùn)算電路14C，圖像處理裝置10C或者圖像顯示裝置1C，能夠得到與通過第1實(shí)施方式中的矢量運(yùn)算電路14A，圖像處理裝置10A或者圖像顯示裝置1A得到的效果一樣的效果。另外，由圖13知，通過矢量運(yùn)算電路14C，廣域搜索對(duì)需要的塊進(jìn)行廣域搜索的概率變高。因此，能夠以更高的精度檢測(cè)正確的運(yùn)動(dòng)矢量的同時(shí)，通過搜索范圍窄的限制搜索，能夠減少對(duì)可以檢測(cè)正確的運(yùn)動(dòng)矢量的塊進(jìn)行搜索范圍寬的廣域搜索的浪費(fèi)。
0058(G變形例)
廣域塊的配置は，在上述第1實(shí)施方式中，以周期性的方式確定，上述的第2實(shí)施方式中，根據(jù)幀間差圖像數(shù)據(jù)確定，但是不局限于此。例如，也可以不根據(jù)幀間差圖像數(shù)據(jù)，隨機(jī)地確定。另外，也可以變形上述實(shí)施方式，將廣域搜索中的搜索范圍的中心位置作為相當(dāng)于對(duì)象塊的中心點(diǎn)的位置。
0059另外，用于插補(bǔ)圖像數(shù)據(jù)的生成的幀不局限于當(dāng)前幀。既可以只是前一幀，也可以是前一幀和當(dāng)前幀。另外，表示了將幀率提高到2倍的例子，也可以提高到3倍以上。另外，表示了通過幀補(bǔ)償提高幀率的例子，也可以不改變幀率，延長(zhǎng)影像的長(zhǎng)度。
0060并且，也可以任意組合上述各種方式。例如，在第1或者第3實(shí)施方式中，也可以根據(jù)限制搜索中的對(duì)象塊的運(yùn)動(dòng)矢量的檢測(cè)時(shí)得到的比較結(jié)果，評(píng)價(jià)該檢測(cè)的精度，評(píng)價(jià)不滿足基準(zhǔn)時(shí)，通過廣域搜索檢測(cè)該對(duì)象塊的運(yùn)動(dòng)矢量。
0061(E應(yīng)用例)下面，對(duì)于使用本發(fā)明中的發(fā)光裝置的電子機(jī)器進(jìn)行說明。
圖15是表示采用上述圖像顯示裝置1作為顯示裝置的移動(dòng)式個(gè)人計(jì)算機(jī)的構(gòu)成的斜視圖。個(gè)人計(jì)算機(jī)2000具備圖像顯示裝置1和主體部2010。主體部2010設(shè)置了電源開關(guān)2001和鍵盤2002。該個(gè)人計(jì)算機(jī)2000的顯示面板30(圖像顯示裝置1)由于電光學(xué)元件使用OLED元件，能夠顯示視角寬，容易看的畫面。
0062圖16表示應(yīng)用圖像顯示裝置1的攜帶電話機(jī)的構(gòu)成。攜帶電話機(jī)3000具備多個(gè)操作按鈕3001和滾動(dòng)按鈕3002，及作為顯示裝置的圖像顯示裝置1。通過操作滾動(dòng)按鈕3002，卷動(dòng)顯示面板30(圖像顯示裝置1)中顯示的畫面。
0063圖17表示應(yīng)用圖像顯示裝置1的攜帶信息終端(PDAPersonal DigitalAssistants)的構(gòu)成。信息攜帶終端4000具備多個(gè)操作按鈕4001和電源開關(guān)4002，及作為顯示裝置的圖像顯示裝置1。如果操作電源開關(guān)4002，通訊錄或日記這樣的各種信息顯示在顯示面板30(圖像顯示裝置1)上。
0064并且，作為適用本發(fā)明中的圖像顯示裝置1的電子機(jī)器，除了圖15～圖17所示的之外，還能夠列舉電視或錄像照相機(jī)等可以顯示影像的機(jī)器。另外，作為適用本發(fā)明中的圖像處理裝置10的電子機(jī)器，除了圖15～圖17所示的之外，還能夠列舉電視或錄像照相機(jī)，放像機(jī)等可以輸出影像數(shù)據(jù)的機(jī)器。
權(quán)利要求
1.一種圖像處理方法，在生成補(bǔ)償鄰接的幀間圖像的運(yùn)動(dòng)的插補(bǔ)圖像的圖像處理方法中，其特征在于，具有檢測(cè)步驟，將幀分割為多個(gè)塊，將各塊的圖像與鄰接的幀的搜索范圍內(nèi)所包含的圖像進(jìn)行比較，根據(jù)比較結(jié)果，檢測(cè)該塊的運(yùn)動(dòng)矢量；和插補(bǔ)圖像生成步驟，其使用上述檢測(cè)步驟中檢測(cè)的運(yùn)動(dòng)矢量，生成上述插補(bǔ)圖像，在上述檢測(cè)步驟中，在每個(gè)塊中選擇上述搜索范圍廣的第1處理和上述搜索范圍窄的第2處理作為檢測(cè)運(yùn)動(dòng)矢量的處理，對(duì)于選擇了上述第2處理的塊，根據(jù)與該塊鄰接的塊的已經(jīng)檢測(cè)出的運(yùn)動(dòng)矢量，確定上述搜索范圍。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，在上述檢測(cè)步驟中，判斷檢測(cè)對(duì)象的塊是否是確定的塊，是上述確定的塊時(shí)，對(duì)該塊選擇上述第1處理。
3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，具有表示上述鄰接的幀的圖像間各像素中的灰度值之差的、生成差圖像的差圖像生成步驟；和根據(jù)上述差圖像，確定上述確定塊的確定步驟。
4.根據(jù)權(quán)利要求3所述的圖像處理方法，其特征在于，在上述確定步驟中，以在規(guī)定的時(shí)間內(nèi)能夠執(zhí)行從上述差圖像生成步驟到上述插補(bǔ)圖像生成步驟的方式，設(shè)定上述確定塊的數(shù)量。
5.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，在上述檢測(cè)步驟中，如果檢測(cè)出選擇了上述第2處理的塊的運(yùn)動(dòng)矢量，根據(jù)該檢測(cè)時(shí)得到的上述比較結(jié)果，判斷該檢測(cè)的精度是否滿足基準(zhǔn)，不滿足上述基準(zhǔn)時(shí)，選擇上述第1處理作為檢測(cè)該塊的運(yùn)動(dòng)矢量的處理。
6.根據(jù)權(quán)利要求1～5中的任一項(xiàng)所述的圖像處理裝置，其特征在于，在上述檢測(cè)步驟中，根據(jù)上述第1處理來(lái)檢測(cè)第2個(gè)以后的塊的運(yùn)動(dòng)矢量時(shí)，根據(jù)與該塊同一幀中與該塊鄰接的其他塊已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量，確定上述搜索范圍。
7.一種圖像處理裝置，在生成補(bǔ)償鄰接的幀間圖像的運(yùn)動(dòng)的插補(bǔ)圖像的圖像處理裝置中，其特征在于，具有檢測(cè)電路，將幀分割為多個(gè)塊，將各塊的圖像與鄰接的幀的搜索范圍內(nèi)所包含的圖像進(jìn)行比較，根據(jù)比較結(jié)果檢測(cè)該塊的運(yùn)動(dòng)矢量；和生成電路，使用由上述檢測(cè)電路檢測(cè)的運(yùn)動(dòng)矢量，生成上述插補(bǔ)圖像，上述檢測(cè)電路，在每個(gè)塊中選擇上述搜索范圍廣的第1處理和上述搜索范圍窄的第2處理作為檢測(cè)運(yùn)動(dòng)矢量的處理，對(duì)于選擇了上述第2處理的塊，根據(jù)與該塊鄰接的塊的已經(jīng)檢測(cè)到的運(yùn)動(dòng)矢量，確定上述搜索范圍。
8.一種顯示裝置，其特征在于，具有權(quán)利要求7所述的圖像處理裝置；和根據(jù)提供的電能發(fā)光特性或者光的透過特性變化的多個(gè)電光學(xué)元件排列成平面狀的電光學(xué)裝置，上述多個(gè)電光學(xué)元件的發(fā)光特性或者光的透過特性，根據(jù)由上述圖像處理裝置生成的上述插補(bǔ)圖像而變化，顯示該插補(bǔ)圖像。
9.一種程序，是用于在生成補(bǔ)償鄰接的幀間圖像的運(yùn)動(dòng)的插補(bǔ)圖像的圖像處理裝置中執(zhí)行以下步驟的程序?qū)指顬槎鄠€(gè)塊，將各塊的圖像與鄰接幀的搜索范圍所包含的圖像進(jìn)行比較，根據(jù)比較結(jié)果檢測(cè)該塊運(yùn)動(dòng)矢量的檢測(cè)步驟；和使用上述檢測(cè)步驟中檢測(cè)的運(yùn)動(dòng)矢量，生成上述插補(bǔ)圖像的插補(bǔ)圖像生成步驟，在上述檢測(cè)步驟中，對(duì)每個(gè)塊選擇上述搜索范圍廣的第1處理和上述搜索范圍窄的第2處理，作為檢測(cè)運(yùn)動(dòng)矢量的處理，對(duì)于選擇了上述第2處理的塊，根據(jù)與該塊鄰接的塊的已經(jīng)檢測(cè)出的運(yùn)動(dòng)矢量確定上述搜索范圍。
全文摘要
運(yùn)動(dòng)矢量運(yùn)算電路(14)，將前一幀分割為多個(gè)塊，比較各塊的圖像，和當(dāng)前幀的搜索范圍內(nèi)包含的、該塊與相同的形狀和大小的區(qū)域的圖像，根據(jù)比較結(jié)果，檢測(cè)該塊的運(yùn)動(dòng)矢量。插補(bǔ)圖像生成電路(15)，是為了幀補(bǔ)償，使用由運(yùn)動(dòng)矢量運(yùn)算電路(14)檢測(cè)的運(yùn)動(dòng)矢量生成插補(bǔ)圖像數(shù)據(jù)。運(yùn)動(dòng)矢量運(yùn)算電路(14)，對(duì)每個(gè)塊選擇搜索范圍寬的廣域搜索和搜索范圍窄的限制搜索，作為檢測(cè)運(yùn)動(dòng)矢量的處理。并且，對(duì)于限制搜索的塊，根據(jù)與該塊鄰接的塊的已經(jīng)檢測(cè)的運(yùn)動(dòng)矢量，確定搜索范圍。以現(xiàn)實(shí)的運(yùn)算量，充分高的精度穩(wěn)定地檢測(cè)運(yùn)動(dòng)矢量。
文檔編號(hào)H04N7/26GK1984238SQ20061016597
公開日2007年6月20日 申請(qǐng)日期2006年12月12日 優(yōu)先權(quán)日2005年12月12日
發(fā)明者池上富雄 申請(qǐng)人:精工愛普生株式會(huì)社