專(zhuān)利名稱(chēng)：圖像處理裝置、圖像處理方法、其程序以及記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明，涉及利用多個(gè)圖像來(lái)生成一個(gè)靜止圖像的圖像處理裝置、圖像處理方法及計(jì)算機(jī)程序、記錄媒體。
背景技術(shù)：
以往，公知有將多個(gè)圖像合成，來(lái)生成一幅高分辨率的圖像的圖像處理裝置和圖像處理方法。例如，公知有以下技術(shù)從用數(shù)碼攝像機(jī)拍攝的動(dòng)態(tài)圖像中決定一個(gè)場(chǎng)景，并生成分辨率比決定出的一幀圖像高(高像素密度)的靜止圖像。該技術(shù)中，從連續(xù)的(n+1)幅幀圖像中選擇一幅幀圖像作為基準(zhǔn)圖像，并分別計(jì)算出其他n幅幀圖像(對(duì)象圖像)相對(duì)于該基準(zhǔn)圖像的運(yùn)動(dòng)矢量，并根據(jù)各運(yùn)動(dòng)矢量，將(n+1)幅幀圖像合成，來(lái)生成靜止圖像(例如，參照特開(kāi)2000-244851號(hào)公報(bào))。一般認(rèn)為，這樣的圖像合成處理方法，與單純對(duì)一幀圖像進(jìn)行分辨率轉(zhuǎn)換的方法相比，能令圖像畫(huà)質(zhì)更好且更鮮亮。
然而，這種圖像處理技術(shù)中存在的問(wèn)題是圖像的合成處理即使花費(fèi)時(shí)間，也不一定就能夠生成高分辨率的靜止圖像。例如，如果在生成靜止圖像時(shí)所使用的一幀圖像本身就抖動(dòng)的話，那么用它來(lái)實(shí)行圖像合成處理，即使花費(fèi)再多的時(shí)間也無(wú)法得到滿意的靜止圖像。
發(fā)明內(nèi)容
本發(fā)明就是要解決這樣的問(wèn)題，其目的在于在從多個(gè)圖像生成一個(gè)高分辨率的圖像時(shí)，可以執(zhí)行高效的圖像處理。
為了解決上述課題的至少一部分，本發(fā)明的第1圖像處理裝置，采用以下的手法。即，一種根據(jù)多個(gè)圖像生成像素密度高的靜止圖像的圖像處理裝置，其主旨為具備圖像抽出裝置，抽出用于生成所述靜止圖像的多個(gè)圖像；偏移量檢測(cè)裝置，檢測(cè)出所述抽出的多個(gè)圖像間的偏移量；確定裝置，根據(jù)所述檢測(cè)出的偏移量，從所述抽出的多個(gè)圖像之中確定2個(gè)以上的圖像；以及，圖像合成裝置，將所述確定的2個(gè)以上的圖像合成，來(lái)生成1個(gè)靜止圖像。
此外，本發(fā)明的第1圖像處理方法，是根據(jù)多個(gè)圖像生成像素密度高的靜止圖像的圖像處理方法，包括抽出用于生成所述靜止圖像的多個(gè)圖像；檢測(cè)出所述抽出的多個(gè)圖像間的偏移量；根據(jù)所述檢測(cè)出的偏移量，從所述抽出的多個(gè)圖像之中確定2個(gè)以上的圖像；以及，將所述確定的2個(gè)以上的圖像合成，來(lái)生成1個(gè)靜止圖像。
根據(jù)第1圖像處理裝置和圖像處理方法(稱(chēng)為第1圖像處理)，可以對(duì)多個(gè)圖像間的偏移量進(jìn)行檢測(cè)，并根據(jù)其偏移量，在圖像的合成處理之前，確定2個(gè)以上的圖像。也就是說(shuō)，根據(jù)圖像間的偏移量，來(lái)確定供圖像合成的2個(gè)以上的圖像，能夠高效地進(jìn)行圖像合成的處理。
上述圖像處理中，可以具有對(duì)成為上述1個(gè)靜止圖像的合成基準(zhǔn)的圖像進(jìn)行指定的結(jié)構(gòu)，并相對(duì)于該指定的圖像，按照事先關(guān)聯(lián)的順序，抽出多個(gè)圖像。
通過(guò)該圖像處理，要在合成像素密度高的靜止圖像中使用的多個(gè)圖像，被以指定的圖像為基準(zhǔn)，按事先關(guān)聯(lián)的順序抽出。通過(guò)指定一個(gè)圖像，要在合成中使用的多個(gè)圖像被自動(dòng)抽出。因此，無(wú)需指定所有要在合成中使用的多個(gè)圖像，能夠使圖像的合成處理操作變得比較容易。
上述圖像處理中，多個(gè)圖像可為時(shí)序上連續(xù)的多個(gè)圖像，上述關(guān)聯(lián)的順序，可為從上述指定的圖像起連續(xù)的時(shí)序順序。多個(gè)圖像的抽出，可以考慮以下各種方式，即，以指定的圖像為中心、按時(shí)序在前后方向上交替的順序，或按時(shí)序、隔一選一的順序等，通過(guò)從指定的圖像起按照時(shí)序上連續(xù)的順序抽出圖像，可以使圖像的抽出處理簡(jiǎn)化。
上述圖像處理中，也可以在生成1個(gè)靜止圖像之前，顯示用于合成上述圖像的圖像個(gè)數(shù)。根據(jù)該圖像處理，用戶可以較容易地認(rèn)識(shí)到用于圖像合成處理的圖像個(gè)數(shù)。另外，可與該圖像個(gè)數(shù)一起，或者代替該圖像個(gè)數(shù)，顯示合成中不使用的圖像的個(gè)數(shù)。
在上述圖像處理中，可以在確定的2個(gè)以上的圖像沒(méi)有達(dá)到規(guī)定個(gè)數(shù)的情況下，顯示警告。此外，可以在確定的2個(gè)以上的圖像個(gè)數(shù)沒(méi)有達(dá)到規(guī)定個(gè)數(shù)的情況下，選擇是否執(zhí)行上述圖像的合成。
通過(guò)該圖像處理，可以事先向用戶發(fā)出警告，告知圖像合成處理中使用的圖像個(gè)數(shù)未達(dá)到規(guī)定個(gè)數(shù)，不能期望所生成的一個(gè)靜止圖像會(huì)被有效地鮮亮化。此外，在沒(méi)有達(dá)到規(guī)定個(gè)數(shù)的狀態(tài)下，可以讓用戶選擇是否執(zhí)行合成處理。
上述圖像處理中，可以在確定的2個(gè)以上的圖像個(gè)數(shù)沒(méi)有達(dá)到規(guī)定個(gè)數(shù)的情況下，中止上述圖像的合成。
通過(guò)該圖像處理，如果某個(gè)圖像由于超過(guò)閾值而被排除在外，結(jié)果用于合成的圖像在沒(méi)有達(dá)到2個(gè)以上、3個(gè)以上這種任意設(shè)定的規(guī)定個(gè)數(shù)，則中止合成處理本身。因此，在不能期待獲得像素密度高的靜止圖像的情況下，不進(jìn)行花費(fèi)處理時(shí)間的合成處理，能在早期階段就中止合成處理。例如，通過(guò)規(guī)定個(gè)數(shù)的設(shè)定，即使有一個(gè)檢測(cè)出的圖像間的偏移量超過(guò)事先制定的閾值的圖像，也可以立即中止合成處理。
此外，在確定2個(gè)以上的圖像時(shí)，可將檢測(cè)出的偏移量超過(guò)規(guī)定閾值的圖像從上述抽出的多個(gè)圖像中排除，并將被這樣排除的圖像以外的圖像，確定作為上述2個(gè)以上的圖像。這是因?yàn)?，如果?duì)檢測(cè)出的偏移量與規(guī)定閾值的大小進(jìn)行判斷，就可以較為容易地找出難以用于圖像合成的圖像。
在上述圖像處理中，檢測(cè)出的偏移量，可為圖像間的平移方向的平移偏移量和/或旋轉(zhuǎn)方向的旋轉(zhuǎn)偏移量，可將該平移偏移量和/或旋轉(zhuǎn)偏移量超過(guò)規(guī)定的閾值的圖像排除。
上述圖像處理中，規(guī)定的閾值，既可以設(shè)定為特定的值，也可以對(duì)要合成的圖像的像素?cái)?shù)作為規(guī)定比例制定。例如，可以定為縱橫的像素?cái)?shù)的幾％到10％。當(dāng)然，也可以設(shè)為固定值。例如，在平移偏移量的情況下，進(jìn)行判斷的規(guī)定閾值，可設(shè)為約±16個(gè)像素，在旋轉(zhuǎn)偏移量的情況下，進(jìn)行判斷的規(guī)定閾值可設(shè)為約±1°。根據(jù)該圖像處理，圖像間的平移偏移量超過(guò)±16個(gè)像素和/或旋轉(zhuǎn)偏移量超過(guò)±1°的像素，被從圖像的合成對(duì)象中排除，或中止合成處理。例如，在時(shí)序上連續(xù)的圖像間的平移偏移量超過(guò)該閾值的情況下，合成對(duì)象的圖像本身可能含有抖動(dòng)。因此，通過(guò)用該閾值進(jìn)行判斷，可以事先排除不太可能有助于合成的的圖像后進(jìn)行合成處理，或者可以中止合成處理。
用于上述圖像處理的多個(gè)圖像，可以是包含在動(dòng)態(tài)圖像中的多幅幀圖像。通常，適用于合成低分辨率的多幅幀圖像，來(lái)生成一個(gè)高分辨率的靜止圖像的情況。
用于上述圖像處理的多個(gè)圖像，可為具有隨攝影時(shí)的攝影對(duì)象的亮度變化的曝光時(shí)間的信息的多個(gè)靜止圖像，可以根據(jù)曝光時(shí)間，對(duì)每個(gè)上述靜止圖像設(shè)定上述規(guī)定的閾值。
通過(guò)該圖像處理，根據(jù)各靜止圖像所具有的攝影時(shí)的曝光時(shí)間的信息，對(duì)每一個(gè)靜止圖像設(shè)定圖像間的偏移量的閾值。也就是說(shuō)，根據(jù)檢測(cè)出偏移量的成為對(duì)象的2個(gè)圖像的攝影時(shí)間間隔與曝光時(shí)間的時(shí)間比率，來(lái)制定一個(gè)靜止圖像的曝光時(shí)間內(nèi)的允許偏移量，并設(shè)定閾值。由此，閾值就不是一成不變的，可以適應(yīng)地設(shè)定為與各靜止圖像相對(duì)應(yīng)的閾值。
本發(fā)明，還可以作為計(jì)算機(jī)程序產(chǎn)品以及存儲(chǔ)計(jì)算機(jī)程序的媒體來(lái)實(shí)現(xiàn)。
圖1是表示作為本發(fā)明的第1實(shí)施例的圖像處理系統(tǒng)的說(shuō)明圖。
圖2是第1實(shí)施例的圖像處理的流程圖。
圖3是表示2個(gè)圖像的位置偏移的說(shuō)明圖。
圖4是表示利用斜率法的平移偏移量的計(jì)算方法的說(shuō)明圖。
圖5是示意表示像素的旋轉(zhuǎn)偏移量的說(shuō)明圖。
圖6是圖像的偏移量與有助于鮮亮化的范圍的關(guān)系的說(shuō)明圖。
圖7是第2實(shí)施例的圖像處理的流程圖。
圖8是第2實(shí)施例中的偏移量檢測(cè)順序的說(shuō)明圖。
圖9是第3實(shí)施例的圖像處理的流程圖。
圖10是靜止圖像的拍攝周期與曝光時(shí)間的關(guān)系的說(shuō)明圖。
具體實(shí)施例方式
以下，根據(jù)實(shí)施例，按照一下大順序?qū)Ρ景l(fā)明的實(shí)施方式進(jìn)行說(shuō)明。
A.第1實(shí)施例A1.圖像處理裝置的結(jié)構(gòu)A2.圖像處理A3.偏移量的檢測(cè)A4.閾值的設(shè)定B.第2實(shí)施例B1.圖像處理C.第3實(shí)施例C1.圖像處理裝置的結(jié)構(gòu)C2.圖像處理C3.閾值的設(shè)定A.第1實(shí)施例A1.圖像處理裝置的結(jié)構(gòu)圖1是表示本發(fā)明第1實(shí)施例的圖像處理系統(tǒng)100的說(shuō)明圖。如圖所示，該圖像處理系統(tǒng)100由以下各部分等構(gòu)成圖像數(shù)據(jù)庫(kù)20，提供動(dòng)態(tài)圖像和靜止圖像等的圖像數(shù)據(jù)；作為圖像處理裝置的個(gè)人計(jì)算機(jī)30，對(duì)從圖像數(shù)據(jù)庫(kù)20輸入的多個(gè)圖像進(jìn)行圖像處理；用戶界面40，用于讓用戶對(duì)圖像處理的執(zhí)行發(fā)出指示；以及，彩色打印機(jī)50，輸出實(shí)施了圖像處理的圖像。
圖像數(shù)據(jù)庫(kù)20，具有處理數(shù)碼攝像機(jī)21、數(shù)碼靜態(tài)相機(jī)22、DVD23、硬盤(pán)24等的圖像的機(jī)器，向個(gè)人計(jì)算機(jī)30供給圖像數(shù)據(jù)。另外，第1實(shí)施例的圖像數(shù)據(jù)庫(kù)20中保有的圖像數(shù)據(jù)，是由數(shù)碼攝像機(jī)21取得的動(dòng)態(tài)圖像數(shù)據(jù)。以下，將本實(shí)施例的圖像處理中所處理的圖像數(shù)據(jù)稱(chēng)為幀圖像。該幀圖像，是時(shí)序上連續(xù)配置的多幅圖像，是構(gòu)成動(dòng)態(tài)圖像的一部分。
個(gè)人計(jì)算機(jī)30，具有I/F電路35等，用于與執(zhí)行圖像處理的CPU31、ROM32、RAM33、裝有圖像處理的軟件的硬盤(pán)34、圖像數(shù)據(jù)庫(kù)20、用戶界面40和彩色打印機(jī)50等外部機(jī)器進(jìn)行交換信息。安裝在硬盤(pán)34上的軟件的圖像處理，是將輸入的多幅幀圖像合成，來(lái)生成一幅高分辨率的靜止圖像的處理。安裝有該軟件的個(gè)人計(jì)算機(jī)30，具有作為圖像處理裝置的“圖像抽出裝置”、“偏移量檢測(cè)裝置”、“排除裝置”、“圖像合成裝置”的各個(gè)機(jī)能。另外，對(duì)該圖像處理的流程，在后面詳細(xì)說(shuō)明。
用戶界面40，包括鍵盤(pán)41和鼠標(biāo)器42，用戶使用它們進(jìn)行圖像處理的執(zhí)行操作；以及，顯示器43，顯示執(zhí)行圖像處理之前的幀圖像和合成處理后的靜止圖像，等。
A2.圖像處理圖2是合成多個(gè)圖像數(shù)據(jù)來(lái)生成一個(gè)靜止圖像的第1實(shí)施例的圖像處理的流程圖。在具有上述硬件結(jié)構(gòu)的圖像處理系統(tǒng)100中，用戶通過(guò)操作鍵盤(pán)41，開(kāi)始個(gè)人計(jì)算機(jī)30中裝入的圖像處理。
圖像處理開(kāi)始后，個(gè)人計(jì)算機(jī)30，從圖像數(shù)據(jù)庫(kù)20輸入作為幀圖像數(shù)據(jù)的集合的動(dòng)態(tài)圖像數(shù)據(jù)，并在顯示器43上將其再生。用戶在希望作為靜止圖像輸出的一個(gè)場(chǎng)景，實(shí)施再生圖像的暫停操作，并對(duì)該場(chǎng)景(幀圖像)進(jìn)行指定(步驟S200)。
個(gè)人計(jì)算機(jī)30，從指定的幀圖像中，按時(shí)序順序抽出圖像處理中使用的幀圖像(步驟S210)。本實(shí)施例中，設(shè)從指定幀圖像的操作時(shí)刻起，輸入時(shí)序上連續(xù)的4幅幀圖像。以下，將這4幅幀圖像中用戶指定的那一個(gè)(即，時(shí)序上最初的那個(gè))稱(chēng)作參照幀圖像F1，將其他的稱(chēng)作對(duì)象幀圖像(F2～F4)。另外，所抽出的幀圖像的數(shù)量，可以由用戶任意設(shè)定。
個(gè)人計(jì)算機(jī)30，對(duì)這樣指定·抽出的4幅幀圖像彼此的幀圖像間的偏移量進(jìn)行檢測(cè)(步驟S220)。這里，所謂檢測(cè)的偏移量，如圖3所示，是指2個(gè)圖像的“位置偏移”，由表示平移方向的偏移的平移偏移量u、v、以及表示旋轉(zhuǎn)方向的偏移的旋轉(zhuǎn)偏移量δ這3個(gè)要素表現(xiàn)。個(gè)人計(jì)算機(jī)30，檢測(cè)出參照幀圖像F1、與3幅對(duì)象幀圖像(F2～F4)的每一個(gè)之間的偏移量(u、v、δ)。另外，偏移量的檢測(cè)方法將在后面敘述。
個(gè)人計(jì)算機(jī)30，判斷時(shí)序上相鄰的幀圖像間的偏移量是否在規(guī)定的范圍(閾值)內(nèi)。例如，在對(duì)象幀圖像F2與對(duì)象幀圖像F3間的偏移量大到超過(guò)閾值的情況下，可以推定出是有意識(shí)地移動(dòng)數(shù)碼攝像機(jī)21的快速搖攝，對(duì)象幀圖像F3本身產(chǎn)生抖動(dòng)的可能性很高。個(gè)人計(jì)算機(jī)30實(shí)施處理，從合成的對(duì)象中，將判斷的結(jié)果為可能產(chǎn)生抖動(dòng)的對(duì)象幀圖像F3排除(步驟S230)。
另外，本實(shí)施例中，對(duì)平移偏移量u、v設(shè)置下限值的閾值，對(duì)所有幀圖像間的平移偏移量u、v進(jìn)行判斷。例如，即便是相鄰的對(duì)象幀圖像F2與對(duì)象幀圖像F3的偏移量、對(duì)象幀圖像F3與對(duì)象幀圖像F4的偏移量，分別都在規(guī)定的范圍內(nèi)，對(duì)象幀圖像F2與對(duì)象幀圖像F4是同一圖像，有時(shí)也無(wú)需對(duì)圖像的合成使用相同的對(duì)象幀圖像。也就是說(shuō)，由于是幾乎沒(méi)有偏移的幀圖像(同一圖像)，所以圖像的合成處理中使用其中任意一方足矣。本實(shí)施例中，對(duì)幀圖像間的平移偏移量u、v設(shè)置0.1像素的閾值，當(dāng)檢測(cè)出的偏移量u、v為0.1像素以下時(shí)，會(huì)被從合成的對(duì)象中排除。
個(gè)人計(jì)算機(jī)30，使用未被排除而留下的對(duì)象幀圖像和參照幀圖像F1，來(lái)進(jìn)行圖像的合成處理(步驟S240)。具體講就是，將實(shí)施過(guò)位置偏移校正的對(duì)象幀圖像(例如對(duì)象幀圖像F2)重疊在參照幀圖像F1上，根據(jù)兩者的各像素的灰度值，來(lái)決定合成圖像的各像素的灰度值。合成圖像的各像素的灰度值，使用的是公知的雙線性法。另外，也可以使用其他公知的方法來(lái)代替雙線性法，例如最相鄰法或雙三次法等。順序執(zhí)行使用該雙線性法的合成處理，來(lái)生成一幅靜止圖像。
另外，本實(shí)施例中，即使根據(jù)規(guī)定的閾值將對(duì)象幀圖像排除后的結(jié)果，為合成處理中使用的對(duì)象幀圖像的數(shù)量減少，也要照常執(zhí)行合成處理。這種情況下，雖然個(gè)人計(jì)算機(jī)30，將圖像的合成中使用的數(shù)量顯示在顯示器43上，但也可以在執(zhí)行合成處理之前，顯示合成中使用的圖像個(gè)數(shù)。此外，也可以再?gòu)膱D像數(shù)據(jù)庫(kù)20中抽出時(shí)序上連續(xù)的幀圖像(第5幅)作為對(duì)象幀圖像，重復(fù)步驟S220起的處理，并將合成處理中使用的對(duì)象幀圖像的數(shù)量總保持一定。另外，也可以抽出時(shí)序上位于參照幀圖像F1前面的幀圖像。
個(gè)人計(jì)算機(jī)30，將如此合成的靜止圖像顯示在顯示器43上的規(guī)定位置上，同時(shí)，結(jié)束該處理。用戶根據(jù)意愿進(jìn)行操作，將該靜止圖像輸出到彩色打印機(jī)20或硬盤(pán)34等上。
在這一系列的圖像處理中，事先將對(duì)象幀圖像本身包含抖動(dòng)的圖像、幾乎與參照幀圖像F1相同的對(duì)象幀圖像等這種，無(wú)助于合成圖像的高分辨率化和鮮亮化的對(duì)象幀圖像予以排除。從而，能夠進(jìn)行高效的圖像處理。
A3.偏移量的檢測(cè)如上述的圖3所示，參照幀圖像F1和對(duì)象幀圖像F2的位置偏移，由3個(gè)參數(shù)(u，v，δ)表示。這里，設(shè)參照幀圖像F1，具有以圖像中心為原點(diǎn)、以橫向?yàn)閤1軸、以縱向?yàn)閥1軸的直角坐標(biāo)系(x1，y1)；設(shè)對(duì)象幀圖像F2，具有以圖像中心為原點(diǎn)、以橫向?yàn)閤2軸、以縱向?yàn)閥2軸的直角坐標(biāo)系(x2，y2)。圖3表示對(duì)象幀圖像F2相對(duì)于參照幀圖像F1，在橫向上產(chǎn)生u的偏移、在縱向上產(chǎn)生v的偏移、在相對(duì)對(duì)象幀圖像的中心的旋轉(zhuǎn)方向上產(chǎn)生δ的偏移的情況。
本實(shí)施例中，使用斜率法來(lái)求取幀圖像間的偏移量，該斜率法，利用幀圖像間的各像素的亮度，以比一個(gè)像素還細(xì)小的單位來(lái)推定像素的位置。圖4是表示利用該斜率法的平移偏移量的計(jì)算方法的說(shuō)明圖。圖4的(a)(c)中，表示各個(gè)圖像上的像素的亮度，圖4的(b)(d)中，表示斜率法的原理。這里，(x1i，y1i)，表示參照幀圖像F1上的一個(gè)像素的坐標(biāo)，B1(x1i，y1i)，表示該像素的亮度。另外這里，設(shè)對(duì)象幀圖像F2上，坐標(biāo)為(x2i，y2i)的像素位于參照幀圖像F1上的坐標(biāo)(x1i～x1i+1，y1i～y1i+1)之間，并設(shè)其坐標(biāo)為(x1i+Δx，y1i+Δy)。
如圖4(b)(d)所示，設(shè)對(duì)象幀圖像F2中的坐標(biāo)為(x2i，y2i)的像素，位于參照幀圖像F1上的坐標(biāo)(x1i+Δx，y1i)，若設(shè)Px＝B1(x1i+1，y1i)-B1(x1i，y1i)…(1)則Px·Δx＝B2(x2i，y2i)-B1(x1i，y1i)…(2)成立。這時(shí)，若將B1(x1i，y1i)和B2(x2i，y2i)簡(jiǎn)寫(xiě)為B1、B2，來(lái)求出滿足式(3)的Δx，就可以求出對(duì)象幀圖像F2在x軸方向上的平移偏移量。
{Px·Δx-(B2-B1)}2＝0…(3)實(shí)際上，對(duì)各像素計(jì)算出Δx，然后再取平均。
同樣，設(shè)對(duì)象幀圖像F2中的坐標(biāo)為(x2i，y2i)的像素，位于參照幀圖像F1上的坐標(biāo)(x1i，y1i+Δy)，若設(shè)Py＝B1(x1i，y1i+1)-B1(x1i，y1i)…(4)則Py·Δy＝B2(x2i，y2i)-B1(x1i，y1i)…(5)
成立。這時(shí)，若將B1(x1i，y1i)和B2(x2i，y2i)簡(jiǎn)寫(xiě)為B1、B2，來(lái)求出滿足式(6)的Δy，就可以求出對(duì)象幀圖像F2在y軸方向上的平移偏移量。
{Py·Δy-(B2-B1)}2＝0…(6)實(shí)際上，對(duì)各像素計(jì)算出Δy，然后再取平均。
由于上述的式(3)是僅考慮x軸方向的情況，上述的式(6)是僅考慮y軸方向的情況，因此，將它們對(duì)x軸方向、y軸方向這兩個(gè)方向進(jìn)行擴(kuò)展后，只要利用最小自乘法求出令式(7)最小的Δx、Δy即可。這樣求出的Δx、Δy，就相當(dāng)于平移偏移量u、v。
S2＝∑{Px·Δx+Py·Δy-(B2-B1)}2…(7)以上，是在幀圖像間只存在平移偏移量的情況下的計(jì)算，而除此之外，還要對(duì)考慮了旋轉(zhuǎn)偏移量δ的偏移量計(jì)算方法進(jìn)行說(shuō)明。圖5是示意表示像素的旋轉(zhuǎn)偏移量的說(shuō)明圖。如圖所示，若設(shè)參照幀圖像F1的坐標(biāo)(x1，y1)距原點(diǎn)0的距離為r，從x1軸起的旋轉(zhuǎn)角度為θ，則通過(guò)下式求出r、θ。另外，圖5中為了簡(jiǎn)化說(shuō)明，說(shuō)明的是以幀圖像中心為原點(diǎn)O旋轉(zhuǎn)圖像的示例。
r＝(x2+y2)1/2…(8)θ＝tan-1(x/y)…(9)這里，設(shè)當(dāng)以原點(diǎn)O為中心，將將象幀圖像的坐標(biāo)(x1，y1)旋轉(zhuǎn)角度δ時(shí)，即與對(duì)象幀圖像的坐標(biāo)(x2，y2)一致。該旋轉(zhuǎn)所帶來(lái)的x軸方向的移動(dòng)量Δx和y軸方向的移動(dòng)量Δy，可以通過(guò)下式求出。另外，設(shè)旋轉(zhuǎn)偏移量δ為微小量，使用近似式cosδ1、sinδδ。
Δx＝x2-x1-r·δ·sinδ＝-δ·y1…(10)Δy＝y(tǒng)2-y1r·δ·cosδ＝δ·x1…(11)因此，若將上述式(7)中的Δx、Δy，在平移偏移量u、v中加入旋轉(zhuǎn)偏移量δ來(lái)表示，則如下式所示。
Δx＝u-δ·y1…(12)Δy＝v+δ·x1…(13)將它們代入上述式(7)中，就會(huì)得到以下的一般式。
S2＝∑{Px·(u-δ·y)+Py·(v+δ·x)-(B2-B1)}2…(14)
也就是說(shuō)，通過(guò)利用最小自乘法求出使上述式(14)的S2最小的u、v、δ，就能夠高精度地檢測(cè)幀圖像間的不到1個(gè)像素的偏移量。另外，雖然本實(shí)施例中，通過(guò)斜率法來(lái)計(jì)算偏移量，但也可以使用塊匹配法(blockmatching)或反復(fù)斜率法，以及將它們組合起來(lái)的方法等進(jìn)行計(jì)算。
A4.閾值的設(shè)定下面，說(shuō)明如何對(duì)如上所述檢測(cè)出的偏移量(u，v，δ)，設(shè)定有助于圖像的高分辨率化、鮮亮化的范圍(閾值)。圖6是圖像偏移量與有助于鮮亮化的范圍的關(guān)系的說(shuō)明圖。如圖所示，用平移偏移量u、v表示橫軸，用旋轉(zhuǎn)偏移量δ表示縱軸，用區(qū)域(a)、(b)、(c)表示有助于高分辨率化·鮮亮化的基準(zhǔn)。這里，區(qū)域(a)表示由通常的手抖或搖攝產(chǎn)生的相鄰幀圖像間的偏移的范圍，區(qū)域(b)表示快速搖攝或故意實(shí)施旋轉(zhuǎn)操作時(shí)的相鄰幀圖像間的偏移的范圍，區(qū)域(c)表示能夠取得平移偏移量、旋轉(zhuǎn)偏移量的范圍。
在本實(shí)施例中，設(shè)區(qū)域(a)的范圍滿足以下條件，即-16像素≤平移偏移量u、v≤16像素，-1°≤旋轉(zhuǎn)偏移量δ≤1°。如果幀圖像間的偏移量包含在區(qū)域(a)中，則判斷為是有助于圖像鮮亮化的對(duì)象幀圖像。換言之，設(shè)定±16像素、±1°為有助于圖像鮮亮化的閾值。當(dāng)然，該閾值雖然可以如上所述設(shè)為固定的值，但也可以根據(jù)圖像條件和合成條件等來(lái)進(jìn)行設(shè)定。例如，可以作為將要合成的圖像整體的縱橫的像素?cái)?shù)所對(duì)應(yīng)的比例(例如，幾％至十幾％)來(lái)進(jìn)行設(shè)定?；蛘咭部梢愿鶕?jù)抽出圖像的原始動(dòng)態(tài)圖像的光學(xué)倍率等進(jìn)行設(shè)定。這是由于，如果倍率低一般就不易產(chǎn)生抖動(dòng)等。另外，上述閾值可以是學(xué)習(xí)到的。可以讓使用者對(duì)合成后的圖像的良好與否進(jìn)行判定，當(dāng)判定為已滿足鮮亮化的要求時(shí)提高閾值，當(dāng)判定為不滿足鮮亮化的要求時(shí)降低閾值，由此逐步學(xué)習(xí)到針對(duì)該使用者所使用的圖像的閾值。
一般來(lái)說(shuō)，在用通常的數(shù)碼攝像機(jī)拍攝到的動(dòng)態(tài)圖像中，手抖或搖攝所造成的相鄰幀圖像間的偏移量，其平移偏移量為幾像素，旋轉(zhuǎn)偏移量為1°以下左右。因此，通過(guò)選擇幀圖像間的偏移量進(jìn)入?yún)^(qū)域(a)中的幀圖像，就可以從對(duì)象幀圖像中，排除例如因快速搖攝導(dǎo)致幀圖像本身包含抖動(dòng)的這種幀圖像。此外，可以從對(duì)象幀圖像中，排除跨場(chǎng)景變化的這種幀圖像。
另外，由于包含在區(qū)域(a)中的幀圖像的旋轉(zhuǎn)偏移量δ為±1°以下，所以，因此為由上述“偏移量的檢測(cè)”過(guò)程導(dǎo)入的近似式cosδ1、sinδδ充分成立的范圍(保證偏移量檢測(cè)精度的范圍)。因此，通過(guò)將包含在區(qū)域(a)中的幀圖像作為對(duì)象幀圖像來(lái)使用，可以排除會(huì)使偏移量檢測(cè)精度降低的幀圖像。
B.第2實(shí)施例B1.圖像處理圖7是將多個(gè)圖像數(shù)據(jù)合成來(lái)生成一個(gè)靜止圖像的第2實(shí)施例的圖像處理的流程圖。如圖所示，與圖2所示的第1實(shí)施例的不同之處在于，設(shè)置了圖像合成處理的中止判斷步驟。所以，對(duì)與第1實(shí)施例共通的處理只作簡(jiǎn)要說(shuō)明。另外，由于第2實(shí)施例的圖像處理系統(tǒng)的硬件結(jié)構(gòu)與第1實(shí)施例的相同，所以在此設(shè)其符號(hào)相同，并省略說(shuō)明。
如圖7所示，用戶通過(guò)鍵盤(pán)41的操作開(kāi)始圖像處理后，個(gè)人計(jì)算機(jī)30，從圖像數(shù)據(jù)庫(kù)20輸入幀圖像數(shù)據(jù)(步驟S400)。本實(shí)施例中，與第1實(shí)施例相同，設(shè)用戶指定的幀圖像為參照幀圖像F1，抽出從參照幀圖像F1起時(shí)序上連續(xù)的3幅幀圖像來(lái)作為對(duì)象幀圖像(F2～F4)(步驟S410)。
個(gè)人計(jì)算機(jī)30，檢測(cè)出各幀圖像間的偏移量(u，v，δ)(步驟S420)。該偏移量檢測(cè)處理與第1實(shí)施例同樣，檢測(cè)出參照幀圖像F1、與3幅對(duì)象幀圖像(F2～F4)的每一幅幀圖像間的偏移量(u，v，δ)。以下，如圖8所示，在該幀圖像間的偏移量檢測(cè)處理內(nèi)，將參照幀圖像F1與對(duì)象幀圖像F2之間的處理稱(chēng)作處理S1-2，將對(duì)象幀圖像F2與對(duì)象幀圖像F3之間的處理稱(chēng)作處理S2-3，將對(duì)象幀圖像F3與對(duì)象幀圖像F4之間的處理稱(chēng)作處理S3-4。
個(gè)人計(jì)算機(jī)30，判斷檢測(cè)出的幀圖像間的偏移量?jī)?nèi)，相鄰的一個(gè)幀圖像間偏移量(u，v，δ)是否是在第1實(shí)施例的閾值內(nèi)(步驟S430)。具體講就是，將由處理S1-2檢測(cè)出的偏移量(u，v，δ)與閾值進(jìn)行比較。如果在步驟S430中，偏移量不在閾值內(nèi)，就在顯示器43上顯示警告畫(huà)面，告知即使執(zhí)行圖像的合成處理也無(wú)法得到鮮亮的圖像等(步驟S460)。然后顯示選擇畫(huà)面，讓用戶選擇是否執(zhí)行合成處理(步驟S465)。如果在步驟S465中，用戶選擇了不執(zhí)行合成處理，就中止合成處理(步驟S470)，并結(jié)束這一系列的圖像處理。
另一方面，如果在步驟S430中，偏移量在閾值內(nèi)，或在步驟S465中，偏移量雖然不在閾值內(nèi)但用戶仍選擇了執(zhí)行合成處理的情況下，判斷是否對(duì)所有其他相鄰幀圖像間實(shí)施過(guò)偏移量(u，v，δ)的確認(rèn)(步驟S440)。如果并未對(duì)所有相鄰幀圖像間的偏移量實(shí)施過(guò)是否在閾值內(nèi)的確認(rèn)，則返回步驟S430，對(duì)下個(gè)相鄰幀圖像間的偏移量的檢測(cè)進(jìn)行判斷。具體講就是，如果由處理S1-2檢測(cè)出的偏移量滿足閾值的條件，就對(duì)處理S2-3的偏移量判斷條件。如果由處理S2-3檢測(cè)出的偏移量滿足閾值的條件，就對(duì)處理S3-4的偏移量判斷條件。在這個(gè)過(guò)程中，只要有一個(gè)不滿足閾值的偏移量，就與上述同樣，實(shí)施警告顯示(步驟S460)，然后讓用戶選擇是否執(zhí)行合成處理(步驟S465)。
如果個(gè)人計(jì)算機(jī)30，在步驟S440中判斷為所有的相鄰幀圖像間的偏移量均滿足閾值的條件，則執(zhí)行圖像的合成處理(步驟S450)。另外，與第1實(shí)施例同樣，在執(zhí)行合成處理前，為了排除相同或視為相同的幀圖像，對(duì)平移偏移量u、v進(jìn)行判斷。個(gè)人計(jì)算機(jī)30，在顯示器43上顯示合成后的靜止圖像，同時(shí)，結(jié)束這一系列的圖像處理。該處理與第1實(shí)施例相同。
在第2實(shí)施例的圖像處理中，在包含無(wú)助于圖像合成的高分辨率化鮮亮化的圖像的情況下顯示警告，讓用戶選擇是否執(zhí)行圖像的合成處理?？梢匀菀椎嘏袛喑鲇脩羰欠裣Ｍ寛D像鮮亮化，并僅在希望讓圖像鮮亮化的情況下，選擇執(zhí)行花費(fèi)處理時(shí)間的圖像合成處理。這樣，可以高效進(jìn)行圖像處理。此外，一般來(lái)說(shuō)，在數(shù)碼攝像機(jī)拍攝到的動(dòng)態(tài)圖像中，有助于合成圖像的鮮亮化的幀圖像的相鄰幀圖像間的偏移量不會(huì)急劇變化。在本實(shí)施例中，在檢測(cè)出的相鄰幀圖像間的偏移量?jī)?nèi)，至少有一個(gè)不滿足條件的情況下，顯示警告。也就是說(shuō)，可以在圖像處理的早期階段，判斷是否中止圖像合成。因此，能夠構(gòu)筑更高效的圖像處理系統(tǒng)。
另外，雖然本實(shí)施例中，在檢測(cè)出所有的相鄰幀圖像間的偏移量之后，再對(duì)偏移量進(jìn)行判斷，但也可以檢測(cè)出一個(gè)相鄰幀圖像間的偏移量后就進(jìn)行判斷，并只在一個(gè)相鄰幀圖像間滿足條件的時(shí)候，檢測(cè)下個(gè)相鄰幀圖像間的偏移量。此外，雖然本實(shí)施例中，哪怕存在一個(gè)偏移量超過(guò)閾值的圖像，也會(huì)發(fā)出警告來(lái)提請(qǐng)中止合成處理，但也可以設(shè)定用于執(zhí)行合成處理的圖像個(gè)數(shù)的允許值，在不滿足允許值的情況下，中止合成處理。例如，如果在抽出的4幅幀圖像中，有1幅圖像超過(guò)閾值，就將超過(guò)閾值的圖像排除在外，用3幅圖像進(jìn)行合成處理；如果有2幅以上的圖像超過(guò)閾值，則中止合成處理。
C.第3實(shí)施例C1.圖像處理裝置的結(jié)構(gòu)雖然第3實(shí)施例的圖像處理系統(tǒng)的硬件結(jié)構(gòu)與第1實(shí)施例相同，但圖像數(shù)據(jù)庫(kù)20中保有的圖像數(shù)據(jù)(即，實(shí)施圖像合成處理的素材)不相同。所以，設(shè)各裝置的符號(hào)相同并省略說(shuō)明，僅對(duì)處理的圖像數(shù)據(jù)進(jìn)行說(shuō)明。
第3實(shí)施例中處理的圖像數(shù)據(jù)，是用數(shù)碼靜態(tài)相機(jī)的連拍模式拍攝的多個(gè)靜止圖像數(shù)據(jù)。該靜止圖像數(shù)據(jù)是Exif形式的圖像文件，是在JPEG形式的圖像數(shù)據(jù)上，附加拍攝日期、曝光時(shí)間、有無(wú)閃光燈等的攝影信息的結(jié)構(gòu)所組成的圖像文件。該數(shù)碼靜態(tài)相機(jī)的連拍模式中，通過(guò)連續(xù)按動(dòng)快門(mén)，可以拍攝到1/30間隔的靜止圖像。圖像數(shù)據(jù)庫(kù)20中，保有至少4個(gè)以1/30秒間隔拍攝的Exif文件。該圖像文件，是具有根據(jù)攝影對(duì)象的亮度自動(dòng)改變曝光時(shí)間攝影得到的圖像數(shù)據(jù)的文件。另外，本實(shí)施例中，雖然處理的是1/30秒間隔的靜止圖像，但也可以使用例如1秒鐘4張、9張這種用通常的連拍模式拍攝到的靜止圖像。
C2.圖像處理圖9是將多個(gè)圖像數(shù)據(jù)合成來(lái)生成一個(gè)靜止圖像的第3實(shí)施例的圖像處理的流程圖。上述的硬件結(jié)構(gòu)中，安裝在個(gè)人計(jì)算機(jī)30中的圖像處理，通過(guò)用戶操作鍵盤(pán)41來(lái)開(kāi)始。
個(gè)人計(jì)算機(jī)30，從圖像數(shù)據(jù)庫(kù)20中讀入用連拍模式拍攝的多個(gè)靜止圖像文件，并顯示在顯示器43上。用戶從所顯示的靜止圖像中，指定所希望的一個(gè)靜止圖像(步驟S500)。該指定操作，通過(guò)用鼠標(biāo)器42點(diǎn)擊顯示器43上的一個(gè)靜止圖像來(lái)進(jìn)行。
個(gè)人計(jì)算機(jī)30接受到一個(gè)靜止圖像的指定指令后，從讀入的靜止圖像文件中，抽出對(duì)所指定的靜止圖像時(shí)序上連續(xù)的3個(gè)靜止圖像(步驟S510)，并與第1實(shí)施例同樣，實(shí)施處理來(lái)對(duì)這4幅靜止圖像的各圖像間的偏移量進(jìn)行檢測(cè)(步驟S520)。另外，為了加以區(qū)別，稱(chēng)指定的靜止圖像為參照?qǐng)D像，稱(chēng)被抽出的靜止圖像為對(duì)象圖像。
接著，個(gè)人計(jì)算機(jī)30，為了判斷各圖像是否能夠用于圖像的合成，設(shè)定偏移量的閾值(步驟S530)。第3實(shí)施例中，不像第1實(shí)施例那樣具有固定的閾值，使用包含在各圖像文件的攝影信息中的曝光時(shí)間，來(lái)對(duì)每個(gè)成為對(duì)象的靜止圖像設(shè)定閾值。另外，關(guān)于該閾值的設(shè)定，將在后面敘述。
個(gè)人計(jì)算機(jī)30，判斷各圖像間的偏移量是否處于根據(jù)曝光時(shí)間設(shè)定的閾值內(nèi)。本實(shí)施例中，由于是用數(shù)碼靜態(tài)相機(jī)連續(xù)拍攝的靜止圖像，因此旋轉(zhuǎn)偏移量δ很小，對(duì)平移偏移量u、v實(shí)施是否在閾值以?xún)?nèi)的判斷。個(gè)人計(jì)算機(jī)30實(shí)施處理，將判斷的結(jié)果為不滿足閾值條件的對(duì)象圖像，從合成的對(duì)象中排除(步驟S540)。
個(gè)人計(jì)算機(jī)30，使用未被排除而留下的對(duì)象圖像和參照?qǐng)D像，進(jìn)行圖像的合成處理(步驟S550)。該處理與第1實(shí)施例相同。個(gè)人計(jì)算機(jī)30，將如此合成的靜止圖像顯示在顯示器43上，同時(shí)結(jié)束該處理。
C3.閾值的設(shè)定圖10是用連拍模式拍攝的靜止圖像的拍攝周期與曝光時(shí)間的關(guān)系的說(shuō)明圖。圖10表示在每個(gè)拍攝周期Tf中時(shí)序上連續(xù)拍攝的靜止圖像(F1、F2、F3…)的曝光時(shí)間Tp。本實(shí)施例中，如上所述，拍攝周期Tf是1/30秒，為固定的間隔，各靜止圖像中的曝光時(shí)間Tp對(duì)每個(gè)靜止圖像而言是變化的。
這里，求出時(shí)序上連續(xù)的靜止圖像F1與靜止圖像F2的偏移量(u、v、δ)。若用連拍模式拍攝，設(shè)旋轉(zhuǎn)偏移量δ很小，則圖像間的被攝物體的移動(dòng)量mf，由式(15)表示。
mf＝(u2+v2)1/2…(15)該移動(dòng)量mf，表示拍攝周期Tf的時(shí)間內(nèi)的移動(dòng)量。
另一方面，如果一個(gè)靜止圖像內(nèi)的被攝物體的移動(dòng)量mp，與圖像間的移動(dòng)量mf呈比例關(guān)系，那么在一個(gè)靜止圖像內(nèi)的被攝物體的移動(dòng)量mp，由式(16)表示。
mp＝mf×Tp/Tf…(16)該移動(dòng)量mp，表示曝光時(shí)間Tp內(nèi)的移動(dòng)量。
在該移動(dòng)量mp超過(guò)1個(gè)像素的情況下，可以判斷出可能在一個(gè)靜止圖像內(nèi)產(chǎn)生了抖動(dòng)。如果設(shè)該抖動(dòng)的允許量為1個(gè)像素以下的規(guī)定值mpt，則圖像間的移動(dòng)量mf，可以由式(17)表現(xiàn)。
mf＝mpt×Tf/Tp…(17)也就是說(shuō)，將滿足該條件式的范圍，設(shè)為圖像間的偏移量(u、v)的閾值。
上述式(17)中，對(duì)于曝光時(shí)間Tp較長(zhǎng)的靜止圖像，圖像間的偏移量的允許范圍較窄；對(duì)于曝光時(shí)間Tp較短的靜止圖像，圖像間的偏移量的允許范圍較寬。因此，能對(duì)拍攝條件不同的每個(gè)靜止圖像，設(shè)定適當(dāng)?shù)钠屏康拈撝?。另外，雖然在本實(shí)施例中，拍攝周期Tf為1/30秒是固定的，但即使攝影周期變化，通過(guò)設(shè)定滿足上述式(17)的閾值，也可以檢測(cè)出有抖動(dòng)的圖像。
在本實(shí)施例中，通過(guò)使用每個(gè)靜止圖像的曝光時(shí)間Tp來(lái)逐個(gè)設(shè)定閾值，能夠?qū)㈧o止圖像內(nèi)有可能產(chǎn)生抖動(dòng)的靜止圖像適當(dāng)?shù)嘏懦谕?。因此，可以高效地進(jìn)行圖像處理。另外，雖然第3實(shí)施例中，與第1實(shí)施例同樣，將不適當(dāng)?shù)膱D像排除后進(jìn)行合成處理，但也可以像第2實(shí)施例那樣，中止圖像的合成。
此外，從本發(fā)明的第1實(shí)施例到第3實(shí)施例中，都說(shuō)明的是將時(shí)序上連續(xù)的圖像作為素材，但本發(fā)明并不是僅限于此。例如，也可以選擇不同日、從相同角度拍攝的圖像，來(lái)作為圖像合成處理用的素材。另外，也可以將鄰近的2臺(tái)數(shù)碼攝像機(jī)、數(shù)碼靜態(tài)相機(jī)等同時(shí)拍攝的圖像，作為圖像合成處理用的素材。在這種情況下，即使2臺(tái)相機(jī)各自的分辨率都較低，但通過(guò)合成處理，也能輸出高分辨率的靜止圖像。
以上，雖然說(shuō)明了本發(fā)明的實(shí)施方式，但本發(fā)明并不限定于這些實(shí)施方式，當(dāng)然可以在不脫離本發(fā)明主旨的范圍內(nèi)，以各種方式來(lái)實(shí)施。
產(chǎn)業(yè)上的利用可能性本實(shí)施例中，雖然將個(gè)人計(jì)算機(jī)作為本發(fā)明的圖像處理裝置來(lái)進(jìn)行說(shuō)明，但也可以在例如打印機(jī)、數(shù)碼攝像機(jī)、數(shù)碼靜態(tài)相機(jī)等各種機(jī)器中實(shí)施。本發(fā)明的圖像處理裝置和圖像處理方法，既可以在計(jì)算機(jī)上單獨(dú)實(shí)現(xiàn)，也可以通過(guò)內(nèi)置于這些機(jī)器中的方式來(lái)實(shí)施。
權(quán)利要求
1.一種圖像處理裝置，根據(jù)多個(gè)圖像生成像素密度高的靜止圖像，具備圖像抽出裝置，抽出用于生成所述靜止圖像的多個(gè)圖像；偏移量檢測(cè)裝置，檢測(cè)出所述抽出的多個(gè)圖像間的偏移量；確定裝置，根據(jù)所述檢測(cè)出的偏移量，從所述抽出的多個(gè)圖像之中確定2個(gè)以上的圖像；以及，圖像合成裝置，將所述確定的2個(gè)以上的圖像合成，來(lái)生成1個(gè)靜止圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述圖像抽出裝置，具備指定成為合成所述1個(gè)靜止圖像的基準(zhǔn)的圖像的指定裝置，并相對(duì)于該指定的圖像，按照事先關(guān)聯(lián)的順序，抽出多個(gè)圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述多個(gè)圖像，是時(shí)序上連續(xù)的多個(gè)圖像，所述關(guān)聯(lián)的順序，是從所述指定的圖像起連續(xù)的時(shí)序順序。
4.根據(jù)權(quán)利要求1～3的任一項(xiàng)所述的圖像處理裝置，其特征在于，具備合成個(gè)數(shù)顯示裝置，在生成所述1個(gè)靜止圖像之前，顯示用于合成所述圖像的圖像個(gè)數(shù)。
5.根據(jù)權(quán)利要求1～4的任一項(xiàng)所述的圖像處理裝置，其特征在于，具備警告裝置，在所述確定的2個(gè)以上的圖像的個(gè)數(shù)沒(méi)有達(dá)到規(guī)定的個(gè)數(shù)的情況下，顯示警告。
6.根據(jù)權(quán)利要求1～5的任一項(xiàng)所述的圖像處理裝置，其特征在于，具備選擇裝置，在所述確定的2個(gè)以上的圖像的個(gè)數(shù)沒(méi)有達(dá)到規(guī)定的個(gè)數(shù)的情況下，選擇是否執(zhí)行所述圖像的合成。
7.根據(jù)權(quán)利要求1～6的任一項(xiàng)所述的圖像處理裝置，其特征在于，具備中止裝置，在所述確定的2個(gè)以上的圖像的個(gè)數(shù)沒(méi)有達(dá)到規(guī)定的個(gè)數(shù)的情況下，中止所述圖像的合成。
8.根據(jù)權(quán)利要求1～7的任一項(xiàng)所述的圖像處理裝置，其特征在于，所述確定裝置，具備將所述檢測(cè)出的偏移量超出規(guī)定閾值的圖像從所述抽出的多個(gè)圖像中排除的排除裝置，并將被該排除裝置排除的圖像以外的圖像，確定為所述2個(gè)以上的圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述檢測(cè)出的偏移量，是圖像間的平移方向的平移偏移量和/或旋轉(zhuǎn)方向的旋轉(zhuǎn)偏移量，所述排除裝置，將所述平移偏移量和/或所述旋轉(zhuǎn)偏移量超過(guò)所述規(guī)定的閾值的圖像排除。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，所述規(guī)定的閾值，是相對(duì)構(gòu)成所述圖像的像素?cái)?shù)定出規(guī)定的比例的像素?cái)?shù)。
11.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，所述平移偏移量的規(guī)定閾值是±16個(gè)像素，所述旋轉(zhuǎn)偏移量的規(guī)定閾值是±1。。
12.根據(jù)權(quán)利要求1～11的任一項(xiàng)所述的圖像處理裝置，其特征在于，所述多個(gè)圖像，是包含在動(dòng)態(tài)圖像中的多個(gè)幀圖像。
13.根據(jù)權(quán)利要求8～11的任一項(xiàng)所述的圖像處理裝置，其特征在于，所述多個(gè)圖像，是具有曝光時(shí)間的信息的多個(gè)靜止圖像，該曝光時(shí)間隨攝影時(shí)的攝影對(duì)象的亮度變化，具備閾值設(shè)定裝置，根據(jù)所述曝光時(shí)間，對(duì)每個(gè)所述靜止圖像設(shè)定所述規(guī)定的閾值。
14.一種圖像處理方法，根據(jù)多個(gè)圖像生成像素密度高的靜止圖像，包括抽出用于生成所述靜止圖像的多個(gè)圖像；檢測(cè)出所述抽出的多個(gè)圖像間的偏移量；根據(jù)所述檢測(cè)出的偏移量，從所述抽出的多個(gè)圖像之中確定2個(gè)以上的圖像；以及，將所述確定的2個(gè)以上的圖像合成，來(lái)生成1個(gè)靜止圖像。
15.根據(jù)權(quán)利要求14所述的圖像處理方法，其特征在于，在所述確定的2個(gè)以上的圖像沒(méi)有達(dá)到規(guī)定的個(gè)數(shù)的情況下，中止所述圖像的合成。
16.一種圖像處理裝置，根據(jù)多個(gè)圖像生成像素密度高的靜止圖像，，具備輸出器，抽出用于生成所述靜止圖像的多個(gè)圖像；運(yùn)算器，對(duì)所述抽出的多個(gè)圖像間的偏移量，根據(jù)該圖像的數(shù)據(jù)進(jìn)行運(yùn)算；選擇器，根據(jù)所述運(yùn)算出的偏移量，從所述抽出的多個(gè)圖像之中確定2個(gè)以上的圖像；以及，圖像合成器，將所述確定的多個(gè)圖像合成，來(lái)生成1個(gè)靜止圖像。
17.一種計(jì)算機(jī)程序產(chǎn)品，讀入到計(jì)算機(jī)中，來(lái)實(shí)現(xiàn)根據(jù)多個(gè)圖像生成像素密度高的靜止圖像的處理，其中，該計(jì)算機(jī)程序產(chǎn)品，由程序代碼、和存儲(chǔ)該程序代碼的存儲(chǔ)媒體構(gòu)成，所述程序代碼，具備抽出用于生成所述靜止圖像的多個(gè)圖像的第1程序代碼；檢測(cè)出所述抽出的多個(gè)圖像間的偏移量的功能；根據(jù)所述檢測(cè)出的偏移量，從所述抽出的多個(gè)圖像之中確定2個(gè)以上的圖像的第2程序代碼；以及，將所述確定的2個(gè)以上的圖像合成，來(lái)生成1個(gè)靜止圖像的第3程序代碼。
全文摘要
本發(fā)明提供一種圖像處理裝置，根據(jù)多個(gè)圖像生成像素密度高的靜止圖像，具備抽出用于生成所述靜止圖像的多個(gè)圖像的圖像抽出裝置；檢測(cè)出所述抽出的多個(gè)圖像間的偏移量的偏移量檢測(cè)裝置；將所述檢測(cè)出的偏移量超過(guò)規(guī)定閾值的圖像從所述抽出的多個(gè)圖像中排除的排除裝置；以及，將上述排除的圖像以外的多個(gè)圖像合成來(lái)生成1個(gè)靜止圖像的圖像合成裝置。能夠在根據(jù)多個(gè)圖像生成一個(gè)靜止圖像的時(shí)候，高效地實(shí)施圖像處理。
文檔編號(hào)H04N1/387GK1879401SQ20048003301
公開(kāi)日2006年12月13日 申請(qǐng)日期2004年11月11日 優(yōu)先權(quán)日2003年11月11日
發(fā)明者相磯政司 申請(qǐng)人:精工愛(ài)普生株式會(huì)社