專利名稱：圖像處理方法、圖像處理裝置、圖像處理程序以及圖像文件格式的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，特別涉及用以進(jìn)行例如動(dòng)畫高解像度化等解像度轉(zhuǎn)換的技術(shù)。
背景技術(shù)：
由于數(shù)碼映像機(jī)器網(wǎng)絡(luò)的普及，在各種輸入、輸出機(jī)器中使用不同規(guī)格形式的數(shù)碼圖像已經(jīng)成為非常普遍的現(xiàn)象。特別是在圖像的尺寸中存在有從低解像度到超高解像度那樣的多種種類。在靜止圖像中，民生用數(shù)碼靜像攝影機(jī)的攝像元件的像素多為500萬像素以上，現(xiàn)在還有超過1000萬像素的產(chǎn)品，正在逐步對(duì)數(shù)碼相片印刷實(shí)現(xiàn)充分的高解像度化。
不過，能夠想像出作為今后的數(shù)碼圖像的用途，為了生成逼真的CG，而切出實(shí)際照片圖像的一部分，將其放大或者變形來進(jìn)行紋理變換(mapping)這樣的用途將會(huì)得到發(fā)展。并且，在電子商業(yè)交易和醫(yī)療等用途中，還存在有將商品和患部出示在顯示器上時(shí)，可自由地將感興趣的圖像區(qū)域進(jìn)行放大顯示這樣的交互式(interactive)顯示用途。由于在某種程度上實(shí)現(xiàn)了靜止圖像的高解像度化，因此能夠預(yù)測到今后對(duì)動(dòng)畫增大解像度，特別是對(duì)如電影那樣，將幀圖像的每一個(gè)作為靜止圖像通用那樣的高解像度動(dòng)畫的需求將會(huì)增大。
從而，要求更高的圖像數(shù)碼的高解像度化。但為了響應(yīng)此要求，不僅要求攝像元件的進(jìn)一步發(fā)展，而且必須使數(shù)碼圖像處理高度化。
作為圖像高解像度化的應(yīng)用領(lǐng)域，具有攝影機(jī)那樣的輸入圖像的領(lǐng)域和電視機(jī)那樣的顯示圖像的領(lǐng)域。本發(fā)明主要涉及對(duì)輸入圖像類的應(yīng)用。
本領(lǐng)域的現(xiàn)有技術(shù)是一邊使用低解像度的攝影元件，一邊用光學(xué)變焦機(jī)構(gòu)來最終獲得高視角、高解像度的靜止圖像的技術(shù)。
例如，在專利文獻(xiàn)1中，公開有在考慮到變焦率的情況下，將邊進(jìn)行連續(xù)的光學(xué)變焦，邊拍攝的動(dòng)畫一個(gè)接一個(gè)加在圖像緩沖器上來生成一張廣視角/高解像度靜止圖像的攝影機(jī)。并且，在專利文獻(xiàn)2中，公開有逐步讓變焦鏡頭從遠(yuǎn)距側(cè)(telephoto side)的最大變焦位置移到廣角(wide-angle)側(cè)的最小變焦位置，將各位置中的多個(gè)圖像寫入磁帶，在讀出時(shí)對(duì)各圖像進(jìn)行縮小或放大，將其轉(zhuǎn)換為相同倍率的圖像之后，再重疊起來，在主存儲(chǔ)器上生成高解像度的圖像的技術(shù)。而且，在專利文獻(xiàn)3中，公開有邊調(diào)整光學(xué)變焦圖像的位置，邊將其相互貼在一起，來生成一張高解像度靜止圖像，組合為異質(zhì)結(jié)構(gòu)的金字塔形式的技術(shù)。
并且，在專利文獻(xiàn)4中，公開有不用光學(xué)變焦，從低解像度和高解像度的圖像中生成高解像度的動(dòng)畫的技術(shù)。即，從用低解像度、高速幀速率的攝影機(jī)進(jìn)行的連續(xù)的動(dòng)畫中的對(duì)應(yīng)點(diǎn)信息中，找出用低解像度、低速攝影機(jī)進(jìn)行的較少幀數(shù)的動(dòng)畫內(nèi)的對(duì)應(yīng)點(diǎn)，利用時(shí)間方向的插補(bǔ)(interpolate)技術(shù)，來從高解像度圖像中生成高解像度的連續(xù)幀的動(dòng)畫。
并且，在專利文獻(xiàn)5中，公開有從低解像度和高解像度的圖像中生成高解像度的動(dòng)畫的技術(shù)。在上述專利文獻(xiàn)4中，將動(dòng)作附加在高解像度的靜止圖像上，來使其動(dòng)畫化，而在該專利文獻(xiàn)5的技術(shù)中，在每個(gè)取樣時(shí)間中，使低解像度動(dòng)畫的一個(gè)幀和高解像度靜止圖像相對(duì)應(yīng)，在空間上插補(bǔ)動(dòng)畫，實(shí)現(xiàn)高解像度化。
專利文獻(xiàn)1特開平11-252428號(hào)公報(bào)(圖3)專利文獻(xiàn)2特開平8-25177號(hào)公報(bào)(圖2)專利文獻(xiàn)3美國專利第6681056號(hào)說明書專利文獻(xiàn)4特開2003-203237號(hào)公報(bào)(

圖1)專利文獻(xiàn)5專利第3240339號(hào)公報(bào)(圖14)不過，在現(xiàn)有技術(shù)中存在有下述問題。
首先，在專利文獻(xiàn)1～3中所示的那樣的用光學(xué)變焦來生成高解像度圖像的技術(shù)中，存在有所生成的高解像度圖像被限定為靜止圖像的問題。事實(shí)上數(shù)碼動(dòng)畫的解像度與數(shù)碼靜止圖像相比較低，非常期望實(shí)現(xiàn)數(shù)碼動(dòng)畫的高解像度化。
對(duì)于動(dòng)畫的高解像度，在現(xiàn)有技術(shù)中存在有下述3個(gè)問題。
第一、當(dāng)將專利文獻(xiàn)1～3使用在動(dòng)畫中時(shí)，必須執(zhí)行錄象過程和圖像取得過程這兩個(gè)過程，該錄象過程是通過按照攝影者的意圖的攝影技巧(camera work)來拍攝動(dòng)畫的過程，該圖像取得過程是通過光學(xué)變焦取得部分圖像的過程。當(dāng)在不同的時(shí)間內(nèi)進(jìn)行了這兩個(gè)過程時(shí)，高解像度圖像和低解像度圖像的各區(qū)域的對(duì)應(yīng)關(guān)系變得不明確。并且，為了對(duì)圖像內(nèi)的各區(qū)域求出空間對(duì)應(yīng)關(guān)系，必須對(duì)各區(qū)域進(jìn)行用光學(xué)變焦取得圖像的過程，但是這樣做會(huì)造成反復(fù)執(zhí)行選擇畫面內(nèi)的微小區(qū)域、讓其光學(xué)變焦這樣的工作，使作業(yè)變得復(fù)雜，要通過人來實(shí)現(xiàn)它是很不現(xiàn)實(shí)的。
第二、專利文獻(xiàn)4所公開的是通過時(shí)間上的插補(bǔ)技術(shù)來讓高解像度靜止圖像的幀速率提高的技術(shù)，由于用運(yùn)動(dòng)向量將動(dòng)作附加在靜止圖像上，因此生成的動(dòng)畫不會(huì)強(qiáng)于靜止圖像的連續(xù)。特別是雖然在動(dòng)畫中通過平移(panning)、俯仰(tilting)、變焦(zooming)等這樣的攝影技巧、和讓被攝物自身變形及旋轉(zhuǎn)等能夠產(chǎn)生平穩(wěn)變化的各種場景，但是卻難以通過靜止圖像的插補(bǔ)技術(shù)生成所有的高解像度圖像。
第三、專利文獻(xiàn)5所公開的是從低解像度的動(dòng)畫來生成空間上高解像度動(dòng)畫的技術(shù)。具體地說，由于用時(shí)間軸上的分散點(diǎn)來使動(dòng)畫和靜止圖像相對(duì)應(yīng)，因此通過對(duì)沒有存在對(duì)應(yīng)信息的動(dòng)畫幀，使用對(duì)應(yīng)關(guān)系已被判明的幀信息，探索類似的信號(hào)電平的邊緣(edge)，認(rèn)為它就是同一被攝物的移動(dòng)，來決定在空間上插補(bǔ)的像素。這樣一來，不僅存在有探索處理的負(fù)擔(dān)太重這樣的問題，而且當(dāng)與被攝物的距離發(fā)生變化，或產(chǎn)生了被攝物變形時(shí)，不能實(shí)現(xiàn)對(duì)應(yīng)關(guān)系，造成難以獲得高解像度化的可能性很高。

發(fā)明內(nèi)容
鑒于上述問題，本發(fā)明的目的在于作為進(jìn)行動(dòng)畫的高解像度化那樣的圖像解像度轉(zhuǎn)換的技術(shù)，能夠?qū)崿F(xiàn)處理量較少且精度較高的解像度轉(zhuǎn)換。
本發(fā)明通過從對(duì)被攝物取得的解像度彼此不同的多個(gè)圖像中，對(duì)每個(gè)被攝物特性學(xué)習(xí)解像度轉(zhuǎn)換規(guī)則，根據(jù)被攝物特性對(duì)所取得的原圖像進(jìn)行區(qū)域分割，將所學(xué)習(xí)的與對(duì)應(yīng)于上述區(qū)域的被攝物特性有關(guān)的解像度轉(zhuǎn)換規(guī)則使用在被分割的區(qū)域中，來轉(zhuǎn)換原圖像的解像度。
根據(jù)本發(fā)明，首先，對(duì)于被攝物，從解像度彼此不同的多個(gè)圖像中，對(duì)每個(gè)被攝物特性學(xué)習(xí)解像度轉(zhuǎn)換規(guī)則。并且，根據(jù)被攝物特性對(duì)成為解像度轉(zhuǎn)換對(duì)象的原圖像進(jìn)行區(qū)域分割。將所學(xué)習(xí)的與對(duì)應(yīng)于上述區(qū)域的被攝物特性有關(guān)的解像度轉(zhuǎn)換規(guī)則使用在被分割的區(qū)域中，來轉(zhuǎn)換原圖像的解像度。即，由于原圖像的解像度轉(zhuǎn)換是通過每個(gè)被攝物特性的解像度轉(zhuǎn)換規(guī)則來執(zhí)行的，因此能夠?qū)崿F(xiàn)反映出被攝物特性的精度較高的解像度轉(zhuǎn)換。并且，由于不管在原圖像上的位置如何，對(duì)被攝物特性相同的區(qū)域使用相同的解像度轉(zhuǎn)換規(guī)則，因此大幅度降低了圖像處理的處理量。
(發(fā)明的效果)根據(jù)本發(fā)明，能夠用較少的圖像處理量實(shí)現(xiàn)反映出被攝物特性的精度較高的解像度轉(zhuǎn)換。因此，本發(fā)明適用于使低解像度的動(dòng)畫高解像度化的情況。由于能夠用可從各像素算出的光學(xué)特性來作為被攝物特性，因此還能夠很容易地使用于通過復(fù)雜的攝影技巧、或與被攝物的距離發(fā)生變化、變形、旋轉(zhuǎn)等進(jìn)行平穩(wěn)變化的各種場景，能夠生成高質(zhì)量的動(dòng)畫。并且，由于本發(fā)明并不限定于高解像度化，還能夠使用于一般的解像度轉(zhuǎn)換，因此能夠有效地利用于攜帶電話那樣的用以對(duì)低解像度顯示類的圖像進(jìn)行顯示的低解像度圖像的生成。
附圖的簡單說明圖1為表示本發(fā)明的第一實(shí)施例所涉及的圖像處理方法中的學(xué)習(xí)過程的流程圖。
圖2為表示本發(fā)明的第一實(shí)施例所涉及的圖像處理方法中的錄象過程的流程圖。
圖3為表示本發(fā)明的第一實(shí)施例所涉及的圖像處理方法中的高解像度化過程的流程圖。
圖4為表示學(xué)習(xí)過程和錄象過程的例子的示意圖。
圖5為表示本發(fā)明的第二實(shí)施例所涉及的圖像處理方法中的學(xué)習(xí)過程的流程圖。
圖6為表示將圖像轉(zhuǎn)換為紋理特征量的轉(zhuǎn)換方法的一個(gè)例圖。
圖7為表示轉(zhuǎn)換后的紋理特征量的圖。
圖8為用以說明學(xué)習(xí)結(jié)束材質(zhì)的記錄的圖。
圖9為用以說明目標(biāo)區(qū)域和光學(xué)變焦的關(guān)系圖。
圖10為用以具體說明生成電碼本(code book)的圖。
圖11為用以具體說明生成電碼本的圖。
圖12為表示變焦圖像和電碼本關(guān)系的圖。
圖13為表示本發(fā)明的第二實(shí)施例所涉及的圖像處理方法中的錄象過程的流程圖。
圖14為表示材質(zhì)圖像的一個(gè)例子的示意圖。
圖15為表示本發(fā)明的第二實(shí)施例中的圖像文件格式的圖。
圖16為表示本發(fā)明的第二實(shí)施例所涉及的圖像處理方法中的高解像度化過程的流程圖。
圖17為表示本發(fā)明的第三實(shí)施例所涉及的圖像處理裝置的方塊圖。
圖18為學(xué)習(xí)結(jié)束區(qū)域顯示部的顯示例。
圖19為學(xué)習(xí)結(jié)束區(qū)域顯示部的學(xué)習(xí)之后的顯示例。
圖20為表示可見光/光譜攝影部的結(jié)構(gòu)例的圖。
圖21為表示光譜圖像中的各頻帶(band)的波長感度的坐標(biāo)圖。
圖22為表示本發(fā)明的第四實(shí)施例所涉及的圖像處理裝置的方塊圖。
圖23為表示光軸變焦機(jī)構(gòu)的一個(gè)例子的示意圖。
圖24為表示本發(fā)明的第四實(shí)施例所涉及的攝影機(jī)的利用例和目標(biāo)區(qū)域的設(shè)定例的圖。
圖25為表示本發(fā)明的第四實(shí)施例中的學(xué)習(xí)過程的流程圖。
圖26為表示本發(fā)明的第四實(shí)施例中的學(xué)習(xí)過程和錄象過程的時(shí)間關(guān)系的時(shí)間圖。
圖27為表示本發(fā)明的第五實(shí)施例所涉及的圖像處理裝置的方塊圖。
圖28為表示本發(fā)明的第五實(shí)施例中的圖像錄象過程的流程圖。
圖29為表示本發(fā)明的第五實(shí)施例中的低解像度及高解像度圖像、和被攝物特性空間的關(guān)系的概念圖。
圖30為表示本發(fā)明的第六實(shí)施例所涉及的圖像處理裝置的結(jié)構(gòu)的方塊圖。
圖31為表示本發(fā)明的第六實(shí)施例中的低解像度及高解像度圖像、和被攝物特性空間關(guān)系的概念圖。
圖32為表示本發(fā)明的第六實(shí)施例中的高解像度圖像的攝影時(shí)間的例圖。
圖33為表示本發(fā)明的第六實(shí)施例中的低解像度圖像和高解像度圖像的對(duì)應(yīng)關(guān)系圖。
圖34為表示本發(fā)明的第六實(shí)施例中的錄象過程的流程圖。
圖35為表示本發(fā)明的第六實(shí)施例中的圖像文件格式的圖。
圖36為表示本發(fā)明的第六實(shí)施例中的高解像度化的例子的示意圖。
圖37為表示本發(fā)明的第七實(shí)施例所涉及的圖像處理裝置的結(jié)構(gòu)的方塊圖。
圖38為本發(fā)明的第七實(shí)施例中的表面反射分割圖像的顯示例。
圖39為表示本發(fā)明的第七實(shí)施例中的鏡面反射/擴(kuò)散反射分離攝影部的結(jié)構(gòu)例圖。
圖40為表示本發(fā)明的第七實(shí)施例中的學(xué)習(xí)過程的圖。
圖41為表示本發(fā)明的第七實(shí)施例中的動(dòng)畫記錄過程的圖。
圖42為表示本發(fā)明的第七實(shí)施例中的高解像度化過程的圖。
圖43為表示本發(fā)明的第八實(shí)施例所涉及的圖像處理裝置的結(jié)構(gòu)的方塊圖。
圖44為表示本發(fā)明的第八實(shí)施例中的學(xué)習(xí)過程的圖。
圖45為表示本發(fā)明的第八實(shí)施例中的動(dòng)畫記錄過程的圖。
圖46為表示本發(fā)明的第八實(shí)施例中的高解像度化過程的圖。
(符號(hào)的說明)TA1-目標(biāo)區(qū)域；IMa、IMb、IMc-圖像；301-變焦鏡頭；302-變焦控制部；303-可見光/光譜攝影部；304-光譜圖像生成部；305-可見光圖像生成部；306-材質(zhì)圖像生成部；307-紋理特征轉(zhuǎn)換部；308-學(xué)習(xí)結(jié)束區(qū)域分割部；309-學(xué)習(xí)結(jié)束區(qū)域顯示部(顯示部)；311-紋理特征學(xué)習(xí)部；313-學(xué)習(xí)按鈕；401-光軸可變焦機(jī)構(gòu)；402-光軸可變焦控制部；404-攝影機(jī)工作顯示部；406-照明推定部；407-錄象許可部；603-低解像度攝影元件；604-高解像度攝影元件；701-鏡面反射/擴(kuò)散反射分離攝影部；711-鏡面/擴(kuò)散比例圖像；728-鏡面反射圖像；729-擴(kuò)散反射圖像；1501-圖像數(shù)據(jù)；1502-區(qū)域分割圖像數(shù)據(jù)；1503-高解像度化參數(shù)數(shù)據(jù)；3501-高解像度化參數(shù)數(shù)據(jù)。
具體實(shí)施例方式
在本發(fā)明的第一方面，提供一種包括第一步驟、第二步驟和第三步驟的圖像處理方法，在該第一步驟中，對(duì)被攝物取得解像度彼此不同的多個(gè)圖像，針對(duì)每個(gè)被攝物特性從該多個(gè)圖像中學(xué)習(xí)解像度轉(zhuǎn)換規(guī)則；在該第二步驟中，取得原圖像，根據(jù)被攝物特性對(duì)該原圖像進(jìn)行區(qū)域分割；在該第三步驟中，通過對(duì)在上述第二步驟中所分割的區(qū)域，使用在上述第一步驟中所學(xué)習(xí)的、與對(duì)應(yīng)于上述區(qū)域的被攝物特性相關(guān)的解像度轉(zhuǎn)換規(guī)則，來轉(zhuǎn)換上述原圖像的解像度。
在本發(fā)明的第二方面，提供一種上述被攝物特性是不受攝影距離約束的光學(xué)特性的第一方面的圖像處理方法。
在本發(fā)明的第三方面，提供一種上述光學(xué)特性是從圖像的光譜反射率數(shù)據(jù)或紅外線光譜放射率數(shù)據(jù)中取得的第二方面的圖像處理方法。
在本發(fā)明的第四方面，提供一種上述被攝物特性是被攝物表面的材質(zhì)的第一方面的圖像處理方法。
在本發(fā)明的第五方面，提供一種上述被攝物特性是被攝物表面的反射狀態(tài)的第一方面的圖像處理方法。
在本發(fā)明的第六方面，提供一種上述解像度轉(zhuǎn)換規(guī)則是描述具有不同解像度的圖像之間的紋理特征向量的對(duì)應(yīng)關(guān)系的規(guī)則的第一方面的圖像處理方法。
在本發(fā)明的第七方面，提供一種包括決定被攝物的目標(biāo)區(qū)域的步驟；取得與上述目標(biāo)區(qū)域有關(guān)的具有不同解像度的第一及第二圖像的步驟；生成使上述第一及第二圖像相互對(duì)應(yīng)的解像度轉(zhuǎn)換規(guī)則的步驟；取得上述目標(biāo)區(qū)域中的被攝物特性的步驟；以及使上述解像度轉(zhuǎn)換規(guī)則和被攝物特性相對(duì)應(yīng)，并且將相對(duì)應(yīng)的解像度轉(zhuǎn)換規(guī)則和被攝物特性記錄在存儲(chǔ)設(shè)備中的步驟。
在本發(fā)明的第八方面，提供一種包括下述步驟的圖像處理方法，這些步驟是取得被攝物的靜止圖像或活動(dòng)圖像的步驟；以及根據(jù)被攝物特性對(duì)所取得的圖像進(jìn)行區(qū)域分割的步驟。
在本發(fā)明的第九方面，提供一種包括下述步驟的圖像處理方法，這些步驟是取得原圖像、和表示上述原圖像中的根據(jù)被攝物特性所分割的區(qū)域的區(qū)域分割信息的步驟；以及通過對(duì)上述區(qū)域分割信息所表示的區(qū)域，使用對(duì)應(yīng)于上述區(qū)域的被攝物特性所涉及的解像度轉(zhuǎn)換規(guī)則，來轉(zhuǎn)換上述原圖像的解像度的步驟。
在本發(fā)明的第十方面，提供一種包括取得部、規(guī)則生成部和區(qū)域分割圖像生成部的圖像處理裝置，該取得部構(gòu)成為能夠?qū)Ρ粩z物的目標(biāo)區(qū)域取得具有不同解像度的第一及第二圖像、和表示被攝物特性的第三圖像；該規(guī)則生成部從上述第一及第二圖像中生成使該第一及第二圖像相互對(duì)應(yīng)的解像度轉(zhuǎn)換規(guī)則；該區(qū)域分割圖像生成部從上述第三圖像中生成根據(jù)被攝物特性而被區(qū)域分割了的區(qū)域分割圖像。
在本發(fā)明的第十一方面，提供一種上述取得部將由被攝物的光譜信息構(gòu)成的光譜圖像作為上述第三圖像取得的第十方面的圖像處理裝置。
在本發(fā)明的第十二方面，提供一種上述取得部將表示被攝物表面的鏡面反射成分和擴(kuò)散反射成分的比例的鏡面/擴(kuò)散比例圖像作為上述第三圖像取得的第十方面的圖像處理裝置。
在本發(fā)明的第十三方面，提供一種上述取得部分別對(duì)鏡面反射圖像和擴(kuò)散反射圖像取得具有不同解像度的第一及第二圖像的第十方面的圖像處理裝置。
在本發(fā)明的第十四方面，提供一種上述取得部具有變焦鏡頭，利用光學(xué)變焦法取得上述第一及第二圖像的第十方面的圖像處理裝置。
在本發(fā)明的第十五方面，提供一種包括用以從裝置的外部指示生成解像度轉(zhuǎn)換規(guī)則的學(xué)習(xí)按鈕的第十方面的圖像處理裝置。
在本發(fā)明的第十六方面，提供一種包括用以顯示上述區(qū)域分割圖像的顯示部的第十方面的圖像處理裝置。
在本發(fā)明的第十七方面，提供一種上述取得部具有光軸可變焦機(jī)構(gòu)，利用該光軸可變焦機(jī)構(gòu)對(duì)所指定的目標(biāo)區(qū)域進(jìn)行光學(xué)變焦，取得上述第一及第二圖像的第十方面的圖像處理裝置。
在本發(fā)明的第十八方面，提供一種具有靜止圖像攝影功能和自拍機(jī)構(gòu)，當(dāng)進(jìn)行使用了上述自拍機(jī)構(gòu)的靜止圖像攝影時(shí)，在攝影之前的計(jì)時(shí)器工作期間，上述取得部進(jìn)行上述第一、第二及第三圖像的取得的第十七方面的圖像處理裝置。
在本發(fā)明的第十九方面，提供一種包括攝影功能、和檢測照明環(huán)境變化的照明推定部，當(dāng)在攝影期間，由上述照明推定部檢測出照明環(huán)境的變化時(shí)，將要重新生成解像度轉(zhuǎn)換規(guī)則的必要性通知給攝影者的第十方面的圖像處理裝置。
在本發(fā)明的第二十方面，提供一種包括攝影功能；以及在需要生成解像度轉(zhuǎn)換規(guī)則時(shí)禁止攝影的功能的第十方面的圖像處理裝置。
在本發(fā)明的第二十一方面，提供一種包括動(dòng)畫錄象功能，上述取得部構(gòu)成為能夠與動(dòng)畫錄象并行地執(zhí)行上述第一及第二圖像的取得的第十方面的圖像處理裝置。
在本發(fā)明的第二十二方面，提供一種當(dāng)使上述第一及第二圖像中的上述第一圖像的解像度較高時(shí)，上述取得部在動(dòng)畫錄象期間，將靜止圖像拍攝為上述第一圖像，并且，將錄下的活動(dòng)圖像取為上述第二圖像的第二十一方面的圖像處理裝置。
在本發(fā)明的第二十三方面，提供一種上述取得部當(dāng)從上述第三圖像中認(rèn)出了未學(xué)習(xí)的被攝物特性時(shí)，進(jìn)行上述第一及第二圖像的取得的第二十二方面的圖像處理裝置。
在本發(fā)明的第二十四方面，提供一種上述取得部每經(jīng)過規(guī)定的時(shí)間，就進(jìn)行上述第一及第二圖像的取得的第二十二發(fā)明的圖像處理裝置。
在本發(fā)明的第二十五方面，提供一種上述取得部包括用以拍攝上述第一及第二圖像的具有不同解像度的多個(gè)攝影元件的第十方面的圖像處理裝置。
在本發(fā)明的第二十六方面，提供一種讓計(jì)算機(jī)執(zhí)行第一步驟、第二步驟和第三步驟的圖像處理程序，該第一步驟是從對(duì)被攝物所取得的具有不同解像度的多個(gè)圖像中，針對(duì)每個(gè)被攝物特性學(xué)習(xí)解像度轉(zhuǎn)換規(guī)則的步驟，該第二步驟是根據(jù)被攝物特性對(duì)所取得的原圖像進(jìn)行區(qū)域分割的步驟，該第三步驟是通過對(duì)在上述第二步驟中所分割的區(qū)域，使用在上述第一步驟中所學(xué)習(xí)的、與對(duì)應(yīng)于上述區(qū)域的被攝物特性相關(guān)的解像度轉(zhuǎn)換規(guī)則，來轉(zhuǎn)換上述原圖像的解像度的步驟。
在本發(fā)明的第二十七方面，提供一種包括圖像數(shù)據(jù)、區(qū)域分割圖像數(shù)據(jù)和高解像度化參數(shù)數(shù)據(jù)的圖像文件格式，該圖像數(shù)據(jù)表示原圖像，該區(qū)域分割圖像數(shù)據(jù)表示上述原圖像中的根據(jù)被攝物特性所分割的區(qū)域，該高解像度化參數(shù)數(shù)據(jù)是為了使上述原圖像高解像度化，而對(duì)每個(gè)被攝物特性求出的。
在本發(fā)明的第二十八方面，提供一種上述高解像度化參數(shù)數(shù)據(jù)是上述原圖像中的位置與時(shí)間的函數(shù)的第二十七方面的圖像文件格式。
以下，參照附圖對(duì)本發(fā)明的實(shí)施例加以詳細(xì)地說明。
(第一實(shí)施例)圖1～圖3為表示本發(fā)明的第一實(shí)施例所涉及的圖像處理方法的流程圖。圖1表示學(xué)習(xí)過程，在此，對(duì)被攝物取得解像度彼此不同的多個(gè)圖像，針對(duì)每個(gè)被攝物特性，從該多個(gè)圖像中學(xué)習(xí)解像度轉(zhuǎn)換規(guī)則。圖2表示錄象過程，在此，將被攝物的靜止圖像或動(dòng)態(tài)圖像作為原圖像取得，并且，根據(jù)被攝物特性對(duì)該原圖像進(jìn)行區(qū)域分割。圖3表示高解像度化過程，在此，通過將與對(duì)應(yīng)于上述區(qū)域的被攝物特性相關(guān)的解像度轉(zhuǎn)換規(guī)則使用在被分割的區(qū)域中，來轉(zhuǎn)換原圖像的解像度。在此，為了將所記錄的原圖像以高解像度顯示在顯示器上，而進(jìn)行高解像度化。
此時(shí)的被攝物特性例如能夠從被攝物的光譜信息中獲得。光譜信息依存于被攝物的材質(zhì)。這里所說的材質(zhì)不僅包含被攝物自身的材料性質(zhì)，還包含被攝物表面的粗燥度等表面狀態(tài)。另外，本發(fā)明的被攝物特性不是僅限定于光譜信息，只要是不受攝影距離約束的光學(xué)特性的話，可以是任何特性。例如，即使對(duì)于被攝物表面的反射特性(BRDFbi directionaldistribution function)、和鏡面反射成分與擴(kuò)散反射成分的比例那樣的物理反射特性，也能夠?qū)⒐獾钠窆獬煞峙c圖像同時(shí)取得，作為被攝物特性使用。
在圖1的學(xué)習(xí)過程中，首先，在為被攝物的感興趣區(qū)域的目標(biāo)區(qū)域中，取得解像度不同的圖像(S101)。例如，取得低解像度圖像和高解像度圖像。并且，對(duì)目標(biāo)區(qū)域取得被攝物特性(S102)。然后，從解像度不同的圖像中學(xué)習(xí)解像度轉(zhuǎn)換規(guī)則，將其作為被攝物特性，同時(shí)，記錄在存儲(chǔ)裝置中(S103)。接著，對(duì)所有的目標(biāo)區(qū)域執(zhí)行這樣的處理(S104)。
在步驟S103中，例如，對(duì)低解像度圖像和高解像度圖像分別求出紋理特征量，使該紋理特征量之間的對(duì)應(yīng)關(guān)系參數(shù)化，將該參數(shù)定為解像度轉(zhuǎn)換規(guī)則。另外，在本案說明書中同時(shí)也將該參數(shù)稱為高解像度化參數(shù)數(shù)據(jù)。
在此，紋理特征量為與上述被攝物特性完全不同的概念。被攝物特性是例如從光譜信息中獲得，反映了被攝物的材質(zhì)等的光學(xué)特性，紋理特征量是圖像自身的像素型樣(pixel pattern)的信息。
在圖2的錄象過程中，不是將局部的目標(biāo)區(qū)域，而是將一般的動(dòng)畫和靜止圖像作為原圖像取得(S201)。同時(shí)，識(shí)別被攝物特性，根據(jù)該被攝物特性進(jìn)行圖像區(qū)域分割，生成區(qū)域分割圖像，且將其記錄下來(S202)。
在圖3的高解像度化過程中，首先，取得在錄象過程中所記錄的原圖像及區(qū)域分割圖像、和在學(xué)習(xí)過程中所學(xué)習(xí)的每個(gè)被攝物特性的解像度轉(zhuǎn)換規(guī)則(S301)。然后，取得原圖像的像素(S302)，對(duì)該像素所屬的區(qū)域的被攝物特性判斷解像度轉(zhuǎn)換規(guī)則的學(xué)習(xí)是否結(jié)束(S303)，當(dāng)判斷為學(xué)習(xí)已結(jié)束時(shí)(在S303中，為“Yes”的情況)，使用該被攝物特性所涉及的解像度轉(zhuǎn)換規(guī)則，進(jìn)行高解像度化(S304)，如果判斷為未學(xué)習(xí)時(shí)(在S303中，為“No”的情況)，施行通常的插補(bǔ)處理，進(jìn)行高解像度化(S305)。對(duì)成為解像度轉(zhuǎn)換對(duì)象的所有像素執(zhí)行這樣的處理(S306)。
在本發(fā)明中，使用被攝物特性，進(jìn)行解像度轉(zhuǎn)換規(guī)則的對(duì)應(yīng)關(guān)系和圖像區(qū)域的分割。在此，不用紋理等圖像自身的特征，而是使用了被攝物特性的理由如下。
第一，是因?yàn)楫?dāng)使用了圖像特征時(shí)，難以用高精度施行區(qū)域分割，而且處理量也會(huì)變多。能夠預(yù)測到特別是難以用實(shí)時(shí)(real-time)對(duì)動(dòng)畫進(jìn)行區(qū)域分割。第二，是因?yàn)閳D像特征因圖像自身的模糊和攝影距離的不同造成難以識(shí)別的時(shí)候較多。另一方面，由于基本上能夠從一個(gè)像素所具有的信息中取得被攝物特性，因此識(shí)別處理較簡單，即使對(duì)于攝影距離和圖像的模糊也具有較強(qiáng)的處理能力。即，即使圖像模糊到失去圖像特征的程度，被攝物特性作為信息留下來的可能性也會(huì)較高。并且，在動(dòng)畫中，被攝物一般不會(huì)處于靜止?fàn)顟B(tài)，而是在畫面內(nèi)移動(dòng)，此時(shí)，當(dāng)使用了圖像特征時(shí)，必須要從圖像內(nèi)探索該部分，但是當(dāng)使用了被攝物特性時(shí)，探索就變得非常簡單。
另外，雖然最典型的是用學(xué)習(xí)過程、錄象過程、高解像度化過程這樣的順序來施行圖1～圖3所示的各過程，但是也可以在時(shí)間上并行施行學(xué)習(xí)過程和錄象過程。
(第二實(shí)施例)在本發(fā)明的第二實(shí)施例中，以上述第一實(shí)施例為基礎(chǔ)，對(duì)具體的圖像處理方法加以說明。在此，為了取得解像度不同的圖像而使用光學(xué)變焦方法。并且，用被攝物的光譜信息作為被攝物特性，用高解像度化參數(shù)即表示圖像的紋理特征量之間的對(duì)應(yīng)關(guān)系的參數(shù)來作為解像度轉(zhuǎn)換規(guī)則。
圖4為表示學(xué)習(xí)過程和錄象過程的例子的概念圖。如圖4(a)所示，在對(duì)人物進(jìn)行動(dòng)畫攝影時(shí)，在學(xué)習(xí)過程中，預(yù)先設(shè)定目標(biāo)區(qū)域TA1(圖中的人物的臉)，將攝影機(jī)CA的光軸朝向該目標(biāo)區(qū)域TA1，進(jìn)行光學(xué)變焦。然后，如圖4(b)所示，進(jìn)入到錄象過程中。在此，由于人物雖然多少有一點(diǎn)活動(dòng)，但是幾乎為靜止?fàn)顟B(tài)，因此能夠?qū)︿浵蟮谋粩z物施行學(xué)習(xí)過程。這有望提高高解像度化的質(zhì)量。當(dāng)然，未必一定要對(duì)例如只發(fā)生一次的現(xiàn)象，以這樣的順序來執(zhí)行過程。此時(shí)，在進(jìn)行了錄象過程之后，如果在時(shí)間上還有富余的話，就可執(zhí)行學(xué)習(xí)過程。并且，還能夠考慮同時(shí)進(jìn)行兩個(gè)過程，以后再對(duì)這種情況加以說明。
圖5為表示本實(shí)施例中的學(xué)習(xí)過程的流程圖。在圖5中，攝影者設(shè)定目標(biāo)區(qū)域(S501)，攝影機(jī)CA的光學(xué)變焦按照攝影者的指示同步工作(S502)。由此，取得目標(biāo)區(qū)域的高解像度圖像和低解像度圖像。具體地說，生成可見光圖像和光譜圖像(S503、S504)。這里，可見光圖像為與人的視覺特性一致的彩色圖像和單色圖像，光譜圖像為用具有狹窄帶域(band)特征的過濾器將彩色成分分光之后的信息，用于更有效地識(shí)別為被攝物的特性的材質(zhì)。然后，將可見光圖像轉(zhuǎn)換為紋理特征量，在目標(biāo)區(qū)域中使高解像度紋理特征量和低解像度紋理特征量的對(duì)應(yīng)關(guān)系參數(shù)化(S506)。在本案說明書中，同時(shí)將該參數(shù)化的過程稱為學(xué)習(xí)。
圖6為表示將利用小波轉(zhuǎn)換進(jìn)行的多重解像度解析的方法，作為將圖像轉(zhuǎn)換為紋理特征量向量的手法的一個(gè)例子。在圖6中，使用了3階段比例縮放(scale)的小波(wavelet)轉(zhuǎn)換。在第一階段(比例縮放)中，通過X、Y方向的小波轉(zhuǎn)換將輸入圖像IN分解為與輸入圖像IN尺寸相同的4個(gè)成分的圖像H1H1、H1L1、L1H1、L1L1。在第二階段(比例縮放)中，雖然進(jìn)一步分解已被分解的4個(gè)成分中的X、Y雙方向的高頻成分H1H1以外的成分，但僅將L1L1再次分解成X、Y這兩個(gè)方向，將H1L1和L1H1僅朝一個(gè)方向分解，合計(jì)為8個(gè)成分。并且，在第三階段(比例縮放)中，分解H2H2以外的成分，同樣僅使L2L2朝X、Y這兩個(gè)方向分解，其它的朝一個(gè)方向分解，使其分解為12個(gè)成分。在此，能夠通過以后的合成來生成用增加比例縮放的方法被再次分解為兩個(gè)、4個(gè)的(圖中用虛線表示)。如圖7所示，通過這樣的小波轉(zhuǎn)換的分解，來將輸入圖像IN的各像素分解成16次元的成分。將這些16個(gè)成分匯在一起的向量是像素位置PP中的紋理特征量TF1。
如上所述，分別將低解像度圖像和高解像度圖像轉(zhuǎn)換成紋理特征量，學(xué)習(xí)它們之間的相互關(guān)系，生成分析碼本(code book)和再生碼本。即，在阿部淑人、菊池久和、佐佐木重信、渡邊弘道、齊藤義明的“使用了多重解像度向量量子化的輪廓協(xié)調(diào)”電子信息通訊學(xué)會(huì)論文雜志Vol.J79A1996/5(1032-1040頁)等中對(duì)這樣的處理進(jìn)行了詳細(xì)地說明，在此，將該詳細(xì)說明加以省略。此時(shí)，步驟S506中的參數(shù)化相當(dāng)于生成分析碼本及再生碼本。
其次，在步驟S507中，從光譜圖像中求出目標(biāo)區(qū)域的被攝物特性，將其作為學(xué)習(xí)結(jié)束材質(zhì)記錄下來。具體地說，如圖8所示，通過特征向量量子化處理將用低解像度取得的光譜圖像的彩色信息生成為一個(gè)特征量，將其作為代表一個(gè)固有材質(zhì)的代表向量記錄下來。
在步驟S508中，當(dāng)對(duì)其它目標(biāo)區(qū)域進(jìn)行學(xué)習(xí)時(shí)，又一次設(shè)定目標(biāo)區(qū)域，反復(fù)進(jìn)行步驟S503～S507。當(dāng)不是對(duì)其它目標(biāo)區(qū)域進(jìn)行學(xué)習(xí)時(shí)，結(jié)束圖像的取得(學(xué)習(xí)過程)。
在此，用圖9對(duì)目標(biāo)區(qū)域和光學(xué)變焦的關(guān)系加以說明。
圖9(a)為變焦之前的狀態(tài)，用廣角拍攝成為被攝物的人物。此時(shí)，如圖4(a)所示，在將目標(biāo)區(qū)域設(shè)定為人物的臉部時(shí)，設(shè)定以目標(biāo)區(qū)域?yàn)橹行牡幕鶞?zhǔn)幀(reference frame)FL1。該基準(zhǔn)幀F(xiàn)L1在光學(xué)變焦的最大倍率中相當(dāng)于將畫面攝滿的狹窄視角的范圍。紋理特征量等圖像處理是在將該基準(zhǔn)幀F(xiàn)L1正規(guī)化為光學(xué)變焦的最大倍率的圖像尺寸的基礎(chǔ)上執(zhí)行的。
因此，攝影者朝著目標(biāo)區(qū)域即基準(zhǔn)幀F(xiàn)L1讓高解像度圖像取得過程啟動(dòng)。與此同步進(jìn)行光學(xué)變焦。圖9(b)為表示光學(xué)變焦的途中過程的圖，對(duì)基準(zhǔn)幀F(xiàn)L1區(qū)域繼續(xù)變焦。然后，最終能夠獲得如圖9(c)所示的那樣的在整個(gè)用最大倍率進(jìn)行光學(xué)變焦的基準(zhǔn)幀F(xiàn)L1內(nèi)的高解像度的狹窄視角的圖像。
IMa、IMb、IMc分別為圖9(a)～圖9(c)的狀態(tài)中的基準(zhǔn)幀F(xiàn)L1內(nèi)的圖像，為將尺寸正規(guī)化之后的圖像。由于在圖像IMa中，對(duì)不充分的像素尺寸進(jìn)行數(shù)碼插補(bǔ)，僅讓圖像尺寸一致，因此產(chǎn)生了大幅度的模糊不清。同樣，雖然光學(xué)變焦途中的圖像IMb的解像度高于圖像IMa，但是因插補(bǔ)的影響，因此多少有些模糊也是沒有辦法的。并且，利用光學(xué)最大變焦倍率拍攝的圖像IMc為鮮明的高解像度圖像。因而，對(duì)于為基準(zhǔn)幀F(xiàn)L1的中心部的目標(biāo)區(qū)域TA1，即使在圖像IMa中呈現(xiàn)出非常模糊的紋理，但在圖像IMb中紋理處于兩者之間，在圖像IMc中為非常鮮明的紋理。在圖5的步驟S506中，使這些紋理特征之間的對(duì)應(yīng)關(guān)系作為使用了小波轉(zhuǎn)換的多重解像度向量之間的關(guān)系來參數(shù)化。
其次，對(duì)參數(shù)化加以說明。在此，參數(shù)化是通過向量量子化、和分析碼本及再生碼本這兩種對(duì)應(yīng)表的生成來實(shí)現(xiàn)的。
對(duì)每個(gè)100像素的像素位置，將模糊圖像和鮮艷化圖像轉(zhuǎn)換為多重解像度向量。使其為U1～U100、V1～V100。由于在向量U1～U100與向量V1～V100之間存在有像素位置相同的關(guān)系，因此只要將碼本生成為在輸入了U時(shí)，輸出對(duì)應(yīng)的V即可。不過，實(shí)際上，通過向量量子化將多重解像度向量分類為代表向量。
在圖10的例子中，向量U被量子化為UA和UB兩種，向量V被量子化為VA和VB兩種。解析碼本和再生碼本的量子化索引(quantizationindexes)意味著標(biāo)注在這些被量子化的向量集合中的號(hào)碼。并且，翻開碼本是指一輸入向量號(hào)碼V，就會(huì)獲得作為被量子化的向量集合的號(hào)碼的1、2這樣的號(hào)碼。并且，對(duì)量子化集合VA附帶有代表向量Z1，對(duì)量子化集合VB附帶有代表向量Z2。這些代表向量是通過求出屬于量子化集合中的向量的平均值和代表值等方法計(jì)算的。
其次，如圖11所示，從向量號(hào)碼中生成輸出量子化索引(1或2)的解析碼本CB1、和輸入量子化索引(1或2)且輸出再生向量的再生碼本CB2。能夠通過將藉此方法生成的解析碼本和再生碼本結(jié)合起來使用，來將模糊圖像的多重解像度向量轉(zhuǎn)換成鮮艷圖像的多重解像度向量。
在上述例子中，將一對(duì)低解像度圖像和高解像度圖像分別量子化來進(jìn)行學(xué)習(xí)，其次，對(duì)利用低解像度圖像到高解像度圖像的多個(gè)圖像取樣集合來進(jìn)行學(xué)習(xí)的例子加以說明。
例如，當(dāng)在后述的錄象過程中順利地進(jìn)行了光學(xué)變焦時(shí)，為了進(jìn)行高解像度顯示，必須要對(duì)所有如從1×1到2×2、3×3、4×4…那樣地進(jìn)行了變焦的過程中的圖像都進(jìn)行高解像度化。例如，為了將這樣的變焦圖像以高解像度化顯示在具有兩倍像素?cái)?shù)的顯示裝置中，必須要對(duì)變焦過程中的所有圖像執(zhí)行2×2高解像度化。
如圖12所示，為了實(shí)施上述2×2高解像度化的學(xué)習(xí)的一對(duì)圖像是對(duì)于光學(xué)變焦率為1×1的圖像IM1，光學(xué)變焦率為2×2的圖像IM2，對(duì)于光學(xué)變焦率為2×2的圖像IM2，光學(xué)變焦率為4×4的圖像IM4。作為學(xué)習(xí)樣本，一般必須到解像度化的倍率M、和被拍攝的圖像自身的光學(xué)變焦倍率N的積為M×N的光學(xué)變焦圖像為止。不過，個(gè)別執(zhí)行這些學(xué)習(xí)會(huì)成為很大的負(fù)擔(dān)，另外，在顯示過程中將使用不同的高解像度化參數(shù)，而產(chǎn)生本來光滑的光學(xué)變焦映像在每個(gè)幀變動(dòng)的可能性。
所以，在學(xué)習(xí)過程中，施行M×N倍為止的光學(xué)變焦，且將這些尺寸的圖像正規(guī)化，求出多重解像度向量的集合，來生成共同的分析碼本CB。在碼本CB中，使Z1～Z3為圖像IM1的量子化向量，使Z2～Z6為圖像IM2的量子化向量，使Z5～Z9為止為圖像IM4的量子化向量。并且，為了生成再生碼本，根據(jù)成為一對(duì)的各圖像的像素對(duì)應(yīng)來決定分析碼本CB內(nèi)的對(duì)應(yīng)。根據(jù)對(duì)該對(duì)的學(xué)習(xí)，來在圖像IM1時(shí)生成Z1與Z2的對(duì)應(yīng)，Z2與Z3的對(duì)應(yīng)，Z3與Z4的對(duì)應(yīng)，由此生成再生碼本。
如上所述，高解像度化用的特征向量從一連串的光學(xué)變焦圖像群IM1～I(xiàn)M4中一次性生成。因而，雖然有可能限制所用的量子化向量的變化，但由于提高了利用的向量的共通性，因此能夠維持動(dòng)畫平穩(wěn)的光學(xué)變焦，同時(shí)，實(shí)現(xiàn)高解像度化。另外，為了在變焦動(dòng)畫中實(shí)現(xiàn)更加平穩(wěn)的高解像度化，也可以采用在時(shí)間上對(duì)分散的再生碼本進(jìn)行插補(bǔ)的方法。
圖13為表示本實(shí)施例中的錄象過程的流程圖。在錄象過程中，如圖4(b)所示，例如，對(duì)處于動(dòng)態(tài)中的人物進(jìn)行動(dòng)畫攝影，此時(shí)的視角為廣視角狀態(tài)到光學(xué)變焦?fàn)顟B(tài)這樣的各種狀態(tài)。在取得圖像之后，與圖5所示的學(xué)習(xí)過程一樣，用動(dòng)畫幀速率進(jìn)行可見光圖像的生成(S601)及光譜圖像的生成(S602)、和紋理特征量轉(zhuǎn)換。并且，通過從光譜圖像中，將光譜信息量子化，來計(jì)算出表現(xiàn)材質(zhì)的被攝物特性(S603)，參照已被記錄的學(xué)習(xí)結(jié)束材質(zhì)，對(duì)圖像區(qū)域進(jìn)行分割，對(duì)同一材質(zhì)區(qū)域進(jìn)行加標(biāo)(labeling)，來生成材質(zhì)圖像(S604)。并且，將該材質(zhì)圖像、和為被錄象的可見光圖像的錄象動(dòng)畫記錄下來，存儲(chǔ)起來，且傳送出去(S605)。
圖14為材質(zhì)圖像的一個(gè)例子的模式圖，在圖4的狀況中，為將人物臉部的皮膚部分作為目標(biāo)區(qū)域?qū)W習(xí)、記錄時(shí)的材質(zhì)圖像的例子。在圖14的圖像中，將標(biāo)注了斜線的部分識(shí)別為與皮膚同質(zhì)的材質(zhì)區(qū)域。
圖15為示意地表示在本實(shí)施例中所存儲(chǔ)/所傳送的圖像文件格式圖。在圖15中，1501為表示在錄象過程中所記錄的原圖像的圖像數(shù)據(jù)，這里，為輝度圖像或RGB圖像的活動(dòng)圖像，將二次元的位置和時(shí)間的函數(shù)表示為I(x、y、t)。與用現(xiàn)有的動(dòng)畫攝影機(jī)功能所取得的圖像并沒有什么特別的不同，例如，也可以是DV和MPEG等被壓縮的活動(dòng)圖像文件。1502為表示在錄象過程中所生成的、根據(jù)原圖像中的被攝物特性所分割的區(qū)域的區(qū)域分割圖像數(shù)據(jù)，這也作為動(dòng)畫表示為Mi(x、y、t)。在圖15的圖像數(shù)據(jù)1502中，僅表示了與人物的皮膚材質(zhì)相同的材質(zhì)的區(qū)域，在記錄有多種材質(zhì)時(shí)，為表示已被學(xué)習(xí)記錄的各材質(zhì)的區(qū)域和未學(xué)習(xí)的區(qū)域的圖像。1503為在圖像學(xué)習(xí)過程中對(duì)每個(gè)被攝物特性所學(xué)習(xí)的高解像度化參數(shù)數(shù)據(jù)，包含上述分析碼本AC(Mi)及再生碼本SC(Mi)。
即可以在攝影機(jī)裝置中，將圖15所示的信息一起記錄在存儲(chǔ)器卡等中，也可以經(jīng)由網(wǎng)絡(luò)進(jìn)行傳送。并且，也可以將圖15的信息全部定義為一個(gè)圖像文件，將其傳送到顯示系統(tǒng)。這樣一來，沒有將數(shù)據(jù)量非常多的高解像度動(dòng)畫照原樣傳送出去的情況，能夠在顯示側(cè)實(shí)現(xiàn)自由自在的高解像度化。
圖16為表示本實(shí)施例中的在高解像度化過程即顯示側(cè)的處理的流程圖。首先，接收?qǐng)D15那樣的存儲(chǔ)傳送數(shù)據(jù)，取得記錄動(dòng)畫(活動(dòng)圖像1501)、材質(zhì)區(qū)域分割圖像1502及高解像度化參數(shù)(參數(shù)文件1503)(S701)。然后，取得為了依次處理的記錄動(dòng)畫的一個(gè)幀的各像素(S702)。參照材質(zhì)區(qū)域分割圖像，判斷該像素對(duì)應(yīng)于被學(xué)習(xí)的哪一種材質(zhì)(S703)。當(dāng)判斷為對(duì)應(yīng)于學(xué)習(xí)結(jié)束材質(zhì)時(shí)，將像素轉(zhuǎn)換為紋理特征量(S704)，使用對(duì)應(yīng)于紋理特征量的材質(zhì)所涉及的高解像度化參數(shù)，生成高解像度紋理特征量(S705)。然后，進(jìn)行將高解像度紋理特征轉(zhuǎn)換為圖像的相反轉(zhuǎn)換(S706)。這只要進(jìn)行圖6及圖7所述的處理的相反轉(zhuǎn)換即可。另一方面，對(duì)于被判斷為不是對(duì)應(yīng)于學(xué)習(xí)結(jié)束材質(zhì)的圖像，進(jìn)行現(xiàn)有的插補(bǔ)處理(S707)。結(jié)果是顯示高解像度動(dòng)畫。
(第三實(shí)施例)圖17為本發(fā)明的第三實(shí)施例所涉及的圖像處理裝置，為表示將本發(fā)明應(yīng)用在視頻電影攝影機(jī)(video movie camera)中的例子的方塊圖。圖17的圖像處理裝置包括變焦鏡頭301、變焦控制部302、可見光/光譜攝影部303、生成由被攝物的光譜信息構(gòu)成的作為第三圖像的光譜圖像的光譜圖像生成部304、可見光圖像生成部305、材質(zhì)圖像生成部306、紋理特征轉(zhuǎn)換部307、學(xué)習(xí)結(jié)束區(qū)域分割部308、顯示器等作為顯示部的學(xué)習(xí)結(jié)束區(qū)域顯示部309、材質(zhì)區(qū)域分割圖像記錄部310、紋理特征學(xué)習(xí)部311、高解像度化參數(shù)記錄部312、學(xué)習(xí)按鈕313、記錄按鈕314及圖像記錄部315。
由變焦鏡頭301、變焦控制部302、可見光/光譜攝影部303、光譜圖像生成部304及可見光圖像生成部305構(gòu)成取得部，該取得部構(gòu)成為能夠?qū)τ诒粩z物的目標(biāo)區(qū)域取得解像度不同的第一及第二圖像、和表示被攝物特性的作為第三圖像的光譜圖像。由紋理特征轉(zhuǎn)換部307及紋理特征學(xué)習(xí)部311構(gòu)成規(guī)則生成部，該規(guī)則生成部從取得部取得的第一及第二圖像中生成使該第一及第二圖像相互對(duì)應(yīng)的解像度轉(zhuǎn)換規(guī)則。由材質(zhì)圖像生成部306及學(xué)習(xí)結(jié)束區(qū)域分割部308構(gòu)成區(qū)域分割圖像生成部，該區(qū)域分割圖像生成部從光譜圖像中生成根據(jù)被攝物特性進(jìn)行了區(qū)域分割的區(qū)域分割圖像。
攝影者在動(dòng)畫記錄過程之前，執(zhí)行圖像學(xué)習(xí)過程。首先，決定被攝物的目標(biāo)區(qū)域，將攝影機(jī)朝著所對(duì)應(yīng)的地方，按下學(xué)習(xí)按鈕313。在收到該信號(hào)之后，變焦控制部302讓變焦鏡頭301動(dòng)作，可見光/光譜攝影部303取得目標(biāo)區(qū)域的低解像度圖像和高解像度圖像。通過光譜圖像生成部304及可見光圖像生成部305將所取得的圖像分為光譜圖像、和解像度不同的作為第一及第二圖像的可見光圖像。紋理特征轉(zhuǎn)換部307將可見光圖像轉(zhuǎn)換為紋理特征，材質(zhì)圖像生成部306從光譜圖像中生成材質(zhì)圖像。這里的材質(zhì)圖像是指根據(jù)材質(zhì)這樣的被攝物特性而被量子化識(shí)別的圖像。然后，學(xué)習(xí)結(jié)束區(qū)域分割部308進(jìn)行材質(zhì)圖像的區(qū)域分割，生成材質(zhì)區(qū)域分割圖像。將所生成的材質(zhì)區(qū)域分割圖像顯示在學(xué)習(xí)結(jié)束區(qū)域顯示部309中。
圖18為學(xué)習(xí)結(jié)束區(qū)域顯示部的顯示例。如圖18所示，將用材質(zhì)對(duì)被攝物圖像進(jìn)行了分割的材質(zhì)區(qū)域分割圖像顯示在畫面中央。并且，在畫面左上方顯示有表示學(xué)習(xí)結(jié)束區(qū)域的凡例的窗口WD1，在畫面右下方顯示有表示未學(xué)習(xí)區(qū)域的凡例的窗口WD2。從窗口WD1得知M1(皮膚部)、M2(頭發(fā)部)、M3(杯子)及M4(皮鞋)都已學(xué)習(xí)結(jié)束。并且，白色區(qū)域?yàn)槲磳W(xué)習(xí)區(qū)域。
看到了這樣的顯示的攝影者對(duì)學(xué)習(xí)按鈕313進(jìn)行操作，例如，在為未學(xué)習(xí)區(qū)域的被攝物的服裝上設(shè)定目標(biāo)區(qū)域TA3，執(zhí)行學(xué)習(xí)。即，學(xué)習(xí)結(jié)束區(qū)域顯示部309具有輔助攝影者確認(rèn)未學(xué)習(xí)區(qū)域，設(shè)定其它目標(biāo)區(qū)域的作用。來自學(xué)習(xí)開始按鈕313的信號(hào)還被傳送到紋理特征學(xué)習(xí)部311和高解像度化參數(shù)記錄部312中，如上述實(shí)施例所述地那樣生成紋理特征之間的高解像度化參數(shù)，且將其記錄下來。圖19為學(xué)習(xí)之后的學(xué)習(xí)結(jié)束區(qū)域顯示部309的顯示例。即，學(xué)習(xí)M5(服裝部)，未學(xué)習(xí)區(qū)域僅為背景部分。
并且，攝影者從學(xué)習(xí)結(jié)束區(qū)域顯示部309的顯示中確認(rèn)已學(xué)習(xí)的材質(zhì)分布在圖像內(nèi)的哪一區(qū)域，如果，錯(cuò)誤的區(qū)域被作為同一材質(zhì)加標(biāo)時(shí)，可以再次設(shè)定目標(biāo)區(qū)域，進(jìn)行重新學(xué)習(xí)。例如，當(dāng)將人物臉部的皮膚部分設(shè)定為目標(biāo)區(qū)域時(shí)，如圖18所示，手腳的皮膚區(qū)域被識(shí)別為同一性質(zhì)。此時(shí)，當(dāng)攝影者判斷出臉部的皮膚和手腳的皮膚的紋理不同時(shí)，只要調(diào)整識(shí)別閾值等，使臉部和手腳被識(shí)別為不同的區(qū)域即可。
在學(xué)習(xí)過程之后，攝影者為了執(zhí)行錄象過程，按下記錄按鈕314。使來自可見光圖像生成部305的動(dòng)畫記錄在圖像記錄部315中。此時(shí)，最好進(jìn)行適當(dāng)?shù)膱D像壓縮。
圖20為表示可見光/光譜攝影部303的結(jié)構(gòu)例的圖。在圖20的結(jié)構(gòu)中，使用3CCD方式的通常視頻電影中的彩色圖像攝影用的光學(xué)類、和將攝影元件改良之后的6個(gè)頻帶(band)的可進(jìn)行光譜圖像攝影的元件。在3CCD方式中，通過二向色棱鏡321將波長帶分為紅色、綠色、藍(lán)色，將CCD元件分配給各彩色頻帶。在這點(diǎn)上是相同的，在圖20的結(jié)構(gòu)中不同之處在于在各CCD元件內(nèi)排列有不同的兩種透過帶CCD元件。即，對(duì)紅色波長區(qū)域CCD322排列用波長區(qū)域1及波長區(qū)域2表示的CCD元件，對(duì)綠色波長區(qū)域CCD323排列用波長區(qū)域3及波長區(qū)域4表示的CCD元件，對(duì)藍(lán)色波長區(qū)域CCD324排列用波長區(qū)域5及波長區(qū)域6表示的CCD元件。能夠通過來自這些CCD322、323、324的輸出的插補(bǔ)信號(hào)處理，用與元件像素?cái)?shù)相同的圖像尺寸生成6個(gè)頻帶的像素濃度的光譜圖像IMG1、和由3個(gè)頻帶的像素濃度RGB構(gòu)成的可見光圖像IMG2。
圖21為表示光譜圖像中各頻帶的波長感度的坐標(biāo)圖。6個(gè)頻帶分別在大約380nm～780nm的可見區(qū)域中，具有圖21所示的狹窄波長區(qū)域。因此，與3個(gè)頻帶相比，能夠準(zhǔn)確地取得R(λ)那樣的光譜信息。從而，能夠?qū)Σ灰来媾c照明的被攝物更準(zhǔn)確地求出固有的光譜反射率。另外，即使對(duì)在3個(gè)頻帶的彩色圖像中被觀測為同一綠色的被攝物，也能夠細(xì)致地識(shí)別出是植物，還是綠色的紙那樣的材質(zhì)的不同。而且，為了實(shí)現(xiàn)材質(zhì)的識(shí)別，并不一定要將波長區(qū)域位置限定為可見區(qū)域，對(duì)近紅外區(qū)域設(shè)定頻帶也非常有效。并且，能夠例如用數(shù)式1那樣的公式簡單地實(shí)現(xiàn)從6個(gè)頻帶圖像來生成可見光圖像的功能。
R＝band(1)+band(2)G＝band(3)+band(4)B＝band(5)+band(6)(第四實(shí)施例)圖22為本發(fā)明的第四實(shí)施例所涉及的圖像處理裝置，為表示攝影者不進(jìn)行操作，自動(dòng)學(xué)習(xí)被攝物的目標(biāo)區(qū)域各部來進(jìn)行攝影的攝影機(jī)結(jié)構(gòu)的方塊圖。在圖22中，對(duì)與圖17一樣的結(jié)構(gòu)要素標(biāo)注同一符號(hào)，在此，對(duì)其詳細(xì)說明加以省略。與圖17的不同之處在于包括光軸可變焦機(jī)構(gòu)401、光軸可變焦控制部402、攝影機(jī)工作程序設(shè)定部403、攝影機(jī)工作顯示部404、攝影機(jī)工作程序存儲(chǔ)部405、照明推定部406及錄象許可部407。由光軸可變焦機(jī)構(gòu)401、光軸可變焦控制部402、可見光/光譜攝影部303、光譜圖像生成部304及可見光圖像生成部305構(gòu)成取得部。
圖23為表示光軸可變焦機(jī)構(gòu)的一個(gè)例子的概念圖。在圖23的結(jié)構(gòu)中，使用了作為光學(xué)斑點(diǎn)校正用的技術(shù)的移軸鏡頭機(jī)構(gòu)(例如，參照特開平11-344669號(hào)等)。從物體一側(cè)，包括具有正折射本領(lǐng)且相對(duì)于像面固定的第一鏡頭群411；具有負(fù)折射本領(lǐng)且具有在光軸上移動(dòng)來改變倍率的作用的第二鏡頭群412；固定在像面的具有正折射本領(lǐng)的第三鏡頭群413；固定在像面的具有負(fù)折射本領(lǐng)的第四鏡頭群414；使因第二鏡頭群412的移動(dòng)及物體的移動(dòng)而變動(dòng)的像面與標(biāo)準(zhǔn)面保持一定距離而在光軸上移動(dòng)的具有正折射本領(lǐng)的第五鏡頭群415；以及由電磁石等構(gòu)成移軸鏡頭機(jī)構(gòu)416。光軸的變化是通過用移軸鏡頭機(jī)構(gòu)416讓第三鏡頭群413在與光軸垂直的方向上移動(dòng)進(jìn)行的，變焦功能是通過第二鏡頭群412及第五鏡頭群415的移動(dòng)作用進(jìn)行的。通過此機(jī)構(gòu)能夠?qū)閿z影的視角中的一定部位的目標(biāo)區(qū)域向光軸中心移動(dòng)，同時(shí)能夠進(jìn)行光學(xué)變焦。這樣一來，即使不移動(dòng)攝影機(jī)本身，也能夠?qū)θ康漠嬅鎯?nèi)的目標(biāo)區(qū)域自動(dòng)地執(zhí)行光學(xué)變焦。
在攝影機(jī)工作顯示部404設(shè)置有觸摸屏等操作裝置，以便能夠進(jìn)行指定目標(biāo)區(qū)域等的操作。
攝影者一邊觀察攝影機(jī)工作顯示部404的顯示，一邊決定攝影機(jī)的錄象視角。在本實(shí)施例中，由于在學(xué)習(xí)過程中，攝影機(jī)利用鏡頭機(jī)構(gòu)，自動(dòng)地進(jìn)行目標(biāo)的學(xué)習(xí)，因此必須在學(xué)習(xí)期間，事先固定好攝影機(jī)的位置。從這方面出發(fā)，最好在記錄過程中也將攝影機(jī)視角和方向固定下來。
首先，在學(xué)習(xí)過程中，用圖像上的坐標(biāo)指定攝影范圍和被攝物中的多個(gè)不同材質(zhì)的目標(biāo)區(qū)域。這里所說的指定不同材質(zhì)的目標(biāo)區(qū)域是指通過指定映在畫面上的被攝物的圖像區(qū)域來指定進(jìn)行學(xué)習(xí)的被攝物的材質(zhì)的意思。被指定的內(nèi)容在攝影機(jī)工作程序設(shè)定部403中被程序化，作為將變焦和由光軸變化引起的平移動(dòng)作組合在一起的圖像學(xué)習(xí)過程和錄象過程的控制程序存儲(chǔ)在攝影機(jī)工作程序存儲(chǔ)部405中。
在圖像學(xué)習(xí)過程中，光軸可變焦控制部402按照存儲(chǔ)在攝影機(jī)工作程序存儲(chǔ)部405中的程序來自動(dòng)地控制光軸可變焦機(jī)構(gòu)401。并且，一邊對(duì)被攝物的任意位置調(diào)整光軸，進(jìn)行光學(xué)變焦，一邊對(duì)多個(gè)目標(biāo)區(qū)域進(jìn)行高解像度圖像的取得和材質(zhì)的學(xué)習(xí)。
在錄象過程中，按照存儲(chǔ)在攝影機(jī)工作程序存儲(chǔ)部405中的程序，自動(dòng)地進(jìn)行規(guī)定時(shí)間的動(dòng)畫攝影。此時(shí)，攝影機(jī)的視角和方向基本上都固定在支架上。
照明推定部406通過對(duì)整個(gè)圖像進(jìn)行的圖像處理檢測出被攝物的照明環(huán)境的變化，判斷再次進(jìn)行學(xué)習(xí)的必要性。這里的學(xué)習(xí)包括解像度轉(zhuǎn)換規(guī)則的生成。并且，當(dāng)被判斷為需要進(jìn)行再次學(xué)習(xí)時(shí)，攝影機(jī)通過例如攝影機(jī)工作顯示部404，將此信息通知給攝影者。
并且，錄象許可部407具有在學(xué)習(xí)還沒有結(jié)束的情況下，就想進(jìn)行錄象和攝影時(shí)，或者在因照明條件發(fā)生變化而需要再次進(jìn)行學(xué)習(xí)，但卻沒有進(jìn)行時(shí)，不允許錄象和攝影，不讓錄象按鈕和快門工作的機(jī)構(gòu)。即，本實(shí)施例所涉及的攝影機(jī)具有在需要生成解像度轉(zhuǎn)換規(guī)則時(shí)禁止攝影的機(jī)構(gòu)。從而，能夠未然防止高解像度化的失敗。
作為本實(shí)施例所涉及的攝影機(jī)的典型用途，能夠想到圖24(a)那樣的對(duì)在舞臺(tái)上的很多人進(jìn)行合唱來進(jìn)行錄象的情況。此時(shí)，至今為止，是通過攝影者自身所具有的攝影技巧對(duì)各成員的臉部進(jìn)行特寫的。但是，此時(shí)會(huì)產(chǎn)生攝影者所喜歡的人物和團(tuán)體的中心人物被特寫的比率較高，引起其它成員不滿的可能性。并且，如果不是熟練的攝影師的話，則不能較好地對(duì)全景和個(gè)人的特寫進(jìn)行攝影，而且必須對(duì)攝影具有相當(dāng)高的集中力。而在使用本實(shí)施例所涉及的攝影機(jī)時(shí)，具有這樣的優(yōu)點(diǎn)攝影者不必考慮攝影技巧，只要將全景拍攝下來即可，能夠通過攝影之后的編輯自由自在地進(jìn)行圖像的高解像度化，還能夠很容易地獲得全部成員的特寫。
在圖24(a)中，為了對(duì)作為被攝物的舞臺(tái)上的合唱團(tuán)進(jìn)行攝影，而將攝影機(jī)CA和攝影機(jī)支架BS設(shè)置在例如觀覽席中。用圖25的流程圖對(duì)此時(shí)的學(xué)習(xí)過程加以說明。
首先，攝影者一邊從整個(gè)合唱團(tuán)的映像中指定對(duì)特定位置進(jìn)行光學(xué)變焦，觀察攝影機(jī)工作顯示部404的顯示，一邊通過手動(dòng)指定不同材質(zhì)的目標(biāo)區(qū)域(S801)。圖24(b)為指定與此時(shí)的顯示的材質(zhì)不同材質(zhì)的目標(biāo)區(qū)域的一個(gè)例子。在圖24(b)中，分別將個(gè)人的臉部區(qū)域(1)、黑發(fā)(2)、茶發(fā)(3)、數(shù)據(jù)(4)及樂譜表面的紙(5)指定為不同材質(zhì)的目標(biāo)區(qū)域。另外，這些區(qū)域是為了學(xué)習(xí)不同材質(zhì)而指定的，不需要有關(guān)它們位置的信息。
然后，攝影機(jī)生成材質(zhì)圖像(S802)，從畫面內(nèi)將所有的被攝物特性(材質(zhì))與被指定的不同材質(zhì)的目標(biāo)區(qū)域相同的區(qū)域自動(dòng)地檢測出來(S803)。并且，用光軸可變焦機(jī)構(gòu)對(duì)不同材質(zhì)的目標(biāo)區(qū)域進(jìn)行光學(xué)變焦(S804)，以后再對(duì)該不同材質(zhì)的目標(biāo)區(qū)域自動(dòng)地進(jìn)行學(xué)習(xí)(S503～S507)。這里的處理與第二實(shí)施例一樣，對(duì)其詳細(xì)情況加以省略。在對(duì)所有的不同材質(zhì)的目標(biāo)區(qū)域進(jìn)行了學(xué)習(xí)之后(在S805中，為“No”的情況)，結(jié)束學(xué)習(xí)過程。
圖26為表示學(xué)習(xí)過程和錄象過程的時(shí)間關(guān)系的時(shí)序圖。圖26(a)表示進(jìn)行動(dòng)畫錄象的情況。在要開始合唱之前，結(jié)束目標(biāo)學(xué)習(xí)(期間t1)，對(duì)合唱進(jìn)行動(dòng)畫錄象(期間t2)。在錄象時(shí)不需要特別的攝影技巧，只要對(duì)全景進(jìn)行攝影即可。并且，例如，當(dāng)舞臺(tái)上的照明發(fā)生變化時(shí)，由于通過光譜信息得到的學(xué)習(xí)內(nèi)容變得不恰當(dāng)，因此有時(shí)必須再次進(jìn)行學(xué)習(xí)(期間t3)。并且，也可以在每次規(guī)定時(shí)間一經(jīng)過時(shí)，就進(jìn)行學(xué)習(xí)。此時(shí)，攝影機(jī)通過照明推定部406檢測出條件的變化，向攝影者發(fā)出必須再次進(jìn)行學(xué)習(xí)的指示。這時(shí)，最好一邊進(jìn)行錄象，一邊進(jìn)行目標(biāo)學(xué)習(xí)，但是也可以將為了目標(biāo)學(xué)習(xí)而拍攝的圖像就那樣代用為錄象。
并且，圖26(b)表示拍攝合唱團(tuán)的集合照片的情況。此時(shí)，利用自拍機(jī)構(gòu)，在計(jì)時(shí)器工作期間，在集合的所有成員處于靜止的狀態(tài)下，對(duì)作為目標(biāo)檢測出的人物的臉部一個(gè)接一個(gè)進(jìn)行光學(xué)變焦，使它們高解像度化，參數(shù)化(期間t5)。然后，拍攝所有成員的集合照片。這樣一來，能夠通過以后的編輯，從一張靜止圖像中對(duì)個(gè)人的臉部進(jìn)行高解像度化。并且，在照明發(fā)生了變化時(shí)，在進(jìn)行了再次學(xué)習(xí)之后，再進(jìn)行靜止圖像的攝影。此時(shí)，只要在還沒有進(jìn)行學(xué)習(xí)期間，通過控制錄象許可部407使其為不能攝影的狀態(tài)即可。
另外，在該例子中，由于個(gè)人的臉部被認(rèn)為是具有同樣皮膚的材質(zhì)，因此不能通過個(gè)別的手法進(jìn)行高解像度化。如果，想通過個(gè)別的手法對(duì)各人的臉部進(jìn)行高解像度化時(shí)，必須要想出使每個(gè)被攝物特性不同的手法，例如，各人使用具有不同特性的化妝品等之類的手法。
(第五實(shí)施例)圖27為本發(fā)明的第五實(shí)施例所涉及的圖像處理裝置，為表示攝影者不進(jìn)行操作，自動(dòng)學(xué)習(xí)被攝物的目標(biāo)區(qū)域各部來進(jìn)行攝影的攝影機(jī)結(jié)構(gòu)的方塊圖。在圖27中，對(duì)與圖17及圖22一樣的結(jié)構(gòu)要素標(biāo)注同一符號(hào)。
與第四實(shí)施例的不同之處在于沒有圖像學(xué)習(xí)過程和錄象過程的區(qū)別，當(dāng)攝影者通過與通常的電影攝影機(jī)一樣的操作對(duì)著被攝物開始錄象時(shí)，根據(jù)需要，用光軸可變焦機(jī)構(gòu)并行地執(zhí)行學(xué)習(xí)。因此，在第四實(shí)施例中，必須在學(xué)習(xí)過程期間將攝影機(jī)事先固定在支架上，但是在本實(shí)施例中，能夠通過手持的攝影機(jī)自由自在地進(jìn)行學(xué)習(xí)和錄象。而且，在第三實(shí)施例中，攝影者有意地進(jìn)行了特別的學(xué)習(xí)過程，但是在本實(shí)施例中，攝影者不需要有意地進(jìn)行特別的學(xué)習(xí)過程，只要集中于錄象即可。
在圖27中，并列設(shè)置有記錄部501和學(xué)習(xí)部502，由半透明發(fā)射鏡503對(duì)光進(jìn)行分割。透過了鏡頭504的光經(jīng)由可見光/光譜攝影部403被輸入到記錄部501中，通過與第三實(shí)施例一樣的工作，材質(zhì)圖像被記錄在材質(zhì)區(qū)域分割圖像記錄部310中，可見光圖像被記錄在圖像記錄部315中。鏡頭504具有變焦功能，在學(xué)習(xí)部502的輸入側(cè)設(shè)置有光軸可變焦機(jī)構(gòu)401和光軸可變焦控制部402，以便在錄象過程中能夠另外進(jìn)行學(xué)習(xí)用的變焦。由鏡頭504、半透明反射鏡503、光軸可變焦機(jī)構(gòu)401、光軸可變焦控制部402、可見光/光譜攝影部403、光譜圖像生成部304及可見光圖像生成部305構(gòu)成取得部。
學(xué)習(xí)材質(zhì)控制部505根據(jù)預(yù)先被程序化的學(xué)習(xí)計(jì)劃(存儲(chǔ)在工作程序設(shè)定部403中)，來控制光軸可變焦控制部402及紋理特征學(xué)習(xí)部311。即，當(dāng)從材質(zhì)圖像生成部306的輸出中判斷出開始了特定材質(zhì)的記錄時(shí)，將信號(hào)傳送給光軸可變焦控制部402，讓光軸可變焦機(jī)構(gòu)401工作，同時(shí)，將信號(hào)傳送給紋理特征學(xué)習(xí)部311，生成高解像度化參數(shù)。所生成的高解像度化參數(shù)被記錄在高解像度化參數(shù)記錄部312中。
圖28為表示本實(shí)施例中的圖像錄象過程的流程圖。與第四實(shí)施例的圖25的不同之處在于使圖像的錄象與學(xué)習(xí)過程并行進(jìn)行(S901)。其它步驟的處理與第四實(shí)施例一樣，在步驟S801中，攝影者一邊觀察攝影機(jī)工作顯示部404，一邊用圖像上的坐標(biāo)選擇攝影機(jī)的錄象范圍和其內(nèi)部的多個(gè)目標(biāo)區(qū)域。來設(shè)定攝影機(jī)工作程序。
圖29為表示本實(shí)施例中的低解像度圖像及高解像度圖像、與被攝物特性(材質(zhì))空間的關(guān)系的概念圖。在圖29中，為了謀求方便，使圖像為用4×4像素拍攝的圖像。在本實(shí)施例中，首先，取得低解像度的動(dòng)畫記錄圖像，其次，在被攝物特性空間中，將圖像分割為區(qū)域AR1(對(duì)應(yīng)于材質(zhì)A)和區(qū)域AR2(對(duì)應(yīng)于材質(zhì)B)。這里，在假設(shè)已具有“學(xué)習(xí)材質(zhì)A”這樣的程序時(shí)，接下來，向區(qū)域AR1的位置中心部進(jìn)行光軸可變焦，能夠獲得在同一位置為高解像度，卻為狹窄視角的圖像。并且，在位置彼此相同的低解像度圖像的區(qū)域AR1和高解像度圖像的區(qū)域AR3之間進(jìn)行紋理特征的對(duì)應(yīng)學(xué)習(xí)。這樣一來，與上述各實(shí)施例一樣，不是僅在同一材質(zhì)的區(qū)域之間執(zhí)行兩張圖像之間的學(xué)習(xí)，而且必須在同一被攝物的同一位置上執(zhí)行。從而，能夠?qū)崿F(xiàn)高精度的高解像度化。
(第六實(shí)施例)圖30為本發(fā)明的第六實(shí)施例所涉及的圖像處理裝置，與第五實(shí)施例一樣，為表示攝影者不進(jìn)行操作，自動(dòng)學(xué)習(xí)被攝物的目標(biāo)區(qū)域各部來進(jìn)行攝影的攝影機(jī)結(jié)構(gòu)的方塊圖。在圖30中，對(duì)與圖17及圖27一樣的結(jié)構(gòu)要素標(biāo)注同一符號(hào)。
與第五實(shí)施例的不同之處在于不使用光學(xué)變焦機(jī)構(gòu)和光軸可變焦機(jī)構(gòu)等，使用低解像度攝影元件603和高解像度攝影元件604來同時(shí)用相同視角拍攝被攝物。由于高解像度攝影元件一般用于靜止圖像的較多，不能對(duì)應(yīng)于動(dòng)畫的幀速率的較多，因此在本實(shí)施例中，在動(dòng)畫錄象的途中，用規(guī)定的時(shí)間來進(jìn)行使用了高解像度攝影元件的學(xué)習(xí)。并且，使高解像度攝影元件為不必取得光譜信息，僅取得可見光圖像即可的元件。
在圖30中，并列設(shè)置有記錄部601和學(xué)習(xí)部602，由半透明發(fā)射鏡503對(duì)光進(jìn)行分割。透過了鏡頭504的光經(jīng)由低解像度攝影元件603作為動(dòng)畫被輸入到記錄部601中，通過與第五實(shí)施例一樣的工作，材質(zhì)圖像被記錄在材質(zhì)區(qū)域分割圖像記錄部310中，可見光圖像被記錄在圖像記錄部315中。
學(xué)習(xí)材質(zhì)控制部505根據(jù)預(yù)先被程序化的學(xué)習(xí)計(jì)劃，來控制高解像度攝影元件604及紋理特征學(xué)習(xí)部311。即，在從材質(zhì)圖像生成部306的輸出中判斷出開始了特定材質(zhì)的記錄時(shí)，讓高解像度攝影元件604工作，用與動(dòng)畫同一的視角拍攝靜止圖像，同時(shí)，將信號(hào)傳送給學(xué)習(xí)部602的紋理特征學(xué)習(xí)部311，生成高解像度化參數(shù)。將所生成的高解像度化參數(shù)記錄在高解像度化參數(shù)記錄部312中。
圖31為表示本實(shí)施例中的低解像度圖像及高解像度圖像、與被攝物特性(材質(zhì))空間的關(guān)系的概念圖。在圖31中，為了謀求方便，使低解像度圖像為用4×4像素拍攝的圖像，使高解像度圖像為用8×8像素拍攝的圖像。在本實(shí)施例中，首先，通過動(dòng)畫攝影取得廣視角的低解像度圖像，其次，在被攝物特性空間中，將圖像分割為區(qū)域AR1(對(duì)應(yīng)于材質(zhì)A)和區(qū)域AR2(對(duì)應(yīng)于材質(zhì)B)。到此為止的過程與圖29一樣。這里，當(dāng)假設(shè)已具有“學(xué)習(xí)材質(zhì)A”這樣的程序時(shí)，通過高解像度攝影元件604取得與低解像度圖像處于同一位置，與高解像度同一視角的靜止圖像。并且，在位置彼此相同的低解像度圖像的區(qū)域AR1和高解像度圖像的區(qū)域AR4之間進(jìn)行紋理特征的對(duì)應(yīng)學(xué)習(xí)。因此，與上述各實(shí)施例一樣，由于不是僅在同一材質(zhì)的區(qū)域之間執(zhí)行兩張圖像之間的學(xué)習(xí)，而且必須在同一被攝物的同一位置上執(zhí)行，因此能夠?qū)崿F(xiàn)高精度的高解像度化。
圖32為表示在本實(shí)施例中進(jìn)行高解像度圖像的拍攝的時(shí)間例圖。在此，假設(shè)高解像度圖像(靜止圖像)的解像度為低解像度圖像(動(dòng)畫)的2×2倍。在動(dòng)畫序列中，在期間tA中，記錄有材質(zhì)A的物體OBA。現(xiàn)在，假設(shè)學(xué)習(xí)該材質(zhì)A，首先，在動(dòng)畫幀a的時(shí)間中，用幀圖像Ma的兩倍的解像度取得高解像度的靜止圖像Sa。在接下來的時(shí)間b中，在物體OBA被光學(xué)變焦，被放大拍攝的狀態(tài)下，再次拍攝高解像度靜止圖像Sb。在圖像Ma與圖像Sa之間、圖像Mb與圖像Sb之間分別進(jìn)行紋理特征的對(duì)應(yīng)學(xué)習(xí)，進(jìn)行參數(shù)化。
其次，雖然在時(shí)間z中出現(xiàn)了相同的物體OBA，但是由于對(duì)相同材質(zhì)A的學(xué)習(xí)已結(jié)束，因此不需要高解像度攝影。在期間tB中，開始照出具有其它材質(zhì)B的物體OBB。在時(shí)間c中，為了進(jìn)行有關(guān)材質(zhì)B的學(xué)習(xí)，再次拍攝高解像度靜止圖像Sc。能夠從光譜圖像中認(rèn)出某被攝物特性處于未學(xué)習(xí)的狀態(tài)。
本實(shí)施例具有這樣的長處能夠按照被攝物的錄象過程，對(duì)一個(gè)接著一個(gè)出現(xiàn)的新材質(zhì)進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)參數(shù)化。
另外，在本實(shí)施例中，用了具有不同解像度的兩種攝影元件，但是例如，通過將單一高解像度的攝影傳感器用在動(dòng)畫中來降低解像度的方法也能夠?qū)崿F(xiàn)本實(shí)施例。
在本實(shí)施例中，具有這樣的特征由于沒有用光學(xué)變焦，因此在低解像度圖像和高解像度圖像中，畫面的視角及位置坐標(biāo)總是保持一致。如果靈活地利用該特征的話，即使是被判斷為同一材質(zhì)的區(qū)域，也能夠通過圖像內(nèi)位置的不同，還有拍攝時(shí)間的不同來分別實(shí)現(xiàn)不同的高解像度化。以上述合唱團(tuán)為例，用圖33對(duì)此加以說明。
這時(shí)，當(dāng)為時(shí)間t1時(shí)在圖框FL1中，當(dāng)為時(shí)間t2時(shí)在圖框FL2中，對(duì)合唱團(tuán)進(jìn)行動(dòng)畫錄象。在前排3位中，在圖框FL1中A和B被變焦，在圖框FL2中B和C被變焦。低解像度圖像和高解像度圖像總保持對(duì)應(yīng)關(guān)系。
這里，即使判斷出A和B為同一材質(zhì)，但由于A圖像的高解像度化參數(shù)PR1和B圖像的高解像度化參數(shù)PR2在圖像上的位置不同，因此能夠區(qū)別開來。并且，即使是同一個(gè)人B的圖像，也能夠?qū)r(shí)間t1的高解像度化參數(shù)PR2和時(shí)間t2的高解像度化參數(shù)PR3區(qū)別開來。因此，通過將位置(x、y)和時(shí)間t用作索引來存儲(chǔ)高解像度化參數(shù)的話，能夠分別用不同的解像度轉(zhuǎn)換規(guī)則來使合唱團(tuán)中每個(gè)人的臉部高解像度化，能夠進(jìn)一步提高精度。
圖34為本實(shí)施例所涉及的錄象過程的流程圖。步驟S801～S803與圖25一樣。首先，攝影者通過手動(dòng)指定目標(biāo)區(qū)域(S801)。這里，在本實(shí)施例中，由于不僅是材質(zhì)，而且圖像內(nèi)的空間位置也反映出高解像度化，因此將所指定的目標(biāo)區(qū)域稱為不同位置的目標(biāo)區(qū)域。然后，攝影機(jī)生成材質(zhì)圖像(S802)，從畫面內(nèi)自動(dòng)地檢測出所有被指定的不同位置的目標(biāo)區(qū)域與被攝物特性(材質(zhì))相同的區(qū)域。
此時(shí)，例如，假設(shè)將A和B的臉部指定為不同位置的目標(biāo)區(qū)域，可能會(huì)檢測出為相同材質(zhì)(皮膚)的C、D這樣的多個(gè)區(qū)域。在這種情況下，產(chǎn)生了這樣的問題對(duì)于被檢測出的各個(gè)區(qū)域，使用什么樣的學(xué)習(xí)結(jié)果即高解像度化參數(shù)較好。例如，在所指定的目標(biāo)區(qū)域中，優(yōu)先采用對(duì)該目標(biāo)區(qū)域所學(xué)習(xí)的高解像度化參數(shù)。在步驟S803檢測出的區(qū)域中，即可以采用所指定的目標(biāo)區(qū)域的高解像度化參數(shù)的任意一個(gè)，也可以對(duì)多個(gè)高解像度化參數(shù)進(jìn)行插補(bǔ)之后再用。
并且，與圖29一樣，在進(jìn)行學(xué)習(xí)的同時(shí)，進(jìn)行錄象(S901)。當(dāng)在學(xué)習(xí)中，檢測出未學(xué)習(xí)區(qū)域時(shí)，或者，動(dòng)畫錄象經(jīng)過了規(guī)定時(shí)間時(shí)，取得高解像度的靜止圖像(S1001、S1002)。然后，從高解像度靜止圖像和低解像度動(dòng)畫圖像中學(xué)習(xí)高解像度化參數(shù)。不過，將該高解像度化參數(shù)作為畫面空間(x、y)和時(shí)間t的函數(shù)存儲(chǔ)起來(S1003)。
圖35為示意地表示在本實(shí)施例中所獲得的圖像文件格式的圖。與圖15相比，不同之處在于將由分析碼本AC(Mi、x、y、t)及再生碼本SC(Mi、x、y、t)構(gòu)成的高解像度化參數(shù)數(shù)據(jù)3501表示為位置(x、y)和時(shí)間t的函數(shù)。使用了圖35的格式的本實(shí)施例中的高解像度化過程與圖16幾乎一樣，在步驟S705中，只要使用空間位置(x、y)和時(shí)間t一致(match)的高解像度化參數(shù)即可。
圖36為表示本實(shí)施例中的高解像度化的例子的示意圖。與第四實(shí)施例不同，由于雖然每個(gè)人的臉部被認(rèn)為是同一材質(zhì)(皮膚部)，但位置不同，因此能夠用不同的高解像度化參數(shù)實(shí)現(xiàn)高解像度化。即，能夠?qū)到F每個(gè)人實(shí)現(xiàn)高解像度化。例如，能夠從用低解像度拍攝的處于模糊狀態(tài)的動(dòng)畫中，分別對(duì)個(gè)人的臉部進(jìn)行高解像度化。當(dāng)然，若是能夠以頭發(fā)部1和頭發(fā)部2、樂譜的紙部等不同材質(zhì)進(jìn)行高解像度化的話，則除了特別情況，可以不必分別進(jìn)行高解像度化。
(第七實(shí)施例)圖37為本發(fā)明的第七實(shí)施例所涉及的圖像處理裝置，為表示將本發(fā)明應(yīng)用于視頻電影攝影機(jī)中的例子的方塊圖。在本實(shí)施例中，將從鏡面反射成分和擴(kuò)散反射成分獲得的被攝物的表面反射狀態(tài)用作被攝物特性，根據(jù)表面反射狀態(tài)對(duì)圖像進(jìn)行區(qū)域分割，通過對(duì)每個(gè)區(qū)域進(jìn)行學(xué)習(xí)來實(shí)現(xiàn)高解像度化。與上述第三實(shí)施例中的圖17的結(jié)構(gòu)的不同之處在于設(shè)置有將表示被攝物表面中的鏡面反射成分和擴(kuò)散反射成分的比例的鏡面/擴(kuò)散比例圖像711與可見光圖像713同時(shí)生成的鏡面反射/擴(kuò)散反射分離攝影部701。并且，設(shè)置有通過使鏡面/擴(kuò)散比例圖像711二值化，來生成被區(qū)域分割為鏡面反射區(qū)域和擴(kuò)散反射區(qū)域的表面反射分割圖像712的學(xué)習(xí)結(jié)束區(qū)域分割部702、和將該表面反射分割圖像712記錄下來的表面反射分割圖像記錄部703。通過將表面反射分割圖像712顯示在學(xué)習(xí)結(jié)束區(qū)域顯示部309中，來對(duì)攝影者謀求學(xué)習(xí)的方便。并且，在高解像度化過程中將表面反射分割圖像712用作區(qū)域識(shí)別信息。
由變焦鏡頭301、變焦控制部302以及鏡面反射/擴(kuò)散反射分離攝影部701構(gòu)成取得部，該取得部構(gòu)成為能夠?qū)Ρ粩z物的目標(biāo)區(qū)域取得解像度不同的第一及第二圖像、和表示被攝物特性的作為第三圖像的鏡面/擴(kuò)散比例圖像。由紋理特征轉(zhuǎn)換部307及紋理特征學(xué)習(xí)部311構(gòu)成規(guī)則生成部，該規(guī)則生成部從取得部所取得的第一及第二圖像中生成使該第一及第二圖像相互對(duì)應(yīng)的解像度轉(zhuǎn)換規(guī)則。由學(xué)習(xí)結(jié)束區(qū)域分割部702構(gòu)成區(qū)域分割圖像生成部，該區(qū)域分割圖像生成部從鏡面/擴(kuò)散比例圖像中生成作為根據(jù)被攝物特性區(qū)域分割的區(qū)域分割圖像的表面反射分割圖像。
在上述第六實(shí)施例中，被攝物特性是指被攝物表面的材質(zhì)等物質(zhì)固有的性質(zhì)。但是，即使是相同材質(zhì)的被攝物，當(dāng)從某照明下的方向進(jìn)行觀察時(shí)，也存在有光在表面的反射狀態(tài)因位置不同而不同的情況。即，由成為高解像度化所需的表面的凹凸等所決定的紋理特征應(yīng)該是因被攝物表面的反射狀態(tài)的不同而完全不同的。例如，當(dāng)對(duì)表面凹凸較多的水果等進(jìn)行拍攝時(shí)，即使表面的材質(zhì)相同，但由于在光線最強(qiáng)處和陰暗部分中表面凹凸所決定的紋理不同，因此最好將它們作為不同的區(qū)域進(jìn)行學(xué)習(xí)。表面反射分割圖像712為按照照明和觀察條件所決定的反射特性即被攝物表面的反射狀態(tài)的不同而被區(qū)域分割了的圖像。
攝影者在動(dòng)畫錄象過程之前，執(zhí)行圖像學(xué)習(xí)過程。首先，決定被攝物的目標(biāo)區(qū)域，使攝影機(jī)朝著所要攝的地方，按下學(xué)習(xí)按鈕313。在收到該信號(hào)之后，變焦控制部302讓變焦鏡頭301工作，鏡面反射/擴(kuò)散反射分離攝影部701取得目標(biāo)區(qū)域的低解像度圖像和高解像度圖像(可見光圖像713)。并且，鏡面反射/擴(kuò)散反射分離攝影部701將鏡面反射成分和擴(kuò)散反射成分分開，生成鏡面/擴(kuò)散比例圖像711。學(xué)習(xí)結(jié)束區(qū)域分割部702使鏡面/擴(kuò)散比例圖像711二值化，生成表面反射分割圖像712。所生成的表面反射分割圖像712被顯示在學(xué)習(xí)結(jié)束區(qū)域顯示部309中。
圖38為學(xué)習(xí)結(jié)束區(qū)域顯示部309的顯示例。在圖38中，使被攝物為在表面具有光澤的圓筒。在圖38的例子中，將表面反射分割圖像712顯示在畫面中央，該表面反射分割圖像712是通過將被攝物圖像分割為“光澤部(鏡面反射區(qū)域)”和“無光澤部(擴(kuò)散反射區(qū)域)”而成。并且，在畫面左上方顯示有表示學(xué)習(xí)結(jié)束區(qū)域的凡例的窗口WD1。從窗口WD1得知只有Diffuse(擴(kuò)散反射區(qū)域)已學(xué)習(xí)結(jié)束。另一方面，對(duì)圓筒的光澤部還沒有進(jìn)行學(xué)習(xí)。
看到了這樣的顯示的攝影者對(duì)學(xué)習(xí)按鈕313進(jìn)行操作，在作為未學(xué)習(xí)區(qū)域的被攝物的區(qū)域設(shè)定目標(biāo)區(qū)域TA1，執(zhí)行學(xué)習(xí)。即，學(xué)習(xí)結(jié)束區(qū)域顯示部309具有輔助攝影者確認(rèn)未學(xué)習(xí)區(qū)域，設(shè)定其它目標(biāo)區(qū)域的作用。來自學(xué)習(xí)按鈕313的信號(hào)還被傳送到紋理特征學(xué)習(xí)部311和高解像度化參數(shù)記錄部312中，生成紋理特征之間的高解像度化參數(shù)且被記錄下來。
并且，攝影者從學(xué)習(xí)結(jié)束區(qū)域顯示部309的顯示中確認(rèn)已學(xué)習(xí)的區(qū)域分布在圖像內(nèi)的哪一區(qū)域，如果錯(cuò)誤的區(qū)域被作為同一材質(zhì)加標(biāo)時(shí)，可以再次設(shè)定目標(biāo)區(qū)域，重新學(xué)習(xí)。
在學(xué)習(xí)過程之后，攝影者為了執(zhí)行錄象過程，而按下記錄按鈕314。從而，將可見光圖像713的動(dòng)畫記錄在圖像記錄部315中。此時(shí)，最好進(jìn)行適當(dāng)?shù)膱D像壓縮。
圖39為表示鏡面反射/擴(kuò)散反射分離攝影部701的結(jié)構(gòu)例的圖。在該結(jié)構(gòu)中，來自被攝物的透過了變焦鏡頭的光被半透明反射鏡721分解，分別透過具有不同偏振光軸的偏振光板722、723，到達(dá)單片板攝影元件724、725。將能夠拍攝輝度非常亮的鏡面反射的廣動(dòng)態(tài)范圍元件(widedynamic range element)用作單片板攝影元件724、725。推定部726用來自各攝影元件724、725的圖像信號(hào)，將鏡面反射成分和擴(kuò)散反射成分分開，生成鏡面反射圖像728和擴(kuò)散反射圖像729。有關(guān)該詳細(xì)手法，例如，在“擴(kuò)散反射/鏡面反射的分離用的兩圖像同時(shí)觀測系統(tǒng)的試驗(yàn)”(第九回圖像傳感座談講演論文集I-1，PP537-542)等中具有詳細(xì)記載。另外，能夠通過本手法分離的被攝物僅限于非金屬的塑料等與兩色性反射模型一致的材質(zhì)的被攝物。并且，反射圖像加工部727從鏡面反射圖像728和擴(kuò)散反射圖像729中生成表示各像素位置的鏡面反射成分和擴(kuò)散反射成分的比例的鏡面/擴(kuò)散比例圖像711、和分離之前的可見光圖像713(分離的鏡面反射圖像728和擴(kuò)散反射圖像729的和)。
圖40～圖42為表示本實(shí)施例中的處理的流程圖，圖40表示學(xué)習(xí)過程，圖41表示動(dòng)畫記錄過程，圖42表示高解像度化過程。如圖40所示，在學(xué)習(xí)過程中，首先，拍攝被攝物731，生成表面反射分割圖像712。在圖中，“S”表示鏡面反射區(qū)域，“D”表示擴(kuò)散反射區(qū)域。攝影者從該表面反射分割圖像712得知變焦的目標(biāo)區(qū)域，用變焦鏡頭將被攝物731的表面拍攝下來，進(jìn)行高解像度和低解像度的一對(duì)圖像的學(xué)習(xí)。學(xué)習(xí)結(jié)果是能夠?qū)U(kuò)散反射區(qū)域高解像度化參數(shù)732、鏡面反射區(qū)域高解像度化參數(shù)733作為每個(gè)區(qū)域的高解像度化參數(shù)取得。
其次，如圖41所示，在動(dòng)畫記錄過程中，拍攝被攝物741，將低解像度動(dòng)畫742記錄下來。此時(shí)，低解像度的表面反射分割動(dòng)畫743也被同時(shí)記錄下來。另外，不能說此時(shí)的被攝物741一定與學(xué)習(xí)過程中的被攝物731相同，并且，也不能說照明條件和攝影條件一定相同。在圖41中，與圖40不同，以將被攝物741放平的狀態(tài)，將其畫出來就意味著這個(gè)意思。
其次，如圖42所示，在高解像度化過程中，使低解像度動(dòng)畫742高解像度化，生成高解像度動(dòng)畫752。此時(shí)，區(qū)域識(shí)別部751利用表面反射分割動(dòng)畫743來識(shí)別區(qū)域。并且，在擴(kuò)散反射區(qū)域中使用擴(kuò)散反射區(qū)域高解像度化參數(shù)732，在鏡面反射區(qū)域中使用鏡面反射區(qū)域高解像度化參數(shù)733，進(jìn)行高解像度化。由于高解像度化的詳細(xì)情況與上述實(shí)施例一樣，因此對(duì)其說明加以省略。
如上所述，根據(jù)本實(shí)施例，由于被攝物具有因鏡面反射和擴(kuò)散反射這樣的表面反射狀態(tài)的不同而不同的紋理特征，因此能夠通過識(shí)別該表面反射狀態(tài)，來分別進(jìn)行最佳的高解像度化。故而，與僅用現(xiàn)有的輝度的學(xué)習(xí)型高解像度化手法、和光譜圖像等利用材質(zhì)的被攝物圖像的分離相比，能夠?qū)崿F(xiàn)更優(yōu)的高解像度化。
另外，在本實(shí)施例中，以將半透明反射鏡和偏振光板的結(jié)構(gòu)用作鏡面反射/擴(kuò)散反射分離攝影部701的結(jié)構(gòu)作為了例子，也可以代替它，不用半透明反射鏡，讓偏振光板旋轉(zhuǎn)，用不同的兩種以上的偏振光軸進(jìn)行拍攝，來將鏡面反射成分和擴(kuò)散反射成分分開，并且，還可以利用讓照明偏振光的方法。有關(guān)不用偏振光板來將鏡面反射成分和擴(kuò)散反射成分分開的手法，眾所周知，具有使用反射光的顏色特性的方法、使用讓光源變動(dòng)的光度立體照片(photometric stereo)和圖像的線性化的方法等各種方法。在“根據(jù)物體的外觀來分離擴(kuò)散/鏡面反射成分-用通過了偏振光過濾器的多重觀測和隨機(jī)獨(dú)立性(stochastic independence)”、圖像的認(rèn)識(shí)·理解(MIRU)2002、I-469～476中對(duì)上述內(nèi)容具有詳細(xì)記載。也可以將這些既存的方法用作鏡面反射/擴(kuò)散反射分離攝影部701的結(jié)構(gòu)。
(第八實(shí)施例)圖43為本發(fā)明的第八實(shí)施例所涉及的圖像處理裝置，為表示將本發(fā)明應(yīng)用在視頻電影攝影機(jī)中的例子的方塊圖。與第七實(shí)施例中的圖37的結(jié)構(gòu)的不同之處在于對(duì)鏡面反射圖像728和擴(kuò)散反射圖像729分別進(jìn)行學(xué)習(xí)/記錄來代替可見光圖像713。在圖37的結(jié)構(gòu)中，對(duì)可見光圖像713取得了解像度不同的第一及第二圖像，在圖43的結(jié)構(gòu)中，對(duì)鏡面反射圖像728和擴(kuò)散反射圖像729分別取得解像度不同的第一及第二圖像。設(shè)置有紋理特征轉(zhuǎn)換部307a、紋理特征學(xué)習(xí)部311a、高解像度化參數(shù)記錄部312a及圖像記錄部315a作為鏡面反射圖像用，設(shè)置有紋理特征轉(zhuǎn)換部307b、紋理特征學(xué)習(xí)部311b、高解像度化參數(shù)記錄部312及圖像記錄部315b作為擴(kuò)散反射圖像用。
能夠通過從輝度中將鏡面反射成分分離出來，來更準(zhǔn)確地求出由被攝物表面的凹凸所決定的細(xì)微紋理信息，并且，能夠通過將擴(kuò)散反射成分分離出來，來更準(zhǔn)確地求出被攝物表面的印刷等反射率(反照率)信息。因此，能夠?qū)︾R面反射圖像和擴(kuò)散反射圖像分別進(jìn)行高解像度化，通過將兩者合成起來，實(shí)現(xiàn)比現(xiàn)有技術(shù)性能更高的高解像度化。
并且，由于鏡面反射圖像和擴(kuò)散反射圖像被分開記錄下來，因此不需要記錄表面反射分割圖像712。即，表面反射分割圖像712被顯示在學(xué)習(xí)結(jié)束區(qū)域顯示部309中，具有向攝影者指示應(yīng)該學(xué)習(xí)被攝物的哪一部分的作用。
攝影者在動(dòng)畫記錄過程之前，執(zhí)行圖像學(xué)習(xí)過程。首先，決定被攝物的目標(biāo)區(qū)域，將攝影機(jī)對(duì)著所要攝影的地方，按下學(xué)習(xí)按鈕313。在收到該信號(hào)之后，變焦控制部302讓變焦鏡頭301動(dòng)作，鏡面反射/擴(kuò)散反射分離攝影部3703對(duì)鏡面反射圖像728和擴(kuò)散反射圖像729分別取得目標(biāo)區(qū)域的低解像度圖像和高解像度圖像。并且，鏡面反射/擴(kuò)散反射分離攝影部701生成鏡面/擴(kuò)散比例圖像711，學(xué)習(xí)結(jié)束區(qū)域分割部702使鏡面/擴(kuò)散比例圖像711二值化，生成表面反射分割圖像712。所生成的表面反射分割圖像712被顯示在學(xué)習(xí)結(jié)束區(qū)域顯示部309中。
看到了顯示在學(xué)習(xí)結(jié)束區(qū)域顯示部309中的表面反射分割圖像712的攝影者對(duì)學(xué)習(xí)按鈕313進(jìn)行操作，對(duì)作為未學(xué)習(xí)區(qū)域的被攝物的區(qū)域設(shè)定目標(biāo)區(qū)域，進(jìn)行學(xué)習(xí)。來自學(xué)習(xí)開始按鈕313的信號(hào)還被傳送到紋理特征學(xué)習(xí)部311a、311b和高解像度化參數(shù)記錄部312a、312b，生成紋理特征之間的高解像度化參數(shù)，且被記錄下來。
圖44～圖46為表示本實(shí)施例中的處理的流程圖，圖44表示學(xué)習(xí)過程，圖45表示動(dòng)畫記錄過程，圖46表示高解像度化過程。如圖44所示，在學(xué)習(xí)過程中，對(duì)被攝物801取得鏡面反射圖像728和擴(kuò)散反射圖像729，將鏡面反射成分高解像度化參數(shù)802和擴(kuò)散反射成分高解像度化參數(shù)803存儲(chǔ)起來。
在學(xué)習(xí)過程之后，攝影者為了執(zhí)行錄象過程，按下記錄按鈕314。如圖45所示，對(duì)被攝物811進(jìn)行攝影，將可見光圖像的動(dòng)畫成分分離開，將鏡面反射圖像812和擴(kuò)散反射圖像813記錄下來。這些圖像為沒有變焦，用低解像度拍攝記錄的動(dòng)畫。此時(shí)，最好進(jìn)行恰當(dāng)?shù)膱D像壓縮。
其次，如圖46所示，在高解像度化過程中，首先，用鏡面反射成分高解像度化參數(shù)802對(duì)被記錄下來的鏡面反射圖像812進(jìn)行高解像度化，生成高解像度鏡面反射圖像822。同時(shí)，用擴(kuò)散反射成分高解像度化參數(shù)803對(duì)擴(kuò)散反射圖像813進(jìn)行高解像度化，生成高解像度擴(kuò)散反射圖像823。高解像度化的詳細(xì)情況與上述實(shí)施例一樣，在此對(duì)其說明加以省略。最后，通過加法部824將被高解像度化的兩個(gè)成分的圖像822、823加在一起，生成高解像度圖像825。
最后，對(duì)第七及第八實(shí)施例所涉及的發(fā)明的執(zhí)行檢測可能性加以說明。此發(fā)明的特征在于即使是同一材質(zhì)的被攝物，也能夠?qū)σ蛘彰骱陀^察條件不同而造成反射狀態(tài)不同的每個(gè)區(qū)域，進(jìn)行不同類型的高解像度化。因此，如果能夠檢測出是以產(chǎn)生反射狀態(tài)不同的區(qū)域的方式拍攝相同材質(zhì)的被攝物，那時(shí)的高解像度化的情況根據(jù)區(qū)域的不同而不同的話，則會(huì)成為實(shí)施發(fā)明的明確證據(jù)。
(工業(yè)上的利用可能性)在本發(fā)明中，由于能夠用較少的圖像處理量實(shí)現(xiàn)反映了被攝物特性的精度較高的解像度轉(zhuǎn)換，因此有效于例如在比較重視視覺信息量的各種應(yīng)用領(lǐng)域中，生成材質(zhì)感較佳的數(shù)碼高解像度活動(dòng)圖像的情況。例如，還有效于攜帶電話那樣的低解像度顯示類的圖像顯示。
權(quán)利要求
1.一種圖像處理方法，其特征在于包括第一步驟，對(duì)被攝物取得具有不同解像度的多個(gè)圖像，從該多個(gè)圖像來對(duì)每個(gè)被攝物特性學(xué)習(xí)解像度轉(zhuǎn)換規(guī)則；第二步驟，取得原圖像，根據(jù)被攝物特性對(duì)該原圖像進(jìn)行區(qū)域分割；以及第三步驟，通過對(duì)在上述第二步驟中所分割的區(qū)域，使用在上述第一步驟中所學(xué)習(xí)的、與對(duì)應(yīng)于上述區(qū)域的被攝物特性相關(guān)的解像度轉(zhuǎn)換規(guī)則，來轉(zhuǎn)換上述原圖像的解像度。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于上述被攝物特性是不受攝影距離約束的光學(xué)特性。
3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于上述光學(xué)特性是從圖像的光譜反射率數(shù)據(jù)或紅外線光譜放射率數(shù)據(jù)中取得的。
4.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于上述被攝物特性是被攝物表面的材質(zhì)。
5.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于上述被攝物特性是被攝物表面的反射狀態(tài)。
6.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于上述解像度轉(zhuǎn)換規(guī)則是描述具有不同解像度的圖像之間的紋理特征向量的對(duì)應(yīng)關(guān)系的規(guī)則。
7.一種圖像處理方法，其特征在于包括對(duì)被攝物決定目標(biāo)區(qū)域的步驟；對(duì)上述目標(biāo)區(qū)域，取得具有不同解像度的第一及第二圖像的步驟；生成使上述第一及第二圖像相互對(duì)應(yīng)的解像度轉(zhuǎn)換規(guī)則的步驟；取得上述目標(biāo)區(qū)域中的被攝物特性的步驟；以及使上述解像度轉(zhuǎn)換規(guī)則和被攝物特性相對(duì)應(yīng)，且將相對(duì)應(yīng)的解像度轉(zhuǎn)換規(guī)則和被攝物特性記錄在存儲(chǔ)設(shè)備中的步驟。
8.一種圖像處理方法，其特征在于包括取得被攝物的靜止圖像或活動(dòng)圖像的步驟；以及根據(jù)被攝物特性對(duì)所取得的圖像進(jìn)行區(qū)域分割的步驟。
9.一種圖像處理方法，其特征在于包括取得原圖像、和表示上述原圖像中的根據(jù)被攝物特性所分割的區(qū)域的區(qū)域分割信息的步驟；以及通過對(duì)上述區(qū)域分割信息所表示的區(qū)域，使用對(duì)應(yīng)于上述區(qū)域的被攝物特性所涉及的解像度轉(zhuǎn)換規(guī)則，來轉(zhuǎn)換上述原圖像的解像度的步驟。
10.一種圖像處理裝置，其特征在于包括取得部，構(gòu)成為能夠?qū)Ρ粩z物的目標(biāo)區(qū)域取得具有不同解像度的第一及第二圖像、和表示被攝物特性的第三圖像；規(guī)則生成部，從上述第一及第二圖像中生成使該第一及第二圖像相互對(duì)應(yīng)的解像度轉(zhuǎn)換規(guī)則；以及區(qū)域分割圖像生成部，從上述第三圖像中生成根據(jù)被攝物特性而被區(qū)域分割了的區(qū)域分割圖像。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于上述取得部將由被攝物的光譜信息構(gòu)成的光譜圖像作為上述第三圖像取得。
12.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于上述取得部將表示被攝物表面的鏡面反射成分和擴(kuò)散反射成分的比例的鏡面/擴(kuò)散比例圖像作為上述第三圖像取得。
13.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于上述取得部分別對(duì)鏡面反射圖像和擴(kuò)散反射圖像取得具有不同解像度的第一及第二圖像。
14.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于上述取得部具有變焦鏡頭，利用光學(xué)變焦法取得上述第一及第二圖像。
15.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于包括用以從裝置的外部指示生成解像度轉(zhuǎn)換規(guī)則的學(xué)習(xí)按鈕。
16.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于包括用以顯示上述區(qū)域分割圖像的顯示部。
17.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于上述取得部具有光軸可變焦機(jī)構(gòu)，利用該光軸可變焦機(jī)構(gòu)對(duì)所指定的目標(biāo)區(qū)域進(jìn)行光學(xué)變焦，取得上述第一及第二圖像。
18.根據(jù)權(quán)利要求17所述的圖像處理裝置，其特征在于具有靜止圖像攝影功能和自拍機(jī)構(gòu)；當(dāng)進(jìn)行使用了上述自拍機(jī)構(gòu)的靜止圖像攝影時(shí)，在攝影之前的計(jì)時(shí)器工作期間，上述取得部進(jìn)行上述第一、第二及第三圖像的取得。
19.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于包括攝影功能、和檢測照明環(huán)境變化的照明推定部；當(dāng)在攝影期間，由上述照明推定部檢測出照明環(huán)境的變化時(shí)，將要重新生成解像度轉(zhuǎn)換規(guī)則的必要性通知給攝影者。
20.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于包括攝影功能；以及在需要生成解像度轉(zhuǎn)換規(guī)則時(shí)禁止攝影的功能。
21.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于包括動(dòng)畫錄象功能；上述取得部構(gòu)成為能夠與動(dòng)畫錄象并行地執(zhí)行上述第一及第二圖像的取得。
22.根據(jù)權(quán)利要求21所述的圖像處理裝置，其特征在于使上述第一及第二圖像中的上述第一圖像的解像度較高；上述取得部在動(dòng)畫錄象期間，將靜止圖像拍攝為上述第一圖像，并且，將錄下的活動(dòng)圖像取為上述第二圖像。
23.根據(jù)權(quán)利要求22所述的圖像處理裝置，其特征在于上述取得部當(dāng)從上述第三圖像中認(rèn)出了未學(xué)習(xí)的被攝物特性時(shí)，進(jìn)行上述第一及第二圖像的取得。
24.根據(jù)權(quán)利要求22所述的圖像處理裝置，其特征在于上述取得部每經(jīng)過規(guī)定的時(shí)間，就進(jìn)行上述第一及第二圖像的取得。
25.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于上述取得部包括用以拍攝上述第一及第二圖像的具有不同解像度的多個(gè)攝影元件。
26.一種圖像處理程序，其特征在于讓計(jì)算機(jī)執(zhí)行第一步驟、第二步驟和第三步驟，該第一步驟是從對(duì)被攝物所取得的具有不同解像度的多個(gè)圖像中，針對(duì)每個(gè)被攝物特性學(xué)習(xí)解像度轉(zhuǎn)換規(guī)則的步驟，該第二步驟是根據(jù)被攝物特性對(duì)所取得的原圖像進(jìn)行區(qū)域分割的步驟，該第三步驟是通過對(duì)在上述第二步驟中所分割的區(qū)域，使用在上述第一步驟中所學(xué)習(xí)的、與對(duì)應(yīng)于上述區(qū)域的被攝物特性相關(guān)的解像度轉(zhuǎn)換規(guī)則，來轉(zhuǎn)換上述原圖像的解像度的步驟。
27.一種圖像文件格式，其特征在于包括圖像數(shù)據(jù)，表示原圖像；區(qū)域分割圖像數(shù)據(jù)，表示上述原圖像中的根據(jù)被攝物特性所分割的區(qū)域；以及高解像度化參數(shù)數(shù)據(jù)，為了使上述原圖像高解像度化，而對(duì)每個(gè)被攝物特性求出的。
28.根據(jù)權(quán)利要求27所述的圖像文件格式，其特征在于上述高解像度化參數(shù)數(shù)據(jù)是上述原圖像中的位置與時(shí)間的函數(shù)。
全文摘要
本發(fā)明公開了圖像處理方法、圖像處理裝置、圖像處理程序及圖像文件格式。在學(xué)習(xí)過程中，首先，對(duì)被攝物的目標(biāo)區(qū)域取得不同解像度的圖像(S101)。并且，對(duì)目標(biāo)區(qū)域取得被攝物特性(S102)。然后，從不同解像度的圖像中學(xué)習(xí)解像度轉(zhuǎn)換規(guī)則，作為被攝物特性，同時(shí)，記錄下來(S103)。在轉(zhuǎn)換解像度時(shí)，通過對(duì)每個(gè)原圖像的區(qū)域使用所學(xué)習(xí)的、與對(duì)應(yīng)于上述區(qū)域的被攝物特性有關(guān)的解像度轉(zhuǎn)換規(guī)則，來轉(zhuǎn)換原圖像的解像度。
文檔編號(hào)H04N5/232GK101069417SQ20058004095
公開日2007年11月7日 申請(qǐng)日期2005年11月18日 優(yōu)先權(quán)日2004年11月30日
發(fā)明者金森克洋, 本村秀人, 菰淵寬仁 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社