專利名稱：圖像處理裝置、圖像處理方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法以及程序，尤其涉及能夠在縮小圖像時(shí)盡可能小地縮小所述圖像中的被攝體的圖像處理裝置、圖像處理方法以及程序。
背景技術(shù)：
近年來，由于數(shù)字式照相機(jī)的高性能，越來越多地拍攝出高分辨率的圖像。另一方面，隨著移動(dòng)終端的廣泛使用，在小尺寸屏幕上觀看通過數(shù)字式照相機(jī)拍攝的圖像的機(jī)會(huì)更多。當(dāng)在小尺寸屏幕上觀看高分辨率的圖像時(shí)，若不改變圖像的尺寸，則可能不能在一個(gè)屏幕上觀看到整個(gè)圖像。因此，通?？s小整個(gè)圖像以匹配用于顯示的屏幕的尺寸。于是，當(dāng)縮小整個(gè)圖像以使其變小時(shí)，作為被攝體的對(duì)象可能被縮小。因此，有時(shí)難以看到圖像的細(xì)節(jié)。例如，已提出一種用于選擇多個(gè)裁剪區(qū)域的技術(shù)(參看日本未審查專利申請(qǐng)公開第2005-175683號(hào))。還提出一種技術(shù)，其中手動(dòng)或自動(dòng)選擇用于拍攝人物的肖像模式或用于拍攝場景以作為被攝體的場景模式并且根據(jù)模式檢測裁剪區(qū)域(日本未審查專利申請(qǐng)公開第 2005-175684 號(hào))。還提出一種技術(shù)，其中選擇裁剪窗的尺寸和形狀，并且使用所述裁剪窗的尺寸和形狀執(zhí)行裁剪(參看日本未審查專利申請(qǐng)公開第2002-16792號(hào))。還提出一種通過在信念圖中指定具有較高值的部分來檢測并裁剪被攝體區(qū)域的技術(shù)(參看日本未審查專利申請(qǐng)公開第2002-218223號(hào))。還提出一種通過在信念圖中指定具有較高值的部分來檢測和裁剪被攝體區(qū)域的技術(shù)(參看日本未審查專利申請(qǐng)公開第2001-236497號(hào))。

發(fā)明內(nèi)容
然而，在日本未審查專利申請(qǐng)公開第2005-175683號(hào)中所公開的技術(shù)中，盡管可選擇多個(gè)裁剪區(qū)域，但是可出現(xiàn)所述多個(gè)裁剪區(qū)域并非整體地形成的問題。然而，在日本未審查專利申請(qǐng)公開第2005-175684號(hào)中所公開的技術(shù)中，需要具備模式選擇處理。因此，可能出現(xiàn)需要人工(在手動(dòng)模式選擇中)或需要時(shí)間(在自動(dòng)模式選擇中)的問題。此外， 由于存儲(chǔ)多個(gè)算法，可能必需大容量內(nèi)存，因此所述裝置可能變得較為昂貴。然而，在日本未審查專利申請(qǐng)公開第2002-16792號(hào)中所公開的技術(shù)中，選擇裁剪窗的尺寸或形狀需要花費(fèi)一些時(shí)間并且可能根據(jù)裁剪窗的尺寸或形狀來切割被攝體區(qū)域。 然而，在日本未審查專利申請(qǐng)公開案第2002-218223號(hào)中所公開的技術(shù)中，可能在存在多個(gè)被攝體的情況下切割被攝體區(qū)域。然而，在日本未審查專利申請(qǐng)公開第2001-236497號(hào)中所公開的技術(shù)中，可能在存在多個(gè)被攝體的情況下切割到被攝體。希望提供一種用于尤其在縮小圖像的尺寸時(shí)縮小圖像的尺寸從而不遺漏作為被攝體的對(duì)象的技術(shù)，以及一種用于縮小圖像的尺寸從而在降低計(jì)算成本的同時(shí)不過度地縮小圖像的尺寸技術(shù)。根據(jù)本發(fā)明的實(shí)施例，提供一種圖像處理裝置，包括被攝體區(qū)域檢測部件，其用于檢測包括在輸入圖像中的被攝體區(qū)域；裁剪區(qū)域設(shè)定部件，其用于將包括由所述被攝體區(qū)域檢測部件檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為裁剪區(qū)域；擴(kuò)展區(qū)域添加部件， 其用于添加擴(kuò)展區(qū)域從而僅以預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；切割部件，其用于從所述輸入圖像切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的切割圖像；被攝體適配尺寸改變部件，其用于通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的圖像的尺寸；以及整體圖像尺寸改變部件，其用于以預(yù)定比率改變被所述被攝體適配尺寸改變部件改變了尺寸的圖像的整體尺寸。所述被攝體適配尺寸改變部件包括輸入圖像能量圖產(chǎn)生部件，其用于基于所述切割圖像的相鄰像素的能量從所述切割圖像產(chǎn)生輸入圖像能量圖；縮小能量圖產(chǎn)生部件， 其用于通過縮小所述輸入圖像能量圖來產(chǎn)生與縮小圖像對(duì)應(yīng)的縮小能量圖，其中所述縮小圖像是通過將由所述切割圖像的多個(gè)相鄰像素形成的一個(gè)塊設(shè)定為一個(gè)像素形成的；縮小接縫查找部件，其用于查找通過對(duì)沿多個(gè)路徑中所經(jīng)過像素的能量積累值最小的路徑的像素進(jìn)行連接而形成的縮小接縫，其中所述多個(gè)路徑從位于所述縮小能量圖中的在所述縮小圖像的一端的像素順次地通過朝另一端方向的相鄰像素到達(dá)在所述縮小圖像的另一端的像素而形成；局部接縫查找部件，其用于查找通過對(duì)多個(gè)路徑中所經(jīng)過像素的能量積累值最小的像素進(jìn)行連接而形成的局部接縫，其中所述多個(gè)路徑從位于所述輸入圖像能量圖中的在所述切割圖像的一端的像素順次地通過朝另一端方向的相鄰像素到達(dá)位于所述切割圖像的另一端的像素而形成，其中所述局部接縫包括通過所述縮小接縫查找部件查找到的所述縮小接縫的一端；以及縮小部件，其用于通過從所述輸入圖像中刪除形成由所述局部接縫查找部件查找到的所述局部接縫的所述像素來縮小所述輸入圖像。所述圖像處理裝置可以進(jìn)一步包括比較部件，其用于將形成所查找到的所述局部接縫的像素的能量積累值與閾值進(jìn)行比較。所述局部接縫查找部件可重復(fù)地查找通過對(duì)多個(gè)路徑中所經(jīng)過像素的能量積累值最小的像素進(jìn)行連接而形成的所述局部接縫，直到所述比較部件判定形成所查找到的所述局部接縫的能量積累值大于所述閾值，其中多個(gè)路徑從位于所述輸入圖像能量圖中的在所述切割圖像的一端的像素順次地通過朝另一端方向的相鄰像素到達(dá)位于所述切割圖像的另一端的像素而形成，其中所述局部接縫包括通過所述縮小接縫查找部件查找到的所述縮小接縫的一端。 所述圖像處理裝置可進(jìn)一步包括輸入圖像能量圖更新部件，其用于在所述輸入圖像能量圖上用最大能量值插入并替換與所述切割圖像的形成所述局部接縫的所有像素對(duì)應(yīng)的能量，來更新所述輸入圖像能量圖，其中由所述局部接縫查找部件查找到所述局部接縫。當(dāng)所述局部接縫查找部件查找從位于所述切割圖像的一端的像素順次地通過朝另一端方向的相鄰像素到達(dá)位于所述切割圖像的另一端的像素而形成的所述多個(gè)路徑時(shí)，所述局部接縫查找部件在所有相鄰像素具有所述輸入圖像能量圖的最大能量值時(shí)，把與所述相鄰像素相鄰的預(yù)定數(shù)量的像素中具有最小能量的像素設(shè)定為相鄰像素，來形成所述路徑。所述圖像處理裝置可進(jìn)一步包括縮小圖像能量圖更新部件，其用于在所述縮小圖像能量圖上用最大能量值插入并替換與所述縮小圖像的形成所述縮小接縫的所有像素對(duì)應(yīng)的能量，來更新所述縮小圖像能量圖，其中由所述縮小接縫查找部件查找到所述縮小接縫。根據(jù)本發(fā)明的另一實(shí)施例，提供一種圖像處理裝置的圖像處理方法，其中所述圖像處理裝置包括被攝體區(qū)域檢測部件，其用于檢測包括在輸入圖像中的被攝體區(qū)域；裁剪區(qū)域設(shè)定部件，其用于將包括由所述被攝體區(qū)域檢測部件檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為裁剪區(qū)域；擴(kuò)展區(qū)域添加部件，其用于添加擴(kuò)展區(qū)域從而僅以預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；切割部件，其用于從所述輸入圖像切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的切割圖像；被攝體適配尺寸改變部件，其用于通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的圖像的尺寸；以及整體圖像尺寸改變部件，其用于以預(yù)定比率改變被所述被攝體適配尺寸改變部件改變了尺寸的圖像的整體尺寸。所述圖像處理方法包括以下步驟被攝體區(qū)域檢測部件檢測包括在所述輸入圖像中的所述被攝體區(qū)域；所述裁剪區(qū)域設(shè)定部件將包括在檢測所述被攝體區(qū)域的步驟中檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為所述裁剪區(qū)域；所述擴(kuò)展區(qū)域添加部件添加所述擴(kuò)展區(qū)域以僅以所述預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；所述切割部件從所述輸入圖像中切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的所述切割圖像；所述被攝體適配尺寸改變部件通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的所述圖像的尺寸；以及，所述整體圖像尺寸改變部件以預(yù)定比率改變?cè)诟淖兯霰粩z體適配尺寸的步驟中改變了尺寸的圖像的整體尺寸。根據(jù)本發(fā)明的另一實(shí)施例，提供一種使計(jì)算機(jī)控制圖像處理裝置執(zhí)行以下步驟的程序，其中所述圖像處理裝置包括被攝體區(qū)域檢測部件，其用于檢測包括在輸入圖像中的被攝體區(qū)域；裁剪區(qū)域設(shè)定部件，其用于將包括由所述被攝體區(qū)域檢測部件檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為裁剪區(qū)域；擴(kuò)展區(qū)域添加部件，其用于添加擴(kuò)展區(qū)域從而僅以預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；切割部件，其用于從所述輸入圖像切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的切割圖像；被攝體適配尺寸改變部件，其用于通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的圖像的尺寸；以及，整體圖像尺寸改變部件，其用于以預(yù)定比率改變被所述被攝體適配尺寸改變部件改變了尺寸的圖像的整體尺寸；其中，所述步驟包括所述被攝體區(qū)域檢測部件檢測包括在所述輸入圖像中的所述被攝體區(qū)域；所述裁剪區(qū)域設(shè)定部件將包括在檢測所述被攝體區(qū)域的步驟中檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為所述裁剪區(qū)域；所述擴(kuò)展區(qū)域添加部件添加所述擴(kuò)展區(qū)域以僅以所述預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；所述切割部件從所述輸入圖像中切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的所述切割圖像；所述被攝體適配尺寸改變部件通過刪除所述切割圖像中對(duì)所述被攝體的影響小的區(qū)域來改變由所述切割區(qū)域形成的所述圖像的尺寸；以及，所述整體圖像尺寸改變部件以預(yù)定比率改變?cè)诟淖兯霰粩z體適配尺寸的所述步驟中改變了尺寸的圖像的整體尺寸。根據(jù)本發(fā)明的又一實(shí)施例，檢測包括在輸入圖像中的被攝體區(qū)域，將包括所有檢測到的被攝體區(qū)域的區(qū)域設(shè)定為裁剪區(qū)域，添加擴(kuò)展區(qū)域從而僅以預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部，從輸入圖像切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的切割圖像，通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的圖像的尺寸，并且以預(yù)定比率改變尺寸被改變了的圖像的整體尺寸。根據(jù)本發(fā)明實(shí)施例的圖像處理裝置可為獨(dú)立裝置或?yàn)閳?zhí)行圖像處理的塊。根據(jù)本發(fā)明的實(shí)施例，當(dāng)縮小圖像時(shí)，可在盡可能小地縮小圖像中的被攝體的同時(shí)縮小圖像。


圖1是示出根據(jù)本發(fā)明實(shí)施例的圖像處理裝置的示例性結(jié)構(gòu)的框圖；圖2是示出圖像裁剪單元的示例性結(jié)構(gòu)的框圖；圖3是示出被攝體區(qū)域檢測單元的示例性結(jié)構(gòu)的框圖；圖4是示出對(duì)象適配尺寸改變單元的示例性結(jié)構(gòu)的框圖；圖5是示出查找單元的示例性結(jié)構(gòu)的框圖；圖6是示出圖像尺寸改變處理的流程圖；圖7是示出所述圖像尺寸改變處理的圖；圖8是示出圖像裁剪處理的流程圖；圖9是示出被攝體區(qū)域檢測處理的流程圖；圖10是示出被攝體區(qū)域檢測處理的圖；圖11是示出圖像裁剪處理的圖；圖12是示出圖像裁剪處理的圖；圖13是示出對(duì)象適配尺寸改變處理的流程圖；圖14是示出查找處理的流程圖；圖15是示出查找整個(gè)圖像的處理的流程圖；圖16是示出查找整個(gè)圖像的處理的圖；圖17是示出查找整個(gè)圖像的處理的圖；圖18是示出查找整個(gè)圖像的處理的圖；圖19是示出查找局部圖像的處理的流程圖；圖20是示出查找局部圖像的處理的圖；圖21是示出查找局部圖像的處理的圖；圖22是示出查找局部圖像的處理的圖；圖23是示出查找局部圖像的處理的圖；圖24是示出查找局部圖像的處理的圖；圖25是示出查找處理中的動(dòng)態(tài)編程方法和貪心法的圖；圖26是示出處理結(jié)果的圖；圖27是示出通用個(gè)人計(jì)算機(jī)的示例性結(jié)構(gòu)的圖。
具體實(shí)施例方式圖像處理裝置的示例性配置圖1示出了根據(jù)本發(fā)明實(shí)施例的硬件圖像處理裝置的示例性配置。當(dāng)圖像處理裝置11將圖像縮小或擴(kuò)展到預(yù)定尺寸時(shí)，圖1中的圖像處理裝置11改變圖像的整體尺寸，從而盡可能小地改變圖像中作為被攝體的對(duì)象的尺寸。隨后，圖像處理裝置11在顯示單元12 上顯示所述圖像。下文將描述用于縮小輸入圖像的配置，但是所述配置被應(yīng)用于通過相同配置和相同功能對(duì)輸入圖像進(jìn)行擴(kuò)展的情況。更具體地說，圖像處理裝置11包括圖像裁剪單元21、對(duì)象適配尺寸改變單元22、 裁剪尺寸確定單元23、圖像尺寸調(diào)整單元24、改變圖像尺寸確定單元25和輸出單元26。
圖像裁剪單元21檢測輸入圖像中作為被攝體的對(duì)象的區(qū)域，生成包括被檢測為對(duì)象區(qū)域的范圍的矩形裁剪圖像，并且將所述矩形裁剪圖像供應(yīng)給對(duì)象適配尺寸改變單元 22和裁剪尺寸確定單元23。下文將參照?qǐng)D2詳細(xì)描述圖像裁剪單元21的配置。裁剪尺寸確定單元23確定從圖像裁剪單元21供應(yīng)的裁剪圖像的尺寸是否被縮小到適用于在顯示單元12上顯示的圖像的預(yù)定最佳尺寸。當(dāng)確定裁剪圖像的尺寸為圖像的最佳尺寸時(shí)，將裁剪圖像作為縮小圖像輸出到輸出單元沈。另一方面，當(dāng)確定裁剪圖像的尺寸沒有縮小到圖像的預(yù)定尺寸時(shí)，裁剪尺寸確定單元23控制對(duì)象適配尺寸改變單元22以縮小裁剪圖像，從而盡可能小地縮小裁剪圖像中的作為被攝體的對(duì)象。對(duì)象適配尺寸改變單元22縮小裁剪圖像，從而通過所謂的接縫雕刻來盡可能小地縮小圖像中的對(duì)象，并且隨后將縮小的裁剪圖像輸出到圖像尺寸調(diào)整單元M和改變圖像尺寸確定單元25。下文將參照?qǐng)D4來描述對(duì)象適配尺寸改變單元22。 改變圖像尺寸確定單元25確定從對(duì)象適配尺寸改變單元22供應(yīng)的具有縮小的裁剪圖像的圖像的尺寸是否被縮小到適合于在顯示單元12上顯示的圖像的最佳尺寸。隨后， 當(dāng)改變圖像尺寸確定單元25確定圖像的尺寸被縮小到適合于在顯示單元12上顯示的圖像的最佳尺寸時(shí)，改變圖像尺寸確定單元25將縮小圖像無變化地輸出到輸出單元26。另一方面，當(dāng)改變圖像尺寸確定單元25確定圖像的尺寸非圖像的最佳尺寸時(shí)，改變圖像尺寸確定單元25允許圖像尺寸調(diào)整單元M縮小整個(gè)圖像，從而使縮小的裁剪圖像具有適合于在顯示單元12上顯示的最佳尺寸，并且隨后將縮小圖像輸出到輸出單元26。輸出單元沈?qū)牟眉舫叽绱_定單元23、圖像尺寸調(diào)整單元M和改變圖像尺寸確定單元25中的一個(gè)供應(yīng)的縮小輸入圖像輸出到顯示單元12以顯示所述縮小輸入圖像。圖像裁剪單元的示例性配置接著，將參照?qǐng)D2來描述圖像裁剪單元21的示例性配置。圖像裁剪單元21包括被攝體區(qū)域檢測單元41、被攝體區(qū)域包含范圍查找單元42、 被攝體區(qū)域包含范圍矩形化單元43、附加區(qū)域添加單元44和圖像剪切單元45。被攝體區(qū)域檢測單元41檢測一個(gè)區(qū)域是否具有作為輸入圖像中的被攝體的對(duì)象，并且將與存在作為被攝體的對(duì)象的區(qū)域相關(guān)的信息供應(yīng)給被攝體區(qū)域包含范圍查找單元42。下文將參照?qǐng)D 3詳細(xì)描述被攝體區(qū)域檢測單元41。被攝體區(qū)域包含范圍查找單元42查找包括存在從被攝體區(qū)域檢測單元41供應(yīng)的作為被攝體的對(duì)象的區(qū)域的位置范圍，并且將查找到的范圍供應(yīng)給被攝體區(qū)域包含范圍矩形化單元43。被攝體區(qū)域包含范圍矩形化單元43將從被攝體區(qū)域包含范圍查找單元42供應(yīng)的包括存在作為被攝體的對(duì)象的區(qū)域的位置范圍處理成矩形形狀，并且將處理后的范圍供應(yīng)給附加區(qū)域添加單元44。附加區(qū)域添加單元44將具有預(yù)定寬度的附加區(qū)域添加到包括存在作為被攝體的對(duì)象的區(qū)域的矩形位置范圍的外周端，并且將矩形位置范圍供應(yīng)給圖像剪切單元45。圖像剪切單元45對(duì)輸入圖像進(jìn)行切割以對(duì)應(yīng)于包括存在作為被攝體的對(duì)象的區(qū)域的所述矩形位置范圍，其中從附加區(qū)域添加單元44供應(yīng)的附加區(qū)被添加到所述矩形位置范圍，并且輸出切割的輸入圖像作為裁剪圖像。被攝體區(qū)檢測單元的示例性配置接著，將參照?qǐng)D3來描述被攝體區(qū)域檢測單元41的示例性配置。被攝體區(qū)域檢測單元41包括亮度信息提取單元61、色彩信息提取單元62、邊緣信息提取單元63、被攝體信息提取單元64、運(yùn)動(dòng)信息提取單元65、被攝體圖生成單元66和被攝體區(qū)域指定單元67。亮度信息提取單元61至運(yùn)動(dòng)信息提取單元65從供應(yīng)的輸入圖像提取預(yù)定信息并生成信息圖，其中所述信息圖基于從所提取的信息配置的提取信息圖像來指示輸入圖像的各個(gè)區(qū)域內(nèi)的被攝體區(qū)域。信息圖中所包括的信息為指示由包括被攝體的區(qū)域所包括的大量特征的信息，并且將其中與輸入圖像的各個(gè)區(qū)域?qū)?yīng)地排列信息的圖作為信息圖。即，信息圖可被稱為指示輸入圖像的各個(gè)區(qū)域內(nèi)的特征量的信息。在此，被攝體為當(dāng)用戶觀看輸入圖像時(shí)估計(jì)用戶在輸入圖像中主要觀察到的對(duì)象，即，用戶所關(guān)注的對(duì)象。因此，被攝體不一定局限于人。亮度信息提取單元61至運(yùn)動(dòng)信息提取單元65分別生成亮度信息圖、色彩信息圖、邊緣信息圖、面部信息圖和運(yùn)動(dòng)信息圖作為信息圖。具體地說，亮度信息提取單元61生成亮度信息圖，其中把從供應(yīng)的輸入圖像的 Y(亮度)分量形成的亮度圖像用作提取信息圖像，并且將亮度信息圖供應(yīng)給被攝體圖生成單元66。色彩信息提取單元62生成色彩信息圖，其中把從供應(yīng)的輸入圖像的Cr分量形成的Cr圖像和從供應(yīng)的輸入圖像的Cb分量形成的Cb圖像用作提取信息圖像，并且將色彩信息圖供應(yīng)給被攝體圖生成單元66。邊緣信息提取單元63生成邊緣信息圖，其中將從供應(yīng)的輸入圖像的各個(gè)區(qū)域的邊緣強(qiáng)度形成的邊緣圖像用作提取信息圖像，并且將所述邊緣信息圖供應(yīng)給被攝體圖生成單元66。被攝體信息提取單元64生成被攝體信息圖，其中把由與供應(yīng)的輸入圖像的各個(gè)區(qū)域內(nèi)的被攝體(例如，人的面部)相關(guān)的信息所形成的圖像用作提取信息圖像，并且將所述被攝體信息圖供應(yīng)給被攝體圖生成單元66。運(yùn)動(dòng)信息提取單元65生成運(yùn)動(dòng)信息圖，其中把由與供應(yīng)的輸入圖像的各個(gè)區(qū)域內(nèi)的運(yùn)動(dòng)相關(guān)的信息形成的圖像用作提取信息圖像，并且將所述運(yùn)動(dòng)信息圖供應(yīng)給被攝體圖生成單元66。被攝體圖生成單元66通過將從亮度信息提取單元61至運(yùn)動(dòng)信息提取單元65供應(yīng)的信息圖彼此添加生成被攝體圖，并且將所述被攝體圖供應(yīng)給被攝體區(qū)域指定單元67。 被攝體圖為用于指定包括輸入圖像中的被攝體的區(qū)域的信息。被攝體區(qū)域指定單元67使用來自被攝體圖生成單元66的被攝體圖指定在所供應(yīng)的輸入圖像上的被攝體的區(qū)域，并且輸出所述指定結(jié)果。對(duì)象適配尺寸改變單元的示例性配置接著，將參照?qǐng)D4來描述對(duì)象適配尺寸改變單元22的示例性配置。對(duì)象適配尺寸改變單元22包括圖像獲得單元111、能量圖生成單元112、輸入圖像能量圖存儲(chǔ)單元113、縮小圖像能量圖存儲(chǔ)單元114、查找單元115和處理單元116。圖像獲得單元111獲得輸入圖像并且將所述輸入圖像供應(yīng)給能量圖生成單元112 和處理單元116。能量圖生成單元112包括能量計(jì)算單元121和縮小單元122。能量圖生成單元112從由圖像獲得單元111供應(yīng)的輸入圖像生成與輸入圖像具有相同尺寸的輸入圖像能量圖和與輸入圖像的縮小圖像具有相同尺寸的縮小圖像能量圖。更具體地說，能量計(jì)算單元121通過以下表達(dá)式(1)計(jì)算各個(gè)像素的能量e (I)，從像素單元的能量生成輸入圖像能量圖以對(duì)應(yīng)于所述輸入圖像，并且將所述輸入圖像能量圖存儲(chǔ)在輸入圖像能量圖存儲(chǔ)單元113中。能量計(jì)算單元121將生成的輸入圖像能量圖供應(yīng)給縮小單元122。
在此表達(dá)式中，e(I)表示處于輸入圖像上以I表示的位置的各個(gè)像素的能量。艮口， 以表達(dá)式(1)表示的各個(gè)像素的能量e(I)指示輸入圖像的各個(gè)像素中的χ和y方向上彼此相鄰的像素之間的像素值、亮度值等的差值的絕對(duì)值和?？s小單元122縮小輸入圖像能量圖以生成縮小圖像能量圖并將所述縮小圖像能量圖存儲(chǔ)在縮小圖像能量圖存儲(chǔ)單元114中，其中通過能量計(jì)算單元121來計(jì)算并生成輸入圖像能量圖，并且輸入圖像能量圖具有與輸入圖像相同的尺寸。更具體地說，縮小單元122通過例如，將輸入圖像的mXn個(gè)像素設(shè)定為一個(gè)塊，計(jì)算各個(gè)塊的像素能量的平均值或中間值以使所述一個(gè)塊對(duì)應(yīng)于一個(gè)像素，并構(gòu)造所述能量圖，來生成縮小圖像能量圖。 即，縮小圖像能量圖被計(jì)算為所生成的縮小圖像的能量圖，從而將輸入圖像的mXn個(gè)像素設(shè)定為一個(gè)塊并且所述一個(gè)塊對(duì)應(yīng)于一個(gè)像素。查找單元115從縮小圖像能量圖存儲(chǔ)單元114讀取縮小圖像能量圖，順序地選擇從縮小圖像的一端到其另一端的相鄰像素作為選擇路徑，并且查找縮小接縫從而使選擇路徑的像素的能量積累值最小。在這種情況下，查找單元115根據(jù)下文描述的動(dòng)態(tài)編程法或貪心法查找縮小接縫。查找單元115用最大能量值替換屬于臨時(shí)地計(jì)算出的縮小接縫的像素的能量，并且重復(fù)地執(zhí)行相同的處理，直到順序地計(jì)算預(yù)定數(shù)量的局部接縫。在此，由從縮小圖像的一端至其另一端順序地相鄰的像素所形成的路徑為按照如下的選擇處理形成的路徑對(duì)于縮小圖像上端的某個(gè)像素，選擇與該像素在右下方、正下方和左下方相鄰的三個(gè)像素中的一個(gè)，并且對(duì)于所選擇出的像素選擇同樣的三個(gè)相鄰像素中的一個(gè)，依次進(jìn)行重復(fù)直到到達(dá)下端的某個(gè)像素為止，通過順次地連接所選擇的像素來形成所述路徑。因此，當(dāng)一端為縮小圖像的左端而另一端為縮小圖像的右端時(shí)，按照如下的選擇處理形成路徑對(duì)于縮小圖像左端的某個(gè)像素，選擇與該像素在右上方、正右方和右下方相鄰的三個(gè)像素中的一個(gè)，并且對(duì)于所選擇出的像素選擇同樣的三個(gè)相鄰像素中的一個(gè)， 依次進(jìn)行重復(fù)直到到達(dá)右端的某個(gè)像素為止，通過順次地連接所選擇的像素來形成所述路徑。在下文中，當(dāng)從縮小圖像的上端向其下端查找縮小接縫時(shí)，查找方向被稱為向下方向。 當(dāng)從縮小圖像的左端向其右端查找縮小接縫時(shí)，查找方向被稱為向右方向。在設(shè)定了關(guān)注像素的情況下，當(dāng)查找方向?yàn)榇怪狈綍r(shí)，在查找方向上與關(guān)注像素相鄰的像素為與所述關(guān)注像素在右上方、正上方和左上方相鄰的三個(gè)像素，或者，其為與所述關(guān)注像素在右下方、 正下方和左下方相鄰的三個(gè)像素。當(dāng)查找方向?yàn)樗椒较驎r(shí)，在查找方向上與關(guān)注像素相鄰的像素為與所述關(guān)注像素在左上方、正左方和左下方相鄰的三個(gè)像素，或者為位于所述關(guān)注像素的右上方、正右方和右下方的三個(gè)相鄰像素。查找單元115將屬于與形成縮小接縫的縮小圖像的像素對(duì)應(yīng)的塊的、從位于輸入圖像的一端的像素起順次相鄰的像素中具有最小能量的像素順序地設(shè)定為關(guān)注像素，其中所述縮小接縫是通過縮小圖像能量圖查找到的。查找單元115通過連接順序地設(shè)定的關(guān)注像素來查找局部接縫。此時(shí)，查找單元115根據(jù)下文描述的貪心法查找局部接縫。隨后，查找單元115用最大能量值替換與屬于輸入圖像的臨時(shí)計(jì)算出的局部接縫的像素對(duì)應(yīng)的能量，并且重復(fù)相同的處理，直到查找單元115順序地計(jì)算預(yù)定數(shù)量的局部接縫以計(jì)算出多個(gè)局部接縫。
通過從由圖像獲得單元111供應(yīng)的圖像中刪除(或添加)與由查找單元115計(jì)算的局部接縫對(duì)應(yīng)的像素，處理單元116縮小(或擴(kuò)展)圖像，并且隨后將縮小(或擴(kuò)展)圖像輸出到顯示單元2以顯示所述縮小(或擴(kuò)展)圖像。查找單元的示例性配置接著，將參照?qǐng)D5詳細(xì)描述查找單元115的示例性配置。查找單元115包括整體圖像查找單元131和局部圖像查找單元132。整體圖像查找單元131從縮小圖像能量圖計(jì)算縮小圖像的縮小接縫，并且將所述縮小接縫供應(yīng)給局部圖像查找單元132。局部圖像查找單元132基于與從整體圖像查找單元131供應(yīng)的縮小接縫相關(guān)的信息從輸入圖像能量圖計(jì)算局部接縫，并且將局部接縫輸出到處理單元116。首先，將描述整體圖像查找單元131的配置。整體圖像查找單元131包括縮小圖像能量圖緩沖器151、積累能量圖生成單元152、積累能量圖存儲(chǔ)單元153、縮小接縫確定單元IM和最大能量值插入單元155?？s小圖像能量圖緩沖器151讀取并臨時(shí)存儲(chǔ)縮小圖像能量圖存儲(chǔ)單元114中所存儲(chǔ)的縮小圖像能量圖。當(dāng)用從最大能量值插入單元155插入的最大能量值替換屬于縮小接縫的像素的能量并且更新縮小圖像能量圖時(shí)，縮小圖像能量圖緩沖器151存儲(chǔ)更新的縮小圖像能量圖。通過執(zhí)行對(duì)以下表達(dá)式O)的計(jì)算，積累能量圖生成單元152在與縮小圖像能量圖的查找方向相反的方向上順序地積累與順序地設(shè)定的關(guān)注像素相鄰的像素的能量，并且將所述能量計(jì)算為積累能量。 M (i，j) = e (i，j) +min (Μ (i_l，j_l)，M (i_l，j)，M (i_l，j+1)) …⑵在此表達(dá)式中，M(i，j)表示順序地設(shè)定的關(guān)注像素(i，j)的積累能量。此外，e(i， j)表示關(guān)注像素(i，j)的能量。此外，min (A，B，C)表示在值A(chǔ)至C中選擇最小值。S卩，通過從在與縮小接縫的查找方向相反的方向上與關(guān)注像素(i，j)相鄰的像素 (i-1，j-1)、(i-1，j)和(i-1, j+1)的積累能量 M(i-1，j-l)、M(i-l，j)和 M(i-l，j+l)中選擇最小能量并將最小能量添加到關(guān)注像素的能量上，積累能量圖生成單元152計(jì)算關(guān)注像素(i，j)的積累能量。通過順序地重復(fù)相同的處理積累能量圖生成單元152來生成縮小圖像能量圖的積累能量圖并將積累能量圖存儲(chǔ)在積累能量圖存儲(chǔ)單元153中。在表達(dá)式(2) 中示出一示例，其中在垂直方向上從輸入圖像的上端向其下端查找縮小接縫。因此，表達(dá)式 (2)變化以對(duì)應(yīng)于縮小接縫的查找方向?；谂c存儲(chǔ)在積累能量圖存儲(chǔ)單元153中的積累能量圖相關(guān)的信息，縮小接縫確定單元IM順序地查找縮小接縫，從而使作為從位于所述縮小圖像的一端的像素起的選擇路徑而選擇的像素的能量積累值最小?？s小接縫確定單元IM將連接積累能量最小的像素的路徑確定為縮小接縫并且將確定的縮小接縫供應(yīng)給局部圖像查找單元132?？s小接縫確定單元1 將與確定的縮小接縫相關(guān)的信息供應(yīng)給最大能量值插入單元155。最大能量值插入單元155將最大能量值插入存儲(chǔ)在縮小圖像能量圖緩沖器151中的縮小能量圖的像素的能量中屬于縮小接縫的像素的能量以更新能量。即，以有限數(shù)值表示能量，但是很少以最大值來表示。事實(shí)上，由于能量表示將像素選擇為形成縮小接縫的像素這一事實(shí)，因此插入與實(shí)際值不同的最大能量值。接著，將描述局部圖像查找單元132的配置。局部圖像查找單元132包括輸入圖像能量圖緩沖器171、相鄰能量比較單元172、非相鄰能量比較單元173、選擇路徑設(shè)定單元 174、選擇路徑存儲(chǔ)單元175、局部接縫確定單元176和局部接縫存儲(chǔ)單元177。局部圖像查找單元132還包括積累能量閾值確定單元178、塊內(nèi)局部接縫數(shù)量確定單元179、輸出單元 180和最大能量值插入單元181。輸入圖像能量圖緩沖器171讀取并臨時(shí)存儲(chǔ)與存儲(chǔ)在輸入圖像能量圖存儲(chǔ)單元 113中的輸入圖像能量圖相關(guān)的信息。輸入圖像能量圖緩沖器171更新并存儲(chǔ)輸入圖像能量圖，其中將最大能量值插入屬于計(jì)算的局部接縫的像素的能量，并且通過最大能量值插入單元181以最大能量值替換像素的能量值。在形成從整體圖像查找單元131供應(yīng)的縮小接縫的塊中，相鄰能量比較單元172 在屬于處于一端的塊的輸入圖像的像素中，從位于一端的像素起順序地設(shè)定關(guān)注像素。隨后，相鄰能量比較單元172將最大能量值與在查找方向上與順序地設(shè)定的關(guān)注像素相鄰的像素的能量進(jìn)行比較，并且確定相鄰像素的所有能量是否僅為最大能量值。取決于確定結(jié)果，相鄰能量比較單元172將在相鄰像素的能量均具有最大能量值時(shí)獲得的確定結(jié)果供應(yīng)給非相鄰能量比較單元173。當(dāng)與關(guān)注像素相鄰的像素的能量不全是最大能量值時(shí)，相鄰能量比較單元172將與相鄰像素相關(guān)的信息供應(yīng)給選擇路徑設(shè)定單元174。當(dāng)在相鄰能量比較單元172的確定結(jié)果中與關(guān)注像素相鄰的所有像素都是最大能量值時(shí)，取決于關(guān)注像素的位置，非相鄰能量比較單元173將與關(guān)注像素不相鄰的像素選擇為相鄰像素，并且將選擇的相鄰像素供應(yīng)給選擇路徑設(shè)定單元174。即，非相鄰能量比較單元173將與關(guān)注像素不相鄰、而與同關(guān)注像素相鄰的像素相鄰的多個(gè)像素選為相鄰像
ο基于與輸入圖像能量圖緩沖器171存儲(chǔ)的輸入圖像圖相關(guān)的信息以及從非相鄰能量比較單元173供應(yīng)的與設(shè)定為相鄰像素的像素相關(guān)的信息，選擇路徑設(shè)定單元174設(shè)定屬于縮小接縫的輸入圖像的像素中從縮小接縫的一端向其另一端的方向上相鄰的像素中在選擇方向上順序地具有最小能量的像素。選擇路徑設(shè)定單元174將設(shè)定的具有最小能量的像素存儲(chǔ)在選擇路徑存儲(chǔ)單元175中。局部接縫確定單元176從存儲(chǔ)在選擇路徑存儲(chǔ)單元175中、屬于縮小接縫并存在于輸入圖的一端的各自的像素中確定作為局部接縫的路徑，其中沿著該路徑，存儲(chǔ)在選擇路徑存儲(chǔ)單元175中并存在于選擇方向上的像素的積累能量最小。局部接縫確定單元176 將與確定的局部接縫相關(guān)的信息存儲(chǔ)在局部接縫存儲(chǔ)單元177中。積累能量閾值確定單元178確定存儲(chǔ)在局部接縫存儲(chǔ)單元177中的最近生成的局部接縫的積累能量是否小于預(yù)定閾值。當(dāng)最近生成的局部接縫的積累能量小于預(yù)定閾值時(shí)，積累能量閾值確定單元178向最大能量值插入單元181通知所述結(jié)果。積累能量閾值確定單元178更新最大能量值并將其插入屬于最近存儲(chǔ)在輸入圖像能量圖中的局部接縫的像素的能量中，并且同時(shí)查找新的局部接縫。另一方面，當(dāng)最近生成的局部接縫的積累能量不小于預(yù)定閾值時(shí)，積累能量閾值確定單元178向輸出單元180通知該結(jié)果并將與存儲(chǔ)在局部接縫存儲(chǔ)單元177中的局部接縫相關(guān)的信息從輸出單元180輸出到處理單元116。塊內(nèi)局部接縫數(shù)量確定單元179確定當(dāng)前局部接縫的數(shù)量是否為由從縮小圖像的像素形成的縮小塊單位預(yù)先設(shè)定的數(shù)量，其中在縮小能量圖中計(jì)算縮小接縫。當(dāng)當(dāng)前局部接縫的數(shù)量為預(yù)先設(shè)定的數(shù)量時(shí)，塊內(nèi)局部接縫數(shù)量確定單元179通知整體圖像查找單元131查找到新的縮小接縫。圖像尺寸改變處理接著，將參照?qǐng)D6的流程圖來描述圖像尺寸改變處理。在步驟Sll中，圖像裁剪單元21執(zhí)行圖像裁剪處理，該處理為，例如，從圖7所示的輸入圖像PO切割出由包括被攝體的區(qū)域所形成的裁剪圖像PO'。隨后，圖像裁剪單元 21將切割的裁剪圖像PO'輸出到對(duì)象適配尺寸改變單元22和裁剪尺寸確定單元23。下文將參照?qǐng)D8的流程圖詳細(xì)描述所述圖像裁剪處理。在步驟S12中，裁剪尺寸確定單元23確定從圖像裁剪單元21供應(yīng)的裁剪圖像的縮小尺寸是否適合于在顯示單元12上顯示。當(dāng)裁剪尺寸確定單元23在步驟S12中確定裁剪圖像的縮小尺寸不適合于在顯示單元12上顯示時(shí)，所述處理進(jìn)入步驟S13。在步驟S13中，裁剪尺寸確定單元23控制對(duì)象適配尺寸改變單元22基于被攝體的布置執(zhí)行對(duì)裁剪圖像進(jìn)行縮小的對(duì)象適配尺寸改變處理，其中所述被攝體為裁剪圖像中的對(duì)象。即，對(duì)象適配尺寸改變單元22縮小圖像的尺寸，而不改變作為裁剪圖像中的被攝體的對(duì)象的尺寸。隨后，對(duì)象適配尺寸改變單元22將縮小的裁剪圖像供應(yīng)給圖像尺寸調(diào)整單元M和改變圖像尺寸確定單元25。下文將參照?qǐng)D13的流程圖詳細(xì)描述對(duì)象適配尺寸改變處理。在步驟S14中，改變圖像尺寸確定單元25確定通過對(duì)象適配尺寸改變單元22進(jìn)行縮小的裁剪圖像的尺寸是否適合于在顯示單元12上顯示。當(dāng)改變圖像尺寸確定單元25 在步驟S14中確定縮小的裁剪圖像的尺寸不適合時(shí)，所述處理進(jìn)入步驟S15。在步驟S15中，如根據(jù)相關(guān)技術(shù)的示例中所示，改變圖像尺寸確定單元25控制圖像尺寸調(diào)整單元M通過在水平和垂直方向上縮小裁剪圖像來調(diào)整縮小的裁剪圖像以使其具有適于在顯示單元12上顯示的尺寸，并且隨后將調(diào)整后的裁剪圖像輸出到輸出單元沈。在步驟S16中，輸出單元沈?qū)⒖s小圖像輸出到顯示單元12以顯示所述縮小圖像。另一方面，當(dāng)在步驟S12中裁剪圖像的尺寸適合于在顯示單元12上顯示時(shí)，裁剪尺寸確定單元23將供應(yīng)的裁剪圖像輸出到輸出單元沈，而在步驟S17中無變化。此外，在步驟S14中，當(dāng)通過對(duì)象適配尺寸改變單元22根據(jù)裁剪圖像中被攝體的位置不改變被攝體的尺寸，而將圖像尺寸被改變的圖像縮小到適當(dāng)?shù)某叽缫燥@示于顯示單元12時(shí)，所述處理進(jìn)入步驟S17。即，將裁剪圖像或縮小的裁剪圖像輸出到輸出單元沈并顯示于顯示單元12 上。即，原則上，當(dāng)獲得裁剪圖像以作為輸出到顯示單元12的圖像并且裁剪圖像不適合顯示單元12時(shí)，對(duì)象適配尺寸改變單元22縮小裁剪圖像的尺寸，而不改變對(duì)象的尺寸。 此外，在不改變對(duì)象尺寸的情況下縮小的裁剪圖像不適合顯示單元12時(shí)，使用根據(jù)相關(guān)技術(shù)的方法來縮小裁剪圖像。S卩，首先選擇尺寸改變了的圖像以作為將顯示于顯示單元12的候選圖像，而不改變裁剪圖像或縮小的裁剪圖像任一者中的對(duì)象的尺寸。因此，首先選擇其中作為被攝體的對(duì)象的尺寸被盡可能小地縮小的圖像作為將顯示于顯示單元12的候選圖像。盡管可能不顯示所述圖像，但是通過根據(jù)相關(guān)技術(shù)的方法縮小所述圖像。因此，能夠可靠地顯示圖像以適合顯示單元12的尺寸。
因此，易于在顯示單元12上顯示其中作為被攝體的對(duì)象被盡可能小地縮小的圖像。圖像裁剪處理接著，將參照?qǐng)D8的流程圖描述圖像裁剪處理。在步驟S31中，被攝體區(qū)域檢測單元41執(zhí)行被攝體區(qū)域檢測處理，其中對(duì)存在來自輸入圖像的作為被攝體的對(duì)象的區(qū)域進(jìn)行檢測，并且將檢測到的區(qū)域供應(yīng)給被攝體區(qū)域包含范圍查找單元42。被攝體區(qū)域檢測處理在下文中，將參照?qǐng)D9的流程圖描述被攝體區(qū)域檢測處理。在步驟S51中，亮度信息提取單元61基于供應(yīng)的輸入圖像生成亮度信息圖，并且將所述亮度信息圖供應(yīng)給被攝體圖生成單元66。在步驟S52中，色彩信息提取單元62基于供應(yīng)的輸入圖像生成色彩信息圖，并且將所述色彩信息圖供應(yīng)給被攝體圖生成單元66。在步驟S53中，邊緣信息提取單元63基于供應(yīng)的輸入圖像生成邊緣信息圖，并且將所述邊緣信息圖供應(yīng)給被攝體圖生成單元66。在步驟SM中，被攝體信息提取單元64基于供應(yīng)的輸入圖像生成被攝體信息圖，并且將所述被攝體信息圖供應(yīng)給被攝體圖生成單元 66。在步驟S55中，運(yùn)動(dòng)信息提取單元65執(zhí)行運(yùn)動(dòng)信息提取處理，其中基于供應(yīng)的輸入圖像生成運(yùn)動(dòng)信息圖并且將所述運(yùn)動(dòng)信息圖供應(yīng)給被攝體圖生成單元66。在步驟S56中，被攝體圖生成單元66通過對(duì)從亮度信息提取單元61供應(yīng)的亮度信息圖至從運(yùn)動(dòng)信息提取單元65供應(yīng)的運(yùn)動(dòng)信息圖進(jìn)行加權(quán)生成被攝體圖，并且將所述被攝體圖供應(yīng)給被攝體區(qū)域指定單元67。例如，被攝體圖生成單元66使用信息權(quán)重Wb對(duì)各個(gè)信息圖執(zhí)行線性組合，其中所述信息權(quán)重Wb為預(yù)先對(duì)各個(gè)信息圖計(jì)算的權(quán)重。即，假定通過線性組合獲得的信息圖的預(yù)定像素為關(guān)注像素，所述關(guān)注像素的像素值為通過將位于各個(gè)信息圖中與關(guān)注像素的位置相同的位置處的像素的像素值乘以各個(gè)信息圖的信息權(quán)重Wb而獲得的值的總和。接著，被攝體圖生成單元66使用S型函數(shù)(sigmoid函數(shù))對(duì)通過線性組合獲得的信息圖(下文也稱為線性組合信息圖)的各自像素的像素值執(zhí)行計(jì)算處理。更具體地說，被攝體圖生成單元66預(yù)先保留通過將S型函數(shù)制成表格而獲得的換算表。所述換算表含有作為輸入和輸出值的預(yù)定值，其中輸入和輸出值通過將預(yù)定值代入S 型函數(shù)獲得。當(dāng)使用所述轉(zhuǎn)換表來轉(zhuǎn)換線性組合信息圖時(shí)，可獲得與在使用S型函數(shù)來轉(zhuǎn)換線性組合信息圖時(shí)相同的信息圖。例如，S型函數(shù)為以下表達(dá)式(3)中所示的雙曲余弦函數(shù)(雙曲正切函數(shù))。f (x) = aXtanh(xXb). . · (3)在表達(dá)式(3)中，a和b為預(yù)定整數(shù)，而χ為將從當(dāng)前進(jìn)行轉(zhuǎn)換的線性組合信息圖的像素的像素值。當(dāng)雙曲余弦函數(shù)為S型函數(shù)時(shí)，所述轉(zhuǎn)換表為通過將輸入值χ的范圍限定為-2至 2并且以1/1 單位對(duì)輸入值χ進(jìn)行離散化而獲得的表格。在所述轉(zhuǎn)換表中，當(dāng)輸入值χ小于-2時(shí)，將輸入值χ看作_2。當(dāng)輸入值χ大于2時(shí)，將輸入值χ看作2。在所述轉(zhuǎn)換表中， 輸出值f (χ)隨著輸入值χ的增大而增大。被攝體圖生成單元66通過將線性組合信息圖的像素的像素值從像素值χ (輸入值x)變?yōu)榕c像素值χ對(duì)應(yīng)的輸出值f(x)來改變線性組合信息圖。即，被攝體圖生成單元66 使用所述轉(zhuǎn)換表將線性組合信息圖變?yōu)榻?jīng)過S型函數(shù)的計(jì)算處理的線性組合信息圖。因此，與其中使用S型函數(shù)本身來執(zhí)行轉(zhuǎn)換的情況相比，通過使用轉(zhuǎn)換表來轉(zhuǎn)換線性組合信息圖，可更為簡單和快速地執(zhí)行線性組合信息圖的轉(zhuǎn)換。被攝體圖生成單元66通過將使用轉(zhuǎn)換表進(jìn)行轉(zhuǎn)換的線性組合信息圖的各個(gè)像素的像素值乘以被攝體權(quán)重Wc，來形成被攝體圖，其中被攝體權(quán)重Wc為針對(duì)每個(gè)像素預(yù)先計(jì)算的權(quán)重。S卩，當(dāng)把當(dāng)前要計(jì)算的被攝體圖上的受關(guān)注像素設(shè)定為關(guān)注像素時(shí)，將通過用與轉(zhuǎn)換后的線性組合信息圖中的關(guān)注像素的位置相同的位置處的像素的像素值乘以被攝體權(quán)重Wc而獲得的值當(dāng)作關(guān)注像素的像素值。更具體地說，使用作為用于生成被攝體圖的色彩信息圖的Cr色彩信息圖和Cb色彩信息圖，并且將0度、45度、90度和135度方向上的邊緣信息圖用作邊緣信息圖。通過學(xué)習(xí)預(yù)先計(jì)算信息權(quán)重恥和被攝體權(quán)重Wc。當(dāng)以此方式生成被攝體圖時(shí)，將被攝體圖從被攝體圖生成單元66供應(yīng)給被攝體區(qū)域指定單元67，并且所述處理進(jìn)入步驟S57。在步驟S57中，被攝體區(qū)域指定單元67使用從被攝體圖生成單元66供應(yīng)的被攝體圖指定供應(yīng)的輸入圖像上的被攝體的區(qū)域。例如，由于被攝體圖的像素的像素值較大，因此與所述像素處于相同位置的輸入圖像的像素的區(qū)域很可能為被攝體的區(qū)域。在這種情況下，被攝體區(qū)域指定單元67檢測由具有等于或大于預(yù)定閾值的像素值且在被攝體圖上彼此相鄰的像素形成的區(qū)域，并且該區(qū)域具有等于或大于預(yù)定面積(像素?cái)?shù)量)的面積并將與輸入圖像上的檢測區(qū)域?qū)?yīng)的區(qū)域設(shè)定為包括被攝體的區(qū)域。當(dāng)被攝體區(qū)域指定單元67在輸入圖像上檢測到其中包括被攝體的區(qū)域時(shí)，被攝體區(qū)指定單元67將檢測結(jié)果輸出到后級(jí)并結(jié)束被攝體區(qū)域指定處理。因此，從輸入圖像生成被攝體圖，并使用被攝體圖指定輸入圖像中被攝體的區(qū)域。下文將回到圖8的流程圖進(jìn)行以下描述。在步驟S32中，被攝體區(qū)域包含范圍查找單元42查找包括被攝體區(qū)域的范圍，并且將查找結(jié)果供應(yīng)給被攝體區(qū)域包含范圍矩形化單元43。S卩，例如，如圖10所示，如用黑色塊表示的，當(dāng)在輸入圖像中檢測到被攝體的區(qū)域時(shí)，被攝體區(qū)域包含范圍查找單元42查找包括了以黑色塊所表示的所有被攝體區(qū)域的范圍(用對(duì)角線表示)。在步驟S33中，通過形成包括由被攝體區(qū)域包含范圍查找單元42所查找到的所有被攝體的區(qū)域的矩形范圍，被攝體區(qū)域包含范圍矩形化單元43生成矩形圖像，并且將所述矩形圖像供應(yīng)給附加區(qū)域添加單元44。在步驟S34中，附加區(qū)域添加單元44將預(yù)定寬度的附加區(qū)域添加到以矩形形狀形成的被攝體區(qū)域包含范圍的外周，并且將所述附加區(qū)域供應(yīng)給圖像剪切單元45。S卩，例如， 當(dāng)被攝體區(qū)域包含范圍為以圖10中的對(duì)角線所表示的范圍時(shí)，附加區(qū)域添加單元44將預(yù)定寬度的附加區(qū)域，如以圖10中的網(wǎng)絡(luò)部分所表示，添加到被攝體區(qū)域包含范圍的外周。 所述預(yù)定寬度可以在計(jì)算被攝體圖時(shí)基于輸入圖像的縮小率來確定。在步驟S35中，圖像剪切單元45從輸入圖像中切割出被攝體區(qū)域包含范圍和由附加區(qū)域形成的區(qū)域以生成裁剪圖像，并且輸出所述裁剪圖像。即，圖像剪切單元45通過從以圖10中最外周的實(shí)線所表示的輸入圖像中切割出由網(wǎng)絡(luò)部分所包圍的被攝體區(qū)域包含范圍以及由附加區(qū)域形成的范圍來生成裁剪圖像。通過以上處理，在如圖11的上部所示的人騎著自行車的輸入圖像中檢測出圖11 的下部所示的被攝體的區(qū)域。即，由于將自行車和人識(shí)別為作為圖11上部的被攝體的對(duì)象，因此在圖像中部附近檢測到作為人的被攝體的區(qū)域。在根據(jù)相關(guān)技術(shù)的方法中，當(dāng)僅從使用圖11的下部所示的被攝體的區(qū)域的輸入圖像中切割出具有指示被攝體區(qū)域的像素值的區(qū)域時(shí)，可能會(huì)切割掉作為被攝體的人的邊緣部分。即，例如，如圖12的上部所示，可能會(huì)切割到作為被攝體的人的頭部的一部分。然而，通過將預(yù)定寬度的附加區(qū)域添加到被攝體區(qū)域包含范圍，能夠可靠地切割出作為被攝體的人的頭部的所述部分或類似部分，如圖12的下部所示。S卩，即使在被攝體檢測處理中，也可能不會(huì)可靠地檢測到被攝體的邊緣部分的一部分。因此，通過添加附加區(qū)域來覆蓋被攝體邊緣部分的范圍，能夠可靠地切割出被攝體。對(duì)象適配尺寸改變處理接著，將參照?qǐng)D13的流程圖描述對(duì)象適配尺寸改變處理。在步驟Slll中，圖像獲得單元111獲得輸入圖像并將獲得的輸入圖像供應(yīng)給能量圖生成單元112和處理單元116。在步驟S112中，能量圖生成單元112控制能量計(jì)算單元121基于輸入圖像的各個(gè)像素的像素值或亮度值等通過計(jì)算上述表達(dá)式(1)來計(jì)算各個(gè)像素的能量。此外，能量圖生成單元112控制能量計(jì)算單元121根據(jù)按照每像素單位計(jì)算的能量的值來生成輸入圖像能量圖。隨后，能量圖生成單元112將所述輸入圖像能量圖存儲(chǔ)在輸入圖像能量圖存儲(chǔ)單元113中，并且將所述輸入圖像能量圖供應(yīng)給縮小單元122。在步驟S113中，能量圖生成單元112通過控制縮小單元122并對(duì)能量圖進(jìn)行處理以使其具有縮小圖像的尺寸，來生成縮小圖像能量圖，并且將縮小圖像能量圖存儲(chǔ)在縮小圖像能量圖存儲(chǔ)單元114中。更具體地說，例如，縮小單元122以mXn像素的單位使輸入圖像能量圖分塊化，并且生成縮小圖像能量圖，其中將形成各個(gè)塊的像素的能量的平均值或中間值等設(shè)定為對(duì)應(yīng)于縮小圖像的各個(gè)像素的能量。在本示例中，對(duì)應(yīng)于縮小圖像的能量圖被稱為縮小圖像能量圖。然而，事實(shí)上，縮小圖像能量圖等同于使輸入圖像能量圖低分辨率化而形成的能量圖。在步驟S114中，通過基于輸入圖像能量圖存儲(chǔ)單元113的輸入圖像能量圖和縮小圖像能量圖存儲(chǔ)單元114的縮小圖像能量圖來執(zhí)行查找處理，查找單元115查找預(yù)定數(shù)量的局部接縫。即，查找單元115查找在由輸入圖像的水平方向(χ方向)或垂直方向(y方向)上的相鄰的像素形成的路徑中沿著路徑的像素值或亮度值變化較小的路徑作為預(yù)定數(shù)量的局部接縫。隨后，查找單元115將與預(yù)定數(shù)量的局部接縫相關(guān)的信息供應(yīng)給處理單元116。下文將參照?qǐng)D14的流程圖描述查找處理。在步驟S115中，處理單元116基于與局部接縫相關(guān)的信息，通過從輸入圖像中刪除形成局部接縫的像素并填充刪除的區(qū)域來縮小圖像。在步驟Sl 16中，處理單元116在顯示單元2上輸出并顯示通過對(duì)輸入圖像進(jìn)行處理而獲得的圖像。
通過上述處理，針對(duì)輸入圖像計(jì)算由像素之間的像素值或亮度值中的變化較小 (作為能量積累值的積累能量最小)的相鄰像素形成的局部接縫。從輸入圖像中刪除形成計(jì)算出的局部接縫的像素。因此，由于以此方式實(shí)現(xiàn)對(duì)輸入圖像進(jìn)行縮小的處理，輸入圖像的整體尺寸可發(fā)生變化而不改變圖像中主要對(duì)象的尺寸。在對(duì)象適配尺寸改變處理中可使用根據(jù)相關(guān)技術(shù)的接縫雕刻。查找處理接著，將參照?qǐng)D14的流程圖描述查找處理。在查找處理中，通過使用步驟S131中的縮小圖像能量圖執(zhí)行整體圖像查找處理， 在縮小圖像中計(jì)算縮小接縫。在計(jì)算縮小接縫時(shí)，基于通過整體圖像查找處理計(jì)算出的縮小接縫，在步驟S132中執(zhí)行局部圖像查找處理，從而計(jì)算用于輸入圖像的局部接縫。整體圖像查找處理下文將參照?qǐng)D15的流程圖描述使用縮小圖像能量圖的整體圖像查找處理。參照?qǐng)D15的流程圖，將描述一個(gè)示例，其中計(jì)算縮小接縫，縮小接縫把與位于矩形圖像上端的像素相鄰的像素順序地連接至與位于其下端的像素相鄰的像素。獲得這種連接垂直方向上的端部的縮小接縫以縮小所述縮小圖像的水平方向上的圖像。因此，當(dāng)在縮小圖像的垂直方向上縮小圖像時(shí)，必須以同樣的方式計(jì)算順序地連接位于水平方向上的端部的像素 (即，相鄰于左端像素的像素和相鄰于右端像素的像素)的縮小接縫。在步驟S151中，縮小圖像能量圖緩沖器151從縮小圖像能量圖存儲(chǔ)單元114中讀取縮小圖像能量圖并臨時(shí)存儲(chǔ)所述縮小圖像能量圖。在步驟S152中，積累能量圖生成單元152將縮小圖像能量圖中的關(guān)注像素(x，y) 設(shè)定為(0，1)以進(jìn)行初始化。基于以下假定確定此處設(shè)定的坐標(biāo)位于縮小圖像的左上端的像素為原點(diǎn)(0，0)，對(duì)于水平方向上的χ坐標(biāo)向右方向?yàn)檎?，而?duì)于垂直方向上的y坐標(biāo)向下方向?yàn)檎?。在步驟S153中，積累能量圖生成單元152確定關(guān)注像素(x，y)的y坐標(biāo)是否小于垂直方向上的縮小圖像的高度。在初始處理中，例如，在步驟S153中，y坐標(biāo)在縮小圖像的垂直方向上沒有高度，因此，所述處理進(jìn)入步驟S1M。在步驟SlM中，積累能量圖生成單元152確定關(guān)注像素(x，y)的χ坐標(biāo)是否小于水平方向上的縮小圖像的寬度。當(dāng)在步驟SlM中關(guān)注像素(X，y)的χ坐標(biāo)小于水平方向上的縮小圖像的寬度時(shí)，所述處理進(jìn)入步驟S155。在步驟S155中，積累能量圖生成單元152在位于縮小圖像能量圖中的關(guān)注像素 (x，y)的左上方的像素(x_l，y+l)、位于正上方的像素(x，y+l)和位于右上方的像素(χ+1， y+1)的能量中選擇具有最小積累能量的像素。積累能量圖生成單元152將所選像素的積累能量添加到關(guān)注像素的能量以計(jì)算關(guān)注像素的積累能量。在步驟S156中，積累能量圖生成單元152將計(jì)算出的積累能量作為關(guān)注像素的積累能量存儲(chǔ)在積累能量圖存儲(chǔ)單元153中。當(dāng)關(guān)注像素位于比上端低一個(gè)像素的位置處時(shí)，將位于上端的像素的能量用作積累能量。在步驟S157中，積累能量圖生成單元152使關(guān)注像素(x，y)的χ坐標(biāo)增加1，并且隨后所述處理返回步驟S1M。當(dāng)在步驟SlM中關(guān)注像素(x，y)的X坐標(biāo)不小于水平方向上的縮小圖像的寬度時(shí)，即，當(dāng)水平方向上的所有處理結(jié)束時(shí)，所述處理進(jìn)入步驟S158。
在步驟S158中，積累能量圖生成單元152使關(guān)注像素(x，y)的y坐標(biāo)增加1，所述處理返回步驟S153。即，通過重復(fù)步驟S153至步驟S158的處理，在與查找方向相反的方向上，選擇與縮小圖像的各個(gè)像素相鄰的三個(gè)像素中具有最小積累能量的像素。隨后，將所選的積累能量順序地添加到各自的像素的能量上，并且生成積累能量圖并將其存儲(chǔ)在積累能量圖存儲(chǔ)單元153中。更具體地說，假定使用位于圖16中左上部的3x3像素的縮小圖像能量圖，執(zhí)行以下處理。位于圖16左上部的縮小圖像能量圖的能量在上方從左側(cè)到右側(cè)為1、2和3，在中間從左側(cè)到右側(cè)為6、2和4，而在下方從左側(cè)到右側(cè)為2、3和1。在步驟S152的處理中，初始關(guān)注像素(x，y)為具有能量6的像素(0，1)。由于關(guān)注像素(0，1)為位于左端的像素，通過步驟S155的處理，從位于關(guān)注像素正上方的具有能量1的像素(0，0)和位于關(guān)注像素右上方的具有能量2的像素(1，0)這兩個(gè)像素中選擇具有最小積累能量的像素(0，0)。如圖16的左下部所示，積累能量圖生成單元152將所選像素(0，0)的能量1 (本文中將其視作積累能量)和關(guān)注像素(X，y)的能量6的積累值7選為積累能量圖存儲(chǔ)單元153中的積累能量圖的關(guān)注像素(x，y) = (0,1)的積累能量。在步驟S157的處理中，使關(guān)注像素(X，y)的χ坐標(biāo)增加1，由此關(guān)注像素(x，y) 的能量變?yōu)橄袼?1，1)的能量2。在步驟S155的處理中，就關(guān)注像素(1，1)而言，從位于關(guān)注像素(1，1)左上方的具有能量1的像素(0，0)、位于此關(guān)注像素正上方的具有能量2的像素(1，0)和位于此關(guān)注像素右上方的具有能量3的像素(2，0)這三個(gè)像素中選擇具有最小積累能量的像素(0，0)。如圖16的中下部所示，積累能量圖生成單元152將所選像素(0，
0)的能量1和關(guān)注像素(X，y)的能量2的積累值3存儲(chǔ)在積累能量圖存儲(chǔ)單元153中作為積累能量圖的關(guān)注像素(x，y) = (1,1)的積累能量。在步驟S157的處理中，使關(guān)注像素(X，y)的χ坐標(biāo)增加1，由此關(guān)注像素(x，y) 的能量變?yōu)橄袼?，1)的能量4。由于關(guān)注像素0，1)為位于縮小圖像的右端的像素，因此通過步驟S155的處理，從位于關(guān)注像素左上方的具有能量2的像素(1，0)和位于關(guān)注像素正上方的具有能量3的像素(2，0)這兩個(gè)像素中選擇具有最小能量的像素0，0)。如圖 16的右下部所示，積累能量圖生成單元152將所選像素(1，0)的能量2和關(guān)注像素(X，y) 的能量4的積累值6存儲(chǔ)在積累能量圖存儲(chǔ)單元153中作為積累能量圖的關(guān)注像素(x，y) =(2,1)的積累能量。因此，第二積累能量圖中的中間一行的積累能量從左側(cè)起為7、3和6，如圖17的右上部所示。此時(shí)，關(guān)注像素(X，y)的X坐標(biāo)不小于水平方向上的縮小圖像的寬度(=2)， 在步驟S158將縮小圖像的下方的各自像素順序地設(shè)定為關(guān)注像素，而使y坐標(biāo)增加1。在圖17的左上部示出縮小圖像能量圖。在與上述處理相同的處理中，當(dāng)關(guān)注像素(X，y)為像素(0，2)時(shí)，基于積累能量圖，位于關(guān)注像素正上方的像素(0，1)的積累能量為7，而位于關(guān)注像素右上方的像素(1，
1)的積累能量為3。因此，選擇位于關(guān)注像素右上方的具有最小積累能量3的像素(1，1)。 隨后，對(duì)積累能量3和關(guān)注像素(x，y) = (0,2)的能量2進(jìn)行累加，從而使關(guān)注像素(x，y) =(0,2)的積累能量變?yōu)?并且記錄在積累能量圖中。此外，當(dāng)關(guān)注像素(X，y)為像素(1，2)時(shí)，基于積累能量圖，位于關(guān)注像素左上方的像素(0，1)的積累能量為7，位于關(guān)注像素正上方的像素(1，1)的積累能量為3，而位于關(guān)注像素右上方的像素0，1)的積累能量為6。因此，選擇位于關(guān)注像素正上方的具有最小積累能量3的像素(1，1)。隨后，對(duì)積累能量3和關(guān)注像素(X，y) = (1,2)的能量3進(jìn)行累加，從而使關(guān)注像素(x，y) = (1,2)的積累能量變?yōu)?并且記錄在積累能量圖中。此外，當(dāng)關(guān)注像素(X，y)為像素(2，2)時(shí)，基于積累能量圖，位于關(guān)注像素左上方的像素(1，1)的積累能量為3，而位于關(guān)注像素正上方的像素0，1)的積累能量為6。因此，選擇位于關(guān)注像素左上方的具有最小積累能量3的像素(1，1)。隨后，對(duì)積累能量3和關(guān)注像素(x，y) = (2,2)的能量1進(jìn)行累加，從而使關(guān)注像素(x，y) = (2,2)的積累能量變?yōu)?并且記錄在積累能量圖。因此，構(gòu)造積累能量圖，如圖18的右上部所示，并且從左側(cè)起下方的積累能量為 5、6和4。在圖18的左上部，示出縮小圖像能量圖。因此，例如，當(dāng)通過重復(fù)步驟S153至步驟S158的處理獲得圖18的左上部所示的縮小圖像能量圖時(shí)，計(jì)算圖18的右上部所示的積累能量圖并將其存儲(chǔ)在積累能量圖存儲(chǔ)單元153中。隨后，回到圖15的流程圖，將進(jìn)行以下描述。當(dāng)在步驟S153中確定關(guān)注像素(X，y)的y坐標(biāo)不小于垂直方向上的縮小圖像的高度時(shí)，即，當(dāng)完成積累能量圖時(shí)，如上述，并且將其看作是存儲(chǔ)在積累能量圖存儲(chǔ)單元153 中，所述處理進(jìn)入步驟S159。在步驟S159中，縮小接縫確定單元IM讀取存儲(chǔ)在積累能量圖存儲(chǔ)單元153中的積累能量圖，在最下方查找具有最小積累能量的像素，并且將縮小接縫的端部設(shè)定為下端。 縮小接縫確定單元巧4在與關(guān)注像素向上相鄰的像素，即，與關(guān)注像素在右上方、正上方和左上方相鄰的像素中順序地從位于縮小接縫下端的像素到位于其上端的像素重復(fù)地查找像素。隨后，縮小接縫確定單元1 將順序地連接查找到的像素的路徑確定為縮小接縫， 并且將與縮小接縫相關(guān)的信息供應(yīng)給局部圖像查找單元132和最大能量值插入單元155兩者οS卩，在圖18的右上部所示的積累能量圖的情況下，在最下方的積累能量的最小值為4，以圖18中的圓表示，并且像素(2，2)具有能量1。S卩，像素(2，2)位于縮小接縫的下端。在與像素(2, 向上相鄰的像素(2，1)和像素(1，1)的能量之間，最小積累能量為3， 并且像素(1，1)具有能量2。此外，在與像素(1，1)向上相鄰的像素(0，0)、像素(1，0)和像素O，0)的能量中，最小積累能量為1，并且像素(0，0)具有能量1。沿由從位于下端的像素(2，2)到位于上端的像素(0，0)順序地查找到的像素(2， 2)、像素(1，1)和像素(0，0)形成的路徑，順序地積累的能量變?yōu)樽钚　Ｒ虼?，由像?2， 2)、像素(1，1)和像素(0，0)形成的路徑變?yōu)檫@樣的路徑沿所述路徑，在縮小圖像上相鄰像素之間的像素值或亮度值中的變化最小，即，其變?yōu)榭s小接縫。因此，縮小接縫確定單元 IM確定基于與查找到的像素的坐標(biāo)相關(guān)的信息形成的路徑為縮小接縫。在步驟S160中，最大能量值插入單元155讀取存儲(chǔ)在縮小圖像能量圖緩沖器151 中的縮小圖像能量圖，更新最大值并且將其插入形成由縮小接縫確定單元IM確定的縮小接縫的各個(gè)像素的能量中。因此，具有最大值的像素可為在隨后的處理中幾乎不會(huì)被選為形成縮小接縫的像素的像素。因而，當(dāng)多個(gè)縮小接縫被選擇時(shí)，防止由于縮小接縫的交叉等原因在所述多個(gè)縮小接縫中包括相同的像素。因此，當(dāng)刪除屬于縮小接縫的像素時(shí)，可防止產(chǎn)生像素差。通過參照?qǐng)D15的流程圖描述的處理計(jì)算縮小接縫的方法通常為被稱作動(dòng)態(tài)編程法的方法。然而，可通過下文描述的貪心法計(jì)算縮小接縫。局部圖像查找處理接著，將參照?qǐng)D19的流程圖描述局部圖像查找處理。在步驟S171中，基于通過上述整體圖像查找處理根據(jù)縮小圖像能量圖來計(jì)算出的縮小接縫，相鄰能量比較單元172獲得位于輸入圖像的端部的像素的坐標(biāo)。S卩，基于縮小圖像獲得縮小接縫，其中在所述縮小圖像中將具有輸入圖像的多個(gè)像素(例如，mXn個(gè)像素)的塊設(shè)定為一個(gè)像素，即，低分辨率圖像。因此，形成縮小圖像上所計(jì)算的縮小接縫的像素對(duì)應(yīng)于具有輸入圖像中的多個(gè)像素的塊。相鄰能量比較單元172計(jì)算形成在水平方向上位于輸入圖像一端的縮小接縫的像素(塊)的坐標(biāo)U，Y)。由于塊的尺寸是已知的，例如，在水平方向上處于另一端的像素的坐標(biāo)被計(jì)算為(X+m)。在步驟S172中，輸入圖像能量圖緩沖器171讀取并臨時(shí)存儲(chǔ)輸入圖像能量圖存儲(chǔ)單元113中所存儲(chǔ)的輸入圖像能量圖。在步驟S173中，相鄰能量比較單元172基于位于縮小接縫端部的坐標(biāo)將候選局部接縫的起始像素(xs，ys)設(shè)定為像素(X，0)。在步驟S174中，相鄰能量比較單元172確定起始像素(Xs，ys)的xs坐標(biāo)是否小于 (X+m) (m 水平方向上的塊尺寸)。例如，當(dāng)xs坐標(biāo)小于(X+m)時(shí)，所述處理進(jìn)入步驟S175。在步驟S175中，相鄰能量比較單元172將起始像素(Xs，ys)設(shè)定為關(guān)注像素(x， y)。在步驟S176中，相鄰能量比較單元172確定關(guān)注像素(x，y)的y坐標(biāo)是否小于垂直方向上的輸入圖像的高度。例如，當(dāng)y坐標(biāo)小于垂直方向上的輸入圖像的高度時(shí)，所述處理進(jìn)入步驟S177。在步驟S177中，相鄰能量比較單元172從輸入圖像能量圖緩沖器171中讀取輸入圖像能量圖，并且確定與關(guān)注像素(x，y)在左下方相鄰的像素(x_l，y+l)、與關(guān)注像素(χ， y)在正下方相鄰的像素(χ，y+1)和與關(guān)注像素(χ，y)在右下方相鄰的像素(χ+l，y+1)的能量是否均為最大能量值。例如，當(dāng)與關(guān)注像素(x，y)在左下方相鄰的像素(x_l，y+l)、與關(guān)注像素(χ，y)在正下方相鄰的像素(χ，y+1)和與關(guān)注像素(χ，y)在右下方相鄰的像素 (x+1, y+1)的能量不全是最大能量值時(shí)，所述處理進(jìn)入步驟S178。在步驟S178中，相鄰能量比較單元172向選擇路徑設(shè)定單元174通知與關(guān)注像素 (x，y)相關(guān)的信息以及與關(guān)注像素(x，y)的左下方的相鄰像素(x_l，y+l)、關(guān)注像素(x，y) 的正下方的相鄰像素(χ，y+1)和關(guān)注像素(χ，y)的右下方的相鄰像素(x+1，y+1)的能量相關(guān)的信息。選擇路徑設(shè)定單元174設(shè)定根據(jù)關(guān)注像素(x，y)的信息以及與關(guān)注像素(χ， y)的左下方相鄰的像素(x_l，y+l)、與關(guān)注像素(x，y)的正下方相鄰的像素(x，y+l)和與關(guān)注像素(x，y)的右下方相鄰的像素(x+l，y+l)中具有最小能量的像素的選擇路徑。在步驟S179中，選擇路徑設(shè)定單元174把與設(shè)定的關(guān)注像素(x，y)對(duì)應(yīng)的選擇路徑相關(guān)的信息存儲(chǔ)在選擇路徑存儲(chǔ)單元175。在步驟S180中，相鄰能量比較單元172將關(guān)注像素(x，y)的坐標(biāo)設(shè)定為作為選擇路徑而被選擇的坐標(biāo)。即，相鄰能量比較單元172將像素(x_l，y+l)、像素(x，y+l)和像素(x+l，y+l)中具有最小能量的像素的坐標(biāo)設(shè)定為隨后的關(guān)注像素(x，y)的坐標(biāo)。所述處理返回步驟S176。即，重復(fù)步驟S176至步驟S180的處理，直到在步驟S176中y坐標(biāo)到達(dá)輸入圖像的高度。例如，當(dāng)在步驟S177中確定與關(guān)注像素(X，y)分別在左下方、正下方和右下方相鄰的像素(x_l，y+l)、像素(x，y+l)和像素(x+l，y+l)的能量均不是最大能量值時(shí)，通過步驟S176至步驟S180的處理順序地執(zhí)行以下處理。例如，在圖20的最上部所示的輸入圖像能量圖的情況下，起初將位于左上端的具有能量1的像素設(shè)定為關(guān)注像素。此時(shí)，由于不存在與關(guān)注像素在左下方相鄰的像素，因此通過步驟S177的處理，在位于關(guān)注像素的正下方和右下方的像素之中具有較小能量的像素為由虛線所圍繞的具有能量2的像素，如圖20的第二部分的左側(cè)所示，并且將此像素選為選擇路徑。在隨后的處理中，由于具有能量2的像素變?yōu)殛P(guān)注像素，在與關(guān)注像素在左下方、 正下方和右下方相鄰的像素中具有最小能量的像素為由虛線所圍繞的具有能量1的像素， 如圖20的第二部分的右側(cè)所示，并且將此像素選為選擇路徑。隨后，由于通過以上處理使y坐標(biāo)到達(dá)輸入圖像的高度，因此將由像素集形成的路徑設(shè)定為圖20的輸入圖像能量圖中的候選局部接縫，其中所述像素集是通過順序地連接位于左上端的具有能量1的像素、位于中間的具有能量2的像素以及位于右下方的具有能量1的像素形成，其中假定位于左上方的具有能量1的像素為局部接縫的起始像素，如圖 20的第二部分的右側(cè)所示。在步驟S176中，當(dāng)確定y坐標(biāo)不小于輸入圖像的高度并且y坐標(biāo)到達(dá)輸入圖像的高度時(shí)，所述處理進(jìn)入步驟S185。在步驟S185中，選擇路徑設(shè)定單元174計(jì)算形成被設(shè)定為候選局部接縫的路徑的多個(gè)像素集的能量積累值。此外，選擇路徑設(shè)定單元174將與形成候選局部接縫的像素集相關(guān)的信息和對(duì)應(yīng)于起始坐標(biāo)(xs，ys)計(jì)算出的積累值存儲(chǔ)在選擇路徑存儲(chǔ)單元175中。即，將通過起始坐標(biāo)(xs，ys)識(shí)別出的候選局部接縫連同積累能量存儲(chǔ)在選擇路徑存儲(chǔ)單元175中作為與被選為對(duì)應(yīng)于起始坐標(biāo)(Xs，ys)的選擇路徑的像素集相關(guān)的信息。在步驟S186中，相鄰能量比較單元172使起始坐標(biāo)(Xs，ys)的xs坐標(biāo)增加1，并且所述處理返回步驟S174。因此，在圖20的最上部所示的輸入圖像能量圖的情況下，從上方的左側(cè)起具有能量1、2和3的像素為起始像素。因此，當(dāng)重復(fù)步驟S174至步驟S180的處理、步驟S185的處理和步驟S186的處理時(shí)，在圖20的情況下，對(duì)于具有下述起始坐標(biāo)且具有能量1、2和3 的像素計(jì)算候選局部接縫。其中具有能量1的像素為起始像素的候選局部接縫是由上述圖20的第二部分的所示的輸入圖像能量圖的位于左上端的具有能量1的像素、位于中間的具有能量2的像素和位于右下端的具有能量1的像素形成。此候選局部接縫具有積累能量4。此外，其中具有能量2的像素為起始像素的候選局部接縫是由位于圖20的第三部分的左側(cè)和右側(cè)所示的輸入圖像能量圖的中間的具有能量2的像素、位于中間的具有能量2的像素和位于右下端的具有能量1的像素形成。此外，其中具有能量3的像素為起始像素的候選局部接縫是由位于圖20的第四部分的左右側(cè)所示的輸入圖像能量圖的右上端的具有能量3的像素、位于中間的具有能量2的像素和位于右下端的具有能量1的像素形成。此候選局部接縫具有積累言旨量6。當(dāng)確定起始坐標(biāo)(Xs，ys)的xs坐標(biāo)不小于(X+m)，即，超出在步驟S174中被計(jì)算為縮小接縫的塊時(shí)，所述處理進(jìn)入步驟S187。在步驟S187中，局部接縫確定單元176把在存儲(chǔ)在選擇路徑存儲(chǔ)單元175中的候選局部接縫中具有最小積累能量的局部接縫確定為局部接縫，并且將與確定的局部接縫相關(guān)的信息存儲(chǔ)在局部接縫存儲(chǔ)單元177中。同時(shí)，局部接縫確定單元176將與確定的局部接縫相關(guān)的信息供應(yīng)給最大能量值插入單元181。S卩，在圖20的最上部所示的輸入圖像能量圖中，圖20的第二部分所示的起始坐標(biāo)具有最小的候選局部接縫積累能量，其中在該候選局部接縫中位于左上端的具有能量1的像素為起始像素，因此，將其確定為局部接縫，如圖21所示。在圖21中，通過以從左側(cè)起的順序?qū)D20的第二、第三和第四部分所示的候選局部接縫的積累能量進(jìn)行比較，將對(duì)應(yīng)于圖20的第二部分且由左側(cè)所示的虛線所圍繞的路徑選為局部接縫。在步驟S188中，最大能量值插入單元181讀取輸入圖像能量圖，將插入最大能量值作為形成局部接縫的像素的坐標(biāo)的能量，并且隨后結(jié)束所述處理。另一方面，當(dāng)在步驟S177中確定與關(guān)注像素(X，y)在左下方相鄰的像素(x-1， y+Ι)、與關(guān)注像素(x，y)在正下方相鄰的像素(x，y+l)和與關(guān)注像素(x，y)在右下方相鄰的像素(x+l，y+l)的能量均為最大能量值時(shí)，所述處理進(jìn)入步驟S181。在步驟S181中，相鄰能量比較單元172通知非相鄰能量比較單元173與關(guān)注像素在左下方、正下方和右下方相鄰的像素的能量均為最大值。非相鄰能量比較單元173確定通過將N個(gè)像素添加到關(guān)注像素(x，y)的χ坐標(biāo)而獲得的χ坐標(biāo)的位置(x+N)是否處于輸入圖像內(nèi)。例如，當(dāng)在步驟S181中通過將N個(gè)像素添加到關(guān)注像素(x，y)的χ坐標(biāo)而獲得的χ坐標(biāo)的位置(x+N)處于輸入圖像內(nèi)時(shí)，處理進(jìn)入到步驟S182。在步驟S182中，非相鄰能量比較單元173把在右側(cè)從與關(guān)注像素在右下方相鄰的像素起連續(xù)存在的(N-I)個(gè)像素設(shè)定為用于選擇所述選擇路徑的候選。另一方面，當(dāng)在步驟S181中通過將N個(gè)像素添加到關(guān)注像素(x，y)的χ坐標(biāo)而獲得的χ坐標(biāo)的位置(x+N)不在輸入圖像內(nèi)時(shí)，所述處理進(jìn)入步驟S184。在步驟S184中，非相鄰能量比較單元173將在左側(cè)從與關(guān)注像素在左下方相鄰的像素起連續(xù)存在的(N-I)個(gè)像素設(shè)定為用于選擇所述選擇路徑的候選。在步驟S183中，非相鄰能量比較單元173將在右側(cè)從與關(guān)注像素在右下方相鄰的像素起連續(xù)存在的(N-I)個(gè)像素和在左側(cè)從與關(guān)注像素在左下方相鄰的像素起連續(xù)存在的(N-I)個(gè)像素中具有最小能量的像素選為選擇路徑。S卩，當(dāng)與關(guān)注像素在右下方、正下方和左下方相鄰的像素在輸入圖像中具有最大能量值時(shí)，如圖22的左側(cè)所示，非相鄰能量比較單元173將同與關(guān)注像素在右下方相鄰的像素連續(xù)向右相鄰的(N-I)個(gè)像素視作與關(guān)注像素在右下方、正下方和左下方相鄰的像素，如圖22的右側(cè)所示。在圖22中，示出(N-I)個(gè)像素=6個(gè)像素。如在整體圖像查找處理中已描述的，具有最大能量值的像素為極可能被選為局部接縫的像素，因?yàn)樽畲竽芰恐颠€被賦予屬于計(jì)算出的局部接縫的像素。例如，當(dāng)選擇多個(gè)局部接縫時(shí)，如圖23的左側(cè)所示，當(dāng)局部接縫彼此交叉時(shí)，存在屬于位于交叉位置處的兩個(gè)局部接縫這兩者的像素。在這種情況下，當(dāng)刪除被計(jì)算為多個(gè)局部接縫的像素時(shí)，如圖23的右側(cè)所示，在包括有重復(fù)地屬于多個(gè)局部接縫的像素的行或列中，可能不會(huì)按照局部接縫的數(shù)量來刪除像素。因此，可能出現(xiàn)所包括的像素的數(shù)量不同于其它行或其它列的行或列，因此可能會(huì)產(chǎn)生不必要的像素。例如，將由圖M的右側(cè)所示的黑色所表示的最大能量值設(shè)定為由圖M的左側(cè)所示的對(duì)角線表示的臨時(shí)計(jì)算出的局部接縫。在這種情況下，甚至在由圖M的右側(cè)所示的粗線所表示的局部接縫被計(jì)算出并且位于以圓表示的關(guān)注像素的左下方的像素具有最大能量值時(shí)，位于關(guān)注像素的正下方和右下方的像素也不會(huì)具有最大值。因此，由于任一個(gè)像素都可被選為選擇路徑，所以可設(shè)定局部接縫以使其不會(huì)彼此交叉。然而，當(dāng)僅執(zhí)行步驟S178的處理時(shí)，如圖20的左側(cè)所示，可能會(huì)選擇任意一個(gè)具有最大能量值的像素作為選擇路徑，因此可生成不必要的像素。因此，當(dāng)與關(guān)注像素在左下方、正下方和右下方相鄰的像素為具有最大能量值的像素時(shí)，其中很可能已通過執(zhí)行步驟S182至步驟S184的處理將所述具有最大能量值的像素計(jì)算為局部接縫，則將這些像素從候選選擇路徑中排除。此外，將與關(guān)注像素不相鄰而與相鄰于關(guān)注像素的像素相鄰的多個(gè)不連續(xù)像素設(shè)定為候選選擇路徑。即，將實(shí)際上不與關(guān)注像素直接相鄰的像素視作與關(guān)注像素相鄰的像素，因此，將其看作候選選擇路徑。在不與關(guān)注像素直接相鄰且作為候選選擇路徑的像素中，將具有最小能量值的像素選為選擇路徑。因此，由于同一像素變?yōu)樾纬啥鄠€(gè)局部接縫的像素的可能性較低，所以很少生成所謂的不必要的像素。隨后，回到圖14的流程圖，其描述如下。當(dāng)局部圖像查找處理結(jié)束于步驟S132并且確定局部接縫時(shí)，所述處理進(jìn)入步驟 S133。在步驟S133中，積累能量閾值確定單元178確定最近存儲(chǔ)在局部接縫存儲(chǔ)單元 177中的局部接縫的積累能量是否大于預(yù)定閾值。例如，當(dāng)在步驟S133中確定最近局部接縫的最近積累能量不大于預(yù)定閾值時(shí)，所述處理進(jìn)入步驟S134。在步驟S134中，塊內(nèi)局部接縫數(shù)量確定單元179確定存儲(chǔ)于局部接縫存儲(chǔ)單元 177中的局部接縫中的在形成當(dāng)前處理的縮小接縫的塊內(nèi)查找到的局部接縫的數(shù)量是否到達(dá)所述塊中設(shè)定的局部接縫的預(yù)定數(shù)量。例如，當(dāng)所存儲(chǔ)的局部接縫中的在形成當(dāng)前處理的縮小接縫的塊內(nèi)查找到的局部接縫的數(shù)量未達(dá)到在步驟S134中設(shè)定在塊中的局部接縫的預(yù)定數(shù)量時(shí)，所述處理返回步驟S132。即，由于在形成縮小接縫的塊內(nèi)最初計(jì)算出的局部接縫的數(shù)量為預(yù)定數(shù)量，因此重復(fù)步驟S132和步驟S133的處理，從而在相同的塊內(nèi)連續(xù)查找局部接縫，直到局部接縫的數(shù)量到達(dá)預(yù)定數(shù)量。另一方面，當(dāng)所存儲(chǔ)的局部接縫中的在形成當(dāng)前處理的縮小接縫的塊內(nèi)查找到的局部接縫的數(shù)量超出在步驟S134中設(shè)定在所述塊內(nèi)的局部接縫的預(yù)定數(shù)量時(shí)，所述處理返回步驟S131。即，當(dāng)局部接縫的數(shù)量到達(dá)所述塊內(nèi)所設(shè)定的局部接縫的預(yù)定數(shù)量時(shí)，由于必須通過整體圖像查找處理再次重新計(jì)算縮小接縫并對(duì)重新計(jì)算出的縮小接縫執(zhí)行獨(dú)立的局部圖像查找處理這一實(shí)事，所述處理返回步驟S131。例如，當(dāng)在步驟S133中確定最近的局部接縫的積累能量大于預(yù)定閾值時(shí)，所述處理進(jìn)入步驟S135。在步驟S135中，積累能量閾值確定單元178控制輸出單元180向處理單元116輸出與存儲(chǔ)在局部接縫存儲(chǔ)單元177的所有局部接縫相關(guān)的信息?？蓪⑺霾檎姨幚砀爬ㄈ缦隆＜?，首先使用對(duì)應(yīng)于縮小圖像的縮小圖像能量圖執(zhí)行整個(gè)圖像查找處理以查找縮小接縫。此時(shí)，如上所述，在整個(gè)圖像查找處理中，根據(jù)動(dòng)態(tài)編程法查找縮小接縫。通過用于縮小圖像的像素單元計(jì)算縮小接縫，但是縮小圖像的像素對(duì)應(yīng)于輸入圖像中的多個(gè)像素的塊。因此，就輸入圖像而言，縮小接縫充當(dāng)在一定的程度上限定將要計(jì)算的局部接縫的查找范圍的信息。接著，對(duì)作為縮小接縫來計(jì)算的范圍內(nèi)的像素執(zhí)行局部圖像查找處理以計(jì)算所述局部接縫。在局部圖像查找處理中，根據(jù)貪心法查找局部接縫。此時(shí)，當(dāng)最近計(jì)算的局部接縫的積累能量不大于預(yù)定閾值并且計(jì)算所述塊內(nèi)所設(shè)定的局部接縫的預(yù)定數(shù)量時(shí)，通過整體圖像查找處理再次計(jì)算縮小接縫，并且以相同的方式重復(fù)局部圖像查找處理。當(dāng)最近計(jì)算的局部接縫的積累能量大于預(yù)定閾值時(shí)，輸出與計(jì)算的局部接縫相關(guān)的信息，并且基于輸出的局部接縫對(duì)圖像進(jìn)行處理。通過以上處理，查找局部接縫以刪除圖像。首先通過整體圖像查找處理查找縮小接縫，并且隨后僅查找其中形成所查找到的縮小接縫的端部的像素為起始像素的局部接縫。因此，由于可限定整個(gè)輸入圖像中的局部接縫的詳細(xì)查找范圍，與其中從整個(gè)輸入圖像查找局部接縫的情況相比，可減少計(jì)算量。在對(duì)以下局部接縫的查找過程中，其中位于在整個(gè)圖像查找處理中查找的縮小接縫的形成塊的端部的像素為起始像素，使用貪心法而不是動(dòng)態(tài)編程法。因此，可減少計(jì)算量。此外，當(dāng)最近計(jì)算的局部接縫的積累能量大于預(yù)定閾值時(shí)，停止對(duì)局部接縫的查找。因此，由于抑制了對(duì)具有較大積累能量且很可能包括被攝體的局部接縫的查找，可縮小圖像的尺寸而不會(huì)使被攝體變小，同時(shí)可防止出現(xiàn)其中被攝體被切割的圖像崩潰。動(dòng)態(tài)編程法和貪心法下文將描述動(dòng)態(tài)編程法和貪心法。動(dòng)態(tài)編程法表示在上述整體圖像查找處理中查找縮小接縫的處理。貪心法表示在上述局部圖像查找處理中查找局部接縫的處理。更具體地說，當(dāng)在圖25的上部所示的能量圖中查找具有被設(shè)定為選擇路徑的像素最小的能量積累值的縫時(shí)，如下使用各自的方法。在圖25的上部所示的能量圖的像素的能量在最上一行從左側(cè)起為1、4、2和4，在第二行為5、2、1和3，在第三行為4、1、2和5，在第四行為1、3、2和1，而在第五行為10、10、3和2。當(dāng)使用位于最上一行和最左側(cè)的具有能量1的像素作為起始像素來查找接縫時(shí)， 首先以動(dòng)態(tài)編程法生成積累能量圖。即，通過在與各個(gè)像素在左上方、正上方和右上方相鄰的像素的能量中在第二行從上側(cè)起順序地向下重復(fù)積累最小能量的處理來生成積累能量圖。如圖25的左下部所示，根據(jù)積累能量圖將其中位于最上一行和最左側(cè)的具有能量1的像素為形成選擇路徑的像素集的起始像素的接縫選為候選，其中選擇路徑順序地連接端部像素和起始像素中的具有最小積累能量的像素。最終在對(duì)所有起始像素計(jì)算的候選縫中查找具有最小積累能量的縫。如圖25的左下部所示，選擇以粗線表示的具有積累能量8的縫。 如圖25的左下部所示，第五行中像素的積累能量從左側(cè)起為15、15、9和8。另一方面，根據(jù)貪心法，如圖25的右下部所示，將與各個(gè)像素在左下方、正下方和右下方相鄰的像素的能量中具有最小能量的像素順序地選為能量圖中的選擇路徑。僅從各個(gè)起始像素計(jì)算一個(gè)候選縫，并且從積累能量中最終選擇具有最小積累能量的縫。如圖25的右下部所示，對(duì)于各自的起始像素，在最上一行從左側(cè)起起始像素的縫的積累能量為15、 17、15和17。因此，最終選擇最上一行中的具有能量1或2的起始像素的接縫。在上述處理的對(duì)比中，根據(jù)動(dòng)態(tài)編程法，臨時(shí)計(jì)算積累能量圖，對(duì)從所有起始像素到所有端部像素的接縫的積累能量進(jìn)行相互比較，并且隨后對(duì)接縫進(jìn)行選擇。因此，如圖25 的左下部所示，與貪心法相比，可以更高的精確度選擇具有最小積累能量的縫。然而，計(jì)算量較大，因?yàn)榉e累能量圖是臨時(shí)計(jì)算并且隨后計(jì)算從所有起始像素到所有端部像素的接縫的積累能量。相反，根據(jù)貪心法，不必計(jì)算積累能量圖，并且在特定條件下將各自的像素選為選擇路徑。因此，可減小計(jì)算量。然而，如圖25的右下部所示，僅對(duì)各個(gè)像素確定選擇路徑。因此，事實(shí)上，難以查找從積累能量最小的路徑生成的接縫。然而，在本實(shí)施例中，在用于縮小圖像的整體圖像查找處理中使用精確度更高的動(dòng)態(tài)編程法，由此以相對(duì)較高的精確度計(jì)算所計(jì)算的縮小接縫。由于根據(jù)動(dòng)態(tài)編程法對(duì)縮小圖像執(zhí)行整體圖像查找處理，因此與對(duì)輸入圖像的處理相比，可減少計(jì)算量。此外，由于僅在一定范圍內(nèi)對(duì)作為縮小接縫來計(jì)算的起始像素執(zhí)行使用貪心法的局部圖像查找處理， 因此使用與以較小計(jì)算量生成并以相對(duì)較高的精確度計(jì)算的縮小接縫相關(guān)的信息來查找局部接縫。因此，可提高計(jì)算速度，同時(shí)防止局部接縫的查找精確度發(fā)生退化。當(dāng)希望提高計(jì)算速度時(shí)，可在整個(gè)圖像查找處理中使用貪心法。S卩，當(dāng)在整個(gè)圖像查找處理中使用貪心法時(shí)，不必計(jì)算積累能量圖或?qū)乃衅鹗枷袼氐剿卸瞬肯袼氐姆e累能量進(jìn)行相互比較并查找接縫。因此，可進(jìn)一步提高計(jì)算速度。已描述了其中在輸入圖像的垂直方向上向下查找縫的示例。然而，通過以相同的方式查找水平方向上的縫，可刪除所述像素或?qū)⑵洳迦朐谒椒较蛏?。此外，通過組合這些方法，可在水平方向上和垂直方向上縮小或擴(kuò)展輸入圖像。例如，當(dāng)在水平方向和垂直方向上以預(yù)定縮放比例縮小圖沈的左部示出的通過拍攝兩只水鳥而形成的輸入圖像時(shí)，如根據(jù)相關(guān)技術(shù)中所示，也會(huì)根據(jù)圖像縮小率縮小圖像中的水鳥，如圖26的右上部所示。然而，當(dāng)使用上述處理時(shí)，如圖沈的右下部所示，圖像被縮小，但是水鳥的尺寸的縮小率小于整個(gè)圖像的縮小率。因此，圖像的尺寸被縮小，但是可使作為被攝體的水鳥的尺寸的變化較小?？赏ㄟ^硬件或軟件來執(zhí)行上述一系列的圖像處理。當(dāng)通過軟件來執(zhí)行所述一系列處理時(shí)，將可實(shí)施所述軟件的程序從程序記錄介質(zhì)安裝到能夠安裝各種程序并執(zhí)行各種函數(shù)的嵌入有專用硬件的計(jì)算機(jī)中或如通用個(gè)人計(jì)算機(jī)等計(jì)算機(jī)中。圖27示出了通用個(gè)人計(jì)算機(jī)的示例性配置。所述個(gè)人計(jì)算機(jī)中具有CPU(中央處理單元)。輸入/輸出接口 1005通過總線1004連接到CPU1001。ROM(只讀存儲(chǔ)器)1002 和RAM(隨機(jī)存取存儲(chǔ)器)1003連接到總線1004。將由例如用于輸入用戶的操作命令的鍵盤或鼠標(biāo)等輸入設(shè)備形成的輸入單元 1006、用于向顯示設(shè)備輸出處理操作屏或處理圖像的輸出單元1007、由硬磁盤機(jī)等形成的用于存儲(chǔ)程序或各種數(shù)據(jù)的存儲(chǔ)單元1008以及由LAN(局域網(wǎng))適配器形成并通過作為典型示例Whternet等網(wǎng)絡(luò)執(zhí)行通信處理的通信單元1009連接到輸入/輸出接口 1005。將用于從如磁盤(包括軟盤)、光盤(包括⑶_R0M(只讀光盤))和DVD(數(shù)字通用光盤)、磁光盤(包括MD(小型盤))或半導(dǎo)體存儲(chǔ)器等可移動(dòng)介質(zhì)1011讀取數(shù)據(jù)并向其寫入數(shù)據(jù)的驅(qū)動(dòng)器1010連接到輸入/輸出接口 1005。
CPU 1001根據(jù)存儲(chǔ)在ROM 1002中的程序或從如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器等可移動(dòng)介質(zhì)1011讀取的程序或安裝在存儲(chǔ)單元1008中并從存儲(chǔ)單元1008載入RAM 1003的程序執(zhí)行各種處理。RAM 1003適當(dāng)?shù)卮鎯?chǔ)CPU 1001所需的用于執(zhí)行各種處理的數(shù)據(jù)。在本說明書中，對(duì)存儲(chǔ)在記錄介質(zhì)中的程序進(jìn)行描述的步驟不僅包括根據(jù)所描述的順序按時(shí)序次序執(zhí)行的處理，而且包括并行或獨(dú)立地執(zhí)行的處理，盡管不一定按時(shí)序次序執(zhí)行。在本說明書中，系統(tǒng)表示通過多個(gè)裝置配置的整個(gè)裝置。本申請(qǐng)案含有與在2010年2月25日向日本專利局申請(qǐng)的日本優(yōu)先權(quán)專利申請(qǐng)案 JP 2010-040697中所公開的主題相關(guān)的主題，所述申請(qǐng)案通過全文引用的方式結(jié)合在本申
請(qǐng)案中。本領(lǐng)域的技術(shù)人員應(yīng)理解，取決于設(shè)計(jì)要求和其它因素，可在附加的權(quán)利要求或其等效物的范圍內(nèi)對(duì)本發(fā)明做出各種修改、組合、子組合和變形。
權(quán)利要求
1.一種圖像處理裝置，包括被攝體區(qū)域檢測部件，其用于檢測包括在輸入圖像中的被攝體區(qū)域； 裁剪區(qū)域設(shè)定部件，其用于將包括由所述被攝體區(qū)域檢測部件檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為裁剪區(qū)域；擴(kuò)展區(qū)域添加部件，其用于添加擴(kuò)展區(qū)域從而僅以預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；切割部件，其用于從所述輸入圖像切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的切割圖像；被攝體適配尺寸改變部件，其用于通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的圖像的尺寸；以及整體圖像尺寸改變部件，其用于以預(yù)定比率改變被所述被攝體適配尺寸改變部件改變了尺寸的圖像的整體尺寸。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述被攝體適配尺寸改變部件包括 輸入圖像能量圖產(chǎn)生部件，其用于基于所述切割圖像的相鄰像素的能量從所述切割圖像產(chǎn)生輸入圖像能量圖；縮小能量圖產(chǎn)生部件，其用于通過縮小所述輸入圖像能量圖來產(chǎn)生與縮小圖像對(duì)應(yīng)的縮小能量圖，其中所述縮小圖像是通過將由所述切割圖像的多個(gè)相鄰像素形成的一個(gè)塊設(shè)定為一個(gè)像素形成的；縮小接縫查找部件，其用于查找通過對(duì)沿多個(gè)路徑中所經(jīng)過像素的能量積累值最小的路徑的像素進(jìn)行連接而形成的縮小接縫，其中所述多個(gè)路徑從位于所述縮小能量圖中的在所述縮小圖像的一端的像素順次地通過朝另一端方向的相鄰像素到達(dá)在所述縮小圖像的另一端的像素而形成；局部接縫查找部件，其用于查找通過對(duì)多個(gè)路徑中所經(jīng)過像素的能量積累值最小的像素進(jìn)行連接而形成的局部接縫，其中所述多個(gè)路徑從位于所述輸入圖像能量圖中的在所述切割圖像的一端的像素順次地通過朝另一端方向的相鄰像素到達(dá)位于所述切割圖像的另一端的像素而形成，其中所述局部接縫包括通過所述縮小接縫查找部件查找到的所述縮小接縫的一端；以及縮小部件，其用于通過從所述輸入圖像中刪除形成由所述局部接縫查找部件查找到的所述局部接縫的像素來縮小所述輸入圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，進(jìn)一步包括比較部件，其用于將形成所查找到的所述局部接縫的像素的能量積累值與閾值進(jìn)行比較；其中，所述局部接縫查找部件重復(fù)地查找通過對(duì)多個(gè)路徑中所經(jīng)過像素的能量積累值最小的像素進(jìn)行連接而形成的所述局部接縫，直到所述比較部件判定形成所查找到的所述局部接縫的像素的能量積累值大于所述閾值，其中所述多個(gè)路徑從位于所述輸入圖像能量圖中的在所述切割圖像的一端的像素順次地通過朝另一端方向的相鄰像素到達(dá)位于所述切割圖像的另一端的像素而形成，其中所述局部接縫包括通過所述縮小接縫查找部件查找到的所述縮小接縫的一端。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，進(jìn)一步包括輸入圖像能量圖更新部件，其用于在所述輸入圖像能量圖上用最大能量值插入并替換與所述切割圖像的形成所述局部接縫的所有像素對(duì)應(yīng)的能量，來更新所述輸入圖像能量圖，其中由所述局部接縫查找部件查找到所述局部接縫；其中，當(dāng)所述局部接縫查找部件查找從位于所述切割圖像的一端的像素順次地通過朝另一端方向的相鄰像素到達(dá)位于所述切割圖像的另一端的像素而形成的所述多個(gè)路徑時(shí)， 所述局部接縫查找部件在所有相鄰像素具有所述輸入圖像能量圖的最大能量值時(shí)，把與所述相鄰像素相鄰的預(yù)定數(shù)量的像素中具有最小能量的像素設(shè)定為相鄰像素，來形成所述路徑。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，進(jìn)一步包括縮小圖像能量圖更新部件，其用于在所述縮小圖像能量圖上用最大能量值插入并替換與所述縮小圖像的形成所述縮小接縫的所有像素對(duì)應(yīng)的能量，來更新所述縮小圖像能量圖，其中由所述縮小接縫查找部件查找到所述縮小接縫。
6.一種圖像處理裝置的圖像處理方法，其中所述圖像處理裝置包括 被攝體區(qū)域檢測部件，其用于檢測包括在輸入圖像中的被攝體區(qū)域；裁剪區(qū)域設(shè)定部件，其用于將包括由所述被攝體區(qū)域檢測部件檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為裁剪區(qū)域；擴(kuò)展區(qū)域添加部件，其用于添加擴(kuò)展區(qū)域從而僅以預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；切割部件，其用于從所述輸入圖像切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的切割圖像；被攝體適配尺寸改變部件，其用于通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的圖像的尺寸；以及整體圖像尺寸改變部件，其用于以預(yù)定比率改變被所述被攝體適配尺寸改變部件改變了尺寸的圖像的整體尺寸；所述圖像處理方法包括以下步驟所述被攝體區(qū)域檢測部件檢測包括在所述輸入圖像中的所述被攝體區(qū)域； 所述裁剪區(qū)域設(shè)定部件將包括在檢測所述被攝體區(qū)域的步驟中檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為所述裁剪區(qū)域；所述擴(kuò)展區(qū)域添加部件添加所述擴(kuò)展區(qū)域以僅以所述預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；所述切割部件從所述輸入圖像中切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的所述切割圖像；所述被攝體適配尺寸改變部件通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的所述圖像的尺寸；以及所述整體圖像尺寸改變部件以預(yù)定比率改變?cè)诟淖兯霰粩z體適配尺寸的步驟中改變了尺寸的圖像的整體尺寸。
7.一種使計(jì)算機(jī)控制圖像處理裝置執(zhí)行以下步驟的程序，其中所述圖像處理裝置包括被攝體區(qū)域檢測部件，其用于檢測包括在輸入圖像中的被攝體區(qū)域；裁剪區(qū)域設(shè)定部件，其用于將包括由所述被攝體區(qū)域檢測部件檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為裁剪區(qū)域；擴(kuò)展區(qū)域添加部件，其用于添加擴(kuò)展區(qū)域從而僅以預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；切割部件，其用于從所述輸入圖像切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的切割圖像；被攝體適配尺寸改變部件，其用于通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的圖像的尺寸；以及整體圖像尺寸改變部件，其用于以預(yù)定比率改變被所述被攝體適配尺寸改變部件改變了尺寸的圖像的整體尺寸； 所述步驟包括所述被攝體區(qū)域檢測部件檢測包括在所述輸入圖像中的所述被攝體區(qū)域； 所述裁剪區(qū)域設(shè)定部件將包括在檢測所述被攝體區(qū)域的步驟中檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為所述裁剪區(qū)域；所述擴(kuò)展區(qū)域添加部件添加所述擴(kuò)展區(qū)域以僅以所述預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部；所述切割部件從所述輸入圖像中切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的所述切割圖像；所述被攝體適配尺寸改變部件通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的所述圖像的尺寸；以及所述整體圖像尺寸改變部件以預(yù)定比率改變?cè)诟淖兯霰粩z體適配尺寸的所述步驟中改變了尺寸的圖像的整體尺寸。
8. 一種圖像處理裝置，包括被攝體區(qū)域檢測單元，其檢測包括在輸入圖像中的被攝體區(qū)域； 裁剪區(qū)域設(shè)定單元，其將包括由所述被攝體區(qū)域檢測單元檢測到的所有所述被攝體區(qū)域的區(qū)域設(shè)定為裁剪區(qū)域；擴(kuò)展區(qū)域添加單元，其添加擴(kuò)展區(qū)域從而僅以預(yù)定寬度擴(kuò)展所述裁剪區(qū)域的端部； 切割單元，其從所述輸入圖像切割出由包括所述裁剪區(qū)域和所述擴(kuò)展區(qū)域的切割區(qū)域形成的切割圖像；被攝體適配尺寸改變單元，其通過刪除所述切割圖像中對(duì)所述被攝體影響小的區(qū)域來改變由所述切割區(qū)域形成的圖像的尺寸；以及整體圖像尺寸改變單元，其以預(yù)定比率改變被所述被攝體適配尺寸改變單元改變了尺寸的圖像的整體尺寸。
全文摘要
一種圖像處理裝置、圖像處理方法及程序。該圖像處理裝置包括被攝體區(qū)域檢測單元，其用于檢測包括在輸入圖像中的被攝體區(qū)域；裁剪區(qū)域設(shè)定單元，其用于將包括檢測到的所有被攝體區(qū)域的區(qū)域設(shè)定為裁剪區(qū)域；擴(kuò)展區(qū)域添加單元，其用于添加擴(kuò)展區(qū)域從而僅以預(yù)定寬度擴(kuò)展裁剪區(qū)域的端部；切割單元，其用于從輸入圖像切割出由包括裁剪區(qū)域和擴(kuò)展區(qū)域的切割區(qū)域形成的切割圖像；被攝體適配尺寸改變單元，其用于通過刪除切割圖像中對(duì)被攝體影響小的區(qū)域來改變由切割區(qū)域形成的圖像的尺寸；以及整體圖像尺寸改變單元，其用于以預(yù)定比率改變被所述被攝體適配尺寸改變單元改變了尺寸的圖像的整體尺寸。
文檔編號(hào)H04N1/393GK102170515SQ20111004207
公開日2011年8月31日 申請(qǐng)日期2011年2月18日 優(yōu)先權(quán)日2010年2月25日
發(fā)明者德永陽, 村山淳, 橫川昌俊, 相坂一樹 申請(qǐng)人:索尼公司