專利名稱：圖像拍攝裝置、電子設(shè)備、全景圖像記錄方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像拍攝裝置。具體而言，本發(fā)明涉及被配置為對全景圖像 (panoramic image)執(zhí)行圖像處理的圖像拍攝裝置、電子設(shè)備、其處理方法以及用于指示計 算機執(zhí)行該方法的程序。
背景技術(shù)：
近年來，廣泛地使用著諸如數(shù)碼相機之類的圖像拍攝裝置，其被配置為通過拍攝 諸如風(fēng)景之類的被攝物的圖像來生成拍攝圖像并將所生成的拍攝圖像記錄為圖像文件。另 外，提出了一種全景圖像生成方法，其通過連接由這種圖像拍攝裝置連續(xù)生成的多個拍攝 圖像來生成包含相對寬范圍中的被攝物的全景圖像。例如提出了如下這種全景圖像生成方 法來作為該全景圖像生成方法檢測連續(xù)生成的拍攝圖像之間的運動向量并且基于該檢測 到的運動向量來組合各個拍攝圖像，以連接各個拍攝圖像。另外，提出了一種圖像拍攝裝置，其被配置為獲得這樣生成的全景圖像的方位 (orientation)，并且通過使用該方位來對該全景圖像執(zhí)行顯示控制等等。例如，提出了一 種圖像拍攝裝置，其被配置為在改變裝置主體的方向的同時生成多個拍攝圖像，并且向各 個相應(yīng)的拍攝圖像添加這些圖像拍攝時的方位，以進行記錄(例如，參見日本未實審專利 申請公布 No. 2005-26859 (圖 1))。

發(fā)明內(nèi)容
根據(jù)現(xiàn)有技術(shù)中的上述技術(shù)，可以通過使用為構(gòu)成全景圖像的各個拍攝圖像獲得 的方位來對各個拍攝圖像執(zhí)行顯示控制。這里，例如，設(shè)想一個全景圖像被記錄為一個圖像文件的情況。例如，在一個圖像 文件基于Exif(可交換圖像文件格式)被記錄在記錄介質(zhì)上時，基本上只有一條方位信息 被記錄在一個圖像文件中。由于此原因，例如，同樣在一個全景圖像的圖像文件基于Exif 被記錄在記錄介質(zhì)上的情況下，只有一條方位信息被記錄在一個圖像文件中。鑒于此，根據(jù) 現(xiàn)有技術(shù)中的上述技術(shù)，設(shè)想為構(gòu)成全景圖像的各個圖像獲得的方位中的任何一個被記錄 在圖像文件中作為該全景圖像的方位信息。然而，由于全景圖像包含相對寬范圍中的被攝物，因此預(yù)期全景圖像中包含的被 攝物的方位具有相對寬的范圍。由于此原因，在記錄全景圖像時，記錄全景圖像中的適當(dāng)位 置的方位是很重要的。另外，當(dāng)使用全景圖像時，根據(jù)使用情況適當(dāng)?shù)厥褂梅轿皇呛苤匾?的。本發(fā)明是考慮到上述情況而做出的，并且希望適當(dāng)?shù)厥褂门c全景圖像有關(guān)的方 位。本發(fā)明已被提出來解決上述問題，并且本發(fā)明的一個實施例涉及一種圖像拍攝裝 置、一種全景圖像記錄方法以及一種用于指示計算機執(zhí)行該方法的程序，該圖像拍攝裝置 包括圖像拍攝單元，被配置為拍攝被攝物的圖像并且生成多個拍攝圖像；方位獲得單元，被配置為把拍攝所生成的多個拍攝圖像之中的一個拍攝圖像時的圖像拍攝位置設(shè)定為基 準，并且獲得與該拍攝圖像有關(guān)的方位；圖像組合單元，被配置為組合所生成的多個拍攝圖 像并生成全景圖像；代表性位置計算單元，被配置為計算所生成的全景圖像中的水平方向 上的代表性位置；方位計算單元，被配置為基于圖像拍攝單元的特性信息、計算出的代表性 位置以及所獲得的方位，來計算被計算出的代表性位置處的方位；以及記錄控制單元，被配 置為與所生成的全景圖像相關(guān)聯(lián)地記錄計算出的方位。利用此配置，獲得了這樣的效果， 即，獲得相對于所生成的多個拍攝圖像之中的一個拍攝圖像的方位，通過組合多個拍攝圖 像生成全景圖像，計算所生成的該全景圖像中的水平方向上的代表性位置，基于圖像拍攝 單元的特性信息、計算出的代表性位置以及所獲得的方位來計算全景圖像中的代表性位置 處的方位，并且與全景圖像相關(guān)聯(lián)地記錄這個計算出的方位。另外，根據(jù)上述實施例，方位獲得單元可獲得在所生成的多個拍攝圖像之中在時 間軸上的第一拍攝圖像中的中心位置處的方位來作為與該拍攝圖像有關(guān)的方位，并且代表 性位置計算單元可計算所生成的全景圖像中的中心位置作為全景圖像中的代表性位置。利 用此配置，獲得了這樣的效果，即，獲得了在所生成的多個拍攝圖像之中在時間軸上的第一 拍攝圖像中的中心位置處的方位來作為與該拍攝圖像有關(guān)的方位，并且計算出所生成的全 景圖像中的中心位置來作為全景圖像中的代表性位置另外，根據(jù)上述實施例，特性信息可包括由圖像拍攝單元生成的拍攝圖像的焦平 面的寬度和焦距。利用此配置，獲得了這樣的效果，即，利用包括由圖像拍攝單元生成的拍 攝圖像的焦平面的寬度和焦距在內(nèi)的特性信息來計算全景圖像中的代表性位置處的方位。另外，根據(jù)上述實施例，圖像拍攝裝置還可包括圖像拍攝操作判定單元，該圖像拍 攝操作判定單元被配置為判定在生成多個拍攝圖像時的圖像拍攝操作狀態(tài)，并且方位計算 單元可在一特定圖像拍攝操作狀態(tài)被判定為圖像拍攝操作狀態(tài)的情況下，把所獲得的方位 設(shè)定為代表性位置處的方位。利用此配置，獲得了這樣的效果，即，在判定特定的圖像拍攝 操作狀態(tài)的情況下，相對于多個拍攝圖像之中的一個拍攝圖像獲得的方位被設(shè)定為全景圖 像中的代表性位置處的方位。另外，本發(fā)明的另一個實施例涉及一種電子設(shè)備、一種用于其的處理方法以及一 種用于指示計算機執(zhí)行該方法的程序，該電子設(shè)備包括操作接受單元，被配置為接受指定 全景圖像中的一部分的范圍的指定操作，該全景圖像是通過組合多個拍攝圖像生成的；圖 像提取單元，被配置為從全景圖像中提取所指定的范圍中包含的圖像；方位計算單元，被配 置為基于用來生成多個拍攝圖像的圖像拍攝單元的特性信息、全景圖像中的代表性位置、 與該代表性位置相對應(yīng)的方位、以及所提取的圖像中的代表性位置，來計算與所提取的圖 像中的代表性位置相對應(yīng)的方位；以及記錄控制單元，被配置為與所提取的圖像相關(guān)聯(lián)地 記錄計算出的方位。利用此配置，獲得了這樣的效果，即，從全景圖像中提取出所指定的范 圍中包含的圖像，基于圖像拍攝單元的特性信息、全景圖像中的代表性位置、與該代表性位 置相關(guān)聯(lián)的方位以及所提取的圖像中的代表性位置來計算與所提取的圖像中的代表性位 置相對應(yīng)的方位，并且與所提取的圖像相關(guān)聯(lián)地記錄這個計算出的方位。另外，本發(fā)明的另一個實施例涉及一種電子設(shè)備、一種用于其的處理方法以及一 種用于指示計算機執(zhí)行該方法的程序，該電子設(shè)備包括操作接受單元，被配置為接受指定 全景圖像中的一部分的范圍的指定操作，該全景圖像是通過組合多個拍攝圖像生成的；圖像提取單元，被配置為從全景圖像中提取所指定的范圍中包含的圖像；方位計算單元，被配 置為基于全景圖像中的水平方向上的大小、與全景圖像的圖像拍攝范圍相對應(yīng)的角度、全 景圖像中的代表性位置、與該代表性位置相關(guān)聯(lián)的方位、以及所提取的圖像中的代表性位 置，來計算所提取的圖像中的代表性位置處的方位；以及記錄控制單元，被配置為與所提取 的圖像相關(guān)聯(lián)地記錄計算出的方位。利用此配置，獲得了這樣的效果，即，從全景圖像中提 取出所指定的范圍中包括的圖像，基于全景圖像中的水平方向上的大小、與全景圖像的圖 像拍攝范圍相對應(yīng)的角度、全景圖像中的代表性位置、與該代表性位置相關(guān)聯(lián)的方位以及 所提取的圖像中的代表性位置，來計算所提取的圖像中的代表性位置處的方位，并且與所 提取的圖像相關(guān)聯(lián)地記錄該計算出的方位。另外，本發(fā)明的另一個實施例涉及一種電子設(shè)備、一種用于其的處理方法以及一 種用于指示計算機執(zhí)行該方法的程序，該電子設(shè)備包括特定方位位置計算單元，被配置為 基于通過組合多個拍攝圖像生成的全景圖像中的水平方向上的大小、該全景圖像中的代表 性位置、與該代表性位置相關(guān)聯(lián)的方位、以及用來生成多個拍攝圖像的圖像拍攝單元的特 性信息，來計算該全景圖像中的特定方位以及該全景圖像中與該特定方位相對應(yīng)的位置； 圖像提取單元，被配置為從全景圖像中提取出全景圖像中包括計算出的位置在內(nèi)的預(yù)定范 圍中所含的圖像；以及顯示控制單元，被配置為使所提取的圖像與特定方位相關(guān)聯(lián)地進行 顯示。利用此配置，獲得了這樣的效果，即，基于全景圖像中的水平方向上的大小、該全景圖 像中的代表性位置、與該代表性位置相關(guān)聯(lián)的方位以及圖像拍攝單元的特性信息，來計算 全景圖像中的特定方位以及全景圖像中與該特定方位相對應(yīng)的位置，從全景圖像中提取出 全景圖像中包括計算出的位置在內(nèi)的預(yù)定范圍中所含的圖像，并且與特定方位相關(guān)聯(lián)地顯 示所提取的圖像。另外，根據(jù)上述實施例，在全景圖像中存在多個特定方位的情況下，特定方位位置 計算單元可計算多個特定方位，顯示控制單元可顯示計算出的各個特定方位，電子設(shè)備還 可包括操作接受單元，該操作接受單元被配置為接受從所顯示的特定方位之中選擇希望的 特定方位的選擇操作，圖像提取單元可從全景圖像中提取包括與所選擇的特定方位相對應(yīng) 的位置在內(nèi)的預(yù)定范圍中所含的圖像，并且顯示控制單元可使所提取的圖像與所選擇的特 定方位相關(guān)聯(lián)地進行顯示。利用此配置，獲得了這樣的效果，即，顯示計算出的各個特定方 位，當(dāng)接受了從所顯示的特定方位之中選擇希望的特定方位的選擇操作時，從全景圖像中 提取包括與這個所選擇的特定方位相對應(yīng)的位置在內(nèi)的預(yù)定范圍中所含的圖像，并且與所 選擇的特定方位相關(guān)聯(lián)地顯示這個提取的圖像。另外，本發(fā)明的另一個實施例涉及一種電子設(shè)備、一種用于其的處理方法以及一 種用于指示計算機執(zhí)行該方法的程序，該電子設(shè)備包括特定對象檢測單元，被配置為檢測 通過組合多個拍攝圖像生成的全景圖像中包含的特定對象；特定對象方位計算單元，被配 置為基于檢測到的特定對象在全景圖像中的位置、用來生成多個拍攝圖像的圖像拍攝單元 的特性信息、全景圖像中的代表性位置、以及與該代表性位置相關(guān)聯(lián)的方位，來計算與檢測 到的特定對象的位置相對應(yīng)的方位；圖像提取單元，被配置為從全景圖像中提取出包括檢 測到的特定對象在內(nèi)的預(yù)定范圍中所含的圖像；以及顯示控制單元，被配置為使所提取的 圖像與計算出的方位相關(guān)聯(lián)地進行顯示。利用此配置，獲得了這樣的效果，即，檢測全景圖 像中包含的特定對象，基于這個檢測到的特定對象在全景圖像中的位置、圖像拍攝單元的特性信息、全景圖像中的代表性位置以及與該代表性位置相關(guān)聯(lián)的方位，來計算與檢測到 的特定對象的位置相對應(yīng)的方位，從全景圖像中提取出包括檢測到的特定對象在內(nèi)的預(yù)定 范圍中所含的圖像，并且與計算出的方位相關(guān)聯(lián)地顯示所提取的圖像。另外，本發(fā)明的另一個實施例涉及一種電子設(shè)備、一種用于其的處理方法以及一 種用于指示計算機執(zhí)行該方法的程序，該電子設(shè)備包括圖像變換單元，被配置為基于通過 組合多個拍攝圖像生成的全景圖像中的水平方向上的大小、與該全景圖像的圖像拍攝范圍 相對應(yīng)的角度以及該全景圖像中的代表性位置，對該全景圖像進行變換；以及顯示控制單 元，被配置為基于生成全景圖像時的圖像拍攝位置，在地圖上布置和顯示變換后的全景圖 像。利用此配置，獲得了這樣的效果，即，基于全景圖像中的水平方向上的大小、與全景圖像 的圖像拍攝范圍相對應(yīng)的角度以及與全景圖像中的代表性位置相關(guān)聯(lián)的方位，對該全景圖 像進行變換，并且基于生成全景圖像時的圖像拍攝位置，在地圖上布置和顯示變換后的全 景圖像。另外，根據(jù)上述實施例，圖像變換單元可以把全景圖像變換成扇形形狀，以使變換 后的全景圖像中包含的被攝物的方位與地圖上的方位基本一致。利用此配置，獲得了這樣 的效果，即，把全景圖像變換成扇形形狀，以使變換后的全景圖像中包含的被攝物的方位與 地圖上的方位基本一致。另外，根據(jù)上述實施例，顯示控制單元可以把變換后的全景圖像布置和顯示在地 圖上，以使變換后的全景圖像的中心角度處的位置與地圖上的圖像拍攝位置基本一致。利 用此配置，獲得了這樣的效果，即，把變換后的全景圖像布置和顯示在地圖上，以使變換后 的全景圖像的中心角度處的位置與地圖上的圖像拍攝位置基本一致。另外，根據(jù)上述實施例，在全景圖像包含特定對象的情況下，圖像變換單元可提取 包含特定對象的特定對象圖像，并且把所提取的特定對象圖像重疊在變換后的全景圖像上 而進行組合。利用此配置，獲得了這樣的效果，即，在全景圖像中包含特定對象的情況下，提 取包含特定對象的特定對象圖像，并且把所提取的這個特定對象圖像重疊在變換后的全景 圖像上而進行組合。另外，本發(fā)明的另一個實施例涉及一種電子設(shè)備、一種用于其的處理方法以及一 種用于指示計算機執(zhí)行該方法的程序，該電子設(shè)備包括圖像變換單元，被配置為將通過組 合多個拍攝圖像生成的全景圖像中的垂直方向設(shè)定為邊界，然后把該全景圖像分割成預(yù)定 的數(shù)目以生成多個圖像，基于用來生成多個拍攝圖像的圖像拍攝單元的特性信息、全景圖 像中的代表性位置、與該代表性位置相關(guān)聯(lián)的方位、以及分割后的各個圖像中的代表性位 置，來計算與分割后的各個圖像中的代表性位置相對應(yīng)的方位，并且基于計算出的方位來 旋轉(zhuǎn)分割后的各個圖像；以及顯示控制單元，被配置為基于生成全景圖像時的圖像拍攝位 置，在地圖上布置和顯示分割后的各個圖像。利用此配置，獲得了這樣的效果，即，以全景圖 像中的垂直方向為邊界，把該全景圖像分割成預(yù)定的數(shù)目以生成多個圖像，基于圖像拍攝 單元的特性信息、全景圖像中的代表性位置、與該代表性位置相關(guān)聯(lián)的方位以及分割后的 各個圖像中的代表性位置，來計算與分割后的各個圖像中的代表性位置相對應(yīng)的方位，基 于計算出的方位來旋轉(zhuǎn)分割后的各個圖像，并且基于生成全景圖像時的圖像拍攝位置，在 地圖上布置和顯示分割后的各個圖像。另外，根據(jù)上述實施例，圖像變換單元可旋轉(zhuǎn)分割后的各個圖像，以使分割后的各
8個圖像中的代表性位置處的方位與地圖中的方位基本一致。利用此配置，獲得了這樣的效 果，即，旋轉(zhuǎn)各個圖像中的代表性位置，以使分割后的各個圖像中的代表性位置處的方位與 地圖上的方位基本一致。另外，根據(jù)上述實施例，在全景圖像包含特定對象的情況下，圖像變換單元可改變 邊界的位置以使特定對象不與邊界重疊，并且可分割全景圖像。利用此配置，獲得了這樣的 效果，即，在全景圖像中包含特定對象的情況下，在改變邊界的位置以使特定對象不與邊界 重疊的情況下分割全景圖像。根據(jù)本發(fā)明的上述實施例，可以獲得能夠適當(dāng)?shù)厥褂门c全景圖像有關(guān)的方位的卓 越效果。


圖1是根據(jù)本發(fā)明第一實施例的圖像拍攝裝置的內(nèi)部配置示例的框圖；圖2是根據(jù)本發(fā)明第一實施例的圖像拍攝裝置的功能配置示例的框圖；圖3A至3C示出了根據(jù)本發(fā)明第一實施例的圖像存儲單元中存儲的圖像文件的文 件結(jié)構(gòu)的示例；圖4示意性地示出了根據(jù)本發(fā)明第一實施例的圖像存儲單元中存儲的圖像文件；圖5A和5B示意性地示出了根據(jù)本發(fā)明第一實施例構(gòu)成由圖像組合單元生成的全 景圖像的多個拍攝圖像和生成這些拍攝圖像時圖像拍攝裝置的圖像拍攝操作狀態(tài)之間的 關(guān)系；圖6A至6C示意性地示出了根據(jù)本發(fā)明第一實施例的圖像組合單元對全景圖像的 生成方法；圖7示意性地示出了根據(jù)本發(fā)明第一實施例從上方看圖像拍攝單元的設(shè)備特性 和圖像拍攝單元所生成的拍攝圖像之間的關(guān)系的情況；圖8A和8B示出了根據(jù)本發(fā)明第一實施例的全景信息計算單元對全景圖像中的代 表性位置的方位計算方法的概略；圖9是根據(jù)本發(fā)明第一實施例的圖像拍攝裝置進行的全景圖像記錄處理的處理 過程的流程圖；圖IOA和IOB示意性地示出了根據(jù)本發(fā)明第一實施例當(dāng)圖像拍攝裝置生成全景圖 像時的圖像拍攝操作；圖11是根據(jù)本發(fā)明第一實施例的圖像拍攝裝置進行的全景圖像記錄處理的處理 過程的流程圖；圖12是根據(jù)本發(fā)明第二實施例的圖像拍攝裝置的功能配置示例的框圖；圖13A和13B示出了根據(jù)本發(fā)明第二實施例的顯示單元中的顯示畫面的顯示示 例；圖14A和14B示出了根據(jù)本發(fā)明第二實施例的方位計算單元對修剪圖像 (trimming image)中的代表性位置的方位計算方法的概略；圖15A至15C示意性地示出了根據(jù)本發(fā)明第二實施例由圖像提取單元生成的修剪 圖像和存儲在圖像存儲單元中的修剪圖像的圖像文件之間的關(guān)系；圖16A和16B示出了根據(jù)本發(fā)明第二實施例的顯示單元中的顯示畫面的顯示示
9例；圖17A和17B示出了根據(jù)本發(fā)明第二實施例由特定方位位置計算單元進行的檢測 各個特定方位及其位置的特定方位和位置檢測方法的概略；圖18A和18B示出了根據(jù)本發(fā)明第二實施例由特定方位位置計算單元進行的檢測 各個特定方位及其位置的特定方位和位置檢測方法的概略；圖19A和19B示出了根據(jù)本發(fā)明第二實施例的顯示單元中的顯示畫面的顯示示 例；圖20A和20B示出了根據(jù)本發(fā)明第二實施例由特定對象方位計算單元進行的檢測 各個特定對象的方位的特定對象方位檢測方法的概略；圖21是根據(jù)本發(fā)明第二實施例的圖像拍攝裝置對全景圖像的圖像提取處理的處 理過程的流程圖；圖22是根據(jù)本發(fā)明第三實施例的圖像拍攝裝置的功能配置示例的框圖；圖23A和23B示出了根據(jù)本發(fā)明第三實施例的圖像變換單元對全景圖像的變換方 法的概略；圖24A和24B示出了根據(jù)本發(fā)明第三實施例的圖像變換單元所變換的全景圖像的 轉(zhuǎn)變示例；圖25A至25C示出了根據(jù)本發(fā)明第三實施例的圖像變換單元所變換的全景圖像的 轉(zhuǎn)變示例；圖26A至26C示出了根據(jù)本發(fā)明第三實施例的圖像變換單元所變換的全景圖像的 轉(zhuǎn)變示例；圖27A和27B示出了根據(jù)本發(fā)明第三實施例與存儲在地圖數(shù)據(jù)存儲單元中的地圖 數(shù)據(jù)相對應(yīng)的區(qū)域中的圖像拍攝操作和通過該圖像拍攝操作生成的全景圖像之間的關(guān)系 的概略；圖28A和28B示出了根據(jù)本發(fā)明第三實施例在下述情況下的顯示示例在與地圖 數(shù)據(jù)存儲單元中存儲的地圖數(shù)據(jù)相對應(yīng)的地圖上，重疊了在與該地圖相對應(yīng)的區(qū)域中生成 的全景圖像；圖29示出了根據(jù)本發(fā)明第三實施例在下述情況下的顯示示例在與地圖數(shù)據(jù)存 儲單元中存儲的地圖數(shù)據(jù)相對應(yīng)的地圖上，重疊了在與該地圖相對應(yīng)的區(qū)域中生成的全景 圖像；圖30示出了根據(jù)本發(fā)明第三實施例在下述情況下的顯示示例在與地圖數(shù)據(jù)存 儲單元中存儲的地圖數(shù)據(jù)相對應(yīng)的地圖上，重疊了在與該地圖相對應(yīng)的區(qū)域中生成的全景 圖像；圖31A和31B示出了根據(jù)本發(fā)明第三實施例在下述情況下的顯示示例在與地圖 數(shù)據(jù)存儲單元中存儲的地圖數(shù)據(jù)相對應(yīng)的地圖上，重疊了在與該地圖相對應(yīng)的區(qū)域中生成 的全景圖像；圖32是根據(jù)本發(fā)明第三實施例的圖像拍攝裝置進行的圖像顯示處理的處理過程 的流程圖；并且圖33A和33B示出了根據(jù)本發(fā)明第三實施例的圖像變換單元對全景圖像的變換方 法的概略。
具體實施例方式下面，將描述用于實現(xiàn)本發(fā)明的實施例(以下將稱之為實施例)。描述按以下順序 進行。1.第一實施例(對全景圖像中的各個位置的方位計算控制通過使用一個拍攝圖 像的方位來計算全景圖像的方位的示例)2.第二實施例(全景圖像中的方位計算和使用方位的圖像提取控制當(dāng)從全景圖 像中提取圖像的一部分時的方位計算以及使用方位從全景圖像中提取圖像的示例)3.第三實施例(對全景圖像的轉(zhuǎn)換控制禾_方位的全景圖像變換以及地圖上的 布置的示例)4.修改例1.第一實施例圖像拍攝裝置的配置示例圖1是根據(jù)本發(fā)明第一實施例的圖像拍攝裝置100的內(nèi)部配置示例的框圖。圖像 拍攝裝置100設(shè)有圖像拍攝單元111、方位傳感器112、GPS (全球定位系統(tǒng))單元113、網(wǎng)絡(luò) 控制器114、分辨率轉(zhuǎn)換單元120以及圖像壓縮解壓單元130。另外，圖像拍攝裝置100設(shè) 有ROM(只讀存儲器)140、RAM(隨機訪問存儲器)150以及CPU(中央處理單元)160。另夕卜， 圖像拍攝裝置100設(shè)有IXD (液晶顯示器)控制器171、IXD 172、輸入控制單元181、操作單 元182、可移動介質(zhì)控制器191以及可移動介質(zhì)192。應(yīng)當(dāng)注意，構(gòu)成圖像拍攝裝置100的 各個單元之間的互連是經(jīng)由總線101實現(xiàn)的。圖像拍攝裝置100例如可由能夠通過拍攝被 攝物的圖像以生成多個拍攝圖像并且組合這些圖像來生成全景圖像的數(shù)碼相機實現(xiàn)。圖像拍攝單元111被配置為通過基于CPU 160的控制轉(zhuǎn)換來自被攝物的入射光來 生成圖像數(shù)據(jù)(拍攝圖像)并且把所生成的圖像數(shù)據(jù)送至RAM 150。更具體而言，圖像拍攝 單元111設(shè)有光學(xué)單元、圖像拍攝元件以及信號處理單元。光學(xué)單元由用于收集來自被攝 物的光的多個透鏡(例如變焦透鏡和聚焦透鏡)構(gòu)成，并且來自被攝物的光經(jīng)由這些透鏡 和光圈被送至圖像拍攝元件。另外，經(jīng)由光學(xué)單元入射的被攝物的光學(xué)圖像被成像在圖像 拍攝元件的成像平面上。在此狀態(tài)中，圖像拍攝元件執(zhí)行圖像拍攝操作并把圖像拍攝信號 輸出到信號處理單元。然后，隨著信號處理單元對圖像拍攝信號執(zhí)行信號處理，圖像數(shù)據(jù)被 生成，并且所生成的該圖像數(shù)據(jù)被依次送至RAM 150以臨時存儲。應(yīng)當(dāng)注意，對于圖像拍攝 元件，例如可使用CCD (電荷耦合器件)傳感器、CMOS (互補金屬氧化物半導(dǎo)體)傳感器等寸。方位傳感器112是用于通過利用地磁測量地球上的方位并將所測量的方位輸出 到CPU 160的傳感器。例如，方位傳感器112是由相互垂直的雙軸線圈(例如，X軸和y軸) 以及設(shè)在其中心部分的MR元件(磁阻元件)構(gòu)成的磁場傳感器。該MR元件是用于感測地 磁并且由于磁力大小而改變電阻值的元件。MR元件的電阻變化被線圈的兩個軸分割成兩 個方向上的分量(例如，χ軸和y軸上的分量)，并且方位是基于兩個方向上的分量的地磁 比來計算的。這里，根據(jù)本發(fā)明的第一實施例，方位傳感器112測量圖像拍攝裝置100的圖 像拍攝方向的方位。該圖像拍攝方向是從圖像拍攝位置(例如，圖像拍攝裝置100所在的 位置)到由圖像拍攝單元111生成的拍攝圖像中包含的被攝物所在的位置的方向。例如，
11該圖像拍攝方向可被設(shè)定為被攝物一側(cè)的光軸方向。另外，例如，對于圖像拍攝方向，當(dāng)圖 像拍攝位置被設(shè)定為基準時，在拍攝圖像中存在于中心位置的被攝物的方向可被設(shè)定為圖 像拍攝方向。應(yīng)當(dāng)注意，根據(jù)本發(fā)明的第一實施例，說明了利用方位傳感器112來獲得圖像 拍攝方向的例子，但是也可使用通過圖像拍攝方向的另一種獲得方法來獲得的圖像拍攝方 向。例如，可以使用基于GPS信號測量的方位。GPS單元113被配置為基于由GPS信號接收天線(未示出)接收的GPS信號來計 算圖像拍攝位置信息并且把計算出的圖像拍攝位置信息輸出到CPU 160。該計算出的圖像 拍攝位置信息包括與緯度、經(jīng)度、高度等等有關(guān)的各條數(shù)據(jù)。應(yīng)當(dāng)注意，根據(jù)本發(fā)明的第一 實施例，說明了使用基于GPS信號計算的圖像拍攝位置信息的例子，但是也可使用通過圖 像拍攝位置信息的另一種獲得方法來獲得的圖像拍攝位置信息。例如，通過存在于周圍的 無線LAN(局域網(wǎng))使用接入點信息來得出圖像拍攝位置信息，并且可以獲得和使用該圖像 拍攝位置信息。網(wǎng)絡(luò)控制器114連接到網(wǎng)絡(luò)115，基于CPU 160的指令執(zhí)行通過網(wǎng)絡(luò)115進行的通 信控制。網(wǎng)絡(luò)115例如是諸如無線LAN之類的網(wǎng)絡(luò)。網(wǎng)絡(luò)控制器114例如經(jīng)由網(wǎng)絡(luò)115把 存儲在可移動介質(zhì)192中的圖像文件(圖像內(nèi)容)提供給另一裝置(例如，個人計算機)。 另外，網(wǎng)絡(luò)控制器114例如經(jīng)由網(wǎng)絡(luò)115獲得諸如圖像文件之類的內(nèi)容。然后，所獲得的該 內(nèi)容被送至可移動介質(zhì)192存儲。分辨率轉(zhuǎn)換單元120被配置為基于來自CPU 160的控制信號把輸入的各種圖像數(shù) 據(jù)轉(zhuǎn)換成適合于相應(yīng)圖像處理的分辨率。圖像壓縮解壓單元130被配置為基于來自CPU 160的控制信號，根據(jù)相應(yīng)的圖像 處理，對輸入的各種圖像數(shù)據(jù)進行壓縮或解壓。圖像壓縮解壓單元130例如把輸入的各種 圖像數(shù)據(jù)壓縮或解壓成JPEG(聯(lián)合圖片專家組)格式的圖像數(shù)據(jù)。ROM 140是只讀存儲器，并且被配置為存儲各種控制程序等等。RAM 150是用作CPU 160的主存儲器(主存儲裝置)的存儲器，并且設(shè)有用于在 CPU 160上執(zhí)行的程序的工作區(qū)等等，其中臨時存儲了用來供CPU 160執(zhí)行各種處理的程 序和數(shù)據(jù)。另外，RAM 150設(shè)有用于各種圖像處理的圖像保存區(qū)。CPU 160被配置為基于存儲在ROM 140中的各種控制程序來控制圖像拍攝裝置 100的各個單元。另外，CPU 160基于由操作單元182接受的操作輸入等等來控制圖像拍攝 裝置100的各個單元。IXD控制器171被配置為基于來自CPU 160的控制信號在IXD172上顯示各種圖像數(shù)據(jù)。IXD 172是用于顯示與從IXD控制器171送來的各條圖像數(shù)據(jù)相對應(yīng)的圖像的顯 示單元。IXD 172順次地顯示例如與圖像拍攝單元111生成的圖像數(shù)據(jù)相對應(yīng)的拍攝圖 像。另外，IXD 172顯示例如與存儲在可移動介質(zhì)192中的圖像文件相對應(yīng)的圖像。應(yīng)當(dāng)注 意，取代IXD 172，例如可以使用諸如有機EL(電致發(fā)光)之類的顯示面板。另外，取代IXD 172，例如可以使用觸摸面板，利用該觸摸面板，用戶可以通過用手指觸摸或接近顯示表面 來進行操作輸入。輸入控制單元181被配置為基于來自CPU 160的指令，對操作單元182接受的操 作輸入進行控制。
操作單元182是用于接受用戶做出的操作輸入的操作單元，并且根據(jù)所接受的操 作輸入向CPU 160輸出信號。例如，圖像拍攝裝置100設(shè)有諸如快門按鈕之類的操作構(gòu)件， 用于在記錄全景圖像的全景圖像拍攝模式中指示全景圖像拍攝操作開始和全景圖像拍攝 操作結(jié)束。另外，操作單元182和IXD 172可以構(gòu)造成一體?？梢苿咏橘|(zhì)控制器191連接到可移動介質(zhì)192，并且被配置為基于來自CPU 160的 控制信號從可移動介質(zhì)192讀取數(shù)據(jù)以及向可移動介質(zhì)192寫入數(shù)據(jù)。例如，可移動介質(zhì)控 制器191把諸如由圖像拍攝單元111生成的圖像數(shù)據(jù)之類的各種圖像數(shù)據(jù)以圖像文件(圖 像內(nèi)容)的形式記錄在可移動介質(zhì)192中。另外，可移動介質(zhì)控制器191從可移動介質(zhì)192 讀出諸如圖像文件之類的內(nèi)容，以經(jīng)由總線101輸出到RAM 150等等?？梢苿咏橘|(zhì)192是用于記錄從可移動介質(zhì)控制器191送來的圖像數(shù)據(jù)的記錄設(shè) 備。在可移動介質(zhì)192中，例如記錄了諸如JPEG(聯(lián)合圖片專家組)格式的圖像數(shù)據(jù)之類 的各種數(shù)據(jù)。例如可使用帶(例如，磁帶)和光盤(例如，可記錄DVD(數(shù)字多功能盤))作 為可移動介質(zhì)192。另外，例如可使用磁盤(例如，硬盤)、半導(dǎo)體存儲器(例如，存儲卡)、 磁光盤(例如，MD(MiniDisc))作為可移動介質(zhì)192。圖2是根據(jù)本發(fā)明第一實施例的圖像拍攝裝置100的功能配置示例的框圖。圖像 拍攝裝置100設(shè)有圖像存儲單元200、操作接受單元210、圖像拍攝單元211、方位獲得單元 212、圖像拍攝位置獲得單元213、拍攝圖像保存單元220以及運動量檢測單元230。另外， 圖像拍攝裝置100設(shè)有圖像組合單元240、臉部檢測單元250、中心位置計算單元260、圖像 拍攝操作判定單元270、全景信息計算單元280以及記錄控制單元290。這里，根據(jù)本發(fā)明 的各個實施例，在描述術(shù)語“圖像”的情況下，圖像至少包括圖像本身和用于顯示該圖像的 圖像數(shù)據(jù)中的任一種含義。圖像存儲單元200被配置為基于記錄控制單元290的控制以圖像文件的形式記錄 從圖像組合單元240輸出的全景圖像以及與該全景圖像有關(guān)的各條信息。應(yīng)當(dāng)注意，圖像 存儲單元200對應(yīng)于圖1所示的可移動介質(zhì)192。操作接受單元210是用于接受用戶的操作輸入并且根據(jù)所接受的操作輸入把操 作內(nèi)容輸出到圖像拍攝單元211和圖像拍攝操作判定單元270的操作接受單元。例如，在 設(shè)定了全景圖像拍攝模式的情況下，當(dāng)接受用于指示全景圖像拍攝操作開始的開始指示操 作時，操作接受單元210把該操作內(nèi)容輸出到圖像拍攝單元211和圖像拍攝操作判定單元 270。另外，在執(zhí)行全景圖像的圖像拍攝操作的同時，在接受了用于指示全景圖像拍攝操作 的結(jié)束指示操作的情況下，操作接受單元210把該操作內(nèi)容輸出到圖像拍攝單元211和圖 像拍攝操作判定單元270。這些開始指示操作和結(jié)束指示操作例如是通過快門操作來進行 的。另外，在設(shè)定了全景圖像拍攝模式的情況下，當(dāng)接受用于設(shè)定是否改變根據(jù)圖像拍攝操 作狀態(tài)的方位確定方法的操作輸入時，操作接受單元210把該操作內(nèi)容輸出到圖像拍攝操 作判定單元270。應(yīng)當(dāng)注意，操作接受單元210對應(yīng)于圖1所示的輸入控制單元181和操作 單元182。圖像拍攝單元211被配置為拍攝被攝物的圖像以生成拍攝圖像，并順次地把所生 成的拍攝圖像送至拍攝圖像保存單元220。例如，在設(shè)定了全景圖像拍攝模式的情況下，當(dāng) 操作接受單元210接受了用于指示全景圖像拍攝操作開始的開始指示操作時，圖像拍攝單 元211開始生成全景圖像。另外，在操作接受單元210接受了用于指示全景圖像拍攝操作
13結(jié)束的結(jié)束指示操作時，圖像拍攝單元211結(jié)束全景圖像的生成。應(yīng)當(dāng)注意，圖像拍攝單元 211對應(yīng)于圖1所示的圖像拍攝單元111。方位獲得單元212被配置為獲得與圖像拍攝方向有關(guān)的方位并把所獲得的方位 輸出到圖像拍攝操作判定單元270和全景信息計算單元280。應(yīng)當(dāng)注意，方位獲得單元212 對應(yīng)于圖1所示的方位傳感器112。圖像拍攝位置獲得單元213被配置為獲得與圖像拍攝位置有關(guān)的圖像拍攝位置 信息并把所獲得的圖像拍攝位置信息輸出到圖像拍攝操作判定單元270和記錄控制單元 290。應(yīng)當(dāng)注意，圖像拍攝位置獲得單元213對應(yīng)于圖1所示的GPS單元113。拍攝圖像保存單元220被配置為保存從圖像拍攝單元211輸出的各個拍攝圖像并 把所保存的各個拍攝圖像送至運動量檢測單元230和圖像組合單元240。應(yīng)當(dāng)注意，拍攝圖 像保存單元220對應(yīng)于圖1所示的RAM 150。運動量檢測單元230被配置為針對從拍攝圖像保存單元220送來的各個拍攝圖 像，檢測相鄰拍攝圖像之間的運動量和運動方向，并把檢測到的運動量和運動方向輸出到 圖像組合單元240。應(yīng)當(dāng)注意，運動量檢測單元230對應(yīng)于圖1所示的CPU 160。圖像組合單元240被配置為基于從運動量檢測單元230輸出的運動量和運動方向 對由拍攝圖像保存單元220保存的各個拍攝圖像進行組合，由此生成全景圖像。然后，圖像 組合單元240把所生成的全景圖像輸出到臉部檢測單元250、中心位置計算單元260和記 錄控制單元290。應(yīng)當(dāng)注意，將參考圖5A、5B以及圖6A至6C來詳細描述全景圖像的生成。 另外，圖像組合單元240對應(yīng)于圖1所示的CPU 160。臉部檢測單元250被配置為檢測從圖像組合單元240輸出的全景圖像中包含的臉 部，并把與檢測到的臉部有關(guān)的臉部信息輸出到記錄控制單元290。例如可以使用通過記 錄有臉部的亮度分布信息的模板與拍攝圖像之間的一致的臉部檢測方法(例如，參見日本 未實審專利申請公布No. 2004-133637)和基于拍攝圖像中包含的皮膚顏色的一部分和人 類臉部的特性量的臉部檢測方法來作為臉部檢測方法。另外，臉部信息包括檢測到的臉部 的位置和大小。這里，檢測到的臉部的位置例如是包含檢測到的臉部的至少一部分的矩形 的位置(例如，矩形的左上角處的坐標)。另外，檢測到的臉部的大小例如是該矩形的大小 (例如，該矩形的水平方向和垂直方向上各自的像素數(shù)目)。應(yīng)當(dāng)注意，作為檢測對象，除人 臉之外的物體可被設(shè)定為對象。另外，臉部檢測單元250對應(yīng)于圖1所示的CPU 160。中心位置計算單元260被配置為基于從圖像組合單元240輸出的全景圖像的水 平方向上的長度來計算全景圖像中的中心位置。然后，中心位置計算單元260把計算出的 中心位置和被設(shè)定為計算對象的全景圖像的水平方向上的長度輸出到全景信息計算單元 280。應(yīng)當(dāng)注意，中心位置計算單元260對應(yīng)于圖1所示的CPU 160。另外，中心位置計算單 元260是權(quán)利要求的范圍中記載的代表性位置計算單元的例子。圖像拍攝操作判定單元270被配置為基于從方位獲得單元212輸出的方位和從圖 像拍攝位置獲得單元213輸出的圖像拍攝位置信息，來判定圖像拍攝裝置100的圖像拍攝 操作狀態(tài)。然后，圖像拍攝操作判定單元270把判定結(jié)果輸出到全景信息計算單元280。例 如，在設(shè)定了全景圖像拍攝模式的情況下，當(dāng)操作接受單元210接受了表示改變根據(jù)圖像 拍攝操作狀態(tài)的方位確定方法的操作輸入時，圖像拍攝操作判定單元270判定圖像拍攝裝 置100的圖像拍攝操作狀態(tài)。另一方面，在操作接受單元210接受了表示不改變根據(jù)圖像拍攝操作狀態(tài)的方位確定方法的操作輸入的情況下，圖像拍攝操作判定單元270不判定圖 像拍攝裝置100的圖像拍攝操作狀態(tài)。例如，在設(shè)定了全景圖像拍攝模式的情況下，基于在 操作接受單元210接受開始指示操作和結(jié)束指示操作時的方位和圖像拍攝位置信息，判定 圖像拍攝裝置100的圖像拍攝操作狀態(tài)。另外，圖像拍攝操作判定單元270向全景信息計 算單元280輸出表示收到了開始指示操作和結(jié)束指示操作的狀態(tài)。應(yīng)當(dāng)注意，將參考圖10 和IOB來詳細描述對圖像拍攝操作狀態(tài)的判定。另外，圖像拍攝操作判定單元270對應(yīng)于 圖1所示的圖像拍攝單元111。全景信息計算單元280被配置為計算與由圖像組合單元240生成的全景圖像有關(guān) 的方位和與全景圖像的圖像拍攝范圍相對應(yīng)的角度(全景角度)，并把計算出的方位和全 景角度輸出到記錄控制單元290。例如，全景信息計算單元280基于從方位獲得單元212輸 出的方位、從中心位置計算單元260輸出的全景圖像中的中心位置以及圖像拍攝單元211 的特性信息，計算全景圖像中的中心位置處的方位。另外，全景信息計算單元280基于從中 心位置計算單元260輸出的全景圖像的水平方向上的長度和圖像拍攝單元211的特性信 息，計算全景角度。應(yīng)當(dāng)注意，圖像拍攝單元211的特性信息可被全景信息計算單元280保 存并且也可從圖像拍攝單元211順次提供。應(yīng)當(dāng)注意，將參考圖7、8A和8B來詳細描述全 景圖像中的中心位置處的方位的計算方法和全景圖像的計算方法。應(yīng)當(dāng)注意，全景信息計 算單元280對應(yīng)于圖1所示的CPU 160。另外，全景信息計算單元280是權(quán)利要求的范圍中 記載的方位計算單元的例子。記錄控制單元290被配置為以圖像文件的形式把從圖像組合單元240輸出的全景 圖像和與全景圖像有關(guān)的各條信息記錄在圖像存儲單元200中。作為與全景圖像有關(guān)的各 條信息，例如，記錄控制單元290把從全景信息計算單元280輸出的方位和全景角度與相應(yīng) 的圖像文件相關(guān)聯(lián)地記錄在圖像存儲單元200中。另外，圖像文件例如經(jīng)過分辨率轉(zhuǎn)換以 被壓縮和記錄為JPEG格式。應(yīng)當(dāng)注意，記錄控制單元290對應(yīng)于圖1所示的分辨率轉(zhuǎn)換單 元120、圖像壓縮解壓單元130、CPU 160和可移動介質(zhì)控制器191。全景圖像的圖像文件的配置示例圖3A至3C示出了根據(jù)本發(fā)明第一實施例的圖像存儲單元200中存儲的圖像文件 的文件結(jié)構(gòu)的例子。根據(jù)圖3A至3C中所示的例子，示出了基于DCF(相機文件系統(tǒng)的設(shè)計 規(guī)則)標準記錄的靜止圖像文件的文件結(jié)構(gòu)的概況。DCF是用于實現(xiàn)圖像通過記錄介質(zhì)在 諸如數(shù)碼相機和打印機之類的設(shè)備之間相互利用的文件系統(tǒng)標準。另外，DCF控制若在記錄 介質(zhì)上進行基于Exif(可交換圖像文件格式)的記錄時設(shè)定文件名和文件夾結(jié)構(gòu)的方式。 Exif是用于在圖像文件中添加圖像數(shù)據(jù)和相機信息的標準，并且控制記錄圖像文件的格式 (文件格式)。圖3A示出了圖像文件300的配置例，圖3B示出了附加信息310的配置例， 并且圖3C示出了制作者注釋312的配置例。圖像文件300是基于DCF標準記錄的靜止圖像文件，并且如圖3A所示是由附加信 息310和圖像信息320構(gòu)成的。圖像信息320例如是由圖像拍攝單元111生成的，并且是 經(jīng)過分辨率轉(zhuǎn)換單元120進行的分辨率轉(zhuǎn)換并且被圖像壓縮解壓單元130以JPEG格式壓 縮而獲得的圖像數(shù)據(jù)。附加信息310如圖3B所示是由屬性信息311和制作者注釋312構(gòu)成的。屬性信 息311是與圖像文件300有關(guān)的屬性信息等等，其例如包括GPS信息、方位信息、圖像拍攝單元的特性信息(例如，設(shè)備特性)、圖像拍攝更新日期和時間、圖像大小、顏色空間信息、 制作者(制造者)名稱等等。GPS信息例如包括圖像拍攝位置信息，例如緯度和經(jīng)度(例 如，TAGID = 1000001至1000004)。另外，方位信息包括表示拍攝圖像的方位的方位信息 (例如，TAGID = 1000016和1000017)。這里，作為拍攝圖像的方位的單位(例如，TAGID = 1000016)，例如記錄0.01度。另外，作為拍攝圖像的方向(例如，TAGID= 1000017)，例如， 當(dāng)北被設(shè)定為0度(或360度)，東被設(shè)定為90度，南被設(shè)定為180度，并且西被設(shè)定為270 度時，與方位傳感器112獲得的方位相對應(yīng)的數(shù)值被記錄。應(yīng)當(dāng)注意，表示角度的該數(shù)值也 可被稱為方位角度。另外，圖像拍攝單元的特性信息例如包括諸如透鏡焦距之類的圖像拍 攝單元的特性信息(例如，TAGID = 37386)。該透鏡焦距例如是圖7中所示的透鏡焦距f。制作者注釋312是總體上記錄用戶的獨特數(shù)據(jù)并且各個制作者可自由記錄信息 的擴展區(qū)(TAGID = 37500，MakerNote)。如圖3C所示，在制作者注釋312中，例如記錄了 焦平面的寬度313作為圖像拍攝單元的特性信息。焦平面的寬度313例如是圖7所示的焦 平面的寬度W。另外，在制作者注釋312中，記錄構(gòu)成全景圖像的第一圖像的寬度314、與全 景圖像的圖像拍攝范圍相對應(yīng)的角度315以及臉部信息316。應(yīng)當(dāng)注意，在制作者注釋312 中，可記錄圖像拍攝位置信息、方位信息以及是否存在全景圖像。構(gòu)成全景圖像的第一圖像的寬度314是表示在構(gòu)成由圖像組合單元240生成的全 景圖像的多個拍攝圖像之中的時間軸上的第一圖像的寬度的值。該值例如可由全景圖像的 水平方向上的像素數(shù)目(即，水平分辨率)來表示，這對應(yīng)于圖8A和8B所示的H，等等。與全景圖像的圖像拍攝范圍相對應(yīng)的角度(全景角度)315是在拍攝全景圖像時 圖像拍攝裝置100被設(shè)定為基準的情況下圖像拍攝范圍的水平方向上的角度。該角度例如 是相當(dāng)于拍攝圖像的水平方向上的視場角度的角度，這對應(yīng)于圖8A和8B所示的Θ0，等等。臉部信息316是包括由圖像組合單元240生成的全景圖像中包含的臉部的位置和 大小的信息。圖4示意性地示出了根據(jù)本發(fā)明第一實施例的圖像存儲單元200中存儲的圖像文 件。圖像文件330是由圖像組合單元240生成的全景圖像的靜止圖像文件，其中記錄了附 加信息331和圖像信息332。在附加信息331中，記錄了圖4所示的各條信息作為元信息。 這些信息類似于圖3A至3C中描述的那些，因此這次將省略對其的描述。以這種方式，在執(zhí)行對全景圖像的圖像拍攝操作的情況下，由圖像組合單元240 生成的全景圖像被記錄在圖像信息332中，與該全景圖像有關(guān)的附加信息被記錄在附加信 息331中。應(yīng)當(dāng)注意，將參考圖5A、5B和6A至6C詳細描述構(gòu)成圖像文件330的全景圖像 的生成方法。全景圖像的生成示例圖5A和5B示意性地示出了根據(jù)本發(fā)明第一實施例構(gòu)成由圖像組合單元240生成 的全景圖像的多幅拍攝圖像和生成這些拍攝圖像時圖像拍攝裝置100的圖像拍攝操作狀 態(tài)之間的關(guān)系。圖5A示出了由圖像拍攝單元211生成的拍攝圖像401至404。圖5B示出 了在生成拍攝圖像401至404的情況下圖像拍攝裝置100的圖像拍攝操作狀態(tài)的轉(zhuǎn)變。圖5A所示的拍攝圖像401至404是在山脈、山前的房屋等等被設(shè)定為被攝物時拍 攝的圖像。拍攝圖像401至404例如如圖5B所示是通過將圖像拍攝裝置100的位置設(shè)定為 基準的同時在水平方向(箭頭405的方向)上移動圖像拍攝裝置100的圖像拍攝操作(所
16謂的搖攝(panning)操作)來生成的。例如，當(dāng)在攝影者保持按住快門按鈕的同時進行圖 像拍攝裝置100的搖攝操作時，執(zhí)行全景圖像的圖像拍攝操作(所謂的掃式全景)。另外， 對于拍攝圖像401至404，可以由方位獲得單元212獲得方位。在此示例中，拍攝圖像401 至404中包含的被攝物的中心位置421至424由十字標記表示。另外，拍攝圖像401包括 人臉411，并且拍攝圖像403包括人臉413。在圖5B中，圖5A所示的拍攝圖像401至404被虛擬地排列在一圓圈上(在虛線 406上)，并且在從上方看拍攝圖像401至404的情況下的位置關(guān)系由矩形401至404示意 性地表示。應(yīng)當(dāng)注意，在圖5B中，與相應(yīng)的拍攝圖像401至404相同的標號被賦予各個矩 形。另外，對于拍攝圖像401至404中包含的被攝物的中心位置(水平方向上的位置)，賦 予了與圖5A所示的中心位置421至424相同的標號。另外，在圖5B所示的圖像拍攝操作 狀態(tài)中生成的拍攝圖像401至404的視場角度由θ表示。應(yīng)當(dāng)注意，拍攝圖像401至404 是在進行圖像拍攝操作以使得在水平方向上的至少一部分區(qū)域中包含相同被攝物的同時 生成的拍攝圖像。圖6Α至6C示意性地示出了根據(jù)本發(fā)明第一實施例的圖像組合單元240對全景圖 像的生成方法。應(yīng)當(dāng)注意，圖6Α所示的拍攝圖像401至404與圖5Α所示的相同。如圖6Α所示，圖像拍攝單元211依次生成拍攝圖像401至404。這樣生成的拍攝 圖像401至404被依次送至拍攝圖像保存單元220，并且拍攝圖像保存單元220保存多幅拍 攝圖像。然后，這樣保存的拍攝圖像被送至運動量檢測單元230和圖像組合單元240。然后，運動量檢測單元230針對由拍攝圖像保存單元220保存的拍攝圖像，檢測相 鄰拍攝圖像之間的運動量和運動方向(即，相鄰拍攝圖像之間的相對位移方向)。然后，運 動量檢測單元230將檢測到的運動量和運動方向提供給圖像組合單元240。例如，運動量 檢測單元230依次比較按時間順序相鄰的各幀之間的拍攝圖像，以檢測拍攝圖像保存單元 220中的相鄰拍攝圖像之間的運動量和運動方向。然后，如圖6Β所示，圖像組合單元240基于相鄰拍攝圖像之間的運動量和運動方 向，以相互重疊的區(qū)域被相互重疊的方式，對由拍攝圖像保存單元220保存的拍攝圖像401 至404進行組合。通過該組合，生成了組合圖像430。在此情況下，例如，對于存在于從在圖 像拍攝元件的成像平面上組合的拍攝圖像的一部分起的預(yù)定寬度的讀取范圍中的部分圖 像，以相互重疊的區(qū)域被相互重疊的方式進行連接，可生成組合圖像(例如，參見日本未實 審專利申請公布No. 2005-33396)。另外，例如，通過對于各拍攝圖像之間的重疊區(qū)域獲得像 素值相互相關(guān)的相對位移并基于該相對位移執(zhí)行組合處理，可以提高重疊圖像時定位處理 的精度。應(yīng)當(dāng)注意，通過該定位處理，可以利用Lucas-Kanade法、塊一致法等來獲得相對位 移。然后，如圖6C所示，圖像組合單元240對由拍攝圖像401至404構(gòu)成的組合圖像 430執(zhí)行修剪處理。該修剪處理是切掉全景圖像的一部分的圖像區(qū)域(例如中心附近的 圖像區(qū)域)的圖像處理。例如，基于相鄰拍攝圖像之間的運動量和運動方向，圖像組合單 元240檢測從全景圖像拍攝操作開始到全景圖像拍攝操作結(jié)束、拍攝圖像之間的運動方向 (例如，水平方向)。然后，圖像組合單元240基于檢測到的運動方向?qū)M合圖像430執(zhí)行 修剪處理，以生成全景圖像431。在圖6C中，與拍攝圖像401至404相對應(yīng)的矩形由虛線表 示，并且通過修剪處理生成的全景圖像431由粗線矩形表示。應(yīng)當(dāng)注意，在從全景圖像拍攝操作開始到全景圖像拍攝操作結(jié)束的拍攝圖像之間的運動方向有傾斜的情況下，圖像組合 單元240例如根據(jù)運動方向在傾斜方向上應(yīng)用修剪處理。以這種方式產(chǎn)生傾斜的情況例如 被設(shè)想為以下情況攝影者沒有保持圖像拍攝裝置100水平，圖像拍攝操作是在圖像拍攝 裝置100傾斜的同時進行的，等等。應(yīng)當(dāng)注意，根據(jù)本發(fā)明的第一實施例，說明了這樣一個例子當(dāng)圖像拍攝裝置100 的位置被設(shè)定為基準時，在攝影者在水平方向上移動圖像拍攝裝置100的同時，生成了全 景圖像。然而，例如，可以通過向圖像拍攝裝置100設(shè)置一用于旋轉(zhuǎn)圖像拍攝裝置100的驅(qū) 動單元并利用該驅(qū)動單元在水平方向上移動圖像拍攝裝置100，來生成全景圖像。例如可以 使用步進電機等等來作為該驅(qū)動單元的驅(qū)動源。另外，例如，可以使用通過提取各幅拍攝圖 像中的特征點并重疊該特征點來連接各幅拍攝圖像的全景圖像生成方法。另外，在此例子中，說明了這樣一個例子通過圖像分析來檢測用于生成全景圖像 的拍攝圖像之間的運動量和運動方向。然而，例如，通過使用諸如陀螺儀傳感器之類的角加 速度傳感器檢測圖像拍攝裝置100的姿態(tài)的變化量并基于這個檢測到的變化量檢測拍攝 圖像之間的運動量和運動方向，從而可以使用該運動量和運動方向。例如可以使用用于實 現(xiàn)相機抖動防止功能的傳感器來作為角加速度傳感器。通過以這種方式使用角加速度傳感 器，即使在運動量檢測單元230沒有準確地檢測出運動量和運動方向的情況下，也可以檢 測相鄰拍攝圖像之間的相對位置。這里，例如，設(shè)想全景圖像431被記錄為一個圖像文件的情況。例如，在一個圖像 文件基于Exif被記錄在記錄介質(zhì)上的情況下，基本上，一條方位信息被記錄在一個圖像文 件中。因此，例如，類似地，在全景圖像431的圖像文件基于Exif被記錄在記錄介質(zhì)上的情 況下，一條方位信息被記錄在一個圖像文件中。例如，可以設(shè)定相對于圖像的中心位置獲得 的方位，來作為以這種方式記錄在圖像文件中的方位信息。例如，通過把相對于圖像的中心 位置獲得的方位記錄在圖像文件中作為方位信息，可以在圖像的水平方向上的中心位置被 設(shè)定為基準的同時顯示圖像。鑒于此，根據(jù)本發(fā)明的第一實施例，說明了這樣一個例子全景圖像中的代表性位 置被設(shè)定為全景圖像中包含的被攝物的中心位置，并且相對于該中心位置獲得的方位被記 錄在圖像文件中。這里，例如設(shè)想這樣一種情況相對于構(gòu)成全景圖像431的拍攝圖像401至404中 的中心位置421至424獲得方位，并且將這樣獲得的方位中的任何一個記錄在圖像文件中 作為全景圖像431的方位。在此情況下，如圖6C所示，這些方位(中心位置421至424處的 方位)之中的任何一個是在與全景圖像431中的中心位置432不同的位置處獲得的方位。 鑒于此，在下文中，將說明這樣一個例子計算全景圖像中的代表性位置(例如，中心位置) 處的方位。全景圖像中的代表性位置處的方位的計算例子圖7示意性地示出了根據(jù)本發(fā)明第一實施例從上方看圖像拍攝單元211的設(shè)備 特性和圖像拍攝單元211所生成的拍攝圖像之間的關(guān)系的情況。在圖7中，圖像拍攝單元 211所生成的拍攝圖像的水平方向上的圖像拍攝范圍450由一矩形示意性地表示為圖像拍 攝范圍450。另外，圖像拍攝單元211設(shè)有圖像拍攝元件441和透鏡442。應(yīng)當(dāng)注意，在圖 7中，圖像拍攝元件441由一矩形示意性地表示，透鏡442由一橢圓示意性地表示。
例如，當(dāng)來自圖像拍攝范圍450中包含的被攝物的入射光經(jīng)由透鏡442進入圖像 拍攝元件441時，與圖像拍攝范圍450中包含的被攝物相對應(yīng)的拍攝圖像被成像在圖像拍 攝元件441上。在被攝物的拍攝圖像以這種方式被成像在圖像拍攝元件441上的情況下， 在圖像拍攝元件441上成像的拍攝圖像的水平方向上的長度被設(shè)定為焦平面的寬度w，并 且焦距被設(shè)定為透鏡焦距f。在此情況下，焦平面的寬度w、透鏡焦距f、圖像拍攝范圍的寬 度Dw、被攝物距離Df以及視場角度θ確立了圖7所示的關(guān)系。另外，此情況下的視場角度 θ可通過利用以下式1來獲得。θ = (180/π) XZtarr1(WZ^f) [deg]…式 1這里，焦平面的寬度w和透鏡焦距f是作為圖像拍攝單元211的設(shè)備特性獲得的 特性值，并且這些值依據(jù)圖像拍攝裝置的型號而變。在下文中，將說明這樣一個例子利用 圖像拍攝單元的該設(shè)備特性來計算全景圖像中的代表性位置處的方位。圖8A和8B示出了根據(jù)本發(fā)明第一實施例的全景信息計算單元280對全景圖像中 的代表性位置的方位計算方法的概況。圖8A示出了全景圖像431。應(yīng)當(dāng)注意，全景圖像431 類似于圖6C所示的全景圖像431。在此例子中，將說明這樣一個例子利用相對于在生成 全景圖像時第一次生成的拍攝圖像401所獲得的方位，來計算全景圖像中的代表性位置處 的方位。例如，根據(jù)圖8A所示的例子，將說明這樣一個例子利用相對于拍攝圖像401的中 心位置421所獲得的方位，來計算全景圖像431中的中心位置432處的方位。這里，當(dāng)生成全景圖像431時第一次生成的拍攝圖像401的水平方向上的長度被 設(shè)定為H。另外，從相對于拍攝圖像401獲得方位的位置(拍攝圖像401的中心位置421) 到全景圖像431中的中心位置432的距離被設(shè)定為HI。另外，全景圖像431的水平方向上 的長度被設(shè)定為H0。這些長度例如可由水平方向上的像素數(shù)目(即，水平分辨率)來表示。圖8B示出了在構(gòu)成全景圖像431的拍攝圖像401至404被生成的情況下圖像拍 攝裝置100的圖像拍攝操作狀態(tài)的轉(zhuǎn)變。應(yīng)當(dāng)注意，圖8B所示的例子與圖5B所示的例子 基本相同。因此，共同的部分被賦予相同的標號，并且對其的描述將被省略。在圖8B中，與圖8A所示的HO、Hl和H相對應(yīng)的部分分別被賦予相同的標號。這 里，當(dāng)由相對于拍攝圖像401中的中心位置421獲得的方位和全景圖像431的中心位置432 處的方位所限定的角度被設(shè)定為θ 1時，角度θ 1可利用以下式2來獲得。θ 1 = ( θ/H) XHl...式 2這里，可利用上述的式1來獲得視場角度θ。另外，可以根據(jù)圖像拍攝單元211的 特性信息來識別H。利用這樣計算出的θ 1，可以計算全景圖像431的中心位置432處的方 位。更具體而言，當(dāng)圖像拍攝裝置100的位置被設(shè)定為基準時，相對于拍攝圖像401的中心 位置421所獲得的方位被旋轉(zhuǎn)θ 1的情況下的值被計算，作為全景圖像431的中心位置432 處的方位。例如，作為在圖像拍攝時圖像拍攝裝置100的位置(圖像拍攝位置)被設(shè)定為基 準的情況下的方位(東、西、南、北)，北被設(shè)定為O度(360度)，東被設(shè)定為90度，南被設(shè) 定為180度，并且西被設(shè)定為270度。在此情況下，例如，在相對于拍攝圖像401的中心位 置421所獲得的方位為270度，并且利用式2計算出的θ 1為40度的情況下，全景圖像431 的中心位置432處的方位被計算為310度。另外，與全景圖像431的圖像拍攝范圍相對應(yīng)的角度(全景角度)被設(shè)定Θ0，角度θ0可利用以下式3來獲得。θ 0 =( θ/H) XHO…式 3這樣計算出的全景圖像431的中心位置處的方位和角度θ 0被記錄在全景圖像 431的圖像文件中。如上所述，利用用于生成全景圖像的一幅拍攝圖像的方位，可以計算出代表性位 置處的方位。因此，在生成全景圖像時，可以抑制在累積拍攝圖像時(所謂的搖攝期間)的 處理負擔(dān)。也就是說，在生成全景圖像時，各個拍攝圖像被臨時保存，并且在臨時保存的拍 攝圖像的數(shù)目較大的情況下處理負擔(dān)變得較大。在此情況下，用于生成全景圖像的各個拍 攝圖像的方位也被依次保存，處理負擔(dān)進一步增大。與之不同，根據(jù)本發(fā)明的第一實施例， 不保存用于生成全景圖像的、除第一拍攝圖像外的拍攝圖像的方位，從而可以抑制在生成 全景圖像時的處理負擔(dān)。另外，例如，在由于攝影者的手工動作而通過搖攝操作來生成全景圖像的情況下 (掃式全景)，在從圖像拍攝操作開始到圖像拍攝操作結(jié)束的時段期間，在許多情況下沒有 確定要生成的全景圖像的大小。例如，由于攝影者的圖像拍攝操作的停止時機、圖像拍攝裝 置100的抖動等等，在圖像拍攝操作期間未識別出全景圖像的中心位置。另外，例如，在攝 影者搖擺圖像拍攝裝置100的方式不令人滿意的情況下，被組合為全景圖像的被攝區(qū)在一 些情況下可能變窄。由于此原因，在圖像拍攝操作期間，在許多情況下沒有確定要生成的全 景圖像的中心位置是哪個位置。與之不同，根據(jù)本發(fā)明的第一實施例，在生成全景圖像時， 在確認了全景圖像的水平方向上的長度之后，識別出了中心位置(代表性位置)。于是，在 計算中心位置處的方位時，可以減小中心位置處的方位的誤差。利用此配置，例如，在全景 圖像被布置在要顯示的地圖上的情況下，由于中心位置處的方位和地圖上的方位可以基本 相互一致地布置，因此可以在適當(dāng)?shù)姆较蛏喜贾萌皥D像。應(yīng)當(dāng)注意，在此例子中，已經(jīng)說明了這樣一個例子利用相對于在生成全景圖像時 第一次拍攝的拍攝圖像所獲得的方位，來計算全景圖像中的代表性位置處的方位。然而，例 如，利用相對于在第二次或之后拍攝的拍攝圖像所獲得的方位，也可計算全景圖像中的代 表性位置處的方位。另外，在此例子中，為了進行描述，全景圖像中的水平方向上的中心位 置被例示為全景圖像中的代表性位置，但是，例如，該實施例也可類似地應(yīng)用到其它位置被 設(shè)定為代表性位置的情況。例如，在全景圖像中包含人臉的情況下，臉部的位置可被設(shè)定為 代表性位置。另外，在包含多個臉部的情況下，在這多個臉部之中具有最高特征量的臉部的 位置可被設(shè)定為代表性位置。圖像拍攝裝置的操作示例圖9是根據(jù)本發(fā)明第一實施例的圖像拍攝裝置100進行的全景圖像記錄處理的處 理過程的流程圖。在此例子中，將說明這樣一個例子在設(shè)定全景圖像拍攝模式并且建立圖 像記錄待用狀態(tài)的情況下，通過快門操作開始全景圖像的生成。首先，判定操作接受單元210是否接受了快門操作(用于指示全景圖像拍攝操作 開始的開始指示操作)(步驟S901)。在未接受快門操作的情況下，繼續(xù)監(jiān)視，直到接受快門 操作為止。在接受了快門操作的情況下(步驟S901)，方位獲得單元212獲得與圖像拍攝方 向有關(guān)的方位(步驟S902)，并且圖像拍攝位置獲得單元213獲得與圖像拍攝位置有關(guān)的圖 像拍攝位置信息(步驟S903)。應(yīng)當(dāng)注意，步驟S902是在權(quán)利要求的范圍中記載的方位獲得步驟的例子。然后，圖像拍攝單元211拍攝被攝物的圖像以生成拍攝圖像(步驟S904)，并且所 生成的拍攝圖像被拍攝圖像保存單元220保存(步驟S905)。應(yīng)當(dāng)注意，步驟S904是在權(quán) 利要求的范圍中記載的圖像拍攝步驟的例子。然后，判定操作接受單元210是否接受了快 門操作(用于指示全景圖像拍攝操作結(jié)束的結(jié)束指示操作)(步驟S906)。在未接受快門操 作的情況下，流程返回到步驟S904。在接受了快門操作的情況下(步驟S906)，圖像組合單 元240基于與拍攝圖像保存單元220保存的各幅拍攝圖像有關(guān)的運動量和運動方向，組合 各幅拍攝圖像以生成全景圖像(步驟S907)。應(yīng)當(dāng)注意，步驟S907是在權(quán)利要求的范圍中 記載的圖像組合步驟的例子。然后，中心位置計算單元260計算由圖像組合單元240生成的全景圖像中的中心 位置(步驟S908)。應(yīng)當(dāng)注意，步驟S908是在權(quán)利要求的范圍中記載的代表性位置計算步 驟的例子。然后，全景信息計算單元280計算由圖像組合單元240生成的全景圖像的方位 和全景角度(步驟S909)。應(yīng)當(dāng)注意，步驟S909是在權(quán)利要求的范圍中記載的方位計算步 驟的例子。然后，記錄控制單元290把由圖像組合單元240生成的全景圖像和由全景信息 計算單元280計算出的方位和全景角度作為為圖像文件記錄在圖像存儲單元200中(步驟 S910)。在此情況下，例如，進行分辨率轉(zhuǎn)換并且執(zhí)行基于JPEG格式的壓縮，以記錄圖像文 件。然后，全景圖像記錄處理的操作結(jié)束。應(yīng)當(dāng)注意，步驟S910是在權(quán)利要求的范圍中記 載的記錄控制步驟的例子。全景圖像方位計算的修改例在上文中，已經(jīng)描述了在圖像拍攝裝置100的位置被設(shè)定為基準的同時，攝影者 執(zhí)行圖像拍攝裝置100的搖攝操作以生成全景圖像的情況下的方位計算示例。然而，例如 也設(shè)想了通過在與被攝物基本平行的直線上移動圖像拍攝裝置100來生成全景圖像的情 況。在以這種方式生成全景圖像的情況下，在用于生成全景圖像的各個拍攝圖像的圖像拍 攝位置中，圖像拍攝裝置100的光軸上的方位基本彼此相等。由于此原因，不執(zhí)行上述的方 位計算，相對于拍攝圖像中的任何一個的方位都可被用作全景圖像中的代表性位置處的方 位。鑒于此，在下文中，將描述根據(jù)全景圖像的圖像拍攝操作來改變?nèi)皥D像中的代表性位 置處的方位的確定方法的例子。圖IOA和IOB示意性地示出了根據(jù)本發(fā)明第一實施例當(dāng)圖像拍攝裝置100生成全 景圖像時的圖像拍攝操作。圖IOA示意性地示出了從上方看，在圖像拍攝裝置100的位置 被設(shè)定為旋轉(zhuǎn)中心的同時，通過在水平方向上旋轉(zhuǎn)圖像拍攝裝置100來生成全景圖像的圖 像拍攝操作的狀態(tài)。應(yīng)當(dāng)注意，圖IOA所示的例子與圖5B所示的例子相同，因此此次將省 略對其的描述。圖IOB示意性地示出了從上方看，通過在與被攝物基本平行的直線460上移動圖 像拍攝裝置100來生成全景圖像的圖像拍攝操作的狀態(tài)。圖IOB所示的圖像拍攝操作例如 是在與行進方向465垂直的方向被設(shè)定為圖像拍攝裝置100的光軸的同時，通過使用諸如 車輛之類的能夠以恒定速度移動的移動裝置來執(zhí)行的全景圖像的圖像拍攝操作。例如，手 持圖像拍攝裝置100的人乘坐于其上的車輛以恒定速度在行進方向465上移動。在此情況 下，如圖IOB所示，圖像拍攝裝置100的位置被依次改變，但是圖像拍攝裝置100的光軸為 恒定方位。由于此原因，相對于拍攝圖像461至464的中心位置471至474獲得的方位之中的任何一個都可被用作通過圖像拍攝操作生成的多個拍攝圖像構(gòu)成的全景圖像中的代 表性位置處的方位。這里，設(shè)想進行俯仰(tilting)操作的情況。例如，俯仰操作是在垂直方向上以圖 像拍攝裝置100的位置為中心旋轉(zhuǎn)圖像拍攝裝置100的操作。由于此原因，可以生成在垂 直方向上拉長的全景圖像。另外，在此情況下，如果在垂直方向上以小于90度進行旋轉(zhuǎn)操 作，則圖像拍攝裝置100的姿態(tài)被改變，但圖像拍攝裝置100的光軸為恒定方位。鑒于此， 相對于用于生成全景圖像的各拍攝圖像獲得的方位之中的任何一個都可被用作通過俯仰 操作生成的全景圖像中的代表性位置處的方位。鑒于此，在此情況下，根據(jù)全景圖像的圖像 拍攝操作，改變?nèi)皥D像中的代表性位置處的方位的確定方法。這里，例如，在進行搖攝操作或俯仰操作的情況下，在操作時不改變圖像拍攝位 置，而只改變圖像拍攝裝置100的姿態(tài)。由于此原因，相對于時間軸上的第一個拍攝圖像獲 得的圖像拍攝位置基本上與相對于時間軸上的最后一個拍攝圖像獲得的圖像拍攝位置相 同。與之不同，例如，如圖IOB所示，在通過在直線460上移動圖像拍攝裝置100來生成全 景圖像的情況下，移動了圖像拍攝裝置100。由于此原因，相對于時間軸上的第一個拍攝圖 像獲得的圖像拍攝位置和相對于時間軸上的最后一個拍攝圖像獲得的圖像拍攝位置彼此 不同。另外，例如，在進行搖攝操作的情況下，在操作時改變方位。由于此原因，相對于時 間軸上的第一個拍攝圖像獲得的方位和相對于時間軸上的最后一個拍攝圖像獲得的方位 彼此不同。與之不同，在進行俯仰操作的情況下，在操作時基本上不改變方位。由于此原 因，相對于時間軸上的第一個拍攝圖像獲得的方位與相對于時間軸上的最后一個拍攝圖像 獲得的方位基本相同。另外，例如，如圖IOB所示，在通過移動圖像拍攝裝置100來生成全景圖像的情況 下，移動是在圖像拍攝裝置100的光軸朝著同一方向的狀態(tài)中進行的，因此相對于各幅拍 攝圖像獲得的方位基本相同。因此，相對于時間軸上的第一個拍攝圖像獲得的方位與相對 于時間軸上的最后一個拍攝圖像獲得的方位基本相同。與之不同，即使在通過移動圖像拍 攝裝置100來生成拍攝圖像的某一情況下，也假定不使用這些拍攝圖像來生成全景圖像。 例如，假定在通過移動圖像拍攝裝置100朝著各種方位的時候進行圖像拍攝操作。在此情 況下，預(yù)期相對于時間軸上的第一個拍攝圖像獲得的方位不同于相對于時間軸上的最后一 個拍攝圖像獲得的方位。鑒于此，在用于生成全景圖像的各幅拍攝圖像之中，基于相對于時間軸上的第一 個拍攝圖像和最后一個拍攝圖像獲得的方位和圖像拍攝位置，圖像拍攝操作判定單元270 判定圖像拍攝裝置100的圖像拍攝操作狀態(tài)。例如，圖像拍攝操作判定單元270將相對于時間軸上的第一個拍攝圖像獲得的圖 像拍攝位置(緯度和經(jīng)度)與相對于時間軸上的最后一個拍攝圖像獲得的圖像拍攝位置相 比較。作為該比較的結(jié)果，在兩個圖像拍攝位置彼此基本相同的情況下，假定為進行搖攝操 作或俯仰操作的情況。因此，圖像拍攝操作判定單元270比較相對于時間軸上的第一個拍 攝圖像和最后一個拍攝圖像獲得的兩個方位，并且在這兩個方位彼此不同的情況下，判定 進行了搖攝操作。另一方面，在這兩個方位彼此基本相同的情況下，判定進行了俯仰操作。另外，作為比較相對于時間軸上的第一個拍攝圖像和最后一個拍攝圖像獲得的兩個圖像拍攝位置的結(jié)果，在兩個圖像拍攝位置彼此不同的情況下，假定為通過移動圖像拍 攝裝置100來生成全景圖像的情況。鑒于此，圖像拍攝操作判定單元270比較相對于時間 軸上的第一個拍攝圖像和最后一個拍攝圖像獲得的兩個方位，并且在這兩個方位彼此基本 相同的情況下，判定進行了圖IOB所示的圖像拍攝操作。另一方面，在這兩個方位彼此不同 的情況下，判定在與生成全景圖像的圖像拍攝模式不同的圖像拍攝模式中進行了圖像拍攝 操作?；谶@些判定結(jié)果，全景信息計算單元280確定全景圖像中的代表性位置處的方 位。例如，在判定進行了搖攝操作的情況下，全景信息計算單元280通過上述方位計算方法 計算方位，并且將這個計算出的方位確定為全景圖像中的代表性位置處的方位。另外，例 如，在判定進行了俯仰操作或圖IOB的圖像拍攝操作的情況下，全景信息計算單元280把相 對于通過圖像拍攝操作生成的各幅拍攝圖像獲得的方位之中的任何一個確定為全景圖像 中的代表性位置處的方位。以這種方式，圖像拍攝操作判定單元270判定圖像拍攝裝置100的圖像拍攝操作 狀態(tài)，并且基于該判定結(jié)果，確定全景圖像中的代表性位置處的方位。利用此配置，即使在 攝影者進行全景圖像的各種圖像拍攝操作的情況下，也可以確定要記錄在運動圖片文件中 的、根據(jù)圖像拍攝操作的適當(dāng)方位。在此例子中，已經(jīng)說明了這樣一個例子在用于生成全景圖像的各幅拍攝圖像之 中，利用相對于時間軸上的第一個拍攝圖像和最后一個拍攝圖像獲得的方位和圖像拍攝位 置，來判定圖像拍攝裝置100的圖像拍攝操作。然而，例如，利用諸如陀螺儀傳感器之類的 姿態(tài)檢測傳感器，也可以判定圖像拍攝裝置100的圖像拍攝操作狀態(tài)。圖像拍攝裝置的操作示例圖11是根據(jù)本發(fā)明第一實施例的圖像拍攝裝置100進行的全景圖像記錄處理的 處理過程的流程圖。此示例是圖9所示的全景圖像記錄處理的修改例，并且是根據(jù)圖像拍 攝裝置100的圖像拍攝操作狀態(tài)來確定全景圖像中的代表性位置處的方位的例子。由于此 原因，與圖9所示的處理過程相同的部分被賦予相同的標號，并且對其的描述將被省略。在接受了快門操作的情況下(步驟S901)，方位獲得單元212獲得與圖像拍攝方向 有關(guān)的方位(SD)(步驟S902)，并且圖像拍攝位置獲得單元213獲得與圖像拍攝位置(SG) 有關(guān)的圖像拍攝位置信息(步驟S903)。然后，在接受了快門操作的情況下(步驟S906)，方位獲得單元212獲得與圖像拍 攝方向有關(guān)的方位(ED)(步驟S911)，并且圖像拍攝位置獲得單元213獲得與圖像拍攝位置 (EG)有關(guān)的圖像拍攝位置信息(步驟S912)。然后，在圖像組合單元240生成全景圖像之 后(步驟S907)，圖像拍攝操作判定單元270比較圖像拍攝位置(SG)與圖像拍攝位置(EG) (步驟 S913)。在圖像拍攝位置(SG)與圖像拍攝位置(EG)基本相同的情況下(步驟S913)，圖像 拍攝操作判定單元270比較方位(SD)與方位(ED)(步驟S914)。在方位(SD)與方位(ED) 完全不同的情況下(步驟S914)，圖像拍攝操作判定單元270判定進行了搖攝操作，并且流 程前進到步驟S908。另一方面，在方位(SD)與方位(ED)基本相同的情況下(步驟S914)， 圖像拍攝操作判定單元270判定進行了俯仰操作，并且流程前進到步驟S916。另一方面，在圖像拍攝位置(SG)與圖像拍攝位置(EG)有很大不同的情況下(步驟S913)，圖像拍攝操作判定單元270比較方位(SD)與方位(ED)(步驟S915)。在方位(SD) 與方位(ED)完全不同的情況下(步驟S914)，圖像拍攝操作判定單元270判定在與生成全 景圖像的圖像拍攝模式不同的圖像拍攝模式中進行了圖像拍攝操作，并且流程前進到步驟 S910。另一方面，在方位(SD)與方位(ED)基本相同的情況下(步驟S915)，圖像拍攝操作 判定單元270判定進行了圖10B所示的圖像拍攝操作。然后，全景信息計算單元280把相 對于構(gòu)成全景圖像的各幅拍攝圖像獲得的方位之中的任何一個確定為全景圖像中的代表 性位置處的方位(步驟S916)。然后，記錄控制單元290把由圖像組合單元240生成的全景圖像和由全景信息計 算單元280輸出的元信息作為圖像文件記錄在圖像存儲單元200中(步驟S910)，并且全景 圖像記錄處理的操作結(jié)束。2.第二實施例根據(jù)本發(fā)明的第一實施例，已經(jīng)說明了在生成全景圖像時計算全景圖像中的代表 性位置處的方位的例子。這里，全景圖像在許多情況下成為了在水平方向上或在垂直方向 上拉長的圖像，因此預(yù)計不適合于特定的應(yīng)用(例如，打印等等)。因此，在圖像拍攝裝置所 記錄的全景圖像被用于特定應(yīng)用的情況下，例如，修剪處理在一些情況下被執(zhí)行，以用于提 取全景圖像的一部分并把所提取的這部分圖像設(shè)定為圖像文件。例如，假定這樣一種情況 其中，對在水平方向上拉長的全景圖像執(zhí)行修剪處理。例如，在提取在水平方向上拉長的全 景圖像的水平方向上的一端部附近的圖像的情況下，與這個提取的圖像中包含的被攝物有 關(guān)的方位預(yù)計與全景圖像中的中心位置處的方位有很大不同。也就是說，由于從全景圖像 中提取的圖像的位置偏離了中心位置，因此預(yù)計在被攝物的方位中將會產(chǎn)生很大的誤差。鑒于此，根據(jù)本發(fā)明的第二實施例，為了避免以這種方式在方位中產(chǎn)生誤差，說明 這樣一個例子基于通過修剪處理提取的圖像(修剪圖像)的中心位置以及與全景圖像的 中心位置的差異，來計算修剪處理的方位。另外，例如，由于可通過這種方式的計算來獲得全景圖像中的任意位置處的方位， 因此可以從全景圖像中提取出中心位置處的方位變成特定方位的圖像。該特定方位例如可 被設(shè)定為以90度為單位的方位，比如東、西、南、北，或者以45度為單位的方位，比如西南，
東北等等o另外，例如，在方位被設(shè)定為基準的同時，可以從全景圖像中提取出特定對象(例 如，人臉)所在位置處的周圍圖像。應(yīng)當(dāng)注意，根據(jù)本發(fā)明第二實施例的內(nèi)部配置與根據(jù)本發(fā)明第一實施例的圖像拍 攝裝置100基本相同，因此這里將省略對其的描述。另外，在下文中，與圖像拍攝裝置100 共同的部分被賦予相同的標號，并且對其的描述將被省略。將主要描述與圖像拍攝裝置100 不同之處。圖像拍攝裝置的功能配置例圖12是根據(jù)本發(fā)明第二實施例的圖像拍攝裝置500的功能配置示例的框圖。圖 像拍攝裝置500設(shè)有圖像存儲單元200、操作接受單元210、圖像文件獲得單元510、元信息 獲得單元520、特定方位位置計算單元530以及特定對象方位計算單元540。另外，圖像拍 攝裝置500設(shè)有圖像提取單元550、方位計算單元560、顯示控制單元570、顯示單元580以 及記錄控制單元590。
圖像存儲單元200被配置為存儲圖像文件并把所存儲的圖像文件提供給圖像文 件獲得單元510。另外，基于記錄控制單元590的控制，圖像存儲單元200以圖像文件的形 式存儲從圖像提取單元550輸出的圖像以及與該圖像有關(guān)的各條信息。應(yīng)當(dāng)注意，圖像存 儲單元200對應(yīng)于圖2所示的圖像存儲單元200。操作接受單元210是用于接受來自用戶的操作輸入并且根據(jù)所接受的操作輸入 把操作內(nèi)容輸出到各個單元的操作接受單元。例如，在設(shè)定了全景圖像顯示模式的情況下， 當(dāng)接受了顯示全景圖像的顯示指示操作時，操作接受單元210把該操作內(nèi)容輸出到圖像文 件獲得單元510。另外，例如，在顯示諸如全景圖像之類的圖像的情況下，當(dāng)接受了指示對所 顯示圖像的諸如放大或縮小之類的顯示改變的指示操作時，操作接受單元210把該操作內(nèi) 容輸出到顯示控制單元570。另外，例如，在顯示全景圖像的情況下，當(dāng)接受了用于方位指示 顯示的指示操作時，操作接受單元210把該操作內(nèi)容輸出到特定方位位置計算單元530或 特定對象方位計算單元540。另外，例如，在顯示特定方位的情況下，當(dāng)接受了選擇特定方位 之中的任何一個的選擇操作時，操作接受單元210把該操作內(nèi)容輸出到圖像提取單元550。 另外，例如，在顯示從全景圖像中提取出的圖像的情況下，當(dāng)接受了把該圖像記錄為新圖像 文件的記錄指示操作時，操作接受單元210把該操作內(nèi)容輸出到記錄控制單元590。例如， 在顯示從全景圖像中提取出的圖像的情況下，當(dāng)接受了用于修剪處理的指示操作時，操作 接受單元210把該操作內(nèi)容輸出到圖像提取單元550。應(yīng)當(dāng)注意，操作接受單元210對應(yīng)于 圖2所示的操作接受單元210。根據(jù)操作接受單元210所接受的操作輸入，圖像文件獲得單元510獲得存儲在圖 像存儲單元200中的圖像文件并把所獲得的圖像文件的內(nèi)容提供給各個單元。例如，圖像 文件獲得單元510把所獲得的圖像文件的全景圖像輸出到圖像提取單元550和顯示控制單 元570。該全景圖像被解碼并經(jīng)過分辨率轉(zhuǎn)換，然后輸出。另外，圖像文件獲得單元510把 所獲得的圖像文件的元信息輸出到元信息獲得單元520。應(yīng)當(dāng)注意，圖像文件獲得單元510 對應(yīng)于圖1所示的分辨率轉(zhuǎn)換單元120、圖像壓縮解壓單元130、CPU 160以及可移動介質(zhì) 控制器191。元信息獲得單元520被配置為獲得從圖像文件獲得單元510輸出的元信息并把所 獲得的元信息的內(nèi)容輸出到各個單元。例如，元信息獲得單元520把所獲得的元信息的內(nèi) 容輸出到特定方位位置計算單元530、特定對象方位計算單元540、方位計算單元560以及 記錄控制單元590。應(yīng)當(dāng)注意，元信息獲得單元520對應(yīng)于圖1所示的CPU 160。根據(jù)操作接受單元210所接受的操作輸入，基于從元信息獲得單元520輸出的元 信息，特定方位位置計算單元530檢測全景圖像中的特定方位以及該特定方位在全景圖像 中的位置。然后，特定方位位置計算單元530把檢測到的全景圖像中的特定方位輸出到顯 示控制單元570。另外，特定方位位置計算單元530把檢測到的全景圖像中的特定方位以及 該位置輸出到圖像提取單元550。將參考圖17A、17B、18A和18B詳細描述全景圖像中的該 特定方位以及該位置的檢測方法。應(yīng)當(dāng)注意，特定方位位置計算單元530對應(yīng)于圖1所示 的 CPU 160。根據(jù)操作接受單元210所接受的操作輸入，基于從元信息獲得單元520輸出的元 信息，特定對象方位計算單元540被配置為檢測全景圖像中包含的特定對象的位置和方 位。然后，特定對象方位計算單元540把檢測到的特定對象的方位輸出到顯示控制單元570。另外，特定對象方位計算單元540把全景圖像中包含的特定對象的位置和方位輸出到 圖像提取單元550。應(yīng)當(dāng)注意，在此例子中，說明了基于在生成全景圖像時記錄的元信息來 檢測特定對象的例子，但是，例如，也可以通過圖像分析(例如，圖2所示的臉部檢測單元 250進行的臉部處理)從全景圖像中檢測特定對象。應(yīng)當(dāng)注意，特定對象方位計算單元540 對應(yīng)于圖1所示的CPU 160。另外，特定對象方位計算單元540是在權(quán)利要求的范圍中記載 的特定對象檢測單元的一部分。根據(jù)操作接受單元210所接受的操作輸入，圖像提取單元550被配置為提取從圖 像文件獲得單元510輸出的全景圖像中的一部分圖像，并把所提取的圖像輸出到顯示控制 單元570和記錄控制單元590。另外，例如，根據(jù)操作接受單元210所接受的操作輸入，圖 像提取單元550把所提取的圖像在全景圖像中的位置輸出到方位計算單元560。另外，根 據(jù)操作接受單元210所接受的操作輸入，圖像提取單元550提取從特定方位位置計算單元 530輸出的、全景圖像中的特定方位的位置處的周圍圖像，并把該周圍圖像和特定方位輸出 到記錄控制單元590。另外，根據(jù)操作接受單元210所接受的操作輸入，圖像提取單元550 提取從特定對象方位計算單元540輸出的、全景圖像中包含的特定被攝物的位置處的周圍 圖像，并把該周圍圖像和特定方位輸出到記錄控制單元590。將參考圖13A和13B至圖20A 和20B等等來詳細描述這些圖像提取方法。應(yīng)當(dāng)注意，圖像提取單元550對應(yīng)于圖1所示 的 CPU 160。方位計算單元560被配置為基于從元信息獲得單元520輸出的元信息以及由圖像 提取單元550提取的圖像在全景圖像中的位置，來計算所提取圖像中的代表性位置處的方 位。然后，方位計算單元560把計算出的方位輸出到記錄控制單元590。應(yīng)當(dāng)注意，將參考 圖14A和14B等等來詳細描述所提取圖像中的代表性位置處的方位的計算方法。應(yīng)當(dāng)注意， 方位計算單元560對應(yīng)于圖1所示的CPU 160。根據(jù)操作接受單元210所接受的操作輸入，顯示控制單元570在顯示單元580上 顯示各種圖像。例如，根據(jù)操作接受單元210所接受的操作輸入，顯示控制單元570在顯示 單元580上顯示從圖像文件獲得單元510輸出的全景圖像。另外，根據(jù)操作接受單元210 所接受的操作輸入，顯示控制單元570在顯示單元580上顯示從圖像提取單元550輸出的 圖像。另外，根據(jù)操作接受單元210所接受的操作輸入，顯示控制單元570在顯示單元580 上顯示從特定方位位置計算單元530輸出的全景圖像中的特定方位或者從特定對象方位 計算單元540輸出的特定對象的方位。將參考圖13A、13B、16A、16B、19A、19B等等來詳細描 述這些顯示例子。應(yīng)當(dāng)注意，顯示控制單元570對應(yīng)于圖1所示的CPU 160和IXD控制器 171。顯示單元580是用于基于顯示控制單元570的控制來顯示各種圖像的顯示單元。 顯示單元580對應(yīng)于圖1所示的IXD 172。根據(jù)操作接受單元210所接受的操作輸入，記錄控制單元590把從圖像提取單元 550輸出的圖像和從方位計算單元560輸出的該圖像中的代表性位置處的方位作為圖像文 件記錄在圖像存儲單元200中。應(yīng)當(dāng)注意，在該圖像文件中，還記錄了從元信息獲得單元 520輸出的元信息的一部分(與所提取圖像有關(guān)的元信息)。另外，圖像文件例如經(jīng)過分辨 率轉(zhuǎn)換并基于JPEG格式被壓縮，以便被記錄。應(yīng)當(dāng)注意，記錄控制單元590對應(yīng)于圖1所 示的分辨率轉(zhuǎn)換單元120、圖像壓縮解壓單元130、CPU 160以及可移動介質(zhì)控制器191。
通過修剪處理提取圖像圖13A和13B示出了根據(jù)本發(fā)明第二實施例的顯示單元580中的顯示畫面的顯示 例子。圖13A示出了用于對全景圖像431執(zhí)行各種處理的主畫面600。在主畫面600上， 例如，在全景圖像的索引畫面(未示出)上，顯示了通過用戶操作選擇的全景圖像431。應(yīng) 當(dāng)注意，全景圖像431與圖6C等等所示的全景圖像431相同。另外，在主畫面600上，主按 鈕601、修剪按鈕602、方位指定顯示按鈕603以及索引顯示按鈕604與全景圖像431 —起 被顯示。應(yīng)當(dāng)注意，對于各幅圖中所示的按鈕而言，添加有對角線的按鈕處于選中狀態(tài)。另 外，在下文中，在進行描述時把選擇各個按鈕的操作稱為按壓。主按鈕601是在顯示用于對全景圖像431執(zhí)行各個處理的各個項目時要按壓的按 鈕。例如，在主畫面600上，當(dāng)主按鈕601被按壓時，在主按鈕601的右側(cè)，顯示出修剪按鈕 602、方位指定顯示按鈕603和索引顯示按鈕604。修剪按鈕602是在對全景圖像431執(zhí)行修剪處理時要按壓的按鈕。將參考圖14A、 14B以及15A至15C來詳細描述該修剪處理。方位指定顯示按鈕603是在通過相對于全景圖像431指定方位來顯示與處于指定 方位的位置相對應(yīng)的被攝物時要按壓的按鈕。將參考圖16A和16B至圖20A和20B來詳細 描述該方位指定顯示。索引顯示按鈕604是在顯示用于選擇要顯示在主畫面600上的全景圖像的索引畫 面時要按壓的按鈕。例如，在主畫面600被顯示在顯示單元580上的狀態(tài)中，當(dāng)按壓主按鈕601，然后按 壓修剪按鈕602時，圖13B所示的修剪處理畫面610被顯示。修剪處理畫面610是用于對 顯示在圖13A所示的主畫面600上的全景圖像431進行修剪處理的畫面。在修剪處理畫面 610上，與全景圖像431 —起顯示了確定按鈕605和返回按鈕606。確定按鈕605是在確定通過修剪處理要提取的圖像的范圍時要按壓的按鈕。返回 按鈕606是在畫面返回到圖13A所示的主畫面600時要按壓的按鈕。這里，將描述在圖13B所示的修剪處理畫面610上指定通過修剪處理要提取的圖 像的范圍的指定操作。例如，如圖13B所示，將描述矩形611中的圖像被指定為通過修剪處 理要提取的圖像的情況。例如，在觸摸面板被用作顯示單元580的情況下，隨著用戶用手指 描繪與矩形611相當(dāng)?shù)姆秶?，可以指定矩?11。另外，隨著用戶用手指按壓矩形611中的 區(qū)域的中心位置并根據(jù)按壓次數(shù)依次放大矩形的范圍，可以指定矩形611。另外，隨著用戶 用手指按壓形成矩形611的對角的兩點，可以用兩個手指指定矩形611。以這種方式，在指定了作為提取對象的圖像的范圍并且對這個指定的圖像執(zhí)行修 剪處理的情況下，用戶按壓確定按鈕605以確定作為提取對象的圖像的范圍。以這種方式， 當(dāng)執(zhí)行了確定作為提取對象的圖像的范圍的操作輸入時，圖像提取單元550提取所確定的 范圍中包含的圖像。然后，記錄控制單元590把所提取的圖像(修剪圖像)作為新的圖像 文件記錄在圖像存儲單元200中。這里，與作為新圖像文件記錄的修剪圖像有關(guān)的方位在 許多情況下不同于全景圖像中的代表性位置處的方位。鑒于此，在下文中，將描述要被記錄 在這樣提取的修剪圖像的圖像文件中的方位的計算方法。修剪圖像的方位計算例子
圖14A和14B示出了根據(jù)本發(fā)明第二實施例的方位計算單元560對修剪圖像中的 代表性位置的方位計算方法的概況。圖14A示出了全景圖像431。應(yīng)當(dāng)注意，全景圖像431 是與圖8A所示的全景圖像431相同的全景圖像，并且共同的部分被賦予相同的標號。在此 例子中，說明這樣一個例子利用在生成全景圖像時第一次生成的拍攝圖像的水平方向上 的寬度來計算修剪圖像中的代表性位置處的方位。例如，根據(jù)圖16A所示的例子，說明這樣 一個例子利用相對于拍攝圖像401中的中心位置421獲得的方位來計算矩形611中的圖 像的中心位置433的方位。這里，從全景圖像431的中心位置432到矩形611中的圖像的 中心位置433的距離被設(shè)定為距離H2。圖14B示出了在生成構(gòu)成全景圖像431的拍攝圖像401至404的情況下圖像拍攝 裝置100的圖像拍攝操作狀態(tài)的轉(zhuǎn)變。應(yīng)當(dāng)注意，圖14B所示的例子與圖8B所示的例子基 本相同。因此，共同的部分被賦予相同的標號，并且對其的描述將被省略。在圖14B中，與圖14A所示的H、HO、HI和H2相對應(yīng)的部分分別被賦予相同的標 號。這里，由全景圖像431中的中心位置432和矩形611中的圖像的中心位置433所限定 的角度被設(shè)定為9 2，角度0 2可利用以下式4來獲得。e 2 = ( e/H) XH2…式 4這里，可利用上述的式1來獲得視場角度e。利用這樣計算出的e 2，可計算出矩 形611中的圖像的中心位置433處的方位。更具體而言，在圖像拍攝裝置500的位置被設(shè) 定為基準并且全景圖像431中的中心位置432處的方位被旋轉(zhuǎn)0 2的情況下的值被計算為 矩形611中的圖像的中心位置433處的方位。應(yīng)當(dāng)注意，用于識別方位的數(shù)值的計算方法 與圖8A和8B所示的例子類似，因此這里將省略對其的描述。以這種方式，基于圖像拍攝單 元的特性信息、全景圖像中的代表性位置、該代表性位置處的方位以及修剪圖像中的代表 性位置，可以計算出修剪圖像中的代表性位置處的方位。圖15A至15C示意性地示出了根據(jù)本發(fā)明第二實施例由圖像提取單元550生成的 修剪圖像和存儲在圖像存儲單元200中的修剪圖像的圖像文件之間的關(guān)系。圖15A示出了 成為修剪處理的對象的全景圖像431，圖15B示出了從全景圖像431中提取出的修剪圖像 620。圖15C示出了修剪圖像620的圖像文件630。圖像文件630是由圖像提取單元550 生成的修剪圖像的圖像文件，并且記錄了附加信息631和圖像信息632。應(yīng)當(dāng)注意，圖像文 件630的配置類似于圖4所示的圖像文件330，這里將省略對其的詳細描述。例如，由方位 計算單元560計算出的修剪圖像中的中心位置處的方位被記錄作為附加信息331中記錄的 元信息。應(yīng)當(dāng)注意，與圖3A至3C中描述的信息類似的信息可被記錄作為附加信息331中 記錄的元信息。如上所述，可以通過使用全景圖像中的代表性位置處的方位來計算修剪圖像中的 代表性位置處的方位。利用此配置，可以減小修剪圖像中的代表性位置處的方位的誤差。應(yīng)當(dāng)注意，在此例子中，說明了通過利用在生成全景圖像時第一次生成的拍攝圖 像的水平方向上的寬度來計算修剪圖像中的代表性位置處的方位的例子，但是也可利用全 景角度來計算該方位。例如，如圖14B所示，全景圖像431的水平方向上的長度被設(shè)定為H0， 并且全景圖像431的全景角度被設(shè)定為00。另外，當(dāng)由全景圖像431中的中心位置432和 矩形611中的圖像的中心位置433所限定的角度被設(shè)定為0 2時，可利用以下式5來獲得角度9 2。0 2 = ( 0 0/H0) XH2…式 5這里，全景角度0 0可利用上述的式3來獲得，并被記錄在圖4所示的全景圖像 431的圖像文件中。以這種方式，基于全景圖像的水平方向上的大小、全景角度、全景圖像中 的代表性位置、該代表性位置處的方位以及修剪圖像中的代表性位置，可以計算修剪圖像 中的代表性位置處的方位。通過方位指定提取圖像在上文中，已經(jīng)說明了基于用戶的手工操作來指定通過修剪處理提取的圖像的范 圍的例子。這里，在全景圖像的圖像文件中，記錄了全景角度中的中心位置處的方位，因此 可以通過計算來獲得全景圖像中的特定方位(例如，東、西、南、北)。因此，例如，可以基于 特定方位來指定全景圖像中的提取對象范圍。鑒于此，在下文中，將描述這樣一個例子提 取出包含在全景圖像中所含的被攝物之中位于特定方位的被攝物的圖像。圖16A和16B示出了根據(jù)本發(fā)明第二實施例的顯示單元580中的顯示畫面的顯示 例子。圖16A示出了用于指定特定方位的主畫面600。應(yīng)當(dāng)注意，主畫面600上的主按鈕 601、修剪按鈕602、方位指定顯示按鈕603以及索引顯示按鈕604與圖13A所示的例子類似 并且被賦予相同的標號，因此這里將省略對其的描述。另外，在此例子中，將說明這樣一個 例子諸如東、西、南、北、西南、東北之類的以45度為單位的方位被設(shè)定為特定方位。例如，在主畫面600被顯示在顯示單元580上的狀態(tài)中，用戶按壓主按鈕601，然后 按壓方位指定顯示按鈕603。通過對方位指定顯示按鈕603的這個按壓，主畫面600上顯示 的全景圖像431中包含的被攝物的特定方位被檢測到，并且檢測到的特定方位被顯示在特 定方位顯示區(qū)域607上。根據(jù)圖16A所示的例子，例如，將說明“北”和“西北”被檢測為全 景圖像431的特定方位的情況。另外，根據(jù)圖16A所示的顯示例子，中心位置位于被檢測為 全景圖像431的特定方位的“西北”處的圖像的范圍在全景圖像431上由虛線矩形641表 示，并且中心位置位于“北”處的圖像的范圍在全景圖像431上由虛線矩形642表示。將參 考圖17A、17B、18A和18B來詳細描述特定方位的該檢測方法。例如，用戶按壓當(dāng)在主畫面600上按壓方位指定顯示按鈕603之后顯示的特定方 位顯示區(qū)域607中的特定方位“北”和“西北”之中的“西北”的部分。以這種方式，當(dāng)特定 方位顯示區(qū)域607中的特定方位“西北”的部分被按壓時，如圖16B所示，與被按壓的特定 方位“西北”相對應(yīng)的圖像651被顯示在指定方位圖像顯示畫面650上。也就是說，圖16A 所示的全景圖像431中的虛線矩形641中包含的圖像被顯示在指定方位圖像顯示畫面650 上。在此情況下，例如，與對應(yīng)于被按壓的特定方位“西北”的圖像651—起，與特定方位 “西北”有關(guān)的消息(例如，這是西北方向上的被攝物)被顯示在指定方位圖像顯示畫面650 上。另外，與圖像651 —起，修剪按鈕652和返回按鈕653被顯示在指定方位圖像顯示畫面 650 上。修剪按鈕652是在對顯示在指定方位圖像顯示畫面650上的圖像651執(zhí)行修剪處 理時要按壓的按鈕。也就是說，通過按壓修剪按鈕652，對按壓時顯示在指定方位圖像顯示 畫面650上的圖像執(zhí)行修剪處理，記錄該圖像的圖像文件。在此情況下，與該圖像相對應(yīng)的 特定方位被記錄作為該圖像的方位。應(yīng)當(dāng)注意，該修剪處理類似于以上提及的處理，因此這 里將省略對其的描述。返回按鈕653是在畫面返回到圖16A所示的主畫面600時要按壓的按鈕。圖17A和17B示出了根據(jù)本發(fā)明第二實施例由特定方位位置計算單元530進行的 檢測各個特定方位及其位置的特定方位和位置檢測方法的概況。在此例子中，將說明這樣 一個例子利用在生成全景圖像時第一次生成的拍攝圖像的水平方向上的寬度來檢測處于 特定方位的位置。圖17A在圓圈661上示出了在圖像拍攝時圖像拍攝位置660被設(shè)定為基準的情況 下的方位(東、西、南、北)。根據(jù)圖17A和17B所示的例子，將說明這樣一個例子其中，北 被設(shè)定為0度(360度)、東被設(shè)定為90度、南被設(shè)定為180度并且西被設(shè)定為270度的情 況下，諸如東、西、南、北、相南和東北之類的以45度為單位的方位被檢測為特定方位。這些 特定方位由圓圈661上的白圈表示(特定方位662至669)。圖17B示意性地示出了全景圖像670與特定方位662至669之間的關(guān)系。全景圖 像670例如是中心位置處的方位是北662和西北669之間的方位的全景圖像。根據(jù)圖17B 所示的例子，示意性地表示了在將全景圖像670虛擬地布置在圓圈661上并且從上方查看 全景圖像670的情況下的位置關(guān)系。應(yīng)當(dāng)注意，在圖17B所示的圓圈661上，與全景圖像 670相對應(yīng)的范圍由粗線表示。另外，與全景圖像670相對應(yīng)的粗線上的中心位置671和特 定方位是空心的粗圈。這里，全景圖像670中包含的特定方位的數(shù)目如圖17B所示為四個 (特定方位662、663、668和669)。如上所述，可以基于全景圖像670中的中心位置671處 的方位計算任意方位，因此，例如，可以計算全景圖像670中的兩端部分672和673的方位。 鑒于此，例如，通過計算全景圖像670中的兩端部分672和673的方位，可以計算存在于兩 端部分672和673的方位之間的特定方位。然后，計算這樣檢測到的特定方位在全景圖像 670中的位置。例如，全景圖像670的水平方向上的長度被設(shè)定為H0，并且全景圖像670中 的中心位置671與處于特定方位(北)的位置662之間的水平方向上的距離被設(shè)定為H3。 另外，在圖像拍攝位置660被設(shè)定為基準的情況下中心位置671的方位和北所限定的角度 被設(shè)定為角度0 3。另外，當(dāng)生成全景圖像670時第一次生成的拍攝圖像的水平方向上的長 度被設(shè)定為H。然后，利用下式6計算中心位置671與北的位置622之間的水平方向上的距 離H3。H3 = 6 3/(6 /H)…式 6這里，可以利用上述的式1來獲得視場角度9。基于這樣計算出的距離H3和全景 圖像670中的中心位置671，檢測出全景圖像670中處于特定方位(北)的位置662。利用 這樣檢測到的處于特定方位(北)的位置662，在全景圖像670中包含的被攝物之中，圖像 拍攝裝置500可以顯示在朝著北向的狀態(tài)中拍攝的被攝物。例如，在圖像拍攝裝置500顯 示在朝著北方向的狀態(tài)中拍攝的被攝物的情況下，圖像提取單元550提取出全景圖像670 中包括處于特定方位(北)的位置662在內(nèi)的一定范圍中包含的被攝物。然后，這個提取 出的圖像被顯示在顯示單元580上。另外，也可類似地檢測存在于全景圖像670上的其他 特定方位。應(yīng)當(dāng)注意，在此例子中，已經(jīng)說明這樣一個例子其中，檢測存在于全景圖像670 中的兩端部分672和673之間的特定方位，并且檢測與這個檢測到的特定方位相對應(yīng)的位 置。然而，例如，檢測所有特定方位的位置，并且在檢測到的位置之中，只檢測全景圖像中包 含的位置作為處于特定方向的位置。另外，在此例子中，已經(jīng)說明了以45度為單位的方位被檢測為特定方位的例子，但是，例如，諸如東、西、南、北之類的以90度為單位的方位也可 被檢測為特定方位。另外，可以檢測比45度單位的方位更小單位的方位。圖18A和18B示出了根據(jù)本發(fā)明第二實施例由特定方位位置計算單元530進行的 檢測各個特定方位及其位置的特定方位和位置檢測方法的概況。此例子是對于圖16A所示 的全景圖像431檢測特定方位和位置的例子。應(yīng)當(dāng)注意，特定方位和位置的檢測方法類似 于圖17A和17B所示的例子，并且這里將省略對其的詳細描述。應(yīng)當(dāng)注意，圖18B所示的地 圖符號680是表示東、西、南、北的地圖符號。圖18A示出了全景圖像431。應(yīng)當(dāng)注意，全景圖像431是與圖8A所示的全景圖像 431相同的全景圖像，并且共同的部分被賦予相同的標號。這里，全景圖像431中包含的特 定方位的數(shù)目如圖18B所示是兩個(特定方位(西北)681和特定方位(北)682)。例如， 全景圖像431的水平方向上的長度被設(shè)定為H0，并且全景圖像431中的中心位置432與處 于特定方位(西北)的位置681之間的水平方向上的距離被設(shè)定為H4。另外，在圖像拍攝 裝置500的圖像拍攝位置被設(shè)定為基準的情況下中心位置432處的方位和西北所限定的角 度被設(shè)定為角度0 4。另外，在生成全景圖像431時第一次生成的拍攝圖像的水平方向上的 長度被設(shè)定為H。在此情況下，利用上述的式6計算出中心位置432與處于西北的位置681 之間的水平方向的距離H4。類似地，還可計算出全景圖像431中的中心位置432與處于特 定方位(北)的位置682之間的水平方向上的距離H5?；谶@樣計算出的距離H4和冊以 及全景圖像431中的中心位置432，可以檢測出全景圖像431中處于特定方位(北和西北) 的位置681和682。另外，這樣檢測到的特定方位(北和西北)被顯示在圖16A所示的特定方位顯示 區(qū)域607中。這里，例如，如圖16A所示，設(shè)想這樣一種情況在特定方位顯示區(qū)域607中顯 示的特定方位(北和西北)之中，指定特定方位(西北)。在此情況下，從圖像提取單元550 中提取出全景圖像431中包括特定方位(西北)的位置683在內(nèi)的一定范圍(矩形642)中 所含的圖像。然后，如圖16B所示，所提取的圖像651被顯示在指定方位圖像顯示畫面650 上。如上所述，利用全景圖像中的代表性位置處的方位，可以檢測處于特定方位的位 置。利用此配置，可以基于特定方位來指定用戶偏好的圖像。應(yīng)當(dāng)注意，在此例子中，說明了通過使用在生成全景圖像時第一次生成的拍攝圖 像的水平方向上的寬度來檢測處于特定方位的位置的例子，但是也可利用全景角度來計算 該位置。例如，如圖18B所示，全景圖像431的水平方向上的長度被設(shè)定為H0，并且全景圖 像431的全景角度被設(shè)定為00。另外，全景圖像431中的中心位置432與處于特定方位 (西北)的位置681之間的水平方向上的距離被設(shè)定為H4。另外，當(dāng)在圖像拍攝裝置500 的圖像拍攝位置被設(shè)定為基準的情況下中心位置432處的方位和西北所限定的角度被設(shè) 定為角度9 4時，可利用以下式7來獲得距離H4。H4 = 6 4/(6 0/H0)…式 7這里，全景角度0 0可以利用上述的式3來獲得，并且如圖4所示被記錄在全景圖 像431的圖像文件中。通過指定包含特定對象的方位來提取圖像在上文中，已經(jīng)說明了這樣一個例子其中，通過指定全景圖像中的特定方位，提取包含與所指定的特定方位相對應(yīng)的被攝物的圖像。這里，在提取全景圖像中包含的一部 分圖像的情況下，假定通過設(shè)定全景圖像中包含的被攝物的類型作為基準，而不是設(shè)定全 景圖像中的方位作為基準，也可以反映用戶的偏好。例如，可以想到，通過指定諸如人臉之 類的特定對象，可以提取包含該特定對象的圖像。鑒于此，在下文中，將描述這樣一個例子 其中，檢測與在全景圖像中所含的被攝物之中包含特定對象的被攝物相對應(yīng)的方位。圖19A和19B示出了根據(jù)本發(fā)明第二實施例的顯示單元580中的顯示畫面的顯示 例子。圖19A示出了用于指定與包含特定對象的被攝物相對應(yīng)的方位的主畫面600。應(yīng)當(dāng) 注意，主畫面600上的主按鈕601、修剪按鈕602和索引顯示按鈕604與圖16A所示的例子 相類似并且被賦予相同的標號，因此這里將省略對其的描述。例如，在主畫面600被顯示在顯示單元580上的狀態(tài)中，用戶按壓主按鈕601，然后 按壓方位指定顯示按鈕603。通過對方位指定顯示按鈕603的這個按壓，主畫面600上顯示 的全景圖像431中所含的被攝物之中的特定對象(例如，人臉)被檢測到，并且包含檢測到 的特定對象的被攝物的方位被顯示在特定對象方位顯示區(qū)域609上。根據(jù)圖19A所示的例子，例如，將說明檢測全景圖像431中包含的人臉411和413 的例子。另外，根據(jù)圖19A所示的顯示例子，包含人臉411的圖像的范圍在全景圖像431上 由虛線矩形643表示，并且包含人臉413的圖像的范圍在全景圖像431上由虛線矩形644 表不。例如，假定在特定對象方位顯示區(qū)域609 (該區(qū)域是當(dāng)在主畫面600上按壓方位指 定顯示按鈕603之后被顯示的)上的包含特定對象的方位“西北偏北”和“西北偏西”之中， 用戶按壓了“西北偏北”部分。以這種方式，當(dāng)作為特定對象方位顯示區(qū)域609上的包含特 定對象的方位的“西北偏北”的部分被按壓時，如圖19B所示，與被按壓的方位“西北偏北” 相對應(yīng)的圖像655被顯示在特定對象圖像顯示畫面654上。也就是說，圖19A所示的全景 圖像431中的虛線矩形644中包含的圖像被顯示在特定對象圖像顯示畫面654上。在此情 況下，例如，與對應(yīng)于被按壓的方位“西北偏北”相對應(yīng)的圖像655 —起，方位“西北偏北”和 與該特定對象有關(guān)的消息(例如，該人處于西北偏北方向上)被顯示在特定對象圖像顯示 畫面654上。另外，在特定對象圖像顯示畫面654上，與圖像655 —起，顯示了修剪按鈕652 和返回按鈕653。應(yīng)當(dāng)注意，修剪按鈕652和返回按鈕653與圖16B所示的相同，因此這里 將省略對其的描述。圖20A和20B示出了根據(jù)本發(fā)明第二實施例由特定對象方位計算單元540進行的 檢測各個特定對象的方位的特定對象方位檢測方法的概況。此例子是對于圖19A所示的全 景圖像431檢測包括特定對象的位置處的方位的例子。應(yīng)當(dāng)注意，全景圖像中的位置的方 位計算方法類似于上述的方位計算方法，并且這里將省略對其的詳細描述。圖20A示出了全景圖像431。應(yīng)當(dāng)注意，全景圖像431是與圖8A所示的全景圖像 431相同的全景圖像，并且共同的部分被賦予相同的標號。這里，全景圖像431中包含的特 定對象的數(shù)目如圖20A所示是兩個(人臉411和413)。例如，基于全景圖像431的圖像文 件中記錄的臉部信息，特定對象方位計算單元540檢測全景圖像431中包含的人臉411和 413，并且識別其位置和大小?；谶@樣識別出的人臉411的位置683，特定對象方位計算單 元540計算從全景圖像431中的中心位置432到人臉411的位置683的距離H6。類似地， 特定對象方位計算單元540計算從全景圖像431中的中心位置432到人臉413的位置684的距離H7?；谶@樣計算出的距離H6，特定對象方位計算單元540使用式4或式5來計算 全景圖像431中人臉411的位置683處的方位。類似地，特定對象方位計算單元540使用 式4或式5來計算全景圖像431中人臉413的位置684處的方位。這里，作為這樣計算出的 特定對象的位置處的方位，例如，該方位可被分類為諸如東、西、南、北之類的以90度為單 位的方位，以及諸如西南和東北之類的以45度為單位的方位。在此例子中，將說明分類成 諸如西南偏南和東北偏北之類的以30度為單位的方位的例子。例如，人臉411的位置683 處的方位被分類為“西北偏西”，而人臉413的位置684處的方位被分類為“西北偏北”。這樣分類的方位(西北偏北和西北偏西)被顯示在圖19A所示的特定對象方位顯 示區(qū)域609上。這里，例如，如圖19A所示，設(shè)想這樣一種情況其中，在特定對象方位顯示 區(qū)域609上顯示的方位(西北偏北和西北偏西)之中，指定方位(西北偏北)。在此情況 下，圖像提取單元550提取出全景圖像431中包括處于該方位(西北偏北)的位置684在 內(nèi)的一定范圍(矩形644)中所含的圖像。然后，如圖19B所示，所提取的該圖像655被顯 示在特定對象圖像顯示畫面654上。如上所述，利用全景圖像中的代表性位置處的方位，可以檢測到特定對象的位置 處的方位。利用此配置，可以基于方位來指定包含用戶偏好的特定對象的圖像。應(yīng)當(dāng)注意， 作為方位指定顯示，可以通過用戶的手工操作來設(shè)定是指定特定方位還是基于方位來指定 包含特定方位的圖像。另外，通過用戶的手工操作可以選擇多個特定對象(例如，人的正常 臉部、人的笑臉以及寵物(狗和貓))，并且可以檢測所選特定對象的位置處的方位。以這種方式，根據(jù)本發(fā)明的第二實施例，利用全景圖像中的代表性位置處的方位 來計算所提取圖像中的代表性位置處的方位，并且可以將這個計算出的方位和所提取圖像 記錄在圖像文件中。因此，例如，對于通過提取全景圖像的一部分而獲得的圖像可以記錄精 確的方位。利用此配置，例如，當(dāng)利用所提取圖像的圖像文件將圖像重疊在地圖上并顯示 時，可以基于在對該圖像中包含的被攝物進行圖像拍攝時的圖像拍攝方向來將該圖像布置 在地圖上。在此情況下，可以減小圖像拍攝方向的誤差。圖像拍攝裝置的操作示例圖21是根據(jù)本發(fā)明第二實施例的圖像拍攝裝置500對全景圖像的圖像提取處理 的處理過程的流程圖。在此例子中，將說明這樣一個例子其中，在設(shè)定全景圖像顯示模式 的情況下，對在索引畫面上指定的全景圖像執(zhí)行圖像提取處理。另外，將說明特定方位作為 方位指定顯示而被顯示的例子。首先，判定操作接受單元210是否接受了顯示全景圖像的顯示指示操作(步驟 S921)。例如，在全景圖像的索引畫面上，用戶通過選擇希望的全景圖像來進行顯示指定操 作。在未接受顯示指示操作的情況下，繼續(xù)監(jiān)視，直到接受了顯示指示操作為止。在收到顯 示指示操作的情況下(步驟S921)，圖像文件獲得單元510根據(jù)該顯示指示操作獲得存儲 在圖像存儲單元200中的圖像文件(步驟S922)。在此情況下，圖像文件獲得單元510對 所獲得的圖像文件的全景圖像進行解碼，并且進行分辨率轉(zhuǎn)換，以便輸出到顯示控制單元 570。然后，顯示控制單元570在顯示單元580上顯示所獲得的圖像文件的全景圖像(步驟 S923)。然后，判定操作接受單元210是否接受了顯示除在顯示單元580上顯示的全景圖 像以外的全景圖像的顯示指示操作(所謂的文件饋送操作)(步驟S924)。在未接受該顯示指示操作的情況下，流程前進到步驟S925，而在接受了該顯示指示操作的情況下，流程返回 到步驟S922。然后，判定操作接受單元210是否接受了用于對在顯示單元580上顯示的圖像進 行放大或縮小(所謂的縮放比例因子改變)或顯示位置改變的指定操作(步驟S925)。在 接受了該指定操作的情況下(步驟S925)，根據(jù)該指定操作，顯示控制單元570對在顯示單 元580上顯示的圖像執(zhí)行顯示改變處理(步驟S926)，并且流程前進到步驟S940。在未接受該指示操作的情況下(步驟S925)，判定操作接受單元210是否接受了方 位指示顯示的指示操作(步驟S927)。例如，若圖13A和13B所示的方位指定顯示按鈕603 被按壓，則進行了方位指示顯示的指示操作。在接受了方位指示顯示的指示操作的情況下 (步驟S927)，特定方位位置計算單元530檢測在顯示單元580上顯示的全景圖像中的特定 方位(步驟S928)。然后，特定方位位置計算單元530檢測全景圖像中處于檢測到的特定方 位的位置(步驟S929)。然后，顯示控制單元570在顯示單元580上顯示檢測到的特定方位 (步驟S930)。例如，在圖16A所示的特定方位顯示區(qū)域607中，顯示檢測到的特定方位。然后，判定操作接受單元210是否接受了用于選擇在顯示單元580上顯示的特定 方位的選擇操作(步驟S931)。在接受了該選擇操作的情況下(步驟S931)，圖像提取單元 550提取全景圖像中包括處于所選特定方位的位置在內(nèi)的一定范圍中包含的圖像。然后， 顯示控制單元570在顯示單元580上顯示所提取的圖像(步驟S932)。然后，判定操作接 受單元210是否接受了把顯示單元580上顯示的圖像記錄為新圖像文件的記錄指定操作 (步驟S933)。例如，若圖16B所示的修剪按鈕652被按壓，則記錄在指定方位圖像顯示畫 面650上顯示的圖像651的記錄指定操作被進行。在接受了記錄指定操作的情況下(步驟 S933)，記錄控制單元590把由圖像提取單元550提取出的圖像和此圖像中的代表性位置處 的方位(特定方位)作為圖像文件記錄在圖像存儲單元200中(步驟S934)。在此情況下， 例如，進行分辨率轉(zhuǎn)換，并且執(zhí)行JPEG格式的壓縮，以記錄該圖像文件。然后，流程前進到 步驟S940。應(yīng)當(dāng)注意，在未接受選擇操作的情況下(步驟S931)，或者在未接受記錄指定操 作的情況下(步驟S933)，流程前進到步驟S940。另一方面，在未接受方位指示顯示的指示操作的情況下(步驟S927)，判定特定方 位是否被顯示在顯示單元580上(步驟S935)。在特定方位被顯示在顯示單元580上的情 況下，流程前進到步驟S931。另一方面，在特定方位不被顯示在顯示單元580上的情況下 (步驟S935)，判定從全景圖像中提取的圖像(處于特定方位的圖像)是否被顯示在顯示單 元580上(步驟S936)。在所提取圖像被顯示的情況下(步驟S936)，流程前進到步驟S933。 另一方面，在所提取圖像不被顯示的情況下(步驟S936)，判定操作接受單元210是否接受 了修剪處理的指示操作(步驟S937)。例如，修剪處理的指示操作是隨著在圖13B所示的修 剪處理畫面610上指定圖像的范圍并且按壓確定按鈕605而進行的。在接受了修剪處理的 指示操作的情況下(步驟S937)，圖像提取單元550提取所指定的范圍中包含的圖像，并且 顯示控制單元570在顯示單元580上顯示所提取的圖像(步驟S938)。然后，方位計算單 元560計算所提取圖像中的代表性位置處的方位(步驟S939)，并且流程前進到步驟S933。 然后，在接受了記錄指定操作的情況下(步驟S933)，記錄控制單元590把由圖像提取單元 550提取的圖像和此圖像中的代表性位置處的方位作為圖像文件記錄在圖像存儲單元200 中(步驟S934)。
另一方面，在未接受修剪處理的指示操作的情況下(步驟S937)，判定操作接受單 元210是否接受了全景圖像的顯示結(jié)束指示操作(步驟S937)。在未接受全景圖像的顯示 結(jié)束指示操作的情況下，流程返回到步驟S924，而在接受了全景圖像的顯示結(jié)束指示操作 的情況下，對全景圖像的圖像提取處理的操作結(jié)束。3.第三實施例根據(jù)本發(fā)明的第二實施例，已經(jīng)說明了這樣一個例子其中，全景圖像中包含的一 部分圖像被提取，以被顯示或經(jīng)受修剪處理等等。這里，如上所述，全景圖像是包含相對寬 范圍中的被攝物的圖像，并且假定在圖像拍攝位置被設(shè)定為基準的同時包括相對寬范圍中 的方位。為此，在顯示全景圖像的情況下，例如可以想到，由于是在考慮到全景圖像中的方 位同時執(zhí)行顯示的，因此可以執(zhí)行利用了全景圖像的特性的顯示。另外，例如，在全景圖像 被顯示在地圖上的情況下，可以想到，在圖像拍攝時的圖像拍攝位置被設(shè)定為基準的同時， 全景圖像的上側(cè)可被布置在朝著圖像拍攝方向的狀態(tài)中。同樣，在此情況下，例如可以想 到，由于是在考慮到全景圖像中的方位同時執(zhí)行顯示的，因此可以執(zhí)行利用了全景圖像的 特性的顯示。鑒于此，在下文中，將說明這樣一個例子其中，在顯示全景圖像的情況下，基于全 景圖像中的各個方位來執(zhí)行利用了全景圖像的特性的顯示。圖像拍攝裝置的配置示例圖22是根據(jù)本發(fā)明第三實施例的圖像拍攝裝置700的功能配置示例的框圖。圖 像拍攝裝置700設(shè)有圖像存儲單元200、地圖數(shù)據(jù)存儲單元710、圖像文件獲得單元720、圖 像拍攝位置獲得單元730、特定對象檢測單元740以及方位獲得單元750。另外，圖像拍攝 裝置700設(shè)有圖像變換單元760、地圖數(shù)據(jù)獲得單元770、顯示控制單元780以及顯示單元 790。圖像存儲單元200被配置為存儲圖像文件并把所存儲的圖像文件提供給圖像文 件獲得單元720。應(yīng)當(dāng)注意，圖像存儲單元200對應(yīng)于圖2所示的圖像存儲單元200。操作接受單元210是用于接受用戶的操作輸入并把根據(jù)所接受的操作輸入的操 作內(nèi)容輸出到圖像文件獲得單元720、圖像變換單元760和顯示控制單元780的操作接受單 元。例如，在設(shè)定了圖像顯示模式的情況下，當(dāng)接受了指示圖像顯示的顯示指定操作時，操 作接受單元210把該操作內(nèi)容輸出到圖像文件獲得單元720。另外，在設(shè)定了圖像顯示模 式的情況下，當(dāng)接受了指示對顯示單元790上顯示的全景圖像的變換方法的顯示指定操作 時，操作接受單元210把該操作內(nèi)容輸出到圖像變換單元760。另外，在設(shè)定了圖像顯示模 式的情況下，當(dāng)接受了用于改變顯示單元790上顯示的圖像的比例因子的操作輸入等時， 操作接受單元210把該操作內(nèi)容輸出到顯示控制單元780。應(yīng)當(dāng)注意，操作接受單元210對 應(yīng)于圖2所示的操作接受單元210。地圖數(shù)據(jù)存儲單元710被配置為存儲用于在顯示單元790上顯示地圖的地圖數(shù) 據(jù)，并把所存儲的地圖數(shù)據(jù)提供給地圖數(shù)據(jù)獲得單元770。例如，存儲在地圖數(shù)據(jù)存儲單元 710中的地圖數(shù)據(jù)是可通過緯度和經(jīng)度來標識的數(shù)據(jù)，并且以一定的緯度寬度和一定的經(jīng) 度寬度為單位被分割成多個區(qū)域。應(yīng)當(dāng)注意，地圖數(shù)據(jù)存儲單元710對應(yīng)于圖1所示的可 移動介質(zhì)192。圖像文件獲得單元720被配置為根據(jù)由操作接受單元210接受的顯示指定操作，獲得存儲在圖像存儲單元200中的圖像文件。然后，根據(jù)所獲得的圖像文件的圖像的類型， 圖像文件獲得單元720把該圖像輸出到圖像變換單元760或顯示控制單元780。例如，在所 獲得的圖像文件的圖像是全景圖像的情況下，圖像文件獲得單元720把該全景圖像輸出到 圖像變換單元760。另一方面，在所獲得的圖像文件的圖像是除全景圖像以外的圖像的情況 下，該圖像被輸出到顯示控制單元780。這些圖像文件的圖像被解碼并經(jīng)歷分辨率轉(zhuǎn)換，以 便被輸出。另外，圖像文件獲得單元720把所獲得的圖像文件的元信息輸出到圖像拍攝位 置獲得單元730、特定對象檢測單元740以及方位獲得單元750。應(yīng)當(dāng)注意，圖像文件獲得 單元720對應(yīng)于圖1所示的分辨率轉(zhuǎn)換單元120、圖像壓縮解壓單元130、CPU 160以及可 移動介質(zhì)控制器191。圖像拍攝位置獲得單元730被配置為基于從圖像文件獲得單元720輸出的元信 息，獲得與對應(yīng)于該元信息的圖像有關(guān)的圖像拍攝位置，并把所獲得的圖像拍攝位置輸出 到地圖數(shù)據(jù)獲得單元770。應(yīng)當(dāng)注意，圖像拍攝位置獲得單元730對應(yīng)于圖1所示的CPU 160。特定對象檢測單元740被配置為基于從圖像文件獲得單元720輸出的元信息，檢 測與該元信息對應(yīng)的圖像中包含的特定對象，并把與檢測到的特定對象有關(guān)的特定對象信 息輸出到圖像變換單元760。應(yīng)當(dāng)注意，在此例子中，將說明基于在生成全景圖像時記錄的 元信息來檢測特定對象的例子，但是，例如，也可以通過圖像分析從全景圖像中檢測特定對 象。應(yīng)當(dāng)注意，特定對象檢測單元740對應(yīng)于圖1所示的CPU 160。方位獲得單元750被配置為基于從圖像文件獲得單元720輸出的元信息，獲得與 該元信息相對應(yīng)的圖像中的代表性位置處的方位，并把所獲得的方位輸出到圖像變換單元 760。應(yīng)當(dāng)注意，方位獲得單元750對應(yīng)于圖1所示的CPU 160。圖像變換單元760被配置為根據(jù)由操作接受單元210接受的指定操作，對從圖像 文件獲得單元720輸出的全景圖像進行變換，并把變換后的全景圖像輸出到顯示控制單元 780。例如，圖像變換單元760把從圖像文件獲得單元720輸出的全景圖像變換成扇形等形 狀或者通過分割變換成多個圖像。在此情況下，例如，圖像變換單元760對全景圖像進行變 換，以使得與從地圖數(shù)據(jù)獲得單元770輸出的地圖數(shù)據(jù)相對應(yīng)的地圖上的方位與從方位獲 得單元750輸出的全景圖像中的代表性位置處的方位相一致。另外，例如，圖像變換單元 760基于從特定對象檢測單元740輸出的特定對象信息對全景圖像進行變換，以避免扭曲 或分離從方位獲得單元750輸出的全景圖像中所含的特定對象。應(yīng)當(dāng)注意，將參考圖23A 和23B至圖31A和31B等等來詳細描述全景圖像的變換。另外，圖像變換單元760對應(yīng)于 圖1所示的CPU160。地圖數(shù)據(jù)獲得單元770被配置為基于從圖像拍攝位置獲得單元730輸出的圖像拍 攝位置從地圖數(shù)據(jù)存儲單元710獲得地圖數(shù)據(jù)，并把所獲得的地圖數(shù)據(jù)輸出到顯示控制單 元780。應(yīng)當(dāng)注意，地圖數(shù)據(jù)獲得單元770對應(yīng)于圖1所示的CPU 160和可移動介質(zhì)控制器 191。另外，例如，可以通過諸如無線LAN之類的網(wǎng)絡(luò)獲得并使用存儲在另一裝置中的地圖 數(shù)據(jù)。顯示控制單元780被配置為在顯示單元790上顯示從圖像文件獲得單元720或圖 像變換單元760輸出的圖像以及與從地圖數(shù)據(jù)獲得單元770輸出的地圖數(shù)據(jù)相對應(yīng)的地 圖。顯示控制單元780例如基于與從圖像變換單元760輸出的全景圖像相關(guān)聯(lián)的圖像拍攝位置，在與從地圖數(shù)據(jù)獲得單元770輸出的地圖數(shù)據(jù)相對應(yīng)的地圖上布置全景圖像。另外， 顯示控制單元780根據(jù)來自操作接受單元210的操作輸入，對地圖執(zhí)行諸如大小改變之類 的顯示控制。將參考圖27A和27B至31A和31B等來詳細描述這些顯示例子。應(yīng)當(dāng)注意， 顯示控制單元780對應(yīng)于圖1所示的CPU 160和IXD控制器171。顯示單元790是被配置為基于顯示控制單元780的控制來顯示各種圖像的顯示單 元。顯示單元790對應(yīng)于圖1所示的IXD 172。全景圖像的變換示例圖23A和23B示出了根據(jù)本發(fā)明第三實施例的圖像變換單元760對全景圖像的變 換方法的概況。圖23A利用矩形示意性地示出了變換前的全景圖像800。根據(jù)圖23A所示 的例子，將描述這樣一種情況來作為例子其中，在成為變換對象的全景圖像800被設(shè)定為 矩形形狀的情況下，全景圖像800被變換成xy坐標上的扇形形狀，在該xy坐標中，左下角 被設(shè)定為原點(0，0)，水平軸被設(shè)定為x軸，并且垂直軸被設(shè)定為y軸。另外，在圖23A所 示的xy坐標上，矩形形狀的全景圖像800的頂點被設(shè)定為點801至804，連接點801和802 的線段的中點被設(shè)定為點805，并且連接點803和804的線段的中點被設(shè)定為點806。應(yīng)當(dāng) 注意，圖23A所示的全景圖像800中的各個點是以相互不同的樣式示出的(涂白或涂黑的 圓、三角形和矩形)。另外，與全景圖像800的圖像拍攝范圍相對應(yīng)的角度(全景角度)被 設(shè)定為a，全景圖像800的水平方向上的長度被設(shè)定為U,并且全景圖像800的垂直方向上 的長度被設(shè)定為V。全景圖像800例如是包含在水平方向上具有某一寬度范圍的被攝物的圖像。鑒于 此，在此例子中，考慮到與全景圖像800的圖像拍攝操作時攝影者所看到的被攝物之間的 位置關(guān)系，全景圖像800被變換成扇形形狀。這里，扇形形狀例如是扇子的形狀或者通過切 掉扇子上靠近中心角的部分而獲得的形狀(即，利用兩個弧形和兩條直線獲得的形狀)。圖23B示出了在大致變換成扇形后的全景圖像810。應(yīng)當(dāng)注意，在圖23B所示的 xy坐標上，與圖23A所示的點801至806相對應(yīng)的各個點的位置被賦予與圖23A所示的樣 式相同的樣式。例如，如圖23B所示，在全景圖像800被轉(zhuǎn)換成扇形形狀以生成全景圖像810的 情況下，通過使用以下的式8和式9，全景圖像800中包含的坐標Pl(x，y)被變換成坐標 P1' (x'，y')。x' = (U/2)+m. (y+a) cos ([90+a {(U/2_x)/U} ] ( n/180))…式 8y' = m (y+a) sin ([90+ a {(U/2_x) /U} ] ( n /180))…式 9這里，m是表示在中心位置818被設(shè)定為基準的同時全景圖像810被放射狀放大 的情況下的比例因子的值，a是表示在中心位置818被設(shè)定為基準的同時全景圖像810在 垂直方向上被放大的情況下的距離的值。另外，a是變換后全景圖像810的中心角度。通 過使用上述的式8和式9，如圖23B所示，可以生成具有扇形形狀的全景圖像810。應(yīng)當(dāng)注 意，在圖23A和23B所示的xy坐標上，全景圖像800和810的框由粗線表示。另外，使用上 述的式8和式9的變換方法是基于全景圖像中水平方向上的大小和全景角度將全景圖像變 換成扇形形狀以使得變換后全景圖像中包含的被攝物的方位與地圖上的方位基本一致的 變換方法的例子。圖24A和24B示出了根據(jù)本發(fā)明第三實施例的圖像變換單元760所變換的全景圖
37像的轉(zhuǎn)變示例。圖24A示出了變換前的全景圖像820。全景圖像820與圖6C等等所示的全 景圖像類似。圖24B示出了在利用式8和式9將全景圖像820變換成扇形形狀后的全景圖像 821。例如，利用式8和式9變換出的全景圖像821是中心角度被設(shè)定為根據(jù)全景角度而不 同的方式來變換的。由于此原因，例如，在水平方向上具有相同長度的全景圖像被轉(zhuǎn)換的情 況下，具有較大全景角度的全景圖像具有這樣的曲線構(gòu)成變換后的扇形形狀的兩個弧形 相對較深。相反，具有較小全景角度的全景圖像具有這樣的曲線構(gòu)成變換后的扇形形狀的 兩個弧形相對較淺。以這種方式，由于全景圖像被變換成扇形形狀，因此可以顯示這樣的全 景圖像其中在圖像拍攝操作時攝影者所看到的被攝物的狀態(tài)容易被直觀地掌握。另外，不 是顯示圖24A所示的全景圖像820，通過顯示圖24B所示的被變換成扇形形狀的全景圖像 821，可以以新的樣式向用戶提供全景圖像。利用此配置，可以增強用戶對全景圖像820的 興趣。另外，用戶可以改變比例因子m、距離a以及總角度a。由于用戶通過手工操作改變 這些值，可以顯示更多種具有扇形形狀的全景圖像。應(yīng)當(dāng)注意，例如，在成為顯示對象的全景圖像包含不希望扭曲的特定對象(例如， 人臉)的情況下，該特定對象可在不被變換成扇形形狀的情況下被顯示。例如，如圖25A至 25C所示，全景圖像被分割，使得特定對象與邊界重疊，并且分割后的全景圖像可被顯示。另 外，例如，為了不扭曲特定對象，如圖26A至26C所示，該特定對象可被提取出并被重疊在被 變換成扇形形狀的全景圖像上的某一位置處，以進行組合。全景圖像的另一種變換示例在上文中，已經(jīng)說明了全景圖像被變換成扇形形狀的例子。然而，例如，在包含諸 如人臉之類的在被扭曲時會帶來不適之感的被攝物的情況下，重要的是在不扭曲這些被攝 物的情況下執(zhí)行利用全景圖像的特性的顯示。鑒于此，在下文中，將說明這樣一個例子其 中，在不把全景圖像變換成扇形形狀的情況下，分割全景圖像，并且基于方位顯示分割后的 各個圖像。圖25A至25C示出了根據(jù)本發(fā)明第三實施例的圖像變換單元760所變換的全景圖 像的轉(zhuǎn)變示例。圖25A示出了變換前的全景圖像830。全景圖像830類似于圖24A所示的 全景圖像。圖25B示出了這樣一個例子其中，在全景圖像830被圖像變換單元760分割成五 個圖像之后的圖像831至835被布置為要顯示的全景圖像836。這里，對全景圖像的分割 數(shù)目可以通過用戶的手工操作來設(shè)定或者可以遵循一定的規(guī)則來設(shè)定。對于圖25B所示的 分割圖像831至835，如根據(jù)本發(fā)明的第二實施例所示的，可以計算各個圖像的方位。鑒于 此，例如，在布置在最中間的圖像833的方位被設(shè)定為基準的同時，圖像變換單元760計算 其他圖像831、832、834和835的方位的差異。然后，按照計算出的差值對各個圖像執(zhí)行旋 轉(zhuǎn)處理，并且布置旋轉(zhuǎn)處理后的圖像831、832、834和835。在此情況下，例如，如圖25B所 示，可以通過進行布置以使得圖像831至835的下角相接觸來獲得全景圖像836。另外，如 圖25C所示，可以通過進行布置以使得圖像831至835的中間部分相接觸來獲得全景圖像 837。這里，作為圖像的旋轉(zhuǎn)方法，例如，可以使用一種用于利用二維坐標上的3X3矩陣(仿 射矩陣)對兩個點處的位置進行變換的仿射變換。例如，圖像變換單元760在各個圖像的 中心位置被設(shè)定為旋轉(zhuǎn)基準的同時，對各個圖像的各個值執(zhí)行仿射變換。然后，在該仿射變換被執(zhí)行之后，各個圖像可被布置在預(yù)定的位置處。這里，例如，在包含不應(yīng)當(dāng)被分割成全景圖像的特定對象(例如，人臉)的情況下， 也可以執(zhí)行全景圖像的分割而不分離該特定對象。例如，在特定對象被設(shè)定為人臉的情況 下，基于全景圖像的圖像文件中記錄的臉部信息，可以識別全景圖像中水平方向上的臉部 位置。鑒于此，例如，當(dāng)執(zhí)行分割處理時，判定在該分割時的邊界上是否存在臉部。如果在 分割時的邊界上存在臉部，則臉部被移動到左側(cè)或右側(cè)，以使得邊界不與臉部重疊。例如， 在臉部被移動以使得邊界不與臉部重疊的情況下，臉部可被移動到左側(cè)或右側(cè)之中距離較 短的那一側(cè)。另外，如果在分割時的邊界上存在臉部，為了使得邊界不與臉部重疊，可以改變要 分割的圖像的數(shù)目。例如，在設(shè)定了全景圖像被分割成五個圖像的情況下，當(dāng)在分割成五個 圖像時的任何一個邊界上存在臉部時，全景圖像可被分割成四個圖像或六個圖像。另外，在 以這種方式改變了分割的圖像的數(shù)目之后，如果在分割時的任何一個邊界上存在臉部，則 可以進一步改變要分割的圖像的數(shù)目。圖26A至26C示出了根據(jù)本發(fā)明第三實施例的圖像變換單元760所變換的全景圖 像的轉(zhuǎn)變示例。該變換示例是圖24A和24B的修改例，并且是執(zhí)行變換以避免扭曲特定對 象的例子。圖26A示出了變換前的全景圖像840。全景圖像840類似于圖24A所示的全景 圖像。應(yīng)當(dāng)注意，在此例子中，將說明這樣一個例子其中，特定對象被設(shè)定為人臉，全景圖 像840中包含的包含人臉841和842的臉部圖像843和844被提取，并且所提取的臉部圖 像843和844與全景圖像840相重疊，以便被組合。應(yīng)當(dāng)注意，對全景圖像840的變換方法 類似于圖24A和24B所示的示例，因此此次將省略對其的描述。例如，特定對象檢測單元740基于全景圖像840的圖像文件中記錄的臉部信息，檢 測全景圖像840中包含的人臉841和842。然后，如圖26B所示，基于與檢測到的人臉841 和842有關(guān)的檢測信息，圖像變換單元760從全景圖像840中提取包含人臉841和842的 臉部圖像843和844。在進行該提取時，圖像變換單元760通過上述的方位計算方法來計 算臉部圖像843和844的方位。然后，如圖26C所示，圖像變換單元760對全景圖像840進 行變換以生成具有扇形形狀的全景圖像845，并且把所提取的臉部圖像843和844重疊并 組合在全景圖像845上。在此情況下，例如，圖像變換單元760以臉部圖像843和844的中 心為旋轉(zhuǎn)中心，基于關(guān)于臉部圖像843和844計算出的方位，旋轉(zhuǎn)臉部圖像843和844。然 后，旋轉(zhuǎn)后的臉部圖像843和844被組合在提取位置處。應(yīng)當(dāng)注意，在圖26C中，與旋轉(zhuǎn)后 的臉部圖像843和844相對應(yīng)的矩形由虛線表示。應(yīng)當(dāng)注意，對于圖24A和24B至圖26A 至26C所示的變換后的全景圖像，例如，可以在各個全景圖像中的上下方向與顯示單元790 中的上下方向一致的情況下進行顯示。全景圖像在地圖上的布置例子在上文中，已經(jīng)說明了顯示被圖像變換單元760變換的全景圖像的例子。在下文 中，將說明全景圖像被布置在包括圖像拍攝位置的地圖上以被顯示的例子。圖27A和27B示出了根據(jù)本發(fā)明第三實施例與存儲在地圖數(shù)據(jù)存儲單元710中的 地圖數(shù)據(jù)相對應(yīng)的區(qū)域中的圖像拍攝操作和通過該圖像拍攝操作生成的全景圖像之間的 關(guān)系的概況。圖27A所示的局部區(qū)域850是與地圖數(shù)據(jù)存儲單元710中存儲的地圖數(shù)據(jù)的一部分相對應(yīng)的區(qū)域。應(yīng)當(dāng)注意，在圖27中，上側(cè)的方位被設(shè)定為北。另外，在局部區(qū)域850 中，例如，存在A建筑物851、B建筑物852以及C建筑物853，并且以這些建筑物為背景，一 個人854站立著。在此狀態(tài)中，例如，圖像拍攝裝置700執(zhí)行全景圖像的圖像拍攝操作。通 過圖像拍攝操作得到的全景圖像的角度被設(shè)定為a 1，并且與全景圖像中的中心位置相對 應(yīng)的圖像拍攝方向由箭頭855表示。應(yīng)當(dāng)注意，根據(jù)本發(fā)明的第三實施例，雖然與全景圖像 的生成有關(guān)的配置作為功能配置示例被省略，但是提供了與本發(fā)明的第一實施例類似的功 能配置。另外，在此例子中，將說明通過圖像拍攝裝置700的圖像拍攝操作生成全景圖像的 例子，但是，例如，通過另一圖像拍攝裝置的圖像拍攝操作生成的全景圖像被存儲在圖像存 儲單元200中，并且可以利用該全景圖像來執(zhí)行顯示。圖27B示出了在圖27A所示的局部區(qū)域850中生成的全景圖像860。以這種方式， 全景圖像860包括A建筑物851、B建筑物852、C建筑物853以及以這些建筑物為背景站立 著的人854。另外，全景圖像860中的中心位置861由十字標記表示。圖28A和28B至圖31A和31B示出了根據(jù)本發(fā)明第三實施例在下述情況下的顯示 例子在與地圖數(shù)據(jù)存儲單元710中存儲的地圖數(shù)據(jù)相對應(yīng)的地圖上，重疊了在與該地圖 相對應(yīng)的區(qū)域中生成的全景圖像。應(yīng)當(dāng)注意，與全景圖像相對應(yīng)的圖像拍攝范圍和與中心 位置相對應(yīng)的方向由虛線表示。應(yīng)當(dāng)注意，這些虛線對應(yīng)于圖27A中所示的那些。圖28A示出了通過把全景圖像860重疊在與圖27A所示的局部區(qū)域850相對應(yīng)的 地圖857上而顯示的顯示例子。例如，全景圖像860被布置成使得全景圖像860的中心位 置861成為地圖857上的圖像拍攝位置。圖28B示出了通過把全景圖像860重疊在地圖857上以使得全景圖像860的上下 方向與全景圖像860的中心位置861的方位相一致而顯示的顯示例子。在此情況下，例如， 全景圖像860被布置成使得全景圖像860中的中心位置861成為地圖857上的圖像拍攝位 置。在以這種方式布置全景圖像的情況下，例如，全景圖像860以中心位置861為旋轉(zhuǎn)中心 旋轉(zhuǎn)。例如，上述的仿射變換可被用作此旋轉(zhuǎn)轉(zhuǎn)換方法。更具體而言，在中心位置861被設(shè) 定為旋轉(zhuǎn)基準的情況下，圖像變換單元760對全景圖像860的各個值進行仿射變換。例如， 計算由全景圖像860中的中心位置861的方位和地圖857上的北的方位所限定的角度a 2。 然后，進行仿射變換，以使得全景圖像860被旋轉(zhuǎn)a 2度。以這種方式，通過使全景圖像860 中的中心位置861的方位與地圖857上的方位相一致，可以很容易地直觀掌握全景圖像860 和地圖857之間的對應(yīng)關(guān)系。這里，如上所述，在顯示全景圖像以便能夠直觀地掌握全景圖像的圖像拍攝操作 的狀態(tài)的情況下，可以通過將全景圖像變換成扇形形狀來對其進行顯示。另外，如上所述， 全景圖像可被分割并顯示。在下文中，將描述這些顯示例子。圖29示出了通過利用式8和式9變換全景圖像860并將全景圖像862重疊在地 圖857上以使得變換后的全景圖像862的各個方位與地圖857上的方位相一致而顯示的顯 示例子。在此情況下，例如，全景圖像862被布置成使得變換后的全景圖像862的中心點處 的位置與地圖857上的圖像拍攝位置858相一致。這里，例如，地圖857上的圖像拍攝位置 858如圖29所示例如可被顯示為涂白的圓。應(yīng)當(dāng)注意，對全景圖像的變換方法和旋轉(zhuǎn)方法 類似于上述例子，因此這里將省略對其的描述。以這種方式，通過顯示全景圖像862和圖像拍攝位置858，可以很容易地直觀掌握
40與地圖857相對應(yīng)的局部區(qū)域850中的圖像拍攝操作的狀態(tài)。另外，通過以這種方式進行 顯示，可以增強全景圖像的吸引力。利用此配置，可以增強顯示全景圖像時用戶的興趣。圖30示出了圖25B的修改例。例如，將說明這樣一個顯示例子其中，全景圖像 860被分割成三個圖像，構(gòu)成分割后的全景圖像863的中間圖像867的方位與地圖857上的 方位相一致，并且全景圖像863被重疊在地圖857上以進行顯示。在此情況下，例如，全景 圖像863被布置成使得分割后的全景圖像863所標識的中間點的位置與地圖857上的圖像 拍攝位置858相一致。這里，分割后的全景圖像863所標識的中間點的位置例如可被設(shè)定 為這樣一個位置在該位置處，構(gòu)成分割后的全景圖像863的三個圖像867至869的中心位 置處的各個方位相互交叉。另外，地圖857上的圖像拍攝位置858例如可以與圖29中類似 地被顯示為涂白的圓。另外，在此例子中，在執(zhí)行分割時的特定對象被設(shè)定為人臉和建筑物 以避免分割這些特定對象，在這種情況下設(shè)定分割的數(shù)目和邊界。如上所述可以基于在生 成全景圖像時記錄的元信息來檢測這些特定對象，也可以通過顯示時的圖像分析來檢測這 些特定對象。應(yīng)當(dāng)注意，對全景圖像的分割方法和旋轉(zhuǎn)方法類似于上述例子，因此這里將省 略對其的描述。以這種方式，通過顯示全景圖像863和圖像拍攝位置858，可以很容易地直觀掌握 與地圖857相對應(yīng)的局部區(qū)域850中的圖像拍攝操作的狀態(tài)。另外，可以在不扭曲的情況 下顯示特定對象。通過以這種方式進行顯示，可以在不同于扇形形狀的顯示模式中顯示全 景圖像，因此可以增強吸引力。利用此配置，可以增強顯示全景圖像時用戶的興趣。圖31A和31B示出了這樣一個顯示例子其中，與圖26A至26C所示的例子類似， 在特定對象被設(shè)定為人臉的情況下，全景圖像860中包含的、包含人854的臉部的臉部圖像 864被提取，并且所提取的臉部圖像864被重疊在全景圖像865上，以便被組合。圖31A示 出了全景圖像860和包含人854的臉部的臉部圖像864之間的關(guān)系，圖31B示出了通過對 全景圖像860進行變換而生成的具有扇形形狀的全景圖像865與提取出的臉部圖像866相 重疊以進行組合的例子。應(yīng)當(dāng)注意，在圖31B中，與所提取的臉部圖像866相對應(yīng)的矩形由 虛線表示。另外，對全景圖像的變換方法和旋轉(zhuǎn)方法類似于上述例子，因此這里將省略對其 的描述。另外，對臉部圖像的組合方法也類似于上述的組合方法，只不過組合是在根據(jù)成為 組合對象的全景圖像的旋轉(zhuǎn)進行旋轉(zhuǎn)之后執(zhí)行的，因此這里將省略對其的描述。以這種方式，根據(jù)本發(fā)明的第三實施例，根據(jù)與全景圖像中所含的被攝物相對應(yīng) 的方位，全景圖像可被變換并顯示。利用此配置，可以顯示反映出與全景圖像中包含的被攝 物相對應(yīng)的方位的全景圖像。利用此配置，可以很容易直觀地掌握全景圖像與被攝物之間 的關(guān)系。另外，例如，根據(jù)與全景圖像中包含的被攝物相對應(yīng)的方位，由于全景圖像被變換 成扇形形狀或者分割圖像被顯示，因此可以很容易直觀地掌握全景圖像與被攝物之間的相 關(guān)性。另外，在變換后的全景圖像被重疊在地圖上并被顯示的情況下，通過根據(jù)與全景圖像 中包含的被攝物相對應(yīng)的方位來布置全景圖像，可以很容易地掌握全景圖像中包含的被攝 物與圖像拍攝方向之間的關(guān)系。通過以這種方式顯示全景圖像，可以增強吸引力，并且可以 增強用戶的興趣。應(yīng)當(dāng)注意，在上文中，已經(jīng)說明了全景圖像被布置成使得變換后的全景圖 像所標識的中心點的位置與地圖上的圖像拍攝位置相一致的例子，但是，例如，也可以根據(jù) 用戶的偏好來改變布置位置。例如，全景圖像可被布置成使得轉(zhuǎn)換后的全景圖像中的中心 位置處的方位與地圖上的圖像拍攝位置相一致。
41
圖像拍攝裝置的操作示例圖32是根據(jù)本發(fā)明第三實施例的圖像拍攝裝置700進行的圖像顯示處理的處理 過程的流程圖。在此例子中，將說明全景圖像被重疊在地圖上以進行顯示的例子。另外，在 全景圖像不包含特定對象的情況下，如圖29所示，執(zhí)行變換成扇形形狀的處理，而在全景 圖像包含特定對象的情況下，則說明執(zhí)行如圖30所示的分割變換處理的例子。首先，判定操作接受單元210是否接受了在地圖上顯示圖像的顯示指定操作(步 驟S941)。在未接受顯示指示操作的情況下，繼續(xù)監(jiān)視，直到接受顯示指示操作為止。在接 受了顯示指示操作的情況下(步驟S941)，根據(jù)顯示指示操作，圖像文件獲得單元720獲得 圖像存儲單元200中存儲的圖像文件(步驟S942)。在此情況下，圖像文件獲得單元720分 析所獲得的圖像文件的元信息，以判定所獲得的圖像文件的圖像的類型(全景圖像的存在 與否)。該判定例如是基于元數(shù)據(jù)中包括的圖像大小等來執(zhí)行的。另外，例如，全景圖像的 存在與否被記錄在制作者注釋中，并且該判定可基于該制作者注釋來執(zhí)行。然后，判定所獲得的圖像文件的圖像是否為全景圖像(步驟S943)。在所獲得的圖 像文件的圖像不是全景圖像的情況下(步驟S943)，在地圖上的圖像拍攝位置被設(shè)定為基 準的情況下，顯示控制單元780布置所獲得的圖像文件的圖像以便顯示在顯示單元790上 (步驟S944)。另一方面，在所獲得的圖像文件的圖像是全景圖像的情況下(步驟S943)，判 定全景圖像中是否包含特定對象(步驟S945)。在全景圖像中不包含特定對象的情況下(步驟S945)，圖像變換單元760把全景 圖像變換成扇形形狀(步驟S946)。然后，圖像變換單元760對全景圖像執(zhí)行旋轉(zhuǎn)處理，以 使得變換后的全景圖像的方位與地圖上的方位相一致(步驟S947)。然后，顯示控制單元 780將全景圖像布置在地圖上，以便顯示在顯示單元790上，使得變換后的全景圖像的中心 點的位置與地圖上的圖像拍攝位置相一致(步驟S948)。另一方面，在全景圖像中包含特定對象的情況下(步驟S945)，圖像變換單元760 分割全景圖像，以使特定對象不與分割時的邊界相重疊(步驟S949)。然后，圖像變換單元 760對各個圖像執(zhí)行旋轉(zhuǎn)處理，以使變換后的各個圖像的方位與地圖上的方位相一致(步 驟S950)。然后，顯示控制單元780使全景圖像顯示在地圖上，以便顯示在顯示單元790 上，使得變換后的各個圖像所標識的中心點的位置與地圖上的圖像拍攝位置相一致(步驟 S951)。全景圖像的另一種變換例在上文中，已經(jīng)說明了這樣一個例子其中，在全景圖像被變換成扇形形狀之后， 基于全景圖像中的中心位置處的方位，變換后的全景圖像被旋轉(zhuǎn)并布置在地圖上。這里，例 如，當(dāng)全景圖像被變換成扇形形狀時，如果執(zhí)行根據(jù)全景圖像中的中心位置處的方位的旋 轉(zhuǎn)處理，則預(yù)期可以迅速地執(zhí)行變換處理。鑒于此，在下文中，將說明這樣一個例子其中， 利用從式8和式9修改得到的式子對全景圖像進行變換。圖33A和33B示出了根據(jù)本發(fā)明第三實施例的圖像變換單元760對全景圖像的變 換方法的概況。這里，圖33A和33B所示的變換方法是圖23所示的變換方法的修改例，并 且除了以下這點之外是相同的旋轉(zhuǎn)處理是按照由地圖上的方位和全景圖像中的代表性位 置處的方位所限定的角度《來執(zhí)行的。由于此原因，在下文中，將主要描述與圖23所示的 變換方法的不同之處。共同的部分被賦予相同的標號，并且對其的描述將被省略。圖33A與圖23A類似地利用矩形示意性地示出了變換前的全景圖像800。圖33B示出了在變換成扇形形狀后的全景圖像870。應(yīng)當(dāng)注意，在圖33B所示的 xy坐標中，與圖33A所示的點801至806相對應(yīng)的各個點的位置被賦予與圖23A所示相同 的樣式。例如，如圖33B所示，在圖像拍攝裝置100被變換成扇形形狀以生成全景圖像870 的情況下，通過使用以下的式10和式11，全景圖像800中包含的坐標Pl(x，y)被變換成坐 標 PI' (x' ,y')。x' = (U/2)+m. (y+a) .cos ([90+a {(U/2_x)/U} + w ] ( ji/180))…式 10y' = m (y+a) sin ([90+ a {(U/2_x) /U} + w ] ( ji /180))…式 11這里，co是表示旋轉(zhuǎn)角度的值，并且代表由地圖上的方位和全景圖像中的代表性 位置處的方位限定的角度。通過利用上述的式10和式11，不執(zhí)行在利用式8和式9生成扇 形形狀之后執(zhí)行根據(jù)方位的旋轉(zhuǎn)處理的兩級變換處理。也就是說，可以通過一級變換處理 來執(zhí)行使地圖上的方位與全景圖像中的代表性位置處的方位相一致的變換處理，可以快速 地生成考慮了方位的、具有扇形形狀的全景圖像。以這種方式，根據(jù)本發(fā)明的實施例，在記錄全景圖像時，可以記錄全景圖像中的代 表性位置處的方位。另外，在從全景圖像中提取出一部分圖像的情況下，可以計算所提取圖 像中的代表性位置處的方位，并且可將該方位用于所提取的圖像。另外，利用全景圖像中包 含的被攝物的方位，可以從全景圖像中提取出所需的圖像。另外，當(dāng)顯示全景圖像時，通過 使用全景圖像中包含的被攝物的方位，可以變換和顯示全景圖像。也就是說，根據(jù)本發(fā)明的 實施例，可以適當(dāng)?shù)厥褂门c全景圖像有關(guān)的方位。4.修改例應(yīng)當(dāng)注意，根據(jù)本發(fā)明的實施例，已經(jīng)描述了圖像拍攝裝置作為例子，但是本發(fā)明 的實施例也可應(yīng)用到能夠處理全景圖像的、諸如圖像處理裝置之類的電子設(shè)備，比如設(shè)有 圖像拍攝功能的移動電話設(shè)備、個人計算機、車輛導(dǎo)航系統(tǒng)等等。另外，本發(fā)明的實施例可 應(yīng)用到能夠把從全景圖像中提取出的圖像或者變換后的全景圖像輸出到另一顯示裝置并 在該顯示裝置上顯示這些圖像的諸如圖像處理裝置之類的電子設(shè)備。應(yīng)當(dāng)注意，本發(fā)明的實施例已被描述為實現(xiàn)本發(fā)明的例子，并且如本發(fā)明的實施 例中所指出的，根據(jù)本發(fā)明實施例的項目分別與權(quán)利要求的范圍中的發(fā)明技術(shù)特征具有對 應(yīng)關(guān)系。類似地，權(quán)利要求的范圍中的發(fā)明技術(shù)特征與根據(jù)本發(fā)明實施例的與發(fā)明技術(shù)特 征具有相同名稱的項目具有對應(yīng)關(guān)系。然而，應(yīng)當(dāng)注意，本發(fā)明并不限于這些實施例，可以 對這些實施例應(yīng)用各種修改以在不脫離本發(fā)明的主旨的范圍內(nèi)實現(xiàn)本發(fā)明。另外，根據(jù)本發(fā)明實施例描述的處理過程可被視為包括這一系列步驟的方法。另 外，這一系列處理可被視為用于指示計算機執(zhí)行這些處理的程序或者存儲該程序的記錄介 質(zhì)。例如，⑶(致密盤)、MD(袖珍盤)、DVD(數(shù)字多功能盤)、存儲卡、藍光盤(注冊商標) 等等可被用作該記錄介質(zhì)。本申請包含與2009年5月27日向日本專利局提交的日本在先專利申請JP 2009-127127中公開的主題相關(guān)的主題，特此通過引用將該申請的全部內(nèi)容并入。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計要求和其他因素，可以進行各種修改、組 合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物的范圍之內(nèi)即可。
權(quán)利要求
一種圖像拍攝裝置，包括圖像拍攝單元，被配置為拍攝被攝物的圖像并生成多個拍攝圖像；方位獲得單元，被配置為把拍攝所生成的多個拍攝圖像之中的一個拍攝圖像時的圖像拍攝位置設(shè)定為基準，并且獲得與該拍攝圖像有關(guān)的方位；圖像組合單元，被配置為組合所生成的多個拍攝圖像以生成全景圖像；代表性位置計算單元，被配置為計算所生成的全景圖像中的水平方向上的代表性位置；方位計算單元，被配置為基于所述圖像拍攝單元的特性信息、計算出的代表性位置以及所獲得的方位，計算被計算出的代表性位置處的方位；以及記錄控制單元，被配置為與所生成的全景圖像相關(guān)聯(lián)地記錄計算出的方位。
2.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中，所述方位獲得單元獲得在所生成的多個拍攝圖像之中在時間軸上的第一拍攝圖 像的中心位置處的方位作為與該拍攝圖像有關(guān)的方位，并且其中，所述代表性位置計算單元計算所生成的全景圖像的中心位置作為所述全景圖像 中的代表性位置。
3.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中，所述特性信息包括由所述圖像拍攝單元生成的拍攝圖像的焦平面的寬度和焦距。
4.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，還包括圖像拍攝操作判定單元，被配置為判定在生成所述多個拍攝圖像時的圖像拍攝操作狀態(tài)，其中，所述方位計算單元在一特定圖像拍攝操作狀態(tài)被判定為圖像拍攝操作狀態(tài)的情 況下，把所獲得的方位設(shè)定為所述代表性位置處的方位。
5.一種電子設(shè)備，包括操作接受單元，被配置為接受指定全景圖像中的一部分的范圍的指定操作，該全景圖 像是通過組合多個拍攝圖像生成的；圖像提取單元，被配置為從所述全景圖像中提取所指定的范圍中包含的圖像； 方位計算單元，被配置為基于用來生成所述多個拍攝圖像的圖像拍攝單元的特性信 息、所述全景圖像中的代表性位置、與該代表性位置相對應(yīng)的方位、以及所提取的圖像中的 代表性位置，來計算與所提取的圖像中的代表性位置相對應(yīng)的方位；以及 記錄控制單元，被配置為與所提取的圖像相關(guān)聯(lián)地記錄計算出的方位。
6.一種電子設(shè)備，包括操作接受單元，被配置為接受指定全景圖像中的一部分的范圍的指定操作，該全景圖 像是通過組合多個拍攝圖像生成的；圖像提取單元，被配置為從所述全景圖像中提取所指定的范圍中包含的圖像； 方位計算單元，被配置為基于所述全景圖像中的水平方向上的大小、與所述全景圖像 的圖像拍攝范圍相對應(yīng)的角度、所述全景圖像中的代表性位置、與該代表性位置相關(guān)聯(lián)的 方位、以及所提取的圖像中的代表性位置，來計算所提取的圖像中的代表性位置處的方位； 以及記錄控制單元，被配置為與所提取的圖像相關(guān)聯(lián)地記錄計算出的方位。
7.一種電子設(shè)備，包括特定方位位置計算單元，被配置為基于通過組合多個拍攝圖像生成的全景圖像中的水 平方向上的大小、該全景圖像中的代表性位置、與該代表性位置相關(guān)聯(lián)的方位、以及用來生 成所述多個拍攝圖像的圖像拍攝單元的特性信息，來計算該全景圖像中的特定方位以及該 全景圖像中與該特定方位相對應(yīng)的位置；圖像提取單元，被配置為從所述全景圖像中提取出所述全景圖像中包括計算出的位置 在內(nèi)的預(yù)定范圍中所包含的圖像；以及顯示控制單元，被配置為使所提取的圖像與所述特定方位相關(guān)聯(lián)地進行顯示。
8.根據(jù)權(quán)利要求7所述的電子設(shè)備，其中，在所述全景圖像中存在多個特定方位的情況下，所述特定方位位置計算單元計 算所述多個特定方位，其中，所述顯示控制單元顯示計算出的各個特定方位， 所述電子設(shè)備還包括操作接受單元，被配置為接受從所顯示的特定方位之中選擇希望的特定方位的選擇操作，其中，所述圖像提取單元從所述全景圖像中提取包括與所選擇的特定方位相對應(yīng)的位 置在內(nèi)的預(yù)定范圍中所包含的圖像，并且其中，所述顯示控制單元使所提取的圖像與所選擇的特定方位相關(guān)聯(lián)地進行顯示。
9.一種電子設(shè)備，包括特定對象檢測單元，被配置為檢測通過組合多個拍攝圖像生成的全景圖像中包含的特 定對象；特定對象方位計算單元，被配置為基于檢測到的特定對象在所述全景圖像中的位置、 用來生成所述多個拍攝圖像的圖像拍攝單元的特性信息、所述全景圖像中的代表性位置、 以及與該代表性位置相關(guān)聯(lián)的方位，來計算與檢測到的特定對象的位置相對應(yīng)的方位；圖像提取單元，被配置為從所述全景圖像中提取出包括檢測到的特定對象在內(nèi)的預(yù)定 范圍中所包含的圖像；以及顯示控制單元，被配置為使所提取的圖像與計算出的方位相關(guān)聯(lián)地進行顯示。
10.一種電子設(shè)備，包括圖像變換單元，被配置為基于通過組合多個拍攝圖像生成的全景圖像中的水平方向上 的大小、與該全景圖像的圖像拍攝范圍相對應(yīng)的角度、以及該全景圖像中的代表性位置，來 對該全景圖像進行變換；以及顯示控制單元，被配置為基于生成所述全景圖像時的圖像拍攝位置，在地圖上布置和 顯示變換后的全景圖像。
11.根據(jù)權(quán)利要求10所述的電子設(shè)備，其中，所述圖像變換單元把所述全景圖像變換成扇形形狀，以使變換后的全景圖像中 包含的被攝物的方位與所述地圖上的方位基本一致。
12.根據(jù)權(quán)利要求11所述的電子設(shè)備，其中，所述顯示控制單元把變換后的全景圖像布置和顯示在所述地圖上，以使變換后的全景圖像的中心角度處的位置與所述地圖上的圖像拍攝位置基本一致。
13.根據(jù)權(quán)利要求10所述的電子設(shè)備，其中，在所述全景圖像包含特定對象的情況下，所述圖像變換單元提取包含所述特定 對象的特定對象圖像，并且把所提取的特定對象圖像重疊在變換后的全景圖像上而進行組I=I O
14.一種電子設(shè)備，包括圖像變換單元，被配置為以通過組合多個拍攝圖像所生成的全景圖像中的垂直方向為 邊界，把該全景圖像分割成預(yù)定的數(shù)目以生成多個圖像，基于用來生成所述多個拍攝圖像 的圖像拍攝單元的特性信息、該全景圖像中的代表性位置、與該代表性位置相關(guān)聯(lián)的方位、 以及分割后的各個圖像中的代表性位置，來計算與分割 后的各個圖像中的代表性位置相對 應(yīng)的方位，并且基于計算出的方位來旋轉(zhuǎn)分割后的各個圖像；以及顯示控制單元，被配置為基于生成所述全景圖像時的圖像拍攝位置，在地圖上布置和 顯示分割后的各個圖像。
15.根據(jù)權(quán)利要求14所述的電子設(shè)備，其中，所述圖像變換單元旋轉(zhuǎn)分割后的各個圖像，以使分割后的各個圖像中的代表性 位置的方位與所述地圖上的方位基本一致。
16.根據(jù)權(quán)利要求14所述的電子設(shè)備，其中，在所述全景圖像包含特定對象的情況下，所述圖像變換單元改變邊界的位置以 使所述特定對象不與邊界重疊，并且分割所述全景圖像。
17.一種全景圖像記錄方法，包括以下步驟 拍攝被攝物的圖像并且生成多個拍攝圖像；把拍攝所生成的多個拍攝圖像之中的一個拍攝圖像時的圖像拍攝位置設(shè)定為基準，并 且獲得與該拍攝圖像有關(guān)的方位；組合所生成的多個拍攝圖像以生成全景圖像； 計算所生成的全景圖像中的水平方向上的代表性位置；基于用來生成所生成的多個拍攝圖像的圖像拍攝單元的特性信息、計算出的代表性位 置以及所獲得的方位，來計算被計算出的代表性位置處的方位；以及 與所生成的全景圖像相關(guān)聯(lián)地記錄計算出的方位。
18.—種程序，用于指示計算機執(zhí)行以下步驟 拍攝被攝物的圖像并且生成多個拍攝圖像；把拍攝所生成的多個拍攝圖像之中的一個拍攝圖像時的圖像拍攝位置設(shè)定為基準，并 且獲得與該拍攝圖像有關(guān)的方位；組合所生成的多個拍攝圖像以生成全景圖像； 計算所生成的全景圖像中的水平方向上的代表性位置；基于用來生成所生成的多個拍攝圖像的圖像拍攝單元的特性信息、計算出的代表性位 置以及所獲得的方位，來計算被計算出的代表性位置處的方位；以及 與所生成的全景圖像相關(guān)聯(lián)地記錄計算出的方位。全文摘要
本發(fā)明涉及圖像拍攝裝置、電子設(shè)備、全景圖像記錄方法及程序。該圖像拍攝裝置包括圖像拍攝單元，用于拍攝被攝物的圖像并生成多個拍攝圖像；方位獲得單元，用于把拍攝所生成的多個拍攝圖像之中的一個拍攝圖像時的圖像拍攝位置設(shè)定為基準并獲得與該拍攝圖像有關(guān)的方位；圖像組合單元，用于組合所生成的多個拍攝圖像并生成全景圖像；代表性位置計算單元，用于計算所生成的全景圖像中的水平方向上的代表性位置；方位計算單元，用于基于圖像拍攝單元的特性信息、計算出的代表性位置和所獲得的方位，計算所計算出的代表性位置處的方位；以及記錄控制單元，用于與所生成的全景圖像相關(guān)聯(lián)地記錄計算出的方位。
文檔編號G03B37/00GK101902571SQ201010169408
公開日2010年12月1日 申請日期2010年4月29日 優(yōu)先權(quán)日2009年5月27日
發(fā)明者四方康人 申請人:索尼公司