專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及商品攝影裝置、商品攝影方法、圖像變換裝置、圖像處理裝置、圖像處理系統(tǒng)、程序及信息記錄介質(zhì)，便于用戶能夠容易拍攝商品的全方位圖像組。
背景技術(shù)：
由從物體的周圍依次拍攝該物體得到的多個(gè)圖像構(gòu)成的全方位圖像組，除了用于生成該物體的三維形狀模型之外(例如，參照非專利文獻(xiàn)1)，還能夠用于使消費(fèi)者清楚地觀察商品的外觀等用途。其中，在以物體為中心的圓周上，以使攝像機(jī)的拍攝方向朝向該物體的方式進(jìn)行移動(dòng)，同時(shí)依次拍攝包括該物體的現(xiàn)實(shí)世界的狀態(tài)，由此得到全方位圖像。因此，為了使攝像機(jī)的位置和朝向符合上述的設(shè)定，通常全方位圖像的攝影需要特殊的器械。另一方面，近年來低價(jià)的數(shù)字?jǐn)z像機(jī)得到普及。在數(shù)字照相機(jī)中，攝影用透鏡將包括被攝體的外界的光聚集而在(XD (Charge Coupled Device)等圖像感測器中成像外界的狀態(tài)。當(dāng)用戶按下快門時(shí)，在此后的某個(gè)短時(shí)間的期間內(nèi)，根據(jù)圖像感測器感測到的光的強(qiáng)度和波長等，得到電子文件形式的圖像。該電子文件相當(dāng)于過去的光學(xué)式攝像機(jī)的已感光膠片和已顯影印相紙。另外，被稱為實(shí)時(shí)預(yù)覽(live preview)或者實(shí)時(shí)取景的技術(shù)也得到普及。在實(shí)時(shí)預(yù)覽中，將圖像感測器當(dāng)前檢測到的圖像直接實(shí)時(shí)地顯示在液晶顯示器等的畫面上(例如，參照非專利文獻(xiàn)2)。即，在實(shí)時(shí)預(yù)覽中采用了液晶顯示器等的電子取景器。通過實(shí)時(shí)預(yù)覽而顯示于取景畫面上的圖像，是相當(dāng)于“在假設(shè)用戶目前在該瞬間按下快門時(shí)得到的圖像”的圖像。因此，如果采用實(shí)時(shí)預(yù)覽，用戶能夠在拍攝之前確認(rèn)對被攝體的構(gòu)圖和曝光等?，F(xiàn)有技術(shù)文獻(xiàn)非專利文獻(xiàn)非專利文獻(xiàn)1:保田和隆、右田剛史、青山正人、椋木雅之、淺田尚紀(jì)，疎々全周囲畫像列力、6 Θ密々3次兀形狀壬 于O生成(Generation of Dense Three-dimensionalShape Model from Rough Image Sequence of Entire Surroundings),社団法人情報(bào)処理學(xué)會(huì)研究報(bào)告，CVIM, 二 > 匕。.^ 一夕匕' 'y' 3 > t -1 Λ 一 y' Λ r T (Computer Vision andImage Media), 2003 — CIVM — 138 (11)、73 頁一80 頁，http://harp.lib.hiroshima-u.ac.jp/bitstream/harp/6507,2003 年 5 月 8 日
非專利文獻(xiàn)2:ffikipedia, The Free Encyclopedia, Live preview, http://en.wikipedia.0rg/wiki/Live_preview,2010 年 6 月 15 日

發(fā)明內(nèi)容
發(fā)明要解決的問題但是，在中小商店主或拍賣會(huì)的個(gè)人展出者想要拍攝用于介紹商品的全方位圖像的情況下，幾乎都無法準(zhǔn)備諸如上述的特殊器械。因此，尋求能夠容易拍攝全方位圖像組或者在拍攝后能夠容易變換為全方位圖像組的圖像組的技術(shù)。本發(fā)明正是為了解決上述問題而提出的，其目的在于，提供一種適合于用戶容易拍攝商品的全方位圖像組的商品攝影裝置、商品攝影方法、圖像變換裝置、圖像處理裝置、圖像處理系統(tǒng)、程序及信息記錄介質(zhì)。用于解決問題的手段本發(fā)明的第一方面的商品攝影裝置構(gòu)成為具有:圖像感測部，其感測從配置有商品的外界投射的光，輸出表示該感測的結(jié)果的圖像；指示受理部，其受理來自用戶的攝影指示；保存部，其在受理了所述攝影指示時(shí)保存由所述圖像感測部感測到的圖像；以及取景顯示部，其將由所述保存部保存的圖像和由所述圖像感測部感測到的圖像進(jìn)行合成，并顯示在取景畫面上。并且，在上述商品攝影裝置中也可以構(gòu)成為，所述取景顯示部在所述取景畫面上交替顯示由所述保存部保存的圖像和由所述圖像感測部感測到的圖像。并且，在上述商品攝影裝置中也可以構(gòu)成為，所述取景顯示部將對由所述保存部保存的圖像實(shí)施了預(yù)定的圖像濾波而得到的結(jié)果設(shè)為半透明狀，并重疊在由所述圖像感測部感測到的圖像上進(jìn)行合成。并且，在上述商品攝影裝置中也可以構(gòu)成為，所述取景顯示部在由所述保存部保存的圖像有多個(gè)時(shí)，將第一個(gè)保存的圖像和由所述圖像感測部感測到的圖像進(jìn)行合成。并且，所述商品攝影裝置也可以構(gòu)成為還具有感測所述商品攝影裝置的傾斜度的傾斜度感測部，所述保存部在受理了所述攝影指示時(shí)，將由所述圖像感測部感測到的圖像與由所述傾斜度感測部感測到的傾斜度相對應(yīng)地進(jìn)行保存，所述顯示部在所述取景畫面上顯示與由所述保存部保存的圖像相對應(yīng)地保存的傾斜度、和由所述傾斜度感測部感測到的傾斜度。本發(fā)明的第二方面的圖像變換裝置構(gòu)成為具有:圖像受理部，其受理利用所述商品攝影裝置從商品的周圍拍攝商品并保存的多個(gè)圖像、和與該圖像對應(yīng)的傾斜度；以及變換部，其根據(jù)與該圖像對應(yīng)的傾斜度，將所述受理的多個(gè)圖像變換為所述商品的全方位圖像組。本發(fā)明的第三方面的圖像處理裝置構(gòu)成為具有:
角度受理部，其受理繞預(yù)定的旋轉(zhuǎn)軸的角度；以及插值部，其根據(jù)所述受理的角度，對利用所述圖像變換裝置得到的商品的全方位圖像組進(jìn)行插值，并得到表示從所述受理的角度觀察該商品時(shí)的狀態(tài)的已插值圖像。并且，所述圖像處理裝置也可以構(gòu)成為還具有:角度感測部，其感測所述圖像處理裝置繞預(yù)定的軸的角度；以及監(jiān)視顯示部，其將所述得到的已插值圖像顯示在監(jiān)視畫面上，所述角度受理部受理所述感測到的角度。本發(fā)明的第四方面的圖像處理系統(tǒng)具有所述圖像處理裝置、和與該圖像處理裝置以可通信的方式連接的終端裝置。其中，所述終端裝置具有:角度感測部，其感測所述終端裝置繞預(yù)定的軸的角度；以及角度發(fā)送部，其將所述感測到的角度發(fā)送給所述圖像處理裝置。另一方面,所述圖像處理裝置具有:角度接收部，其接收從所述終端裝置發(fā)送的角度，并使所述角度受理部受理；以及圖像發(fā)送部，其將所述得到的已插值圖像發(fā)送給所述終端裝置，另外，所述終端裝置具有:圖像接收部，其接收從所述圖像處理裝置發(fā)送的已插值圖像；以及監(jiān)視顯示部，其將所述接收到的已插值圖像顯示在監(jiān)視畫面上。本發(fā)明的第五方面的商品攝影方法是由商品攝影裝置執(zhí)行的商品攝影方法，該商品攝影裝置具有圖像感測部、指示受理部、保存部、顯示部，所述商品攝影方法構(gòu)成為包括:圖像感測步驟，由所述圖像感測部感測從配置有商品的外界投射的光，并輸出表示該感測的結(jié)果的圖像；指示受理步驟，由所述指示受理部受理來自用戶的攝影指示；保存步驟，在受理了所述攝影指示時(shí)，由所述保存部保存由所述圖像感測部感測到的圖像；以及取景顯示步驟，由所述顯示部將由所述保存部保存的圖像和由所述圖像感測部感測到的圖像進(jìn)行合成，并顯示在取景畫面上。本發(fā)明的第六方面的程序構(gòu)成為使計(jì)算機(jī)作為以下單元發(fā)揮作用:圖像感測部，其感測從配置有商品的外界投射的光，輸出表示該感測的結(jié)果的圖像；指示受理部，其受理來自用戶的攝影指示；保存部，其在受理了所述攝影指示時(shí)保存由所述圖像感測部感測到的圖像；以及取景顯示部，其將由所述保存部保存的圖像和由所述圖像感測部感測到的圖像進(jìn)行合成，并顯示在取景畫面上。本發(fā)明的第七方面的記錄了程序的計(jì)算機(jī)可讀的信息記錄介質(zhì)，其特征在于，該程序使計(jì)算機(jī)作為以下單元發(fā)揮作用:圖像感測部，其感測從配置有商品的外界投射的光，輸出表示該感測的結(jié)果的圖像；
指示受理部，其受理來自用戶的攝影指示；保存部，其在受理了所述攝影指示時(shí)保存由所述圖像感測部感測到的圖像；以及取景顯示部，其將由所述保存部保存的圖像和由所述圖像感測部感測到的圖像進(jìn)行合成，并顯示在取景畫面上。S卩，本發(fā)明的程序可以記錄在光盤、軟盤、硬盤、光磁盤、數(shù)字錄像盤、磁帶、半導(dǎo)體存儲(chǔ)器等計(jì)算機(jī)可讀的信息記錄介質(zhì)中。上述程序能夠相對于執(zhí)行程序的計(jì)算機(jī)獨(dú)立地通過計(jì)算機(jī)通信網(wǎng)絡(luò)進(jìn)行發(fā)布及銷售。并且，上述信息記錄介質(zhì)能夠相對于計(jì)算機(jī)獨(dú)立地進(jìn)行發(fā)布及銷售。發(fā)明效果根據(jù)本發(fā)明，能夠提供一種適合于用戶容易拍攝商品的全方位圖像組的商品攝影裝置、商品攝影方法、圖像變換裝置、圖像處理裝置、圖像處理系統(tǒng)、程序及信息記錄介質(zhì)。


圖1是示出本發(fā)明的一個(gè)實(shí)施方式的圖像處理系統(tǒng)的簡要結(jié)構(gòu)的說明圖。圖2是說明本發(fā)明的一個(gè)實(shí)施方式的商品攝影裝置的簡要結(jié)構(gòu)的說明圖。圖3是示出已拍攝圖像與實(shí)時(shí)預(yù)覽圖像與顯示在取景畫面上的圖像之間的關(guān)系的說明圖。圖4是示出已拍攝圖像與實(shí)時(shí)預(yù)覽圖像與顯示在取景畫面上的圖像之間的關(guān)系的說明圖。圖5是示出由本發(fā)明的一個(gè)實(shí)施方式的商品攝影裝置執(zhí)行的商品攝影處理的控制流程的流程圖。圖6是示出本發(fā)明的一個(gè)實(shí)施方式的圖像變換裝置的簡要結(jié)構(gòu)的說明圖。圖7是示出由本實(shí)施方式的圖像變換裝置執(zhí)行的圖像變換處理的控制流程的流程圖。圖8是示出本實(shí)施方式的圖像處理裝置的各個(gè)要素與終端裝置的各個(gè)要素之間的關(guān)系的說明圖。圖9是示出由圖像處理裝置的各個(gè)要素和終端裝置的各個(gè)要素執(zhí)行的圖像處理的控制流程的流程圖。
具體實(shí)施例方式下面說明本發(fā)明的實(shí)施方式。本實(shí)施方式是用來說明而不是限制本申請發(fā)明的范圍。因此，本行業(yè)人員可以采用將這些各個(gè)要素或者全部要素置換為與其同等的要素而得到的實(shí)施方式，這些實(shí)施方式均包含在本發(fā)明的范圍中。(1.圖像處理系統(tǒng))圖1是示出本實(shí)施方式的圖像處理系統(tǒng)的簡要結(jié)構(gòu)的說明圖。下面，參照本圖進(jìn)行說明。本實(shí)施方式的圖像處理系統(tǒng)101由商品攝影裝置121、圖像變換裝置141、圖像處理裝置161、終端裝置181構(gòu)成。商品攝影裝置121是想要進(jìn)行商品介紹的商店主和拍賣品展出者等拍攝該商品時(shí)使用的裝置。代表性的商品攝影裝置121由具有信息處理功能的數(shù)字?jǐn)z像機(jī)或移動(dòng)電話、智能手機(jī)等構(gòu)成，也可以由連接了 USB (Universal Serial Bus:通用串行總線)攝像機(jī)的個(gè)人電腦等構(gòu)成。攝影者使用商品攝影裝置121，將該商品盡可能配置在視野的中央，使商品與商品攝影裝置121之間的距離盡可能固定。并且，攝影者繞該商品移動(dòng)一周或者使商品自身旋轉(zhuǎn)，同時(shí)反復(fù)進(jìn)行拍攝，得到多個(gè)商品圖像。圖像變換裝置141將通過商品攝影裝置121的攝影而得到的多個(gè)商品圖像變換為針對該商品的全方位圖像組。其中，全方位圖像組是指假設(shè)從在以貫穿該商品的旋轉(zhuǎn)軸為中心的圓周上移動(dòng)的攝像機(jī)、沿朝向該商品的光軸方向拍攝該商品時(shí)得到的圖像的集合體。因此，假設(shè)在如下狀態(tài)下拍攝到的圖像是全方位圖像組，即從旋轉(zhuǎn)軸經(jīng)過商品到達(dá)攝像機(jī)的角度是固定的，旋轉(zhuǎn)軸與攝像機(jī)之間的距離也是固定的，商品與攝像機(jī)之間的距離固定。如上所述，利用商品攝影裝置121的攝影者既不熟知這種特殊的攝影方法，也不具有特殊的器械。因此，在本實(shí)施方式中，在利用商品攝影裝置121時(shí)，進(jìn)行各種輔助以容易得到盡可能全方位的圖像組。S卩，在拍攝時(shí)，在本實(shí)施方式中采用實(shí)時(shí)預(yù)覽用的液晶顯示器等電子取景器。在電子取景器的取景畫面上，除了顯示從商品攝影裝置121觀察到的商品的當(dāng)前狀態(tài)之外，還重疊顯示了過去已拍攝的商品的狀態(tài)。因此，關(guān)于以何種大小、何種角度來拍攝商品，攝影者能夠與過去的履歷對比著進(jìn)行拍攝。因此，能夠使從旋轉(zhuǎn)軸經(jīng)過商品到達(dá)商品攝影裝置121的角度、商品與商品攝影裝置121之間的距離盡可能固定。圖像變換裝置141將多個(gè)商品圖像變換為全方位圖像組，在本實(shí)施方式中能夠得到的變換結(jié)果是某種近似，不需要諸如非專利文獻(xiàn)I公開的那么復(fù)雜的計(jì)算，這也是本實(shí)施方式的特征所在。圖像變換裝置141用于從商品圖像得到全方位圖像組，圖像處理裝置161用于管理商品的全方位圖像組，代表性的圖像變換裝置141和圖像處理裝置161利用進(jìn)行該商品的網(wǎng)絡(luò)銷售的一個(gè)服務(wù)器裝置構(gòu)成。S卩，商店主等將自己利用數(shù)字?jǐn)z像機(jī)等商品攝影裝置121拍攝的多個(gè)商品圖像上傳到服務(wù)器裝置。然后，服務(wù)器裝置作為圖像變換裝置141發(fā)揮作用，將商品圖像變換為全方位圖像組。另外，服務(wù)器裝置作為圖像處理裝置161發(fā)揮作用，使正在考慮通過網(wǎng)絡(luò)通信銷售或網(wǎng)絡(luò)競拍來購買該商品的用戶瀏覽該全方位圖像組。此時(shí)，不是將全方位圖像組直接提供給用戶，而是進(jìn)行諸如引起用戶興趣的適當(dāng)?shù)膱D像處理，這也是本實(shí)施方式的特征所在。相對于作為網(wǎng)絡(luò)服務(wù)器發(fā)揮作用的圖像處理裝置161，終端裝置181作為網(wǎng)絡(luò)終端發(fā)揮作用，向圖像處理裝置161請求提供合適的全方位圖像組。即，終端裝置181利用能夠連接網(wǎng)絡(luò)等的計(jì)算機(jī)通信網(wǎng)絡(luò)的個(gè)人電腦或移動(dòng)電話、智能手機(jī)等構(gòu)成。
全方位圖像組是將繞商品巡視一周時(shí)看到的狀態(tài)形成為圖像，將該圖像順序排列得到的組。在本實(shí)施方式中，從終端裝置181通知圖像處理裝置161想要觀察這一周中的哪個(gè)角度時(shí)的圖像。然后，圖像處理裝置161對全方位圖像實(shí)施適當(dāng)?shù)牟逯堤幚?，生成表示與該角度對應(yīng)的商品的外觀的插值圖像。并且，從圖像處理裝置161向終端裝置181發(fā)送插值圖像，在終端裝置181的監(jiān)視畫面上顯示該插值圖像。也能夠構(gòu)成為用戶利用鍵盤和觸摸屏直接從終端裝置181輸入角度。其中，有的移動(dòng)電話和智能手機(jī)等具有羅盤功能和GPS(Global Positioning System:全球定位功能)功能、采用加速度傳感器等的傾斜度檢測功能。因此，如果直接采用利用這種功能得到的角度或者采用將該角度乘以常數(shù)倍后的角度，不僅能夠改變終端裝置181的朝向，也能夠改變在插值圖像中表現(xiàn)出的商品的朝向。這樣，用戶能夠通過簡單的操作對商品的外觀觀察一周，這也是本實(shí)施方式的特征所在。另外，在本實(shí)施方式中，利用不同的設(shè)備構(gòu)成圖像處理裝置161和終端裝置181，但也可以利用一臺(tái)個(gè)人電腦或智能手機(jī)、移動(dòng)電話等將兩者構(gòu)成為一體。在這種情況下，終端裝置181與圖像處理裝置161的信息的發(fā)送及接收，是通過在一臺(tái)設(shè)備的電子電路中進(jìn)行電氣信號(hào)的發(fā)送接收而實(shí)現(xiàn)的。例如，從構(gòu)成圖像變換裝置141的網(wǎng)絡(luò)服務(wù)器向智能手機(jī)下載商品的全方位圖像組。并且，智能手機(jī)作為圖像處理裝置161發(fā)揮作用，智能手機(jī)根據(jù)其傾斜度從全方位圖像組生成插值圖像，并顯示在監(jiān)視畫面上。這樣，關(guān)于是利用各種服務(wù)器/客戶端方式分散實(shí)現(xiàn)本發(fā)明的圖像處理的各種功能、還是利用一體化的裝置實(shí)現(xiàn)本發(fā)明的圖像處理的各種功能，可以根據(jù)實(shí)現(xiàn)圖像處理的計(jì)算機(jī)等信息處理裝置的用途和性能進(jìn)行適當(dāng)變更。下面，對本實(shí)施方式的圖像處理系統(tǒng)101的各個(gè)部分進(jìn)行更詳細(xì)的說明。(2.商品攝影裝置)圖2是說明本實(shí)施方式的商品攝影裝置121的簡要結(jié)構(gòu)的說明圖。下面，參照本圖進(jìn)行說明。商品攝影裝置121具有圖像感測部201、指示受理部202、保存部203、取景顯示部204。并且，也可以構(gòu)成為具有傾斜度感測部205。S卩，圖像感測部201感測從配置有商品的外界投射的光，并輸出表示該感測的結(jié)果的圖像。代表性的圖像感測部201由CXD等圖像傳感器構(gòu)成。被圖像感測部201感測到的光是經(jīng)過透鏡和各種光圈而到達(dá)的。另一方面，指示受理部202受理來自用戶的攝影指示。指示受理部202相當(dāng)于所謂快門按鈕。另外，保存部203在受理了攝影指示時(shí)保存由圖像感測部201感測到的圖像。保存部203 通常是在利用 EEPROM (Electrically Erasable Programmable ReadOnly Memory:電可擦可編程只讀存儲(chǔ)器)等構(gòu)成的閃存存儲(chǔ)卡或硬盤等非易失性的信息記錄介質(zhì)中記錄所拍攝的圖像文件。另外,取景顯示部204將由圖像感測部201感測到的圖像顯示在取景畫面上。攝影者參照在取景畫面上顯示的圖像，進(jìn)行商品攝影裝置121的位置和朝向的調(diào)整、對焦和光圈的調(diào)整。截止到此的各個(gè)部分的功能與安裝有實(shí)時(shí)預(yù)覽功能的數(shù)字?jǐn)z像機(jī)相同。本實(shí)施方式的特征在于，取景顯示部204在將由圖像感測部201感測到的圖像顯示在取景畫面上時(shí)，與由保存部203保存的圖像進(jìn)行合成。在該合成中，表示過去已拍攝的視野的圖像和表示現(xiàn)在想要拍攝的視野的圖像被重疊顯示在取景畫面上。因此，攝影者能夠?qū)崟r(shí)對比兩者的圖像，同時(shí)進(jìn)行商品攝影裝置121的位置和朝向的調(diào)整。關(guān)于將兩張圖像重疊的合成方法，最簡單的方法是將由保存部203保存的圖像(已拍攝圖像)設(shè)為半透明狀，并重疊在由圖像感測部201感測到的圖像(實(shí)時(shí)預(yù)覽圖像，live-preview image)上進(jìn)行合成，再顯示在取景畫面上。圖3、圖4是示出已拍攝圖像與實(shí)時(shí)預(yù)覽圖像與顯示在取景畫面上的圖像之間的關(guān)系的說明圖。下面，參照這些附圖進(jìn)行說明。另外，在這些附圖中適當(dāng)采用了虛線，以便表現(xiàn)半透明狀態(tài)。圖3示出了商品301被配置于大致中央的已拍攝圖像311、商品301同樣被配置于大致中央的實(shí)時(shí)預(yù)覽圖像321。在兩張圖像中，商品301的角度具有微妙差異。在將已拍攝圖像311設(shè)為半透明狀并重疊在實(shí)時(shí)預(yù)覽圖像321上進(jìn)行合成的結(jié)果所得到的取景圖像331中，商品301的兩張圖像以基本相同的大小被重疊顯示。因此，如果在當(dāng)前狀態(tài)下按下快門，在變換為全方位圖像組時(shí)能夠減小誤差。另一方面，在圖4中，在已拍攝圖像311中商品301被配置在大致中央，而在實(shí)時(shí)預(yù)覽圖像321中，商品301的位置和大小與已拍攝圖像311大不相同。然后，在將已拍攝圖像311設(shè)為半透明狀并重疊在實(shí)時(shí)預(yù)覽圖像321上進(jìn)行合成的結(jié)果所得到的取景圖像331中，商品301的兩張圖像幾乎不重合。因此，即使在當(dāng)前狀態(tài)下按下快門并得到了表示與實(shí)時(shí)預(yù)覽圖像321相同狀態(tài)的新的已拍攝圖像311，在變換為全方位圖像組時(shí)，也認(rèn)為誤差增大。即，攝影者按照圖3所示調(diào)整商品攝影裝置121的位置，使得過去已拍攝的商品301的圖像和現(xiàn)在看到的商品301的圖像是盡可能相同的大小，而看到的角度稍微不同，然后進(jìn)行攝影用的指示輸入即可。另外，即使攝影者將商品攝影裝置121移動(dòng)，已拍攝圖像311內(nèi)的商品301及其背景的位置也不變，但是實(shí)時(shí)預(yù)覽圖像321內(nèi)的商品301及其背景的位置與攝影者的移動(dòng)聯(lián)動(dòng)地變化。因此，攝影者能夠容易區(qū)分取景圖像331中哪張是來源于已拍攝圖像311的圖像、哪張是來源于實(shí)時(shí)預(yù)覽圖像321的圖像。并且，為了使兩者的區(qū)別更加明確，也有對已拍攝圖像311實(shí)施色彩濾波或輪廓線提取濾波后合成在實(shí)時(shí)預(yù)覽圖像321上的方法。作為其它方法，還可以考慮在取景畫面上交替地顯示已拍攝圖像311和實(shí)時(shí)預(yù)覽圖像321的方式。如上所述，根據(jù)取景畫面的顯示是在追隨攝影者的移動(dòng)還是固定不變的，能夠區(qū)分在取景畫面上顯示的圖像是實(shí)時(shí)預(yù)覽圖像321還是已拍攝圖像311。因此，能夠任意設(shè)定顯示兩張圖像的時(shí)間長度。但是，通常將兩者的顯示切換時(shí)間設(shè)定為使實(shí)時(shí)預(yù)覽圖像321的顯示時(shí)間比已拍攝圖像311的顯示時(shí)間長。作為合成的對象的已拍攝圖像311通常是采用開始該商品301的攝影的時(shí)刻的圖像，然而攝影者也能夠適當(dāng)進(jìn)行選擇。并且，還能夠?qū)⒋饲皠倓偱臄z的圖像用作已拍攝圖像311進(jìn)行合成。另外，傾斜度感測部205感測商品攝影裝置121的傾斜度，保存部203在受理了攝影指示時(shí)，將由圖像感測部201感測到的圖像與由傾斜度感測部感測到的傾斜度相對應(yīng)地進(jìn)行保存。在繞商品的周圍移動(dòng)一周進(jìn)行拍攝時(shí)，其旋轉(zhuǎn)軸通常設(shè)為重力的方向。在這種情況下，傾斜度感測部205可以利用加速度傳感器構(gòu)成。與此相應(yīng)地，也可以利用GPS或羅盤等的功能來檢測傾斜度。如果利用加速度傳感器檢測商品攝影裝置121相對于重力方向的軸的傾斜度，同時(shí)利用GPS或羅盤等檢測商品攝影裝置121繞重力方向的軸的旋轉(zhuǎn)量，則傾斜度感測部205能夠檢測商品攝影裝置121在3軸方向的全部的傾斜度。由此，能夠掌握現(xiàn)實(shí)世界中的商品攝影裝置121的所有姿勢。在后述的圖像變換裝置141對已拍攝圖像311進(jìn)行標(biāo)準(zhǔn)化來得到全方位圖像組時(shí)，將參照這些3軸方向的傾斜度的信息。如上所述，為了得到合適的全方位圖像，期望從旋轉(zhuǎn)軸經(jīng)過商品301到達(dá)商品攝影裝置121的角度是固定的、即相對于重力的傾斜度是固定的。因此，如果在取景圖像331中顯示當(dāng)前檢測到的商品攝影裝置121的傾斜度作為輔助信息，即顯示實(shí)時(shí)預(yù)覽圖像321的傾斜度的信息和已拍攝圖像311的攝影時(shí)的傾斜度的信息，則攝影者能夠以盡可能固定的角度拍攝商品301，能夠減小向全方位圖像組變換時(shí)的誤差。在本實(shí)施方式中，如圖3、圖4所示，在取景圖像331中顯示有表示實(shí)時(shí)預(yù)覽圖像321的傾斜度的柱狀圖322、和表示已拍攝圖像311的傾斜度的柱狀圖312。攝影者可以在用心地使兩個(gè)柱狀圖312、322的長度一致后進(jìn)行拍攝。另外，作為表示傾斜度的方法不限于柱狀圖312、322，也可以采用可以表現(xiàn)一致和不一致的程度的任意圖形。并且，也可以利用文字信息來表示傾斜度的數(shù)值。圖5是示出由本實(shí)施方式的商品攝影裝置121執(zhí)行的商品攝影處理的控制流程的流程圖。下面，參照本圖進(jìn)行說明。用戶在構(gòu)成商品攝影裝置121的數(shù)字?jǐn)z像機(jī)等中選擇表示開始拍攝作為商品的全方位圖像組的素材的圖像的信息，由此開始本處理。首先，在商品攝影裝置121中，圖像感測部201感測從配置有商品的外界投射的光，并輸出表示該感測的結(jié)果的圖像(步驟S501)。此處輸出的圖像是實(shí)時(shí)預(yù)覽圖像321。然后，傾斜度感測部205取得商品攝影裝置121當(dāng)前的傾斜度(步驟S502)。然后，在指示受理部202中判定用戶是否進(jìn)行了攝影指示(步驟S503)。在用戶進(jìn)行了攝影指示的情況下(步驟S503:是)，保存部203將實(shí)時(shí)預(yù)覽圖像321和在步驟S502檢測到的傾斜度相對應(yīng)地進(jìn)行保存(步驟S504)。然后，控制返回到步驟S501。
另一方面，在用戶沒有進(jìn)行攝影指示的情況下(步驟S503:否)，確認(rèn)是否有本處理開始以后保存在保存部203中的圖像、即已拍攝圖像311 (步驟S505)。在存在已拍攝圖像311的情況下(步驟S505:有),選擇任意一張已拍攝圖像311(步驟S506)。該選擇如上所述可以是第一張拍攝的圖像、也可以由用戶在處理途中進(jìn)行適當(dāng)變更，還可以是此前剛剛拍攝的圖像。并且，將所選擇的已拍攝圖像311設(shè)為半透明狀，并與實(shí)時(shí)預(yù)覽圖像321進(jìn)行合成(步驟S507)。此時(shí)，如上所述可以在對已拍攝圖像311實(shí)施色彩濾波或輪廓提取濾波等后進(jìn)行合成。并且，如上所述還可以以時(shí)分方式選擇任意一張圖像，將該選擇的圖像作為合成的結(jié)果。另外，在步驟S506的合成結(jié)果中描畫出表示與所選擇的已拍攝圖像311對應(yīng)的傾斜度和在步驟S502取得的商品攝影裝置121當(dāng)前的傾斜度的柱狀圖312、322，由此得到取景圖像331 (步驟S508)。并且，取景顯不部204在利用液晶顯不器等構(gòu)成的取景畫面上顯不取景圖像331(步驟S509)，并返回到步驟S501。另一方面，在不存在已拍攝圖像的情況下(步驟S505:沒有)，在實(shí)時(shí)預(yù)覽圖像321中描畫出在步驟S502取得的商品攝影裝置121當(dāng)前的傾斜度的柱狀圖322，由此得到取景圖像331 (步驟S510)。并且，取景顯不部204在利用液晶顯不器等構(gòu)成的取景畫面上顯不取景圖像331(步驟S511)，并返回到步驟S501。另外，在省略了傾斜度感測部205的方式中也適當(dāng)省略了與傾斜度相關(guān)的處理。在本實(shí)施方式中，在取景圖像311中將商品攝影裝置121相對于重力的傾斜度描畫為柱狀圖312、322。這樣，根據(jù)本實(shí)施方式的商品攝影裝置121，過去已拍攝的商品的圖像和當(dāng)前的商品的實(shí)時(shí)預(yù)覽圖像被重疊顯示在取景畫面上，因而能夠使商品與商品攝影裝置121的距離盡可能保持固定。并且，在檢測傾斜度的方式中，使商品攝影裝置121按照相對于預(yù)定的旋轉(zhuǎn)軸以盡可能固定的姿勢旋轉(zhuǎn)的方式進(jìn)行移動(dòng)。因此，用戶能夠容易拍攝到能夠高質(zhì)量地變換為商品的全方位圖像組的圖像。(3.圖像變換裝置)如上所述，如果采用圖像攝影裝置121，則能夠以繞商品301旋轉(zhuǎn)一周的方式、而且使與商品301的距離和相對于重力方向的傾斜度盡可能保持固定，使圖像攝影裝置121移動(dòng)，能夠依次拍攝商品301。在利用這種攝影方法得到多個(gè)已拍攝圖像311后，能夠?qū)⑦@些圖像標(biāo)準(zhǔn)化并得到商品301的全方位圖像組。此時(shí)采用本實(shí)施方式的圖像變換裝置141。其中，所謂商品301的全方位圖像組是指這樣的圖像的組，即假設(shè)諸如貫穿商品301的旋轉(zhuǎn)軸，使從該旋轉(zhuǎn)軸經(jīng)過商品301到達(dá)攝像機(jī)的角度保持固定，使商品301與攝像機(jī)的距離保持固定，同時(shí)使攝像機(jī)繞旋轉(zhuǎn)軸旋轉(zhuǎn)，并依次拍攝商品301時(shí)得到的圖像。因此，由圖像攝影裝置121拍攝到的多個(gè)已拍攝圖像311可以被認(rèn)為是“誤差較大的全方位圖像組”。因?yàn)殡m然在圖像攝影裝置121中進(jìn)行了盡可能使上述的角度和距離保持固定來拍攝商品301的研究，但是由于是人進(jìn)行的拍攝，因而無論如何在攝影時(shí)都會(huì)產(chǎn)
生誤差。圖像變換裝置141用于對多個(gè)已拍攝圖像311進(jìn)行變換，得到誤差盡可能小的全方位圖像組。在此，在本實(shí)施方式中能夠通過簡單的計(jì)算得到全方位圖像組，這與構(gòu)建攝影對象物的三維模型的非專利文獻(xiàn)I不同。下面進(jìn)行詳細(xì)說明。圖6是示出本實(shí)施方式的圖像變換裝置141的簡要結(jié)構(gòu)的說明圖。下面參照本圖進(jìn)行說明。本實(shí)施方式的圖像變換裝置141具有圖像受理部601和變換部602。其中，圖像受理部601受理利用商品攝影裝直121從商品的周圍拍攝商品并保存的多個(gè)已拍攝圖像311。在圖像變換裝置141利用網(wǎng)絡(luò)服務(wù)器等構(gòu)成的情況下，攝影者將自己拍攝的已拍攝圖像311通過因特網(wǎng)等進(jìn)行上傳。圖像受理部601受理該上傳。另外，商品攝影裝置121也可以采用向圖像變換裝置141自動(dòng)發(fā)送已拍攝圖像311的方式。在該方式中，商品攝影裝置121每當(dāng)保存了預(yù)定數(shù)量的已拍攝圖像311時(shí)、或者預(yù)定時(shí)間不進(jìn)行拍攝的情況下，自動(dòng)進(jìn)行已拍攝圖像311的發(fā)送。該方式尤其適合于在PDA(Personal Data Assistant:個(gè)人數(shù)字助理)或智能手機(jī)等便攜式計(jì)算機(jī)中執(zhí)行預(yù)定的程序來實(shí)現(xiàn)商品攝影裝置121的情況。并且，在圖像攝影裝置121利用數(shù)字?jǐn)z像機(jī)等構(gòu)成、圖像變換裝置141利用個(gè)人電腦等構(gòu)成的情況下，通過在兩者之間插拔存儲(chǔ)卡，使已拍攝圖像311移動(dòng)。另一方面，變換部602將所受理的多個(gè)已拍攝圖像311變換為商品301的全方位圖像組。在此，本實(shí)施方式的變換部602還由提取部611、估計(jì)部612、近似部613、輸出部614構(gòu)成。其中，提取部611依次提取兩張已拍攝圖像311。并且，從所取得的兩張已拍攝圖像311中提取對應(yīng)的特征點(diǎn)。此時(shí)能夠應(yīng)用各種圖像識(shí)別算法。在得到了對應(yīng)的特征點(diǎn)后，根據(jù)兩張已拍攝圖像311中的特征點(diǎn)的配置，估計(jì)在拍攝這兩張已拍攝圖像311時(shí)商品攝影裝置121的位置和朝向，求出用于將這兩張已拍攝圖像311分別進(jìn)行標(biāo)準(zhǔn)化的仿射變換矩陣。此處采用的仿射變換除了放大縮小、旋轉(zhuǎn)、斜向變換之外，還包括基于單點(diǎn)透視的透視變換。因此，在表現(xiàn)矩陣時(shí)適當(dāng)采用齊次坐標(biāo)。另外，下面為了簡化表述方式使易于理解，只要不會(huì)產(chǎn)生混亂，有時(shí)利用相同的記號(hào)來表述原來的矩陣和向量、以及增加了用于成為齊次坐標(biāo)而追加的常數(shù)的維數(shù)而得到的矩陣和向量。并且，近似部613將針對兩張已拍攝圖像311分別得到的基于仿射變換矩陣的仿射變換應(yīng)用于該已拍攝圖像311，進(jìn)行標(biāo)準(zhǔn)化。已標(biāo)準(zhǔn)化圖像是與全方位圖像組所包含的圖像近似的圖像。輸出部614輸出這樣得到的兩張已標(biāo)準(zhǔn)化圖像、以及這些已標(biāo)準(zhǔn)化圖像是以繞旋轉(zhuǎn)軸的多大差角進(jìn)行拍攝的。下面，對由圖像變換裝置141執(zhí)行的圖像變換處理的控制流程進(jìn)行更詳細(xì)的說明。圖7是示出由本實(shí)施方式的圖像變換裝置141執(zhí)行的圖像變換處理的控制流程的流程圖。下面，參照本圖進(jìn)行說明。首先，圖像受理部601受理利用商品攝影裝置121拍攝并保存的多個(gè)已拍攝圖像311、和與各張已拍攝圖像311對應(yīng)的傾斜度(步驟S701)。下面，為了容易理解，假設(shè)這些已拍攝圖像311是N張，將各張已拍攝圖像表述為G
、G[1]、…、G[N-1]。并且，將拍攝各張圖像G
、G[1]、…、G[N-1]時(shí)的傾斜度表述為R
、R[1]、…、R[N_1]。另外，利用中括號(hào)表示的注腳部分在后面視為是利用N的剩余項(xiàng)(coset)表述的部分。即，在注腳部分的整數(shù)為負(fù)或者是N以上的情況下，將該整數(shù)除以N得到的余數(shù)用作注腳的值。例如，傾斜度R[N]與傾斜度R
表示相同的意思，圖像G[-l]與圖像R[N-1]表不相同的意思。傾斜度R
、R[1]、…、R[N_1]是用于確定固定在商品攝影裝置121中的攝像機(jī)坐標(biāo)系的各個(gè)坐標(biāo)軸的方向的信息。因此，傾斜度R
、R[1]、…、R[N-1]各自的自由度為6。其中，通常是將表示各個(gè)坐標(biāo)軸的方向的單位向量進(jìn)行排列，利用3行3列的矩陣來表述。然后，使整數(shù)k在O到N之間變化，并反復(fù)以下的處理(步驟S702)。S卩，提取部611從圖像G[k]和圖像G[k+1]中提取對應(yīng)的特征點(diǎn)(步驟S703)。然后，估計(jì)部612選擇所提取的特征點(diǎn)的組中的任意3個(gè)組(步驟S704)。這3個(gè)組的選擇方法是任 意的，但是在圖像G[k]中所選擇的對應(yīng)點(diǎn)彼此的距離較遠(yuǎn)，如果在圖像G[k+1]中也以所選擇的對應(yīng)點(diǎn)彼此間距離較遠(yuǎn)的方式進(jìn)行選擇，則能夠抑制誤差。也可以從商品的頂邊、底邊、左邊中央、右邊中央附近的特征點(diǎn)中選擇任意3個(gè)。下面，將3個(gè)特征點(diǎn)分別稱為P、Q、W。將在圖像G[k]中描畫出這些特征點(diǎn)的位置表述為P [k]、q[k]、w[k]，將在圖像G [k+1]中描畫出這些特征點(diǎn)的位置表述為P [k+1]、q[k+l]、w[k+l]。并且，估計(jì)部612根據(jù)(I)特征點(diǎn)P在圖像G[k]、G[k+l]中的位置p[k]、p[k+l]、
(2)特征點(diǎn)Q在圖像G[k]、G[k+l]中的位置q[k]、q[k+l]、(3)特征點(diǎn)W在圖像G[k]、G[k+l]中的位置w[k]、w[k+l]、(4)拍攝圖像G[k]時(shí)的商品攝影裝置121的傾斜度R[k]、和(5)拍攝圖像G[k+1]時(shí)的商品攝影裝置121的傾斜度R[k+1]，來估計(jì)(X)拍攝圖像G[k]時(shí)的商品攝影裝置121的位置T [k]、和(y)拍攝圖像G[k+1]時(shí)的商品攝影裝置121的位置T [k+1](步驟 S705)。關(guān)于這種估計(jì)的算法的詳細(xì)情況，下面進(jìn)行詳細(xì)說明。通常，在利用攝像機(jī)拍攝時(shí)，采用在現(xiàn)實(shí)世界中固定的通用坐標(biāo)系與在攝像機(jī)中固定的攝像機(jī)坐標(biāo)系之間的坐標(biāo)變換。通用坐標(biāo)系和攝像機(jī)坐標(biāo)系均具有相互垂直的3個(gè)坐標(biāo)軸。下面，將攝像機(jī)坐標(biāo)系中的3個(gè)坐標(biāo)軸的方向向量分別設(shè)為rx、ry、rz (數(shù)式I 數(shù)式3)。[數(shù)式I]
權(quán)利要求
1.一種圖像處理裝置，其特征在于，該圖像處理裝置具有: 角度受理部，其受理繞貫通商品的旋轉(zhuǎn)軸的角度；以及 插值部，其根據(jù)所述受理的角度，對包括與旋轉(zhuǎn)角對應(yīng)的多個(gè)標(biāo)準(zhǔn)化圖像的所述商品的全方位圖像組進(jìn)行插值，得到表示從所述受理的角度觀察該商品時(shí)的狀態(tài)的已插值圖像， 所述插值部從與所述全方位圖像組所包含的各個(gè)標(biāo)準(zhǔn)化圖像B
、B[l]、…、B[N-1]對應(yīng)的旋轉(zhuǎn)角Θ [O]、Θ [I]、…、Θ [N-1] ( Θ [O] ^ Θ [I]含…含θ [N-1])中，選擇與夾著所述受理的角度Φ的旋轉(zhuǎn)角Θ [k]、Θ [k+1]對應(yīng)的標(biāo)準(zhǔn)化圖像8[10、8[1^+1]， 所述插值部根據(jù)用于將現(xiàn)實(shí)世界投影到標(biāo)準(zhǔn)化圖像B[k]、B[k+1]上的仿射變換矩陣L[k]、L[k+l]、和用于將該現(xiàn)實(shí)世界投影到圖像上的與所述受理的角度Φ對應(yīng)的仿射變換矩陣 (Φ)，生成第 I 圖像 L((t)L[k ] -1BM 和第 2 圖像 L((t)L[k+l] ^ 1B[k+1], 所述插值部利用與所述中心軸平行的分割線將所述第I圖像L(ct)L[k] —1Btk]分割為(Φ-Θ [k])對(θ [1 +1]_Φ)，提取繞所述中心軸的旋轉(zhuǎn)角較小的一側(cè)的第3圖像， 所述插值部利用與所述中心軸平行的分割線將所述第2圖像L ( Φ) L[k+1] — 1B [k+1]分害I]為(Φ-Θ [k])比(θ &+1]-φ)，提取繞所述中心軸的旋轉(zhuǎn)角較大的一側(cè)的第4圖像，所述插值部將所述第3圖像配置在繞所述中心軸的旋轉(zhuǎn)角較小的一側(cè)進(jìn)行排列，將所述第4圖像配置在繞所述中心軸的旋轉(zhuǎn)角較大的一側(cè)進(jìn)行排列，由此得到所述已插值圖像。
2.一種圖像處理方法，其特征在于，該圖像處理方法包括: 角度受理步驟，受理繞貫通商品的旋轉(zhuǎn)軸的角度；以及 插值步驟，根據(jù)所述受理的角度，對包括與旋轉(zhuǎn)角對應(yīng)的多個(gè)標(biāo)準(zhǔn)化圖像的所述商品的全方位圖像組進(jìn)行插值，得到表示從所述受理的角度觀察該商品時(shí)的狀態(tài)的已插值圖像， 在所述插值步驟中，從與所述全方位圖像組所包含的各個(gè)標(biāo)準(zhǔn)化圖像Β
、Β[1]、…、Β[Ν-1]對應(yīng)的旋轉(zhuǎn)角 Θ [O]、Θ [I]、…、Θ [N-1] ( Θ [O] ^ Θ [I]含…含 θ [Ν-1])中，選擇與夾著所述受理的角度Φ的旋轉(zhuǎn)角Θ [k]、Θ [k+1]對應(yīng)的標(biāo)準(zhǔn)化圖像B [k]、B [k+1]，在所述插值步驟中，根據(jù)用于將現(xiàn)實(shí)世界投影到標(biāo)準(zhǔn)化圖像B[k]、B[k+1]上的仿射變換矩陣L[k]、L[k+l]、和用于將該現(xiàn)實(shí)世界投影到圖像上的與所述受理的角度Φ對應(yīng)的仿射變換矩陣L [ Φ ]，生成第I圖像L ( Φ) L [k] — 1B [k]和第2圖像L ( Φ) L [k+1] — 1B [k+1]，在所述插值步驟中，利用與所述中心軸平行的分割線將所述第I圖像L(ct)L[k]—1Btk]分割為(Φ-Θ [k])比(θ &+1]-φ)，并提取繞所述中心軸的旋轉(zhuǎn)角較小的一側(cè)的第3圖像， 在所述插值步驟中，利用與所述中心軸平行的分割線將所述第2圖像L(ct)L[k+l]—1B[k+1]分割為(Φ-Θ [k])比(θ &+1]-φ)，并提取繞所述中心軸的旋轉(zhuǎn)角較大的一側(cè)的第4圖像， 在所述插值步驟中，將所述第3圖像配置在繞所述中心軸的旋轉(zhuǎn)角較小的一側(cè)進(jìn)行排列，將所述第4圖像配置在繞所述中心軸的旋轉(zhuǎn)角較大的一側(cè)進(jìn)行排列，由此得到所述已插值圖像。
3.—種記錄了程序的計(jì)算機(jī)可讀的非易失性信息記錄介質(zhì)，其特征在于，該程序使計(jì)算機(jī)作為以下單元發(fā)揮作用: 角度受理部，其受理繞貫通商品的旋轉(zhuǎn)軸的角度；以及 插值部，其根據(jù)所述受理的角度，對包括與旋轉(zhuǎn)角對應(yīng)的多個(gè)標(biāo)準(zhǔn)化圖像的所述商品的全方位圖像組進(jìn)行插值，得到表示從所述受理的角度觀察該商品時(shí)的狀態(tài)的已插值圖像， 所述插值部從與所述全方位圖像組所包含的各個(gè)標(biāo)準(zhǔn)化圖像B
、B[l]、…、B[N-1]對應(yīng)的旋轉(zhuǎn)角Θ [O]、Θ [I]、…、Θ [N-1] ( Θ [O] ^ Θ [I]含…含θ [N-1])中，選擇與夾著所述受理的角度Φ的旋轉(zhuǎn)角Θ [k]、Θ [k+1]對應(yīng)的標(biāo)準(zhǔn)化圖像B [k]、B [k+1]， 所述插值部根據(jù)用于將現(xiàn)實(shí)世界投影到標(biāo)準(zhǔn)化圖像B[k]、B[k+1]上的仿射變換矩陣L[k]、L[k+l]、和用于將該現(xiàn)實(shí)世界投影到圖像上的與所述受理的角度Φ對應(yīng)的仿射變換矩陣 [Φ]，生成第 I 圖像 L((t)L[k] -1BM 和第 2 圖像 L((t)L[k+l] ^ 1B[k+1], 所述插值部利用與所述中心軸平行的分割線將所述第I圖像L(ct)L[k] —1Btk]分割為(Φ-Θ [k])比(θ &+1]-φ)，提取繞所述中心軸的旋轉(zhuǎn)角較小的一側(cè)的第3圖像， 所述插值部利用與所述中 心軸平行的分割線將所述第2圖像L ( Φ) L[k+1] — 1B [k+1]分害I]為(Φ-Θ [k])比(θ &+1]-φ)，提取繞所述中心軸的旋轉(zhuǎn)角較大的一側(cè)的第4圖像，所述插值部將所述第3圖像配置在繞所述中心軸的旋轉(zhuǎn)角較小的一側(cè)進(jìn)行排列，將所述第4圖像配置在繞所述中心軸的旋轉(zhuǎn)角較大的一側(cè)進(jìn)行排列，由此得到所述已插值圖像。
全文摘要
本發(fā)明提供一種圖像處理裝置以及圖像處理方法，使得用戶能容易地拍攝商品的全方位圖像組。圖像感測部(201)感測從配置有商品的外界投射的光，輸出表示該感測的結(jié)果的圖像。指示受理部(202)受理來自用戶的攝影指示。在受理了攝影指示時(shí)，保存部(203)保存由圖像感測部(201)感測到的圖像。取景顯示部(204)將由保存部(203)保存的圖像和由圖像感測部(201)感測到的圖像進(jìn)行合成，并顯示在取景畫面上。
文檔編號(hào)H04N5/232GK103152526SQ201310091710
公開日2013年6月12日 申請日期2010年9月29日 優(yōu)先權(quán)日2010年8月30日
發(fā)明者平野廣美 申請人:樂天株式會(huì)社