圖像處理裝置、圖像處理方法和車載設(shè)備的制造方法
【專利摘要】根據(jù)實施例的一方面的圖像處理裝置包括：圖像生成單元，所述圖像生成單元基于圖像采集單元的被采集圖像而生成位于虛擬視點處的圖像；和圖像處理單元，所述圖像處理單元生成其中用于合成的圖像被顯示在位于虛擬視點處的圖像上的圖像。當位于虛擬視點處的圖像是視點位置正在移動的同時位于虛擬視點的視點位置處的圖像時，圖像處理單元執(zhí)行用于降低用于合成的圖像的可見度的處理。
【專利說明】
圖像處理裝置、圖像處理方法和車載設(shè)備
技術(shù)領(lǐng)域
[0001]本文中討論的實施例涉及圖像處理裝置，圖像處理方法和車載設(shè)備。
【背景技術(shù)】
[0002]具有用于生成虛擬視點圖像并且在顯示器裝置上顯示虛擬視點圖像的已知的常規(guī)技術(shù)。本文中，虛擬視點圖像是基于由位于車輛的預(yù)定位置處的圖像采集機構(gòu)采集的車輛外圍圖像從虛擬視點觀察到的圖像(例如，如日本特開專利公開號2011-244239所示)。
[0003]然而，常規(guī)技術(shù)僅顯示虛擬視點圖像。如果可以使用虛擬視點圖像更適當?shù)剡M行顯示，則認為改進了其方便性。
[0004]已經(jīng)鑒于上述問題而實現(xiàn)本發(fā)明，并且本發(fā)明的目的是提供圖像處理裝置、圖像處理方法和車載設(shè)備，其中可以使用虛擬視點圖像更適當?shù)剡M行顯示。

【發(fā)明內(nèi)容】

[0005]根據(jù)實施例的一個方面，圖像處理裝置包括圖像生成單元和圖像處理單元。圖像生成單元基于圖像采集單元的被采集圖像而生成位于虛擬視點處的圖像。圖像處理單元生成圖像，其中用于合成的圖像被顯示在位于虛擬視點處的圖像上。當位于虛擬視點處的圖像是視點位置正在移動的同時位于虛擬視點的視點位置處的圖像時，圖像處理單元執(zhí)行用于降低用于合成的圖像的可見度的處理。
[0006]根據(jù)實施例的一個方面，可以提供圖像處理裝置、圖像處理方法和車載設(shè)備，其中可以使用虛擬視點圖像更適當?shù)剡M行顯示。
【附圖說明】
[0007]當聯(lián)系附圖考慮時，通過參照以下詳細描述，更好理解并且將很容易地獲得對實施例的更完整的認識和其許多隨附的優(yōu)點，其中:
[0008]圖1A和IB是描述根據(jù)實施例的圖像處理方法的示意圖；
[0009]圖2是圖示根據(jù)實施例的車載設(shè)備的構(gòu)造示例的示意圖；
[0010]圖3是圖示圖像采集裝置的布置示例的示意圖；
[0011]圖4是描述當導(dǎo)向標圖像用作用于合成的圖像時由合成單元執(zhí)行的合成處理的示意圖。
[0012]圖5是圖示當視點從作為開始點的視點位置連續(xù)地移動到作為結(jié)束點的視點位置時的視點位置的示例的示意圖；
[0013]圖6是描述當虛擬視點被移動時由圖像處理單元執(zhí)行的處理細節(jié)的示意圖；并且
[0014]圖7是圖示由圖像處理裝置執(zhí)行的圖像處理的流程圖。
【具體實施方式】
[0015]在下文，將參照附圖具體地描述根據(jù)本申請的圖像處理裝置、圖像處理方法和車載設(shè)備的實施例。此外，本發(fā)明不受限于以下實施例。
[0016]1.圖像處理方法
[0017]圖1A和IB是描述根據(jù)實施例的圖像處理方法的示意圖。圖像處理方法例如通過安裝在車輛上的車載圖像處理裝置(在下文，稱為圖像處理裝置)被執(zhí)行。
[0018]如圖1A所示，根據(jù)實施例的圖像處理裝置基于由圖像采集裝置(未示出:圖像采集單元的示例)采集的圖像(在下文，稱為被采集圖像)生成從虛擬視點觀察到的圖像(在下文，稱為虛擬視點圖像)，圖像采集裝置被設(shè)置在車輛的預(yù)定位置處以采集車輛的外圍圖像。
[0019]此外，圖像處理裝置生成通過合成虛擬視點圖像和用于合成的圖像而獲得的合成圖像，并且將合成圖像輸出到顯示裝置(顯示單元的示例)上，以在顯示裝置上顯示如下的圖像，在該圖像中，用于合成的圖像被顯示在虛擬視點圖像上。
[0020]用于合成的圖像是用作用于駕駛輔助的指標的圖像。例如，用于合成的圖像是導(dǎo)向標圖像、警告圖像、指示停車位的圖像等。用于合成的圖像例如通過圖像生成裝置(未示出)而生成，并且輸出到圖像處理裝置。
[0021]導(dǎo)向標圖像例如是表示車輛的行進路徑的導(dǎo)向標圖像，其中基于由設(shè)置在車輛中的舵角傳感器(未示出)而檢測到的舵角等來預(yù)測行進路徑。警告圖像例如是用于當障礙存在于車輛后部時向乘客警告障礙位置的圖像。例如，警告圖像是包封障礙的包封線的圖像。在這種情況下，因為導(dǎo)向標、障礙或停車位的位置根據(jù)虛擬視點的改變而改變，所以圖像生成裝置根據(jù)虛擬視點的改變而生成用于合成的圖像。
[0022]當用于合成的圖像與其中虛擬視點的視點位置正在移動的虛擬視點圖像進行合成時，在連續(xù)地改變視點位置的同時，圖像處理裝置一起顯示用于合成的圖像和虛擬視點圖像。因此，因為車輛的乘客視覺上分別地識別虛擬視點圖像和用于合成的圖像的改變，乘客可能不會獲取圖像并且也不能獲取距離感等。
[0023]當虛擬視點圖像是位于視點位置處的圖像而同時虛擬視點正在移動時，圖像處理裝置執(zhí)行用于降低用于合成的圖像的可見度的處理。結(jié)果，車輛的乘客可以容易地獲取圖像、距離感等。
[0024]例如，如圖1B所示，當虛擬視點圖像是在虛擬視點移動之前和之后位于視點位置A和B處的圖像時，圖像處理裝置向顯示裝置輸出圖像，其中用于合成的圖像被顯示在虛擬視點圖像上。另一方面，當虛擬視點圖像是位于視點位置處的圖像而同時虛擬視點正在移動時，圖像處理裝置向顯示裝置輸出其中用于合成的圖像未顯示在虛擬視點圖像上的圖像。
[0025]用于降低用于合成的圖像的可見度的處理不受限于如下的處理:在沒有合成用于合成的圖像的情況下，僅僅將虛擬視點圖像向顯示裝置輸出以零度化用于合成的圖像的可見度。例如，用于降低用于合成的圖像的可見度的處理包括如下的處理:向顯示裝置輸出通過合成虛擬視點圖像和具有較高透射率的用于合成的圖像而獲得的圖像。在下文，將具體地描述在沒有合成用于合成的圖像的情況下用于向顯示裝置輸出虛擬視點圖像的處理的示例。
[0026]2.車載設(shè)備的構(gòu)造
[0027]圖2是圖示根據(jù)實施例的車載設(shè)備100的構(gòu)造示例的示意圖。如圖2所示，車載設(shè)備100包括圖像采集裝置I (圖像采集單元的示例)、圖像控制裝置2、圖像處理裝置3和顯示裝置4(顯示單元的示例)。本文中，圖像處理裝置3可以具有例如包括圖像控制裝置2和顯示裝置4中的至少一個的構(gòu)造。
[0028]圖像采集裝置I包括例如圖像采集元件，諸如電荷耦合裝置(CCD)和互補金屬氧化物半導(dǎo)體(CMOS)。圖像采集裝置I向圖像處理裝置3輸出被采集圖像，所述被采集圖像是通過圖像采集元件被被采集移動圖像。例如，如圖3所示，圖像采集裝置I被布置在車輛5的后部中以采集車輛5的后部圖像。圖3是圖示圖像采集裝置I的布置示例的示意圖。應(yīng)該說明的是，圖像采集裝置I的布置和圖像采集裝置的數(shù)量不受限于圖3圖示的示例。
[0029]圖像控制裝置2包括用于合成的圖像生成單元6、圖像控制單元7和操作單元8。用于合成的圖像生成單元6生成和輸出用于合成的圖像，以用于在虛擬視點圖像上執(zhí)行色度鍵合成。用于合成的圖像是用作用于駕駛輔助的指標的圖像。例如，用于合成的圖像是導(dǎo)向標圖像和警告圖像。
[0030]例如，當生成導(dǎo)向標圖像時，用于合成的圖像生成單元6需要諸如由設(shè)置在車輛中的舵角傳感器(未示出)檢測到的舵角的信息，并且基于舵角等來預(yù)測車輛的行進路徑。用于合成的圖像生成單元6生成表示預(yù)測的行進路徑的導(dǎo)向標的圖像。
[0031]例如，當生成警告圖像時，用于合成的圖像生成單元6分析圖像采集裝置I的被采集圖像，并且檢測位于車輛后方的障礙。用于合成的圖像生成單元6生成警告圖像以警告車輛的乘客存在障礙。例如，警告圖像是用于警告乘客障礙的位置的圖像，或是包封障礙的包封線的圖像。
[0032]圖像控制單元7例如基于到操作單元8的輸入操作而控制圖像處理裝置3和用于合成的圖像生成單元6。當通過操作單元8的輸入操作而具有對虛擬視點的改變的請求時，圖像控制單元7對虛擬視點執(zhí)行改變處理。
[0033]例如，當具有從目前的虛擬視點的視點位置(在下文，稱為視點位置A)到改變之后的目的地視點位置(在下文，稱為視點位置B)的改變請求時，圖像控制單元7向用于合成的圖像生成單元6和圖像處理裝置3輸出關(guān)于視點位置B的信息。
[0034]用于合成的圖像生成單元6基于從圖像控制單元7輸出的關(guān)于視點位置B的信息生成與視點位置B對應(yīng)的用于合成的圖像，并且向圖像處理裝置3輸出用于合成的圖像。此外，基于從圖像控制裝置2輸出的關(guān)于視點位置B的信息，圖像處理裝置3生成虛擬視點圖像，所述虛擬視點圖像是從一直到視點位置B的多個連續(xù)視點位置觀察到的圖像。
[0035]圖像處理裝置3從圖像采集裝置I獲得被采集圖像并且還從圖像控制裝置2獲得用于合成的圖像。圖像處理裝置3基于獲得的被采集圖像而生成位于虛擬視點處的圖像(在下文稱為虛擬視點圖像)，執(zhí)行關(guān)于虛擬視點圖像和用于合成的圖像的色度鍵合成，并且向顯示裝置4輸出生成的合成圖像。
[0036]顯示裝置4包括液晶顯示器(IXD)，并且基于從圖像處理裝置3獲得的合成圖像和虛擬視點圖像的數(shù)據(jù)而顯示合成圖像和虛擬視點圖像。
[0037]3.圖像處理裝置3的構(gòu)造
[0038]如圖2所示，圖像處理裝置3包括圖像生成單元11、圖像處理單元12和特性管理單元13。特性管理單元13可以被分別設(shè)置在圖像生成單元11和圖像處理單元12中。
[0039]圖像生成單元11對從圖像采集裝置I輸出的被采集圖像執(zhí)行坐標變換處理以生成作為從虛擬視點觀察到的圖像的虛擬視點圖像，并且向圖像處理單元12輸出虛擬視點圖像。圖像處理單元12從圖像控制裝置2獲得用于合成的圖像并且將用于合成的圖像與虛擬視點圖像進行合成，并且然后向顯示裝置4輸出合成圖像。特性管理單元13管理圖像生成單元11和圖像處理單元12的特性。
[0040]圖像處理裝置3是由集成電路執(zhí)行的裝置，所述集成電路諸如專用集成電路(ASIC)和現(xiàn)場可編程門陣列(FPGA)?？蛇x地，圖像處理裝置3可以具有如下的構(gòu)造:該構(gòu)造包括諸如CPU和MPU等的處理器和諸如半導(dǎo)體存儲裝置等的存儲器，所述半導(dǎo)體存儲裝置諸如為隨機存取存儲器(RAM)和閃存存儲器，其中處理器執(zhí)行存儲在存儲器中的程序以實現(xiàn)所描述單元的功能。
[0041]圖像生成單元11包括采集圖像獲得單元21和虛擬視點圖像生成單元22。采集圖像獲得單元21從圖像采集裝置I獲得被采集圖像。例如，圖像采集裝置I通過使用諸如RGB信號和分量信號的視頻信號向圖像處理裝置3輸出被采集圖像的數(shù)據(jù)(在下文，稱為被采集圖像數(shù)據(jù))。
[0042]一旦從圖像采集裝置I獲得被采集圖像數(shù)據(jù)，采集圖像獲得單元21向虛擬視點圖像生成單元22輸出獲得的被采集圖像數(shù)據(jù)。本文中，被采集圖像數(shù)據(jù)是與由圖像采集裝置I采集的移動圖像的每幀的圖像對應(yīng)的數(shù)據(jù)。被采集圖像數(shù)據(jù)以來自采集圖像獲得單元21的獲得的移動圖像的幀為單位向虛擬視點圖像生成單元22連續(xù)地輸出。
[0043]虛擬視點圖像生成單元22對被采集圖像執(zhí)行坐標變換變換，以生成為從虛擬視點觀察到的圖像的虛擬視點圖像，并且向合成單元35輸出虛擬視點圖像的數(shù)據(jù)(在下文，稱為虛擬視點圖像數(shù)據(jù))。
[0044]在坐標變換處理中，虛擬視點圖像生成單元22例如在預(yù)定投影平面上投影(映射)被采集圖像，并且在被投影在預(yù)定投影平面上的多個被采集圖像中，將位于從虛擬視點的預(yù)定觀察角度中的區(qū)域內(nèi)的圖像設(shè)置為虛擬視點圖像。
[0045]預(yù)定投影平面可以例如是虛擬三維空間中的三維弧形表面，或是圖1A圖示的路面。此外，可以例如通過將其中圖像采集裝置I作為原點坐標的被采集圖像的坐標轉(zhuǎn)換為投影平面被用作參照的坐標系，執(zhí)行被采集圖像在預(yù)定投影平面上的投影。
[0046]圖像處理單元12包括用于合成的圖像獲得單元31、壓縮單元32、存儲器33、解壓單元34、合成單元35、圖像質(zhì)量調(diào)節(jié)處理單元36和圖像輸出單元37。
[0047]用于合成的圖像獲得單元31從圖像控制裝置2獲得用于合成的圖像。圖像控制裝置2通過例如使用諸如RGB信號和分量信號的視頻信號而向圖像處理裝置輸出用于合成的圖像的數(shù)據(jù)(在下文，稱為用于合成的圖像數(shù)據(jù))。一旦從圖像控制裝置2獲得用于合成的圖像數(shù)據(jù)，則用于合成的圖像獲得單元31向壓縮單元32輸出獲得的用于合成的圖像數(shù)據(jù)。
[0048]壓縮單元32通過使用預(yù)定壓縮處理以壓縮用于合成的圖像數(shù)據(jù)，并且在存儲器33中存儲被壓縮的用于合成的圖像數(shù)據(jù)(在下文，稱為壓縮圖像數(shù)據(jù))。例如，當之前指定的顏色被用于所述用于合成的圖像數(shù)據(jù)時，壓縮單元32可以通過使用顏色查找表(CLUT)執(zhí)行數(shù)據(jù)壓縮，并且可以通過使用運行長度方法以進一步壓縮被壓縮的數(shù)據(jù)。應(yīng)該說明的是，壓縮單元32可以執(zhí)行其他壓縮處理以代替CLUT和運行長度方法。
[0049]解壓單元34執(zhí)行用于將存儲在存儲器33中的壓縮圖像數(shù)據(jù)解壓成用于合成的圖像數(shù)據(jù)的處理。例如，解壓單元34通過使用運行長度方法對存儲在存儲器33中的壓縮圖像數(shù)據(jù)執(zhí)行逆變換，并且通過使用CLUT進一步地執(zhí)行逆變換，以將壓縮圖像數(shù)據(jù)解壓成用于合成的圖像數(shù)據(jù)。
[0050]基于從圖像生成單元11獲得的虛擬視點圖像數(shù)據(jù)和從解壓單元34獲得的用于合成的圖像數(shù)據(jù)，合成單元35生成合成圖像的數(shù)據(jù)(在下文，稱為合成圖像數(shù)據(jù))，其中通過使用色度鍵合成而在虛擬視點圖像上合成用于合成的圖像而獲得的該合成圖像。例如，在構(gòu)成用于合成的圖像的多個像素中，合成單元35將像素的與之前指定的顏色(例如，藍色)相對應(yīng)的顏色設(shè)定為透明顏色，、，并且然后在虛擬視點圖像上合成用于合成的圖像。
[0051]合成單元35例如根據(jù)來自特性管理單元13的請求而開啟或關(guān)閉用于合成虛擬視點圖像和用于合成的圖像的合成功能。當合成功能被開啟時，合成單元35在虛擬視點圖像上合成用于合成的圖像。當合成功能被關(guān)閉時，合成單元35不合成虛擬視點圖像和用于合成的圖像，并且向圖像質(zhì)量調(diào)節(jié)處理單元36輸出從圖像生成單元11獲得的虛擬視點圖像數(shù)據(jù)。
[0052]圖4是描述當導(dǎo)向標圖像被用作所述用于合成的圖像時由合成單元35執(zhí)行的合成處理的示意圖。在圖4圖示的示例中，合成單元35生成通過在虛擬視點圖像上合成導(dǎo)向標圖像而獲得的合成圖像。通過使用合成圖像，車輛的乘客可以看到導(dǎo)向標所疊加于的虛擬視點圖像，并且因而可以更適當?shù)伛{駛車輛。
[0053]圖像質(zhì)量調(diào)節(jié)處理單元36執(zhí)行用于調(diào)節(jié)從合成單元35輸出的圖像的圖像質(zhì)量的處理，并且在圖像質(zhì)量調(diào)節(jié)處理完成之后向圖像輸出單元37輸出圖像的數(shù)據(jù)。圖像輸出單元37將從圖像質(zhì)量調(diào)節(jié)處理單元36輸出的圖像數(shù)據(jù)轉(zhuǎn)換成可以被顯示裝置4接收的視頻信號格式，并且向顯示裝置4輸出被轉(zhuǎn)換的數(shù)據(jù)。
[0054]基于關(guān)于從圖像控制裝置2輸出的作為移動目的地的視點位置B的信息，特性管理單元13向圖像生成單元11輸出一直到移動后視點位置B的多個連續(xù)視點位置(在下文，稱為CgljCn:n是自然數(shù))。結(jié)果，圖像生成單元11連續(xù)地生成和輸出位于移動前視點位置A和移動后視點位置B之間的多個連續(xù)視點位置CgIjCn處(在下文，可以共同地稱為視點位置C)的虛擬視點圖像。
[0055]圖5是描述當視點從視點位置A連續(xù)地移動到視點位置B時視點位置A、CgljCdPB的示意圖。在圖5中，僅視點位置C1到Cn中的視點位置Cn/3和C2n/3被圖示以用于敘述目的。在圖5圖示的示例中，在視點從視點位置A移動到視點位置B的情況下，視點位置變得更高。
[0056]視點位置A和B之間的視點位置C的數(shù)量是位于在視點位置A和B之間連續(xù)地移動的視點位置處的虛擬視點圖像的數(shù)量，其中車輛的乘客可以在視覺上例如以無縫方式識別虛擬視點圖像?？蛇x地，視點位置C的數(shù)量可以是能夠在視覺上以逐幀方式被識別的虛擬視點圖像的數(shù)量。
[0057]返回圖2，特性管理單元13將被隨后描述。特性管理單元13可以控制通過在虛擬視點圖像上顯示用于合成的圖像而獲得的圖像是否被從圖像處理單元12輸出到顯示裝置4，或在其上沒有顯示用于合成的圖像的虛擬視點圖像是否被從圖像處理單元12輸出到顯示裝置4。
[0058]當位于視點位置A和B處的虛擬視點圖像被從圖像生成單元11輸出時，特性管理單元13促使圖像處理單元12生成和輸出通過在虛擬視點圖像上合成用于合成的圖像而獲得的圖像。另一方面，當位于視點位置C處的虛擬視點圖像被從圖像生成單元11輸出時，特性管理單元13促使圖像處理單元12向顯示裝置4輸出在其上未合成用于合成的圖像的虛擬視點圖像。
[0059]圖6是描述當虛擬視點從視點位置A移動到視點位置B時由圖像處理單元12執(zhí)行的處理細節(jié)的示意圖。在圖6中，豎直同步信號、虛擬視點圖像的視點位置和合成單元35的合成功能的開/關(guān)被彼此關(guān)聯(lián)地圖示。
[0060]圖6圖示了以下示例，其中特性管理單元13在時間t2之前從圖像控制裝置2獲得關(guān)于作為移動目的地的視點位置B的信息，并且基于該信息而從時間t2改變視點位置。圖6圖示的豎直同步信號被圖示以用于敘述目的來以幀為單位分離圖像。
[0061]如圖6所示，在時間t2時，特性管理單元13促使圖像生成單元11生成位于移動前視點位置A處的虛擬視點圖像，并且促使圖像處理單元12生成和輸出通過在位于視點位置A處的虛擬視點圖像上合成與視點位置A對應(yīng)的用于合成的圖像而獲得的合成圖像。
[0062]然后，從時間t2到時間t8，特性管理單元13促使圖像生成單元11生成位于移動中視點位置Cl到C6處的虛擬視點圖像，并且促使圖像處理單元12輸出位于視點位置Cl到C6處的在其上未合成用于合成的圖像的虛擬視點圖像。在圖6圖示的示例中，每一幀下，視點都被改變?？蛇x地，視點可以針對每幀被改變。
[0063]從時間t2到時間t8，圖像處理單元12停止解壓單元34的解壓處理和合成單元35的合成處理，并且基于來自特性管理單元13的控制，促使合成單元35在沒有合成的情況下向圖像質(zhì)量調(diào)節(jié)處理單元36輸出位于視點位置Cl到C6處的虛擬視點圖像。結(jié)果，位于視點位置Cl到C6處的在其上未合成用于合成的圖像的虛擬視點圖像從圖像處理單元12被輸出。
[0064]然后，在時間t8時，特性管理單元13促使圖像生成單元11生成并且向圖像處理單元12輸出在移動停止之后位于視點位置B處的虛擬視點圖像，并且促使圖像處理單元12生成并且向顯示裝置4輸出通過在位于視點位置B處的虛擬視點圖像上合成與視點位置B對應(yīng)的用于合成的圖像而獲得的合成圖像。
[0065]在時間t8之前(例如在時間t2或時間t3之前)，與視點位置B對應(yīng)的用于合成的圖像被圖像控制裝置2生成，并且輸出到圖像處理裝置3。特性管理單元13控制圖像處理單元12，并且因而促使壓縮單元32壓縮從圖像控制裝置2輸出的與視點位置B對應(yīng)的用于合成的圖像的數(shù)據(jù)，并且然后將壓縮數(shù)據(jù)存儲在存儲器33中。
[0066]然后，特性管理單元13促使解壓單元34解壓存儲在存儲器33中的壓縮圖像數(shù)據(jù)，并且將解壓數(shù)據(jù)輸出到合成單元35，并且在時間t8時，促使合成單元35在位于視點位置B處的虛擬視點圖像上合成與視點位置B對應(yīng)的用于合成的圖像。結(jié)果，通過在位于視點位置B處的虛擬視點圖像上合成與視點位置B對應(yīng)的用于合成的圖像而獲得的合成圖像可以從圖像處理單元12輸出。
[0067]圖像處理單元12可以預(yù)先從圖像控制裝置2獲得與視點位置對應(yīng)的用于合成的圖像，并且將用于合成的圖像存儲在存儲器33中。在這種情況下，特性管理單元13可以促使解壓單元34從存儲器33獲得與虛擬視點圖像的視點位置對應(yīng)的用于合成的圖像，并且解壓獲得的用于合成的圖像，并且向合成單元35輸出解壓數(shù)據(jù)。
[0068]如上所述，當虛擬視點圖像是在虛擬視點移動之前和之后位于視點位置處的圖像時，圖像處理單元12在顯示裝置4上顯示合成圖像，并且當虛擬視點圖像是在虛擬視點移動的同時位于視點位置處的圖像時，在顯示裝置4上顯示虛擬視點圖像而非合成圖像。結(jié)果，因為當虛擬視點移動時，車輛的乘客未在視覺上分離地認識到虛擬視點圖像和用于合成的圖像，因而乘客可以基于顯示在顯示裝置4上的虛擬視點圖像而容易地獲取距離感等。
[0069]此外，因為當虛擬視點圖像是在虛擬視點移動的同時位于視點位置處的圖像時，圖像處理單元12停止合成虛擬視點圖像和用于合成的圖像，因而可以減少處理載荷。
[0070]圖像處理單元12在位于虛擬視點處的圖像上合成作為用于合成的圖像且與虛擬視點對應(yīng)的圖像。因此，因為乘客未在視覺上同時地認識到視點位置一起連續(xù)地改變的虛擬視點圖像和用于合成的圖像，因而容易例如從虛擬視點圖像獲取距離感等。
[0071]在上述示例中，已經(jīng)描述了用于合成的圖像是與虛擬視點的視點位置對應(yīng)的圖像。然而，用于合成的圖像可以不根據(jù)虛擬視點的視點位置的改變而連續(xù)地改變。甚至在這種情況下，因為通過未在視點位置連續(xù)地改變的虛擬視點圖像上合成用于合成的圖像，可見度被提高，因而可以使用虛擬視點圖像更適當?shù)剡M行顯示。
[0072]4.圖像處理裝置3的圖像處理
[0073]然后，將參照圖7描述被圖像處理裝置3執(zhí)行的圖像處理。圖7是圖示由圖像處理裝置3執(zhí)行的圖像處理的流程圖。
[0074]如圖7所示，圖像處理裝置3的圖像生成單元11和圖像處理單元12執(zhí)行圖像獲取處理(步驟SI)。在圖像獲取處理中，圖像生成單元11從圖像采集裝置I獲得被采集圖像，并且圖像處理單元12從圖像控制裝置2獲得和存儲用于合成的圖像。
[0075]然后，圖像生成單元11通過使用坐標變換處理將在步驟SI中獲得的被采集圖像轉(zhuǎn)換成虛擬視點圖像(步驟S2)。特性管理單元13確定虛擬視點的視點位置是否正在移動(步驟S3) 0
[0076]在步驟S3中，當確定虛擬視點的視點位置未移動時(步驟S3:否)，圖像處理單元12獲得存儲在步驟SI中的用于合成的圖像(步驟S4)，并且執(zhí)行合成處理(步驟S5)。合成處理通過在步驟S2中生成的虛擬視點圖像上合成在步驟S4中獲得的用于合成的圖像而被執(zhí)行。
[0077]在步驟S3中，當確定虛擬視點的視點位置正在移動時(步驟S3:是)，或當步驟S5中的處理結(jié)束時，圖像處理單元12對將被輸出到顯示裝置4的圖像執(zhí)行圖像質(zhì)量調(diào)節(jié)(步驟S6)，并且在圖像質(zhì)量調(diào)節(jié)之后輸出圖像(步驟S7)，并且結(jié)束處理。
[0078]如上所述，因為當虛擬視點圖像是在虛擬視點移動的同時位于視點位置處的圖像時，根據(jù)實施例的圖像處理裝置3向顯示裝置4輸出虛擬視點圖像而非合成圖像，因而可以降低用于合成的圖像的可見度并且使用虛擬視點圖像適當?shù)剡M行顯示。
[0079]在上述實施例中，圖像處理裝置3未顯示用于合成的圖像而零度化用于合成的圖像的可見度。然而，圖像處理裝置3可以提高用于合成的圖像的透射比，或減輕用于合成的圖像的顏色，以降低用于合成的圖像的可見度。
[0080]例如，當虛擬視點圖像是在虛擬視點移動的同時位于視點位置處的圖像時，合成單元35可以提高與移動中視點位置對應(yīng)的用于合成的圖像的透射比或弱化用于合成的圖像的顏色，并且然后分別在虛擬視點圖像上合成用于合成的圖像。此外，圖像處理裝置3可以在用于合成的圖像上合成虛擬視點圖像，從而零度化用于合成的圖像的可見度。
[0081]在上述實施例中，已經(jīng)描述圖像采集裝置I被放置在車輛的后部中，以通過使用圖像采集裝置I來采集車輛的后部圖像。然而，如果圖像采集裝置I采集車輛的外圍圖像以用于駕駛輔助，例如，則圖像采集裝置I可以具有任何布置和任何成像方向。可選地，圖像采集裝置可以被布置在車輛中，并且圖像處理裝置3可以基于從圖像采集裝置輸出的采集圖像而生成虛擬視點圖像。
[0082]在上述實施例中，已經(jīng)描述圖像處理裝置3被示例性地包括在安裝于車輛上的車載設(shè)備100中。然而，圖像處理裝置3可以是嵌入智能手機等中的圖像處理裝置。
[0083]在上述實施例中，已經(jīng)描述了用于合成的圖像示例性地是用作駕駛輔助的指標的圖像。然而，用于合成的圖像是例如用于提高用戶方便性的圖像。
[0084]在上述實施例中，已經(jīng)描述了，當虛擬視點移動時，合成圖像被輸出在虛擬視點的視點位置(開始點和結(jié)束點)處，并且在開始點和結(jié)束點之間的視點位置處未輸出合成圖像。然而，應(yīng)用不受限于該示例。
[0085]例如，圖像處理單元12可以輸出位于虛擬視點的開始點和結(jié)束點之間的一個或多個視點位置處的合成圖像。在這種情況下，因為乘客可以不完全地獲取用于合成的圖像的改變，因而乘客可以基于虛擬視點圖像容易地獲取距離感等，并且還容易地獲取用于合成的圖像的位置的改變。
[0086]在上述實施例中，已經(jīng)描述了一個用于合成的圖像在虛擬視點圖像上被合成。然而，不同類型的用于合成的圖像可以在虛擬視點圖像上被合成。在這種情況下，當虛擬視點圖像是在虛擬視點移動的同時位于視點位置處的圖像時，圖像處理單元12例如通過未在虛擬視點圖像上合成不同類型的用于合成的圖像中的至少一個而降低其可見度。甚至在這種情況下，可以使用虛擬視點圖像更適當?shù)剡M行顯示。
[0087]在這種情況下，通過例如使用用于弱化合成在虛擬視點圖像上的用于合成的圖像的顏色的處理，圖像處理單元12可以通過未單獨生成用于合成的圖像來執(zhí)行虛擬視點圖像和用于合成的圖像的合成處理。
[0088]在上述實施例中，已經(jīng)描述當獲得關(guān)于作為移動目的地的視點位置B的信息時，圖像處理裝置3生成關(guān)于視點位置CjIjCn的信息。然而，視點位置CjIjCn可以被圖像控制裝置2生成，并且被輸出到圖像處理裝置3。
[0089]在上述實施例中，已經(jīng)描述圖像處理裝置3存儲對其執(zhí)行數(shù)據(jù)壓縮的用于合成的圖像。然而，圖像處理裝置3可以存儲不對其執(zhí)行數(shù)據(jù)壓縮的用于合成的圖像。
【主權(quán)項】
1.一種圖像處理裝置，包括: 圖像生成單元，所述圖像生成單元基于圖像采集單元的被采集圖像而生成位于虛擬視點處的圖像;和 圖像處理單元，所述圖像處理單元生成其中用于合成的圖像被顯示在位于虛擬視點處的圖像上的圖像， 其中當位于虛擬視點處的圖像是視點位置正在移動的同時位于虛擬視點的視點位置處的圖像時，圖像處理單元執(zhí)行用于降低用于合成的圖像的可見度的處理。2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中: 當位于虛擬視點處的圖像是在視點位置正在移動的同時位于虛擬視點的視點位置處的圖像時，圖像處理單元向顯示單元輸出位于虛擬視點處的圖像，在位于虛擬視點處的所述圖像上，未顯示用于合成的圖像以零度化用于合成的圖像的可見度。3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中: 當位于虛擬視點處的圖像是在視點位置正在移動的同時位于虛擬視點的視點位置處的圖像時，圖像處理單元停止合成位于虛擬視點處的圖像和用于合成的圖像，并且向顯示單元輸出位于虛擬視點處的圖像。4.根據(jù)權(quán)利要求1到3中的任一項所述的圖像處理裝置，其中: 用于合成的圖像包括與虛擬視點對應(yīng)的圖像。5.根據(jù)權(quán)利要求1到3中的任一項所述的圖像處理裝置，其中: 圖像采集單元被放置在車輛上，并且采集車輛的外圍圖像，并且將作為被采集圖像的車輛的所述外圍圖像輸出到圖像處理裝置，并且 圖像處理單元將作為用于合成的圖像的導(dǎo)向標圖像合成在虛擬視點處的圖像上，所述導(dǎo)向標圖像表示車輛的預(yù)期行進路徑。6.—種圖像處理方法，包括: (i)基于圖像采集單元的被采集圖像而生成作為從虛擬視點觀察到的圖像的虛擬視點圖像;并且 (ii)生成其中用于合成的圖像被顯示在位于虛擬視點處的圖像上的圖像，其中 生成步驟(ii)包括以下步驟:當位于虛擬視點處的圖像是視點位置正在移動的同時位于虛擬視點的視點位置處的圖像時，執(zhí)行用于降低用于合成的圖像的可見度的處理。7.—種車載設(shè)備，包括: 顯示單元，所述顯示單元在其上顯示圖像； 圖像采集單元，所述圖像采集單元采集車輛的外圍圖像并且輸出被采集圖像； 虛擬視點圖像生成單元，所述虛擬視點圖像生成單元基于圖像采集單元的被采集圖像而生成位于虛擬視點處的圖像； 用于合成的圖像生成單元，所述用于合成的圖像生成單元生成用于合成的圖像;和 圖像處理單元，所述圖像處理單元生成其中用于合成的圖像被顯示在位于虛擬視點處的圖像上的圖像，并且向顯示單元輸出被生成的圖像，其中 當位于虛擬視點處的圖像是視點位置正在移動的同時位于虛擬視點的視點位置處的圖像時，圖像處理單元執(zhí)行用于降低用于合成的圖像的可見度的處理。
【文檔編號】H04N5/232GK106067942SQ201610245212
【公開日】2016年11月2日
【申請日】2016年4月19日 公開號201610245212.5, CN 106067942 A, CN 106067942A, CN 201610245212, CN-A-106067942, CN106067942 A, CN106067942A, CN201610245212, CN201610245212.5
【發(fā)明人】小笹隆幸, 上林輝彥, 大西康司, 松本武生, 藤本知之, 山本大輔
【申請人】富士通天株式會社