本發(fā)明涉及一種圖像處理方法、圖像處理裝置及顯示系統(tǒng)。

背景技術(shù)：

隨著多媒體技術(shù)的發(fā)展，數(shù)字圖像及視頻應(yīng)用日益廣泛，也產(chǎn)生各種全景圖像應(yīng)用上的需求，像是視頻會議、防盜監(jiān)視等等。

傳統(tǒng)上，全景圖像的建構(gòu)需藉由使用者拍攝一系列針對不同角度的圖像，再通過組合此些圖像來完成。在產(chǎn)生全景圖像的過程中，運算裝置會直接依據(jù)圖像間的相似性來進(jìn)行組合。然而，此作法往往會耗費大量的運算資源，故通常需采離線的方式運作，以致于無法即時地顯示全景圖像供使用者瀏覽。

因此，如何提供一種可即時顯示全景圖像的顯示技術(shù)，乃目前業(yè)界所致力的課題之一。

技術(shù)實現(xiàn)要素：

本發(fā)明涉及一種圖像處理方法、圖像處理裝置及顯示系統(tǒng)，可供使用者即時觀看全景圖像。

根據(jù)本發(fā)明一方面，提出一種圖像處理裝置，其包括圖像取得電路、存儲模塊以及圖像處理模塊。圖像取得電路用以接收第一魚眼圖像以及第二魚眼圖像。存儲模塊用以存儲魚眼鏡頭信息。圖像處理模塊耦接圖像取得電路以及存儲模塊，用以依據(jù)魚眼鏡頭信息對第一魚眼圖像以及第二魚眼圖像進(jìn)行全景坐標(biāo)轉(zhuǎn)換以產(chǎn)生第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像，并對第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像進(jìn)行接合處理以產(chǎn)生全景圖像。

根據(jù)本發(fā)明另一方面，提出一種圖像處理方法，其包括以下步驟：接收第一魚眼圖像以及第二魚眼圖像；依據(jù)魚眼鏡頭信息對第一魚眼圖像以及第二魚眼圖像進(jìn)行全景坐標(biāo)轉(zhuǎn)換以產(chǎn)生第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像；以及對第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像進(jìn)行接合處理以產(chǎn)生全景圖像。

根據(jù)本發(fā)明又一方面，提出一種顯示系統(tǒng)，其包括圖像提取裝置以及圖 像處理裝置。圖像提取裝置包括第一魚眼鏡頭模塊、第二魚眼鏡頭模塊以及發(fā)送電路。第一魚眼鏡頭模塊用以提取第一魚眼圖像。第二魚眼鏡頭模塊用以提取第二魚眼圖像。發(fā)送電路用以將第一魚眼圖像以及第二魚眼圖像以串流方式輸出。圖像處理裝置包括圖像取得電路、存儲模塊以及圖像處理模塊。圖像取得電路用以自圖像提取裝置接收第一魚眼圖像以及第二魚眼圖像。存儲模塊用以存儲魚眼鏡頭信息。圖像處理模塊耦接圖像取得電路以及存儲模塊，用以依據(jù)魚眼鏡頭信息對第一魚眼圖像以及第二魚眼圖像進(jìn)行全景坐標(biāo)轉(zhuǎn)換以產(chǎn)生第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像，并對第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像進(jìn)行接合處理以產(chǎn)生全景圖像。

為了對本發(fā)明的上述及其他方面有更佳的了解，下文特舉優(yōu)選實施例，并配合附圖，作詳細(xì)說明如下：

附圖說明

圖1繪示依據(jù)本發(fā)明的一實施例的圖像處理系統(tǒng)的示意圖。

圖2繪示依據(jù)本發(fā)明的一實施例的圖像提取裝置的示意圖。

圖3繪示依據(jù)本發(fā)明的一實施例的全景坐標(biāo)轉(zhuǎn)換的方法流程圖。

圖4繪示全景坐標(biāo)轉(zhuǎn)換的細(xì)節(jié)流程圖的一例。

圖5繪示依據(jù)圖像提取裝置所拍攝的第一及第二魚眼圖像，產(chǎn)生對應(yīng)的第一及第二轉(zhuǎn)換圖像的示意圖。

圖6繪示依據(jù)本發(fā)明的一實施例的圖像接合處理的方法流程圖。

圖7繪示對圖4所示的第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像進(jìn)行接合處理以產(chǎn)生全景圖像的示意圖。

圖8繪示依據(jù)本發(fā)明的一實施例的圖像處理系統(tǒng)的示意圖。

【符號說明】

100、800：圖像處理系統(tǒng)

102、202、502、802：圖像提取裝置

1020、2020、5020、8020：第一魚眼鏡頭模塊

1022、2022、5022、8022：第二魚眼鏡頭模塊

1024、8030：發(fā)送電路

104：圖像處理裝置

1040、8024：圖像取得電路

1042、8026：存儲模塊

1044、8028：圖像處理模塊

1046、8046：使用者接口

804：終端裝置

8042：接收電路

8044：處理器

F1、F1’、F1”：第一魚眼圖像

F2、F2’、F2”：第二魚眼圖像

CF1’：第一轉(zhuǎn)換圖像

CF2’：第二轉(zhuǎn)換圖像

REF：參考虛擬線

OX：光軸

S302、S304、S402、S404、S406、S408、S602、S604、S606：步驟

OB：物體

OVR：圖像重疊區(qū)域

MP1：第一圖像特征

MP2：第二圖像特征

AI：全景圖像

具體實施方式

以下提出實施例進(jìn)行詳細(xì)說明，實施例僅用以作為范例說明，并不會限縮本公開欲保護(hù)的范圍。此外，實施例中的附圖省略不必要的元件，以清楚顯示本公開的技術(shù)特點。

圖1繪示依據(jù)本發(fā)明的一實施例的圖像處理系統(tǒng)的示意圖。如圖1所示，圖像處理系統(tǒng)100包括圖像提取裝置102以及圖像處理裝置104。圖像提取裝置102用以提取環(huán)境圖像，并通過有線或無線的方式，以串流方式將圖像數(shù)據(jù)傳輸至圖像處理裝置104作后續(xù)處理。

圖像提取裝置102包括第一魚眼鏡頭模塊1020、第二魚眼鏡頭模塊1022以及發(fā)送電路1024。第一魚眼鏡頭模塊1020以及第二魚眼鏡頭模塊1022可以是具備魚眼鏡頭的攝像機(jī)、相機(jī)或攝像模塊，用以提取不同視域的圖像。由于魚眼鏡頭具備超廣角的特性，故通過適當(dāng)?shù)嘏渲玫谝霍~眼鏡頭模塊1020 以及第二魚眼鏡頭模塊1022的相對位置并接合其所提取的圖像，可獲得超廣視域的全景圖像。

發(fā)送電路1024可對圖像數(shù)據(jù)進(jìn)行編碼與串流處理，并通過有線或無線的方式將圖像數(shù)據(jù)傳輸至圖像處理裝置104。如圖1所示，發(fā)送電路1024可自第一及第二魚眼鏡頭模塊1020、1022分別接收第一及第二魚眼圖像F1、F2，并在對其進(jìn)行視頻編碼以及串流化處理后，將串流數(shù)據(jù)輸出至圖像處理裝置104。

圖像處理裝置104例如是便攜式電子裝置(例如智能手機(jī)、筆記型計算機(jī)、平板計算機(jī)等移動載具)、個人計算機(jī)、監(jiān)視設(shè)備、或任何具備圖像處理能力的電子裝置。圖像處理裝置104主要包括圖像取得電路1040、存儲模塊1042以及圖像處理模塊1044。圖像取得電路1040用以接收第一魚眼圖像F1以及第二魚眼圖像F2。在此例子中，圖像取得電路1040例如是接收電路，可對接收到的串流數(shù)據(jù)進(jìn)行解碼處理以取得第一魚眼圖像F1以及第二魚眼圖像F2。

存儲模塊1042用以存儲魚眼鏡頭信息，其可通過存儲器電路、查閱表等各種不同的存儲介質(zhì)來實現(xiàn)。魚眼鏡頭信息可以是任何關(guān)聯(lián)于第一及第二魚眼鏡頭模塊1020、1022的鏡頭參數(shù)，例如鏡頭中心位置、焦距、視角等等。魚眼鏡頭信息可在圖像提取裝置102出廠時經(jīng)由鏡頭校正程序后記錄而取得，其被提供至圖像處理模塊1044以進(jìn)行后續(xù)的圖像處理。

圖像處理模塊1044耦接圖像取得電路1040以及存儲模塊1042，用以依據(jù)魚眼鏡頭信息對第一魚眼圖像F1以及第二魚眼圖像F2進(jìn)行全景坐標(biāo)轉(zhuǎn)換以產(chǎn)生第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像，并接合此第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像以產(chǎn)生全景圖像。圖像處理模塊1044可例如以處理器、芯片、硬件電路、軟件程序、固件或存有指令以供執(zhí)行的介質(zhì)來實現(xiàn)。

上述的全景坐標(biāo)轉(zhuǎn)換可用于消除第一、二魚眼圖像F1、F2中圖像內(nèi)容的變形失真。因此，通過適當(dāng)?shù)亟雍先白鴺?biāo)轉(zhuǎn)換后所產(chǎn)生的第一及第二轉(zhuǎn)換圖像，可獲得具備超大視域或是全視域的全景圖像。關(guān)于全景坐標(biāo)轉(zhuǎn)換以及接合程序的細(xì)節(jié)，將在稍后配合圖3至圖7作說明。

圖像處理系統(tǒng)100可還包括使用者接口1046，其用以回應(yīng)于外部指令選擇一觀看模式，使得全景圖像被轉(zhuǎn)換為符合此觀看模式的顯示圖像。使用者接口1046可例如以觸控屏幕或是具有顯示操作功能的接口來實現(xiàn)。觀看模式 例如包括視球全景模式(Sphere mode)、平面全景模式(Panorama mode)以及魚眼視野模式(Fisheye mode)。然本發(fā)明并不限于此，上述的觀看模式也可由其它具有不同視覺效果的瀏覽模式來實現(xiàn)。

舉例來說，假設(shè)圖像提取裝置102是一裝設(shè)于遠(yuǎn)端的監(jiān)視器，而圖像處理裝置104是一智能手機(jī)，圖像處理裝置104可通過APP應(yīng)用程序?qū)h(yuǎn)端圖像提取裝置102發(fā)送的圖像串流數(shù)據(jù)進(jìn)行解碼及全景坐標(biāo)轉(zhuǎn)換處理。處理后得到的雙頻道圖像(即第一、二轉(zhuǎn)換圖像)經(jīng)由內(nèi)部的裁切接合處理后，即可生成相應(yīng)的全景圖像。圖像處理模塊1044并可進(jìn)行各個視野的參數(shù)運算，以供使用者即時地在遠(yuǎn)端通過所選的觀看模式瀏覽該全景圖像。

由于本發(fā)明的圖像處理裝置可即時地依據(jù)魚眼鏡信息對串流接收的第一、二魚眼圖像進(jìn)行全景坐標(biāo)轉(zhuǎn)換以及接合處理，故可將圖像提取裝置所拍攝的景物即時地顯示于瀏覽視窗，并以使用者喜愛的觀看模式加以呈現(xiàn)。在一實施例中，圖像處理裝置更可利用OpenGL和/或數(shù)字信號處理等技術(shù)，以加速整體視頻顯示的效能。

圖2繪示依據(jù)本發(fā)明的一實施例的圖像提取裝置的示意圖。如圖2所示，圖像提取裝置202設(shè)置有第一魚眼鏡頭模塊2020以及第二魚眼模塊2022。第一魚眼鏡頭模塊2020與第二魚眼鏡頭模塊2022以參考虛擬線REF為中心，在一光軸OX上朝兩外側(cè)反向設(shè)置。第一魚眼鏡頭模塊2020與第二魚眼鏡頭模塊2022例如具有大于190°的超廣角，故第一魚眼鏡頭模塊2020所拍攝的第一魚眼圖像可幾乎涵蓋圖像提取裝置202左半側(cè)的景物，而第二魚眼鏡頭模塊2022所拍攝的第二魚眼圖像可幾乎涵蓋圖像提取裝置202右半側(cè)的景物。因此，通過對第一、二魚眼圖像進(jìn)行全景坐標(biāo)轉(zhuǎn)換以及適當(dāng)?shù)慕雍希纯僧a(chǎn)生720°(全視域)的全景圖像?？梢岳斫獾氖牵景l(fā)明并不以上述例子為限。第一魚眼鏡頭模塊2020與第二魚眼鏡頭模塊2022的相對位置以及采用的魚眼鏡頭規(guī)格皆可依據(jù)不同的應(yīng)用而有所調(diào)整。舉例來說，第一魚眼鏡頭模塊2020的光軸與第二魚眼鏡頭模塊2022的光軸可以是非平行，而魚眼鏡頭的廣角角度也可大于或小于190°。此外，上述的全景圖像并不以720°全景圖像為限，其也可是小于720°的全景圖像，端視不同應(yīng)用而定。

圖3繪示依據(jù)本發(fā)明的一實施例的全景坐標(biāo)轉(zhuǎn)換的方法流程圖。承前所述，全景坐標(biāo)轉(zhuǎn)換可消除第一、二魚眼圖像中圖像內(nèi)容的變形失真。如圖3所示，首先，在步驟S302，圖像處理模塊將待求得的全景圖像坐標(biāo)轉(zhuǎn)換至極 坐標(biāo)空間。接著，在步驟S304，圖像處理模塊依據(jù)魚眼鏡頭信息建立全景圖像極坐標(biāo)和原始魚眼圖像坐標(biāo)間的轉(zhuǎn)換關(guān)系，以產(chǎn)生對應(yīng)的第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像供后續(xù)接合處理。

圖4繪示全景坐標(biāo)轉(zhuǎn)換的細(xì)節(jié)流程圖的一例。首先，在步驟S402，圖像處理模塊先將全景圖像坐標(biāo)轉(zhuǎn)換至極坐標(biāo)軸。舉例來說，圖像處理模塊可利用以下公式計算出各全景圖像坐標(biāo)中任一圖像點(x，y)轉(zhuǎn)換至極坐標(biāo)的角度(θ，)。

θ＝PI×(x/width–0.5)

其中PI表示圓周率，width表示圖像寬度，height表示圖像高度。

接著，在步驟S404，圖像處理模塊可依據(jù)轉(zhuǎn)換求得的極坐標(biāo)角度建立三維空間向量。舉例來說，圖像處理模塊可依據(jù)以下公式，利用極坐標(biāo)角度(θ，)建立三維空間的向量值(spX，spY，spZ)。

之后，在步驟S406，圖像處理模塊可進(jìn)一步基于以下公式，依據(jù)各個三維空間向量(spX，spY，spZ)計算出極坐標(biāo)(r，θ1，)。

θ1＝arctan(spZ/spX)

其中FOV表示視野范圍。最后，在步驟S408，圖像處理模塊即可依據(jù)極坐標(biāo)(r，θ1)以及魚眼鏡頭信息計算原始對應(yīng)的魚眼圖像坐標(biāo)(x1，y1)如下：

x1＝Cx+r×cosθ1

y1＝Cy+r×sinθ1

其中，Cx、Cy表示校正過后的魚眼鏡頭中心位置坐標(biāo)。如此一來，即可求得魚眼圖像坐標(biāo)與全景圖像極坐標(biāo)之間的坐標(biāo)轉(zhuǎn)換關(guān)系。然本發(fā)明并不以上述例示為限。全景坐標(biāo)轉(zhuǎn)換也可通過其它二維/三維空間坐標(biāo)的轉(zhuǎn)換來達(dá)成。此外，上述公式中的參數(shù)系數(shù)僅是一范例，其也可依據(jù)不同的顯示需求而作調(diào)整。

圖5繪示依據(jù)圖像提取裝置所拍攝的第一及第二魚眼圖像，產(chǎn)生對應(yīng)的第一及第二轉(zhuǎn)換圖像的示意圖。在圖5的例子中，圖像提取裝置502通過第一魚眼鏡頭模塊5020以及第二魚眼鏡頭模塊5022對物體OB進(jìn)行拍攝，以分別于產(chǎn)生第一魚眼圖像F1’以及第二魚眼圖像F2’?；隰~眼鏡頭超廣角的特性，第一魚眼圖像F1’以及第二魚眼圖像F2’中的圖像內(nèi)容相較于實際的物體OB產(chǎn)生了變形失真，如圖5所示。接著，通過全景坐標(biāo)轉(zhuǎn)換，第一及第二魚眼圖像F1’、F2’被校正以分別得到第一轉(zhuǎn)換圖像CF1’以及第二轉(zhuǎn)換圖像CF2’。在此例中，第一轉(zhuǎn)換圖像CF1’的圖像內(nèi)容對應(yīng)物體OB的左半部形貌，第二轉(zhuǎn)換圖像CF2’的圖像內(nèi)容對應(yīng)物體OB的右半部形貌。

承前所述，圖像處理模塊可通過適當(dāng)?shù)亟雍系谝晦D(zhuǎn)換圖像及第二轉(zhuǎn)換圖像以獲得具備更大視域的全景圖像。圖6是繪示依據(jù)本發(fā)明的一實施例的圖像接合處理的方法流程圖。首先，在步驟S602，圖像處理模塊將第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像進(jìn)行圖像裁切處理以分別產(chǎn)生第一裁切圖像以及第二裁切圖像。接著，在步驟S604，圖像處理模處將第一及第二裁切圖像進(jìn)行邊緣光滑處理以分別產(chǎn)生第一待接合圖像以及第二待接合圖像。之后，在步驟S606，圖像處理模處將第一待接合圖像以及第二待接合圖像合并以產(chǎn)生全景圖像。

圖7繪示對圖4所示的第一轉(zhuǎn)換圖像以及第二轉(zhuǎn)換圖像進(jìn)行接合處理以產(chǎn)生全景圖像的示意圖。如圖7所示，第一轉(zhuǎn)換圖像CF1’以及第二轉(zhuǎn)換圖像CF2’具有圖像重疊區(qū)域OVR。此圖像重疊區(qū)域OVR中的圖像內(nèi)容例如對應(yīng)于第一魚眼鏡頭模塊5020及第二魚眼鏡頭模塊5022拍攝視角重疊的部分。

為了適當(dāng)?shù)亟雍系谝患暗诙D(zhuǎn)換圖像CF1’、CF2’，圖像處理模塊可先自圖像重疊區(qū)域OVR中提取第一轉(zhuǎn)換圖像CF1’的圖像邊緣特征以及第二轉(zhuǎn)換圖像CF2’的圖像邊緣特征。此圖像邊緣特征可通過各種的圖像處理技術(shù)而加以提取，例如通過判斷圖像的對比、色彩的差異、圖樣的連續(xù)性等等。

由于第一及第二轉(zhuǎn)換圖像CF1’、CF2’在其圖像重疊區(qū)域OVR中的圖像內(nèi)容理論上是重復(fù)或近似的，故圖像處理模塊可依據(jù)上述的第一、二圖像特征之間的相似程度來決定圖像接合點。如圖7所示，第一轉(zhuǎn)換圖像CF1’包括多個第一圖像特征MP1，第二轉(zhuǎn)換圖像CF2’包括多個第二圖像特征MP2。假設(shè)第一圖像特征MP1與第二圖像特征MP2的相似程度高于一預(yù)設(shè)值(或是相似度相較于其它圖像特征為最大)，圖像處理模塊即可將此些圖像特征MP1、 MP2視為圖像接合點，也就是兩圖像相接時的對準(zhǔn)點。

在決定好圖像接合點后，圖像處理模塊可依據(jù)圖像接合點對第一轉(zhuǎn)換圖像CF1’以及第二轉(zhuǎn)換圖像CF2’進(jìn)行裁切縫合。對于兩圖像接合的邊緣處，則依圖像的像素值與其重疊邊界距離的比例，進(jìn)行光滑化處理后合并輸出，以產(chǎn)生全景圖像AI。

在一實施例中，圖像處理裝置可設(shè)置在圖像提取裝置中。如圖8所示，其繪示依據(jù)本發(fā)明的一實施例的圖像處理系統(tǒng)的示意圖。在圖8的例子中，圖像處理系統(tǒng)800包括圖像提取裝置802以及終端裝置804。終端裝置804例如是一具有顯示操作功能的電子裝置，像是便攜式裝置。與圖1的圖像處理系統(tǒng)100的主要差異在于，本實施例的圖像提取裝置802可實現(xiàn)圖像處理裝置104的圖像處理功能，例如全景坐標(biāo)轉(zhuǎn)換以及接合處理，并將接合好的全景圖像發(fā)送至終端裝置804，以供其依據(jù)使用者喜好呈現(xiàn)不同的觀看模式。

如圖8所示，圖像提取裝置802包括第一魚眼鏡頭模塊8020、第二魚眼鏡頭模塊8022、圖像取得電路8024、存儲模塊8026、圖像處理模塊8028以及發(fā)送電路8030。圖像取得電路8024可自第一及第二魚眼鏡頭模塊8020、8024分別接收第一及第二魚眼圖像F1”、F2”。圖像處理模塊8028自圖像取得電路8024取得第一及第二魚眼圖像F1”、F2”后，可依據(jù)存儲模塊8026中的魚眼鏡頭信息對第一及第二魚眼圖像F1”、F2”進(jìn)行全景坐標(biāo)轉(zhuǎn)換以及接合處理以輸出全景圖像至發(fā)送電路8030。之后，發(fā)送電路8030再以有線或無線的方式將全景圖像以串流方式發(fā)送至終端裝置804。

終端裝置804例如包括接收電路8042、處理器8044以及使用者接口8046。接收電路8042可接收并解碼所接收到的串流數(shù)據(jù)以得到全景圖像。通過處理器8044的運算，使用者接口8046可依據(jù)使用者的喜好，通過所選的觀看模式呈現(xiàn)全景圖像。

綜上所述，本發(fā)明的圖像處理方法、圖像處理裝置及顯示系統(tǒng)利用雙魚眼鏡頭的寬廣視野，克服一般鏡頭拍攝的視野限制。另外，藉由預(yù)存的魚眼鏡頭信息以及串流技術(shù)，圖像處理裝置可即時地對雙通道的魚眼圖像進(jìn)行校正及接合運算并產(chǎn)生相應(yīng)的全景圖像，以提供使用者即時觀看全方位視角的環(huán)場體驗。

雖然本發(fā)明已以優(yōu)選實施例公開如上，然其并非用以限定本發(fā)明。本發(fā)明所屬領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種的更動與 潤飾。因此，本發(fā)明的保護(hù)范圍當(dāng)視所附權(quán)利要求書界定范圍為準(zhǔn)。