專利名稱：圖像處理裝置,圖像處理方法及其程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法及其程序。更具體地，本發(fā)明 涉及管理提高圖像的處理的圖像處理裝置、進(jìn)行該處理的圖像處理方法和令 計(jì)算機(jī)執(zhí)行該方法的程序。
背景技術(shù)：
在圖像處理領(lǐng)域，使用了各種圖像處理方法。在這些方法之中，存在一
種被稱為反銳化掩模(unsharp masking)的圖像增強(qiáng)處理的類型，其在諸如 印刷工業(yè)中進(jìn)行樣本印刷(proof)的掃描儀之類的設(shè)備中實(shí)現(xiàn)(參見 JP-A-H11-66299,圖2)。

發(fā)明內(nèi)容
在相關(guān)領(lǐng)域的技術(shù)中，圖像被簡單地當(dāng)作二維信息，并且因此沒有考慮 過三維圖像創(chuàng)建過程。因此，存在的問題是，處理產(chǎn)生不自然的結(jié)果。特別 是，對于輸入圖像提高局部對比度，不考慮關(guān)于輸入圖像的目標(biāo)表面粗糙度 信息。此外，由于沒有考慮輸入圖像的發(fā)光強(qiáng)度信息，因此存在的問題是， 得到的圖像失去了整體觀看效果。
因此，期望提供一種圖像處理裝置，其處理包括其發(fā)光強(qiáng)度信息的輸入 圖像，并且產(chǎn)生輸出圖像，其中明顯的目標(biāo)表面粗糙度相對于輸入圖像被增 強(qiáng)，從而再現(xiàn)與通過相關(guān)領(lǐng)域的增強(qiáng)處理而獲得的紋理不同的紋理。
考慮到上述問題而設(shè)計(jì)的本發(fā)明提供了一種圖像處理裝置、圖像處理方 法和致使計(jì)算機(jī)執(zhí)行該方法的程序，其中處理輸入圖像同時(shí)還考慮其發(fā)光強(qiáng) 度信息，從而產(chǎn)生輸出圖像，其中明顯的目標(biāo)表面粗糙度已經(jīng)相對于輸入圖 像被增強(qiáng)。
本發(fā)明的第一實(shí)施例被提供有發(fā)光強(qiáng)度信息分離部件，用于將來自輸 入圖像的輸入圖像信息分離為全局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng)度信息；陰影 分量產(chǎn)生部件，用于基于所述局部發(fā)光強(qiáng)度信息產(chǎn)生圖像的陰影分量；以及圖像合成部件，用于通過將陰影圖像信息添加到所述輸入圖像信息來產(chǎn)生輸 出圖像信息，所述陰影圖像信息是從所述陰影分量和基于所述輸入圖像信息 的值而產(chǎn)生的。
另外，在第一實(shí)施例中，陰影分量產(chǎn)生部件可以被配置以包括法向矢
量計(jì)算部件，用于從局部發(fā)光強(qiáng)度信息的發(fā)光強(qiáng)度梯度計(jì)算關(guān)于所述輸入圖
像中的目標(biāo)表面的法向矢量；光矢量計(jì)算部件，用于基于所述局部發(fā)光強(qiáng)度 信息來計(jì)算指示光源的方向的光矢量；以及歸一化內(nèi)積處理部件，用于基于 所述法向矢量和所述光矢量之間的歸一化內(nèi)積來計(jì)算陰影分量。這樣做，通 過進(jìn)行處理以計(jì)算法向矢量和光矢量的歸一化內(nèi)積而計(jì)算增強(qiáng)了明顯的目標(biāo) 表面粗糙度的陰影分量。
另外，第一實(shí)施例可以被配置以進(jìn)一步包括頻帶分離部件，用于通過 對所述局部發(fā)光強(qiáng)度信息進(jìn)行頻帶分離而產(chǎn)生多個(gè)局部每頻帶發(fā)光強(qiáng)度信 息，同時(shí)另外地，陰影分量產(chǎn)生部件還可以被配置以基于每頻帶發(fā)光強(qiáng)度信 息產(chǎn)生陰影分量。這樣做，基于每頻帶發(fā)光強(qiáng)度信息來計(jì)算增強(qiáng)明顯的目標(biāo) 表面粗糙度的陰影分量。
另外，第一實(shí)施例可以被配置以進(jìn)一步包括控制信號產(chǎn)生部件，用于 基于輸入圖像信息產(chǎn)生用于控制所述陰影分量的強(qiáng)度的陰影附加控制信號； 同時(shí)另外地，在產(chǎn)生所述陰影圖傳 (言息時(shí)，所述圖4象合成部件可以^L配置以 另外使用所述陰影附加控制信號。這樣做，使用陰影附加控制信號來計(jì)算增 強(qiáng)明顯的目標(biāo)表面粗糙度的陰影分量。
另外，在第一實(shí)施例中，控制信號產(chǎn)生部件可以被配置以包括邊緣強(qiáng) 度計(jì)算部件，用于基于輸入圖像信息產(chǎn)生用于在執(zhí)行抑制所述陰影分量中的 邊緣強(qiáng)度的控制中使用的邊緣強(qiáng)度值，以及梯度可靠性計(jì)算部件，用于基于 輸入圖像信息計(jì)算用于在執(zhí)行抑制所述陰影分量中的低對比部分的強(qiáng)度的控 制中使用的梯度可靠性值。這樣做，基于邊緣強(qiáng)度值和梯度可靠性值來計(jì)算 陰影附加控制信號。
另外，在第一實(shí)施例中，光矢量計(jì)算部件可以被配置以基于所述局部發(fā) 光強(qiáng)度信息來計(jì)算在焦點(diǎn)像素附近的最大發(fā)光強(qiáng)度梯度的方向，并且然后通 過使最大發(fā)光強(qiáng)度梯度的方向經(jīng)歷角度轉(zhuǎn)換來計(jì)算關(guān)于焦點(diǎn)像素的光矢量。 這樣做，計(jì)算光矢量使得計(jì)算出了精確增強(qiáng)明顯的目標(biāo)表面粗糙度的陰影分量。另外，在第一實(shí)施例中，光矢量計(jì)算部件可以被配置以基于所述局部發(fā) 光強(qiáng)度信息來計(jì)算在焦點(diǎn)像素附近的最大發(fā)光強(qiáng)度梯度的方向，并且然后通 過使最大發(fā)光強(qiáng)度梯度的方向經(jīng)歷矢量轉(zhuǎn)換來計(jì)算關(guān)于焦點(diǎn)像素的光矢量。 這樣做，計(jì)算光矢量使得計(jì)算出了精確增強(qiáng)明顯的目標(biāo)表面粗糙度的陰影分量。
另外，在第一實(shí)施例中，光矢量計(jì)算部件還可以被配置以通過使法向矢 量的方位角經(jīng)歷角度轉(zhuǎn)換來計(jì)算關(guān)于焦點(diǎn)像素的光矢量。這樣做，計(jì)算光矢 量使得計(jì)算出了精確增強(qiáng)明顯的目標(biāo)表面粗糙度的陰影分量。
另外，在第一實(shí)施例中，光矢量計(jì)算部件還可以被配置以通過使法向矢 量的方位角經(jīng)歷矢量轉(zhuǎn)換來計(jì)算關(guān)于焦點(diǎn)像素的光矢量。這樣做，計(jì)算光矢 量使得計(jì)算出了精確增強(qiáng)明顯的目標(biāo)表面粗糙度的陰影分量。
另外，在第一實(shí)施例中，光矢量計(jì)算部件還可以被配置以基于多個(gè)光矢 量候選和法向矢量來計(jì)算關(guān)于輸入圖像中的每個(gè)像素的陰影分量的對比度候 選值。然后，光矢量計(jì)算部件從多個(gè)光矢量候選值中選擇由此最大數(shù)量的像 素獲得最大對比度候選值的光矢量。然后，所選的光矢量被作為對于全部像 素的公共光矢量。這樣做，計(jì)算光矢量使得計(jì)算出了精確增強(qiáng)明顯的目標(biāo)表 面粗糙度的陰影分量。
另外，在第一實(shí)施例中，光矢量計(jì)算部件還可以被配置以采用多個(gè)光矢 量候選，并且關(guān)于每個(gè)光矢量候選對于在焦點(diǎn)像素附近的指定區(qū)域中的陰影 分量計(jì)算平均對比度候選值。然后，光矢量計(jì)算部件基于平均值的比率而組 合多個(gè)光矢量候選，以由此計(jì)算關(guān)于焦點(diǎn)像素的光矢量。這樣做，計(jì)算光矢 量使得計(jì)算出了精確增強(qiáng)明顯的目標(biāo)表面粗糙度的陰影分量。
另外，在第一實(shí)施例中，圖像合成部件還可以被配置以從陰影分量、從 基于全局發(fā)光強(qiáng)度信息的值和從陰影附加控制信號產(chǎn)生陰影圖像信息。這樣 做，添加了陰影分量使得精確地增強(qiáng)了明顯的目標(biāo)表面粗糙度。
另外，在第一實(shí)施例中，圖像合成部件還可以被配置以使用預(yù)定值來組 合信息，其中，當(dāng)基于輸入圖像信息的值大于預(yù)定值時(shí)執(zhí)行混合。這樣做， 添加了陰影分量使得精確地增強(qiáng)了明顯的目標(biāo)表面粗糙度。
另外，在第一實(shí)施例中，圖像合成部件還可以被配置以使用預(yù)定值來組 合信息，其中，當(dāng)基于輸入圖像信息的值小于預(yù)定值時(shí)執(zhí)行混合。這樣做， 添加了陰影分量使得精確地增強(qiáng)了明顯的目標(biāo)表面粗糙度。另外，在第一實(shí)施例中，發(fā)光強(qiáng)度信息分離部件還可以被配置使得局部 發(fā)光強(qiáng)度信息被作為其中輸入信息和已經(jīng)通過了低通濾波器的輸入信息的信 號(即輸入圖像信息的高頻分量)之間的差已經(jīng)^皮抑制的信息。此外，全局 發(fā)光強(qiáng)度信息被作為輸入圖像信息和局部發(fā)光強(qiáng)度信息之間的差。這樣做， 輸入圖像信息被有效地頻帶分離。
另外，在第一實(shí)施例中，發(fā)光強(qiáng)度信息分離部件還可以被配置以包括具 有不同通頻帶的多個(gè)低通濾波器。此外，獲得其各個(gè)高頻分量(即從輸入圖 像信息和已經(jīng)通過了多個(gè)低通濾波器中的 一個(gè)的輸入圖像信息的多個(gè)信號中 的一個(gè)之間的各個(gè)差得到的分量)已經(jīng)被抑制的多個(gè)低頻分量。然后混合多 個(gè)低頻分量以形成局部發(fā)光強(qiáng)度信息，而全局發(fā)光強(qiáng)度信息被作為輸入圖像 信息和局部發(fā)光強(qiáng)度信息之間的差。這樣做，輸入圖像信息被有效地頻帶分 離。
另外，本發(fā)明的第二實(shí)施例被提供有發(fā)光強(qiáng)度信息分離部件，用于將 來自輸入圖像的輸入圖像信息分離為全局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng)度信 息；頻帶分離部件，用于通過對局部發(fā)光強(qiáng)度信息進(jìn)行頻帶分離而產(chǎn)生多個(gè) 局部每頻帶發(fā)光強(qiáng)度信息；陰影分量產(chǎn)生部件，用于基于多個(gè)局部每頻帶發(fā) 光強(qiáng)度信息產(chǎn)生圖像的陰影分量；控制信號產(chǎn)生部件，用于基于輸入圖像信 息產(chǎn)生用于控制陰影分量被抑制的部分的陰影附加控制信號；以及圖像合成 部件，用于通過將陰影圖像信息添加到輸入圖像信息來產(chǎn)生輸出圖像信息， 所述陰影圖像信息是從陰影分量、從基于輸入圖像信息的值和從陰影附加控 制信號產(chǎn)生的。這樣做，包括發(fā)光強(qiáng)度信息的輸入圖像被處理以由此產(chǎn)生輸 出圖像，其中相對于輸入圖像，增強(qiáng)了明顯的目標(biāo)表面粗糙度。
根據(jù)本發(fā)明，進(jìn)行圖像處理被，同時(shí)考慮到輸入圖像的粗糙度信息和光 源信息。因此，實(shí)現(xiàn)了優(yōu)異的優(yōu)點(diǎn)，包括通過使用現(xiàn)有技術(shù)的增強(qiáng)處理不能 表示的目標(biāo)表面粗糙度和紋理的表示。


圖1是圖示實(shí)現(xiàn)本發(fā)明的實(shí)施例的圖像處理裝置的示例性功能配置的
圖2是圖示根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置800的示例性配置 的9圖3A是圖示由根據(jù)本發(fā)明的第一實(shí)施例的發(fā)光強(qiáng)度信息分離處理器110 使用的函數(shù)C的例子的圖3B是圖示由根據(jù)本發(fā)明的第一實(shí)施例的發(fā)光強(qiáng)度信息分離處理器110 使用的函數(shù)C的例子的圖3C是圖示由根據(jù)本發(fā)明的第一實(shí)施例的發(fā)光強(qiáng)度信息分離處理器110 使用的函數(shù)C的例子的圖3D是圖示由根據(jù)本發(fā)明的第一實(shí)施例的發(fā)光強(qiáng)度信息分離處理器110 使用的函數(shù)C的例子的圖4是圖示由根據(jù)本發(fā)明的第一實(shí)施例的發(fā)光強(qiáng)度信息分離處理器110 使用的示例性混合比率as和ctM的圖5是圖示由根據(jù)本發(fā)明的第一實(shí)施例的頻帶分離處理器210使用的示 例性水平頻帶分離濾波器的圖6是說明由根據(jù)本發(fā)明的第一實(shí)施例的法向矢量計(jì)算單元310計(jì)算的 法向矢量的圖7是說明由根據(jù)本發(fā)明的第一實(shí)施例的光矢量計(jì)算單元320計(jì)算的光 矢量的圖8是圖示根據(jù)本發(fā)明的第一實(shí)施例的在圖像處理裝置800中的光矢量 運(yùn)算單元321的示例性配置的圖9是說明由根據(jù)本發(fā)明的第一實(shí)施例的發(fā)光強(qiáng)度梯度分析器340計(jì)算 的邊緣梯度方向vl和邊緣方向v2的圖表；
圖10是說明由根據(jù)本發(fā)明第 一實(shí)施例的角度轉(zhuǎn)換器342執(zhí)行的角度轉(zhuǎn)換 的圖11是說明由根據(jù)本發(fā)明第一實(shí)施例的歸一化內(nèi)積運(yùn)算單元331執(zhí)行的 運(yùn)算操作的圖12A是說明由根據(jù)本發(fā)明第一實(shí)施例的邊緣強(qiáng)度計(jì)算單元410使用的 對比強(qiáng)度ac的圖12B是說明由根據(jù)本發(fā)明第一實(shí)施例的邊緣強(qiáng)度計(jì)算單元410使用的 邊緣強(qiáng)度otE的圖13A是說明由根據(jù)本發(fā)明第一實(shí)施例的梯度可靠性計(jì)算單元420使用 的梯度可靠性aR的圖13B是說明由根據(jù)本發(fā)明第一實(shí)施例的梯度可靠性計(jì)算單元420使用
10的梯度可靠性oiR的圖14是說明由根據(jù)本發(fā)明的第一實(shí)施例的圖像合成器500執(zhí)行的修剪 G(f)的上邊界的處理的圖15是說明由根據(jù)本發(fā)明的第 一實(shí)施例的圖像合成器500執(zhí)行的修剪陰 影圖像信息的下邊界的處理的圖16是圖示根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置中的光矢量運(yùn)算 單元322的示例性配置的圖17A是說明由根據(jù)本發(fā)明的第三實(shí)施例的梯度轉(zhuǎn)換器351和352執(zhí)行 的矢量轉(zhuǎn)換的圖17B是說明由根據(jù)本發(fā)明的第三實(shí)施例的梯度轉(zhuǎn)換器351和352執(zhí)行 的矢量轉(zhuǎn)換的圖18是圖示根據(jù)本發(fā)明的第三實(shí)施例的圖像處理裝置820的示例性配置 的圖19是圖示根據(jù)本發(fā)明的第三實(shí)施例的圖像處理裝置中的光矢量運(yùn)算 單元323的示例性配置的圖20是圖示根據(jù)本發(fā)明的第四實(shí)施例的圖像處理裝置中的光矢量運(yùn)算 單元324的示例性配置的圖21是圖示根據(jù)本發(fā)明第的五實(shí)施例的圖像處理裝置840的示例性配置 的圖22A是圖示由根據(jù)本發(fā)明的第五實(shí)施例的光源方向估計(jì)器383使用的 用于計(jì)算光矢量候選的方法的圖22B是圖示由根據(jù)本發(fā)明的第五實(shí)施例的光源方向估計(jì)器383使用的 用于計(jì)算光矢量候選的方法的圖23是說明由根據(jù)本發(fā)明的第五實(shí)施例的光源方向估計(jì)器383使用的光 矢量確定方法的圖24是說明由根據(jù)本發(fā)明的第六實(shí)施例的圖像處理裝置中的光源方向 估計(jì)器使用的混合比率aB的圖。
具體實(shí)施例方式
下文中，將參考附圖描述本發(fā)明的實(shí)施例。 現(xiàn)在將參考附圖描述本發(fā)明的第 一 實(shí)施例。圖1是圖示用于實(shí)現(xiàn)本發(fā)明的實(shí)施例的圖像處理裝置的示例性功能配置 的圖。
在此，假設(shè)圖像處理裝置包括發(fā)光強(qiáng)度信息分離器100、頻帶分離器200、 陰影分量產(chǎn)生器300、控制信號產(chǎn)生器400和圖像合成器500。
發(fā)光強(qiáng)度信息分離器100將輸入圖像的輸入圖像信息fin分離為要增強(qiáng)的
分量(主要是小振幅分量)和剩余分量。以三維術(shù)語表達(dá)，上述分離包含以 下內(nèi)容。給定一灰度圖像，如果假設(shè)其明亮部分在附近，并且其暗部分更遠(yuǎn)， 則能夠通過使用發(fā)光強(qiáng)度信息作為高度信息的替代而從圖像中提取粗糙度信 息。為了從輸入圖像中提取詳細(xì)的物體表面粗糙度，本發(fā)明被配置為將輸入 圖像分離為全局發(fā)光強(qiáng)度信息fo (即圖像的發(fā)光分量)和局部發(fā)光強(qiáng)度信息 1 (即詳細(xì)的物體表面粗糙度信息分量)。發(fā)光強(qiáng)度信息分離器100隨后向圖 像合成器500供應(yīng)已分離的全局發(fā)光強(qiáng)度信息，同時(shí)向頻譜分離器200供應(yīng) 已分離的局部發(fā)光強(qiáng)度信息。
為了單獨(dú)地控制要增強(qiáng)的頻帶，頻帶分離器200將從發(fā)光強(qiáng)度信息分離 器100供應(yīng)的局部發(fā)光強(qiáng)度信息fL分離為多個(gè)頻帶j(j是大于等于2的整數(shù))， 從而產(chǎn)生多個(gè)局部的每頻帶的發(fā)光強(qiáng)度信息flj。這樣做，可以自由地表達(dá)從 小規(guī)^t到大規(guī)模的物體表面粗糙度的范圍。然后，頻帶分離器200向陰影分 量產(chǎn)生器300供應(yīng)已分離頻帶的多個(gè)局部的每頻帶的發(fā)光強(qiáng)度信息flj 。
陰影分量產(chǎn)生器300基于由頻帶分離器200供應(yīng)的每頻帶的發(fā)光強(qiáng)度信 息fLj產(chǎn)生陰影分量Ashade,用于增強(qiáng)輸入圖像信息fin。然后，頻帶分離器 200向圖像合成器500供應(yīng)已產(chǎn)生的陰影分量Ashade。
基于輸入圖像信號fin,控制信號產(chǎn)生器400產(chǎn)生用于控制陰影分量的強(qiáng)
度的陰影附加控制信號(Xi。陰影附加控制信號(Xi是用于補(bǔ)償發(fā)光強(qiáng)度信息分
離器100的分離能力的信號，并且被用于抑制各種噪聲元素的強(qiáng)度，比如原 始陰影分量中未包含的邊緣或低對比部分。然后，控制信號產(chǎn)生器400向圖 像合成器500供應(yīng)已產(chǎn)生的陰影附加控制信號(Xi。
圖像合成器500從自陰影分量產(chǎn)生器300供應(yīng)的陰影分量Ashade、自發(fā) 光強(qiáng)度信息分離器100供應(yīng)的全局發(fā)光強(qiáng)度信息fo和自控制信號產(chǎn)生器400 提供的陰影附加控制信號(Xi產(chǎn)生陰影圖像信息。圖像合成器500隨后將該陰
影圖^象信息添加到輸入圖4象信息fin，以形成輸出圖^f象信息f。ut，并然后輸出得 到的輸出圖像信息f。ut。圖2是圖示在此作為本發(fā)明的第一實(shí)施例的例子而描述的圖像處理裝置 800的示例性配置的圖。
如圖2所示，圖像處理裝置800被提供有發(fā)光強(qiáng)度信息分離器100、頻 帶分離器200、陰影分量產(chǎn)生器300、控制信號產(chǎn)生器400和圖像合成器500。
發(fā)光強(qiáng)度信息分離器100被提供有發(fā)光強(qiáng)度信息分離處理器110。發(fā)光
強(qiáng)度信息分離處理器110將輸入圖像的輸入圖像信息fin分離為全局發(fā)光強(qiáng)度
信息fo和局部發(fā)光強(qiáng)度信息fL。分離方法可以包括將低通濾波器(下文中簡 稱為LPF)應(yīng)用于輸入圖像信息fin,以由此建立fG (參見公式1 ),并且然后 將局部發(fā)光強(qiáng)度信息fL當(dāng)作從fin和f(j之間的差得到的僅有的低振幅分量。 在此情況下，通過將簡單LPF應(yīng)用于具有強(qiáng)邊緣(strong edge)的部分，強(qiáng) 邊緣變成被包括在局部發(fā)光強(qiáng)度信息fL中。因此，使用將在下文中描述的(參 考公式2)圖3中示出的函數(shù)C來計(jì)算局部發(fā)光強(qiáng)度信息fL。這樣做，僅提 取基于低振幅的信號，而高振幅分量被抑制。接下來，計(jì)算輸入圖像信息fin 和局部發(fā)光強(qiáng)度信息fl之間的差分信號，作為全局發(fā)光強(qiáng)度信息fG (參考公 式3)。
fG = lpf fin
fL=C(fin-fG)
fG = fin _ fL
與上述方法不同的另一種分離方法包括準(zhǔn)備3個(gè)濾波器LPFS、 LPFm和 LPFL,其每個(gè)都具有不同的頻率通頻帶，并且然后將三個(gè)濾波器LPFj應(yīng)用于
輸入圖像信息fin,以由此建立f(js、 f(M和fGL (參考公式4)。然后，fjn和
fGj(j = S,M,L)之間的差分別與函數(shù)C相乘，以計(jì)算fls、 flM和fLL(參考公 式5)。另外，存在另一種方法，其中三個(gè)濾波器結(jié)果fLj(j二S,M,L)被混合以 形成局部發(fā)光強(qiáng)度信息fL(參見公式6 )。在此，S、 M和L代表LPF抽頭(tap ) 數(shù)，上述順序相繼代表更窄的頻帶。此外，混合比率(Im和as具有將在下文 中描述的圖4中示出的特征。與前述方法類似地，然后，計(jì)算輸入圖傳J言息 fin和局部發(fā)光強(qiáng)度信息fl之間的差分信號，作為全局發(fā)光強(qiáng)度信息fo(參見 公式7)。
f Gj = lpfj fin(j = S, M, L) (4) fLj = C(fin - f Gj) (j = S， M, L) (5)fL = as x fLS + (1 - ots) x (aM x fLM + (1 - aM) x fLL)
1G
(6)
(7)
現(xiàn)在將描述上述混合。首先，引用對比強(qiáng)度(contrast intensity) ac,該 值由將在下文中描述的邊緣強(qiáng)度計(jì)算單元410來計(jì)算。該方法被設(shè)計(jì)為，如 果對比強(qiáng)度ac強(qiáng)，則使用利用寬帶LPF (j=S)而獲得的結(jié)果。如果對比強(qiáng) 度ac弱，則使用利用窄帶LPF (j=L)而獲得的結(jié)果。如果對比強(qiáng)度ac是中
頻率的LPF(j = M)而獲得的結(jié)果。這樣做，當(dāng)強(qiáng)邊緣出現(xiàn)時(shí)，強(qiáng)邊不會(huì)變模 糊(即設(shè)置局部發(fā)光強(qiáng)度信息fl，使得通常不包含邊緣)，而弱邊緣顯著變模 糊(即設(shè)置局部發(fā)光強(qiáng)度信息fl以便獲得相對較大程度的粗糙度)。
頻帶分離器200被提供有頻帶分離處理器210。頻帶分離處理器210將 從發(fā)光強(qiáng)度信息分離處理器110供應(yīng)的局部發(fā)光強(qiáng)度信息fL頻帶分離為三個(gè) 頻帶，以便單獨(dú)地控制將被增強(qiáng)的頻帶。在此，使用由公式14到17指示的 算法作為將局部發(fā)光強(qiáng)度信息fL分離為三個(gè)頻帶的頻帶分離濾波器，由此將 局部發(fā)光強(qiáng)度信息fl分離為對于其每個(gè)X分量和Y分量的三個(gè)頻帶(參考公 式8到13和圖5)。
fLOx = hlpf fL
fL2x = hhpf fL
tlx = t - +
fLOy = vlpf fL fL2y = vhpf fL
tly = - dy + fL2y )
hlpf=(l 2 1) (1 2 1)
hhpf =(1_2
廣r「1)
vlpf =22
、"
,1 1「 1 )
vhpf =_2-2
〔1 J
(8)
(9)
(10)
(11)
(12)
(13)
(14)
(15)
(16)
(17)
以此方式，通過上述公式8到17，頻帶分離處理器210對局部發(fā)光強(qiáng)度
14信息進(jìn)行頻帶分離，從而產(chǎn)生由公式18指示的已頻帶分離的每頻帶的發(fā)光強(qiáng) 度信息&(] = 0， 1，2(下文中省略))。隨后，由頻帶分離處理器210因此產(chǎn)生 的每頻帶發(fā)光強(qiáng)度信息fLj被供應(yīng)給將在下文中描述的BPFv單元311、 BPFH 單元312和光矢量算法單元321。 0.5x(f +f
<formula>formula see original document page 15</formula>(18)
陰影分量產(chǎn)生器300被提供有法向矢量計(jì)算單元310、光矢量計(jì)算單元 320和歸一化內(nèi)積處理器330。
法向矢量計(jì)算單元310計(jì)算相對圖像中的目標(biāo)表面的法向矢量。法向矢 量是指示用作高度信息的替代的發(fā)光強(qiáng)度信息的發(fā)光強(qiáng)度梯度(gradient)的 矢量。換言之，法向矢量指示垂直于目標(biāo)表面的平面(參見圖6)。因此，計(jì) 算法向矢量，作為被應(yīng)用于每頻帶的發(fā)光強(qiáng)度信息fy的水平和垂直差分濾波 器的輸出。
法向矢量計(jì)算單元310被提供有垂直差分濾波器(下文中縮寫為BPFv (垂直帶通濾波器))311和水平差分濾波器(下文中縮寫為BPFH (水平帶通 濾波器))312。
BPFH 312是從每頻帶發(fā)光強(qiáng)度信息fq計(jì)算每頻帶法向矢量的x分量nxj (參見公式19和20)的濾波器。然后，BPFh 312經(jīng)由信號線602向歸一化 內(nèi)積運(yùn)算單元331供應(yīng)所計(jì)算的每頻帶法向矢量的x分量nXj。
BPFV311是從每頻帶發(fā)光強(qiáng)度信息fy計(jì)算每頻帶法向矢量的y分量n: (參見公式19和21)的濾波器。然后，BPFV311經(jīng)由信號線603向歸一化內(nèi) 積運(yùn)算單元331供應(yīng)所計(jì)算的每頻帶法向矢量的y分量nyj。
<formula>formula see original document page 15</formula>Vbpf :
M _1 -1、
0 0 0
1 1 1
(21)
應(yīng)當(dāng)認(rèn)識到，當(dāng)希望修改上述頻帶分離方法并且提取更多的詳細(xì)粗糙度 信息時(shí)，用于計(jì)算法向矢量的上述濾波器可以使用更小的運(yùn)算符。此外，還 可以將噪聲去除(noise coring )應(yīng)用于紋理圖像(texture image )，以便在計(jì)算 法向矢量之加強(qiáng)化噪聲抵抗力。在此，對于每頻帶法向矢量的Z分量，在整 個(gè)圖像中使用任意的固定常數(shù)A。然后，經(jīng)由信號線604將Z分量nz供應(yīng)給 歸一化內(nèi)積運(yùn)算單元331 。
光矢量計(jì)算單元320基于上述每頻帶發(fā)光強(qiáng)度信息fLj計(jì)算指示光源方向
的光矢量。使用光矢量作為來計(jì)算用以增強(qiáng)輸入圖像信息fta的陰影分量
Ashade的方向參數(shù)。光矢量能夠表達(dá)兩個(gè)參數(shù)，方位角和仰角(參見圖7)。 存在兩種可以設(shè)置方位角和仰角的可能方法， 一種方法包括將參數(shù)作為外部 變量的應(yīng)用，另一種方法包括從輸入圖像信息確定光源的方向。在前一種方 法中，外部簡單地應(yīng)用固定值。在后一種方法中，可以根據(jù)將如何運(yùn)用陰影 來考慮各種變化。
給定法向矢量n和光矢量l，如公式22所示，由矢量n和矢量l的歸一 化內(nèi)積來表示在其之間獲得的陰影，
—M
'n'lz (shade:陰影) (22)
另一方面，如果假設(shè)光源位于方位角9和仰角cp，則光矢量可以表達(dá)為 如以下公式23所示(參考圖7)。
shade
=sin 0 cos ^
、sin^ >
(23)
此外，可以對每個(gè)頻帶定義每頻帶光矢量，如以下公式24所示(
cos A cos^、
sin《cos &
、乙"、siH ,
j=0,l,2 (24) 光矢量計(jì)算單元320被提供有光矢量運(yùn)算單元321。光矢量運(yùn)算單元321 使用由從信號線611輸入的每頻帶發(fā)光強(qiáng)度信息fLj來計(jì)算每頻帶光矢量lj。
16然后，光矢量運(yùn)算單元321經(jīng)由信號線606至608向歸一化內(nèi)積運(yùn)算單元331 供應(yīng)每頻帶光矢量lj。稍后將使用圖8詳細(xì)描述光矢量運(yùn)算單元321的配置。 如由以上公式22所示，可以知道，如果假定光源處于發(fā)光強(qiáng)度梯度方向 上，則陰影值(shade)在焦點(diǎn)處達(dá)到最大值。在這點(diǎn)上，如果對于一組給定 的粗糙度信息假設(shè)一個(gè)光源方向，則在公式25中所定義的陰影分量的對比度 Cp(e)返回高值。
<formula>formula see original document page 17</formula>(25)
歸一化內(nèi)積處理器330基于上述法向矢量和光矢量的歸一化內(nèi)積來計(jì)算 陰影分量。以三維術(shù)語表達(dá)，通過將光源信息應(yīng)用于粗糙度信息來計(jì)算陰影 分量。歸一化內(nèi)積處理器330被提供有歸一化內(nèi)積運(yùn)算單元331、乘法器332 和加法器333。
歸一化內(nèi)積運(yùn)算單元331使用經(jīng)由信號線602到604從法向矢量計(jì)算單 元310供應(yīng)的每頻帶法向矢量iij和經(jīng)由信號線606到608接收的作為來自光 矢量運(yùn)算單元321的輸入的每頻帶光矢量lj來產(chǎn)生每頻帶陰影分量Ashade」。 然后，歸一化內(nèi)積運(yùn)算單元331經(jīng)由信號線614向乘法器332供應(yīng)陰影分量 Ashade」(參見公式27 )。稍后將使用圖11詳細(xì)描述歸一化內(nèi)積運(yùn)算單元331 的配置。
乘法器332將Ashadej與作為經(jīng)由信號線609的輸入而接收的每頻帶權(quán)重 數(shù)值Wj相乘。上述數(shù)值是從歸一化內(nèi)積運(yùn)算單元331供應(yīng)的。
加法器333將來自歸一化內(nèi)積運(yùn)算單元331的權(quán)重?cái)?shù)值Wj與Ashadej的 各個(gè)乘積相加，從而計(jì)算陰影分量Ashade (參考公式27)。然后，加法器333 向圖像乘法器510供應(yīng)所計(jì)算的陰影分量Ashade。
<formula>formula see original document page 17</formula>(26)<formula>formula see original document page 17</formula>(27)
味1 (27) 現(xiàn)在將描述與公式27相關(guān)的應(yīng)用于二維圖像的凹凸映射(bump mapping)。由于二維圖像是平面的，因此相應(yīng)的歸一化法向矢量N0采取公 式28中示出的值。如果不考慮鏡面反射，并且假設(shè)朗伯表面(lambert surface, 即理想的散射表面)作為反射模型，則可以根據(jù)光源的亮度L、鏡面反射系數(shù)gd、法向矢量N。和光矢量1來表示處理前的發(fā)光強(qiáng)度I(參見公式29)。朗 伯表面是指具有這種屬性的理想的散射表面其使得從給定方向入射到任意 小表面區(qū)域并且隨后從該處發(fā)射出的光的強(qiáng)度與在輸入矢量與輸入表面的法 向矢量之間形成的角的余弦成比例。該表面的亮度因此是恒定的，與觀察角 度無關(guān)。
此外，還可以類似地根據(jù)光源的亮度L、鏡面反射系數(shù)gd、法向矢量N 和光矢量1來表示處理后的發(fā)光強(qiáng)度I'(參見公式33)。在此，如果全部矢量 都被歸一化并且只改變法向矢量，則獲得公式30到32，其中D是表示法向 矢量的變化的矢量。
由于法向矢量No和光矢量l之間的內(nèi)積是Lz (參見公式34),因此如果 使用上述關(guān)系來修改公式33，則獲得了公式35中表示的關(guān)系。在此，將法 向矢量N和光矢量1之間的內(nèi)積除以lz并且設(shè)置為值shade。
結(jié)果是，由于lz存在于公式27的分母中，并且由于(shade-1 )等于Ashade, 因此數(shù)量(-1 )被加入到公式35中。
<formula>formula see original document page 18</formula>
典型地，如果權(quán)重值Wj被用于過量地應(yīng)用陰影分量的低頻，則紋理 (texture)表現(xiàn)為高鏈接的，而如果權(quán)重值Wj被用于過量地應(yīng)用陰影分量的 高頻，則噪聲變得更明顯?？紤]到該問題，使用權(quán)重的組合來更有效地應(yīng)用 陰影分量。例如，如果局部發(fā)光強(qiáng)度信息fl被頻帶分離處理器210頻帶分離 為3個(gè)頻帶，則可以^使用一組具有比例wQ: w1: w2= 1:4:2的一組;f又重值?？刂菩盘柈a(chǎn)生器400被提供有邊緣強(qiáng)度計(jì)算單元410、梯度可靠性計(jì)算 單元420和控制信號合成器430。
邊緣強(qiáng)度計(jì)算單元410從輸入圖像信息fin中提取圖像的邊緣，計(jì)算邊緣 強(qiáng)度數(shù)值aQ ，并且然后向下文中將描述的控制信號合成器430供應(yīng)該邊緣強(qiáng) 度aQ。邊緣強(qiáng)度計(jì)算單元410包括邊緣檢測器411和邊緣強(qiáng)度產(chǎn)生器412。
邊緣檢測器411從輸入圖像信息fin中檢測對比強(qiáng)度ac和邊緣強(qiáng)度aE, 并且然后向邊緣強(qiáng)度產(chǎn)生器412供應(yīng)ac和aE。更具體地，使用特征值Xl來 計(jì)算對比強(qiáng)度ac，而使用將在下文中參考圖12描述的特征值比率(X2從l) 來計(jì)算邊緣強(qiáng)度aE。下文中將參考圖9描述特征值人l和入2。
邊緣強(qiáng)度產(chǎn)生器412根據(jù)公式36使用從邊緣檢測器411供應(yīng)的對比強(qiáng)度 ac和邊緣強(qiáng)度aE來計(jì)算邊緣強(qiáng)度值a。。然后，邊緣強(qiáng)度產(chǎn)生器412向下文中 將描述的控制信號合成運(yùn)算單元431供應(yīng)所計(jì)算的邊緣強(qiáng)度a0。
梯度可靠性計(jì)算單元420計(jì)算梯度可靠性數(shù)值aR,并且然后下文中將描 述的控制信號合成器430供應(yīng)aR。
梯度可靠性計(jì)算單元420包括梯度可靠性檢測器421和梯度可靠性產(chǎn)生 器422。
梯度可靠性檢測器421對于來自法向矢量計(jì)算單元310的頻帶已分離的 低頻來檢測法向矢量nxo和ny()，并且然后通過進(jìn)行公式37中示出的計(jì)算對于 XY平面計(jì)算值Gmdient(梯度)。在未進(jìn)行頻帶分離的情況下，可以照原樣使 用nx和ny。
Gradient丄2+力。2 (37) 使用下文中將參照圖13A描述的關(guān)系，梯度可靠性產(chǎn)生器422從由梯度 可靠性檢測器421計(jì)算的、對XY平面的值Gradient來計(jì)算梯度可靠性aR 。 然后，靠性產(chǎn)生器422向控制信號合成運(yùn)算單元431供應(yīng)所計(jì)算的梯度可靠 性aR 。
在此，梯度可靠性計(jì)算單元420使用低頻法向矢量nxQ和nyo來計(jì)算梯度 可靠性(Xr。但是，本發(fā)明并不限于此，并且還可以被置使得梯度可靠性檢測 器421從光向量運(yùn)算單元321接收圖9中示出的特征值X1 (下文中將描述) 作為輸入，并且梯度可靠性產(chǎn)生器422隨后使用圖13B中示出的關(guān)系(下文 中將描述)從特征值XI來計(jì)算梯度可靠性aR 。控制信號合成器430被提供有控制信號合成運(yùn)算單元431?？刂菩盘柡?成運(yùn)算單元431使用下面示出的公式38從由邊緣強(qiáng)度產(chǎn)生器412供應(yīng)的邊緣 強(qiáng)度aQ和由梯度可靠性產(chǎn)生器422提供的梯度可靠性aR來計(jì)算陰影附加控制 信號ai。然后，控制信號合成運(yùn)算單元431向圖像乘法器510供應(yīng)所計(jì)算的
陰影附加控制信號(Xi。
;x(l.O,) (38)
圖象合成器500被提供有圖像乘法器510和圖像加法器520。 圖像乘法器510使用下面示出的公式39來產(chǎn)生最終的陰影圖像信息Diff， 其被表達(dá)為從加法器333供應(yīng)的陰影分量Ashade、從發(fā)光強(qiáng)度信息分離處理 器110供應(yīng)的全局發(fā)光強(qiáng)度信息fb和從控制信號合成運(yùn)算單元431供應(yīng)的陰 影附加控制信號(Xi與輸入圖像的差值。然后，圖像乘法器510向圖像加法器 520供應(yīng)所產(chǎn)生的陰影圖像信息Diff。
Diff = a; x G(f)xAshade (39) 在此，通過引入陰影附加控制信號(Xi來控制應(yīng)用陰影的位置。此外，G(f) 是任意函數(shù)，此處使用是在公式40中顯示的函數(shù)。在此情況下，陰影的應(yīng)用 根據(jù)圖像的亮度而變化。
G(f) = fG (40) 此外，還可以使用在公式41中示出的函數(shù)作為函數(shù)G(f)。在此情況下，
粗糙度還可以應(yīng)用于原始存在的粗糙度(fj。
G(f) = fin (41) 另外，G(f)的上界還可以被修剪為如圖14中示出的那樣(下文中將描述)，
以便抑制光亮區(qū)域中的處理效果的過度表現(xiàn)。
另外，如果較暗的陰影被過度表現(xiàn)，并且看起來令人不悅，則可以處理
表示輸入和輸出圖像之間的最終差的上述陰影圖像信息Diff,以便如圖15中
所示(下文中將描述)修剪較暗的陰影。
圖像加法器520使用公式42來從由圖像乘法器510供應(yīng)的輸入圖像信息
fin來計(jì)算并隨后輸出輸出圖像信息f。ut。
f。ut = fin + A x G(f)xAshade ( 42 )
圖3A到3D是示出根據(jù)本發(fā)明的第一實(shí)施例由發(fā)光強(qiáng)度信息分離處理器 IIO使用的函數(shù)C的例子的圖。在圖3A到3D中，水平軸代表輸入信號，而 垂直軸代表各個(gè)函數(shù)C的輸出信號。在函數(shù)C的每個(gè)變化中，可以看出，輸
20入信號絕對值大的部分在函數(shù)C的輸出信號中被抑制，并且因此函數(shù)C具有
削弱高振幅分量的效果。因此，能夠選擇圖3A到3D中示出的函數(shù)C的任何 變化來用作公式2和5中的函數(shù)C。
圖4是圖示根據(jù)本發(fā)明第一實(shí)施例由發(fā)光強(qiáng)度信息分理處理器110使用 的混合比率as和oiM的例子的圖。在圖4中，水平軸代表邊緣強(qiáng)度，而垂直軸 代表混合比率。實(shí)線圖示了混合比率(Xs的特性，而虛線圖示了混合比率aM 的特性。從該圖中可以看出，對于高的邊緣強(qiáng)度，混合比率as和otM都呈現(xiàn)出
高的數(shù)值。對于中間邊緣強(qiáng)度，只有混合比率(XM呈現(xiàn)出高的數(shù)值。對于低的
邊緣強(qiáng)度，混合比率as和(XM都呈現(xiàn)出低的數(shù)值。
圖5是圖示根據(jù)本發(fā)明第一實(shí)施例由頻帶分理處理器210使用的水平頻 帶分離濾波器的例子的圖。在圖5中，水平軸代表水平頻率，而垂直軸代表 振幅。在此，可以看出，hlpf被用作低頻帶濾波器，hhpf被用作高頻帶濾波 器，并且(l- (hlpf+hhpf))被用作中間頻帶濾波器。盡管圖5只圖示了水 平濾波器，但是應(yīng)當(dāng)認(rèn)識到，垂直濾波器vlpf和vhpf呈現(xiàn)了圖5中所示的同 樣特性，但是其中水平軸代表垂直頻率。
圖6是說明根據(jù)本發(fā)明第一實(shí)施例由法向矢量計(jì)算單元310計(jì)算的法向 矢量的圖。在圖6中，水平軸代表沿著x方向的位置，而垂直軸代表發(fā)光強(qiáng) 度。因此，圖6中示出的特征曲線圖示了發(fā)光強(qiáng)度信息沿著X方向的移動(dòng)。 給定假設(shè)，在自然界中，光亮對應(yīng)于附近物體，并且暗度(darkness)對應(yīng)于 遠(yuǎn)離的物體，則可以將法向矢量定義為發(fā)光強(qiáng)度信息的派生物。因此，圖6 中示出的箭頭定義了法向矢量的x分量。通過類似地從y方向發(fā)光強(qiáng)度信息 的派生物來定義法向矢量的y分量，可以計(jì)算出法向矢量。
圖7是說明根據(jù)本發(fā)明第一實(shí)施例由光矢量計(jì)算單元320所計(jì)算的光矢 量的圖。在圖7中，光矢量是指示在由x, y和z軸表示的三維空間中的光源 方向的單位矢量。使用指示在xy平面中的光源方向的方位角e以及指示在 yz平面中的光源方向的仰角cp來表示光矢量本身(參見公式23)。
圖8是圖示根據(jù)本發(fā)明的第一實(shí)施例在圖像處理裝置800中的光矢量運(yùn) 算單元321的示例性配置的圖。
光矢量運(yùn)算單元321被提供有發(fā)光強(qiáng)度梯度分析器340、角計(jì)算單元341 、 角度轉(zhuǎn)換器342、 LPF343、余弦運(yùn)算符344和348、正弦運(yùn)算符345和349、 以及乘法器346和347。
21發(fā)光強(qiáng)度梯度分析器340首先從作為輸入而從信號線611接收的每頻帶 發(fā)光強(qiáng)度信息flj解決發(fā)光強(qiáng)度梯度的方向。這樣做以便確定光源的方向?？?以使用計(jì)算對于焦點(diǎn)像素的附近區(qū)域的發(fā)光強(qiáng)度梯度方向的最大值(即最大 角度)的方法來解決發(fā)光強(qiáng)度梯度的方向。下文中將參照圖9來描述用于計(jì) 算對于發(fā)光強(qiáng)度梯度方向的最大值的方法。發(fā)光強(qiáng)度梯度分析器340計(jì)算每 頻帶的邊緣梯度方向Vlj，用作對于發(fā)光強(qiáng)度梯度方向的每頻帶最大值，并且 然后將其x分量vixj和y分量vlyj供應(yīng)給角計(jì)算單元341 。
角計(jì)算單元341使用下面示出的公式43和44從每頻帶邊緣梯度方向vlj 的x分量vlxj和y分量vlyj來計(jì)算每頻帶最大發(fā)光強(qiáng)度梯度方向angle"在 此，atan()是計(jì)算輸入值的反正切的函數(shù)，而sgn()是返回輸入值的符號的函 數(shù)。另外，atan2()也是計(jì)算輸入值的反正切的函數(shù)，它與atan()的區(qū)別在于 atan2()的域是從(-tu)到(兀)，而atan()的域是從(-兀/2 )到(兀/2 )。角度 計(jì)算單元341隨后向角度轉(zhuǎn)換器342供應(yīng)所計(jì)算的每頻帶最大發(fā)光強(qiáng)度梯度 方向angle"
<formula>formula see original document page 22</formula>
<formula>formula see original document page 22</formula>
角度轉(zhuǎn)換器342進(jìn)行圖IO中示出的角轉(zhuǎn)換(下文中將描述)由此乂人自角 計(jì)算單元341供應(yīng)的每頻帶最大發(fā)光強(qiáng)度梯度方向angkj計(jì)算每頻帶方位角 9j。角度轉(zhuǎn)換器342基于將得到的角度限制為指示來自上面的光源的角度的約 束，從每頻帶最大發(fā)光強(qiáng)度梯度方向anlej計(jì)算每頻帶方位角0j。這樣做是考 慮到在自然界中光源是從上部照明的，并且從下方照明的光源看起來很不自 然。還應(yīng)用該約束為了維持得到的值的連續(xù)性。角度轉(zhuǎn)換器342隨后向LPF343 供應(yīng)所計(jì)算的每頻帶方位角9j。
LPF343獲取作為輸入而從角度轉(zhuǎn)換器342接收的每頻帶方位角％并且 向其應(yīng)用二維LPF, /人而計(jì)算最終的方位角6j。 LPF343在光源的方向逐漸變 化的假設(shè)下操作，并且進(jìn)一步操作以便根據(jù)發(fā)光強(qiáng)度梯度的變化而增加強(qiáng)健 性。LPF343隨后向余弦運(yùn)算符344和正弦運(yùn)算符345供應(yīng)所計(jì)算的最終方位 角0j。
余弦運(yùn)算符344和348、正弦運(yùn)算符345和349、以及乘法器346和347使用上面示出的公式24從由LPF343供應(yīng)的最終的方位角0j和經(jīng)由信號線 605作為輸入而接收的仰角q)j來計(jì)算每頻帶光矢量lj。然后，將所計(jì)算的每頻 帶光矢量lj的x分量lxj和y分量l力和z分量lzj分別經(jīng)由信號線606、 607和 608供應(yīng)給歸一化內(nèi)積運(yùn)算單元331。
圖9是說明根據(jù)本發(fā)明第一實(shí)施例由發(fā)光強(qiáng)度梯度分析器340計(jì)算的邊 緣梯度方向vl和邊纟彖方向v2的圖。
對于輸入圖像中的每個(gè)像素，發(fā)光強(qiáng)度梯度分析器340檢測邊緣梯度方 向vl (在該方向上像素值的梯度被最大化)以及垂直于邊緣梯度方向vl的 邊緣方向v2。例如，可以按光柵順序連續(xù)選擇每個(gè)像素作為焦點(diǎn)象素，并且 然后使用中心位于當(dāng)前焦點(diǎn)像素的區(qū)域W中的像素值進(jìn)行運(yùn)算處理。這樣做， 對于每個(gè)像素產(chǎn)生如公式45中所示的發(fā)光強(qiáng)度梯度矩陣G。在圖9所示的例 子中，區(qū)域W被設(shè)置為在x和y方向上的士3個(gè)像素，并且中心處于焦點(diǎn)像 素。
此外，W(i'j)代表公式46中示出的高斯權(quán)重值，而g代表通過采取在x 方向的圖像的發(fā)光強(qiáng)度I的部分派生物gx以及在y方向的圖像的發(fā)光強(qiáng)度I 的部分派生物gy而獲得的發(fā)光強(qiáng)度梯度，如公式47中所示。
<formula>formula see original document page 23</formula>
作為上面的結(jié)果，發(fā)光強(qiáng)度梯度分析器340對于中心位于焦點(diǎn)像素的給 定區(qū)域W檢測發(fā)光強(qiáng)度梯度，基于焦點(diǎn)像素計(jì)算得到的梯度的權(quán)重。
通過處理發(fā)光強(qiáng)度梯度的上述矩陣G，發(fā)光強(qiáng)度梯度分析器340對于各 個(gè)焦點(diǎn)像素來檢測邊緣梯度方向vl (在該處像素變化率被最大化)以及垂直 于邊緣梯度方向vl的邊緣方向v2,如圖9所示。另外，發(fā)光強(qiáng)度梯度分析 器340檢測關(guān)于邊緣梯度方向vl和邊緣方向v2的特征值XI和X2。特征值人l 和指示各個(gè)像素值的梯度的分散程度。更具體地，發(fā)光強(qiáng)度梯度分析器340進(jìn)行公式48到52中示出的運(yùn)算處 理，從而檢測邊緣梯度方向vl、邊緣方向v2、以及特征值入l和X2( J2人2)。
<formula>formula see original document page 24</formula>
在這點(diǎn)上，發(fā)光強(qiáng)度梯度分析器340計(jì)算每頻帶邊緣梯度方向vlj，并且 然后向角計(jì)算單元341供應(yīng)vlj作為最大發(fā)光強(qiáng)度梯度方向(anglej)的每頻帶值。
圖10是說明根據(jù)本發(fā)明第 一實(shí)施例由角度轉(zhuǎn)換器342進(jìn)行的角度轉(zhuǎn)換的
在圖10中，水平軸代表指示最大發(fā)光強(qiáng)度梯度方向的角度(在此是輸入 信號)，而垂直軸代表方位角6j (在此是輸出信號)。從圖IO中可以看出，方 位角ej的特征曲線關(guān)于最大發(fā)光強(qiáng)度梯度方向的變化而連續(xù)變化，并且方位 角0j位于上象限(即從O到兀)。
圖11是說明根據(jù)本發(fā)明第一實(shí)施例由歸一化內(nèi)積運(yùn)算單元331進(jìn)行的計(jì) 算的圖。歸一化內(nèi)積運(yùn)算單元331被提供有歸一化內(nèi)積單元334、除法器335 和加法器336。
歸 一化內(nèi)積單元334計(jì)算經(jīng)由信號線602到604 乂人法向矢量計(jì)算單元310 供應(yīng)的每頻帶法向矢量nj和經(jīng)由信號線606到608從光矢量運(yùn)算單元321供 應(yīng)的每頻帶光矢量lj之間的歸一化內(nèi)積。然后，歸一化內(nèi)積單元334向除法 器335供應(yīng)以上結(jié)果。
除法器335將從歸一化內(nèi)積單元334供應(yīng)的歸一化內(nèi)積結(jié)果除lzj,并且 然后向加法器336供應(yīng)結(jié)果。加法器336將數(shù)量(-1)加到從除法器335供應(yīng)的商，并且然后經(jīng)由信 號線614向乘法器332供應(yīng)結(jié)果。上述計(jì)算對應(yīng)于前述^^式27。
圖12A和12B是說明根據(jù)本發(fā)明第一實(shí)施例由邊緣強(qiáng)度計(jì)算單元410使 用的對比強(qiáng)度ac和邊緣強(qiáng)度oiE的圖。圖12A圖示了對比強(qiáng)度ac,而圖12B
圖示了邊緣強(qiáng)度(XE。
在圖12A中，水平軸表示特征值Xl,而垂直軸表示對比強(qiáng)度ac。對比強(qiáng) 度ac具有值0.0，直到特征值XI達(dá)到值入l一min。當(dāng)特征值XI的值在XI—min 和人1—max之間時(shí)，對比強(qiáng)度ac的值從O.O線性增加到1.0。當(dāng)特征值X1超 過入1—max時(shí)，對比強(qiáng)度ac具有值1.0。換言之，對比強(qiáng)度ac隨著對比度(即 特征值？d的值)的增加而增加。
在圖12B中，水平軸表示特征值比率入2從1，而垂直軸表示邊緣強(qiáng)度otE。 邊緣強(qiáng)度aE具有值1.0，直到特征值比率X2/ai達(dá)到值X2/入1—min。當(dāng)特征值 比率X2/ d的值在min和X2/ i1—max之間時(shí)，邊緣強(qiáng)度(Xe的但從1.0 線性降低到O.O。當(dāng)特征值比率X2/ d超過X2/ a—max時(shí)，邊緣強(qiáng)度oiE具有值 0.0。換言之，邊強(qiáng)度(XE隨著邊緣銳度的增加(即隨著特征值比率X2/ J的值 的降低)而增加。
圖13A和13B是說明根據(jù)本發(fā)明第一實(shí)施例由梯度可靠性計(jì)算單元420 使用的梯度可靠性aR的圖。圖13A圖示了從對于XY平面的梯度值Gradient 來計(jì)算梯度可靠性ctR的情況，而圖13B圖示了從特征值X1來計(jì)算梯度可靠
性(Xr的情況。
在圖13A中，水平軸表示變化率值Gradient,而垂直軸表示梯度可靠性 aR。梯度可靠性aR具有值O.O，直到梯度值Gradient達(dá)到值g—min。當(dāng)梯度值 Gradient在g—min和g—max之間時(shí)，梯度可靠性aR的值從0.0線性增加到1.0。 當(dāng)梯度值Gradient超過g—max時(shí)，梯度可靠性oiR的值為1.0。換言之，梯度 可靠性oiR隨著對比度(即Gradient的值)的增加而增加。
在圖13B中，水平軸代表Xl,而垂直軸代表梯度可靠性(XR。梯度可靠性 oiR具有值O.O,直到特征值XI達(dá)到數(shù)值入1—minR。當(dāng)特征值的值在XI—minR 和Xl一maxR之間時(shí)，梯度可靠性oiR的值從O.O線性增加到1.0。當(dāng)特征值Xl 超過人1—maxR時(shí)，梯度可靠性(XR具有值1.0。換言之，梯度可靠性(XR隨著對 比度(即特征值X1的值)的增加而增加。
圖14是說明根據(jù)本發(fā)明第一實(shí)施例由圖像合成器500進(jìn)行的修剪G(f)
25的上邊界的處理的圖。在圖14中，水平軸表示任意的函數(shù)G(f)，而垂直軸表 示在進(jìn)行修剪處理后的最終函數(shù)G(f)。在此情況下，修剪處理是當(dāng)原始函數(shù) G(f)的值超過G—max時(shí)，從最終函數(shù)G(f)輸出固定值G—max。
圖15是說明根據(jù)本發(fā)明第一實(shí)施例由圖像合成器500進(jìn)行的修剪陰影圖 像信息Diff的下邊界的處理的圖。在圖15中，水平軸代表陰影圖像信息Diff, 而垂直軸代表在進(jìn)行修剪處理后的最終陰影圖像信息。在此情況下，修剪處 理是當(dāng)原始陰影圖像信息Diff的值小于Diff—min時(shí)，從最終陰影圖像信息 Diff輸出固定值Diff_min。
以此方式，根據(jù)本發(fā)明的第一實(shí)施例，在考慮到輸入圖像的發(fā)光強(qiáng)度信 息的同時(shí)處理輸入圖像，以產(chǎn)生輸出圖像，其中已經(jīng)相對輸入圖像增強(qiáng)了明 顯的目標(biāo)表面粗糙度，由此再現(xiàn)與通過相關(guān)領(lǐng)域的增強(qiáng)處理而獲得的紋理不 同的紋理。
此外，通過考慮圖像的全局發(fā)光強(qiáng)度信息，獲得自然圖像，而不會(huì)負(fù)面 影響圖像的觀看。
另外，通過提供頻帶分離器200以頻帶-分離局部發(fā)光強(qiáng)度信息fL,并且 隨后使用每頻帶發(fā)光強(qiáng)度信息fq來進(jìn)行處理，能夠自由地控制對輸出圖像應(yīng) 用粗糙度。
另夕卜，通過提供控制信號產(chǎn)生器400并使用陰影附加控制信號進(jìn)行處理， 實(shí)現(xiàn)進(jìn)一步的細(xì)密紋理控制。
現(xiàn)在將詳細(xì)描述本發(fā)明的第二實(shí)施例。
根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置被提供有光矢量運(yùn)算單元322, 代替圖2中示出的根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置中提供的光矢量運(yùn) 算單元321。配置的其他特征與本發(fā)明的第一實(shí)施例的特征相同，因此為了 簡明省略了其進(jìn)一步的描述。
圖16是圖示根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置中的光矢量運(yùn)算 單元322的示例性配制的圖。
光矢量運(yùn)算單元322被提供有發(fā)光強(qiáng)度梯度分析器350、梯度轉(zhuǎn)換器351 和352、 LPF353、歸一化器354、乘法器355和356、余弦運(yùn)算符357和正弦 運(yùn)算符358。
發(fā)光強(qiáng)度梯度分析器350與根據(jù)本發(fā)明第一實(shí)施例的發(fā)光強(qiáng)度梯度分析 器340相同，并且因此為了簡明省略了其進(jìn)一步的描述。
26梯度轉(zhuǎn)換器351和352進(jìn)行圖17和公式53中示出的矢量轉(zhuǎn)換(下文中 將描述)。這樣做，獲得了與從根據(jù)本發(fā)明第 一 實(shí)施例的角度轉(zhuǎn)換器342進(jìn)行 的角度轉(zhuǎn)換而得到的優(yōu)勢類似的優(yōu)勢。
梯度轉(zhuǎn)換器351使用公式53中示出的矢量轉(zhuǎn)換技術(shù)來從由發(fā)光強(qiáng)度梯度 分析器350供應(yīng)的每頻帶邊緣梯度方向vlj的x分量vlXj來計(jì)算每頻帶邊緣梯 度方向vl，的x分量vl，xj 。然后，梯度轉(zhuǎn)換器351向LPF353供應(yīng)所計(jì)算的 每頻帶x分量vl、。
梯度轉(zhuǎn)換器352使用公式53中示出的矢量轉(zhuǎn)換技術(shù)來從由發(fā)光強(qiáng)度梯度 分析器350供應(yīng)的每頻帶邊緣梯度方向vlj的y分量vlyj來計(jì)算每頻帶邊緣梯 度方向vl，的y分量vl，yj 。然后，梯度轉(zhuǎn)換器352向LPF353供應(yīng)所計(jì)算的 每頻帶y分量vl，yj 。
LPF353采取從梯度轉(zhuǎn)換器351供應(yīng)的每頻帶x分量vl、和從梯度轉(zhuǎn)換 器352供應(yīng)的每頻帶y分量vl，yj，并且將其應(yīng)用于二維LPF。 LPF353在光源 的方向逐漸變化的假設(shè)之下操作，并且進(jìn)一步操作以便增加關(guān)于發(fā)光強(qiáng)度梯 度的變化的強(qiáng)健性。LPF353隨后將上述結(jié)果供應(yīng)給歸一化器354。
歸一化器354將由LPF353處理的每頻帶x分量vl，xj和每頻帶y分量vl，yj 歸一化。然后，歸一化器354向乘法器355供應(yīng)歸一化的每頻帶x分量vl，xj, 并向乘法器356 —?dú)w一化的每頻帶y分量vl，yj。
乘法器355分別將歸一化的每頻帶x分量vl，xj乘以仰角cpj的余弦(已經(jīng) 由余弦運(yùn)算符357計(jì)算并且作為經(jīng)由信號線605的輸入而被接收)，從而計(jì)算 每頻帶光矢量lj的x分量lxj。然后，乘法器355經(jīng)由信號線606向歸一化內(nèi) 積運(yùn)算單元331供應(yīng)所計(jì)算的每頻帶光矢量lj的x分量lXj。
乘法器356分別將歸一化的每頻帶y分量vl，yj乘以仰角cpj的余弦(已經(jīng) 由余弦運(yùn)算符357計(jì)算并且作為經(jīng)由信號線605的輸入而被接收)，從而計(jì)算 每頻帶光矢量lj的y分量lyj。然后，乘法器356經(jīng)由信號線607向歸一化內(nèi) 積運(yùn)算單元331供應(yīng)所計(jì)算的每頻帶光矢量lj的y分量lyj。
正弦運(yùn)算符358計(jì)算作為經(jīng)由信號線605的輸入而接收的仰角cpj的各個(gè) 正弦，并且然后經(jīng)由信號線608向歸一化內(nèi)積運(yùn)算單元331供應(yīng)所計(jì)算的結(jié) 果。
圖17A和17B是說明根據(jù)本發(fā)明的第二實(shí)施例由梯度轉(zhuǎn)換器351和352 進(jìn)行的矢量轉(zhuǎn)換的圖。圖17A圖示了根據(jù)圖10中示出的本發(fā)明的第一實(shí)施
27例將cos(e)應(yīng)用于角轉(zhuǎn)換的情況，而圖17B示出了將sin(e)應(yīng)用于矢量轉(zhuǎn)換的情況。
在圖17A和17B中，水平軸表示最大發(fā)光強(qiáng)度梯度方向e，而垂直軸分
別表示cos(e)和sin(e)的運(yùn)算結(jié)果。
圖17中所指示的矢量計(jì)算對應(yīng)于公式53中示出的轉(zhuǎn)換技術(shù)。在此，mx
和my是二維單位矢量，而m，x和m，y是轉(zhuǎn)換后的二維單位矢量。
(-mx，-my) (-l《mx《1/V^",niy《0)
(-3mx+4mx3，-3my+4my3) (l/W<mx《l,my S0) (mx，my) (-l/V^mx《l，my》0)
、3mx -4mx3，3my—4my3) (—1 < mx《—l/V^，my》0) (53)
以此方式，根據(jù)本發(fā)明的第二實(shí)施例，可以獲得與本發(fā)明的第一實(shí)施例 類似的優(yōu)勢。此外，通過矢量轉(zhuǎn)換代替角度轉(zhuǎn)換來進(jìn)行圖像處理。 下面將詳細(xì)地并參照附圖描述本發(fā)明的第三實(shí)施例。
圖18是圖示根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置820的示例性配制的圖。
圖像處理裝置820被提供有光矢量運(yùn)算單元323。光矢量運(yùn)算單元323 接收作為來自法向矢量計(jì)算單元310的輸入的每頻帶法向矢量(nxj,nyj),然 后從其計(jì)算每頻帶光矢量(lxj,lyj,lzj )。該配置的其他特征與本發(fā)明的第一實(shí)施 例相同，并且因此，為了簡潔省略了其進(jìn)一步描述。
圖19是圖示根據(jù)本發(fā)明的第三實(shí)施例的在圖像處理裝置820中的光矢量 運(yùn)算單元323的示例性配置的圖。
光矢量運(yùn)算單元323被提供有角度計(jì)算單元360。該配置的其它特征與 本發(fā)明第一實(shí)施例相同，并且因此，為了簡潔，省略了其進(jìn)一步的描述。
角度計(jì)算單元360使用上面示出的公式43和44,根據(jù)自法向矢量計(jì)算 單元310供應(yīng)的每頻帶法向矢量(nxj ， nyj)來計(jì)算對于最大發(fā)光強(qiáng)度梯度方 向的每頻帶值anglej。角度計(jì)算單元360隨后向角度轉(zhuǎn)換器342供應(yīng)所計(jì)算的 對于最大發(fā)光強(qiáng)度梯度方向的每頻帶值anglej。
以此方式，根據(jù)本發(fā)明的第三實(shí)施例，獲得與本發(fā)明第一實(shí)施例類似的 優(yōu)點(diǎn)。此外，由于使用每頻帶法向矢量nj代替了每頻帶邊緣梯度方向vlj來計(jì) 算光矢量，因此降低了上面包含的可計(jì)算工作量。
現(xiàn)在將詳細(xì)描述本發(fā)明的第四實(shí)施例。根據(jù)本發(fā)明的第四實(shí)施例的圖像處理裝置被提供有光矢量運(yùn)算單元324， 代替在圖18中示出的根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置中提供的光矢 量運(yùn)算單元323。該配置的其它特征與本發(fā)明第三實(shí)施例相同，并且因此， 為了簡潔，省略了其進(jìn)一步的描述。
圖20是圖示根據(jù)本發(fā)明的第四實(shí)施例的圖像處理裝置中的光矢量運(yùn)算 單元324的示例性配置的圖。
光矢量運(yùn)算單元324被提供有歸一化器370。該配置的其它特征與本發(fā) 明第二實(shí)施例相同，并且因此，為了簡潔，省略了其進(jìn)一步的描述。
在二維中，歸一化器370對從法向矢量計(jì)算單元310供應(yīng)的每頻帶法向 矢量( ，nyj)歸一化。然后，歸一化器370向梯度轉(zhuǎn)換器351供應(yīng)歸一化 的法向矢量nxj ,并且將歸一化的法向矢量nyj供應(yīng)給梯度轉(zhuǎn)換器352。
以此方式，根據(jù)本發(fā)明的第四實(shí)施例，獲得了與本發(fā)明第三實(shí)施例類似 的優(yōu)點(diǎn)。
現(xiàn)在將詳細(xì)地并參照附圖描述本發(fā)明的第五實(shí)施例。
圖21是圖示才艮據(jù)本發(fā)明第五實(shí)施例的圖像處理裝置840的示例性配置的圖。
圖像處理裝置840被提供有光矢量計(jì)算單元380。配置的其它特征與本 發(fā)明第三實(shí)施例相同，并且因此，為了簡潔，省略了其進(jìn)一步的描述。
光矢量計(jì)算單元380被提供有LPF381、乘法器382和光源方向估計(jì)器
383。
LPF381將9x9抽頭LPF應(yīng)用于從法向矢量計(jì)算單元310供應(yīng)的低頻法 向矢量nxQ和ny()。在此，進(jìn)行低頻法向矢量的使用以及LPF的應(yīng)用以便避免 噪聲的影響。LPF381隨后向乘法器382供應(yīng)LPF處理后的低頻法向矢量。
乘法器382將從LPF381供應(yīng)的LPF處理后的低頻法向矢量乘以從控制 信號合成運(yùn)算單元431供應(yīng)的陰影附加控制信號a;,從而計(jì)算用于估計(jì)光源 方向(參見公式5"的法向矢量ne(將在下文中描述)。在此，LPF處理后的低
頻法向矢量與陰影附加控制信號(Xi相乘以便消除低對比度的平坦區(qū)域和來自
用于估計(jì)光源方向的法向矢量ne的邊緣。乘法器382隨后向光源方向估計(jì)器
383供應(yīng)所計(jì)算的法向矢量ne。
<formula>formula see original document page 29</formula> (54)
光源方向估計(jì)器383對于整個(gè)圖l象:沒置單一的光源方向。首先，光源方向估計(jì)器383預(yù)先創(chuàng)建用于估計(jì)光源方向的光矢量le。在此，如圖22中示出 的，創(chuàng)建兩組光矢量，分別具有(兀/4)和(3兀/4)的方位角0 (下文中將描 述)。
接下來，光源方向估計(jì)器383應(yīng)用公式25來計(jì)算法向矢量ne與光矢量 le之間的陰影對比度(參見公式55 )。
<formula>formula see original document page 30</formula>
(55)
隨后，光源方向估計(jì)器383對于每個(gè)像素檢測，對于(7c/4)或者(3兀/4)
的方位角e,陰影對比度是否達(dá)到更大的數(shù)值，并且然后遞增對應(yīng)于e的兩個(gè)
值的計(jì)數(shù)器cntL和cntR中的一個(gè)的像素計(jì)數(shù)。在這點(diǎn)上，準(zhǔn)備定義了中間 區(qū)域的偏移值，以便消除對其中所計(jì)算的對比值之間的差不重要(并且因此， 其中光源可以從任一角度入射)的像素區(qū)域的考慮。從而，只有當(dāng)所計(jì)算的 對比值超過偏移量時(shí)(參見公式56和57),才登記計(jì)數(shù)。
<formula>formula see original document page 30</formula>
接下來，光源方向估計(jì)器383使用公式58來計(jì)算cntL和cntR之間的比 率。在此，評估值ratioR指示當(dāng)整個(gè)圖像承受從(兀/4)角度入射的光矢量時(shí) 陰影對比度增加。
rartoi 畫畫
cnf丄+ c威 (58) 從評估值ratioR，光源方向估計(jì)器383使用將在下文中描述的圖23中示 出的確定方法來計(jì)算對于整個(gè)圖像的最終光矢量。光源方向估計(jì)器383隨后 向歸一化內(nèi)積運(yùn)算單元331供應(yīng)所計(jì)算的光矢量。
圖22A和22B是圖示根據(jù)本發(fā)明第五實(shí)施例由光源方向估計(jì)器383使用 的用于計(jì)算示例性光矢量候選的方法的圖。圖22A圖示了使用(7t/4)的方位 角e計(jì)算用于估計(jì)光源方向的光矢量le的情況。圖22B圖示了使用(3tt/4) 的方位角0計(jì)算用于估計(jì)光源方向的光矢量le的情況。光源方向估計(jì)器383 被提供有余弦運(yùn)算符384和388、正弦運(yùn)算符385和389、以及乘法器386和387。
在圖22A中，方位角(兀/4 )被供應(yīng)至余弦運(yùn)算符384和正弦運(yùn)算符385。 然后，乘法器386將(兀/4)的余弦(已經(jīng)通過余弦運(yùn)算符384而計(jì)算)乘以 仰角cp的余弦(已經(jīng)通過余弦運(yùn)算符388而計(jì)算)，從而計(jì)算對于(7t/4)的
方位角e的光矢量le的X分量LexR。乘法器387將(71/4)的正弦(已經(jīng)通過
正弦運(yùn)算符385而計(jì)算)乘以仰角cp的余弦(已經(jīng)通過余弦運(yùn)算符388而計(jì) 算)，從而計(jì)算對于(兀/4)的方位角e的光矢量le的y分量LeyR。正弦運(yùn)算 符389計(jì)算仰角cp的正弦，從而計(jì)算對于(71/4)的方位角0的光矢量le的z
分量LezR。
在圖22B中，方位角(3兀/4 )被供應(yīng)至余弦運(yùn)算符384和正弦運(yùn)算符385。 然后，乘法器386將(3tt/4)的余弦(已經(jīng)通過余弦運(yùn)算符384而計(jì)算)乘 以仰角cp的余弦(已經(jīng)通過余弦運(yùn)算符388而計(jì)算)，從而計(jì)算對于(3兀/4) 的方位角e的光矢量16的x分量LexL。乘法器387將(3tt/4 )的正弦(已經(jīng) 通過正弦運(yùn)算符385而計(jì)算)乘以仰角cp的余弦(已經(jīng)通過余弦運(yùn)算符388 而計(jì)算)，從而計(jì)算對于(3兀/4)的方位角0的光矢量le的y分量LeyL。正弦 運(yùn)算符389計(jì)算仰角cp的正弦，從而計(jì)算對于(3兀/4)的方位角9的光矢量
le的Z分量LezL。
應(yīng)當(dāng)認(rèn)識到，如果仰角(p是固定值，則用于估計(jì)光源方向的光矢量le也 變?yōu)楣潭ㄖ怠Ｔ诖饲闆r下，光源方向估計(jì)器383可以簡單地記錄上述最終結(jié) 果。
圖23是圖示根據(jù)本發(fā)明第五實(shí)施例由光源方向估計(jì)器383執(zhí)行的用于確 定光矢量的方法的圖。在圖23中，水平軸表示評估值ratioR，而垂直軸表示 最終光矢量。
在此，使用上述評估值ratioR的值來確定最終光矢量。更具體地，如果 評估值ratioR大于閾值ratio—max,則對于(tt/4)的方位角0而計(jì)算的光矢量 被用作最終光矢量。如果評估值ratioR小于閾值ratio—min,則對于(3兀/4) 的方位角e而計(jì)算的光矢量被用作最終光矢量。在所有其它情況下，使用來 自先前幀的結(jié)果。
以此方式，根據(jù)本發(fā)明的第五實(shí)施例，獲得了與本發(fā)明第一實(shí)施例類似 的優(yōu)點(diǎn)。此外，由于對于整個(gè)圖像使用了單一光源方向，因此降低了在計(jì)算 光源方向時(shí)所引入的計(jì)算工作量。
31現(xiàn)在將詳細(xì)描述本發(fā)明的第六實(shí)施例。
根據(jù)本發(fā)明第六實(shí)施例的圖像處理裝置被提供有與圖21中示出的根據(jù)
本發(fā)明的第五實(shí)施例的圖像處理裝置中所提供的光源方向估計(jì)器383不同的 另一光源方向估計(jì)器390。該配置的其它特征與本發(fā)明第五實(shí)施例相同，并 且因此，為了簡潔，省略了其進(jìn)一步的描述。
根據(jù)本發(fā)明第六實(shí)施例的光源方向估計(jì)器390估計(jì)光源的方向，使得光 源的方向?qū)τ诔叽缦鄬^大的所有區(qū)域都相同。與本發(fā)明的第五實(shí)施例類似， 光源方向估計(jì)器390首先創(chuàng)建兩組光矢量le用于估計(jì)光源方向，其中方位角 6被分別設(shè)置為(7t/4)和(3;r/4)，如圖22所示。
隨后，光源方向估計(jì)器390對于所有像素定義臨近聚焦塊(proximity focus block) MxN(例如尺寸為55像素x55像素)。光源方向估計(jì)器390隨后使用公
式59來計(jì)算對于方位角e的兩個(gè)值的聚焦塊中的平均陰影對比度。此處，Q
代表鄰近尺寸。
c。(0)=
^_ (59)
MxN
e val = Cr
、"
、4乂
"、 -。兀、
(6。) (61)
人4
隨后，光源方向估計(jì)器390計(jì)算估計(jì)值eval,該值是對于方位角e的兩 個(gè)值的聚焦塊中的所有像素的平均陰影對比度的兩個(gè)值之間的差(參見公式 60)。從該估計(jì)值eval，設(shè)置混合比率0^，如圖24中所示(下文中將描述)。 如公式61中示出的，所計(jì)算的混合比率aB被用于混合光矢量le (兀/4 )與光 矢量le(3兀/4)，從而對于每個(gè)像素計(jì)算光矢量1。光源方向估計(jì)器390向歸 一化內(nèi)積運(yùn)算單元331供應(yīng)所計(jì)算的光矢量l。
圖24是說明根據(jù)本發(fā)明第六實(shí)施例由圖像處理裝置中的光源方向估計(jì) 器3卯使用的混合比率oiB的圖。在圖24中，水平軸代表估計(jì)值eval,而垂 直軸代表混合比率aB?；旌媳嚷?xb被定義為使得隨著估計(jì)值eval的增加而 增加混合的結(jié)果中的光矢量le (tt/4)的比例，同時(shí)還隨著估計(jì)值eval的降低 而增加混合的結(jié)果中的光矢量le (3ti/4)的比例。
以此方式，根據(jù)本發(fā)明的第六實(shí)施例，獲得了與本發(fā)明第一實(shí)施例類似 的優(yōu)點(diǎn)。此外，控制圖像處理使得對于相對較大尺寸的所有區(qū)域使用同樣的
32光源方向。
在本發(fā)明的前述實(shí)施例中，提供了頻帶分離器200，并且使用每頻帶發(fā)
光強(qiáng)度信息fy來計(jì)算陰影分量。但是，應(yīng)當(dāng)認(rèn)識到，本發(fā)明的實(shí)施例也可以
被配置為不具有頻帶分離器200，其中使用局部發(fā)光強(qiáng)度信息fL來計(jì)算陰影 分量。
另外，在本發(fā)明的前述實(shí)施例中，提供了控制信號產(chǎn)生器400，并且使 用陰影附加控制信號來執(zhí)行處理。但是應(yīng)當(dāng)認(rèn)識到，本發(fā)明的實(shí)施例還可以 被配置為不具有控制信號產(chǎn)生器400。
進(jìn)一步，給出本發(fā)明的前述實(shí)施例作為實(shí)現(xiàn)本發(fā)明的例子，并且盡管前 述實(shí)施例的特征可以分別地展現(xiàn)出與所附權(quán)利要求的特征的對應(yīng)性，但是應(yīng) 當(dāng)理解，要求保護(hù)的發(fā)明不限于前述實(shí)施例中所描述的特征，并且不脫離本 發(fā)明的精神和范圍可以進(jìn)行各種修改。
更具體地，在所附權(quán)利要求中描述的發(fā)光強(qiáng)度信息分離部件對應(yīng)于例如 發(fā)光強(qiáng)度信息分離器100。同樣，陰影分量產(chǎn)生部件可能對應(yīng)于例如陰影分 量產(chǎn)生器300。同樣，圖^f象合成部件可以對應(yīng)于例如圖^象合成器500。
另外，在所附權(quán)利要求中描述的法向矢量計(jì)算部件可能對應(yīng)于例如法向 矢量計(jì)算單元310。同樣，光矢量計(jì)算部件也可以對應(yīng)于例如光矢量計(jì)算單 元320。同樣，歸一化內(nèi)積處理部件可以對應(yīng)于例如歸一化內(nèi)積處理器330。
另外，在所附權(quán)利要求中描述的頻帶分離部件可以對應(yīng)于例如頻帶分離 器200。
另外，在所附權(quán)利要求中描述的控制信號產(chǎn)生部件可以對應(yīng)于例如控制 信號產(chǎn)生器400。
另外，邊緣強(qiáng)度計(jì)算部件可以對應(yīng)于例如邊緣強(qiáng)度計(jì)算單元410。同樣，
梯度可靠性計(jì)算部件可以對應(yīng)于例如梯度可靠性計(jì)算單元420。
另外，在所附權(quán)利要求中描述的序列(通過該序列，輸入圖像的輸入圖 像信息被分離為全局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng)度信息)可以對應(yīng)于例如由 發(fā)光強(qiáng)度信息分離器100執(zhí)行的處理。同樣，基于局部發(fā)光強(qiáng)度信息而產(chǎn)生 圖像的陰影分量的序列可以對應(yīng)于例如由陰影分量產(chǎn)生器300執(zhí)行的處理。 同樣，通過向輸入圖像信息添加陰影圖像信息(已經(jīng)從陰影分量和基于輸入 圖像信息的值而產(chǎn)生)而產(chǎn)生的輸出圖像信息的序列可以對應(yīng)于例如由圖像 合成器500執(zhí)行的處理。
33此外，關(guān)于本發(fā)明的前述實(shí)施例描述的處理序列可以:帔實(shí)現(xiàn)具有一系列 等同于之前描述的序列的步驟的方法，或者可替換地，被實(shí)現(xiàn)為致使計(jì)算機(jī) 執(zhí)行等同于前面描述的序列的 一 系列步驟的程序或者存儲(chǔ)該程序的記錄介質(zhì)。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其它因素，可以出現(xiàn)各 種修改、組合、子組合和變更，只要它們在所附權(quán)利要求或其等同物的范圍 內(nèi)。
相關(guān)申請的交叉引用
本發(fā)明包含與在2007年10月17日向日本專利局提交的日本專利申請JP 2007-269712相關(guān)的主題，其全部內(nèi)容通過引用合并于此。
權(quán)利要求
1. 一種圖像處理裝置，包括發(fā)光強(qiáng)度信息分離部件，用于將來自輸入圖像的輸入圖像信息分離為全局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng)度信息；陰影分量產(chǎn)生部件，用于基于所述局部發(fā)光強(qiáng)度信息產(chǎn)生圖像的陰影分量；以及圖像合成部件，用于通過將陰影圖像信息添加到所述輸入圖像信息來產(chǎn)生輸出圖像信息，所述陰影圖像信息是從所述陰影分量和基于所述輸入圖像信息的值而產(chǎn)生的。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中該陰影分量產(chǎn)生部件包括 法向矢量計(jì)算部件，用于計(jì)算所述局部發(fā)光強(qiáng)度信息的發(fā)光強(qiáng)度梯度，作為關(guān)于所述輸入圖像中的目標(biāo)表面的法向矢量，光矢量計(jì)算部件，用于基于所述局部發(fā)光強(qiáng)度信息來計(jì)算指示光源的方 向的光矢量，以及歸一化內(nèi)積處理部件，用于基于所述法向矢量和所述光矢量之間的歸一 化內(nèi)積來計(jì)算陰影分量。
3. 根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括頻帶分離部件，用于通過對所述局部發(fā)光強(qiáng)度信息進(jìn)行頻帶分離而產(chǎn)生 多個(gè)局部每頻帶發(fā)光強(qiáng)度信息；其中所述陰影分量產(chǎn)生部件基于該每頻帶發(fā)光強(qiáng)度信息產(chǎn)生陰影分量。
4. 根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括 控制信號產(chǎn)生部件，用于基于所述輸入圖像信息產(chǎn)生用于控制所述陰影分量的強(qiáng)度的陰影附加控制信號；其中，在產(chǎn)生所述陰影圖像信息時(shí)，所述圖像合成部件另外使用所述陰 影附加控制信號。
5. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其中所述控制信號產(chǎn)生部件包括邊緣強(qiáng)度計(jì)算部件，用于基于所述輸入圖像信息產(chǎn)生用于在執(zhí)行抑制所 述陰影分量中的邊緣強(qiáng)度的控制中使用的邊緣強(qiáng)度值，以及梯度可靠性計(jì)算部件，用于基于所述輸入圖像信息計(jì)算用于在執(zhí)行抑制所述陰影分量中的低對比度部分的強(qiáng)度的控制中使用的梯度可靠性值。
6. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述光矢量計(jì)算部件基于 所述局部發(fā)光強(qiáng)度信息來計(jì)算在焦點(diǎn)像素附近的最大發(fā)光強(qiáng)度梯度的方向， 然后通過使最大發(fā)光強(qiáng)度梯度的方向經(jīng)歷角度轉(zhuǎn)換來計(jì)算關(guān)于所述焦點(diǎn)像素 的光矢量。
7. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述光矢量計(jì)算部件基于 所述局部發(fā)光強(qiáng)度信息來計(jì)算在焦點(diǎn)像素附近的最大發(fā)光強(qiáng)度梯度的方向， 然后通過使最大發(fā)光強(qiáng)度梯度的方向經(jīng)歷矢量轉(zhuǎn)換來計(jì)算關(guān)于焦點(diǎn)像素的光 矢量。
8. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述光矢量計(jì)算部件通過 使法向矢量的方位角經(jīng)歷角度轉(zhuǎn)換來計(jì)算關(guān)于焦點(diǎn)像素的光矢量。
9. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述光矢量計(jì)算部件通過 使法向矢量的方位角經(jīng)歷矢量轉(zhuǎn)換來計(jì)算關(guān)于焦點(diǎn)像素的光矢量。
10. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述光矢量計(jì)算部件基 于多個(gè)光矢量候選和所述法向矢量來計(jì)算關(guān)于輸入圖像中的每個(gè)像素的陰影 分量的對比度候選值，然后從多個(gè)光矢量候選值中選擇使得最大數(shù)量的像素 獲得最大對比度候選值的光矢量，然后，所選的光矢量被作為對于全部像素 的公共光矢量。
11. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述光矢量計(jì)算部件采 用多個(gè)光矢量候選，關(guān)于每個(gè)光矢量候選對于在焦點(diǎn)像素附近的指定區(qū)域中 的陰影分量計(jì)算平均對比度候選值，然后基于平均值的比率而組合多個(gè)光矢 量候選，以由此計(jì)算關(guān)于所述焦點(diǎn)像素的光矢量。
12. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其中所述圖像合成部件從陰 影分量、從基于所述全局發(fā)光強(qiáng)度信息的值和從所述陰影附加控制信號產(chǎn)生 所述陰影圖像信息。
13. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其中所述圖像合成部件使用 預(yù)定值來組合信息，使得在基于所述輸入圖像信息的值大于該預(yù)定值時(shí)進(jìn)行 組合。
14. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其中所述圖像合成部件使用 預(yù)定值來組合信息，使得在所述陰影圖像信息的值小于該預(yù)定值時(shí)進(jìn)行組合。
15. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述發(fā)光強(qiáng)度信息分離部件被配置使得將局部發(fā)光強(qiáng)度信息取作其中輸入信息和已經(jīng)通過了低通濾波器的輸入 信息的信號之間的差(即輸入圖像信息的高頻分量)已經(jīng)被抑制的信息，并 且全局發(fā)光強(qiáng)度信息被作為輸入圖像信息和局部發(fā)光強(qiáng)度信息之間的差。
16. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述發(fā)光強(qiáng)度信息分離 部件包括具有不同通頻帶的多個(gè)低通濾波器，并且被配置使得通過首先獲得其相應(yīng)的高頻分量(即從輸入圖傳_信息和已經(jīng)通過了多個(gè) 低通濾波器中的一個(gè)的輸入圖像信息的多個(gè)信號中的一個(gè)之間的相應(yīng)的差得 到的分量)已經(jīng)被抑制的多個(gè)低頻分量，然后混合多個(gè)低頻分量以形成局部 發(fā)光強(qiáng)度信息，來產(chǎn)生局部發(fā)光強(qiáng)度信息，并且全局發(fā)光強(qiáng)度信息被作為輸入圖像信息和局部發(fā)光強(qiáng)度信息之間的差。
17. —種圖像處理裝置，包括發(fā)光強(qiáng)度信息分離部件，用于將來自輸入圖像的輸入圖像信息分離為全 局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng)度信息；頻帶分離部件，用于通過對局部發(fā)光強(qiáng)度信息進(jìn)行頻帶分離而產(chǎn)生多個(gè) 局部每頻帶發(fā)光強(qiáng)度信息；陰影分量產(chǎn)生部件，用于基于多個(gè)局部每頻帶發(fā)光強(qiáng)度信息產(chǎn)生圖像的 陰影分量；控制信號產(chǎn)生部件，用于基于輸入圖像信息產(chǎn)生用于控制陰影分量要被 抑制的部分的陰影附加控制信號；以及圖像合成部件，用于通過將陰影圖像信息添加到輸入圖像信息來產(chǎn)生輸 出圖像信息，所述陰影圖像信息是從所述陰影分量、從基于所述輸入圖像信 息的值和從所述陰影附加控制信號產(chǎn)生的。
18. —種圖像處理方法，包括步驟將來自輸入圖像的輸入圖像信息分離為全局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng) 度信息；基于所述局部發(fā)光強(qiáng)度信息產(chǎn)生圖像的陰影分量；以及 通過將陰影圖像信息添加到輸入圖像信息來產(chǎn)生輸出圖像信息，所述陰 影圖像信息是從所述陰影分量和基于所述輸入圖像信息的值而產(chǎn)生的。
19. 一種程序，致使計(jì)算機(jī)執(zhí)行以下步驟將來自輸入圖像的輸入圖像信息分離為全局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng)度信息；基于所述局部發(fā)光強(qiáng)度信息產(chǎn)生圖像的陰影分量；以及 通過將陰影圖像信息添加到輸入圖像信息來產(chǎn)生輸出圖像信息，所述陰 影圖像信息是從所述陰影分量和基于所述輸入圖像信息的值而產(chǎn)生的。
20. —種圖像處理裝置，包括發(fā)光強(qiáng)度信息分離器，被配置用于將來自輸入圖像的輸入圖像信息分離 為全局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng)度信息；陰影分量產(chǎn)生器，被配置用于基于所述局部發(fā)光強(qiáng)度信息產(chǎn)生圖像的陰 影分量；以及圖像合成器，被配置用于通過將陰影圖像信息添加到所述輸入圖像信息 來產(chǎn)生輸出圖像信息，所述陰影圖像信息是從所述陰影分量和基于所述輸入 圖像信息的值而產(chǎn)生的。
21. —種圖像處理裝置，包括發(fā)光強(qiáng)度信息分離器，被配置用于將來自輸入圖像的輸入圖像信息分離 為全局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng)度信息；頻帶分離器，被配置用于通過對局部發(fā)光強(qiáng)度信息進(jìn)行頻帶分離而產(chǎn)生 多個(gè)局部每頻帶發(fā)光強(qiáng)度信息；陰影分量產(chǎn)生器，被配置用于基于多個(gè)局部每頻帶發(fā)光強(qiáng)度信息產(chǎn)生圖 像的陰影分量；控制信號產(chǎn)生器，被配置用于基于輸入圖像信息產(chǎn)生用于控制陰影分量 被抑制的部分的陰影附加控制信號；以及圖像合成器，被配置用于通過將陰影圖像信息添加到輸入圖像信息來產(chǎn) 生輸出圖像信息，所述陰影圖像信息是從陰影分量、從基于輸入圖像信息的 值和從陰影附加控制信號產(chǎn)生的。
全文摘要
一種圖像處理裝置處理輸入圖像，同時(shí)還考慮其發(fā)光強(qiáng)度信息，并且由此產(chǎn)生輸出圖像，其中明顯的目標(biāo)表面粗糙度已經(jīng)相對于輸入圖像被增強(qiáng)了。圖像處理裝置包括發(fā)光強(qiáng)度信息分離器，其將輸入圖像信息分離為全局發(fā)光強(qiáng)度信息和局部發(fā)光強(qiáng)度信息；陰影分量產(chǎn)生器，其基于所述局部發(fā)光強(qiáng)度信息產(chǎn)生圖像的陰影分量；以及圖像合成器，其通過將陰影圖像信息添加到所述輸入圖像信息來產(chǎn)生輸出圖像信息，所述陰影圖像信息是從所述陰影分量和基于所述輸入圖像信息的值而產(chǎn)生的。
文檔編號G06T5/20GK101470895SQ200810191150
公開日2009年7月1日 申請日期2008年10月17日 優(yōu)先權(quán)日2007年10月17日
發(fā)明者中村雄介, 五味信一郎, 緒形昌美 申請人:索尼株式會(huì)社