專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從攝像圖像中檢測四邊形區(qū)域的圖像處理裝置以及圖像處理方法。
背景技術(shù)：
現(xiàn)有技術(shù)中，具備對紙件或名片等文件、白板上所書寫的文字或圖形、液晶顯示裝置中所顯示的顯示畫面等進行攝像并保存為圖像數(shù)據(jù)的功能的攝像裝置是公知的(例如，參照作為日本公開專利公報的特開2005-267457號公報)。具體而言，攝像裝置在通過針對攝像圖像的圖像數(shù)據(jù)的四邊形檢測處理來檢測四邊形區(qū)域，并提取出該四邊形區(qū)域的圖像后，執(zhí)行用于進行梯形校正處理來變換成矩形圖像的處理。然而，在上述現(xiàn)有技術(shù)的情況下，通過四邊形檢測處理中的用于檢測攝像圖像內(nèi)的直線的直線檢測處理，還會檢測出攝像圖像中所含的、位于顯示畫面的外側(cè)的直線。其結(jié)果是，存在還將包括位于顯示畫面的外側(cè)的直線而構(gòu)成的四邊形區(qū)域確定為四邊形區(qū)域的圖像的提取的候選區(qū)域的問題。

發(fā)明內(nèi)容
本發(fā)明為了解決上述現(xiàn)有技術(shù)的課題而提出，其目的在于，提供一種能從攝像圖像中效率良好地檢測四邊形區(qū)域的圖像處理裝置以及圖像處理方法。在一種形態(tài)中，構(gòu)成為使圖像處理裝置具備取得單元，其取得由攝像單元攝像而得到的攝像圖像的圖像數(shù)據(jù)；檢測單元，其基于由該取得單元取得的攝像圖像的圖像數(shù)據(jù)，來對該攝像圖像內(nèi)明度以規(guī)定的時間周期而變化的明度變化區(qū)域進行檢測；第I確定單元，其對由所述取得單元取得的攝像圖像的圖像數(shù)據(jù)實施用于檢測直線的直線檢測處理，來確定與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域中所含的直線；和第2確定單元，其將所述攝像圖像內(nèi)包括由所述第I確定單元確定的直線而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域。另外，在另一形態(tài)中，作為圖像處理方法，提供一種包括如下處理的圖像處理方法，取得由攝像單元攝像的攝像圖像的圖像數(shù)據(jù)的處理；基于所取得的攝像圖像的圖像數(shù)據(jù)，來對該攝像圖像內(nèi)明度以規(guī)定的時間周期而變化的明度變化區(qū)域進行檢測的處理；對所取得的攝像圖像的圖像數(shù)據(jù)實施用于檢測直線的直線檢測處理，來確定與明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域中所含的直線的處理；和將所述攝像圖像內(nèi)包括所確定的直線而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域的處理。附圖
文字圖I是表示應(yīng)用了本發(fā)明的一實施方式的攝像裝置的概略構(gòu)成的框圖。圖2是表示由圖I的攝像裝置執(zhí)行的攝像處理所涉及的動作的一例的流程圖。圖3是表示圖2的攝像處理中的明度變化區(qū)域檢測處理所涉及的動作的一例的流程圖。圖4是表示圖2的攝像處理中的提取候選區(qū)域確定處理所涉及的動作的一例的流程圖。
4
圖5A、圖5B是不意地表不圖2的攝像處理所涉及的圖像的一例的圖。圖6A、圖6B是示意地表示圖2的攝像處理所涉及的圖像的一例的圖。
具體實施例方式以下，針對本發(fā)明，使用附圖來說明具體的形態(tài)。其中，發(fā)明的范圍不局限于圖示例。本實施方式的攝像裝置100基于由攝像部I攝像而得到的攝像圖像的圖像數(shù)據(jù)，來檢測該攝像圖像內(nèi)明度以規(guī)定周期而變化的明度變化區(qū)域A。然后，攝像裝置100對攝像圖像的圖像數(shù)據(jù)實施用于檢測直線L的直線檢測處理，確定與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的直線L，并將該攝像圖像內(nèi)包括所確定的直線L而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域C。圖I是表示應(yīng)用了本發(fā)明的一實施方式的攝像裝置100的概略構(gòu)成的框圖。如圖I所示，攝像裝置100具體而言，具備攝像部I、攝像控制部2、圖像生成部3、圖像處理部4、顯示部5、顯示控制部6、記錄介質(zhì)控制部7、操作輸入部8、存儲器部9、以及中央控制部10等。另外，攝像控制部2、圖像生成部3、圖像處理部4、顯示控制部6、記錄介質(zhì)控制部
7、存儲器部9、中央控制部10經(jīng)由總線11而連接。攝像部I構(gòu)成了用于對被攝體進行攝像的攝像單元。具體而言，攝像部I例如將顯示裝置200的顯示畫面201 (參照圖5A)作為被攝體進行攝像。在此，說明顯示裝置200。顯示裝置200能應(yīng)用以規(guī)定的時間周期來重寫顯示內(nèi)容并顯示于顯示畫面201的公知的裝置。具體而言，例如，盡管省略圖示，但顯示裝置200具有由CRT(陰極射線管)、液晶顯示面板、有機EL顯示面板等構(gòu)成的顯示畫面201。而且,顯示裝置200例如生成文字、數(shù)值或動作狀態(tài)等由人的視覺識別的各種信息的視頻信號，以與刷新速率(例如，每秒70Hz等)對應(yīng)的規(guī)定的幀速率來重寫各種信息所涉及的圖像并顯示于顯示畫面201。BP,顯示裝置200按照對應(yīng)于刷新速率來以每單位時間重寫規(guī)定次數(shù)(例如，每秒70次等)的方式從顯示畫面201輸出各種信息所涉及的圖像。如此，顯示裝置200構(gòu)成了以規(guī)定的重寫周期來輸出圖像的輸出裝置。此外，盡管例示了顯示裝置200的顯示畫面201作為被攝體，但這只是一例，只要是以規(guī)定的重寫周期從輸出裝置輸出的圖像，就不局限于此。即，例如可以將按照通過從投影裝置(圖示略)對顯示屏或壁面等進行投影來以規(guī)定的周期進行重寫的方式而顯示的投影圖像應(yīng)用為被攝體。另外，攝像部I具體而言，具備透鏡(lens)部la、電子攝像部Ib以及單元電路部Ic。透鏡部la，例如，盡管省略圖示，但具有變焦透鏡、對焦透鏡、光圈等，并使通過了這些透鏡的被攝體的光學(xué)像成像。電子攝像部Ib例如由CXD (電荷耦合器件)或CMOS (互補金屬氧化物半導(dǎo)體)等的圖像傳感器等構(gòu)成，按每個與攝像幀速率相應(yīng)的規(guī)定的攝像周期將通過了透鏡部Ia的各種透鏡的光學(xué)像變換成二維的圖像信號(RGB圖像數(shù)據(jù))，并輸出至單元電路部lc。
單元電路部Ic,例如,盡管省略圖示,但具備Q)S (Correlated Double Sampling 相關(guān)雙取樣電路)、AGC (Auto Gain Control :增益調(diào)整放大器)、ADC (Analog to DigitalConverter :模擬/數(shù)字轉(zhuǎn)換器)等。該單元電路部Ic在將從電子攝像部Ib輸出且與所輸入的被攝體的光學(xué)像相應(yīng)的模擬的圖像信號由CDS保持，并將該圖像信號由AGC放大后，將放大后的圖像信號通過ADC而變換成數(shù)字的圖像信號。然后，單元電路部Ic將數(shù)字的圖像信號發(fā)送至圖像生成部3。 攝像控制部2對構(gòu)成攝像部I的透鏡部la、電子攝像部Ib以及單元電路部Ic等的動作進行控制。S卩，攝像控制部2例如具備電動機等的驅(qū)動源、以及用于驅(qū)動該驅(qū)動源的驅(qū)動器等(均省略圖示)，使沿光軸方向驅(qū)動透鏡部Ia的變焦透鏡或?qū)雇哥R。另外，攝像控制部2例如具備用于進行透鏡部Ia的光圈的擴徑或縮徑的光圈驅(qū)動部(圖示略)，并對應(yīng)于曝光調(diào)整條件來進行光圈的擴徑或縮徑。另外，攝像控制部2例如具備攝像幀速率設(shè)定部2a、TG (定時信號發(fā)生器；圖示略)、用于驅(qū)動電子攝像部Ib的驅(qū)動器(圖示略)等，并依照攝像幀速率或各種攝像條件(例如，曝光時間等)，經(jīng)由TG以及驅(qū)動器來對電子攝像部Ib或單元電路部Ic的動作定時進行控制。攝像幀速率設(shè)定部2a將電子攝像部Ib或單元電路部Ic的驅(qū)動周期所涉及的攝像中貞速率設(shè)定為規(guī)定的值。具體而言，攝像幀速率設(shè)定部2a在攝像處理的明度變化區(qū)域檢測處理(后述)中，較之于與拍攝通常的運動圖像的通常拍攝對應(yīng)的攝像幀速率(例如，15fps等)，設(shè)定為與增多了每單位時間的幀圖像F(參照圖5A)的攝像次數(shù)的高速拍攝對應(yīng)的攝像幀速率(例如，120fps等)。此時，攝像幀速率設(shè)定部2a既可以從與通常拍攝對應(yīng)的攝像幀速率切換為與高速拍攝對應(yīng)的攝像幀速率來進行設(shè)定，也可以從與通常拍攝對應(yīng)的攝像幀速率起連續(xù)地，或者，分段地使攝像幀速率變化，來設(shè)定為與高速拍攝對應(yīng)的攝像幀速率。另外，在用戶預(yù)先知道作為被攝體的顯示裝置200等輸出裝置的刷新速率(例如，40Hz等)的情況下，攝像幀速率設(shè)定部2a可以基于由該用戶執(zhí)行的操作輸入部8的規(guī)定操作，來設(shè)定為與該刷新速率對應(yīng)的攝像幀速率(例如，40fps等)。然后，攝像控制部2基于由攝像巾貞速率設(shè)定部2a設(shè)定的攝像巾貞速率或各種攝像條件(例如，曝光時間等)，以規(guī)定的定時使電子攝像部Ib動作，并將通過了透鏡部Ia的被攝體的光學(xué)像變換成模擬的圖像信號。另外，攝像控制部2以規(guī)定的定時使單元電路部Ic動作，將從電子攝像部Ib輸出而被輸入的各幀圖像F相關(guān)的模擬的圖像信號變換成數(shù)字的圖
像信號。S卩，攝像控制部2對攝像部I的電子攝像部Ib以及單元電路部Ic進行控制，來使它們以與攝像幀速率相應(yīng)的規(guī)定的攝像周期對多個幀圖像F，…的圖像數(shù)據(jù)進行攝像。圖像生成部3根據(jù)從單元電路部Ic送來的數(shù)字的圖像信號來生成數(shù)字值的亮度信號Y以及色差信號Cb、Cr (YUV數(shù)據(jù))。具體而言，圖像生成部3在對按每個規(guī)定的周期從單元電路部Ic送來的各幀圖像F的數(shù)字的圖像數(shù)據(jù)，通過色彩處理電路(圖示略)分別進行包括像素插值處理以及Y校正處理在內(nèi)的色彩處理處理后，依次生成數(shù)字值的亮度信號Y以及色差信號Cb、Cr (YUV數(shù)據(jù))。然后，圖像生成部3將所生成的亮度色差信號的圖像數(shù)據(jù)輸出至圖像處理部4。圖像處理部4具備通過規(guī)定的編碼方式(例如，Motion-JPEG方式、JPEG方式等)來對由圖像生成部3生成的各幀圖像F的圖像數(shù)據(jù)(YUV數(shù)據(jù))進行壓縮/編碼的編碼部、以及通過與該編碼方式對應(yīng)的解碼方式來對從記錄介質(zhì)控制部7讀出的經(jīng)編碼的圖像數(shù)據(jù)進行解碼的解碼部等(均省略圖示)。另外，圖像處理部4具備圖像取得部4a、明度變化區(qū)域檢測部4b、直線確定部4c、候選區(qū)域確定部4d、直角四邊形圖像生成部4e。圖像取得部4a取得由攝像部I攝像而得到的攝像圖像的圖像數(shù)據(jù)。S卩，圖像取得部4a依次取得由攝像部I以規(guī)定的攝像周期攝像而得到的幀圖像F的圖像數(shù)據(jù)。具體而言，圖像取得部4a依次取得通過由攝像部I以規(guī)定的攝像周期對作為被攝體的顯示裝置200的顯示畫面201，也就是，在規(guī)定位置(例如，大致整面的區(qū)域)顯示有各種信息的顯示畫面201進行攝像，來由圖像生成部3依次生成且被輸出的多個幀圖像F，…的YUV數(shù)據(jù)。此外，盡管例示了由攝像部I以規(guī)定的攝像周期攝像而得到的攝像圖像的圖像數(shù)據(jù)來作為由圖像取得部4a取得的攝像圖像(幀圖像F)的圖像數(shù)據(jù)，但這只是一例，并不局限于此。即，若后述的明度變化區(qū)域檢測部4b能檢測攝像圖像內(nèi)明度以規(guī)定周期而變化的明度變化區(qū)域，則例如可以是由攝像部I以規(guī)定的定時攝像而得到的攝像圖像的圖像數(shù)據(jù)。進而，在此情況下，圖像取得部4a既可以按照使與由攝像部I的攝像圖像的攝像定時對應(yīng)的方式，取得以規(guī)定的定時斷斷續(xù)續(xù)地攝像而得到的規(guī)定數(shù)目的攝像圖像的圖像數(shù)據(jù)，也可以取得以規(guī)定的定時攝像而得到的一個攝像圖像的圖像數(shù)據(jù)。如此，圖像取得部4a構(gòu)成了取得由攝像部I攝像而得到的攝像圖像的圖像數(shù)據(jù)的取得單元。另外，圖像取得部4a基于由用戶執(zhí)行的操作輸入部8的快門按鈕8a的完全按下操作，來取得由攝像部I攝像而得到的攝像圖像(記錄用圖像G)的圖像數(shù)據(jù)。具體而言，圖像取得部4a基于由用戶執(zhí)行的快門按鈕8a的完全按下操作，通過用于由明度變化區(qū)域檢測部4b執(zhí)行的明度變化區(qū)域A(參照圖5B ;后述)的檢測中的與以規(guī)定的攝像周期攝像而得到的多個幀圖像F，…大致相等的構(gòu)圖，來取得規(guī)定數(shù)目(例如，一個)由攝像部I攝像且由圖像生成部3生成的記錄用圖像G的圖像數(shù)據(jù)(YUV數(shù)據(jù))。明度變化區(qū)域檢測部4b檢測幀圖像F內(nèi)明度以規(guī)定周期而變化的明度變化區(qū)域A0S卩，在顯示裝置200的顯示畫面201以規(guī)定的重寫周期所顯示的各種信息的圖像中，各像素的明度(亮度)周期性地變化。特別是在刷新速率相對低的顯示裝置200中，顯示圖像的各像素的明度的時間性的變化成為細微的忽隱忽現(xiàn)(閃爍)來呈現(xiàn)。明度變化區(qū)域檢測部4b在將以規(guī)定的重寫周期顯示于顯示裝置200的顯示畫面201中的圖像(參照圖5A)作為被攝體進行攝像的情況下，基于由圖像取得部4a依次取得的多個幀圖像F，…的圖像數(shù)據(jù)，來檢測幀圖像F內(nèi)明度以規(guī)定的時間周期而變化的明度變化區(qū)域A。具體而言，明度變化區(qū)域檢測部4b例如在以與高速運動圖像拍攝對應(yīng)的攝像幀速率(例如，120fps等)攝像而得到的多個幀圖像F，…中，將前后兩個幀圖像F、F的圖像數(shù)據(jù)作為一組，計算該各組的幀圖像F、F的圖像數(shù)據(jù)中所含的亮度分量(例如，亮度信號Y)的差分，并確定在后的幀圖像F相對于在前的幀圖像F的針對各像素的明度的變化量。然后，明度變化區(qū)域檢測部4b基于針對全部的幀圖像F而確定的各像素的明度的變化量，確定明度以時間周期性地變化的全部的像素，并將由該像素構(gòu)成的區(qū)域確定為明度變化區(qū)域A(參照圖5B)。此外，在圖5B中，示意地以虛線來表示了明度變化區(qū)域A的各像素的明度變化的狀態(tài)。另外，明度變化區(qū)域檢測部4b取得表示幀圖像F內(nèi)明度變化區(qū)域A的位置的信息(例如，構(gòu)成明度變化區(qū)域A的全部的像素的座標等)，并臨時地存儲于規(guī)定的存儲單元(例如，緩沖存儲器9a等)。此外，上述的明度變化區(qū)域A的檢測方法只是一例，并不局限于此，只要是公知的，就可以應(yīng)用任何一種檢測方法。另外，在基于電源頻率(例如，50Hz或60Hz)的光量變動的光源(例如，熒光燈)下進行攝像的情況下，明度變化區(qū)域檢測部4b可以通過排除與該電源頻率對應(yīng)的時間周期地確定各像素的明度的變化的時間周期，來檢測明度變化區(qū)域A。此外，若顯示裝置200的刷新速率與電源頻率一致，則構(gòu)成幀圖像F的全部的像素的明度變化，因此在此情況下，明度變化區(qū)域檢測部4b判斷為是光源的影響，另一方面，在幀圖像F中的一部分(例如，顯示裝置200的顯示畫面201等)的像素的明度變化的情況下，可以判斷為不是光源的影響。此外，作為由明度變化區(qū)域檢測部4b執(zhí)行的攝像圖像內(nèi)的明度變化區(qū)域A的檢測方法，盡管例示了基于由圖像取得部4a依次取得的多個攝像圖像的圖像數(shù)據(jù)而執(zhí)行的方法，但這只是一例，并不局限于此，例如，可以基于由圖像取得部4a取得的一個攝像圖像的圖像數(shù)據(jù)來進行。S卩，在電子攝像部Ib例如由CMOS圖像傳感器構(gòu)成的情況下，根據(jù)像素的位置而電荷信號的讀出定時，也就是，開始電荷的蓄積的定時不同。于是，明度變化區(qū)域檢測部4b基于由圖像取得部4a取得的一個幀圖像F的圖像數(shù)據(jù)，計算在CMOS圖像傳感器的攝像區(qū)域中的規(guī)定位置上與相鄰的像素彼此對應(yīng)的亮度分量(例如，亮度信號Y)的差分、或者與被設(shè)定為在規(guī)定方向(例如，垂直方向)上分割攝像區(qū)域而成的多個區(qū)域彼此對應(yīng)的亮度分量的差分等，并以該亮度分量的差分為基準來檢測幀圖像F內(nèi)明度變化區(qū)域A。另外，在電子攝像部Ib例如由CXD圖像傳感器構(gòu)成的情況下，攝像控制部2對按多個區(qū)域(例如，攝像區(qū)域中的多個像素在規(guī)定方向上排列而成的各行等)的每一個賦予時間差來從CCD圖像傳感器讀出一個幀圖像F所涉及的電荷，明度變化區(qū)域檢測部4b可以計算與該多個區(qū)域彼此對應(yīng)的圖像數(shù)據(jù)的亮度分量的差分，并以該亮度分量的差分為基準來在幀圖像F內(nèi)檢測明度變化區(qū)域A。如此，明度變化區(qū)域檢測部4b構(gòu)成了基于由圖像取得部4a取得的攝像圖像的圖像數(shù)據(jù)來檢測該攝像圖像內(nèi)明度以規(guī)定周期而變化的明度變化區(qū)域A的檢測單元。直線確定部4c確定記錄用圖像G內(nèi)的與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的直線L。另外，直線確定部4c具備排除部Cl，該排除部Cl從由圖像取得部4a取得的記錄用圖像G中所含的全部的直線L中，排除從明度變化區(qū)域A以外的區(qū)域檢測出的直線L2。
8CN 102915534 A
書
明
說
6/16 頁具體而言，直線確定部4c進行將處理對象區(qū)域作為記錄用圖像G的圖像區(qū)域整體來檢測該攝像圖像中所含的全部的直線L的直線檢測處理。例如，直線確定部4c取得由圖像取得部4a取得的記錄用圖像G的圖像數(shù)據(jù)中所含的亮度分量(例如，亮度信號Y)，對該亮度分量實施直線檢測處理(例如，霍夫變換處理等)，并檢測該記錄用圖像G內(nèi)的全部的直線L?！?br> 然后，直線確定部4c從存儲單元(例如，緩沖存儲器9a等)取得表示明度變化區(qū)域A的位置的信息，并在與用于由明度變化區(qū)域檢測部4b執(zhí)行的明度變化區(qū)域A的檢測的幀圖像F大致相等的構(gòu)圖的記錄用圖像G內(nèi)，確定與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的位置。其后，排除部Cl在記錄用圖像G中所含的全部的直線L中確定了從與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B以外的區(qū)域檢測出的直線L2后，從全部的直線L中排除從對應(yīng)區(qū)域B以外的區(qū)域檢測出的直線L2(圖6A中，以雙點劃線示意地表示)。由此，直線確定部4c確定顯示裝置200的顯示畫面201的記錄用圖像G內(nèi)的與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的候選直線LI (圖6A中，以單點劃線示意地表示)。此外，盡管例示了霍夫變換處理作為直線檢測處理，但這只是一例，并不局限于此，能適當(dāng)?shù)厝我庾兏鼮檫吘墮z測處理等。此外，霍夫變換處理和邊緣檢測處理是公知的技術(shù)，因此在此省略詳細的說明。如此，直線確定部4c構(gòu)成了對由圖像取得部4a取得的攝像圖像的圖像數(shù)據(jù)實施用于檢測直線L的直線檢測處理來確定與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的直線L的第I確定單元。候選區(qū)域確定部4d確定成為從記錄用圖像G提取的圖像的候選區(qū)域的提取候選區(qū)域C。即，候選區(qū)域確定部4d將記錄用圖像G內(nèi)包括由直線確定部4c確定的直線L (候選直線LI)而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域C。具體而言，候選區(qū)域確定部4d從識別顯示于顯示部5的多個四邊形區(qū)域中確定提取候選區(qū)域C。例如，候選區(qū)域確定部4d確定由直線確定部4c確定的全部候選直線LI中的、沿規(guī)定方向延伸的4條候選直線LI,…所形成的各四邊形區(qū)域(參照圖6A)。然后，候選區(qū)域確定部4d在所確定的全部的四邊形區(qū)域(例如，多個四邊形區(qū)域等)中，將基于由用戶執(zhí)行的操作輸入部8的選擇按鈕Sb或決定按鈕8c等的規(guī)定操作而指定的四邊形區(qū)域確定為提取候選區(qū)域C。在此，候選區(qū)域確定部4d構(gòu)成了將攝像圖像內(nèi)包括由直線確定部4c確定的直線L而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域C的第2確定單元。直角四邊形圖像生成部4e生成四邊形區(qū)域的圖像的直角四邊形圖像R(參照圖6B)。S卩，直角四邊形圖像生成部4e對由候選區(qū)域確定部4d確定為提取候選區(qū)域C的四邊形區(qū)域的圖像進行直角四邊形變換處理，來生成直角四邊形圖像R。具體而言，直角四邊形圖像生成部4e在從記錄用圖像G提取出提取候選區(qū)域C (四邊形區(qū)域)內(nèi)的圖像區(qū)域后，對該圖像區(qū)域的圖像數(shù)據(jù)進行直角四邊形變換處理(例如，梯形校正處理等)，來生成直角四邊形圖像R(例如，矩形圖像、正方形圖像等)。也就是，直角四邊形圖像生成部4e例如在提取候選區(qū)域C內(nèi)的圖像區(qū)域中進行按照使短邊側(cè)與長邊側(cè)一致的方式相對地擴大的處理或按照使長邊側(cè)與短邊側(cè)一致的方式相對地縮小的處理等，來生成直角四邊形圖像
9R0此外，圖6B示意地表示，通過對與圖6A所示的提取候選區(qū)域C(四邊形區(qū)域)對應(yīng)的圖像數(shù)據(jù)進行直角四邊形變換處理而生成的直角四邊形圖像R。在此，直角四邊形圖像生成部4e構(gòu)成了對由候選區(qū)域確定部4d確定為提取候選區(qū)域C的四邊形區(qū)域的圖像進行直角四邊形變換處理來生成直角四邊形圖像R的生成單
J Li ο顯示部5例如由液晶顯示面板或有機EL顯示面板等構(gòu)成。而且,顯示部5在顯示控制部6的控制下，在顯示畫面中顯示各種信息所涉及的圖像。顯示控制部6進行如下控制讀出臨時存儲于存儲器部9的緩沖存儲器9a中的顯示用的圖像數(shù)據(jù)，并使其顯示于顯示部5。具體而言，顯不控制部6 具備 VRAM (Video Random Access Memory) ,VRAM 控制器、數(shù)字視頻編碼器等。而且，數(shù)字視頻編碼器將從緩沖存儲器9a讀出而存儲于VRAM(圖示略)的多個幀圖像F，…的亮度信號Y以及色差信號Cb、Cr，經(jīng)由VRAM控制器而以規(guī)定的重放幀速率從VRAM讀出，并基于這些數(shù)據(jù)來生成視頻信號，并輸出至顯示部5。由此，顯示部5在攝像部I進行被攝體的攝像時，在將多個幀圖像F，…以規(guī)定的重放幀速率依次更新的同時，將實時取景圖像顯示于顯示畫面。另外，顯示控制部6將由攝像部I攝像而得到的記錄用圖像G的記錄瀏覽(recordview)用的圖像的視頻信號輸出至顯示部5，并使記錄瀏覽圖像顯示于顯示部5的顯示畫面。另外，顯示控制部6在由攝像部I攝像而得到的記錄用圖像G內(nèi)，使由候選區(qū)域確定部4d確定的多個四邊形區(qū)域以規(guī)定的順序識別顯示于顯示部5。S卩，顯示控制部6將記錄用圖像G內(nèi)多個四邊形區(qū)域以相對于與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的距離為基準且以規(guī)定的順序識別顯示于顯示部5。具體而言，顯示控制部6例如基于由用戶執(zhí)行的操作輸入部8的快門按鈕8a的完全按下操作，來將由攝像部I攝像且由圖像生成部3生成的記錄用圖像G的圖像數(shù)據(jù)作為記錄瀏覽用的圖像數(shù)據(jù)而取得。然后，顯示控制部6按照使與該記錄用圖像G的記錄瀏覽圖像重疊的方式，在多個四邊形區(qū)域中以與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的位置為基準而相對于該對應(yīng)區(qū)域B最近的位置上的一個四邊形區(qū)域的邊緣部以規(guī)定顏色對識別框進行OSD顯示。其后，若基于由用戶執(zhí)行的操作輸入部8的選擇按鈕Sb或決定按鈕Sc等規(guī)定操作而下一個四邊形區(qū)域的顯示被指示，則顯示控制部6按照使與記錄用圖像G的記錄瀏覽圖像重疊的方式，在多個四邊形區(qū)域中相對于與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B第二近的位置上的一個四邊形區(qū)域的邊緣部對識別框進行OSD顯示。此外，四邊形區(qū)域相對于對應(yīng)區(qū)域B的距離的判定例如可以以中心位置或四角的位置等為基準來進行。如此，顯示控制部6將攝像圖像內(nèi)由候選區(qū)域確定部4d確定的多個四邊形區(qū)域的每一個，從相對于與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B最近的位置上的四邊形區(qū)域起按順序識別顯示于顯示部6。此外，作為攝像圖像的記錄瀏覽圖像內(nèi)的四邊形區(qū)域的顯示方式，例示的識別框的OSD顯示只是一例，并不局限于此，只要是能識別四邊形區(qū)域的方式，就能適當(dāng)?shù)厝我庾兏?br> 如此，顯示控制部6構(gòu)成了將攝像圖像內(nèi)由候選區(qū)域確定部4d確定的多個四邊形區(qū)域的每一個以相對于與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的距離為基準且以規(guī)定的順序識別顯示于顯示部5的顯示控制單元。記錄介質(zhì)控制部7對于裝卸自由地安裝的記錄介質(zhì)M，控制來自安裝好的記錄介質(zhì)M的數(shù)據(jù)的讀出或針對記錄介質(zhì)M的數(shù)據(jù)的寫入。此外，記錄介質(zhì)M例如由非易失性存儲器(閃存)等構(gòu)成，但這只是一例，并不局限于此，能夠適當(dāng)?shù)厝我庾兏?。操作輸入?用于進行該攝像裝置100的規(guī)定操作。具體而言，操作輸入部8與被攝體的拍攝指示相關(guān)，具備能進行半按下以及完全按下操作的快門按鈕8a、攝像模式或功能等的選擇指示所涉及的選擇按鈕Sb、攝像模式或功能等的決定指示所涉及的決定按鈕Sc等，并對應(yīng)于這些按鈕的操作來將規(guī)定的操作信號輸出至中央控制部10。存儲器部9具備緩沖存儲器9a、以及程序存儲器％。緩沖存儲器9a既是臨時保存圖像數(shù)據(jù)等的緩存，又作為中央控制部10的工作存儲器等進行使用。在程序存儲器9b中存儲有該攝像裝置100的功能所涉及的各種程序或數(shù)據(jù)。中央控制部10對攝像裝置100的各部分進行控制。具體而言，中央控制部10具備對攝像裝置100的各部分進行控制的CPU(圖示略)，并依照各種處理程序(圖示略)來進行各種控制動作。接下來，參照圖2 圖6來說明由攝像裝置100執(zhí)行的攝像處理。圖2是表示攝像處理所涉及的動作的一例的流程圖。此外，以下的攝像處理在如下情況下執(zhí)行基于由用戶執(zhí)行的操作輸入部8的選擇按鈕Sb或決定按鈕Sc等的規(guī)定操作，來執(zhí)行選擇指示了例如將紙件、名片、白板、顯示裝置200的顯示畫面201以及來自投影裝置的投影圖像等作為被攝體的攝像模式。如圖2所示，首先，顯示控制部6基于由攝像部I進行被攝體的攝像且由圖像生成部3生成的多個幀圖像F，…，來進行使實時取景圖像顯示于顯示部5的顯示畫面中的處理(步驟SI ;參照圖5A)。然后，中央控制部10的CPU判定是否在實時取景顯示處理中輸入了由用戶執(zhí)行的操作輸入部8的快門按鈕8a的半按下操作所涉及的操作信號(步驟S2)。在此，在判定為未輸入半按下操作所涉及的操作信號的情況下(步驟S2 ;否)，中央控制部10的CPU使處理轉(zhuǎn)移至步驟SI，并反復(fù)進行使實時取景圖像顯示的處理。另一方面，若在步驟S2中判定為已輸入半按下操作所涉及的操作信號(步驟S2 ；是)，則中央控制部10的CPU對明度變化區(qū)域檢測處理(參照圖3)的執(zhí)行進行控制(步驟S3)。在此，參照圖3來說明明度變化區(qū)域檢測處理。圖3是表示明度變化區(qū)域檢測處理所涉及的動作的一例的流程圖。如圖3所不，首先，攝像控制部2的攝像巾貞速率設(shè)定部2a將攝像巾貞速率設(shè)定為規(guī)定的值(步驟S21)。具體而言，攝像幀速率設(shè)定部2a例如較之于與通常拍攝對應(yīng)的攝像幀速率(例如，15fps等)，設(shè)定為與增多了每單位時間的幀圖像F的攝像次數(shù)的高速拍攝對應(yīng)的攝像巾貞速率(例如，120fps等)。由此,攝像部I以與所設(shè)定的攝像巾貞速率相應(yīng)的規(guī)定的攝像周期來對被攝體(例如，顯示裝置200的顯示畫面201等)進行攝像。接下來，圖像處理部4的圖像取得部4a依次取得由攝像部I以規(guī)定的攝像周期攝像且由圖像生成部3生成的多個幀圖像F，…的圖像數(shù)據(jù)(步驟S22)。
接著，圖像處理部4的明度變化區(qū)域檢測部4b檢測由圖像取得部4a依次取得的多個幀圖像F，…內(nèi)明度以規(guī)定的時間周期變化的明度變化區(qū)域A(步驟S23)。具體而言，明度變化區(qū)域檢測部4b針對由圖像取得部4a取得的多個幀圖像F，…的每一個，計算與前一個幀圖像F在亮度分量(例如，亮度信號Y)上的差分，來確定各像素的明度相對于之前的幀圖像F的變化量。然后，明度變化區(qū)域檢測部4b基于針對全部的幀圖像F而確定的各像素的明度的變化量，確定明度以時間周期性地變化的全部的像素，并將由該像素組成的區(qū)域確定為明度變化區(qū)域A(參照圖5B)。由此，結(jié)束明度變化區(qū)域檢測處理。此外，在明度變化區(qū)域檢測處理已結(jié)束的情況下，攝像幀速率設(shè)定部2a可以重新設(shè)定為攝像幀速率變?yōu)榕c通常拍攝對應(yīng)的攝像幀速率(例如，15fps等)?；氐綀D2，圖像處理部4判定是否由明度變化區(qū)域檢測部4b檢測出明度變化區(qū)域A (步驟S4)。在此，在判定為檢測出明度變化區(qū)域A的情況下(步驟S4;是)，即，在將顯示裝置200的顯示畫面201等的明度以規(guī)定的時間周期而變化的對象作為被攝體進行攝像的情況下，明度變化區(qū)域檢測部4b取得表示幀圖像F內(nèi)明度變化區(qū)域A的位置的信息，并臨時記錄于緩沖存儲器9a (步驟S5)。接下來，中央控制部10的CPU判定是否輸入了由用戶執(zhí)行的操作輸入部8的快門按鈕8a的完全按下操作所涉及的操作信號(步驟S6)。另外，在步驟S4中判定為未檢測出明度變化區(qū)域A的情況下(步驟S4 ;否)，中央控制部10的CPU跳過步驟S5的處理，在步驟S6中進行是否輸入了完全按下操作所涉及的操作信號的判定。若在步驟S6中判定為未輸入完全按下操作所涉及的操作信號(步驟S6 ;否)，則中央控制部10的CPU判定是否已解除由用戶執(zhí)行的操作輸入部8的快門按鈕8a的半按下操作(步驟S7)。在步驟S7中判定為還未解除半按下操作的情況下(步驟S7 ;否)，中央控制部10的CPU使處理轉(zhuǎn)移至步驟S6，進行是否輸入了完全按下操作所涉及的操作信號的判定。另一方面，若判定為已解除半按下操作(步驟S7 ;是)，則中央控制部10的CPU使處理轉(zhuǎn)移至步驟SI，進行使實時取景圖像顯示于顯示部5的顯示畫面中的處理。若在步驟S6中判定為輸入了完全按下操作所涉及的操作信號(步驟S6 ;是)，則攝像部I在由攝像控制部2調(diào)整后的規(guī)定的攝像條件下，通過與用于明度變化區(qū)域A的檢測的多個幀圖像F，…大致相等的構(gòu)圖來攝像，從而圖像取得部4a取得由圖像生成部3生成的記錄用圖像G的圖像數(shù)據(jù)(YUV數(shù)據(jù))(步驟S8)。接下來，中央控制部10的CPU對提取候選區(qū)域確定處理(參照圖4)的執(zhí)行進行控制(步驟S9)。在此，參照圖4來說明提取候選區(qū)域確定處理。圖4是表示提取候選區(qū)域確定處理所涉及的動作的一例的流程圖。
如圖4所示，首先，圖像處理部4的直線確定部4c對由圖像取得部4a取得的記錄用圖像G的圖像數(shù)據(jù)實施直線檢測處理，來檢測該圖像內(nèi)的全部的直線L(步驟S31)。具體而言，直線確定部4c取得記錄用圖像G的圖像數(shù)據(jù)中所含的亮度分量(例如 ，亮度信號Y)，對該亮度分量實施直線檢測處理(例如，霍夫變換處理等)來檢測該記錄用圖像G內(nèi)的全部的直線L。接下來，直線確定部4c判定是否在緩沖存儲器9a中記錄了表示明度變化區(qū)域A的位置的信息(步驟S32)。在此，在判定為記錄了表示明度變化區(qū)域A的位置的信息的情況下(步驟S32;是)，即，將顯示裝置200的顯示畫面201等的明度以規(guī)定周期而變化的畫面作為被攝體進行攝像的情況下，直線確定部4c從緩沖存儲器9a取得表示明度變化區(qū)域A的位置的信息，并在確定了記錄用圖像G內(nèi)與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的位置后，在檢測出的全部的直線L中依照規(guī)定的指定條件來指定任意一條直線L(步驟S33)。接下來，直線確定部4c的排除部Cl判定所指定的直線L是否存在于記錄用圖像G中的與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B內(nèi)(步驟S34)。在此，若判定為所指定的直線L存在于對應(yīng)區(qū)域B內(nèi)(步驟S34 ;是)，則直線確定部4c將該直線L指定為四邊形區(qū)域的確定用的候選直線LI (步驟S35)。另一方面，若判定為所指定的直線L (例如，直線L2等)不存在于對應(yīng)區(qū)域B內(nèi)(步驟S34 ;否)，則直線確定部4c的排除部Cl從四邊形區(qū)域的確定用的候選中排除該直線L(步驟S36)。其后，直線確定部4c判定是否已針對從記錄用圖像G內(nèi)檢測出的全部的直線L進行了步驟S34中的判定處理(步驟S37)。若在步驟S37中判定為還未針對全部的直線L進行判定處理(步驟S37 ;否)，則直線確定部4c依照規(guī)定的指定條件來指定成為處理對象的下一條直線L(步驟S38),并使處理轉(zhuǎn)移至步驟S34。通過直到在步驟S37中判定為已針對全部的直線L進行了處理(步驟S37 ;是)為止都反復(fù)上述的處理，從而直線確定部4c確定記錄用圖像G內(nèi)的與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的候選直線L(參照圖6A)。接下來，圖像處理部4的候選區(qū)域確定部4d基于由直線確定部4c確定的候選直線LI，來確定記錄用圖像G內(nèi)包括該候選直線LI而構(gòu)成的四邊形區(qū)域(步驟S39)。具體而言，候選區(qū)域確定部4d確定由直線確定部4c確定的全部的候選直線LI中沿規(guī)定方向延伸的4條候選直線LI，…所形成的各四邊形區(qū)域。接著，候選區(qū)域確定部4d在所確定的規(guī)定數(shù)目的四邊形區(qū)域中，指定相對于與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B最近的位置上的四邊形區(qū)域(步驟S40)。然后，顯示控制部6以可識別的形態(tài)使記錄用圖像G內(nèi)由候選區(qū)域確定部4d指定的四邊形區(qū)域顯示于顯示部5 (步驟S41)。具體而言，顯示控制部6按照使與記錄用圖像G的記錄瀏覽圖像重疊的方式，在四邊形區(qū)域的邊緣部對識別框進行OSD顯示。接下來，候選區(qū)域確定部4d對應(yīng)于由用戶操作的操作輸入部8的操作按鈕，來使處理產(chǎn)生分支(步驟S42)。具體而言，若用戶對操作輸入部8的選擇按鈕Sb進行了規(guī)定操作(步驟S42 ;選擇按鈕)，則候選區(qū)域確定部4d在所確定的規(guī)定數(shù)目的四邊形區(qū)域中指定了所識別顯示的
13四邊形區(qū)域離對應(yīng)區(qū)域B第二近的位置上的四邊形區(qū)域后(步驟S43)，使處理轉(zhuǎn)移至步驟S41。由此，顯示控制部6以可識別的形態(tài)使記錄用圖像G內(nèi)由候選區(qū)域確定部4d新指定的四邊形區(qū)域顯示于顯示部5 (步驟S41)。另一方面，若在步驟S42中用戶對操作輸入部8的決定按鈕Sc進行了規(guī)定操作(步驟S42 ;決定按鈕)，則候選區(qū)域確定部4d將以可識別的形態(tài)顯示于顯示部5中的四邊形區(qū)域確定為提取候選區(qū)域C (步驟S44 ;參照圖6A)，并結(jié)束提取候選區(qū)域確定處理。另一方面，在步驟S32中判定為未記錄有表示明度變化區(qū)域A的位置的信息的情況下(步驟S32 ;否)，即，在將紙件、名片、白板等明度不以規(guī)定周期而變化的對象作為被攝體進行攝像的情況下，候選區(qū)域確定部4d基于由直線確定部4c確定的全部的直線L,來確定記錄用圖像G內(nèi)包括該直線L而構(gòu)成的四邊形區(qū)域(步驟S45)。具體而言，候選區(qū)域確定部4d確定由直線確定部4c確定的全部的直線L中沿規(guī)定方向延伸的4條直線L，…所形成的各四邊形區(qū)域。接著，候選區(qū)域確定部4d在所確定的規(guī)定數(shù)目的四邊形區(qū)域中依照規(guī)定的指定條件來指定一個四邊形區(qū)域(步驟S46)。然后，顯示控制部6以可識別的形態(tài)使記錄用圖像G內(nèi)由候選區(qū)域確定部4d指定的四邊形區(qū)域顯示于顯示部5 (步驟S47)。接下來，候選區(qū)域確定部4d對應(yīng)于由用戶操作的操作輸入部8的操作按鈕來使處理進行分支(步驟S48)。具體而言，若用戶對操作輸入部8的選擇按鈕Sb進行了規(guī)定操作(步驟S48 ;選擇按鈕)，則候選區(qū)域確定部4d在所確定的規(guī)定數(shù)目的四邊形區(qū)域中依照規(guī)定的指定條件指定了成為處理對象的下一個四邊形區(qū)域后(步驟S49)，使處理轉(zhuǎn)移至步驟S47。由此，顯示控制部6以可識別的形態(tài)使記錄用圖像G內(nèi)由候選區(qū)域確定部4d新指定的四邊形區(qū)域顯示于顯示部5 (步驟S47)。另一方面，若在步驟S48中用戶對操作輸入部8的決定按鈕Sc進行了規(guī)定操作(步驟S48 ;決定按鈕)，則候選區(qū)域確定部4d使處理轉(zhuǎn)移至步驟S44，將以可識別的形態(tài)顯示于顯示部5中的四邊形區(qū)域確定為提取候選區(qū)域C (步驟S44)，并結(jié)束提取候選區(qū)域確定處理?；氐綀D2，圖像處理部4的直角四邊形圖像生成部4e對通過提取候選區(qū)域確定處理而確定的提取候選區(qū)域C(四邊形區(qū)域)的圖像進行直角四邊形變換處理來生成直角四邊形圖像R(步驟SlO ;參照圖6B)。具體而言，直角四邊形圖像生成部4e在從記錄用圖像G中提取出提取候選區(qū)域C內(nèi)的圖像區(qū)域后，對該圖像區(qū)域的圖像數(shù)據(jù)進行直角四邊形變換處理，并生成直角四邊形圖像R。其后，圖像處理部4將所生成的直角四邊形圖像R的圖像數(shù)據(jù)轉(zhuǎn)發(fā)至記錄介質(zhì)控制部7，記錄介質(zhì)控制部7使該直角四邊形圖像R的圖像數(shù)據(jù)與記錄用圖像G的圖像數(shù)據(jù)對應(yīng)關(guān)聯(lián)地記錄于記錄介質(zhì)M (步驟Sll)。由此，結(jié)束攝像處理。如上所述，根據(jù)本實施方式的攝像裝置100，由于對記錄用圖像G的圖像數(shù)據(jù)實施用于檢測直線L的直線檢測處理，確定與明度以規(guī)定周期而變化的明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的候選直線LI，并將該記錄用圖像G內(nèi)包括候選直線LI而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域C，因此，例如，在將以規(guī)定的重寫周期從輸出裝置輸出的圖像(例如，顯示裝置200的顯示畫面201內(nèi)的圖像)作為主要被攝體的情況下，能將記錄用圖像G內(nèi)確定為提取候選區(qū)域C的四邊形區(qū)域限定為包括與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的候選直線LI而構(gòu)成的四邊形區(qū)域。即，能夠在記錄用圖像G內(nèi)將包括存在于與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的外側(cè)的直線L而構(gòu)成的、最終從記錄用圖像G提取出來的可能性低的四邊形區(qū)域除外，而將包括與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的候選直線LI而構(gòu)成的、從該記錄用圖像G提取出來的可能性高的四邊形區(qū)域確定為提取候選區(qū)域C。如此，能夠輔助記錄用圖像G內(nèi)的四邊形區(qū)域的確定來效率良好地進行來自該記錄用圖像G的四邊形區(qū)域的圖像的提取。另外，通過從將直線檢測處理的處理對象區(qū)域作為記錄用圖像G的圖像區(qū)域整體而檢測出的該記錄用圖像G中所含的全部的直線L中，排除從與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B以外的區(qū)域檢測出的直線L2，能效率良好地進行與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的候選直線LI的確定，其結(jié)果是，能效率良好地將記錄用圖像G內(nèi)包括該候選直線LI而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域C。另外，由于將記錄用圖像G內(nèi)由候選區(qū)域確定部4d確定的多個四邊形區(qū)域的每一個以相對于與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的距離為基準來以規(guī)定的順序識別顯示于顯示部5，因此能將多個四邊形區(qū)域中用戶期望的四邊形區(qū)域確定為提取候選區(qū)域C。特別地，例如通過將多個四邊形區(qū)域的每一個按照相對于與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的位置的距離從近到遠的順序來優(yōu)先地識別顯示，從而對用戶而言，將相對于該對應(yīng)區(qū)域B的位置的距離相對近的四邊形區(qū)域選擇指定為提取候選區(qū)域C變得容易，因此能效率良好地進行來自該記錄用圖像G的四邊形區(qū)域的圖像的提取。另外，由于對確定為提取候選區(qū)域C的四邊形區(qū)域的圖像進行直角四邊形變換處理來生成直角四邊形圖像R，因此能取得修正了四邊形區(qū)域的失真的直角四邊形圖像R。此外，本發(fā)明不局限于上述實施方式，可以在不脫離本發(fā)明的主旨的范圍內(nèi)進行各種改良以及設(shè)計的變更。例如，在上述實施方式中，作為記錄用圖像G內(nèi)的與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的直線L的確定方法，設(shè)為直線確定部4c在確定了記錄用圖像G中所含的全部的直線L后，排除從與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B以外的區(qū)域檢測出的直線L2，但這只是一例，并不局限于此，能適當(dāng)?shù)厝我庾兏?。即，直線確定部4c可以不具備排除部Cl，而將直線檢測處理的處理對象區(qū)域設(shè)為記錄用圖像G的與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B來確定多條該對應(yīng)區(qū)域B中所含的直線L (候選直線LI)。由此，能效率良好地進行與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的候選直線LI的確定，其結(jié)果是，能效率良好地將記錄用圖像G內(nèi)包括該候選直線LI而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域C。另外，在上述實施方式中，候選區(qū)域確定部4d將基于由用戶執(zhí)行的操作輸入部8的選擇按鈕8b或決定按鈕Sc等的規(guī)定操作而指定的四邊形區(qū)域確定為提取候選區(qū)域C，但提取候選區(qū)域C(四邊形區(qū)域)的確定方法只是一例，并不局限于此，能適當(dāng)?shù)厝我庾兏?。S卩，候選區(qū)域確定部4d可以設(shè)為如下構(gòu)成基于規(guī)定條件來自動地確定成為提取候選區(qū)域C的四邊形區(qū)域。例如，候選區(qū)域確定部4d可以確定包括由直線確定部4c確定的直線L(候選直線LI)在內(nèi)的多個四邊形區(qū)域，在該多個四邊形區(qū)域中，以與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的位置為基準，將相對于該對應(yīng)區(qū)域B最近的位置上的一個四邊形區(qū)域自動地確定為提取候選區(qū)域C。因此，由于能夠在記錄用圖像G內(nèi)以與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B的位置為基準來將一個四邊形區(qū)域自動地確定為提取候選區(qū)域C，因此提取候選區(qū)域C的確定將不需要由用戶執(zhí)行的操作輸入部8的規(guī)定操作，從而能簡化該提取候選區(qū)域C的確定。進而，在上述實施方式中，例示了例如將紙件、名片、白板、顯示裝置200的顯示畫面201以及來自投影裝置的投影圖像等作為被攝體的攝像處理(參照圖2)來進行說明，但也可以進行將顯示裝置200的顯示畫面201以及來自投影裝置的投影圖像等的明度以規(guī)定周期而變化的對象作為被攝體的專用的攝像處理。即，在設(shè)置明度以規(guī)定周期而變化的被攝體專用的攝像模式、且通過由用戶執(zhí)行的操作輸入部8的規(guī)定操作來選擇指示該攝像模式的情況下，攝像裝置100將不需要進行如下處理上述攝像處理(參照圖2)中的是否由明度變化區(qū)域檢測部4b檢測出明度變化區(qū)域A的判定處理(步驟S4)、提取候選區(qū)域確定處理(參照圖4)中的是否記錄了表示明度變化區(qū)域A的位置的信息的判定處理(步驟S32)、在該判定的結(jié)果是判定為未記錄有表示明度變化區(qū)域A的位置的信息的情況下(步驟S32 ;否)所繼續(xù)進行的各種處理(步驟S45 S49)。另外，在上述實施方式中，對確定為提取候選區(qū)域C的四邊形區(qū)域的圖像進行直角四邊形變換處理來生成直角四邊形圖像R，但是否生成直角四邊形圖像R能適當(dāng)?shù)厝我庾兏?。即，攝像裝置100不必具備生成直角四邊形圖像R的直角四邊形圖像生成部4e，只要能將記錄用圖像G內(nèi)包括由直線確定部4c確定的候選直線LI而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域C，就可以是任意的構(gòu)成。進而，在上述實施方式的攝像處理(參照圖2)中，是在確定了幀圖像F內(nèi)的明度變化區(qū)域后對記錄用圖像G進行攝像，但處理的順序只是一例，并不限于此，能適當(dāng)?shù)厝我庾兏?。即，可以在記錄用圖像G的攝像后，以大致相等的構(gòu)圖對幀圖像F進行攝像，來確定該幀圖像內(nèi)的明度變化區(qū)域。另外，在上述實施方式中，從幀圖像F檢測明度變化區(qū)域A，并在記錄用圖像G內(nèi)確定四邊形區(qū)域(提取候選區(qū)域C)，即，明度變化區(qū)域A的檢測對象的攝像圖像與四邊形區(qū)域(提取候選區(qū)域C)的確定對象的攝像圖像不同，但也可以利用相同的攝像圖像來進行明度變化區(qū)域A的檢測以及四邊形區(qū)域(提取候選區(qū)域C)的確定。SM列如，可以基于由圖像取得部4a取得的記錄用圖像G的圖像數(shù)據(jù)來進行明度變化區(qū)域A的檢測以及四邊形區(qū)域(提取候選區(qū)域C)的確定。另外，例如可以基于由圖像取得部4a取得的至少一個幀圖像F的圖像數(shù)據(jù)來進行明度變化區(qū)域A的檢測以及四邊形區(qū)域(提取候選區(qū)域C)的確定。進而，關(guān)于作為圖像處理裝置而例示的攝像裝置100的構(gòu)成，上述實施方式所例示的只是一例，并不局限于此，只要是至少具備取得單元、檢測單元、第I確定單元、第2確定單元的構(gòu)成，就能夠適當(dāng)?shù)厝我庾兏?。此外，在上述實施方式中，?gòu)成為在中央控制部10的控制下，由圖像取得部4a、明度變化區(qū)域檢測部4b、直線確定部4c、候選區(qū)域確定部4d進行驅(qū)動來實現(xiàn)作為取得單元、檢測單元、第I確定單元、第2確定單元的功能，但并不局限于此，也可以構(gòu)成為通過由中央控制部10的CPU執(zhí)行規(guī)定的程序等來實現(xiàn)。S卩，在存儲程序的程序存儲器9b中預(yù)先存儲包括取得處理子程序、檢測處理子程序、第I確定處理子程序、第2確定處理子程序在內(nèi)的程序。而且，可以通過取得處理子程序來使中央控制部10的CPU作為用于取得由攝像單元攝像而得到的攝像圖像的圖像數(shù)據(jù)的取得單元發(fā)揮功能。另外，可以通過檢測處理子程序來使中央控制部10的CPU作為用于基于由取得單元取得的攝像圖像的圖像數(shù)據(jù)來檢測該攝像圖像內(nèi)明度以規(guī)定周期而變化的明度變化區(qū)域A的檢測單元發(fā)揮功能。另外，可以通過第I確定處理子程序來使中央控制部10的CPU作為用于對由取得單元取得的攝像圖像的圖像數(shù)據(jù)實施用于檢測直線L的直線檢測處理、且確定與明度變化區(qū)域A對應(yīng)的對應(yīng)區(qū)域B中所含的直線L的第I確定單元發(fā)揮功能。另外，可以通過第2確定處理子程序來使中央控制部10的CPU作為將攝像圖像內(nèi)包括由第I確定單元確定的直線L而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域C的第2確定單元發(fā)揮功能。同樣，針對排除單元、顯示控制單元、生成單元，也可以構(gòu)成為通過由中央控制部10的CPU執(zhí)行規(guī)定的程序等來實現(xiàn)。進而，作為存儲有用于執(zhí)行上述各處理的程序的計算機可讀取的介質(zhì)，除了 ROM或硬盤等，還能應(yīng)用閃存等的非易失性存儲器、CD-ROM等的可移動型記錄介質(zhì)。另外，作為經(jīng)由規(guī)定的通信線路來提供程序的數(shù)據(jù)的介質(zhì)，還應(yīng)用載波(搬運波)。〔附記〕盡管說明了本發(fā)明的幾種實施方式，但本發(fā)明的范圍不局限于上述的實施方式，還包括權(quán)利要求書中所記載的發(fā)明的范圍以及其均等的范圍。以下，對最初添加于本申請的申請文件中的權(quán)利要求書中所記載的發(fā)明進行附記。附記中記載的權(quán)利要求的編號與最初添加于本申請的申請文件中的權(quán)利要求書相同?！醇夹g(shù)方案1>一種圖像處理裝置，其中具備取得單元，其取得由攝像單元攝像而得到的攝像圖像的圖像數(shù)據(jù)；檢測單元，其基于由該取得單元取得的攝像圖像的圖像數(shù)據(jù)，來對該攝像圖像內(nèi)明度以規(guī)定的時間周期而變化的明度變化區(qū)域進行檢測；第I確定單元，其對由所述取得單元取得的攝像圖像的圖像數(shù)據(jù)實施用于檢測直線的直線檢測處理，來確定與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域中所含的直線；和第2確定單元，其將所述攝像圖像內(nèi)包括由所述第I確定單元確定的直線而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域。〈技術(shù)方案2>在技術(shù)方案I所述的圖像處理裝置中，其中，所述取得單元包括依次取得攝像圖像的圖像數(shù)據(jù)的單元，所述攝像圖像是由所述攝像單元以規(guī)定的攝像周期對以規(guī)定的重寫周期從輸出裝置輸出的圖像進行攝像而得到的，所述檢測單元基于由所述取得單元依次取得的多個攝像圖像的圖像數(shù)據(jù)，來對該攝像圖像內(nèi)明度以規(guī)定的時間周期而變化的明度變化區(qū)域進行檢測。
17
〈技術(shù)方案3>在技術(shù)方案I或2所述的圖像處理裝置中，其中，所述第I確定單元具有排除單元，其從將所述直線檢測處理的處理對象區(qū)域作為所述攝像圖像的圖像區(qū)域整體而檢測出的該攝像圖像中所含的全部直線中，排除從與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域以外的區(qū)域檢測出的直線?！醇夹g(shù)方案4>在技術(shù)方案I或2所述的圖像處理裝置中，其中，所述第I確定單元將所述直線檢測處理的處理對象區(qū)域作為與所述攝像圖像的所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域，來確定該對應(yīng)區(qū)域中所含的直線?！醇夹g(shù)方案5>在技術(shù)方案I 4中任一項所述的圖像處理裝置中，其中，所述第2確定單元包括用于對包括由所述第I確定單元確定的直線而構(gòu)成的多個四邊形區(qū)域進行確定的單元，所述圖像處理裝置還具備顯示控制單元，其將所述攝像圖像內(nèi)由所述第2確定單元確定的多個四邊形區(qū)域的每一個，以相對于與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域的距離為基準以規(guī)定的順序識別顯示于顯示單元，所述第2確定單元從識別顯示于所述顯示單元的多個四邊形區(qū)域中確定所述提取候選區(qū)域?！醇夹g(shù)方案6>在技術(shù)方案5所述的圖像處理裝置中，其中，所述顯示控制單元將所述攝像圖像內(nèi)由所述第2確定單元確定的多個四邊形區(qū)域的每一個，從相對于與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域最近的位置上的四邊形區(qū)域起按順序地識別顯示于所述顯示單元。〈技術(shù)方案7>在技術(shù)方案I 4中任一項所述的圖像處理裝置中，其中，所述第2確定單元包括用于對包括由所述第I確定單元確定的直線而構(gòu)成的多個四邊形區(qū)域進行確定的單元，所述第2確定單元將所述多個四邊形區(qū)域中相對于與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域最近的位置上的一個四邊形區(qū)域確定為所述提取候選區(qū)域?！醇夹g(shù)方案8>在技術(shù)方案I 7中任一項所述的圖像處理裝置中，其中，所述圖像處理裝置還具備生成單元，其對由所述第2確定單元確定為所述提取候選區(qū)域的四邊形區(qū)域的圖像進行直角四邊形變換處理，來生成直角四邊形圖像?！醇夹g(shù)方案9>一種使用了圖像處理裝置的圖像處理方法，該圖像處理方法的特征在于包括取得由攝像單元攝像而得到的攝像圖像的圖像數(shù)據(jù)的處理；基于所取得的攝像圖像的圖像數(shù)據(jù)，來對該攝像圖像內(nèi)明度以規(guī)定的時間周期而變化的明度變化區(qū)域進行檢測的處理；對所取得的攝像圖像的圖像數(shù)據(jù)實施用于檢測直線的直線檢測處理，來確定與明
18度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域中所含的直線的處理；和將所述攝像圖像內(nèi)包括所確定的直線而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域的處理。
19
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具備取得單元，其取得由攝像單元攝像而得到的攝像圖像的圖像數(shù)據(jù)；檢測單元，其基于由該取得單元取得的攝像圖像的圖像數(shù)據(jù)，來對該攝像圖像內(nèi)明度以規(guī)定的時間周期而變化的明度變化區(qū)域進行檢測；第I確定單元，其對由所述取得單元取得的攝像圖像的圖像數(shù)據(jù)實施用于檢測直線的直線檢測處理，來確定與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域中所含的直線；和第2確定單元，其將所述攝像圖像內(nèi)包括由所述第I確定單元確定的直線而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于，所述取得單元包括依次取得攝像圖像的圖像數(shù)據(jù)的單元，所述攝像圖像是由所述攝像單元以規(guī)定的攝像周期對以規(guī)定的重寫周期從輸出裝置輸出的圖像進行攝像而得到的，所述檢測單元基于由所述取得單元依次取得的多個攝像圖像的圖像數(shù)據(jù)，來對該攝像圖像內(nèi)明度以規(guī)定的時間周期而變化的明度變化區(qū)域進行檢測。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于，所述第I確定單元具有排除單元，其從將所述直線檢測處理的處理對象區(qū)域作為所述攝像圖像的圖像區(qū)域整體而檢測出的該攝像圖像中所含的全部直線中，排除從與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域以外的區(qū)域檢測出的直線。
4.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于，所述第I確定單元將所述直線檢測處理的處理對象區(qū)域作為與所述攝像圖像的所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域，來確定該對應(yīng)區(qū)域中所含的直線。
5.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于，所述第2確定單元包括用于對包括由所述第I確定單元確定的直線而構(gòu)成的多個四邊形區(qū)域進行確定的單元，所述圖像處理裝置還具備顯示控制單元，其將所述攝像圖像內(nèi)由所述第2確定單元確定的多個四邊形區(qū)域的每一個，以相對于與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域的距離為基準以規(guī)定的順序識別顯示于顯示單元，所述第2確定單元從識別顯示于所述顯示單元的多個四邊形區(qū)域中確定所述提取候選區(qū)域。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于，所述顯示控制單元將所述攝像圖像內(nèi)由所述第2確定單元確定的多個四邊形區(qū)域的每一個，從相對于與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域最近的位置上的四邊形區(qū)域起按順序地識別顯示于所述顯示單元。
7.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于，所述第2確定單元包括用于對包括由所述第I確定單元確定的直線而構(gòu)成的多個四邊形區(qū)域進行確定的單元，所述第2確定單元將所述多個四邊形區(qū)域中相對于與所述明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域最近的位置上的一個四邊形區(qū)域確定為所述提取候選區(qū)域。
8.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于，所述圖像處理裝置還具備生成單元，其對由所述第2確定單元確定為所述提取候選區(qū)域的四邊形區(qū)域的圖像進行直角四邊形變換處理，來生成直角四邊形圖像。
9.一種使用了圖像處理裝置的圖像處理方法，該圖像處理方法的特征在于，包括取得由攝像單元攝像而得到的攝像圖像的圖像數(shù)據(jù)的處理；基于所取得的攝像圖像的圖像數(shù)據(jù)，來對該攝像圖像內(nèi)明度以規(guī)定的時間周期而變化的明度變化區(qū)域進行檢測的處理；對所取得的攝像圖像的圖像數(shù)據(jù)實施用于檢測直線的直線檢測處理，來確定與明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域中所含的直線的處理；和將所述攝像圖像內(nèi)包括所確定的直線而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域的處理。
全文摘要
本發(fā)明涉及從攝像圖像中檢測四邊形區(qū)域的圖像處理裝置以及圖像處理方法。攝像裝置(100)具備圖像取得部(4a)，其取得由攝像部(1)攝像而得到的攝像圖像的圖像數(shù)據(jù)；明度變化區(qū)域檢測部(4b)，其基于所取得的攝像圖像的圖像數(shù)據(jù)，來對該攝像圖像內(nèi)明度以規(guī)定周期而變化的明度變化區(qū)域進行檢測；直線確定部(4c)，其對所取得的攝像圖像的圖像數(shù)據(jù)實施用于檢測直線的直線檢測處理，來確定與明度變化區(qū)域?qū)?yīng)的對應(yīng)區(qū)域中所含的直線；以及候選區(qū)域確定部(4d)，其將攝像圖像內(nèi)包括所確定的直線而構(gòu)成的四邊形區(qū)域確定為提取候選區(qū)域。
文檔編號G06T3/40GK102915534SQ20121027218
公開日2013年2月6日 申請日期2012年8月1日 優(yōu)先權(quán)日2011年8月4日
發(fā)明者加藤寬之, 村木淳, 清水博, 星野博之, 市川英里奈 申請人:卡西歐計算機株式會社