專利名稱：用于數(shù)字拍攝裝置中圖像數(shù)據(jù)提取和匯編的系統(tǒng)和方法
技術領域：
本發(fā)明總體上涉及數(shù)字拍攝裝置，并且更具體地涉及數(shù)字拍攝裝置中的圖像處理。
背景技術：
數(shù)字成像系統(tǒng)已經(jīng)造成了攝影術和拍攝裝置的革命。除了膠片被電子傳感器代替 外，數(shù)字拍攝裝置和膠片拍攝裝置是類似的。傳感器由一系列光電檢測器組成，光電檢測器 生成與入射到每個檢測器處的光成比例的電信號。數(shù)字拍攝裝置處理來自每個檢測器的數(shù) 據(jù)，并組合這些數(shù)據(jù)以形成數(shù)字圖像。然后，數(shù)字圖像可以根據(jù)需要被進一步處理、傳輸或 者打印?，F(xiàn)代數(shù)字拍攝裝置典型地包括對圖像數(shù)據(jù)執(zhí)行多種不同類型處理的能力。一種類 型的處理典型地被稱為圖像拼接(image stitching)或者照片拼接(photo stitching) 0 在圖像拼接中，多個數(shù)字圖像被組合以產(chǎn)生更大的圖像，諸如廣角全景圖像。圖像拼接典 型地需要拍攝裝置分析圖像以便翻譯和旋轉(zhuǎn)，并且匹配圖像的鄰接區(qū)域的顏色對比度和亮 度，以避免拼接的部分容易被發(fā)現(xiàn)。因為拍攝裝置必須存儲來自多個圖像的數(shù)據(jù)并且執(zhí)行 大量的處理，所以圖像拼接需要大量資源。雖然這些資源在高端數(shù)字拍攝裝置上可能可用， 但是它們在那些必須要更小和更便宜的拍攝裝置中可能不可用。例如，數(shù)字拍攝裝置通常在諸如手機和個人數(shù)字助理的移動通信設備中實現(xiàn)。在 很多情況下為了降低成本和減小尺寸，這些數(shù)字拍攝裝置使用有限的資源來實現(xiàn)，例如有 限的存儲器和處理能力。在這些類型的拍攝裝置中，全圖像拼接所需要的資源可能不可用。 然而，在這些類型的拍攝裝置中仍然需要從多個圖像中捕獲數(shù)據(jù)。


本發(fā)明的優(yōu)選示例性實施例將在下文中結合附圖進行描述，在附圖中相同的名稱 指示相同的元件，并且圖1是根據(jù)發(fā)明的實施例的具有圖像處理系統(tǒng)的數(shù)字拍攝裝置的示意圖，以及；圖2是圖示根據(jù)發(fā)明的實施例的數(shù)字處理方法的流程圖。
具體實施例方式本發(fā)明提供一種在數(shù)字拍攝裝置中數(shù)據(jù)提取和匯編的系統(tǒng)和方法。該系統(tǒng)和方法 能夠從多個拍攝裝置圖像中提取包括文本型和其它字符型數(shù)據(jù)的符號數(shù)據(jù)，并將提取的符 號數(shù)據(jù)匯編成合成文檔。該系統(tǒng)和方法可以使用有限的資源執(zhí)行該數(shù)據(jù)提取，并且因此它 可以在具有有限存儲和處理能力的數(shù)字拍攝裝置中實現(xiàn)。現(xiàn)在轉(zhuǎn)到圖1，圖示了根據(jù)本發(fā)明的實施例的數(shù)字拍攝裝置圖像處理系統(tǒng)100。數(shù) 字拍攝裝置圖像處理系統(tǒng)100包括符號數(shù)據(jù)提取器102，和提取的數(shù)據(jù)匯編器104。通常， 處理系統(tǒng)100接收由數(shù)字拍攝裝置拍攝的多個數(shù)字圖像106，從多個拍攝裝置圖像中提取符號數(shù)據(jù)，并將所提取的符號數(shù)據(jù)匯編成合成文檔108。具體地，符號數(shù)據(jù)提取器102分析 數(shù)字圖像以從圖像中提取符號數(shù)據(jù)。數(shù)據(jù)組合器104識別數(shù)字圖像中的位置標記，并且基 于第一數(shù)字圖像和第二數(shù)字圖像中所識別的位置標記將所提取的符號數(shù)據(jù)匯編成合成文 檔。具體地，數(shù)據(jù)匯編器104在他們正確的相對位置中匯編從多個圖像中提取的符號數(shù)據(jù)， 就像這些位置是從所識別的位置標記的位置確定的一樣。因此，數(shù)字拍攝裝置圖像處理系 統(tǒng)100可以用于生成包括從多個圖像中提取的符號的合成文檔，所提取的符號布置在它們 合適的相對位置中。此外，該合成文檔可以使用相對低的處理和存儲資源來創(chuàng)建，并且因此 可以在各種各樣的數(shù)字拍攝裝置中實現(xiàn)。作為一個示例應用，數(shù)字拍攝裝置圖像處理系統(tǒng)100可以用于捕獲包含在諸如白 板的顯示器表面上的信息，其中多個重疊的圖像被拍攝以覆蓋顯示器表面。在該應用中，數(shù) 字拍攝裝置用于拍攝白板的多個重疊的圖像。數(shù)據(jù)提取器102從這些多個圖像中分析圖像 數(shù)據(jù)以提取符號數(shù)據(jù)。該符號數(shù)據(jù)可以包括包含在圖像中的所有文本和其它字符信息，并 且因此可以用于捕獲寫在白板上的文本、字符和其它符號。然后，數(shù)據(jù)匯編器104識別多個圖像中的位置標記。這些圖像標記可以包括在圖 像的重疊部分中發(fā)現(xiàn)的任何可識別的特征。然后，數(shù)據(jù)匯編器創(chuàng)建合成文檔，該合成文檔包 括從多個圖像提取的位于他們的正確相對位置處的符號。這樣，該合成文檔可以包括簡化 的圖像文檔或者甚至文本文檔，并且文檔中的字符像它們在顯示器表面最初被發(fā)現(xiàn)時那樣 排列。因此，數(shù)字拍攝裝置的用戶可以容易地捕獲顯示在白板上的文本和其它符號信息，即 使是在這些信息需要多個拍攝裝置圖像時。此外，因為數(shù)字拍攝裝置圖像處理系統(tǒng)100從圖像中提取符號數(shù)據(jù)，并且然后僅 將所提取的符號數(shù)據(jù)匯編成合成文檔，所以對系統(tǒng)的處理和存儲需求極大地減少。如前面 討論的那樣，在傳統(tǒng)的圖像拼接中，原始的拍攝裝置圖像被組合以創(chuàng)建更大的全景圖像。因 此，這種傳統(tǒng)圖像拼接需要拍攝裝置同時存儲和處理來自多個圖像的完整圖像數(shù)據(jù)，這需 要大量的處理資源。相反，數(shù)字拍攝裝置圖像處理系統(tǒng)100從圖像中提取符號數(shù)據(jù)，并且然 后僅將所提取的符號數(shù)據(jù)匯編成合成文檔。因此，數(shù)字拍攝裝置圖像處理系統(tǒng)100需要明 顯更少的資源，并且可以在相對便宜的拍攝裝置中實現(xiàn)。現(xiàn)在轉(zhuǎn)到圖2，圖示了在數(shù)字拍攝裝置中處理數(shù)字圖像的方法200。通常，方法200 接收由數(shù)字拍攝裝置拍攝的多個數(shù)字圖像，從多個拍攝裝置圖像中提取符號數(shù)據(jù)，并將所 提取的符號數(shù)據(jù)匯編成合成文檔。方法200可以通過多種方式來實現(xiàn)。作為一個示例，方法 200可以被實現(xiàn)，使得用戶拍攝顯示表面的一系列圖片，并且然后選擇相關圖片并手動激勵 (instigate)所選擇圖片的數(shù)據(jù)提取和匯編。作為另一個示例，方法200可以被實現(xiàn)，以通 過在特定模式下工作時利用每一張圖片的拍攝來執(zhí)行。在這種實現(xiàn)中，在拍攝每一張圖片 是，對數(shù)據(jù)進行提取和存儲用于匯編。在任何情況下，來自多張圖片的圖像數(shù)據(jù)被分析、數(shù) 據(jù)提取并匯編成合成文檔。方法200中的第一步驟202是從數(shù)字拍攝裝置接收圖像數(shù)據(jù)。典型地，圖像數(shù)據(jù) 的格式和分辨率將取決于實現(xiàn)該方法的數(shù)字拍攝裝置的類型。例如，像素的數(shù)目和用于表 示每個像素的比特數(shù)目將取決于數(shù)字拍攝裝置中傳感器的具體實現(xiàn)。同樣地，圖像數(shù)據(jù)可 以包括多種標準格式，諸如常用于數(shù)字拍攝裝置中的JPG、BMP或者RAW數(shù)據(jù)格式。下一個步驟204是從圖像中提取符號數(shù)據(jù)。這可以使用多種技術來完成。例如，可以使用一種相對簡單的閾值化操作，其根據(jù)在每個像素上圖像的強度將每個像素渲染成黑 色或者白色。作為一個具體示例，在8比特的表示中，每個像素的值的范圍可以從0到255。 可以通過使用閾值來獲得導致二進制表示的提取，高于該閾值的所有像素將被設置成1，并 且所有其它像素將被設置成0。在RAW圖像中，對于顏色濾波器陣列中的每個顏色像素，閾值可以相同或者不同。 這將利用單個信道產(chǎn)生二進制圖像。在RGB圖像中，這樣的閾值可以跨越三種顏色信道而 被分別應用以保留一些顏色信息。同樣地，在YCrCb圖像中，這樣的閾值可以僅基于亮度 (Y)信道而應用。此外，為增加顏色信息的等級，可以應用多個閾值而不是一個閾值，從而使 得每個像素有多于兩個的值。使用的閾值可以是靜態(tài)的、預定的值，或者它們可以針對每個圖像來確定。例如， 閾值可以針對每個圖像統(tǒng)計地確定。在一種技術中，可以計算像素值的均值和標準差，并且 然后閾值可以被設置為和或者均值和標準差。這樣的技術可以幫助減少從圖像中提取不相 關的信息。另外，這樣的閾值可以用于復合文檔中的所有圖像，而不是基于局部統(tǒng)計為每個 單獨的圖像計算閾值。不考慮所使用的技術，數(shù)據(jù)提取的結果是從圖像中提取某個強度等級的符號數(shù) 據(jù)，而所有的背景信息被去除。如此，它可以用于捕獲寫在白板上的形狀、文本和其它符號。應當注意到這樣的操作將以顯著減小數(shù)據(jù)大小的方式表示圖像數(shù)據(jù)。具體地說， 存儲諸如簡單的黑色像素的符號而將所有其它圖像位置渲染為白色將去除所有其它顏色 和強度信息，并且因此極大地減少了圖像數(shù)據(jù)的大小。然后，所提取的數(shù)據(jù)可以以相對低的 處理需求來操作。下一個步驟206是識別圖像數(shù)據(jù)中的位置標記。這些圖像標記可以包括在圖像的 重疊部分中發(fā)現(xiàn)的任何可識別的特征。典型地，識別的圖像標記將取決于用于匯編提取的 符號數(shù)據(jù)的技術類型。作為一個示例，所提取的符號數(shù)據(jù)的子集可以被用作位置標記。在 這種情況下，可以使用上面描述的閾值化技術來識別位置標記。在一個具體實施例中，可以使用第二閾值來識別圖像標記。該第二閾值也可以是 預定值，或者它也可以針對每個圖像或針對每個合成文檔來統(tǒng)計地確定。再次地，這僅僅是 可以如何識別在圖像數(shù)據(jù)中的位置標記的一個示例。下一個步驟208是確定是否要分析和添加更多的圖像數(shù)據(jù)。當要分析更多的圖像 數(shù)據(jù)時，方法返回到步驟202并對下一個圖像執(zhí)行步驟204和206。該過程會繼續(xù)直到分析 了每個圖像的圖像數(shù)據(jù)并且提取了數(shù)據(jù)。然后，方法進行到步驟210。在步驟210中，從多個圖像提取的符號數(shù)據(jù)被匯編成 一個合成文檔。先前識別的位置標記用于確定所提取的符號數(shù)據(jù)的正確相對位置。此外， 位置標記和符號數(shù)據(jù)可以用于縮放所提取的符號數(shù)據(jù)，使得符號數(shù)據(jù)全部以相同的大小比 例進行匯編?？梢允褂枚喾N不同的技術來匯編所提取的符號數(shù)據(jù)。這些技術將典型地取決于用 于存儲合成文檔的格式。例如，可以利用與相應的符號和標記數(shù)據(jù)一起存儲的幀中的符號 和標記的位置來定義幀的大小。例如，在一種技術中，通過在符號和標記中搜索共有的模式來檢查所提取的圖像數(shù)據(jù)和識別的標記的重疊。一旦識別出重疊的標記，則來自每個圖像的數(shù)據(jù)的幀可以被排 列和拼接到一起。這可以使用諸如圖像配準和鑲嵌技術來完成。通常，圖像配準通過識別匹 配內(nèi)容將圖像的全部或者部分排列在另一副圖像的上面。類似地，鑲嵌是像拼圖一樣將圖 像拼接在一起。鑲嵌方法的一個示例將是使一幀的轉(zhuǎn)角附近的特征與另一幀的轉(zhuǎn)角相關， 并使用這些相關性將兩幀排列在一起。特征可以包括從原始圖像提取的符號數(shù)據(jù)和標記數(shù) 據(jù)兩者。因此，可以通過使用圖像配準技術對重疊部分進行排列來匯編所提取的圖像數(shù)據(jù)， 并且然后使用該信息來創(chuàng)建提取的數(shù)據(jù)的相鄰塊的鑲嵌。替代地，提取數(shù)據(jù)的鑲嵌可以僅 使用邊緣和轉(zhuǎn)角信息而不使用圖像配準來創(chuàng)建。如上所述，數(shù)據(jù)提取和匯編技術的一種潛在應用是捕獲寫在諸如白板的表面上的 文本和其它形狀。在這種應用中，拍攝的是白板的一部分的圖像。然后在圖像上使用諸如 閾值化的圖像提取過程。在這樣的過程之后，具有形狀或者其它文本的圖像的區(qū)域?qū)⒕哂?值1，而其它區(qū)域?qū)?。還有諸如污跡或者白板的邊緣的其它特征可以用作也將具有值1 的標記。使用絕對閾值，這樣的信息可以在靠近幀邊界的地方提取。然后我們可以使用合 適的壓縮算法進一步減小圖像的大小。接下來，拍攝幅覆蓋白板另一部分的另一圖像，其中有一些重疊的區(qū)域。然后對該 圖像應用數(shù)據(jù)提取。結果的提取數(shù)據(jù)將具有與從第一圖像提取的特征重疊的特征。由于對 兩幅圖像的捕獲設備和設置是已知的，所以兩個文檔之間的相對移位可以使用公知的算法 基于符號和標記的配準來估計。兩個文檔之間的相對移位能夠?qū)⑽臋n匯編成一個合成文檔。因此，該方法能夠從 多個拍攝裝置圖像中提取包括文本型和其它字符數(shù)據(jù)的符號數(shù)據(jù)，并將所提取的符號數(shù)據(jù) 匯編成合成文檔。該方法可以使用有限的資源來執(zhí)行該數(shù)據(jù)提取，并且因此可以在具有有 限的存儲和處理能力的數(shù)字拍攝裝置中實現(xiàn)。雖然以上技術已經(jīng)在該系統(tǒng)和方法的上下文中進行了描述，但是它們同樣可以應 用于其他實現(xiàn)。例如，它們可以利用任何類型的處理器和存儲系統(tǒng)被實現(xiàn)為計算機實現(xiàn)的 方法的一部分，包括諸如微處理器的單個集成電路，或者可以包括以協(xié)作方式完成處理單 元和存儲器的功能的任何合適數(shù)目的集成電路設備和/或電路板。也應當理解，系統(tǒng)和方 法的機制能夠作為程序產(chǎn)品以各種形式發(fā)布，并且本發(fā)明同樣可以應用而不考慮用于執(zhí)行 發(fā)布的計算機可讀信號承載媒體的特定類型。信號承載媒體的示例包括可記錄媒體，諸如 閃速存儲器、軟盤、硬盤、存儲卡和光盤。此處闡明的實施例和示例是為了最好地解釋本發(fā)明及其特定應用并由此使本領 域技術人員能夠制造和使用本發(fā)明而做出的。然而，本領域技術人員將意識到，前述描述和 示例僅僅是出于說明和示例為目的而做出的。所闡明的描述并不意在窮盡或者將本發(fā)明限 制成所公開的確切形式。在不違背權利要求精神的情況下，可以鑒于以上教導做出許多修 改和變化。
權利要求
一種處理數(shù)字拍攝裝置中的數(shù)字圖像的方法，所述方法包括以下步驟利用所述數(shù)字拍攝裝置生成第一數(shù)字圖像和第二數(shù)字圖像；從所述第一數(shù)字圖像和所述第二數(shù)字圖像中提取符號數(shù)據(jù)；識別所述第一數(shù)字圖像和所述第二數(shù)字圖像中的位置標記；以及基于所述第一數(shù)字圖像和所述第二數(shù)字圖像中的所述位置標記的相關性，將來自所述第一數(shù)字圖像和所述第二數(shù)字圖像中的所提取符號數(shù)據(jù)匯編成合成文檔。
2.如權利要求1所述的方法，其中，從所述第一數(shù)字圖像和所述第二數(shù)字圖像中提取 符號數(shù)據(jù)的步驟包括捕獲具有高于指定閾值的強度的像素數(shù)據(jù)以及丟棄具有低于所述指 定閾值的強度的像素數(shù)據(jù)。
3.如權利要求1所述的方法，其中，所述第一數(shù)字圖像和所述第二數(shù)字圖像包括顯示 器表面的部分重疊的圖像。
4.如權利要求3所述的方法，其中，所述顯示器表面包括白板，并且其中，所提取的符 號數(shù)據(jù)包括表示所述白板上的字跡的數(shù)據(jù)。
5.如權利要求1所述的方法，其中，從所述第一數(shù)字圖像中提取符號數(shù)據(jù)的步驟包括 捕獲具有高于閾值的強度的像素數(shù)據(jù)，其中從所述第一數(shù)字圖像的統(tǒng)計分析強度來確定所 述閾值。
6.如權利要求5所述的方法，其中，從所述第一數(shù)字圖像的所述強度的均值和標準差 的和來確定所述閾值。
7.如權利要求1所述的方法，其中，基于將來自所述第一數(shù)字圖像和所述第二數(shù)字圖 像中的所提取符號數(shù)據(jù)匯編成合成文檔的步驟包括利用圖像配準技術。
8.如權利要求1所述的方法，其中，將來自所述第一數(shù)字圖像和所述第二數(shù)字圖像中 的所提取符號數(shù)據(jù)匯編成合成文檔的步驟包括利用鑲嵌技術。
9.一種具體體現(xiàn)指令程序的處理器，所述指令用于執(zhí)行數(shù)字拍攝裝置中數(shù)字圖像處理 的方法步驟，所述處理器包括執(zhí)行以下步驟的機構利用所述數(shù)字拍攝裝置生成第一數(shù)字圖像和第二數(shù)字圖像；從所述第一數(shù)字圖像和所述第二數(shù)字圖像中提取符號數(shù)據(jù)；識別所述第一數(shù)字圖像和所述第二數(shù)字圖像中的位置標記；以及基于所述第一數(shù)字圖像和所述第二數(shù)字圖像中的所述位置標記的相關性，將來自所述 第一數(shù)字圖像和所述第二數(shù)字圖像中的所提取符號數(shù)據(jù)匯編成合成文檔。
10.如權利要求9所述的處理器，其中，從所述第一數(shù)字圖像和所述第二數(shù)字圖像中提 取符號數(shù)據(jù)的步驟包括捕獲具有高于指定閾值的強度的像素數(shù)據(jù)以及丟棄具有低于所述 指定閾值的強度的像素數(shù)據(jù)。
11.如權利要求9所述的處理器，其中，所述第一數(shù)字圖像和所述第二數(shù)字圖像包括白 板的部分重疊的圖像，并且其中，所提取的符號數(shù)據(jù)包括表示所述白板上的字跡的數(shù)據(jù)。
12.如權利要求9所述的處理器，其中，從所述第一數(shù)字圖像中提取符號數(shù)據(jù)的步驟包 括捕獲具有高于閾值的強度的像素數(shù)據(jù)，其中從所述第一數(shù)字圖像的統(tǒng)計分析強度來確 定所述閾值。
13.如權利要求12所述的處理器，其中，從所述第一數(shù)字圖像的所述強度的均值和標 準差的和來確定所述閾值。
14.如權利要求9所述的處理器，其中，基于將來自所述第一數(shù)字圖像和所述第二數(shù)字 圖像中的所提取符號數(shù)據(jù)匯編成合成文檔的步驟包括利用圖像配準技術。
15.如權利要求9所述的處理器，其中，將來自所述第一數(shù)字圖像和所述第二數(shù)字圖像 中的所提取符號數(shù)據(jù)匯編成合成文檔的步驟包括利用鑲嵌技術。
16.一種數(shù)字拍攝裝置中的數(shù)字處理系統(tǒng)，所述數(shù)字處理系統(tǒng)包括數(shù)據(jù)提取器，所述符號數(shù)據(jù)提取器被配置成接收由所述數(shù)字拍攝裝置生成的第一數(shù)字 圖像和第二數(shù)字圖像，并且從所述第一數(shù)字圖像和所述第二數(shù)字圖像中提取符號數(shù)據(jù)；以 及數(shù)據(jù)匯編器，所述數(shù)據(jù)匯編器被配置成識別所述第一數(shù)字圖像和所述第二數(shù)字圖像中 的位置標記，所述數(shù)據(jù)匯編器進一步被配置成基于所述第一數(shù)字圖像和所述第二數(shù)字圖像 中的所述位置標記的相關性來將來自所述第一數(shù)字圖像和所述第二數(shù)字圖像中的所提取 符號數(shù)據(jù)匯編成合成文檔。
17.如權利要求16所述的系統(tǒng)，其中，所述數(shù)據(jù)提取器被配置成通過捕獲具有高于指 定閾值的強度的像素數(shù)據(jù)來從所述第一數(shù)字圖像和所述第二數(shù)字圖像中提取符號數(shù)據(jù)。
18.如權利要求16所述的系統(tǒng)，其中，所述第一數(shù)字圖像和所述第二數(shù)字圖像包括白 板的部分重疊的圖像，并且其中，所提取的符號數(shù)據(jù)包括表示所述白板上的字跡的數(shù)據(jù)。
19.如權利要求16所述的系統(tǒng)，其中，所述數(shù)據(jù)提取器被配置成通過捕獲具有高于閾 值的強度的像素數(shù)據(jù)來從所述第一數(shù)字圖像中提取符號數(shù)據(jù)，其中從所述第一數(shù)字圖像的 統(tǒng)計分析強度來確定所述閾值。
20.如權利要求16所述的系統(tǒng)，其中，所述數(shù)據(jù)匯編器被配置成通過利用圖像配準和 鑲嵌技術將從所述第一數(shù)字圖像和所述第二數(shù)字圖像中提取的符號數(shù)據(jù)匯編成所述合成 文檔。
全文摘要
提供了一種用于數(shù)字拍攝裝置中的數(shù)據(jù)提取和匯編的系統(tǒng)和方法。該系統(tǒng)和方法能夠從多個拍攝裝置圖像提取包括文本型和其它字符型數(shù)據(jù)的符號數(shù)據(jù)，并將所提取的符號數(shù)據(jù)匯編成合成文檔。該系統(tǒng)和方法可以使用有限的資源來執(zhí)行該數(shù)據(jù)提取，并且因此可以在具有有限存儲和處理能力的數(shù)字拍攝裝置中實現(xiàn)。
文檔編號H04N5/225GK101965728SQ200980106608
公開日2011年2月2日 申請日期2009年2月23日 優(yōu)先權日2008年2月27日
發(fā)明者喬治·約翰 申請人:摩托羅拉公司