用于控制基于示例的圖像操縱的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及控制數(shù)字圖像的基于示例的操縱，例如控制基于示例的圖像彩色化。
【背景技術(shù)】
[0002]基于示例的圖像操縱是計算機視覺中相對新的領(lǐng)域。它在于利用示例來增強或修改圖像?；谑纠膱D像彩色化是其一個示例。在基于示例的圖像彩色化中，可以給出需要被彩色化的黑白輸入圖像?；蛘呖梢越o出彩色輸入圖像，其彩色化將被不同的彩色化取代。代替冗長乏味的手動彩色化處理，使用示例圖像的集合，由此對給出的輸入圖像(在下文也被稱為工件圖像)自動地進行彩色化。示例圖像應(yīng)當(dāng)至少部分地描繪與工件圖像相同的對象或景色。
[0003]用于基于示例的圖像操縱的許多最新水平的技術(shù)依賴于找到將被彩色化的工件圖像中的補片與給出的一個或多個示例圖像中的補片之間的補片對應(yīng)的步驟。然后，使用所找到的補片對應(yīng)將所選擇的圖像信號屬性(在下文也被稱為圖像特性)從一個或多個示例圖像轉(zhuǎn)移到工件圖像補片。
[0004]可以從一個圖像轉(zhuǎn)移到另一個圖像的信號屬性或圖像特性包括圖像分辨率、對比度、紋理、模糊強度、色彩或其他。在轉(zhuǎn)移色彩的具體情況下，可能期望選擇或者取消選擇個別的色彩通道?？梢栽O(shè)想，例如，在具體的彩色化項目中，給出示例圖像的具體范圍和質(zhì)量，則第一色彩通道優(yōu)先根據(jù)示例圖像的第一子集轉(zhuǎn)移，而另一個色彩通道可以根據(jù)示例圖像的另一個不同的子集最適當(dāng)?shù)剞D(zhuǎn)移。在隨后公開的部分中，將描述轉(zhuǎn)移色彩，相當(dāng)于圖像彩色化的行為(act)。然而，到目前為止應(yīng)當(dāng)清楚的是，本發(fā)明不局限于該申請。
[0005]US 5，732，230意圖公開一種用于操縱圖像片段使得圖像處理設(shè)備可以高效地處理特大型圖像的系統(tǒng)。該系統(tǒng)提供用戶界面(user interface)，使得當(dāng)特大型圖像被掃描成多個圖像片段時，用戶可以通過對它們執(zhí)行拖動(drag)、放開(drop)以及合并操作來操縱這些圖像片段。本發(fā)明的實施例包括使用觸摸屏或鼠標(biāo)以允許用戶執(zhí)行操作。諸如旋轉(zhuǎn)圖像片段、對在所顯示的片段的部分放大或縮小、將片段合并成完整的圖像以及存儲或打印圖像片段這樣的其他操作是可選擇的。

【發(fā)明內(nèi)容】

[0006]本發(fā)明開始于如下觀察，即盡管在算法細(xì)節(jié)方面大不相同，基于示例的圖像操縱典型地涉及下面的步驟:
[0007]-選擇將被操縱的一個或多個圖像作為工件圖像；
[0008]-選擇將被用作示例圖像的一個或多個圖像；
[0009]-選擇將被修改的圖像特性，這可以通過在一組單一目的圖像操縱工具中選取一個來隱含地給出；
[0010]-使用先前的選擇來開始圖像操縱處理本身。
[0011]在上文，“圖像”意思是不僅指作為個體文件存儲的單個靜止圖像，而且指圖像序列的緊密或非緊密子集和/或其空間子集。圖像可以是黑白的、任何種類的色彩的、計算機生成的、卡通繪畫或者甚至基于像紅外線或雷達這樣的不可見輻射。在下文中將使用“影像”來表示所有這些。
[0012]從用戶界面的視角來看，上面描述的步驟對應(yīng)于四個用戶交互步驟。連結(jié)這些步驟的已知實現(xiàn)方式構(gòu)成限制，因為控制圖像操縱的行為因而需要相當(dāng)多的時間。因此期望在處理的更高效控制的意義上的改進。
[0013]本發(fā)明提出用于控制基于示例的圖像操縱的方法，其允許上述用戶界面步驟全部嵌入在文件系統(tǒng)內(nèi)或者任何其他應(yīng)用軟件內(nèi)。為此，本發(fā)明提出使用多于一個輸入設(shè)備的用戶輸入動作(act1n)的組合。因此，預(yù)期的益處是基于示例的技術(shù)的更高的可用性(其轉(zhuǎn)化成增加的效率和生產(chǎn)率)以及操作員疲勞的降低。
[0014]例如，可以在標(biāo)題為“Image Analogies”的論文(發(fā)表于SIGGRAPH 2001的會議記錄，Annual Conference Series，327-340 頁)中、在標(biāo)題為 “Example-basedregularizat1n deployed to super-resolut1n reconstruct1n of a single image，，的論文(發(fā)表于The Computer Journal，2007年)中或者在標(biāo)題為“Non-rigid DenseCorrespondence with Applicat1ns for Image Enhancement，，的論文(發(fā)表于 ACMTrans.Graph，30，4，70:1-70:9)中找到基于示例的圖像操縱的發(fā)表。
[0015]本發(fā)明的目的是提供用于控制基于示例的圖像操縱器的改進方法。根據(jù)本發(fā)明，這通過包括下面步驟的方法來實現(xiàn):從作為定點設(shè)備(pointing device)的第一輸入設(shè)備接收開始坐標(biāo)；感測定點設(shè)備的運動時間間隔；接收定點設(shè)備的結(jié)束坐標(biāo)；使用開始坐標(biāo)和結(jié)束坐標(biāo)中的一個來標(biāo)識工件影像；使用開始坐標(biāo)和結(jié)束坐標(biāo)中的相應(yīng)的另一個來標(biāo)識示例影像；以及使圖像操縱器對工件影像執(zhí)行圖像操縱，使得根據(jù)示例影像的內(nèi)容來修改所選擇的圖像特性；其中，感測在至少部分的運動時間間隔的期間在第二輸入設(shè)備上執(zhí)行的交互，并且根據(jù)該交互來獲得所選擇的圖像特性。
[0016]本發(fā)明的另一個目的是提供替代的實施例。根據(jù)本發(fā)明，這可以通過第二輸入設(shè)備是鍵盤并且交互是按壓該鍵盤的鍵的方法、通過第二輸入設(shè)備是在定點設(shè)備上設(shè)置的另外的鍵并且交互是點擊這些另外的鍵中的一個的方法、通過第二輸入設(shè)備是第二定點設(shè)備并且交互是在其上將光標(biāo)移動到預(yù)先定義的一組位置中的一個處的方法、通過第二輸入設(shè)備是第二定點設(shè)備并且交互是在其上執(zhí)行預(yù)先定義的一組手勢中的一個的方法、通過第二輸入設(shè)備是語音輸入設(shè)備并且交互是將預(yù)先定義的一組命令中的一個說出到語音輸入設(shè)備中的方法、或者通過第二輸入設(shè)備是具有選擇輸入的腳踏板并且交互是經(jīng)由選擇輸入來輸入選擇的方法來實現(xiàn)。
[0017]為了進一步提高控制基于示例的圖像操縱器的效率，本發(fā)明的另一個目的由下面的方法給出:其中，標(biāo)識工件影像包括選擇多于一個圖像或者其部分，并且使圖像操縱器對工件影像的所有圖像或其部分執(zhí)行圖像操縱；或者，其中，標(biāo)識示例影像包括選擇多于一個圖像或者其部分，并且使圖像操縱器執(zhí)行圖像操縱，使得根據(jù)示例影像的所有圖像或其部分的內(nèi)容來修改所選擇的圖像特性。
【附圖說明】
[0018]本發(fā)明的示例性實施例在下面的描述中更詳細(xì)地說明，并且在下面的附圖中例示，附圖中:
[0019]圖1以流程圖的方式從用戶的視角例示本發(fā)明的第一示例性實施例的步驟；
[0020]圖2以流程圖的方式例示根據(jù)本發(fā)明的第一示例性實施例的對應(yīng)方法的步驟；
[0021]圖3以流程圖的方式從用戶的視角例示本發(fā)明的第二示例性實施例的步驟；
[0022]圖4以流程圖的方式例示根據(jù)本發(fā)明的第二示例性實施例的對應(yīng)方法的步驟；
[0023]圖5例示關(guān)于選擇圖像的分組的方法步驟；
[0024]圖6例示被裝配和配置為實施本發(fā)明的裝置。
【具體實施方式】
[0025]為了例示下面的示例性實施例的目的，假設(shè)可選擇作為示例圖像或工件圖像的圖像例如由顯示器601上的圖標(biāo)或縮略圖607來符號化(symbolize)。
[0026]圖1從用戶的觀點例示第一示例性實施例。在開始101，用戶選擇102第一圖像作為示例影像，其仍將被選擇的圖像特性將被轉(zhuǎn)移。用戶使用作為第一輸入設(shè)備的定點設(shè)備605上的第一交互來做這一點。
[0027]用戶界面可以例如通過第一圖像的符號的高亮或閃爍、通過使得除了第一圖像的符號之外的其他圖像符號灰化(greying)、通過在第一圖像的符號附近顯示氣球、或者通過在第一圖像的符號周圍顯示封閉邊界，對該選擇進行可視化(visualize)。
[0028]然后，用戶準(zhǔn)備移動103定點設(shè)備605以選擇工件影像，仍將被選擇的圖像特性將被轉(zhuǎn)移到該工件影像上。通過這個移動的行為，定義定點設(shè)備的運動時間間隔。
[0029]根據(jù)本發(fā)明，用戶在定點設(shè)備605的該運動時間間隔期間使用在第二輸入設(shè)備603、611、612、613、614上執(zhí)行的交互，來選擇104將被轉(zhuǎn)移的圖像特性。第二輸入設(shè)備可以是鍵盤603，在這種情況下，交互在于按壓該鍵盤的鍵604。替代地，第二輸入設(shè)備可以在于在定點設(shè)備605上設(shè)置的另外的鍵611，在這種情況下，交互在于點擊這些另外的鍵611中的一個。替代地，第二輸入設(shè)備可以是使用另一只手操作的第二定點設(shè)備612，在這種情況下，交互在于將光標(biāo)移動到預(yù)先定義的一組位置中的一個。使用相同的第二定點設(shè)備612，替代地，交互可以在于執(zhí)行預(yù)先定義的一組手勢中的一個。替代地，第二輸入設(shè)備可以是語音輸入設(shè)備613，在這種情況下，交互在于將預(yù)先定義的一組命令中的一個說出到語音輸入設(shè)備613中。替代地，第二輸入設(shè)備可以是具有選擇輸入615的腳踏板614，在這種情況下，交互在于用腳來激活這些中的任何一個。
[0030]用戶界面可以例如通過顯示代表所選擇的圖像特性的圖標(biāo)或符號和/或通過顯示表示第二輸入設(shè)備603、611、612、613、614的狀態(tài)的圖標(biāo)或符號(如同已經(jīng)被按壓的鍵盤鍵604 —樣)，對圖像特性選擇進行可視化。
[0031]使用在定點設(shè)備605上的第二交互，用戶然后選擇105第二圖像作為工件影像，之后，圖像操縱本身可以開始106，并且交互結(jié)束107。
[0032]定點設(shè)備605上的交互，包括選擇102示例影像和選擇105工件影像，可以以不同的方式來實施，其全部意味著在本發(fā)明的范圍內(nèi)。在其一個示例中，定點設(shè)備上的第一交互是定點設(shè)備605上的選擇元件606的點擊和保持操作；移動的行為通常被已知為拖動操作，亦即移動定點設(shè)備605同時保持所選擇的606 ;并且在定點設(shè)備605上的第二交互是放開操作，亦即釋放選擇元件606的行為。在其另一個示例中，在定點設(shè)備605上的第一交互是選擇元件606的點擊和釋放操作；移動的行為只不過是移動定點設(shè)備605 ;并且在定點設(shè)備605上的第二交互是選擇元件606的另一個點擊和釋放操作。
[0033]圖2例示從開始201到結(jié)束209的用于控制基于示例的圖像操作器602的相關(guān)技術(shù)方法，其包括下面的步驟:
[0034]-從作為定點設(shè)備605的第一輸入設(shè)備接收202開始坐標(biāo)；
[0035]-使用203開始坐標(biāo)來標(biāo)識第一圖像作為示例影像；
[0036]-從第二輸入設(shè)備603、611、612、613、614接收204選擇信息；
[0037]-根據(jù)選擇信息來獲得205所選擇的圖像特性；
[0038]-從定點設(shè)備605接收206結(jié)束坐標(biāo)；
[0039]-使用207結(jié)束坐標(biāo)來標(biāo)識第二圖像作為工件影像；
[0040]-使208圖像操縱器602應(yīng)用基于示例的圖像操縱，以將所選擇的圖像特性從示例影像轉(zhuǎn)移到工件影像。
[0041]其中，如在圖2中用符號表示的那樣，接收202開始坐標(biāo)的步驟必須在使用203開始坐標(biāo)的步驟之前執(zhí)行。接收204選擇信息的步驟必須在根據(jù)選擇信息來獲得205的步驟之前執(zhí)行。接收206結(jié)束坐標(biāo)的步驟必須在使用207結(jié)束坐標(biāo)的步驟之前執(zhí)行。并且使208圖像操縱器602操作的步驟必須在使用203開始坐標(biāo)、根據(jù)選