專利名稱：運動圖像處理設備及其方法
技術領域：
本發(fā)明涉及執(zhí)行幀速率轉換的運動圖像處理設備。
背景技術：
存在一種倍速驅動方法，所述倍速驅動方法用于通過從一個輸入幀產生多個子幀 并順序地再現所述多個子幀來增大幀速率。日本專利申請?zhí)亻_No. 2002-351382討論了這 種倍速驅動方法的一個例子，所述例子減少當輸入幀中的圖像運動時可能被感測的虛假輪 廓的出現。 日本專利申請?zhí)亻_No. 2002-351382討論了一種技術，所述技術在輸入幀中的圖
像的運動較大時減小從輸入幀產生的兩個子幀中的一個子幀的高頻分量。 但是，當顯示子幀時，存在會導致觀看者感覺不正常的輸入幀。更具體地，如果輸
入幀中的圖像的運動較大，那么，即使減小子幀的高頻分量，也會由于殘留在子幀中的亮度
分量而產生拖影(拖尾)。
發(fā)明內容
本發(fā)明針對一種運動圖像處理設備及其方法，所述運動圖像處理設備減少當顯示 從輸入幀產生的子幀時在顯示圖像中感測到的不正常感。 根據本發(fā)明的一個方面，提供一種被配置為從一個輸入幀產生多個輸出幀的運動 圖像處理設備，所述運動圖像處理設備包括輸入單元，被配置為輸入第一輸入幀和接在第 一輸入幀之后的第二輸入幀；確定單元，被配置為確定用于從第一輸入幀產生至少第一輸 出幀和第二輸出幀的第一分配比率，并根據第二輸入幀中的圖像的運動確定用于從第二輸 入幀產生至少第三輸出幀和第四輸出幀的第二分配比率；以及產生單元，被配置為基于第 一分配比率從第一輸入幀產生第一輸出幀和第二輸出幀，并基于第二分配比率從第二輸入 幀產生第三輸出幀和第四輸出幀。 通過參照附圖閱讀示例性實施例的以下的詳細描述，本發(fā)明的其它特征和方面將 變得清晰。
被包含于說明書中并構成其一部分的附圖示出本發(fā)明的示例性實施例、特征和方 面，并與描述一起用于說明本發(fā)明的原理。
圖1是示出根據本發(fā)明的第一示例性實施例的運動圖像處理設備的框圖。
圖2是示出通過根據本發(fā)明的第一示例性實施例的運動圖像處理設備執(zhí)行的處
理的流程圖。 圖3是示出通過根據本發(fā)明的第一示例性實施例的分配比率校正單元執(zhí)行的處 理的流程圖。 圖4是示出根據本發(fā)明的第一示例性實施例的設定各區(qū)域的分配比率的處理的
4流程圖。 圖5示出根據校正后的分配比率的輸出的第一例子。
圖6示出根據校正后的分配比率的輸出的第二例子。 圖7示出用戶觀看根據校正后的分配比率的輸出時的畫面的亮度的例子。
圖8是示出根據本發(fā)明的第二示例性實施例的運動圖像處理設備的框圖。
圖9是示出通過根據本發(fā)明的第二示例性實施例的運動圖像處理設備執(zhí)行的處 理的流程圖。 圖10是示出通過根據本發(fā)明的第二示例性實施例的分配比率校正單元執(zhí)行的處 理的流程圖。 圖11A、圖IIB和圖IIC示出根據本發(fā)明的第二示例性實施例的容許量計算單元的 輸入和輸出的例子。 圖12示出用戶觀看根據本發(fā)明的第二示例性實施例的校正后的分配比率的輸出 時的畫面的亮度的第一例子。 圖13示出用戶觀看根據本發(fā)明的第二示例性實施例的校正后的分配比率的輸出 時的畫面的亮度的第二例子。 圖14是示出分配比率為5 : 5時的顯示輸出和可見輸出的示意圖的例子。
圖15是示出分配比率為9 : 1時的顯示輸出和可見輸出的示意圖的例子。
圖16是示出在配置中包括低通濾波器(LPF)時的顯示輸出和可見輸出的示意圖 的例子。 圖17示出根據基于運動量確定的分配比率的子幀的輸出的例子。 圖18示出用戶觀看根據基于運動量確定的分配比率的子幀的輸出時的畫面的亮
度的例子。
具體實施例方式
以下，將參照附圖詳細描述本發(fā)明的各個示例性實施例、特征和方面。
示例性實施例是例子，并且本發(fā)明不限于這些例子。
圖1是示出根據本發(fā)明的第一示例性實施例的運動圖像處理設備的主要部分的
配置的框圖。運動圖像處理設備包括分配比率計算單元101、分配比率校正單元102、分配
比率存儲單元103、分配處理單元104、差值處理單元105和切換單元106。 此外，根據本示例性實施例的運動圖像處理設備連接到用于捕獲和輸入運動圖像
的運動圖像輸入設備(例如攝像機)和顯示運動圖像的顯示設備(例如數字電視)。運動
圖像處理設備可被包含到運動圖像輸入設備或顯示設備中。 此外，根據本示例性實施例的運動圖像處理設備基于確定的分配比率從一個輸入 幀產生多個子幀(輸出幀)。于是，通過順序地顯示所述子幀(即執(zhí)行倍速驅動)，輸入幀 的幀速率被增大為原始幀速率的多倍。 更具體而言，在本示例性實施例中，如果確定的分配比率為8 : 2，那么運動圖像 處理設備產生像素值為輸入幀的像素值的0. 8倍的第一子幀。運動圖像處理設備還產生像 素值為輸入幀的像素值的0. 2倍的第二子幀。 根據本示例性實施例的運動圖像處理設備根據過去的分配比率對基于輸入幀中
5的圖像的運動量計算的分配比率進行校正。分配比率計算單元101由此基于在各輸入幀之 間檢測的運動量來計算分配比率R'。 分配比率校正單元102根據存儲在分配比率存儲單元103中的過去的輸入幀的分 配比率，校正由分配比率計算單元101計算的分配比率R'。然后，分配處理單元104和差 值處理單元105根據由分配比率校正單元102校正后的分配比率R從輸入幀產生子幀。
此外，本示例性實施例描述輸入幀的幀速率(60幀/秒)被轉換成輸出幀的幀速 率(120幀/秒)的情況。但是，本發(fā)明不限于此。此外，本發(fā)明可應用于從一個輸入幀產 生三個或更多個子幀的示例性實施例。 分配比率計算單元101在時間t接收來自運動圖像輸入設備的輸入幀Ft和輸入 幀Ft+1 。此外，要在輸入幀Ft之前再現的輸入幀Ft-l和該輸入幀Ft在時間t-l被輸入到 分配比率計算單元IOI。第一輸入幀(即輸入幀Ft-l)和接在第一輸入幀之后的第二輸入 幀(即輸入幀Ft)由此被輸入到分配比率計算單元101。 此外，第三輸入幀(即輸入幀Ft+l)被輸入到分配比率計算單元101。然后，分配 比率計算單元101在輸入幀中根據輸入幀Ft和Ft+1計算輸入幀Ft的分配比率Rt'。
輸入幀Ft是要在時間t再現的幀的數據，并且，輸入幀Ft+1是要在輸入幀Ft之 后(即，在時間t+l)再現的幀的數據。在本示例性實施例中，從輸入幀產生的子幀被再現。
此外，在本示例性實施例中，從輸入幀Ft產生兩個子幀(Pt、 Qt)。如果輸入幀Ft 的分配比率是6 : 4，那么子幀Pt的像素值為輸入幀Ft的0.6倍，子幀Qt的像素值為輸入 幀Ft的0.4倍。 在子幀Qt之前再現子幀Pt。在本示例性實施例中，基于子幀Q和輸入幀F的像素 值的比來描述分配比率。例如，如果輸入幀Ft的分配比率為7 : 3，那么，子幀Pt的像素值 為輸入幀Ft的像素值的0. 7倍，子幀Qt的像素值為輸入幀Ft的像素值的0. 3倍。這種情 況下的分配比率被表示為0. 3。 類似地，例如，如果分配比率為9 : l，那么該比率被表示為O. l，并且，如果分配比 率為6 : 4，那么該比率被表示為0.4。 此外，在本示例性實施例中，子幀的分配比率被確定為使得子幀P的像素值變得
比子幀Q的像素值高。結果，分配比率被設定為0.0與0.5之間。分配比率還可被更精細
地確定，或者可被設定為使得子幀Q的像素值變得比子幀P的像素值高。 如上所述，根據本示例性實施例的運動圖像處理設備從輸入幀產生兩個輸出幀
(即，子幀P和子幀Q)。幀速率由此從60幀每秒被轉換成120幀每秒。 分配比率計算單元101基于在輸入幀之間檢測的運動量計算分配比率R'。更具
體而言，分配比率計算單元101計算輸入幀Ft和輸入幀Ft+l之間的差值，以檢測輸入幀Ft
中的運動區(qū)域和該運動區(qū)域的運動量。 如果檢測的運動量較大，那么分配比率計算單元101計算輸入幀Ft的分配比率 Rt'，使得產生的多個子幀P和Q的像素值之間的差值變得較大。 出于以下的原因，根據運動量計算分配比率。如果輸入幀Ft中的運動量較大并且 子幀Pt和Qt的像素值之間的差值較小，那么運動區(qū)域的運動模糊會變得明顯。
相反，如果與子幀Pt的像素值相比，子幀Qt的像素值足夠低，那么，即使當輸入幀 之間的運動量較大時，由顯示子幀Qt導致的運動圖像的運動模糊也會變得不明顯。
根據本示例性實施例的分配比率計算單元101由此計算輸入幀Ft的分配比率 Rt'，使得子幀Pt和Qt的像素值的差值隨著運動量的增大而增大。在本示例性實施例中， 當分配比率為IO : 0(0.0)時，子幀Pt和Qt的像素值之間的差值最大。
用于獲取運動量的方法不限于使用像素值之間的差值的方法。例如，可從諸如運 動矢量信息之類的運動信息獲取運動量。然后，分配比率計算單元101將計算的分配比率 Rt'輸出到分配比率校正單元102。 分配比率校正單元102根據以前的分配比率校正從分配比率計算單元101輸出的 分配比率Rt'。更具體而言，分配比率校正單元102根據輸入幀Ft-1的分配比率Rt-1校 正輸入幀Ft的分配比率Rt'。由分配比率校正單元102獲取的校正后的分配比率被稱為 Rt。 此外，分配比率Rt-1是通過由分配比率校正單元102對基于輸入幀Ft和在輸入 幀Ft之前輸入的輸入幀Ft-l計算的分配比率Rt' -l進行校正而獲取的分配比率。分配 比率校正單元102校正計算的分配比率Rt'，使得輸入幀Ft的分配比率Rt和對于以前的 輸入幀確定的分配比率之間的差值在預定的范圍內。以下將參照圖3詳細描述由分配比率 校正單元102執(zhí)行的校正分配比率的處理。 分配比率校正單元102將校正后的分配比率Rt輸出到分配比率存儲單元103和 分配處理單元104?？梢栽诓恍Ｕ齺碜苑峙浔嚷视嬎銌卧?01的輸出的情況下將從運動圖 像輸入設備輸入的第一輸入幀的分配比率輸出到分配處理單元104。 分配比率存儲單元103存儲直到目前為止已輸入的輸入幀的校正后的分配比率
R。分配比率存儲單元103還將存儲的分配比率R輸出到分配比率校正單元102。 分配處理單元104根據輸入幀的像素值和校正后的分配比率產生子幀Q。例如，如
果輸入幀Ft的校正后的分配比率為7 : 3(0. 3)，那么分配處理單元104通過將輸入幀Ft
的像素值乘以0. 3產生子幀Qt。然后，分配處理單元104通過切換單元106輸出產生的子
幀Q的數據。 然后，差值處理單元105基于子幀Q和輸入幀F產生子幀P。例如，如果輸入幀Ft 的校正后的分配比率為7 : 3(0. 3)，那么差值處理單元105通過獲取輸入幀Ft和子幀Qt 之間的差值產生子幀Pt。 如上所述，分配處理單元104通過將輸入幀Ft的像素值乘以0. 3產生子幀Qt。也 可通過將輸入幀Ft的像素值乘以0. 7產生子幀P。然后，分配處理單元104通過切換單元 106輸出產生的子幀P的數據。 換句話說，分配處理單元104和差值處理單元105基于第一分配比率(即，Rt-l) 從第一輸入幀(即，輸入幀Ft-l)產生第一輸出幀(即，子幀Pt-l)和第二輸出幀(即，子 幀Qt-l)。 此外，分配處理單元104和差值處理單元105基于第一分配比率(即，Rt)從第二 輸入幀(即，輸入幀Ft)產生第三輸出幀(g卩，子幀Pt)和第四輸出幀(g卩，子幀Qt)。
切換單元106交替切換輸出，使得子幀P和子幀Q被順序地輸出。如上所述，從輸 入幀Ft產生的子幀以子幀Pt和子幀Qt的次序被輸出。此外，在子幀Qt之后順序地輸出 從輸入幀Ft+1產生的子幀Pt+1和子幀Qt+1。 此外，在本示例性實施例中，從一個輸入幀產生的多個子幀的像素值的總和等于輸入幀的像素值。例如，子幀Pt和子幀Qt的像素值的總和等于輸入幀Ft的像素值。
但是，可通過在差值處理單元105中包括信號轉換功能使得子幀的信號值的總和 與輸入幀的信號值不同。 以下，將參照圖2描述在本示例性實施例中執(zhí)行的處理。 圖2是示出由根據本示例性實施例的運動圖像處理設備執(zhí)行的處理的流程圖。本
示例性實施例描述當通過硬件配置圖l所示的部件時執(zhí)行的處理。但是，也可通過中央處
理單元(CPU)實現圖2所示的處理，該中央處理單元通過從隨機存取存儲器(RAM)讀出并
以適當方式執(zhí)行根據本示例性實施例的程序，控制整個運動圖像處理設備。 通過由用戶接通諸如數字電視(TV)之類的顯示設備的電源，啟動圖2所示的處
理。作為替代方案，可通過在顯示設備中設定執(zhí)行倍速驅動的模式來執(zhí)行處理。 在步驟S101 ( S卩，輸入步驟)中，多個輸入幀從運動圖像輸入設備被輸入到分配比
率計算單元101。在本例子中，輸入幀Ft和Ft+l被輸入。也可輸入三個或更多個輸入幀。
在將所述多個輸入幀輸入到分配比率計算單元101之后，處理前進到步驟S102。 在步驟S102中，分配比率計算單元101從在步驟S101中接收的所述多個輸入幀
(Ft和Ft+l)計算分配比率Rt'。如上所述，分配比率計算單元101根據從輸入幀Ft和
Ft+1之間的差值檢測的輸入幀Ft的運動量，計算輸入幀Ft的分配比率Rt'。 此外，在步驟S102中，分配比率計算單元101基于從接在第二輸入幀之后的第
三輸入幀(Ft+1)和該第二輸入幀之間的差值檢測的運動區(qū)域的位移量，確定第二輸入幀
(Ft)內的圖像的運動。 但是，可從所述幀之后的幀、所述幀之前的幀或所述幀之前和之后的幀檢測所述 幀內的圖像的運動。此外，可從諸如運動矢量信息之類的運動信息獲取運動量。在這種情 況下，分配比率計算單元101不必在步驟S101中接收多個輸入幀。 在分配比率計算單元101將輸入幀Ft的計算的分配比率Rt'輸出到分配比率校 正單元102之后，處理前進到步驟S103。在步驟S103(確定步驟)中，分配比率校正單元 102根據過去的分配比率校正從分配比率計算單元101輸出的輸入幀Ft的分配比率Rt'。 然后，分配比率校正單元102確定輸入幀Ft的分配比率Rt。 更具體而言，分配比率校正單元102校正計算的分配比率Rt'，使得輸入幀Ft的 分配比率Rt和對于過去的輸入幀確定的分配比率之間的差值在預定的范圍內。分配比率 校正單元102由此從第二輸入幀(輸入幀Ft)確定用于產生相應的第三輸出幀(子幀Pt) 和第四輸出幀(子幀Qt)的分配比率Rt。 分配比率校正單元102以前已從第一輸入幀(輸入幀Ft-l)確定了用于產生相應 的第一輸出幀(子幀Pt-l)和第二輸出幀(子幀Qt-l)的分配比率Rt-l。
換句話說，分配比率校正單元102確定與第三和第四輸出幀(子幀Pt和Qt)對 應的圖像信號的比率Rt。分配比率校正單元102根據與第一和第二輸出幀(子幀Pt-l和 Qt-l)對應的圖像信號的比率以及第二輸入幀(輸入幀Ft)內的圖像的運動確定比率Rt。
因此，分配比率校正單元102將校正的分配比率Rt輸出到分配比率存儲單元103 和分配處理單元104。然后，處理前進到步驟S104。以下，將參照圖3詳細描述由分配比率 校正單元102執(zhí)行的校正分配比率的處理。 在步驟S104(產生步驟)中，分配處理單元104基于輸入幀Ft和從分配比率校正單元102輸出的分配比率Rt產生子幀Qt。例如，如果輸入幀Ft的校正后的分配比率Rt為 7 : 3(0.3)，那么分配處理單元104產生像素值為輸入幀Ft的像素值的0.3倍的子幀Qt。
然后，分配處理單元104將產生的子幀Qt輸出到差值處理單元105。此外，由分配 處理單元104產生的子幀Qt通過切換單元106被輸出到運動圖像處理設備的外部。
例如，諸如顯示器之類的顯示設備或諸如硬盤驅動器之類的存儲裝置是外部裝 置。但是，本發(fā)明不限于這些裝置。 在分配處理單元104將子幀Qt輸出到差值處理單元105之后，處理前進到步驟 S105。在步驟S105(產生步驟)中，差值處理單元105基于輸入幀Ft和從分配處理單元 104輸出的子幀Qt產生子幀Pt。 更具體而言，差值處理單元105產生輸入幀Ft和子幀Qt之間的差值作為子幀Pt。 如果輸入幀Ft的校正后的分配比率Rt為7 : 3(0.3)，那么通過將輸入幀Ft的像素值乘以 0. 7產生子幀Pt。 然后，由差值處理單元105產生的子幀Pt通過切換單元106被輸出到外部。在差 值處理單元105產生子幀Pt之后，處理返回步驟S101 。然后，基于輸入幀Ft+1和Ft+2，確 定輸入幀Ft+1的分配比率，并且，產生并輸出子幀Pt+1和Qt+1。 以下將參照圖3描述校正分配比率的處理。圖3是示出由分配比率校正單元102 執(zhí)行的校正分配比率R'的處理的流程圖。圖3的處理與由圖2所示的步驟S103執(zhí)行的處
理對應。 在本示例性實施例中，將描述校正輸入幀Ft的分配比率Rt'的情況。
如上所述，在本示例性實施例中，基于子幀Q和輸入幀F的像素值之間的比率表達 分配比率。例如，如果輸入幀Ft的分配比率為7 : 3，那么子幀Pt的像素值為輸入幀Ft的 像素值的0. 7倍，并且，子幀Qt的像素值為輸入幀Ft的像素值的0. 3倍。分配比率由此被 表示為O. 3。 此外，在本示例性實施例中，子幀的分配比率被確定為使得子幀P的像素值變得 比子幀Q的像素值高。此外，在本示例性實施例中，0.2的分配比率比O. 1的分配比率高。 換句話說，當分配比率變得更高時，子幀P和Q的像素值變得更接近。 在步驟S200中，分配比率校正單元102從分配比率計算單元101獲取輸入幀Ft 的分配比率Rt'。分配比率校正單元102還從分配比率存儲單元103獲取過去的分配比率 Rt-l。 分配比率Rt-l是在輸入幀Ft之前輸入的輸入幀Ft-l的被分配比率校正單元102 校正后的分配比率。分配比率存儲單元103由此存儲在產生要被實際再現的子幀時使用的 分配比率數據。 在本示例性實施例中，分配比率校正單元102僅獲取輸入幀Ft-l的校正后的分配 比率。但是，分配比率校正單元102可獲取多個過去的分配比率。例如，分配比率校正單元 102可集體獲取輸入幀Ft-2的分配比率Rt-2和輸入幀Ft-3的分配比率Rt-3。
在分配比率校正單元102獲取分配比率Rt'和先前的分配比率Rt-l之后，處理前 進到步驟S201。在步驟S201中，分配比率校正單元102計算過去的分配比率Rpast。在本 示例性實施例中，由于分配比率校正單元102僅在步驟S200中獲取輸入幀Ft-l的分配比 率Rt-l，因此Rpast變?yōu)榕cRt-l相同的值。
9
但是，如果分配比率校正單元102獲取多個輸入幀的分配比率，那么分配比率校 正單元102通過基于與輸入幀Ft的在再現次序方面的接近度對各分配比率加權，獲取 Rpast。例如，通過設定在步驟S201中示出的al an的值中的每一個使得al an的和 變?yōu)閘，獲取Rpast。在分配比率校正單元102計算過去的分配比率Rpast之后，處理前進 到步驟S202。 在步驟S202中，分配比率校正單元102通過使用分配比率Rt'、過去的分配比率 Rpast、容許變化時間THT和假定的容許變化量THL'，計算分配比率的容許變化量THLt。以 下將描述計算分配比率的容許變化量THLt的方法。容許變化時間THT是預設的值(例如， 2幀的時段)。 分配比率校正單元102計算所計算的分配比率Rt'和過去的分配比率Rpast之間 的差值的絕對值。結果，可獲取根據運動量計算的分配比率Rt'與過去的輸入幀的分配比 率Rpast之間的差值。 然后，將計算的分配比率Rt'和過去的分配比率Rpast之間的差值除以假定的容 許變化量THL'。由此可獲取填充分配比率Rt'和過去的分配比率Rpast之間的差值所需 的最少幀數。例如，如果基于運動量計算的輸入幀Ft的分配比率為0. 5并且過去的輸入幀 的分配比率Rpast為0. 2，那么差值的絕對值為0. 3。 此外，如果假定的容許變化量THL'為O. l，那么，根據上述的容許變化量THL'， 輸入幀Ft的分配比率必須為0. 1與0. 3之間。更具體而言，輸入幀Ft的分配比率Rt必須 在比過去的輸入幀的分配比率Rpast (0. 2)大0. 1和小0. 1的值之間，S卩，為0. 1與0. 3之間。 此夕卜，當過去的幀的分配比率Rpast以假定的容許變量化THT' (0. 1)遞增時，隨
后的第三輸入幀(輸入幀Ft+2)的分配比率變?yōu)橛嬎愕姆峙浔嚷蔙t'。 由此可通過從計算的最少幀數減去與容許變化時間THT對應的幀數來確定是否
可在容許變化時間內實現計算的分配比率Rt。例如，如果在上述的例子中容許變化時間
THT是兩幀時段，那么確定將不在容許變化時間內實現分配比率Rt'。 在這種情況下，分配比率校正單元102參照查找表(LUT)并確定容許變化量THL。
換句話說，如果當分配比率Rt'變化假定的容許變化量THL'時在容許變化時間THT內實
現該分配比率，則LUT輸出"1"。假定的容許變化量THL'由此被設為容許變化量THL。 另一方面，如果當分配比率Rt'在由假定的容許變化量THL'表示的范圍內變化
時不在容許變化時間THT內實現該分配比率，那么LUT輸出比1大的值。 容許變化量THL是假定的容許變化量和LUT的輸出值的乘積。結果，容許變化量
THL變?yōu)楸燃俣ǖ娜菰S變化量THL'大的值。更具體而言，分配比率校正單元102通過使用
LUT確定是優(yōu)先考慮容許變化量還是容許變化時間。如果LUT輸出比1大的值，那么假定的
容許變化量THL'被忽略。 可基于用戶設定來確定優(yōu)先考慮容許變化量或容許變化時間。例如，如果設定被
規(guī)定為抑制由于分配比率的急劇變化導致的顯示畫面的亮度的變化，那么，即使當不能在
容許變化時間THT內實現分配比率Rt'時，LUT也可輸出"1"。本示例性實施例的分配比
率校正單元102由此基于LUT確定是優(yōu)先考慮容許變化量還是容許變化時間。 在分配比率校正單元102計算分配比率的容許變化量THLt之后，處理前進到步驟S203。在步驟S203中，分配比率校正單元102將過去的分配比率Rpast和在步驟S201中 計算的容許變化量THLt的和與通過分配比率計算單元101計算的分配比率Rt'相比較。
更具體而言，分配比率校正單元102確定分配比率Rt'是否大于過去的分配比率 Rpast和容許變化量THLt的和。如果分配比率Rt'大于過去的分配比率Rpast和容許變 化量THLt的和(在步驟S203中為"是")，那么處理前進到步驟S205。另一方面，如果分配 比率Rt'小于或等于過去的分配比率Rpast和容許變化量THLt的和(在步驟S203中為 "否")，那么處理前進到步驟S204。 在步驟S205中，分配比率校正單元102將過去的分配比率Rpast和容許變化量 THLt的和設為輸入幀Ft的校正后的分配比率Rt。換句話說，如果由分配比率計算單元IOI 計算的分配比率Rt'被確定為大于過去的分配比率Rpast和容許變化量THLt的和，那么如 下面描述的那樣確定校正后的分配比率Rt。 分配比率校正單元102將分配比率Rt'校正為容許變化量內的最高分配比率，并 由此確定分配比率Rt。在分配比率校正單元102確定分配比率Rt之后，處理前進到步驟 S208。 另一方面，在步驟S204中，分配比率校正單元102將過去的分配比率Rpast和在 步驟S201中計算的容許變化量THLt之間的差值與由分配比率計算單元101計算的分配比 率Rt'相比較。分配比率校正單元102由此確定分配比率Rt'是否小于過去的分配比率 Rpast和容許變化量THLt之間的差值。 如果確定分配比率Rt'小于過去的分配比率Rpast和容許變化量THLt之間的差 值(在步驟S204中為"是")，那么處理前進到步驟S206。如果確定分配比率Rt'大于或 等于過去的分配比率Rpast和容許變化量THLt之間的差值(在步驟S204中為"否")，那 么處理前進到步驟S207。 在步驟S206中，分配比率校正單元102將過去的分配比率Rpast和容許變化量 THLt之間的差值設為輸入幀Ft的校正后的分配比率Rt。 更具體而言，如果確定由分配比率計算單元101計算的分配比率Rt'小于過去的 分配比率Rpast和容許變化量THLt之間的差值(在步驟S204中為"是")，那么如下面描 述的那樣確定分配比率Rt。 分配比率校正單元102將分配比率Rt'校正為在容許變化量內最低的分配比率， 并由此確定分配比率Rt。在確定校正后的分配比率Rt之后，處理前進到步驟S208。
在步驟S207中，分配比率校正單元102確定分配比率Rt'作為校正后的分配比率 Rt。分配比率校正單元102由此不校正由分配比率計算單元101計算的分配比率Rt'。
如上所述，當由分配比率計算單元101計算的分配比率Rt'在過去的分配比率 Rpast的容許變化量內時，本示例性實施例中的分配比率校正單元102不校正分配比率。在 分配比率被確定之后，處理前進到步驟S208。 結果，在步驟S204 步驟S207中，分配比率校正單元102如下面描述的那樣確定 與第三輸出幀(子幀Pt)對應的圖像信號和與第四輸出幀(子幀Qt)對應的圖像信號的比 率(即，第二比率)。 分配比率校正單元102確定分配比率Rt，使得與第一輸出幀對應的圖像信號和與 第二輸出幀對應的圖像信號的比率(即，第一比率)與第二比率之間的差值小于或等于預定的值。第一輸出幀與子幀Pt-1對應，并且，第二輸出幀與子幀Qt-l對應。
此外，分配比率計算單元101設定與第三輸出幀(子幀Pt)和第四輸出幀(子幀 Qt)對應的圖像信號之間的比率的容許范圍。基于與第一輸出幀(子幀Pt-l)和第二輸出 幀(子幀Qt-l)對應的圖像信號之間的比率來設定它。 在本示例性實施例中，容許范圍為從Rpast-THL到Rpast+THL。然后，分配比率校 正單元102根據設定的容許范圍和第二輸入幀(輸入幀Ft)中的圖像的運動計算與第三輸 出幀和第四輸出幀對應的圖像信號之間的比率。 此外，分配比率計算單元101計算分配比率Rt'，使得子幀Pt和Qt之間的差值隨 著輸入幀Ft中的圖像的運動量的增大而增大。因此，分配比率校正單元102也確定分配比 率Rt，使得當輸入幀Ft內的運動量更大時子幀Pt和子幀Qt之間的差值變得更大。
更具體而言，當第二輸入幀(輸入幀Ft)中的運動為第一量時，分配比率校正單元 102如下面描述的那樣確定第三輸出幀(子幀Pt)和第四輸出幀(子幀Qt)的圖像信號之 間的分配比率。 分配比率校正單元102將第三輸出幀和第四輸出幀的圖像信號之間的差值確定 為大于當第二輸入幀中的運動是比第一量小的第二量時確定的第三輸出幀和第四輸出幀 的圖像信號之間的差值。 第三輸出幀和第四輸出幀是從第二輸入幀(輸入幀Ft)產生的子幀。此外，第四 輸出幀(子幀Qt)是在第三輸出幀(子幀Pt)之后再現的輸出幀。 在步驟S208中，分配比率校正單元102將確定的分配比率Rt輸出到分配比率存
儲單元103和分配處理單元104。用于校正分配比率的處理由此結束。 圖5和圖6示出基于通過執(zhí)行上述的處理校正的分配比率R的分配比率的變化。
參照圖5，校正后的分配比率和先前輸入幀的分配比率之間的變化量小于或等于容許變化
量THL。 參照圖6，由分配比率計算單元101計算的分配比率Rt'變成由容許變化時間THT 指示的幀數內的輸入幀的分配比率。 更具體而言，分配比率校正單元102逐漸改變分配比率，使得在容許變化時間THT 內實現分配比率Rt'。即使當由分配比率計算單元101計算的分配比率Rt'超過從過去 的分配比率的容許變化量THL的范圍時，也實現分配比率Rt'。 但是，取決于分配比率Rt'和容許變化量THL，存在僅能滿足其中的一個條件的 情況。在這種情況下，分配比率校正單元102基于LUT確定要優(yōu)先考慮哪個條件。
如在步驟S202中描述的那樣，基于用戶設定確定是優(yōu)先考慮容許變化量還是容 許變化時間。例如，如果設定被規(guī)定為抑制由于分配比率的急劇變化導致的顯示畫面的亮 度的變化，那么，即使當不在容許變化時間THT內實現分配比率Rt'時，LUT也可輸出1。換 句話說，LUT輸出的最大值被設為1。 另一方面，如果設定被規(guī)定為優(yōu)先考慮容許變化時間，那么LUT輸出的最大值被 設為比1大，以在容許變化時間內實現分配比率Rt'。如上所述，本示例性實施例中的分配 比率校正單元102基于LUT確定是優(yōu)先考慮容許變化量還是容許變化時間。
此夕卜，圖7示出如圖6所示的那樣校正分配比率時的顯示畫面上的可見亮度的變 化的例子。參照圖7，可見亮度的變化小于或等于容許變化量THL。
相反，如果如圖17所示的那樣不校正分配比率，那么，當分配比率急劇變化時，觀 看者看出亮度急劇變化。其原因在于，當連續(xù)再現的子幀的亮度的和較高時，觀看者看出顯 示較亮。 在圖17的例子中，直到顯示第八個子幀，不存在由于分配比率的變化導致的畫面 的亮度的變化。但是，當顯示第九個子幀時，當第八和第九個子幀的亮度的和變得比連續(xù)再 現的子幀的亮度的和大時，觀看者看出畫面突然變亮。 圖18示出如圖17所示的那樣改變分配比率時的顯示畫面的亮度的變化的例子。
如上所述，對于各幀控制分配比率。 以下，將參照圖4描述對于幀中的各區(qū)域控制分配比率的情況。
圖4是示出對于各區(qū)域控制分配比率時由分配比率校正單元102執(zhí)行的處理的流 程圖。在本示例性實施例中，分配比率校正單元102從分配比率計算單元101接收輸入幀 Ft的各區(qū)域的分配比率[Rt']。然后，分配比率校正單元102將校正后的分配比率[Rt] 輸出到分配比率存儲單元103和分配處理單元104。 通過由用戶指示用于對各區(qū)域設定分配比率的模式開始圖4所示的處理。但是， 也可與再現視頻圖像的開始一起開始該處理。 在步驟S300中，分配比率校正單元102從分配比率計算單元101接收輸入幀Ft 的各區(qū)域的分配比率[Rt']。分配比率校正單元102還從分配比率存儲單元103接收過 去的輸入幀Ft-l的各區(qū)域的分配比率[Rt-l]。 各區(qū)域的過去的分配比率[Rt-1]是校正后的分配比率。此外，本示例性實施例的 分配比率計算單元101根據各區(qū)域中的運動量計算該區(qū)域的分配比率[Rt']。換句話說， 分配比率校正單元102通過計算輸入幀Ft中的區(qū)域和與輸入幀Ft+l對應的區(qū)域之間的差 值，確定是否在該區(qū)域中存在運動區(qū)域。 如果分配比率計算單元101確定存在運動區(qū)域，那么分配比率計算單元101獲取 運動區(qū)域的運動量。然后，分配比率計算單元101基于運動區(qū)域的運動量計算輸入幀Ft中 的區(qū)域的分配比率。分配比率校正單元102由此從分配比率計算單元101接收如上面描述 的那樣計算的輸入幀Ft的各區(qū)域的分配比率[Rt']。 在步驟S301中，分配比率校正單元102計算過去的分配比率的平均值，即 Rpastave。 更具體而言，當使用多個輸入幀的各區(qū)域的分配比率作為過去的分配比率時，分 配比率校正單元102計算各區(qū)域的過去的分配比率[Rpast]。通過使用在步驟S301的第一 行中描述的等式計算[Rpast]。分配比率校正單元102可通過設定"a"的值使得基于與輸 入幀Ft在再現次序方面的接近度將分配比率加權得更高來計算[Rpast]。
但是，在本示例性實施例中，使用在輸入幀Ft的1幀前輸入的輸入幀Ft-l的分配 比率[Rt-1]作為過去的分配比率。[Rt-1]由此直接變成[Rpast]。 此外，在步驟S301中，分配比率校正單元102從各區(qū)域的過去的分配比率[Rpast] 的平均值計算Rpastave。然后，處理前進到步驟S302。 在步驟S302中，分配比率校正單元102計算分配比率的容許變化量THLt。分配比 率校正單元102基于分配比率Rt' ave、在步驟S301中計算的過去的分配比率Rpastave、 容許變化時間THT和假定的容許變化量THL'進行計算。
13
Rt' ave是對于各區(qū)域計算的分配比率[Rt']的平均值。此外，分配比率校正單 元102與圖3所示的步驟S202類似地計算容許變化量THL。更具體而言，分配比率校正單 元102計算所計算的分配比率Rt'和過去的分配比率Rpastave之間的差值的絕對值。
然后，分配比率校正單元102將該差值除以假定的變化量THL'并計算補滿分配 比率Rt'和分配比率Rpastave之間的差值所需要的最少幀數。 分配比率校正單元102計算所計算的最少幀數和由容許變化時間THT指示的幀數 之間的差值。然后，分配比率校正單元102將該差值輸入到LUT并確定容許變化量THL。在 分配比率校正單元102計算分配比率的容許變化量THLt之后，處理前進到步驟S303。
在步驟S303中，分配比率校正單元102將過去的分配比率Rpastave和在步驟 S302中計算的容許變化量THL的和與輸入幀Ft的分配比率的平均值Rt' ave相比較。
換句話說，分配比率校正單元102確定分配比率的平均值Rt' ave是否大于過去 的分配比率Rpastave和容許變化量THL的和。 如果分配比率校正單元102確定分配比率的平均值Rt' ave大于過去的分配比率 Rpastave和容許變化量THL的和(在步驟S303中為"是")，那么處理前進到步驟S305。
另一方面，如果分配比率校正單元102確定分配比率的平均值Rt' ave小于或等 于過去的分配比率Rpastave和容許變化量THL的和(在步驟S303中為"否")，那么處理 前進到步驟S304。 在步驟S305中，分配比率校正單元102將各區(qū)域的過去的分配比率[Rpast]和容 許變化量THL的和設為輸入幀Ft的各區(qū)域的分配比率即[Rt]。 當確定分配比率的平均值Rt' ave大于過去的分配比率Rpastave和容許變化量 THL的和時，分配比率校正單元102由此如下面描述的那樣確定分配比率[Rt]。分配比率 校正單元102將各區(qū)域的分配比率[Rt]確定為在與幀Ft中的各區(qū)域對應的區(qū)域的過去的 分配比率的容許變化量內的最高分配比率。 例如，Rt' (1)被校正為使得幀Ft中的區(qū)域(S卩，第一區(qū)域)的校正后的分配比 率Rt(l)成為容許變化量內的最高分配比率。在分配比率校正單元102對于幀Ft中的所 有區(qū)域校正分配比率Rt'并確定分配比率[Rt]時，處理前進到步驟S308。
另一方面，在步驟S304中，分配比率校正單元102將過去的分配比率Rpastave和 在步驟S302中計算的容許變化量THL之間的差值與Rt' ave即計算的輸入幀Ft的分配比 率[Rt']的平均值相比較。 如果分配比率校正單元102確定分配比率Rt' ave小于分配比率Rpastave和容 許變化量THL之間的差值(在步驟S304中為"是")，那么處理前進到步驟S306。
另一方面，如果分配比率校正單元102確定分配比率Rt' ave大于或等于分配比 率Rpastave和容許變化量THL之間的差值(在步驟S304中為"否")，那么處理前進到步 驟S307。 在步驟S306中，分配比率校正單元102將分配比率Rpastave和容許變化量THL 之間的差值設為輸入幀Ft中的各區(qū)域的分配比率[Rt]。 當對于各區(qū)域計算的輸入幀的分配比率的平均值小于分配比率Rpastave和容許 變化量THL之間的差值時，分配比率校正單元102如下面描述的那樣確定分配比率[Rt]。 分配比率校正單元102將各區(qū)域的分配比率[Rt]確定為在與輸入幀Ft中的各區(qū)域對應的
14區(qū)域的過去的分配比率的容許變化量內的最低分配比率。 例如，分配比率校正單元102校正Rt' (l)，使得幀Ft中的區(qū)域(即，第一區(qū)域) 的校正后的分配比率Rt(l)成為容許變化量內的最低分配比率。 在分配比率校正單元102對于幀Ft中的所有區(qū)域校正分配比率Rt'并確定分配 比率[Rt]之后，處理前進到步驟S308。 另一方面，在步驟S307中，分配比率校正單元102將分配比率[Rt']設為校正后 的分配比率[Rt]。換句話說，分配比率校正單元102不校正由分配比率計算單元101計算 的分配比率[Rt']。 由此，如果分配比率計算單元101對于各區(qū)域計算的分配比率[Rt']的平均值在 Rpastave即各區(qū)域的過去的分配比率的平均的容許變化量的范圍內，那么分配比率校正單 元102如此將分配比率確定為[Rt']。在本示例性實施例的分配比率校正單元102如上 面描述的那樣確定分配比率[Rt]之后，處理前進到步驟S308。 如上所述，分配比率校正單元102對于各區(qū)域確定過去輸入的輸入幀(例如，輸入 幀Ft-l)的分配比率。然后，分配比率校正單元102如步驟S303 步驟S307描述的那樣 根據確定的各區(qū)域的分配比率[Rt-1]確定輸入幀Ft中的各區(qū)域的分配比率[Rt]。
換句話說，分配比率校正單元102對于各區(qū)域確定第一輸出幀(子幀Pt-l)和第 二輸出幀(即，子幀Qt-l)的分配比率。然后，分配比率校正單元102根據對于各區(qū)域確定 的分配比率對于各區(qū)域確定與第三輸出幀(即，子幀Pt)對應的圖像信號和與第四輸出幀 (艮卩，子幀Qt)對應的圖像信號的分配比率。 在步驟S308中，分配比率校正單元102將確定的分配比率[Rt]輸出到分配比率
存儲單元103和分配處理單元104。校正輸入幀St的分配比率的處理由此結束。 如上所述，根據本示例性實施例的運動圖像處理設備可基于先前輸入的輸入幀的
分配比率校正根據運動量計算的分配比率。即使當要對于輸入幀中的各區(qū)域確定分配比率
時，運動圖像處理設備也可校正分配比率。 此外，根據本示例性實施例，通過使用對于各區(qū)域計算的輸入幀的分配比率的平 均值和對于各區(qū)域計算的過去的分配比率的平均值，校正分配比率。結果，與通過使用各區(qū) 域的過去的分配比率[Rpast]校正對于各區(qū)域計算的分配比率[F' t]中的每一個相比，可 以用較少的計算量校正分配比率。 也可通過對于輸入幀Ft中的各區(qū)域計算容許變化量來校正分配比率。結果，例 如，當在輸入幀Ft中分別存在運動量變化較大的區(qū)域和運動量變化較小的區(qū)域時，可以更 細微地控制分配比率。 此外，可對于圖l所示的運動圖像處理設備添加低通濾波器(LPF)108。 LPF 108 是僅通過視頻信號的低頻分量的濾波器。LPF108由此去除傾向于成為噪聲的高頻分量。
LPF 108可被放置在運動圖像輸入設備和分配處理單元104之間，以從被輸入到 分配處理單元104的輸入幀的信號去除高頻分量。在這種情況下，各子幀的輸出變得如圖 16所示的那樣。 當不包含LPF 108時，如圖14和圖15所示的那樣輸出子幀中的每一個。在圖14 所示的例子中，與圖15所示的例子相比，從輸入幀產生的各子幀的像素值之間的差值較 小。虛假輪廓因而變得明顯。
此外，圖16示出在子幀的分配比率與圖15相同的情況下當運動圖像處理設備包 含LPF 108時的子幀輸出的例子。 圖16所示的子幀Q是基于通過從被輸入到分配處理單元104的輸入幀除去高頻 分量所獲取的幀數據以及校正后的分配比率R產生的幀。結果，子幀Q是除去了高頻分量 的子幀。 此外，子幀P是基于輸入幀F和子幀Q之間的差值產生的幀。子幀P因而是強調 高頻分量的子幀。如上所述，可通過去除子幀Q的高頻分量，使得在倍速驅動中產生的虛假 輪廓不那么明顯。 例如，如果根據運動量計算的分配比率Rt'變得大于過去的分配比率和過去的分 配比率的容許變化量的和，那么可與校正過去的分配比率一起去除子幀Q的高頻分量。結 果，可以抑制可見亮度的變化，并且，可以改善在倍速驅動中顯示的視頻圖像的質量。
以下，著眼于與第一示例性實施例的不同來描述第二示例性實施例。第二示例性 實施例描述根據輸入幀控制容許變化量的情況。 圖8是示出根據第二示例性實施例的運動圖像處理設備的主要部件的配置的框 圖。運動圖像處理設備包括分配比率計算單元901 、容許量計算單元907、分配比率校正單 元902、分配比率存儲單元903、分配處理單元904、差值處理單元905和切換單元906。與 第一示例性實施例的部件類似的部件的重復描述將被省略。 此外，與第一示例性實施例類似，本示例性實施例描述輸入幀的幀速率(60幀/ 秒)被轉換成輸出幀的幀速率(120幀/秒)的情況。 容許量計算單元907根據從外部輸入的輸入幀Ft和Ft+l計算分配比率的容許變 化量。以下將參照圖11A、圖IIB和圖11C描述通過容許量計算單元907計算容許變化量的 方法。 圖11A、圖IIB和圖11C示出容許量計算單元907的輸入和輸出的例子。參照圖 11A，容許量計算單元907計算容許變化量THL，使得容許變化量THL隨著多個輸入幀(輸入 幀Ft和輸入幀Ft+1)的像素值之間的差值的和的增大而增大。 但是，可通過使用像素值之間的差值的最大值或平均值而不是像素值之間的差值 的和來計算容許變化量THL。 此外，參照圖11B，容許量計算單元907分別從輸入幀Ft和輸入幀Ft+l的圖像信 號計算空間頻率分量。然后，容許量計算單元907計算容許變化量，使得容許變化量THL隨 著計算的空間頻率分量之間的差值的和的增大而增大。也可通過使用像素值之間的差值的 最大值或平均值而不是像素值之間的差值的和來計算容許變化量THL。
此外，參照圖11C，容許量計算單元907計算容許變化量，使得容許變化量THL隨著 由輸入幀Ft和輸入幀Ft+1的相應直方圖表示的出現頻度之間的差值的和的增大而增大。 也可通過使用出現頻度之間的差值的最大值或平均值而不是出現頻度之間的差值的和來 計算容許變化量THL。 當多個輸入幀之間的差值較大時，很有可能圖像正在整個顯示畫面上改變。在這 種情況下，會產生場景的變化。 如果如上面描述的那樣整個顯示畫面正在變化，那么用戶變得對畫面的亮度的變 化不那么敏感。更具體而言，當整個顯示畫面不變化時，即使顯示畫面上的運動區(qū)域的運動量較大，用戶也可容易地看出畫面亮度的急劇變化。但是，當在整個顯示畫面中存在較大的 變化時，變得使得用戶難以看出畫面亮度的變化。 本示例性實施例中的容許量計算單元907由此計算容許變化量THL，使得容許變 化量THL隨著幀之間的差值的增大而增大。 在圖IIA所示的例子中，根據輸入幀的像素值之間的差值計算容許變化量THL。由 此，與計算空間頻率分量或直方圖的差值相比，可以以更少的計算量計算容許變化量。
此外，可根據輸入幀的空間頻率分量或直方圖之間的差值的量計算容許變化量 THL。結果，可以防止當畫面由于搖攝或傾斜而緩慢移動時容許變化量被計算為較大的值。
此外，可通過使用像素值、空間頻率分量和直方圖之間的差值中的一個或多種差 值信息的組合，計算容許變化量。 例如，可以僅在輸入幀的像素值之間存在較大的差值時比較空間頻率分量。從而， 可以以較少的計算量精確地估計場景變化的產生。 分配比率校正單元902基于由分配比率計算單元901計算的分配比率Rt'、由容 許量計算單元907計算的容許變化時間THL和由分配比率存儲單元903存儲的過去的分配 比率Rt-l，校正分配比率Rt'。以下，將參照圖10描述由分配比率校正單元902執(zhí)行的校 正分配比率的處理。 以下，將參照圖9描述由根據本示例性實施例的運動圖像處理設備執(zhí)行的處理。
圖9是示出由根據本示例性實施例的運動圖像處理設備執(zhí)行的處理的流程圖。
本示例性實施例描述通過CPU執(zhí)行圖9所示的處理的情況，該CPU通過從RAM讀 出并以適當方式執(zhí)行根據本示例性實施例的程序，控制整個運動圖像處理設備。但是，也可 通過由硬件形成圖8所示的元件中的每一個實現本發(fā)明。 通過接通諸如數字TV之類的顯示設備，啟動圖9所示的處理。也可通過由用戶設 定用于執(zhí)行倍速驅動的模式啟動該處理。 在步驟S401中，分配比率計算單元901接收多個輸入幀。在本例子中，輸入幀Ft 和Ft+1被輸入。也可輸入兩個或更多個輸入幀。在分配比率計算單元901接收多個輸入 幀之后，處理前進到步驟S402。 在步驟S402中，分配比率計算單元901從在步驟S401中輸入的多個輸入幀(Ft 和Ft+l)計算分配比率Rt'。如上所述，分配比率計算單元901從輸入幀Ft和Ft+l之間 的差值檢測輸入幀Ft中的運動區(qū)域。 分配比率計算單元901由此根據運動區(qū)域的運動量計算輸入幀Ft的分配比率 Rt'。也可從諸如運動矢量信息之類的運動信息獲取運動量。在分配比率計算單元901 將輸入幀Ft的計算的分配比率Rt'輸出到分配比率校正單元902之后，處理前進到步驟 S403。 在步驟S403中，容許量計算單元907通過使用參照圖11A、圖11B和圖11C描述的 方法從輸入幀Ft和Ft+1計算容許變化量THL。 在容許量計算單元907將計算的容許變化量THL輸出到分配比率校正單元902之 后，處理前進到步驟S404。執(zhí)行步驟S402和S403的次序可被顛倒或者可以同時。
在步驟S404中，分配比率校正單元902基于過去的分配比率Rt-l和計算的容許 變化量THL校正從分配比率計算單元901輸出的輸入幀Ft的分配比率Rt'。
17
然后，分配比率校正單元902將校正后的分配比率Rt輸出到分配比率存儲單元 903和分配處理單元904。然后，處理前進到步驟S405。以下將參照圖10描述由分配比率 校正單元902執(zhí)行的校正分配比率的處理。 在步驟S405中，分配處理單元904基于輸入幀Ft和從分配比率校正單元902輸 出的輸入幀Ft的分配比率Rt，產生子幀Qt。例如，當輸入幀Ft的校正后的分配比率Rt為 7 : 3(0.3)時，分配處理單元904將子幀Qt的信號值設為輸入幀Ft的信號值的0.3倍。
分配處理單元904將計算的子幀Qt輸出到差值處理單元905。此外，由分配處理 單元904產生的子幀Qt通過切換單元906被輸出到外部。在分配處理單元904將子幀Qt 輸出到差值處理單元905之后，處理前進到步驟S406。 在步驟S406中，差值處理單元905基于輸入幀Ft和從分配處理單元904輸出的 子幀Qt產生子幀Pt。差值處理單元905由此產生輸入幀Ft和子幀Qt之間的差值作為子 幀Pt。 結果，如果輸入幀Ft的校正后的分配比率為7 : 3(0.3)，那么通過將輸入幀Ft的
像素值乘以0. 7獲取子幀Pt。由差值處理單元905產生的子幀Pt通過切換單元906被輸
出到外部。在差值處理單元905產生子幀Pt之后，處理返回到步驟S401?；谳斎霂瑃+l
和t+2，確定輸入幀t+l的分配比率，并且產生和輸出子幀。 以下，將參照圖10描述根據本示例性實施例的校正分配比率的處理。 圖10是示出由分配比率校正單元902執(zhí)行的校正分配比率R'的處理的流程圖。 圖10所示的處理與圖9所示的步驟S404中執(zhí)行的處理對應。此外，本示例性實
施例描述校正輸入幀Ft的分配比率Rt'的情況。此外，在本示例性實施例中，如上所述，基
于子幀Q和輸入幀F的像素值的比率表達分配比率。 例如，如果輸入幀F的分配比率為7 : 3，那么子幀P的像素值為輸入幀F的像素 值的0. 7倍，并且，子幀Q的像素值為輸入幀F的像素值的0. 3倍。分配比率由此成為0. 3。
在步驟S500中，分配比率校正單元902從分配比率計算單元901獲取輸入幀Ft 的分配比率Rt'。此外，分配比率校正單元902從分配比率存儲單元903獲取過去的分配 比率Rt-l。 分配比率Rt-l是在輸入幀Ft之前被輸入的輸入幀Ft-l的被分配比率校正單元 902校正的分配比率。本示例性實施例使用輸入幀Ft-l的校正后的分配比率作為過去的分 配比率。但是，也可使用過去的多個輸入幀的校正后的分配比率。 此外，在步驟S500中，分配比率校正單元902從容許量計算單元907獲取輸入幀 Ft的容許變化量THL。由容許量計算單元907通過參照圖11A、圖IIB和圖IIC描述的處理 計算容許變化量THL。 在分配比率校正單元902獲取分配比率Rt'、先前的分配比率Rt-l和容許變化量 THL之后，處理前進到步驟S501。 在步驟S501中，分配比率校正單元902計算過去的分配比率Rpast。在本示例性 實施例中，由于分配比率校正單元902僅獲取輸入幀Ft-l的分配比率Rt-l，因此Rpast變 為與Rt-l相同的值。 但是，如果要使用多個輸入幀的校正后的分配比率，那么分配比率校正單元902 通過基于與輸入幀Ft在再現次序方面的接近度對各分配比率加權，獲取Rpast。在分配比率校正單元902計算過去的分配比率Rpast之后，處理前進到步驟S502。
在步驟S502中，分配比率校正單元902將過去的分配比率Rpast和在步驟S500中 計算的容許變化量THLt的和與由分配比率計算單元901計算的分配比率Rt'進行比較。
更具體而言，分配比率校正單元902確定分配比率Rt'是否大于過去的分配比率 Rpast和容許變化量THL的和。如果分配比率Rt'大于過去的分配比率Rpast和容許變化 量THL的和(在步驟S502中為"是")，那么處理前進到步驟S504。另一方面，如果分配比 率Rt'小于或等于分配比率Rt-1和容許變化量THL的和(在步驟S502中為"否")，那么 處理前進到步驟S503。 在步驟S504中，分配比率校正單元902將過去的分配比率Rpast和容許變化量 THL的和設為輸入幀Ft的校正后的分配比率Rt。 換句話說，如果由分配比率計算單元901計算的分配比率Rt'被確定為大于過去 的分配比率Rpast和容許變化量THL的和(在步驟S503中為"否")，那么如下面描述的那 樣確定校正后的分配比率Rt。分配比率校正單元902將分配比率Rt'校正為在容許變化 量內最高的分配比率，并確定分配比率Rt。在分配比率校正單元902確定校正后的分配比 率Rt之后，處理前進到步驟S507。 另一方面，在步驟S503中，分配比率校正單元902將過去的分配比率Rpast和在 步驟S501中計算的容許變化量THL之間的差值與由分配比率計算單元901計算的分配比 率Rt'進行比較。分配比率校正單元902由此確定分配比率Rt'是否小于過去的分配比 率Rt-l和容許變化量THL之間的差值。 如果確定分配比率Rt'小于過去的分配比率Rpast和容許變化量THL之間的差值 (在步驟S503中為"是")，那么處理前進到步驟S505。如果確定分配比率Rt'大于或等于 過去的分配比率Rpast和容許變化量THL之間的差值(在步驟S503中為"否")，那么處理 前進到步驟S506。 在步驟S505中，分配比率校正單元902將過去的分配比率Rpast和容許變化量 THL之間的差值設為輸入幀Ft的校正后的分配比率Rt。 更具體而言，如果在步驟S503中確定由分配比率計算單元901計算的分配比率 Rt'小于過去的分配比率Rpast和容許變化量THL之間的差值，那么分配比率Rt被確定如 下。分配比率校正單元902將分配比率Rt'校正為在容許變化量內最低的分配比率，并確 定分配比率Rt。在校正后的分配比率Rt被確定之后，處理前進到步驟S507。
在步驟S506中，分配比率校正單元902將分配比率Rt'確定為校正后的分配比率 Rt。分配比率校正單元902由此不校正由分配比率計算單元901計算的分配比率Rt'。
如上所述，當由分配比率計算單元901計算的分配比率Rt'在過去的分配比率 Rpast的容許變化量內時，本示例性實施例中的分配比率校正單元902不校正分配比率。在 分配比率Rt被確定之后，處理前進到步驟S507。 分配比率校正單元902由此設定輸入幀Ft的分配比率Rt的容許范圍。在本示例
性實施例中，分配比率Rt的容許范圍在Rpast-THL和Rpast+THL之間。 換句話說，分配比率校正單元902基于第一輸入幀和第二輸入幀之間的差值以及
與第一輸出幀對應的圖像信號和與第二輸出幀對應的圖像信號的比，設定與第三輸出幀對
應的圖像信號和與第四輸出幀對應的圖像信號的比的容許范圍。
然后，分配比率校正單元902根據設定的容許范圍和第二輸入幀中的圖像的運
動，計算與第三輸出幀對應的圖像信號和與第四輸出幀對應的圖像信號的比(即，步驟 S502 步驟S506)。 如上所述，容許量計算單元907計算容許范圍，使得容許范圍隨著輸入幀之間的 差值的增大而增大。更具體而言，容許量計算單元907設定容許范圍，使得第一輸入幀和第 二輸入幀之間的差值為第一量(即，第一容許范圍)時的容許范圍比第一輸入幀和第二輸 入幀之間的差值是第二量(即，第二容許范圍)時的容許范圍寬。第二量比第一量小。
在步驟S507中，分配比率校正單元902將獲取的分配比率Rt輸出到分配比率存 儲單元903和分配處理單元904。校正分配比率的處理由此結束。 如上所述，根據本示例性實施例的運動圖像處理設備根據輸入幀設定容許變化 當輸入幀之間的差值較小時，計算容許變化量，使得從過去的分配比率的容許變 化量變得較小。如果輸入幀之間的差值較大，那么計算容許變化量，使得從過去的分配比率 的容許變化量變得較大。 結果，在亮度變化明顯的視頻圖像中，諸如當視頻圖像中的對象不移動時，可使得 分配比率的變化較小。 另一方面，在亮度變化不明顯的視頻圖像中，諸如當在視頻圖像中存在急劇的變 化時或者當存在場景的變化時，可使得分配比率的變化較大。 圖12示出當輸入幀之間的差值較小時的子幀輸出的例子。在這種情況下，由于分 配比率改變不大，因此抑制顯示畫面的亮度的變化。 另一方面，圖13示出當輸入幀之間的差值較大時的子幀輸出的例子。在這種情況 下，由于分配比率可大大改變，因此可通過更接近根據輸入幀的運動量的分配比率的分配 比率產生子幀。 也可以在設定各區(qū)域的分配比率時采用在第二示例性實施例中描述的用于校正 分配比率的方法。在這種情況下，容許量計算單元907根據輸入幀之間的差值信息對于輸 入幀的各區(qū)域計算容許變化量THL。然后，分配比率校正單元902基于計算的容許變化量和 輸入幀Ft的各區(qū)域的分配比率[Rt']，確定各區(qū)域的分配比率[Rt]。此外，與第一示例性 實施例類似，添加LPF是有效的。 也可通過讀出并執(zhí)行記錄在存儲裝置上的程序以執(zhí)行上述實施例的功能的系統(tǒng) 或設備的計算機(或諸如CPU或微處理單元(MPU)的裝置)，并且通過由系統(tǒng)或設備的計算 機通過例如讀出并執(zhí)行記錄在存儲裝置上的程序以執(zhí)行上述實施例的功能執(zhí)行其各步驟 的方法，實現本發(fā)明的各方面。所述程序包括用于實現本發(fā)明的計算機可執(zhí)行指令。出于 這種目的，例如通過網絡或從用作存儲設備(例如，計算機可讀存儲介質)的各種類型的記 錄介質向計算機提供程序。在這種情況下，系統(tǒng)或設備以及存儲程序的記錄介質被包含于 本發(fā)明的范圍內。 在計算機上運行的操作系統(tǒng)(OS)或其它應用軟件可基于程序的指令執(zhí)行實際處
理的部分或全部，以實現上述的示例性實施例中的一個或更多個的功能。 另外，從存儲介質讀出的程序可被寫入被插入計算機中的功能擴展卡的存儲器
中，或被寫入與計算機連接的功能擴展單元的存儲器中。在這種情況下，基于程序的指令，
20設置在功能擴展卡或功能擴展單元上的CPU或MPU可執(zhí)行處理的部分或全部，以實現上述 的示例性實施例中的一個或更多個的功能。 可以使用各種各樣的存儲介質存儲程序。存儲介質可以為例如柔性盤(軟盤)、硬 盤、光盤、磁光盤、緊湊盤(CD)、數字多功能盤(DVD)、只讀存儲器(ROM) 、 CD可記錄(R) 、 CD 可重寫、DVD可記錄、DVD可重寫、磁帶、非易失性存儲卡和閃存存儲裝置等中的任何。
雖然已參照示例性實施例描述了本發(fā)明，但應理解，本發(fā)明不限于公開的示例性 實施例。以下的權利要求的范圍應被賦予最寬的解釋以包含所有變更方式以及等同的結構 和功能。
權利要求
一種被配置為從一個輸入幀產生多個輸出幀的運動圖像處理設備，所述運動圖像處理設備包括輸入單元，被配置為輸入第一輸入幀和接在第一輸入幀之后的第二輸入幀；確定單元，被配置為確定用于從第一輸入幀產生至少第一輸出幀和第二輸出幀的第一分配比率，并根據第二輸入幀中的圖像的運動確定用于從第二輸入幀產生至少第三輸出幀和第四輸出幀的第二分配比率；以及產生單元，被配置為基于第一分配比率從第一輸入幀產生第一輸出幀和第二輸出幀，并基于第二分配比率從第二輸入幀產生第三輸出幀和第四輸出幀。
2. 根據權利要求1所述的運動圖像處理設備，其中，所述確定單元確定第二分配比率， 使得第一分配比率和第二分配比率之間的差值變得小于或等于預定的值。
3. 根據權利要求1所述的運動圖像處理設備，其中，所述確定單元基于通過接在第二 輸入幀之后的第三輸入幀與第二輸入幀之間的差值所檢測的運動區(qū)域的位移量，確定第二 輸入幀中的圖像的運動。
4. 根據權利要求l所述的運動圖像處理設備，其中，當第二輸入幀中的圖像的運動量 是第一量時，確定單元確定第二分配比率，使得在從第二輸入幀產生的輸出幀當中從第二 輸入幀到第三輸出幀的分配量與從第二輸入幀到第四輸出幀的分配量之間的差值變得大 于當所述運動量為第二量時的從第二輸入幀到第三輸出幀的分配量與從第二輸入幀到第 四輸出幀的分配量之間的差值，所述第二量小于所述第一量。
5. 根據權利要求1所述的運動圖像處理設備，其中，所述確定單元基于第一輸入幀和 第二輸入幀之間的差值以及第一分配比率設定第二分配比率的容許范圍，以及所述確定單元根據第二輸入幀中的圖像的運動確定第二分配比率，使得第二分配比率 在設定的容許范圍內。
6. 根據權利要求5所述的運動圖像處理設備，其中，所述確定單元確定容許范圍，使得 第一輸入幀和第二輸入幀之間的差值的量為第一量時的容許范圍的第一值變得比第一輸 入幀和第二輸入幀之間的差值的量為第二量時的容許范圍的第二值寬，所述第二量小于所 述第一量。
7. 根據權利要求1所述的運動圖像處理設備，其中，所述確定單元對于多個區(qū)域中的 每一個確定第一分配比率，并根據對于這些區(qū)域中的每一個確定的第一分配比率，對于這 些區(qū)域中的每一個確定第二分配比率。
8. —種運動圖像處理方法，該運動圖像處理方法由被配置為從一個輸入幀產生多個輸出幀的運動圖像處理設備執(zhí)行，該方法包括輸入第一輸入幀和接在第一輸入幀之后的第二輸入幀；確定用于從第一輸入幀產生至少第一輸出幀和第二輸出幀的第一分配比率，并根據第 二輸入幀中的圖像的運動確定用于從第二輸入幀產生至少第三輸出幀和第四輸出幀的第 二分配比率；以及基于第一分配比率從第一輸入幀產生第一輸出幀和第二輸出幀，并且基于第二分配比 率從第二輸入幀產生第三輸出幀和第四輸出幀。
9. 一種計算機可讀存儲介質，該計算機可讀存儲介質存儲使計算機從一個輸入幀產生多個輸出幀的計算機可執(zhí)行程序，該程序包括使計算機輸入第一輸入幀和接在第一輸入幀之后的第二輸入幀的計算機可執(zhí)行指令；使計算機確定用于從第一輸入幀產生至少第一輸出幀和第二輸出幀的第一分配比率， 并根據第二輸入幀中的圖像的運動確定用于從第二輸入幀產生至少第三輸出幀和第四輸 出幀的第二分配比率的計算機可執(zhí)行指令；以及使計算機基于第一分配比率從第一輸入幀產生第一輸出幀和第二輸出幀，并且基于第 二分配比率從第二輸入幀產生第三輸出幀和第四輸出幀的計算機可執(zhí)行指令。
全文摘要
本發(fā)明涉及運動圖像處理設備及其方法?；谳斎霂現t中的圖像的運動，計算與輸入幀Ft對應的子幀Pt和Qt的分配比率Rt′。然后根據與要在輸入幀Ft之前再現的輸入幀Ft-1對應的子幀Pt-1和Qt-1之間的分配比率Rt-1，校正計算的分配比率Rt′。由此獲取分配比率Rt。
文檔編號G09G5/00GK101742082SQ20091022649
公開日2010年6月16日 申請日期2009年11月20日 優(yōu)先權日2008年11月20日
發(fā)明者河井愛 申請人:佳能株式會社