視頻處理設(shè)備、方法及系統(tǒng)以及視頻再現(xiàn)設(shè)備和方法
【專(zhuān)利摘要】本發(fā)明涉及一種視頻處理設(shè)備,包括一個(gè)其配置成生成第二移動(dòng)圖像的圖像生成單元,所述第二移動(dòng)圖像被配置為具有與具有第一圖像質(zhì)量的第一移動(dòng)圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第二圖像質(zhì)量、并且具有相應(yīng)于第一移動(dòng)圖像的部分區(qū)域的尺寸;以及一個(gè)其配置成生成再現(xiàn)信息的再現(xiàn)信息生成單元,所述再現(xiàn)信息被配置為在以第二移動(dòng)圖像取代第一移動(dòng)圖像的一部分之后用于同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。
【專(zhuān)利說(shuō)明】視頻處理設(shè)備、方法及系統(tǒng)以及視頻再現(xiàn)設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明專(zhuān)利涉及一種視頻處理設(shè)備、視頻再現(xiàn)設(shè)備、視頻處理方法、視頻再現(xiàn)方 法、以及視頻處理系統(tǒng)。
【背景技術(shù)】
[0002] 現(xiàn)有提出了許多用于再現(xiàn)圖像質(zhì)量再現(xiàn)移動(dòng)圖像的技術(shù)。例如,JP2010-11448A等 公開(kāi)了一種通過(guò)分析所再現(xiàn)移動(dòng)圖像的單一單位的被編碼信息和像素信息來(lái)提高所再現(xiàn) 移動(dòng)圖像的質(zhì)量的技術(shù)。另外,JP2010-193117A等公開(kāi)了一種通過(guò)在多個(gè)不同移動(dòng)圖像上 進(jìn)行幀內(nèi)插提高所再現(xiàn)移動(dòng)圖像的質(zhì)量的技術(shù)。
【發(fā)明內(nèi)容】
[0003] 當(dāng)經(jīng)由網(wǎng)絡(luò)接收從服務(wù)器分布的移動(dòng)圖像,并且在客戶(hù)機(jī)終端中加以再現(xiàn)時(shí),所 再現(xiàn)移動(dòng)圖像的質(zhì)量取決于客戶(hù)機(jī)終端的處理能力、屏面尺寸、或者網(wǎng)絡(luò)的傳輸率。因此, 如果客戶(hù)機(jī)終端不具有足夠的處理能力,則難以再現(xiàn)具有高圖像質(zhì)量的移動(dòng)圖像,而且如 果網(wǎng)絡(luò)的傳輸率不高,即使希望使用客戶(hù)機(jī)終端的足夠的處理能力以高質(zhì)量再現(xiàn)移動(dòng)圖 像,也難以再現(xiàn)具有高質(zhì)量的圖像。所以,當(dāng)客戶(hù)機(jī)終端的處理能力和網(wǎng)絡(luò)的傳輸率不充分 時(shí),難以增強(qiáng)用戶(hù)的觀看感受。
[0004] 于是,可望本發(fā)明專(zhuān)利提供一種甚至當(dāng)客戶(hù)機(jī)終端的處理能力和網(wǎng)絡(luò)的傳輸率不 充分時(shí),也能夠增強(qiáng)用戶(hù)的觀看感受的新型與改進(jìn)的視頻處理設(shè)備、視頻再現(xiàn)設(shè)備、視頻處 理方法、視頻再現(xiàn)方法、以及視頻處理系統(tǒng)。
[0005] 根據(jù)本發(fā)明專(zhuān)利的一個(gè)實(shí)施例,提供了一種視頻處理設(shè)備,包含:圖像生成單元, 配置成生成第二移動(dòng)圖像,所述第二移動(dòng)圖像被配置為具有與具有第一圖像質(zhì)量的第一移 動(dòng)圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第二圖像質(zhì)量、并且具有相 應(yīng)于第一移動(dòng)圖像的部分區(qū)域的尺寸;以及再現(xiàn)信息生成單元,配置成生成再現(xiàn)信息,所述 再現(xiàn)信息被配置為在第一移動(dòng)圖像的一部分被替換為第二移動(dòng)圖像之后被用于同時(shí)再現(xiàn) 第一移動(dòng)圖像和第二移動(dòng)圖像。
[0006] 根據(jù)本發(fā)明專(zhuān)利的一個(gè)實(shí)施例,提供了一種視頻再現(xiàn)設(shè)備,包含:圖像獲取單元, 配置成獲取第一移動(dòng)圖像、第二移動(dòng)圖像以及再現(xiàn)信息,所述第一移動(dòng)圖像被配置為具有 第一圖像質(zhì)量,所述第二移動(dòng)圖像被配置為具有與第一移動(dòng)圖像相同的內(nèi)容、具有被配置 為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動(dòng)圖像的部分區(qū)域?qū)?yīng)的 尺寸,并且所述再現(xiàn)信息用于在第一移動(dòng)圖像的一部分被第二移動(dòng)圖像替換之后同時(shí)再現(xiàn) 第一移動(dòng)圖像和第二移動(dòng)圖像;以及圖像組合單元,被配置為基于圖像獲取單元所獲取的 再現(xiàn)信息在第一移動(dòng)圖像的一部分被第二移動(dòng)圖像替換之后致使第一移動(dòng)圖像和第二移 動(dòng)圖像同時(shí)再現(xiàn)。
[0007] 根據(jù)本發(fā)明專(zhuān)利的一個(gè)實(shí)施例,提供了一種視頻處理方法,包含:生成第二移動(dòng)圖 像,所述第二移動(dòng)圖像被配置為具有與具有第一圖像質(zhì)量的第一移動(dòng)圖像相同的內(nèi)容、具 有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動(dòng)圖像的部分區(qū) 域?qū)?yīng)的尺寸;以及成生成再現(xiàn)信息,所述再現(xiàn)信息在第一移動(dòng)圖像的一部分被替換為第 二移動(dòng)圖像之后被用于同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。
[0008] 根據(jù)本發(fā)明專(zhuān)利的一個(gè)實(shí)施例,提供了一種視頻再現(xiàn)方法,包含:獲取第一移動(dòng)圖 像、第二移動(dòng)圖像以及再現(xiàn)信息,所述第一移動(dòng)圖像被配置為具有第一圖像質(zhì)量,所述第二 移動(dòng)圖像被配置為具有與第一移動(dòng)圖像相同的內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì) 量的第二圖像質(zhì)量、并且具有與第一移動(dòng)圖像的部分區(qū)域?qū)?yīng)的尺寸,并且所述再現(xiàn)信息 用于在第一移動(dòng)圖像的一部分被第二移動(dòng)圖像替換之后同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移 動(dòng)圖像;以及基于獲取步驟所獲取的再現(xiàn)信息在第一移動(dòng)圖像的一部分被第二移動(dòng)圖像替 換之后致使第一移動(dòng)圖像和第二移動(dòng)圖像同時(shí)再現(xiàn)。
[0009] 根據(jù)本發(fā)明專(zhuān)利的一個(gè)實(shí)施例,提供了一種視頻處理系統(tǒng),包含視頻處理設(shè)備以 及視頻再現(xiàn)設(shè)備。視頻處理設(shè)備包括:圖像生成單元,配置成生成第二移動(dòng)圖像,所述第 二移動(dòng)圖像被配置為具有與具有第一圖像質(zhì)量的第一移動(dòng)圖像相同的內(nèi)容、具有被配置為 高于第一圖像質(zhì)量的質(zhì)量的第二圖像質(zhì)量、并且具有相應(yīng)于第一移動(dòng)圖像的部分區(qū)域的尺 寸;以及再現(xiàn)信息生成單元,配置成生成再現(xiàn)信息,所述再現(xiàn)信息被配置為在第一移動(dòng)圖像 的一部分被替換為第二移動(dòng)圖像之后被用于同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。視頻 再現(xiàn)設(shè)備包括:圖像獲取單元,配置成從視頻處理設(shè)備至少獲取第二移動(dòng)圖像和再現(xiàn)信息; 以及圖像再現(xiàn)單元,被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動(dòng)圖像的一部 分被第二移動(dòng)圖像替換之后同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。
[0010] 根據(jù)以上所描述的本發(fā)明專(zhuān)利的一個(gè)實(shí)施例,能夠提供一種甚至當(dāng)客戶(hù)機(jī)終端的 處理能力和網(wǎng)絡(luò)的傳輸率不充分時(shí),也能夠增強(qiáng)用戶(hù)的觀看感受的新型與改進(jìn)的視頻處理 設(shè)備、視頻再現(xiàn)設(shè)備、視頻處理方法、視頻再現(xiàn)方法、以及視頻處理系統(tǒng)。
【專(zhuān)利附圖】
【附圖說(shuō)明】
[0011] 圖1描述了根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1的一個(gè)總配置實(shí) 例;
[0012] 圖2描述了根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像生成單元120的一個(gè)功能 配置實(shí)例;
[0013] 圖3描述了根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元130的一個(gè)功能 配置實(shí)例;
[0014] 圖4描述了包括在根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的再現(xiàn)設(shè)備200中的內(nèi)插單元210 的一個(gè)功能配置實(shí)例;
[0015] 圖5為描述根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像生成單元120的一個(gè)操作 實(shí)例的流程圖;
[0016] 圖6為描述根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元130的一個(gè)操作 實(shí)例的流程圖;
[0017] 圖7為描述根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元130的另一個(gè)操 作實(shí)例的流程圖;
[0018] 圖8為描述包括在根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的再現(xiàn)設(shè)備200中的內(nèi)插單元210 的一個(gè)操作實(shí)例的流程圖;
[0019] 圖9為描述包括在根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的再現(xiàn)設(shè)備200中的內(nèi)插單元210 的另一個(gè)操作實(shí)例的流程圖;
[0020] 圖10描述了再現(xiàn)移動(dòng)圖像傳輸單元110、內(nèi)插移動(dòng)圖像生成單元120、以及內(nèi)插移 動(dòng)圖像傳輸單元130所保存的移動(dòng)圖像數(shù)據(jù)組;
[0021] 圖11描述了所生成移動(dòng)圖像和被內(nèi)插移動(dòng)圖像的放大與縮小過(guò)程;
[0022] 圖12描述了根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的實(shí)例1的內(nèi)插單元210的一個(gè)功能配 置實(shí)例;
[0023] 圖13為描述根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像生成單元120的一個(gè)操作實(shí)例的流程圖;
[0024] 圖14為描述根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例的流程圖;
[0025] 圖15為描述根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例的流程圖;
[0026] 圖16為描述包括在根據(jù)實(shí)例1的內(nèi)插單元210中的內(nèi)插處理部件218的一個(gè)操 作實(shí)例的流程圖;
[0027] 圖17描述了根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像vl2的內(nèi)插區(qū)域的圖像尺寸和移動(dòng)圖像 屏面的改變的一個(gè)實(shí)例;
[0028] 圖18描述了內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面和內(nèi)插區(qū)域的坐標(biāo)之間的關(guān)系;
[0029] 圖19描述了當(dāng)內(nèi)插單元210從內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面抽取內(nèi)插區(qū)域 的圖像時(shí)所執(zhí)行的一個(gè)過(guò)程;
[0030] 圖20為描述根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像生成單元120的一個(gè)操作實(shí)例的流程圖;
[0031] 圖21為描述根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例的流程圖;
[0032] 圖22為描述根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例的流程圖;
[0033] 圖23為描述根據(jù)實(shí)例2的內(nèi)插單元210的一個(gè)操作實(shí)例的流程圖;
[0034] 圖24描述了根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面和內(nèi)插區(qū)域之間的 關(guān)系的一個(gè)實(shí)例;
[0035] 圖25為描述當(dāng)把實(shí)例2的內(nèi)容施用于實(shí)例1時(shí)所執(zhí)行的內(nèi)插移動(dòng)圖像生成單元 120的一個(gè)操作實(shí)例的流程圖;
[0036] 圖26描述了當(dāng)把實(shí)例2的內(nèi)容施用于實(shí)例1時(shí)所展現(xiàn)的效果;
[0037] 圖27描述了根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的實(shí)例3的內(nèi)插移動(dòng)圖像生成單元120 的一個(gè)功能配置實(shí)例;
[0038] 圖28描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例3的內(nèi)插移動(dòng)圖像傳輸單元130 的一個(gè)功能配置實(shí)例;
[0039] 圖29描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例3的內(nèi)插單元210的一個(gè)功能配 置實(shí)例;
[0040] 圖30描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例3的內(nèi)插移動(dòng)圖像生成單元120 的一個(gè)操作實(shí)例;
[0041] 圖31描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例3的內(nèi)插單元210的一個(gè)操作實(shí) 例;
[0042] 圖32描述了實(shí)例3的操作梗概;
[0043] 圖33描述了實(shí)例3的另一操作梗概;以及
[0044] 圖34描述了實(shí)例3的另一操作梗概。
【具體實(shí)施方式】
[0045] 以下,將參照附圖詳細(xì)描述本發(fā)明專(zhuān)利的優(yōu)選實(shí)施例。注意,在本說(shuō)明書(shū)與附圖 中,將使用相同的參照數(shù)字表示那些具有基本相同功能與結(jié)構(gòu)的結(jié)構(gòu)圖元,而且省略了對(duì) 這些結(jié)構(gòu)圖元的重復(fù)解釋。
[0046] 將按下列次序進(jìn)行描述。
[0047] < 1.本發(fā)明專(zhuān)利的一個(gè)實(shí)施例>
[0048] [概述]
[0049] [總配置實(shí)例]
[0050][被內(nèi)插移動(dòng)圖像生成單元的功能配置實(shí)例]
[0051] [被內(nèi)插移動(dòng)圖像傳輸單元的功能配置實(shí)例]
[0052] [內(nèi)插單元的功能配置實(shí)例]
[0053] [被內(nèi)插移動(dòng)圖像生成單元的操作實(shí)例]
[0054] [被內(nèi)插移動(dòng)圖像傳輸單元的操作實(shí)例]
[0055] [內(nèi)插單元的操作實(shí)例]
[0056] [結(jié)論]
[0057] < 2.實(shí)例 1 >
[0058] < 3.實(shí)例 2 >
[0059] < 4.實(shí)例 3 >
[0060] < 5.結(jié)論>
[0061] < 1.本發(fā)明專(zhuān)利的一個(gè)實(shí)施例>
[0062] [概述]
[0063] 在詳細(xì)描述本發(fā)明專(zhuān)利一個(gè)實(shí)施例之前,將給出本發(fā)明專(zhuān)利的概述。
[0064] 再現(xiàn)移動(dòng)圖像的移動(dòng)圖像再現(xiàn)設(shè)備的顯示屏面的分辨率已變得越來(lái)越高。另一方 面,存在著通過(guò)網(wǎng)絡(luò)流、廣播波、以及其它傳輸媒體分布的移動(dòng)圖像的分辨率始終不適合移 動(dòng)圖像再現(xiàn)設(shè)備的所顯示屏面的分辨率的問(wèn)題。
[0065] 即使當(dāng)移動(dòng)圖像再現(xiàn)設(shè)備的顯示分辨率為所謂的HD、4K、或者2K時(shí),例如,也需要 使用高編碼率的分辨率對(duì)移動(dòng)圖像進(jìn)行編碼,以在維持其質(zhì)量的同時(shí)對(duì)移動(dòng)圖像進(jìn)行編碼 與傳輸。無(wú)論有線(xiàn)傳輸還是無(wú)線(xiàn)傳輸,都存在著這樣一些情況:其中,由于通信線(xiàn)傳輸率的 原因,難以按如此高的編碼率實(shí)時(shí)地傳輸所編碼的移動(dòng)圖像。
[0066] 另外,還存在著這樣的一種情況:其中,移動(dòng)圖像再現(xiàn)設(shè)備具有不充分的解碼能 力,在這樣的情況下,需要花費(fèi)時(shí)間對(duì)按高編碼率編碼的移動(dòng)圖像進(jìn)行解碼。在這一情況 下,按低編碼率接收以低分辨率傳輸?shù)囊苿?dòng)圖像,然后加以放大,以適合移動(dòng)圖像再現(xiàn)設(shè)備 顯示屏面的尺寸。而且,當(dāng)在諸如寫(xiě)字板的設(shè)備或者配有大屏面的電視機(jī)中再現(xiàn)移動(dòng)圖像, 即再現(xiàn)諸如在針對(duì)一段廣播或者針對(duì)移動(dòng)設(shè)備的移動(dòng)圖像流(分布于主要配有小屏面的設(shè) 備)中降低了其針對(duì)移動(dòng)設(shè)備的分辨率或者編碼率的內(nèi)容的移動(dòng)圖像時(shí),按相同的方式放 大和顯示移動(dòng)圖像。如果在大尺寸屏面上放大和再現(xiàn)適合于小尺寸屏面的所再現(xiàn)圖像,則 所再現(xiàn)圖像的質(zhì)量劣化。
[0067] 對(duì)于這一問(wèn)題,存在著這樣一種技術(shù):通過(guò)在移動(dòng)圖像再現(xiàn)設(shè)備中分析所接收的 所再現(xiàn)圖像,并且在其上進(jìn)行向上轉(zhuǎn)換計(jì)算,降低針對(duì)某一屏面放大時(shí)移動(dòng)圖像的劣化程 度。然而,對(duì)于小屏面,在基于主要具有少量信息的移動(dòng)圖像的計(jì)算中,存在對(duì)圖像質(zhì)量改 進(jìn)的限制,計(jì)算過(guò)程成為再現(xiàn)設(shè)備上的一個(gè)負(fù)擔(dān),或者必須安裝一個(gè)用于計(jì)算的獨(dú)立電路。
[0068] 另一方面,這樣的一種移動(dòng)圖像流系統(tǒng)已廣泛得以使用:其中,提供在Internet 上的多個(gè)移動(dòng)圖像分布服務(wù)器針對(duì)一段移動(dòng)圖像內(nèi)容準(zhǔn)備按多種圖像尺寸提供的、并且按 多個(gè)編碼率進(jìn)行編碼的移動(dòng)圖像文件組,再現(xiàn)設(shè)備選擇一個(gè)具有符合傳輸率或者再現(xiàn)能力 的圖像尺寸和編碼率的移動(dòng)圖像文件。
[0069] 然而,在所述流系統(tǒng)中,預(yù)先決定了可以選擇的圖像尺寸和編碼率,因此不能夠指 定任意圖像尺寸或者編碼率。例如,當(dāng)分布服務(wù)器提供具有l(wèi)Mbps、3Mbps、以及5Mbps傳輸 率的移動(dòng)圖像文件以及移動(dòng)圖像再現(xiàn)設(shè)備的傳輸率為4Mbps時(shí),如果移動(dòng)圖像再現(xiàn)設(shè)備選 擇和接收3Mbps的移動(dòng)圖像,則所述設(shè)備可以再現(xiàn)具有最高圖像質(zhì)量的移動(dòng)圖像,但不使 用1Mbps的傳輸頻帶。
[0070] 如果使屏面的部分區(qū)域提供高圖像質(zhì)量,當(dāng)放大和再現(xiàn)針對(duì)小尺寸屏面再現(xiàn)的移 動(dòng)圖像時(shí),存在著許多其中不能夠增強(qiáng)用戶(hù)觀看感受的情況。例如,如果使圖像中的可以提 高其識(shí)別的一個(gè)區(qū)域(例如,體育廣播中的一個(gè)球或者運(yùn)動(dòng)員、電影中演員的面部等)、或者 僅移動(dòng)圖像中被認(rèn)為是重要的一個(gè)區(qū)域具有高圖像質(zhì)量,則在許多情況下可以增強(qiáng)用戶(hù)的 觀看感受。
[0071] 因此,根據(jù)本發(fā)明專(zhuān)利的一個(gè)實(shí)施例,一個(gè)服務(wù)器生成具有高圖像質(zhì)量的一個(gè)部 分屏面的移動(dòng)圖像,其中,僅把屏面的部分區(qū)域設(shè)置為具有高圖像質(zhì)量。在本實(shí)施例中,把 這樣的具有高圖像質(zhì)量的一個(gè)部分屏面的移動(dòng)圖像稱(chēng)為"內(nèi)插移動(dòng)圖像"。所述服務(wù)器把所 生成的內(nèi)插移動(dòng)圖像傳輸于移動(dòng)圖像再現(xiàn)設(shè)備。當(dāng)放大和再現(xiàn)一個(gè)具有低圖像質(zhì)量的移動(dòng) 圖像時(shí),把具有高圖像質(zhì)量的一個(gè)部分屏面的內(nèi)插移動(dòng)圖像與其合成,并且同時(shí)加以再現(xiàn)。 在本實(shí)施例中,把放大和再現(xiàn)具有低圖像質(zhì)量的移動(dòng)圖像時(shí)所執(zhí)行的合成具有高圖像質(zhì)量 的一個(gè)部分屏面的內(nèi)插移動(dòng)圖像的過(guò)程稱(chēng)為"內(nèi)插處理"。在以下所描述的本發(fā)明專(zhuān)利的一 個(gè)實(shí)施例中,可以通過(guò)使屏面的部分區(qū)域具有高圖像質(zhì)量增強(qiáng)用戶(hù)的觀看感受,甚至是當(dāng) 放大和再現(xiàn)具有低圖像質(zhì)量的移動(dòng)圖像時(shí)。
[0072] 移動(dòng)圖像的分布側(cè)預(yù)先創(chuàng)建具有高分辨率的高質(zhì)量移動(dòng)圖像,并且按高編碼率對(duì) 它們進(jìn)行編碼,然后把所述圖像作為用作將加以分布的再現(xiàn)移動(dòng)圖像(具有低圖像質(zhì)量)的 基礎(chǔ)的原始移動(dòng)圖像加以保存。移動(dòng)圖像的分布側(cè)考慮到移動(dòng)圖像再現(xiàn)設(shè)備的通信頻帶或 者能力,從而能夠根據(jù)具有高圖像質(zhì)量的移動(dòng)圖像創(chuàng)建和分布其分辨率或者編碼率為低的 所再現(xiàn)移動(dòng)圖像。
[0073] 具有1?圖像質(zhì)量的原始移動(dòng)圖像以及所分布和所再現(xiàn)移動(dòng)圖像為具有相同移動(dòng) 圖像內(nèi)容、不同圖像尺寸、以及基于相同內(nèi)容的編碼率的圖像項(xiàng)(移動(dòng)圖像文件等)。于是, 把兩個(gè)移動(dòng)圖像設(shè)置為具有相同的內(nèi)容名(標(biāo)題等)或者相同的內(nèi)部管理標(biāo)識(shí)符,以將它們 互相關(guān)聯(lián)。用戶(hù)可以根據(jù)兩個(gè)移動(dòng)圖像的內(nèi)容名(標(biāo)題等)認(rèn)出:就同樣內(nèi)容而言,所再現(xiàn) 移動(dòng)圖像(具有低圖像質(zhì)量)和具有高圖像質(zhì)量的原始移動(dòng)圖像被互相關(guān)聯(lián),移動(dòng)圖像再現(xiàn) 設(shè)備可以使用內(nèi)部管理標(biāo)識(shí)符把兩個(gè)移動(dòng)圖像加以關(guān)聯(lián)。
[0074] 以上,描述了本發(fā)明專(zhuān)利的梗概。以下,將描述根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的移動(dòng) 圖像再現(xiàn)系統(tǒng)的一個(gè)總配置實(shí)例。
[0075] [總配置實(shí)例]
[0076] 圖1描述了根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1的一個(gè)總配置實(shí) 例。以下,將參照?qǐng)D1描述根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1的總配置實(shí) 例。
[0077] 如圖1中所示,把根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1配置為包括 再現(xiàn)移動(dòng)圖像傳輸單元110、內(nèi)插移動(dòng)圖像生成單元120、內(nèi)插移動(dòng)圖像傳輸單元130、以及 再現(xiàn)設(shè)備200。再現(xiàn)移動(dòng)圖像傳輸單元110、內(nèi)插移動(dòng)圖像生成單元120、以及內(nèi)插移動(dòng)圖像 傳輸單元130為移動(dòng)圖像分布側(cè)的部件,可以把所述部件提供在同一設(shè)備中,也可以經(jīng)由 一條諸如網(wǎng)絡(luò)的傳輸路徑將它們互相連接。當(dāng)經(jīng)由諸如網(wǎng)絡(luò)的傳輸路徑將這些部件互相連 接時(shí),傳輸路徑可以相同也可以不同。例如,可以把再現(xiàn)移動(dòng)圖像傳輸單元110、內(nèi)插移動(dòng)圖 像生成單元120、以及內(nèi)插移動(dòng)圖像傳輸單元130全部在同一網(wǎng)絡(luò)或者在不同的傳輸路徑 上互相連接,以使再現(xiàn)移動(dòng)圖像傳輸單元110和再現(xiàn)設(shè)備200之間的傳輸路徑為廣播波,內(nèi) 插移動(dòng)圖像傳輸單元130和再現(xiàn)設(shè)備200之間的傳輸路徑為網(wǎng)絡(luò)。
[0078] 在以下所提供的描述中,把再現(xiàn)移動(dòng)圖像傳輸單元110、內(nèi)插移動(dòng)圖像生成單元 120、以及內(nèi)插移動(dòng)圖像傳輸單元130設(shè)置為經(jīng)由諸如圖1中所示的網(wǎng)絡(luò)的傳輸路徑互相連 接,然而,本發(fā)明專(zhuān)利并不局限于這一實(shí)例。
[0079] 圖10描述了再現(xiàn)移動(dòng)圖像傳輸單元110、內(nèi)插移動(dòng)圖像生成單元120、以及內(nèi)插移 動(dòng)圖像傳輸單元130所保存的移動(dòng)圖像數(shù)據(jù)組。將參照?qǐng)D10中所示的移動(dòng)圖像數(shù)據(jù)組描述 再現(xiàn)移動(dòng)圖像傳輸單元110、內(nèi)插移動(dòng)圖像生成單元120、以及內(nèi)插移動(dòng)圖像傳輸單元130。
[0080] 再現(xiàn)移動(dòng)圖像傳輸單元110經(jīng)由諸如網(wǎng)絡(luò)或者廣播波的傳輸路徑把再現(xiàn)移動(dòng)圖 像vio傳輸于再現(xiàn)設(shè)備200。把再現(xiàn)移動(dòng)圖像V10傳輸于所有客戶(hù)機(jī),并且將其配置為將在 客戶(hù)機(jī)中加以再現(xiàn)的移動(dòng)圖像文件。再現(xiàn)設(shè)備200可以接收、再現(xiàn)、或者存儲(chǔ)從再現(xiàn)移動(dòng)圖 像傳輸單元110傳輸?shù)脑佻F(xiàn)移動(dòng)圖像vl〇。
[0081] 內(nèi)插移動(dòng)圖像生成單元120保存其內(nèi)容與再現(xiàn)移動(dòng)圖像vio的內(nèi)容相同,并且質(zhì) 量1?于再現(xiàn)移動(dòng)圖像vl〇的質(zhì)量的1?質(zhì)量移動(dòng)圖像vll。注意,質(zhì)量1?意味著圖像尺寸大或 者編碼率高。把高質(zhì)量移動(dòng)圖像Vll配置為一個(gè)其內(nèi)容與再現(xiàn)移動(dòng)圖像vio的內(nèi)容相同, 并且諸如圖像尺寸或者編碼率的質(zhì)量高的移動(dòng)圖像文件。高質(zhì)量移動(dòng)圖像Vll是一個(gè)用作 再現(xiàn)移動(dòng)圖像vio的基礎(chǔ)的移動(dòng)圖像??梢杂捎脩?hù),也可以在系統(tǒng)中,根據(jù)顯示名、內(nèi)部管 理標(biāo)識(shí)符等把所再現(xiàn)移動(dòng)圖像和高質(zhì)量移動(dòng)圖像加以關(guān)聯(lián)。內(nèi)插移動(dòng)圖像生成單元120決 定再現(xiàn)設(shè)備200中將加以再現(xiàn)的移動(dòng)圖像中的一個(gè)內(nèi)插區(qū)域,從高質(zhì)量移動(dòng)圖像vll抽取 內(nèi)插區(qū)域,并且生成一個(gè)內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息ilO。例如,內(nèi)插移動(dòng)圖像生成單元 120可以為分布移動(dòng)圖像的服務(wù)提供商或者提供在網(wǎng)絡(luò)上的服務(wù)器設(shè)備所提供的移動(dòng)圖像 創(chuàng)作設(shè)備。
[0082] 內(nèi)插移動(dòng)圖像vl2為一個(gè)從高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面通過(guò)抽取獲得的 移動(dòng)圖像文件,僅為一個(gè)可以使用其提高對(duì)再現(xiàn)移動(dòng)圖像vlO的內(nèi)容的識(shí)別的區(qū)域或者一 個(gè)被視為重要的區(qū)域的內(nèi)插區(qū)域,換句話(huà)說(shuō),為高質(zhì)量移動(dòng)圖像vll的一個(gè)部分屏面的一 個(gè)移動(dòng)圖像。把內(nèi)插移動(dòng)圖像vl2配置為一個(gè)通過(guò)從高質(zhì)量移動(dòng)圖像vll幀圖像抽取由以 下將加以描述的內(nèi)插指令單元121所保存的信息所指示的內(nèi)插區(qū)域的一個(gè)部分圖像,并且 將該部分圖像編碼為幀圖像所獲得的移動(dòng)圖像文件。
[0083] 內(nèi)插信息Π 0為本發(fā)明專(zhuān)利再現(xiàn)信息的一個(gè)實(shí)例。內(nèi)插信息Π 0為內(nèi)插移動(dòng)圖像 生成單元120所生成的信息,并且將其配置為一個(gè)其中針對(duì)每一個(gè)幀表示原始高質(zhì)量移動(dòng) 圖像vll的移動(dòng)圖像屏面中內(nèi)插移動(dòng)圖像vl2的每一個(gè)幀圖像的坐標(biāo)、寬度、以及高度的文 件。根據(jù)以下將加以描述的內(nèi)插指令單元121所保存的信息生成內(nèi)插信息ilO。另外,在內(nèi) 插信息i 10中,也可以記錄原始高質(zhì)量移動(dòng)圖像vll的總圖像尺寸。
[0084] 對(duì)于一段移動(dòng)圖像內(nèi)容(再現(xiàn)移動(dòng)圖像vlO和高質(zhì)量移動(dòng)圖像vll),可以創(chuàng)建多 段內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息Π 0。例如,對(duì)于為一段移動(dòng)圖像內(nèi)容的體育移動(dòng)圖像,可 能存在多段內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息ilO,例如,用于內(nèi)插運(yùn)動(dòng)員A的一個(gè)區(qū)域的內(nèi)插 移動(dòng)圖像vl2和內(nèi)插信息i 10以及用于內(nèi)插運(yùn)動(dòng)員B的一個(gè)區(qū)域的內(nèi)插移動(dòng)圖像vl2和內(nèi) 插信息il〇。在這一方式下,通過(guò)為一個(gè)移動(dòng)圖像內(nèi)容項(xiàng)創(chuàng)建所述多段內(nèi)插移動(dòng)圖像vl2和 內(nèi)插信息il〇,用戶(hù)可以選擇其最喜歡的運(yùn)動(dòng)員的一或多段內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息 il〇,并且在再現(xiàn)設(shè)備200中再現(xiàn)移動(dòng)圖像。另外,例如,可以把用于內(nèi)插一個(gè)其中顯示文本 信息(例如,得分)的區(qū)域的內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息Π 0設(shè)計(jì)為針對(duì)一個(gè)為一段移動(dòng) 圖像內(nèi)容的體育移動(dòng)圖像加以生成。
[0085] 把內(nèi)插移動(dòng)圖像生成單元120配置為包括內(nèi)插指令單元121,如圖1中所示。內(nèi)插 指令單元121保存指示應(yīng)該把高質(zhì)量移動(dòng)圖像vll的屏面的哪一部分指定為內(nèi)插區(qū)域的信 息。1?質(zhì)量移動(dòng)圖像vll的屏面為具有與再現(xiàn)移動(dòng)圖像vl〇和1?質(zhì)量移動(dòng)圖像vll相同內(nèi) 容以及在圖像尺寸和編碼率而言為高質(zhì)量的屏面。在內(nèi)插指令單元121所保存的信息中, 針對(duì)每一個(gè)幀列舉了每一個(gè)被指示為內(nèi)插區(qū)域的幀圖像中一個(gè)區(qū)域的坐標(biāo)、寬度、以及高 度。例如,內(nèi)插指令單元121所保存的信息可以為再現(xiàn)再現(xiàn)移動(dòng)圖像vlO的用戶(hù)或者分布 再現(xiàn)移動(dòng)圖像vl〇的分布服務(wù)提供商方面的人(例如,為編輯再現(xiàn)移動(dòng)圖像vl〇的編輯,或 者,如果再現(xiàn)移動(dòng)圖像vlO為體育移動(dòng)圖像,為對(duì)體育比賽進(jìn)行解說(shuō)的體育解說(shuō)員)所指示 的區(qū)域以及移動(dòng)圖像的時(shí)間,并且將其變?yōu)橐粋€(gè)計(jì)算機(jī)文件,也可以為一個(gè)通過(guò)移動(dòng)圖像 識(shí)別自動(dòng)檢測(cè)的區(qū)域,并且將其變?yōu)橐粋€(gè)計(jì)算機(jī)文件??梢园褍?nèi)插指令單元121所保存的 信息作為內(nèi)插信息il〇提交于內(nèi)插移動(dòng)圖像傳輸單兀130。
[0086] 圖1描述了執(zhí)行移動(dòng)圖像識(shí)別的移動(dòng)圖像分析單元300。移動(dòng)圖像分析單元300 通過(guò)移動(dòng)圖像識(shí)別,決定每一個(gè)幀的內(nèi)插區(qū)域,并且把所決定的內(nèi)插區(qū)域的信息傳送于內(nèi) 插指令單兀121。
[0087] 內(nèi)插移動(dòng)圖像傳輸單元130保存內(nèi)插移動(dòng)圖像生成單元120所生成的內(nèi)插移動(dòng)圖 像vl2和內(nèi)插信息ilO,并且經(jīng)由諸如網(wǎng)絡(luò)的傳輸路徑把移動(dòng)圖像和所述信息傳輸于再現(xiàn) 設(shè)備200。例如,內(nèi)插移動(dòng)圖像傳輸單元130可以為網(wǎng)絡(luò)上的服務(wù)器設(shè)備。
[0088] 再現(xiàn)設(shè)備200接收和再現(xiàn)從再現(xiàn)移動(dòng)圖像傳輸單元110傳輸?shù)脑佻F(xiàn)移動(dòng)圖像vlO。 另外,再現(xiàn)設(shè)備200還接收從內(nèi)插移動(dòng)圖像傳輸單元130傳輸?shù)膬?nèi)插移動(dòng)圖像vl2和內(nèi)插 信息il〇,并且在再現(xiàn)再現(xiàn)移動(dòng)圖像vlO時(shí)使用內(nèi)插信息ilO,通過(guò)用內(nèi)插移動(dòng)圖像vl2取 代移動(dòng)圖像的一部分再現(xiàn)再現(xiàn)移動(dòng)圖像vlO。
[0089] 如圖1中所示,再現(xiàn)設(shè)備200包括內(nèi)插單元210和再現(xiàn)單元220。內(nèi)插單元210 從再現(xiàn)移動(dòng)圖像傳輸單元110接收再現(xiàn)移動(dòng)圖像vio,并且還從內(nèi)插移動(dòng)圖像傳輸單元130 接收內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息ilO。內(nèi)插單元210使用再現(xiàn)移動(dòng)圖像vlO上的內(nèi)插移 動(dòng)圖像vl2,致使再現(xiàn)移動(dòng)圖像vlO的一個(gè)內(nèi)插區(qū)域具有高質(zhì)量,從而生成被內(nèi)插移動(dòng)圖像 vl3。再現(xiàn)單元220再現(xiàn)內(nèi)插單元210所生成的被內(nèi)插移動(dòng)圖像vl3。把再現(xiàn)單元220所再 現(xiàn)的被內(nèi)插移動(dòng)圖像vl3顯示在顯示屏面(未在圖中加以顯示)上。
[0090] 可以把內(nèi)插單元210和再現(xiàn)單元220設(shè)置在再現(xiàn)設(shè)備200的內(nèi)部,如圖1中所示, 也可以在諸如網(wǎng)絡(luò)的傳輸路徑上將它們互相連接。
[0091] 以上,已經(jīng)參照?qǐng)D1描述了根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1的 總配置實(shí)例。以下,將描述根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像生成單元120的一 個(gè)功能配置實(shí)例。
[0092] [內(nèi)插移動(dòng)圖像生成單元的功能配置實(shí)例]
[0093] 圖2描述了根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像生成單元120的一個(gè)功能 配置實(shí)例。以下,將參照?qǐng)D2描述根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像生成單元120 的所述功能配置實(shí)例。
[0094] 如圖2中所示,把根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像生成單元120配置 為包括內(nèi)插指令單元121、解碼單元122、內(nèi)插信息處理單元123、幀圖像抽取單元124、以及 編碼單元125。
[0095] 內(nèi)插指令單元121保存指示應(yīng)該把高質(zhì)量移動(dòng)圖像vll的屏面的哪一部分設(shè)置為 內(nèi)插區(qū)域,如以上所描述的。如果需要的話(huà),把內(nèi)插指令單元121所保存的信息適當(dāng)?shù)靥峤?于內(nèi)插信息處理單元123。
[0096] 解碼單元122對(duì)所編碼的高質(zhì)量移動(dòng)圖像vll進(jìn)行解碼。當(dāng)對(duì)高質(zhì)量移動(dòng)圖像 vll進(jìn)行解碼時(shí),解碼單元122把高質(zhì)量移動(dòng)圖像vll的每一個(gè)幀的時(shí)間信息和圖像尺寸傳 送于內(nèi)插信息處理單元123,并且把高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面的幀圖像傳送于 幀圖像抽取單元124。
[0097] 內(nèi)插信息處理單元123根據(jù)內(nèi)插指令單元121所保存的信息針對(duì)高質(zhì)量移動(dòng)圖像 vll的每一個(gè)巾貞,決定抽取內(nèi)插移動(dòng)圖像vl2的坐標(biāo)(內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的 坐標(biāo))及其尺寸,并且把坐標(biāo)和尺寸的信息傳送于幀圖像抽取單元124。另外,內(nèi)插信息處 理單元123還根據(jù)內(nèi)插指令單元121所保存的信息生成內(nèi)插信息Π 0。把內(nèi)插信息處理單 兀123所生成的內(nèi)插信息ilO提交于內(nèi)插移動(dòng)圖像傳輸單兀130。
[0098] 幀圖像抽取單元124從解碼單元122所給出的高質(zhì)量移動(dòng)圖像vll的一個(gè)所解碼 的幀圖像抽取內(nèi)插信息處理單元123指示的一個(gè)區(qū)域的一個(gè)像素組(一個(gè)部分圖像),并且 把該像素組設(shè)置為內(nèi)插移動(dòng)圖像屏面的一個(gè)幀圖像。把幀圖像抽取單元124所抽取的內(nèi)插 移動(dòng)圖像屏面的幀圖像提交于編碼單元125。
[0099] 編碼單元125對(duì)幀圖像抽取單元124所抽取的內(nèi)插移動(dòng)圖像屏面的幀圖像進(jìn)行編 碼,并且生成內(nèi)插移動(dòng)圖像vl2。把編碼單元125所生成的內(nèi)插移動(dòng)圖像vl2提交于內(nèi)插移 動(dòng)圖像傳輸單元130。
[0100] 內(nèi)插移動(dòng)圖像生成單元120可以使用具有圖2中所示配置的內(nèi)插移動(dòng)圖像vl2, 根據(jù)用于內(nèi)插再現(xiàn)移動(dòng)圖像vlO的高質(zhì)量移動(dòng)圖像vll和內(nèi)插信息i 10生成內(nèi)插移動(dòng)圖像 vl2〇
[0101] 以上,已經(jīng)參照?qǐng)D2描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像生成單元 120的所述功能配置實(shí)例。以下,將描述根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單 元130的一個(gè)功能配置實(shí)例。
[0102] [內(nèi)插移動(dòng)圖像傳輸單元的功能配置實(shí)例]
[0103] 圖3描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元130的一個(gè)功能 配置實(shí)例。以下,將參照?qǐng)D3描述根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元130 的所述功能配置實(shí)例。
[0104] 如圖3中所示,把根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元130配置 為包括接收單元131、內(nèi)插記錄單元132、內(nèi)插列表管理單元133、以及傳輸單元134。
[0105] 接收單元131接收內(nèi)插移動(dòng)圖像生成單元120所生成的內(nèi)插移動(dòng)圖像vl2和內(nèi)插 信息il〇。當(dāng)接收到內(nèi)插移動(dòng)圖像生成單元120所生成的內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息ilO 時(shí),接收單元131把所接收的內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息i 10提交于內(nèi)插記錄單元132。
[0106] 內(nèi)插記錄單元132把從接收單元131所提交的內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息ilO 相關(guān)聯(lián)地加以保存。內(nèi)插記錄單元132還保存一對(duì)兒內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息ilO涉 及哪一移動(dòng)圖像內(nèi)容的信息。當(dāng)斷定所述內(nèi)插移動(dòng)圖像V12和內(nèi)插信息Π 0對(duì)兒涉及哪一 移動(dòng)圖像內(nèi)容的信息時(shí),使用內(nèi)插移動(dòng)圖像生成單元120在內(nèi)插信息Π 0中所描述的移動(dòng) 圖像內(nèi)容的一個(gè)標(biāo)識(shí)符,如以下將加以描述的。圖3描述了內(nèi)插記錄單元132所保存的內(nèi) 插管理信息的一個(gè)實(shí)例。移動(dòng)圖像內(nèi)容X包括用于內(nèi)插運(yùn)動(dòng)員A和運(yùn)動(dòng)員B的信息,移動(dòng) 圖像內(nèi)容Y包括用于內(nèi)插汽車(chē)a的內(nèi)插管理信息。在所述內(nèi)插管理信息中,把內(nèi)插移動(dòng)圖 像vl2與內(nèi)插信息i 10相關(guān)聯(lián)。
[0107] 內(nèi)插列表管理單元133根據(jù)來(lái)自再現(xiàn)設(shè)備200的內(nèi)插單元210的詢(xún)問(wèn),返回相應(yīng) 于內(nèi)插記錄單元132所保存的內(nèi)插移動(dòng)圖像組的移動(dòng)圖像內(nèi)容的一個(gè)列表。另外,當(dāng)內(nèi)插 單元210指定移動(dòng)圖像內(nèi)容時(shí),內(nèi)插列表管理單元133返回內(nèi)插記錄單元132所保存的內(nèi) 插移動(dòng)圖像vl2和內(nèi)插信息i 10對(duì)兒的一個(gè)列表。
[0108] 在圖3中所示的實(shí)例中,內(nèi)插列表管理單元133根據(jù)來(lái)自再現(xiàn)設(shè)備200的內(nèi)插單 元210的詢(xún)問(wèn)返回作為相應(yīng)于內(nèi)插記錄單元132所保存的內(nèi)插移動(dòng)圖像組的移動(dòng)圖像內(nèi)容 的一個(gè)列表的內(nèi)容X和內(nèi)容y。另外,在圖3中所示的實(shí)例中,當(dāng)在再現(xiàn)設(shè)備200中指定內(nèi) 容X時(shí),內(nèi)插列表管理單元133返回作為內(nèi)容X中所呈現(xiàn)的內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息 Π 0對(duì)兒的一個(gè)列表的"運(yùn)動(dòng)員A"和"運(yùn)動(dòng)員B"。而且,當(dāng)再現(xiàn)設(shè)備200指示內(nèi)插移動(dòng)圖 像vl2和內(nèi)插信息ilO對(duì)兒時(shí),內(nèi)插列表管理單元133指示傳輸單元134傳輸內(nèi)插移動(dòng)圖 像vl2和內(nèi)插信息ilO對(duì)兒。
[0109] 傳輸單元134從內(nèi)插記錄單元132獲取內(nèi)插列表管理單元133指示其傳輸?shù)膬?nèi)插 移動(dòng)圖像vl2和內(nèi)插信息ilO對(duì)兒,并且將所述對(duì)兒傳輸于再現(xiàn)設(shè)備200。
[0110] 內(nèi)插移動(dòng)圖像傳輸單元130可以把根據(jù)用于使用內(nèi)插移動(dòng)圖像vl2內(nèi)插再現(xiàn)移動(dòng) 圖像vio的高質(zhì)量移動(dòng)圖像vll和再現(xiàn)移動(dòng)圖像vio生成的內(nèi)插移動(dòng)圖像V12傳輸于具有 圖3中所示配置的再現(xiàn)設(shè)備200。
[0111] 以上,已經(jīng)參照?qǐng)D3描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元 130的功能配置實(shí)例。以下,將描述包括在根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的再現(xiàn)設(shè)備200中內(nèi) 插單元210的一個(gè)功能配置實(shí)例。
[0112] [內(nèi)插單元的功能配置實(shí)例]
[0113] 圖4描述了包括在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的再現(xiàn)設(shè)備200中的內(nèi)插單元210 的所述功能配置實(shí)例。以下,將參照?qǐng)D4描述包括在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的再現(xiàn)設(shè) 備200中的內(nèi)插單元210的所述功能配置實(shí)例。
[0114] 如圖4中所示,把包括在根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的再現(xiàn)設(shè)備200中的內(nèi)插單 元210配置為包括接收部件211、212、以及213、內(nèi)插移動(dòng)圖像選擇部件214、解碼部件215 和216、時(shí)間控制部件217、以及內(nèi)插處理部件218。
[0115] 接收部件211、212、以及213為本發(fā)明專(zhuān)利的圖像獲取單元的一個(gè)實(shí)例。接收部件 211、212、以及213分別接收再現(xiàn)移動(dòng)圖像vlO、內(nèi)插移動(dòng)圖像vl2、以及內(nèi)插信息ilO。從再 現(xiàn)移動(dòng)圖像傳輸單元110傳輸再現(xiàn)移動(dòng)圖像vlO,從內(nèi)插移動(dòng)圖像傳輸單元130傳輸內(nèi)插 移動(dòng)圖像vl2和內(nèi)插信息ilO。把接收部件211接收的再現(xiàn)移動(dòng)圖像vlO提交于解碼部件 215,把接收部件212接收的內(nèi)插移動(dòng)圖像vl2提交于解碼部件216,以及把接收部件213接 收的內(nèi)插信息il〇提交于內(nèi)插處理部件218。
[0116] 在圖4中所示的實(shí)例中,把接收部件211、212、以及213描述為獨(dú)立的構(gòu)成部件,然 而,本發(fā)明專(zhuān)利并不局限于這一實(shí)例。也可以把接收部件211、212、以及213作為一個(gè)構(gòu)成 部件加以提供。
[0117] 內(nèi)插移動(dòng)圖像選擇部件214從內(nèi)插移動(dòng)圖像傳輸單元130獲取相應(yīng)于從再現(xiàn)移動(dòng) 圖像傳輸單元110所接收的再現(xiàn)移動(dòng)圖像VlO的內(nèi)插移動(dòng)圖像的一個(gè)列表,并且決定用于 再現(xiàn)移動(dòng)圖像vio的內(nèi)插的內(nèi)插移動(dòng)圖像V12和內(nèi)插信息Π 0。把內(nèi)插移動(dòng)圖像選擇部件 214所決定的內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息Π 0傳輸于內(nèi)插移動(dòng)圖像傳輸單元130。
[0118] 解碼部件215和216分別針對(duì)每一個(gè)幀對(duì)處于編碼的狀態(tài)的再現(xiàn)移動(dòng)圖像vlO和 內(nèi)插移動(dòng)圖像vl2進(jìn)行解碼,然后輸出幀圖像(像素組)。解碼部件215和216向內(nèi)插處理 部件218輸出再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的幀圖像。另外,解碼部件215和216 還輸出再現(xiàn)移動(dòng)圖像vl〇和內(nèi)插移動(dòng)圖像vl2的幀圖像幀時(shí)間(幀序號(hào))。
[0119] 在內(nèi)插處理部件218中所執(zhí)行的內(nèi)插處理期間,時(shí)間控制部件217使用從解碼部 件215和216所獲取的幀時(shí)間(幀序號(hào))信息進(jìn)行控制,以使再現(xiàn)移動(dòng)圖像vlO的幀時(shí)間與 內(nèi)插移動(dòng)圖像vl2的幀時(shí)間相匹配。
[0120] 內(nèi)插處理部件218為本發(fā)明專(zhuān)利圖像合成單元的一個(gè)實(shí)例。內(nèi)插處理部件218使 用內(nèi)插移動(dòng)圖像vl2執(zhí)行再現(xiàn)移動(dòng)圖像vlO的內(nèi)插處理。內(nèi)插處理部件218從時(shí)間控制部 件217取出從對(duì)再現(xiàn)移動(dòng)圖像vlO進(jìn)行解碼的解碼部件215所接收的再現(xiàn)移動(dòng)圖像vlO的 幀圖像的當(dāng)前幀的幀時(shí)間以及從對(duì)內(nèi)插移動(dòng)圖像vl2進(jìn)行解碼的解碼部件216所接收的內(nèi) 插移動(dòng)圖像vl2的幀圖像。另外,內(nèi)插處理部件218還從接收部件213所接收的內(nèi)插信息 Π 0獲取所述幀時(shí)間的一個(gè)內(nèi)插區(qū)域的坐標(biāo),并且組合處于再現(xiàn)移動(dòng)圖像vlO的幀圖像的 坐標(biāo)位置的內(nèi)插移動(dòng)圖像vl2的幀圖像。然后,內(nèi)插處理部件218輸出通過(guò)使用內(nèi)插移動(dòng) 圖像vl2制作再現(xiàn)移動(dòng)圖像vlO的移動(dòng)圖像屏面的一個(gè)高質(zhì)量部分區(qū)域(內(nèi)插區(qū)域)所獲得 的被內(nèi)插移動(dòng)圖像vl3。
[0121] 可以在再現(xiàn)設(shè)備200的屏面上再現(xiàn)被內(nèi)插移動(dòng)圖像vl3,通過(guò)由編碼單元230將其 編碼為移動(dòng)圖像將其存儲(chǔ)在傳輸與記錄單元240中,或者將其傳輸于另一個(gè)設(shè)備。
[0122] 內(nèi)插單元210可以通過(guò)圖4中所示配置執(zhí)行內(nèi)插處理,其中,使用用于內(nèi)插再現(xiàn)移 動(dòng)圖像vio的內(nèi)插移動(dòng)圖像V12和內(nèi)插信息i 10、以高質(zhì)量的內(nèi)插移動(dòng)圖像V12內(nèi)插再現(xiàn)移 動(dòng)圖像vlO的一部分。內(nèi)插單元210可以通過(guò)執(zhí)行其中向高質(zhì)量?jī)?nèi)插移動(dòng)圖像vl2內(nèi)插再 現(xiàn)移動(dòng)圖像vio的一部分的內(nèi)插處理增強(qiáng)用戶(hù)的觀看感受。
[0123] 以上,已經(jīng)參照?qǐng)D4描述了包括在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的再現(xiàn)設(shè)備200中 內(nèi)插單元210的所述功能配置實(shí)例。以下,將描述根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng) 圖像生成單元120的一個(gè)操作實(shí)例。
[0124] [內(nèi)插移動(dòng)圖像生成單元的操作實(shí)例]
[0125] 圖5為描述根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像生成單元120的所述操作 實(shí)例的流程圖。圖5中所示的流程圖為針對(duì)生成內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息Π 0時(shí)根據(jù) 本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例。以下,將參照?qǐng)D5 描述根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例。
[0126] 首先,內(nèi)插移動(dòng)圖像生成單元120對(duì)(所編碼的)高質(zhì)量移動(dòng)圖像vll進(jìn)行解碼,從 而生成一個(gè)所解碼的幀圖像(步驟S101)。幀圖像為其中設(shè)置了一個(gè)屏面的像素組的數(shù)據(jù)。
[0127] 當(dāng)在步驟S101中生成高質(zhì)量移動(dòng)圖像vll的幀圖像時(shí),內(nèi)插移動(dòng)圖像生成單元 120的內(nèi)插指令單元121接下來(lái)獲取被指示為所解碼的幀圖像中的一個(gè)內(nèi)插區(qū)域的信息 (步驟S102)。例如,用戶(hù)可以看到幀圖像,然后指示內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度。此 處,"用戶(hù)"可以包括再現(xiàn)再現(xiàn)移動(dòng)圖像vl〇的用戶(hù)、來(lái)自分布再現(xiàn)移動(dòng)圖像vl〇的分布服 務(wù)提供商的人(例如,為編輯再現(xiàn)移動(dòng)圖像vl〇的編輯,或者,如果再現(xiàn)移動(dòng)圖像vl〇為體育 移動(dòng)圖像,為對(duì)體育比賽進(jìn)行解說(shuō)的體育解說(shuō)員)等。另外,可以把用戶(hù)事先指示的或者通 過(guò)移動(dòng)圖像識(shí)別過(guò)程自動(dòng)抽取內(nèi)插區(qū)域所獲得的區(qū)域的信息按行形式存儲(chǔ)在一個(gè)文件中, 其中,所述行包括內(nèi)插區(qū)域的幀時(shí)間(幀序號(hào))、坐標(biāo)、寬度、以及高度。當(dāng)生成內(nèi)插移動(dòng)圖像 時(shí),讀取指示為內(nèi)插區(qū)域的信息,并且獲取相應(yīng)于每一個(gè)所解碼的幀的幀時(shí)間(幀序號(hào))的 內(nèi)插區(qū)域的信息。
[0128] 例如,移動(dòng)圖像分析單元300可以通過(guò)使用面部識(shí)別、移動(dòng)體識(shí)別、透視識(shí)別等技 術(shù)分析高質(zhì)量移動(dòng)圖像vll,自動(dòng)地決定內(nèi)插區(qū)域。另外,可以把用戶(hù)(再現(xiàn)再現(xiàn)移動(dòng)圖像 V10的用戶(hù)、來(lái)自分布再現(xiàn)移動(dòng)圖像V10的分布服務(wù)提供商的人等)的指定與移動(dòng)圖像分析 單元300對(duì)移動(dòng)圖像的分析相結(jié)合。存在著跟蹤用戶(hù)指示的對(duì)象的移動(dòng)的移動(dòng)圖像分析技 術(shù)。使用跟蹤對(duì)象的移動(dòng)的移動(dòng)圖像分析技術(shù),例如,當(dāng)用戶(hù)指示體育比賽的移動(dòng)圖像中的 運(yùn)動(dòng)員時(shí),移動(dòng)圖像分析單元300可以跟蹤所指示的運(yùn)動(dòng)員的移動(dòng),并且可以把通過(guò)跟蹤 所獲得的一個(gè)區(qū)域設(shè)置為內(nèi)插區(qū)域。
[0129] 內(nèi)插指令單元121把根據(jù)用戶(hù)(再現(xiàn)再現(xiàn)移動(dòng)圖像vlO的用戶(hù)、來(lái)自分布再現(xiàn)移動(dòng) 圖像vio的分布服務(wù)提供商的人等)的指定或者圖像識(shí)別的結(jié)果所生成的內(nèi)插區(qū)域的信息 (坐標(biāo)、寬度、以及高度)提交于內(nèi)插信息處理單元123。內(nèi)插信息處理單元123把從內(nèi)插指 令單元121傳送的內(nèi)插區(qū)域的信息傳送于幀圖像抽取單元124。
[0130] 接下來(lái),內(nèi)插移動(dòng)圖像生成單元120從幀圖像抽取單元124中所解碼的高質(zhì)量移 動(dòng)圖像vll的幀圖像抽取內(nèi)插指令單元121所指定的(坐標(biāo)、寬度、以及高度的)區(qū)域的像素 組(步驟S103)。
[0131] 當(dāng)在步驟S103中從高質(zhì)量移動(dòng)圖像vll的幀圖像抽取所指定的(坐標(biāo)、寬度、以及 高度的)區(qū)域的像素組時(shí),內(nèi)插移動(dòng)圖像生成單元120接下來(lái)把所抽取的像素組設(shè)置為內(nèi)插 區(qū)域的幀圖像,令編碼單元125對(duì)幀圖像進(jìn)行編碼,然后把幀圖像寫(xiě)入一個(gè)文件,從而生成 內(nèi)插移動(dòng)圖像vl2 (步驟S104)。
[0132] 在步驟S104的編碼期間,可以把編碼率決定為低于原始高質(zhì)量移動(dòng)圖像vll的編 碼率。在移動(dòng)圖像的通常的編碼中,如果圖像尺寸(屏面中像素的面積,或者數(shù)目)小,則需 要維持相同圖像質(zhì)量的編碼率可以低。因此,例如,可以根據(jù)高質(zhì)量移動(dòng)圖像vll與內(nèi)插區(qū) 域的幀圖像的尺寸(面積)的比率決定編碼率。例如,如果面積比率為10:1,則編碼單元125 可以按商質(zhì)量移動(dòng)圖像vll的編碼率的10%的編碼率進(jìn)行編碼。另外,編碼單兀125還可 以使用表面系統(tǒng)的S/N比特征決定編碼率。
[0133] 而且,內(nèi)插移動(dòng)圖像生成單元120致使內(nèi)插信息處理單元123把高質(zhì)量移動(dòng)圖像 vll的幀圖像上的內(nèi)插區(qū)域的幀時(shí)間(幀序號(hào))和坐標(biāo)、寬度、以及高度的信息記錄在文件 中,從而記錄了內(nèi)插信息il〇 (步驟S105)。
[0134] 通過(guò)內(nèi)插移動(dòng)圖像生成單元120重復(fù)圖5中所示的操作系列至高質(zhì)量移動(dòng)圖像 vl 1的最后一個(gè)幀,生成通過(guò)從高質(zhì)量移動(dòng)圖像vl 1和內(nèi)插信息i 10僅抽取內(nèi)插區(qū)域所獲得 的內(nèi)插移動(dòng)圖像vl2,內(nèi)插信息ilO中記錄了應(yīng)該把內(nèi)插移動(dòng)圖像vl2設(shè)置其中的每一個(gè) 幀中的坐標(biāo)。在其頂部,在內(nèi)插信息i 10中,也可以記錄高質(zhì)量移動(dòng)圖像vll的整個(gè)圖像尺 寸、移動(dòng)圖像內(nèi)容的標(biāo)題和標(biāo)識(shí)符、以及有關(guān)內(nèi)插移動(dòng)圖像的內(nèi)插名和內(nèi)插標(biāo)識(shí)符的信息。 如以上所描述的,與移動(dòng)圖像內(nèi)容一樣,把高質(zhì)量移動(dòng)圖像vll和再現(xiàn)移動(dòng)圖像vl〇互相關(guān) 聯(lián)。于是,通過(guò)使用作內(nèi)插移動(dòng)圖像vl2的基礎(chǔ)的1?質(zhì)量移動(dòng)圖像vll的標(biāo)題和標(biāo)識(shí)符包 括在內(nèi)插信息i 1 〇中,可以把所生成的內(nèi)插移動(dòng)圖像v 12與將內(nèi)插的再現(xiàn)移動(dòng)圖像v 10相 互關(guān)聯(lián)。另外,當(dāng)針對(duì)一段移動(dòng)圖像內(nèi)容創(chuàng)建多個(gè)內(nèi)插移動(dòng)圖像vl2和多段內(nèi)插信息Π 0 時(shí),用戶(hù)可以通過(guò)使內(nèi)插移動(dòng)圖像v 12的內(nèi)插名和內(nèi)插標(biāo)識(shí)符包括在內(nèi)插信息i 10中,選擇 內(nèi)插移動(dòng)圖像。
[0135] 以上,已經(jīng)參照?qǐng)D5描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像生成單元 120的所述操作實(shí)例。以下,將描述根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的內(nèi)插移動(dòng)圖像生成單元 120的操作實(shí)例。
[0136] [內(nèi)插移動(dòng)圖像傳輸單元的操作實(shí)例]
[0137] 圖6和7為描述根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元130的操作 實(shí)例的流程圖。圖6和7中所示的流程圖針對(duì)把內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息Π 0傳輸于 再現(xiàn)設(shè)備200時(shí)根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元130的操作實(shí)例。以 下,將參照?qǐng)D6和7描述根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像傳輸單元130的操作 實(shí)例。
[0138] 首先,將描述把內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息ilO的一個(gè)列表傳輸于再現(xiàn)設(shè)備200 時(shí)執(zhí)行的內(nèi)插移動(dòng)圖像傳輸單元130的一個(gè)操作實(shí)例。內(nèi)插移動(dòng)圖像傳輸單元130的內(nèi)插 列表管理單元133從再現(xiàn)設(shè)備200的內(nèi)插單元210接收一個(gè)對(duì)內(nèi)插移動(dòng)圖像vl2和內(nèi)插信 息i 10的請(qǐng)求(步驟S111)。從再現(xiàn)設(shè)備200所接收的請(qǐng)求包括一個(gè)用于表示移動(dòng)圖像內(nèi)容 的內(nèi)容標(biāo)識(shí)符。
[0139] 當(dāng)在步驟S111中從內(nèi)插單元210接收到所述請(qǐng)求時(shí),內(nèi)插列表管理單元133指定 從再現(xiàn)設(shè)備200所傳輸?shù)膬?nèi)容標(biāo)識(shí)符,并且從內(nèi)插記錄單元132獲取所保存的內(nèi)插移動(dòng)圖 像v 12和內(nèi)插信息i 10的列表(步驟S112 )。把內(nèi)插移動(dòng)圖像v 12和內(nèi)插信息i 10的列表包 括在內(nèi)插名和內(nèi)插標(biāo)識(shí)符的行中。
[0140] 當(dāng)在步驟S112中從內(nèi)插記錄單元132獲取到內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息ilO 的列表時(shí),內(nèi)插列表管理單元133把所獲取的列表返回至再現(xiàn)設(shè)備200的內(nèi)插單元210(步 驟 S113)。
[0141] 以下,將描述把內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息Π 0傳輸于再現(xiàn)設(shè)備200時(shí)所執(zhí)行 的內(nèi)插移動(dòng)圖像傳輸單元130的另一個(gè)操作實(shí)例。已經(jīng)接收到內(nèi)插移動(dòng)圖像vl2和內(nèi)插信 息i 10的列表的內(nèi)插單元210決定應(yīng)該獲取哪一內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息i 10,指定內(nèi) 插標(biāo)識(shí)符,然后請(qǐng)求內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息Π 0向內(nèi)插移動(dòng)圖像傳輸單元130的傳 輸。內(nèi)插列表管理單兀133接收從內(nèi)插單兀210所傳輸?shù)膫鬏攦?nèi)插移動(dòng)圖像vl2和內(nèi)插信 息Π 0的請(qǐng)求(步驟S121)。
[0142] 當(dāng)在步驟S121中接收到所述傳輸請(qǐng)求時(shí),內(nèi)插列表管理單元133指定傳輸單元 134中的內(nèi)插單元210已經(jīng)指定的內(nèi)插標(biāo)識(shí)符,然后指示內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息ilO 的傳輸(步驟S122)。
[0143] 當(dāng)在以上所描述的步驟S122中內(nèi)插列表管理單元133指示內(nèi)插移動(dòng)圖像vl2和 內(nèi)插信息Π 0的傳輸時(shí),傳輸單元134指定針對(duì)內(nèi)插記錄單元132當(dāng)內(nèi)插區(qū)域,并且獲取內(nèi) 插移動(dòng)圖像vl2和內(nèi)插信息ilO的文件,然后把所獲取的文件傳輸于內(nèi)插單元210 (步驟 S123)。
[0144] 內(nèi)插移動(dòng)圖像傳輸單元130可以通過(guò)執(zhí)行圖6和7中所示的操作把使用內(nèi)插移動(dòng) 圖像vl2根據(jù)用于內(nèi)插再現(xiàn)移動(dòng)圖像vlO的高質(zhì)量移動(dòng)圖像vll和內(nèi)插信息i 10所生成的 內(nèi)插移動(dòng)圖像vl2傳輸于再現(xiàn)設(shè)備200。
[0145] 以上,已經(jīng)參照?qǐng)D6和7描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的內(nèi)插移動(dòng)圖像傳輸 單元130的操作實(shí)例。以下,將描述包括在根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的再現(xiàn)設(shè)備200中 的內(nèi)插單元210的操作實(shí)例。
[0146] [內(nèi)插單元的操作實(shí)例]
[0147] 圖8和9為描述包括在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的再現(xiàn)設(shè)備200中的內(nèi)插單元 210的操作實(shí)例的流程圖。圖8和9中所示的流程圖針對(duì)使用內(nèi)插移動(dòng)圖像vl2執(zhí)行再現(xiàn) 移動(dòng)圖像vl〇的內(nèi)插處理時(shí)包括在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的再現(xiàn)設(shè)備200中的內(nèi)插單 元210的操作實(shí)例。以下,將參照?qǐng)D8和9描述包括在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的再現(xiàn) 設(shè)備200中的內(nèi)插單元210的操作實(shí)例。
[0148] 當(dāng)再現(xiàn)設(shè)備200的用戶(hù)決定了在再現(xiàn)設(shè)備200中將加以再現(xiàn)的再現(xiàn)移動(dòng)圖像vlO 時(shí)(步驟S131)時(shí),內(nèi)插移動(dòng)圖像選擇部件214決定相應(yīng)于所決定的再現(xiàn)移動(dòng)圖像vlO的內(nèi) 插移動(dòng)圖像vl2和內(nèi)插信息ilO (步驟S132)。內(nèi)插移動(dòng)圖像選擇部件214指定針對(duì)內(nèi)插 移動(dòng)圖像傳輸單元130的再現(xiàn)移動(dòng)圖像vlO的內(nèi)容標(biāo)識(shí)符,并且獲取內(nèi)插移動(dòng)圖像傳輸單 元130所保存的內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息i 10的列表。內(nèi)插移動(dòng)圖像選擇部件214根 據(jù)所獲取的列表決定將用于內(nèi)插處理的內(nèi)插移動(dòng)圖像vl2。例如,通過(guò)顯示內(nèi)插移動(dòng)圖像選 擇部件214所獲取的內(nèi)插名的一個(gè)列表,以允許用戶(hù)從所獲取的列表選擇一個(gè)內(nèi)插名,決 定將在內(nèi)插處理中使用的內(nèi)插移動(dòng)圖像v 12。內(nèi)插移動(dòng)圖像選擇部件214請(qǐng)求所決定的內(nèi) 插移動(dòng)圖像vl2和內(nèi)插信息ilO向內(nèi)插移動(dòng)圖像傳輸單兀130的傳輸。
[0149] 當(dāng)內(nèi)插移動(dòng)圖像傳輸單元130根據(jù)所述請(qǐng)求傳輸了內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息 il〇時(shí),內(nèi)插單元210使用所傳輸?shù)膬?nèi)插移動(dòng)圖像v 12和內(nèi)插信息i 10執(zhí)行從再現(xiàn)移動(dòng)圖像 傳輸單元110傳輸?shù)脑佻F(xiàn)移動(dòng)圖像vlO的內(nèi)插處理(步驟S133)。圖9為描述步驟S133的 內(nèi)插處理的細(xì)節(jié)的流程圖。
[0150] 接收再現(xiàn)移動(dòng)圖像vl〇的接收部件211把所接收的再現(xiàn)移動(dòng)圖像vlO提交于解碼 部件215,并且令解碼部件215對(duì)再現(xiàn)移動(dòng)圖像vlO進(jìn)行解碼。接收內(nèi)插移動(dòng)圖像vl2的接 收部件212把所接收的內(nèi)插移動(dòng)圖像vl2提交于解碼部件216,并且令解碼部件216對(duì)內(nèi)插 移動(dòng)圖像vl2進(jìn)行解碼。接收內(nèi)插信息ilO的接收部件213把所接收的內(nèi)插信息Π 0提交 于內(nèi)插處理部件218。
[0151] 對(duì)再現(xiàn)移動(dòng)圖像vlO進(jìn)行解碼的解碼部件215對(duì)再現(xiàn)移動(dòng)圖像vlO的一個(gè)幀進(jìn)行 解碼,從而生成所解碼的幀圖像(步驟S141 )。另外,解碼部件215還把此次所解碼的幀的幀 時(shí)間(幀序號(hào))傳送于時(shí)間控制部件217。
[0152] 對(duì)內(nèi)插移動(dòng)圖像vl2進(jìn)行解碼的解碼部件216對(duì)內(nèi)插移動(dòng)圖像vl2的一個(gè)幀進(jìn)行 解碼,從而生成所解碼的幀圖像(步驟S144)。另外,解碼部件216還把此次所解碼的幀的幀 時(shí)間(幀序號(hào))傳送于時(shí)間控制部件217。
[0153] 時(shí)間控制部件217比較再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的幀時(shí)間(步驟 S142和S145)。如果幀時(shí)間與比較再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的幀時(shí)間的結(jié)果 相同,則時(shí)間控制部件217把幀時(shí)間傳送于內(nèi)插處理部件218。另一方面,當(dāng)幀時(shí)間與比較 再現(xiàn)移動(dòng)圖像vl〇和內(nèi)插移動(dòng)圖像vl2的幀時(shí)間的結(jié)果不相同時(shí),時(shí)間控制部件217令幀 的解碼重復(fù),直至幀時(shí)間變?yōu)橄嗤?。例如,時(shí)間控制部件217參照較晚幀時(shí)間(較高幀序號(hào)) 遺棄具有較早幀時(shí)間(較低幀序號(hào))的移動(dòng)圖像的幀圖像。然后,時(shí)間控制部件217指示解 碼部件215和216執(zhí)行下一個(gè)幀的解碼,并且重復(fù)比較過(guò)程,直至輸出具有與參照幀時(shí)間 (較晚幀時(shí)間)的時(shí)間相同時(shí)間的所解碼的幀圖像。
[0154] 如果再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的幀時(shí)間相同,則內(nèi)插處理部件218 放大或者縮小再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的所解碼的幀圖像,以使所解碼的幀 圖像適合以下將加以描述的標(biāo)準(zhǔn)圖像尺寸(步驟S143和S146)。內(nèi)插處理部件218決定每 一個(gè)所解碼的幀圖像的量值,以使再現(xiàn)移動(dòng)圖像vlO的所解碼的幀圖像的尺寸與用作內(nèi)插 移動(dòng)圖像vl2的基礎(chǔ)的1?質(zhì)量移動(dòng)圖像vll的尺寸變?yōu)榕c標(biāo)準(zhǔn)圖像尺寸相同。內(nèi)插處理部 件218可以從內(nèi)插信息Π 0獲取用作內(nèi)插移動(dòng)圖像vl2的基礎(chǔ)的高質(zhì)量移動(dòng)圖像vll的尺 寸。
[0155] 圖11描述了步驟S143和S146中的放大與縮小過(guò)程。如圖11中所示,內(nèi)插處理 部件218放大或者縮小再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的所解碼的幀圖像,以使所 解碼的幀圖像適合標(biāo)準(zhǔn)圖像尺寸。
[0156] 例如,假設(shè)標(biāo)準(zhǔn)圖像尺寸為移動(dòng)圖像的顯示屏面尺寸,而且,就屏面尺寸而言,關(guān) 系所再現(xiàn)移動(dòng)圖像屏面〈顯示屏面〈原始高質(zhì)量移動(dòng)圖像屏面成立。在這一情況下,對(duì)于 每一個(gè)屏面尺寸的寬度和高度,針對(duì)標(biāo)準(zhǔn)圖像尺寸(此處,為移動(dòng)圖像的顯示屏面的尺寸) 設(shè)置寬度BWX高度BH,針對(duì)再現(xiàn)移動(dòng)圖像屏面尺寸設(shè)置寬度PWX高度PH,針對(duì)原始高質(zhì) 量移動(dòng)圖像屏面尺寸設(shè)置寬度HWX高度HH。例如,假設(shè)所再現(xiàn)移動(dòng)圖像屏面的寬度PW為 640個(gè)像素,其高度PH為360個(gè)像素,標(biāo)準(zhǔn)圖像尺寸的寬度BW為1280個(gè)像素,其高度BH為 720個(gè)像素,以及原始高質(zhì)量移動(dòng)圖像屏面尺寸的寬度HW為1920個(gè)像素,其高度HH為1080 個(gè)像素。另外,針對(duì)內(nèi)插移動(dòng)圖像屏面尺寸設(shè)置寬度MWX高度MH。
[0157] 在這樣的情況下,內(nèi)插處理部件218把再現(xiàn)移動(dòng)圖像vlO的幀圖像放大至顯示屏 面尺寸。在以上所描述的實(shí)例中,由于就寬度和高度而言,像素的數(shù)目相差兩倍(BW=PXX2, BH=PHX 2),所以?xún)?nèi)插處理部件218通過(guò)在兩個(gè)位置上垂直和水平排列再現(xiàn)移動(dòng)圖像vlO的 幀圖像的每一個(gè)像素,把再現(xiàn)移動(dòng)圖像vl〇的幀圖像放大至顯示屏面尺寸。
[0158] 另一方面,內(nèi)插處理部件218縮小內(nèi)插移動(dòng)圖像vl2的幀圖像。按用作內(nèi)插移動(dòng) 圖像vl2的基礎(chǔ)的高質(zhì)量移動(dòng)圖像vll的圖像尺寸與顯示屏面尺寸之間的比率設(shè)置縮小的 量值。在以上所描述的實(shí)例中,垂直與水平像素的數(shù)目之間的比率為高質(zhì)量移動(dòng)圖像屏面 尺寸:標(biāo)準(zhǔn)圖像尺寸=3:2 (換句話(huà)說(shuō),BW=HWX2/3,BH=HHX2/3)。于是,內(nèi)插處理部件218 通過(guò)把垂直和水平像素的數(shù)目減少為2/3縮小內(nèi)插移動(dòng)圖像vl2的幀圖像。例如,當(dāng)內(nèi)插 移動(dòng)圖像vl2的幀圖像的寬度麗為192個(gè)像素以及高度MH為108個(gè)像素時(shí),內(nèi)插處理部 件218分別把內(nèi)插移動(dòng)圖像vl2的幀圖像的寬度縮小至128個(gè)像素,把其高度縮小至72個(gè) 像素。
[0159] 通過(guò)放大或者縮小幀圖像,如以上所描述的,內(nèi)插處理部件218可以按標(biāo)準(zhǔn)圖像 尺寸(BWXBW的圖像尺寸中的面積)的相同坐標(biāo)軸上的像素行處理再現(xiàn)移動(dòng)圖像vlO的幀 圖像和內(nèi)插移動(dòng)圖像vl2的幀圖像。
[0160] 接下來(lái),內(nèi)插處理部件218從內(nèi)插信息ilO獲取相應(yīng)于從時(shí)間控制部件217給出 的幀時(shí)間的內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度信息。如以上所描述的,針對(duì)內(nèi)插信息中的每 一幀時(shí)間描述了內(nèi)插坐標(biāo),但坐標(biāo)、寬度、以及高度為就原始高質(zhì)量移動(dòng)圖像Vll的圖像尺 寸而言的值。因此,內(nèi)插處理部件218按與步驟S143和S146相同的方式把每一幀時(shí)間的 內(nèi)插坐標(biāo)的值改變?yōu)闃?biāo)準(zhǔn)圖像尺寸的坐標(biāo)、寬度、以及高度(步驟S147)。如以上所描述的, 例如,當(dāng)高質(zhì)量移動(dòng)圖像vll小的圖像尺寸和標(biāo)準(zhǔn)圖像大的垂直與水平像素的數(shù)目的比率 為3:2時(shí),如果高質(zhì)量移動(dòng)圖像vll中的內(nèi)插區(qū)域的坐標(biāo)[x,y]為[90, 60]時(shí),內(nèi)插處理部 件218把標(biāo)準(zhǔn)圖像尺寸上的內(nèi)插區(qū)域的坐標(biāo)設(shè)置為通過(guò)把內(nèi)插區(qū)域的坐標(biāo)值乘以2/3獲得 的[60, 40]。
[0161] 接下來(lái),內(nèi)插處理部件218在再現(xiàn)移動(dòng)圖像vlO的幀圖像上執(zhí)行內(nèi)插移動(dòng)圖像vl2 的幀圖像的覆蓋描繪(像素的重寫(xiě))(步驟S148)。把覆蓋描繪在再現(xiàn)移動(dòng)圖像vlO的幀圖 像上的內(nèi)插移動(dòng)圖像vl2的幀圖像的坐標(biāo)設(shè)置為通過(guò)把內(nèi)插信息ilO的相應(yīng)幀時(shí)間的坐標(biāo) 轉(zhuǎn)換為標(biāo)準(zhǔn)圖像尺寸上的坐標(biāo)所獲得的坐標(biāo)。由于進(jìn)行量值改變和坐標(biāo)轉(zhuǎn)換旨在使再現(xiàn)移 動(dòng)圖像vlO的幀圖像、內(nèi)插移動(dòng)圖像vl2的幀圖像、以及內(nèi)插坐標(biāo)全都變?yōu)橄嗤瑯?biāo)準(zhǔn)圖像尺 寸上的圖像(像素組)和像素坐標(biāo),所以?xún)?nèi)插處理部件218能夠處理以上按像素組和相同坐 標(biāo)上的坐標(biāo)位置描述的再現(xiàn)移動(dòng)圖像vlO的幀圖像、內(nèi)插移動(dòng)圖像vl2的幀圖像、以及內(nèi)插 坐標(biāo)。
[0162] 內(nèi)插單元210可以通過(guò)使用用于內(nèi)插內(nèi)插移動(dòng)圖像vl2和再現(xiàn)移動(dòng)圖像vlO的內(nèi) 插信息il〇執(zhí)行圖8和9中所示的過(guò)程,執(zhí)行使用內(nèi)插移動(dòng)圖像vl2內(nèi)插一部分再現(xiàn)移動(dòng) 圖像vlO的內(nèi)插處理。內(nèi)插單元210可以通過(guò)執(zhí)行使用高質(zhì)量?jī)?nèi)插移動(dòng)圖像vl2內(nèi)插所述 一部分再現(xiàn)移動(dòng)圖像vlO的內(nèi)插處理增強(qiáng)用戶(hù)的觀看感受。
[0163] [結(jié)論]
[0164] 在如以上所描述的根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1中,其中再 現(xiàn)移動(dòng)圖像VlO為低質(zhì)量的的顯示屏面的部分區(qū)域(例如,在體育廣播的情況下,其識(shí)別在 廣播的移動(dòng)圖像中應(yīng)該加以提高的運(yùn)動(dòng)員的面貌、得分顯示等的一個(gè)區(qū)域,或者在移動(dòng)圖 像中其被視為重要的一個(gè)區(qū)域)被內(nèi)插有高質(zhì)量的內(nèi)插移動(dòng)圖像vl2。通過(guò)使用高質(zhì)量的 內(nèi)插移動(dòng)圖像vl2內(nèi)插低質(zhì)量的再現(xiàn)移動(dòng)圖像vlO,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖 像再現(xiàn)系統(tǒng)1可以增強(qiáng)用戶(hù)的觀看感受。
[0165] 由于根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1僅傳輸包括從高質(zhì)量移 動(dòng)圖像vll而不是從整個(gè)原始高質(zhì)量移動(dòng)圖像vll所抽取的一個(gè)內(nèi)插區(qū)域部分的內(nèi)插移動(dòng) 圖像vl2,所以移動(dòng)圖像識(shí)別系統(tǒng)可以減少內(nèi)插移動(dòng)圖像vl2的信息量,并且可以降低編碼 率(傳輸率)。另外,由于在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1中可以把再 現(xiàn)設(shè)備200配置為能夠在未被配置為具有對(duì)再現(xiàn)移動(dòng)圖像vlO進(jìn)行上變換的運(yùn)算操作負(fù)載 和專(zhuān)用運(yùn)算操作電路的情況下對(duì)坐標(biāo)執(zhí)行運(yùn)算操作以及對(duì)圖像進(jìn)行組合,甚至是在再現(xiàn)設(shè) 備200的處理能力不強(qiáng)的情況下,所以能夠在不使再現(xiàn)設(shè)備200上過(guò)載的情況下,在再現(xiàn)設(shè) 備200中內(nèi)插再現(xiàn)移動(dòng)圖像vlO。
[0166] 在以上所描述的實(shí)例中,預(yù)先生成內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息i 10,并且作為一 個(gè)文件將它們存儲(chǔ)在內(nèi)插移動(dòng)圖像生成單元120中。本發(fā)明專(zhuān)利并不局限于這一實(shí)例???以把內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息Π0設(shè)置為能夠動(dòng)態(tài)地加以生成。
[0167] 例如,再現(xiàn)設(shè)備200的再現(xiàn)單元220可以配有包括在內(nèi)插移動(dòng)圖像生成單元120 中的內(nèi)插指令單元121。將示范性地描述其中用戶(hù)指示一個(gè)內(nèi)插于再現(xiàn)移動(dòng)圖像vlO的內(nèi) 插區(qū)域,同時(shí)觀看再現(xiàn)移動(dòng)圖像vlO的情況。內(nèi)插指令單元121把內(nèi)插區(qū)域的坐標(biāo)、寬度、 以及高度和再現(xiàn)單元220中所再現(xiàn)的再現(xiàn)移動(dòng)圖像vlO的內(nèi)插屏面的圖像尺寸傳輸于內(nèi)插 移動(dòng)圖像生成單元120。針對(duì)從再現(xiàn)設(shè)備200所接收的內(nèi)插區(qū)域的寬度、以及高度,內(nèi)插移 動(dòng)圖像生成單元120對(duì)也從再現(xiàn)設(shè)備200接收的內(nèi)插屏面的尺寸進(jìn)行坐標(biāo)轉(zhuǎn)換,將其轉(zhuǎn)換 為相應(yīng)于再現(xiàn)移動(dòng)圖像vlO的高質(zhì)量移動(dòng)圖像vll的屏面的尺寸。這一過(guò)程是以上所描述 的步驟S143和S146的坐標(biāo)轉(zhuǎn)換的逆轉(zhuǎn)換。然后,內(nèi)插移動(dòng)圖像生成單元120從高質(zhì)量移動(dòng) 圖像vll抽取所指定的一個(gè)區(qū)域(或者轉(zhuǎn)換之后的一個(gè)區(qū)域),從而生成內(nèi)插移動(dòng)圖像vl2, 其還經(jīng)由內(nèi)插移動(dòng)圖像傳輸單元130把內(nèi)插移動(dòng)圖像傳輸于內(nèi)插單元210。
[0168] 另外,例如,將示范性地描述其中分布商在使用現(xiàn)場(chǎng)攝像機(jī)等的實(shí)時(shí)分布過(guò)程中 實(shí)時(shí)指示內(nèi)插區(qū)域的情況。在這一情況下,實(shí)時(shí)移動(dòng)圖像(由現(xiàn)場(chǎng)攝像機(jī)等生成的)相應(yīng)于 以上所描述的高質(zhì)量移動(dòng)圖像Vll (原始移動(dòng)圖像)。盡管移動(dòng)圖像的分布商按小圖像尺寸 以低分布編碼率傳輸再現(xiàn)移動(dòng)圖像vio,但分布商針對(duì)現(xiàn)場(chǎng)攝像機(jī)移動(dòng)圖像實(shí)時(shí)生成的移 動(dòng)圖像幀向內(nèi)插移動(dòng)圖像生成單元120指示一個(gè)作為內(nèi)插區(qū)域的、可望觀看者對(duì)其加以關(guān) 注的區(qū)域。每次內(nèi)插移動(dòng)圖像生成單元120從現(xiàn)場(chǎng)攝像機(jī)接收移動(dòng)圖像文件時(shí),內(nèi)插移動(dòng) 圖像生成單元從所指示的區(qū)域抽取幀圖像,并且把幀圖像設(shè)置為內(nèi)插移動(dòng)圖像vl2的幀圖 像,然后把巾貞圖像和其內(nèi)插信息il〇傳輸于內(nèi)插移動(dòng)圖像傳輸單兀130。內(nèi)插移動(dòng)圖像傳輸 單元130把內(nèi)插移動(dòng)圖像vl2的幀和再現(xiàn)移動(dòng)圖像vlO實(shí)時(shí)地傳輸于內(nèi)插單元210。
[0169] 為了在接收相應(yīng)于再現(xiàn)屏面的內(nèi)插移動(dòng)圖像vl2的過(guò)程中減少內(nèi)插單元210的 延遲,可以通過(guò)令再現(xiàn)移動(dòng)圖像傳輸單元110和內(nèi)插移動(dòng)圖像傳輸單元130互相配合以匹 配移動(dòng)圖像的傳輸時(shí)間,或者通過(guò)把再現(xiàn)移動(dòng)圖像傳輸單元110和內(nèi)插移動(dòng)圖像傳輸單元 130安裝在同一設(shè)備中,使再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的傳輸時(shí)間相匹配。另外, 在諸如現(xiàn)場(chǎng)攝像機(jī)等的實(shí)時(shí)分布的實(shí)例中,可以通過(guò)把從現(xiàn)場(chǎng)攝像機(jī)接收移動(dòng)圖像的內(nèi)插 移動(dòng)圖像生成單元120與再現(xiàn)移動(dòng)圖像傳輸單元110相集成,或者把內(nèi)插移動(dòng)圖像生成單 元120與內(nèi)插移動(dòng)圖像傳輸單元130相集成,把內(nèi)插移動(dòng)圖像的幀的生成與傳輸加以組合。
[0170] 另外,在以上所描述的實(shí)例中,當(dāng)內(nèi)插單元210的內(nèi)插移動(dòng)圖像選擇部件214決定 一個(gè)內(nèi)插移動(dòng)圖像時(shí),指示用戶(hù)從內(nèi)插列表選擇一個(gè)內(nèi)插移動(dòng)圖像,然而,本發(fā)明專(zhuān)利并不 局限于這一實(shí)例。例如,使用網(wǎng)絡(luò)上非常流行的內(nèi)插目標(biāo)、觀看者的偏好分析、內(nèi)插目標(biāo)的 過(guò)去選擇傾向等,內(nèi)插移動(dòng)圖像選擇部件214可以自動(dòng)地選擇內(nèi)插目標(biāo),或者推薦一個(gè)可 建議的內(nèi)插目標(biāo)。例如,內(nèi)插移動(dòng)圖像選擇部件214可以把觀看者多次選擇的運(yùn)動(dòng)員A自 動(dòng)地選擇為內(nèi)插目標(biāo),或者把運(yùn)動(dòng)員A作為可建議的內(nèi)插目標(biāo)加以推薦。
[0171] 對(duì)于為內(nèi)插移動(dòng)圖像vl2的抽取源的高質(zhì)量移動(dòng)圖像vll,例如,可以使用移動(dòng)圖 像分布商保存的原始高質(zhì)量移動(dòng)圖像(高質(zhì)量移動(dòng)圖像的原始剪輯),如以上所描述的。另 一方面,存在著其中不存在高質(zhì)量移動(dòng)圖像的這樣的原始剪輯的情況。例如,諸如個(gè)人制作 的隱私內(nèi)容的移動(dòng)圖像,或者過(guò)去制作的移動(dòng)圖像,不具有高質(zhì)量移動(dòng)圖像的原始剪輯。在 這一情況下,可以把不具有高質(zhì)量移動(dòng)圖像的原始剪輯的移動(dòng)圖像傳輸于,并且存儲(chǔ)在內(nèi) 插移動(dòng)圖像生成單元120中。另外,例如,使用以上所描述的JP2010-11448A中所公開(kāi)的單 一移動(dòng)圖像的高圖像質(zhì)量操作和上變換技術(shù),可以使內(nèi)插移動(dòng)圖像生成單元120生成高質(zhì) 量移動(dòng)圖像vll,并且可以把高質(zhì)量移動(dòng)圖像vll設(shè)置為內(nèi)插移動(dòng)圖像vl2的一個(gè)抽取源。
[0172] 在這一情況下,把針對(duì)高圖像質(zhì)量過(guò)程的高負(fù)載運(yùn)算操作或者具體電路賦予內(nèi)插 移動(dòng)圖像生成單元120而不是再現(xiàn)設(shè)備200。于是,即使當(dāng)不存在高質(zhì)量移動(dòng)圖像的原始剪 輯,也可以減小再現(xiàn)設(shè)備200上的負(fù)載或者降低開(kāi)銷(xiāo),如果把針對(duì)高圖像質(zhì)量過(guò)程的高負(fù) 載運(yùn)算操作或者具體電路賦予內(nèi)插移動(dòng)圖像生成單元120,則可以把具有高性能的昂貴的 高圖像質(zhì)量電路設(shè)置在內(nèi)插移動(dòng)圖像生成單元120中。另外,由于僅內(nèi)插移動(dòng)圖像生成單 元120可以執(zhí)行針對(duì)高圖像質(zhì)量的運(yùn)算操作,并且把所生成的高質(zhì)量移動(dòng)圖像vll存儲(chǔ)在 內(nèi)插移動(dòng)圖像生成單元120中,所以?xún)H可一次執(zhí)行針對(duì)高圖像質(zhì)量的運(yùn)算操作。
[0173] 應(yīng)該加以注意的是,對(duì)于移動(dòng)圖像的網(wǎng)絡(luò)傳輸,公開(kāi)了一種自動(dòng)調(diào)整按MPEG-DASH (Dynamic Adaptive Streaming on HTTP (HTTP 上的動(dòng)態(tài)自適應(yīng)流);作為 IS0/IEC23009-1 發(fā)表的)中傳輸路徑的傳輸率傳輸?shù)囊苿?dòng)圖像的編碼率的技術(shù)??梢园袽PEG-DASH的技術(shù) 施用于本發(fā)明專(zhuān)利。
[0174] 例如,可以按多個(gè)編碼率對(duì)內(nèi)插移動(dòng)圖像vl2進(jìn)行編碼,并且可以通過(guò)分段將其 設(shè)置為一個(gè)文件組,在內(nèi)插移動(dòng)圖像vl2的傳輸中可以使用MPEG-DASH的技術(shù)。另外,當(dāng)使 用MPEG-DASH調(diào)整再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2兩者的傳輸率,可以設(shè)置兩者傳 輸率的上限和下限,以調(diào)整兩種移動(dòng)圖像的傳輸率。
[0175] 例如,考慮這樣一種情況:其中,以5Mbps的傳輸頻帶開(kāi)始移動(dòng)圖像的傳輸,再現(xiàn) 移動(dòng)圖像vio (從再現(xiàn)移動(dòng)圖像傳輸單元110傳輸?shù)?的傳輸率為4Mbps,內(nèi)插移動(dòng)圖像V12 的傳輸頻帶為其余的1Mbps。在這一情況下,假設(shè)再現(xiàn)移動(dòng)圖像vlO的傳輸率與內(nèi)插移動(dòng)圖 像vl2的傳輸率的比率為4:1。在MPEG-DASH中,測(cè)量移動(dòng)圖像傳輸期間的實(shí)際率,并且根 據(jù)實(shí)際率調(diào)整移動(dòng)圖像的傳輸率。在這一情況下,再現(xiàn)設(shè)備200通過(guò)合計(jì)兩種移動(dòng)圖像的 實(shí)際傳輸率對(duì)實(shí)際傳輸率求和,把實(shí)際傳輸率的總和的4/5設(shè)置為再現(xiàn)移動(dòng)圖像vlO的傳 輸率的上限,把實(shí)際傳輸率的總和的1/5設(shè)置為內(nèi)插移動(dòng)圖像vl2的傳輸率的上限,從而可 以調(diào)整兩種移動(dòng)圖像的傳輸率。
[0176] 另外,以下將給出的描述包括改變作為內(nèi)插移動(dòng)圖像vl2傳輸?shù)膬?nèi)插區(qū)域的尺寸 的方案。例如,存在著這樣一種情況:其中,盡管內(nèi)插移動(dòng)圖像屏面的總尺寸不改變,然而, 由于內(nèi)插區(qū)域的面積,嵌入在屏面中的內(nèi)插區(qū)域的像素量增加,或者將加以傳輸?shù)膬?nèi)插移 動(dòng)圖像組(所劃分的第二移動(dòng)圖像組)的數(shù)目增加。換句話(huà)說(shuō),由于內(nèi)插區(qū)域的尺寸,將加以 傳輸?shù)膬?nèi)插移動(dòng)圖像vl2的信息量增加。
[0177] 在所述方案的情況下,當(dāng)再現(xiàn)設(shè)備200分配再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2 的比率時(shí),在其中內(nèi)插區(qū)域具有小尺寸期間,再現(xiàn)設(shè)備可以降低內(nèi)插移動(dòng)圖像vl2的比率, 并且在其中內(nèi)插區(qū)域具有大尺寸期間,可以提高所述比率。
[0178] 另外,在MPEG-DASH中,提供在移動(dòng)圖像接收側(cè)的、負(fù)責(zé)決定移動(dòng)圖像傳輸率(換 句話(huà)說(shuō),選擇加以獲取的移動(dòng)圖像文件)的內(nèi)插單元210獲取內(nèi)插信息ilO。由于當(dāng)使用內(nèi) 插信息Π 0時(shí)內(nèi)插單元210預(yù)先知道未來(lái)移動(dòng)圖像時(shí)間內(nèi)插區(qū)域的尺寸,所以可以根據(jù)內(nèi) 插區(qū)域的尺寸,預(yù)先進(jìn)行內(nèi)插移動(dòng)圖像vl2的比率的分配。
[0179] < 2.實(shí)例 1 >
[0180] [概述]
[0181] 在以上所描述的實(shí)施例中,把內(nèi)插區(qū)域的圖像原樣設(shè)置為移動(dòng)圖像屏面。在這一 情況下,當(dāng)然把內(nèi)插區(qū)域的圖像尺寸視為可針對(duì)內(nèi)插移動(dòng)圖像vl2的每一個(gè)幀加以改變。 換句話(huà)說(shuō),把將在再現(xiàn)屏面中被內(nèi)插的再現(xiàn)移動(dòng)圖像vl〇的內(nèi)插區(qū)域的尺寸被視為可頻繁 加以改變。當(dāng)內(nèi)插一個(gè)其中顯示體育內(nèi)容中某一具體運(yùn)動(dòng)員的移動(dòng)圖像屏面的區(qū)域時(shí),例 如,內(nèi)插區(qū)域隨運(yùn)動(dòng)員的移動(dòng)變小或者變大。
[0182] 另一方面,大多數(shù)移動(dòng)圖像編碼方案和解碼過(guò)程不處理不針對(duì)每一個(gè)幀改變尺寸 (移動(dòng)圖像屏面的尺寸)的移動(dòng)圖像。因此,將描述一個(gè)實(shí)例,該實(shí)例假設(shè)了這樣一種情況: 為了實(shí)現(xiàn)其中僅把內(nèi)插區(qū)域設(shè)置為移動(dòng)圖像屏面的內(nèi)插移動(dòng)圖像vl2,針對(duì)每一個(gè)幀改變 內(nèi)插區(qū)域的尺寸。
[0183] 圖17描述了根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像vl2的內(nèi)插區(qū)域的圖像尺寸和移動(dòng)圖像 屏面的改變的一個(gè)實(shí)例。在實(shí)例1中,假設(shè)內(nèi)插移動(dòng)圖像V12的移動(dòng)圖像屏面的寬度和高 度為圖17中所示所有幀的內(nèi)插區(qū)域組中移動(dòng)圖像屏面的最大寬度(麗)和最大高度(MH)。
[0184] 如圖17中所示,例如,當(dāng)高質(zhì)量移動(dòng)圖像vll的幀0的內(nèi)插區(qū)域的尺寸為 50X100,幀1的內(nèi)插區(qū)域的尺寸為70X150,幀2的內(nèi)插區(qū)域的尺寸為100X80時(shí),幀2的 內(nèi)插區(qū)域的寬度100為最大寬度(麗),幀1的內(nèi)插區(qū)域的高度150為最大高度(MH)。于是, 在本實(shí)例中,對(duì)于內(nèi)插移動(dòng)圖像V12的移動(dòng)圖像屏面的圖像尺寸,把寬度麗固定為100,把 高度MH固定為150。把幀的內(nèi)插區(qū)域的圖像尺寸限制為100X150。
[0185] 即使通過(guò)把所有幀的內(nèi)插區(qū)域組中具有最大寬度(MW)和最大高度(MH)的區(qū)域設(shè) 置為內(nèi)插區(qū)域改變幀的內(nèi)插區(qū)域的尺寸,也把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺 寸始終固定為100X150,并且可以在現(xiàn)存移動(dòng)圖像編碼方案和解碼過(guò)程中加以處理。另外, 在本實(shí)施例中,還通過(guò)把所有幀的內(nèi)插區(qū)域組中具有最大寬度(MW)和最大高度(MH)的區(qū) 域設(shè)置為內(nèi)插區(qū),生成能夠包括所有內(nèi)插區(qū)域組的一個(gè)最小區(qū)域的內(nèi)插移動(dòng)圖像vl2。
[0186] 通過(guò)固定內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸,如以上所描述的,每一 個(gè)幀的內(nèi)插區(qū)域的圖像尺寸不同于內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸。于是, 在本實(shí)例中,獨(dú)立于內(nèi)插移動(dòng)圖像V12的移動(dòng)圖像屏面的圖像尺寸管理每一個(gè)幀的內(nèi)插區(qū) 域的圖像尺寸。為了獨(dú)立于內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸管理每一個(gè)幀的 內(nèi)插區(qū)域的圖像尺寸,在本實(shí)例中,把所述兩個(gè)尺寸寫(xiě)入內(nèi)插信息il〇。
[0187] 例如,內(nèi)插移動(dòng)圖像生成單元120在內(nèi)插信息ilO的頭部中描述內(nèi)插移動(dòng)圖像vl2 的移動(dòng)圖像屏面的尺寸(麗X ΜΗ)。由于在所有幀上固定內(nèi)插移動(dòng)圖像V12的移動(dòng)圖像屏面 的尺寸,并且不改變所述尺寸,所以不必針對(duì)每一個(gè)幀描述所述尺寸。由于可以在每一個(gè)幀 中改變內(nèi)插區(qū)域的位置和尺寸,所以針對(duì)每一個(gè)幀描述其尺寸。當(dāng)內(nèi)插單元210對(duì)內(nèi)插移 動(dòng)圖像ν12進(jìn)行解碼時(shí),解碼部件216通常把所解碼的幀圖像的尺寸作為信息加以返回,因 此,也可以從所解碼的幀圖像獲取內(nèi)插移動(dòng)圖像ν12的移動(dòng)圖像屏面的尺寸。在這一情況 下,在內(nèi)插信息il〇中可以?xún)H描述內(nèi)插區(qū)域的尺寸。
[0188] 以下,將描述內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面和內(nèi)插區(qū)域的坐標(biāo)。圖18描述了 內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面和所內(nèi)插區(qū)域的坐標(biāo)之間的關(guān)系。應(yīng)該加以注意的是, 所述坐標(biāo)指的是高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面上內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面 的內(nèi)插區(qū)域的左上角的坐標(biāo)。
[0189] 假設(shè)高質(zhì)量移動(dòng)圖像vll的圖像尺寸為寬度HWX高度HH,并且假設(shè)內(nèi)插移動(dòng)圖 像vl2的圖像尺寸為寬度麗X高度MH。另外,還假設(shè)每一個(gè)幀的內(nèi)插區(qū)域的左上坐標(biāo)為 [X,y],并且假設(shè)內(nèi)插區(qū)域的圖像尺寸為寬度DWX高度DH。
[0190] 如圖18中所示,假設(shè)把內(nèi)插區(qū)域定位在高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面的右 下部分。例如,針對(duì)高質(zhì)量移動(dòng)圖像Vll的移動(dòng)圖像屏面的尺寸,假設(shè)HW為1920,假設(shè)HH 為1080,假設(shè)內(nèi)插區(qū)域的坐標(biāo)[x,y]為[1850, 1000],對(duì)于內(nèi)插區(qū)域的尺寸,假設(shè)DW為50, 假設(shè)〇!1為70。在這一情況下,內(nèi)插區(qū)域的右下坐標(biāo)匕+01,7+0扣為[1900,1070],它們包 括在高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面中。
[0191] 內(nèi)插移動(dòng)圖像屏面的尺寸不同于內(nèi)插區(qū)域的尺寸,然而,如果把內(nèi)插移動(dòng)圖像vl2 的移動(dòng)圖像屏面的坐標(biāo)[X,y]設(shè)置為[1850, 1000],如圖18中所示,則存在著其中內(nèi)插區(qū) 域溢出高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面的情況。如果在所述實(shí)例中內(nèi)插移動(dòng)圖像vl2 的移動(dòng)圖像屏面的圖像尺寸為100X150,如以上所描述的,并且從坐標(biāo)[1850, 1000]抽取 100X150個(gè)圖像,則右下坐標(biāo)[x+MW,y+MH]為[1950, 1150],從而圖像溢出高質(zhì)量移動(dòng)圖像 vll 的屏面尺寸(HW=1920,HH=1080)。
[0192] 作為上述情況中所采取的一種方法,例如,內(nèi)插單元210使將作為內(nèi)插移動(dòng)圖 像vl2的移動(dòng)圖像屏面加以抽取的圖像的坐標(biāo)偏至左上側(cè),然后抽取所述圖像,以使 該圖像不溢出高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面。此處,假設(shè)在左上側(cè)將加以抽取 的圖像的坐標(biāo)為抽取坐標(biāo)[XX,yy]。例如,內(nèi)插單元210把抽取坐標(biāo)[XX,yy]設(shè)置為 [HW-MW,HH-MH] = [1820,930],以使內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的右下角與高質(zhì)量移 動(dòng)圖像vll的移動(dòng)圖像屏面的右下邊界相適,然后把所述坐標(biāo)設(shè)置為所述幀的內(nèi)插移動(dòng)圖 像vl2的移動(dòng)圖像屏面的坐標(biāo)。在這一情況下,由于內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的 坐標(biāo)[XX,yy]與內(nèi)插區(qū)域的坐標(biāo)[X,y]不同,所以最好分別管理兩組坐標(biāo)。于是,在內(nèi)插信 息ilO中,除了內(nèi)插區(qū)域的坐標(biāo)[x,y]之外,還針對(duì)每一個(gè)幀描述了包括內(nèi)插區(qū)域的內(nèi)插移 動(dòng)圖像vl2的移動(dòng)圖像屏面的坐標(biāo)[XX,yy](當(dāng)從高質(zhì)量移動(dòng)圖像vll的幀圖像抽取像素 值時(shí)所設(shè)置的坐標(biāo))。
[0193] 在圖18的實(shí)例中,把內(nèi)插區(qū)域的坐標(biāo)[x,y]和包括內(nèi)插區(qū)域的內(nèi)插移動(dòng)圖像vl2 的移動(dòng)圖像屏面的坐標(biāo)[XX,yy]標(biāo)在高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面的坐標(biāo)軸上,然 而,本發(fā)明專(zhuān)利并不局限于這一實(shí)例。作為另一種方法,可以把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖 像屏面的坐標(biāo)描述為高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面上的坐標(biāo)([1820, 930]),并且可 以把內(nèi)插區(qū)域的坐標(biāo)描述為內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面中的坐標(biāo)([30, 70])。
[0194] 如以上所描述的,在本實(shí)例中,通過(guò)把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像 尺寸設(shè)置為具有可以包括整個(gè)內(nèi)插區(qū)域的最大寬度麗X最大高度MH,可以固定內(nèi)插移動(dòng) 圖像vl2的移動(dòng)圖像屏面的圖像尺寸,并且可以把所有幀的內(nèi)插區(qū)域包括在其中。因此, 由于內(nèi)插區(qū)域的圖像尺寸不同于內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸,在本實(shí)例 中,在內(nèi)插信息il〇中描述了兩者的尺寸,以能夠管理兩者尺寸,或者在內(nèi)插單元210中的 解碼期間獲取內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸。
[0195] 另外,由于內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸不同于內(nèi)插區(qū)域的尺 寸,所以可能出現(xiàn)其中內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面溢出高質(zhì)量移動(dòng)圖像vll的移動(dòng) 圖像屏面的情況,如圖18中所示,于是,可以通過(guò)調(diào)整內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的 坐標(biāo),把本實(shí)例設(shè)計(jì)為不使內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面溢出高質(zhì)量移動(dòng)圖像vll的 移動(dòng)圖像屏面。因此,由于內(nèi)插區(qū)域的圖像尺寸不同于內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面 的圖像尺寸,在本實(shí)例中,在內(nèi)插信息il〇中描述了兩者的坐標(biāo),以能夠管理兩者坐標(biāo)。
[0196] 內(nèi)插單元210根據(jù)內(nèi)插信息ilO中所描述的內(nèi)插區(qū)域以及內(nèi)插移動(dòng)圖像vl2的移 動(dòng)圖像屏面的坐標(biāo)和尺寸信息從內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面抽取內(nèi)插區(qū)域的圖像。 圖19描述了當(dāng)內(nèi)插單元210從內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面抽取內(nèi)插區(qū)域的圖像時(shí) 所執(zhí)行的一個(gè)過(guò)程。
[0197] 首先,內(nèi)插單元210根據(jù)內(nèi)插移動(dòng)圖像vl2的圖像屏面的坐標(biāo)和內(nèi)插區(qū)域的坐標(biāo) 之間的差決定將從內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面抽取的內(nèi)插區(qū)域的圖像的坐標(biāo)。在圖 19中所示的實(shí)例中,內(nèi)插單元210認(rèn)為內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面為一個(gè)從高質(zhì)量 移動(dòng)圖像vll的移動(dòng)圖像屏面上的坐標(biāo)[1820,930]所抽取的圖像,而且內(nèi)插區(qū)域位于高質(zhì) 量移動(dòng)圖像vll的移動(dòng)圖像屏面上的坐標(biāo)[1850, 1000]處。因此,內(nèi)插單元210斷定通過(guò) 對(duì)內(nèi)插移動(dòng)圖像的幀3進(jìn)行解碼所獲得的幀圖像中的坐標(biāo)[30,70]為內(nèi)插區(qū)域的坐標(biāo)。然 后,內(nèi)插單元210通過(guò)把坐標(biāo)[30,70]設(shè)置為左上坐標(biāo)抽取內(nèi)插區(qū)域的尺寸為(50X70)的 圖像。最后,內(nèi)插單元210把內(nèi)插區(qū)域的坐標(biāo)和尺寸從高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏 面上的坐標(biāo)和尺寸轉(zhuǎn)換為標(biāo)準(zhǔn)圖像的坐標(biāo)和尺寸,然后執(zhí)行內(nèi)插移動(dòng)圖像vl2與再現(xiàn)移動(dòng) 圖像vl〇的一個(gè)組合過(guò)程。
[0198] [內(nèi)插單元的功能配置實(shí)例]
[0199] 以下,將描述用于執(zhí)行實(shí)例1的內(nèi)插單元210的一個(gè)功能配置實(shí)例。圖12描述了 根據(jù)本發(fā)明專(zhuān)利一個(gè)實(shí)施例的實(shí)例1的內(nèi)插單元210的所述功能配置實(shí)例。具體地講,圖 12描述了包括在內(nèi)插單元210中的內(nèi)插處理部件218的一個(gè)功能配置實(shí)例。
[0200] 如圖12中所示,把根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例1的內(nèi)插處理部件218包括 圖像放大率改變部分301和304、內(nèi)插坐標(biāo)計(jì)算部分302、內(nèi)插區(qū)域抽取部分303、以及幀圖 像組合部分305。
[0201] 圖像放大率(magnification)改變部分301和304通過(guò)放大或者縮小解碼部件 215和216解碼的幀圖像(像素組)改變量值。如以上本發(fā)明專(zhuān)利所述實(shí)施例中所描述的, 圖像放大率改變部分301和304把再現(xiàn)移動(dòng)圖像vlO的幀圖像和內(nèi)插移動(dòng)圖像vl2的幀圖 像的量值改變?yōu)闃?biāo)準(zhǔn)圖像尺寸。
[0202] 內(nèi)插坐標(biāo)計(jì)算部分302把原始高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面上內(nèi)插移動(dòng)圖 像vl2中的內(nèi)插區(qū)域的坐標(biāo)和圖像尺寸(寬度和高度)的值轉(zhuǎn)換為標(biāo)準(zhǔn)圖像尺寸,或者根據(jù) 內(nèi)插處理部件218所獲取的內(nèi)插信息Π 0決定一個(gè)將從內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面 抽取的內(nèi)插區(qū)域。
[0203] 內(nèi)插區(qū)域抽取部分303從通過(guò)對(duì)內(nèi)插移動(dòng)圖像進(jìn)行解碼所獲得的所解碼的幀圖 像抽取內(nèi)插區(qū)域的圖像。幀圖像組合部分305根據(jù)內(nèi)插坐標(biāo)計(jì)算部分302所計(jì)算的量值改 變之后的內(nèi)插坐標(biāo)把再現(xiàn)移動(dòng)圖像v 10的幀圖像與內(nèi)插區(qū)域抽取部分303所抽取的內(nèi)插區(qū) 域的圖像加以組合。
[0204] 以上,已經(jīng)描述了根據(jù)實(shí)例1的內(nèi)插處理部件218的所述功能配置實(shí)例。以下,將 描述根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像生成單元120的一個(gè)操作實(shí)例。
[0205] [內(nèi)插移動(dòng)圖像生成單元的操作實(shí)例]
[0206] 圖13?15為描述根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例的流 程圖。應(yīng)該加以注意的是,根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像生成單元120的配置與圖2中所示 的配置相同。以下,將參照?qǐng)D13?15描述根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像生成單元120的所 述操作實(shí)例。
[0207] 內(nèi)插指令單元121接收內(nèi)插指令的輸入(步驟S201)。內(nèi)插指令單元121獲取針對(duì) 高質(zhì)量移動(dòng)圖像vll各個(gè)幀的內(nèi)插指令的信息,并且按文件、數(shù)據(jù)庫(kù)、內(nèi)存等形式保存所有 幀的內(nèi)插指令。內(nèi)插指令的信息包括內(nèi)插區(qū)域的幀時(shí)間、以及(左上)坐標(biāo)和尺寸(寬度和高 度)。
[0208] 當(dāng)內(nèi)插指令單元121接收到內(nèi)插指令的輸入時(shí),內(nèi)插信息處理單元123根據(jù)向內(nèi) 插指令單元121的信息輸入決定內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的尺寸(寬度MW和高度 MH)(步驟 S202)。
[0209] 圖14中的流程圖詳細(xì)描述了圖13的步驟S202中的內(nèi)插信息處理單元123的操 作。首先,內(nèi)插信息處理單元123把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的整個(gè)尺寸(寬度MW 和高度MH)初始化為0 (步驟S211)。
[0210] 然后,內(nèi)插信息處理單元123獲取一個(gè)內(nèi)插區(qū)域組的最大寬度和高度。如圖17中 所示,獲取內(nèi)插區(qū)域組的最大寬度和高度。當(dāng)獲取了內(nèi)插區(qū)域組的最大寬度和高度時(shí),內(nèi)插 信息處理單元123從內(nèi)插指令單元121獲取一個(gè)幀的一個(gè)被指示內(nèi)插的區(qū)域(步驟S212)。 把被指示內(nèi)插的區(qū)域的寬度設(shè)置為DW,把其高度設(shè)置為DH。把被指示內(nèi)插的區(qū)域的區(qū)域設(shè) 置為DW,將其高度設(shè)置為DH。接下來(lái),內(nèi)插信息處理單元123把DW的值與麗的值加以比 較,把DH的值與MH的值加以比較,并且分別把較大的一個(gè)設(shè)置為麗和MH(步驟S213)。換 句話(huà)說(shuō),如果麗〈DW,則把麗更新為DW,如果MH〈DH,則把MH更新為DH。內(nèi)插信息處理單元 123重復(fù)步驟S212和213的過(guò)程,直至達(dá)到高質(zhì)量移動(dòng)圖像vll的最后一個(gè)幀。
[0211] 在重復(fù)步驟S212和213的過(guò)程直至達(dá)到最后一個(gè)幀之后最終所獲得的MW和MH為 所有幀的內(nèi)插區(qū)域組中最大的寬度和高度。內(nèi)插信息處理單元123把MW和MH設(shè)置為內(nèi)插 移動(dòng)圖像vl2的移動(dòng)圖像屏面的尺寸,并且把所述尺寸記錄在內(nèi)插信息ilO中(步驟S214)。
[0212] 將返回圖13進(jìn)行描述。當(dāng)在步驟S202中決定了內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏 面的尺寸時(shí),則幀圖像抽取單元124根據(jù)內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的尺寸從高質(zhì) 量移動(dòng)圖像Vll的每一個(gè)幀圖像抽取一個(gè)內(nèi)插圖像(步驟S203)。
[0213] 圖15中所示的流程圖詳細(xì)描述了圖13的步驟S203的過(guò)程。解碼單元122決定 高質(zhì)量移動(dòng)圖像Vll的一個(gè)幀,并且把所解碼的幀圖像提交于幀圖像抽取單元124。另外, 解碼單元把所解碼的幀圖像的時(shí)間(幀序號(hào))和幀的圖像尺寸(寬度HW和高度HH)提交于內(nèi) 插信息處理單元123 (步驟S221)。
[0214] 內(nèi)插信息處理單元123從內(nèi)插指令單元121獲取相應(yīng)于所解碼的幀的時(shí)間的垂直 區(qū)域指示信息(步驟S222)。此處,把被指示的內(nèi)插區(qū)域的左上坐標(biāo)(在高質(zhì)量移動(dòng)圖像vll 的移動(dòng)圖像屏面上)設(shè)置為[X,y],把寬度設(shè)置為DW,把高度設(shè)置為DH。
[0215] 接下來(lái),內(nèi)插信息處理單元123把將從高質(zhì)量移動(dòng)圖像vll的幀圖像加以抽取的 圖像的坐標(biāo)[XX,yy]決定為內(nèi)插移動(dòng)圖像V12的移動(dòng)圖像屏面(步驟S223)。決定加以抽取 的圖像的坐標(biāo)[XX,yy],如圖18中所示的。當(dāng)從內(nèi)插區(qū)域指示坐標(biāo)[X,y]抽取內(nèi)插移動(dòng)圖 像vl2的移動(dòng)圖像屏面的尺寸MWXMH時(shí),內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的右下坐標(biāo)為 [x+MW,y+MH]。內(nèi)插信息處理單元123把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的右下坐標(biāo)與 高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面的尺寸HWXHH加以比較。當(dāng)所抽取的區(qū)域的右端的 坐標(biāo)[x+MW]處于HW內(nèi)時(shí),xx=x,當(dāng)所述坐標(biāo)超過(guò)HW時(shí),xx=HW_MW。另外,當(dāng)所抽取的區(qū)域 的右端的坐標(biāo)[y+MW]處于HH內(nèi)時(shí),yy=y,當(dāng)所述坐標(biāo)超過(guò)HH時(shí),yy=HH_MH。
[0216] 接下來(lái),巾貞圖像抽取單元124獲取步驟S223中所決定的坐標(biāo)[XX,yy]和內(nèi)插移動(dòng) 圖像vl2的移動(dòng)圖像屏面的尺寸MWXMH,然后,從根據(jù)移動(dòng)圖像屏面的坐標(biāo)和尺寸所決定 的高質(zhì)量移動(dòng)圖像vll的幀圖像抽取一個(gè)區(qū)域的像素組(步驟S224)。
[0217] 接下來(lái),編碼單元125把步驟S224中幀圖像抽取單元124所抽取的像素組編碼為 移動(dòng)圖像,從而生成內(nèi)插移動(dòng)圖像vl2 (步驟S225)。將省略對(duì)用于生成內(nèi)插移動(dòng)圖像vl2 所進(jìn)行的編碼的詳細(xì)描述,因?yàn)閳D5的步驟S204中覆蓋了這一描述。
[0218] 另外,作為所述幀的內(nèi)插信息,內(nèi)插信息處理單元123記錄幀時(shí)間(幀序號(hào))、指示 為內(nèi)插區(qū)域的坐標(biāo)[X,y]、內(nèi)插區(qū)域的尺寸DWXDH、幀圖像抽取單元124從其抽取內(nèi)插信息 Π 0中的圖像的坐標(biāo)(內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的坐標(biāo)[XX,yy])(步驟S225)。
[0219] 重復(fù)步驟S2210?S225的過(guò)程直至達(dá)到高質(zhì)量移動(dòng)圖像vll的最后一個(gè)幀圖像。
[0220] 通過(guò)執(zhí)行如圖13?15中所示的操作,內(nèi)插移動(dòng)圖像生成單元120決定可以包括 其尺寸改變的整個(gè)內(nèi)插區(qū)域組的內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的尺寸,并且通過(guò)把尺 寸信息記錄在內(nèi)插信息Π 0中,根據(jù)高質(zhì)量移動(dòng)圖像vll生成移動(dòng)圖像屏面尺寸的內(nèi)插移 動(dòng)圖像vl2。然后,內(nèi)插移動(dòng)圖像生成單元120調(diào)整將針對(duì)每一個(gè)幀加以抽取的圖像的坐標(biāo) (內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的坐標(biāo)),以使所述圖像不溢出高質(zhì)量移動(dòng)圖像vll的 移動(dòng)圖像屏面,并且把原始內(nèi)插坐標(biāo)以及內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的所抽取的圖 像的尺寸和坐標(biāo)記錄為內(nèi)插信息。經(jīng)由諸如網(wǎng)絡(luò)的傳輸通路把內(nèi)插移動(dòng)圖像生成單元120 所生成的內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息Π 0傳輸于內(nèi)插移動(dòng)圖像傳輸單元130。
[0221] 以上,已經(jīng)描述了根據(jù)實(shí)施例1的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例。由 于根據(jù)實(shí)例1的內(nèi)插移動(dòng)圖像傳輸單元130的操作與圖6和7中所示的操作實(shí)例相同,所 以此處將省略對(duì)其的詳細(xì)描述。以下,將描述包括在根據(jù)實(shí)例1的內(nèi)插單元210中的內(nèi)插 處理部件281的一個(gè)操作實(shí)例。以下,將描述包括在根據(jù)實(shí)例1的內(nèi)插單元210中的操作 實(shí)例。
[0222] [內(nèi)插處理部件的操作實(shí)例]
[0223] 圖16為描述包括在根據(jù)實(shí)例1的內(nèi)插單元210中的內(nèi)插處理部件218的所述操 作實(shí)例的流程圖。以下,將參照?qǐng)D16描述包括在根據(jù)實(shí)例1的再現(xiàn)設(shè)備200中的內(nèi)插處理 部件218的所述操作實(shí)例。
[0224] 圖16描述了圖8的步驟S233的內(nèi)插處理的細(xì)節(jié)。對(duì)再現(xiàn)移動(dòng)圖像vlO進(jìn)行解碼 的解碼部件215對(duì)再現(xiàn)移動(dòng)圖像vlO的一個(gè)幀進(jìn)行解碼,從而生成一個(gè)所解碼的幀圖像(步 驟S231)。另外,解碼部件215還把此次所解碼的幀的幀時(shí)間(幀序號(hào))傳送于時(shí)間控制部 件 217。
[0225] 對(duì)內(nèi)插移動(dòng)圖像vl2進(jìn)行解碼的解碼部件216對(duì)內(nèi)插移動(dòng)圖像vl2的一個(gè)幀進(jìn)行 解碼,從而生成一個(gè)所解碼的幀圖像(步驟S233)。另外,解碼部件216還把此次所解碼的幀 的中貞時(shí)間(巾貞序號(hào))傳送于時(shí)間控制部件217。
[0226] 時(shí)間控制部件217對(duì)所述時(shí)間進(jìn)行匹配,以使再現(xiàn)移動(dòng)圖像vlO的幀時(shí)間和內(nèi)插 移動(dòng)圖像vl2的幀時(shí)間同步(步驟S231和S233)。
[0227] 當(dāng)時(shí)間控制部件217使再現(xiàn)移動(dòng)圖像vlO的幀時(shí)間和內(nèi)插移動(dòng)圖像vl2的幀時(shí)間 同步時(shí),則內(nèi)插區(qū)域抽取部分303從內(nèi)插移動(dòng)圖像vl2的幀圖像抽取內(nèi)插區(qū)域的一個(gè)圖像 (步驟S234)。如圖19中所示,進(jìn)行內(nèi)插區(qū)域的圖像的抽取。
[0228] 內(nèi)插區(qū)域抽取部分303從目標(biāo)幀時(shí)間的內(nèi)插信息獲取內(nèi)插移動(dòng)圖像vl2的坐標(biāo) [XX,yy]。所述坐標(biāo)為內(nèi)插移動(dòng)圖像生成單元120從高質(zhì)量移動(dòng)圖像vll的幀圖像抽取像 素的幀圖像和內(nèi)插移動(dòng)圖像vl2的幀圖像抽取像素時(shí)所獲得的坐標(biāo)。例如,假設(shè)所述坐標(biāo) 為[XX:1820,yy:930]。
[0229] 另外,內(nèi)插區(qū)域抽取部分303還從目標(biāo)幀時(shí)間的內(nèi)插信息獲取內(nèi)插區(qū)域的坐標(biāo) [X,y]。所述坐標(biāo)為內(nèi)插移動(dòng)圖像生成單元120中針對(duì)其指示內(nèi)插的區(qū)域的坐標(biāo)。例如,假 設(shè)所述坐標(biāo)為[X: 1850, y :1000]。
[0230] 當(dāng)把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面左上側(cè)設(shè)置為基點(diǎn)時(shí)將加以抽取的內(nèi) 插移動(dòng)圖像vl2的內(nèi)插區(qū)域的坐標(biāo)為[X-XX,y_yy],就以上所描述的實(shí)例而言,得到坐標(biāo) [x-xx, y-yy] = [30, 70]
[0231] 接下來(lái),內(nèi)插區(qū)域抽取部分303從目標(biāo)幀時(shí)間的內(nèi)插信息獲取內(nèi)插區(qū)域的尺寸 (寬度DW和高度DH)。例如,DW=50和DH=70。
[0232] 最后,內(nèi)插區(qū)域抽取部分303從內(nèi)插移動(dòng)圖像vl2的左上坐標(biāo)(在以上所描述的實(shí) 例中為([30, 70])按內(nèi)插區(qū)域的尺寸(DW=50和DH=70)抽取一個(gè)像素組。
[0233] 當(dāng)內(nèi)插區(qū)域抽取部分303抽取內(nèi)插區(qū)域的圖像時(shí),圖像放大率改變部分301和304 放大或者縮小再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的所解碼的幀圖像,以適合標(biāo)準(zhǔn)圖像 尺寸(步驟S232和S235)。由于步驟S232和S235中所執(zhí)行的過(guò)程與圖9的步驟S143和 S146中所執(zhí)行的過(guò)程相同,所以省略了對(duì)它們的詳細(xì)描述。
[0234] 當(dāng)圖像放大率改變部分301和304放大或者縮小再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖 像vl2的所解碼的幀圖像時(shí),圖像放大率改變部分304還使用與步驟S232和S235的方法 相同的方法,把每一個(gè)幀時(shí)間的內(nèi)插坐標(biāo)的值改變?yōu)闃?biāo)準(zhǔn)圖像尺寸的坐標(biāo)、寬度、以及高度 (步驟S236)。然后,幀圖像組合部分305在再現(xiàn)移動(dòng)圖像vlO的幀圖像上執(zhí)行內(nèi)插移動(dòng)圖 像vl2的幀圖像的覆蓋描繪(重寫(xiě)像素)(步驟S237)。
[0235] 通過(guò)執(zhí)行如以上所描述的操作,包括在根據(jù)實(shí)例1的內(nèi)插單元210中的內(nèi)插處理 部件218可以在僅將其內(nèi)插區(qū)域設(shè)置為移動(dòng)圖像屏面的內(nèi)插移動(dòng)圖像vl2上執(zhí)行與再現(xiàn)移 動(dòng)圖像vl〇的移動(dòng)圖像屏面的內(nèi)插組合。
[0236] 通過(guò)在僅將其內(nèi)插區(qū)域設(shè)置為移動(dòng)圖像屏面的內(nèi)插移動(dòng)圖像vl2上執(zhí)行與再現(xiàn) 移動(dòng)圖像vl〇的移動(dòng)圖像屏面的內(nèi)插組合,內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面具有其中不 包括除所有幀的整個(gè)內(nèi)插區(qū)域組之外的區(qū)域,而包括所有幀的整個(gè)內(nèi)插區(qū)域組的最小圖像 尺寸。在實(shí)例1中,可以把內(nèi)插移動(dòng)圖像屏面的像素量縮小至最小。另外,即使當(dāng)針對(duì)每一 個(gè)幀改變內(nèi)插區(qū)域的尺寸時(shí),也不改變內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的尺寸,于是,可 以使用現(xiàn)存的移動(dòng)圖像編碼過(guò)程和解碼過(guò)程。
[0237] 在實(shí)例1中,由于內(nèi)插移動(dòng)圖像vl2僅包括內(nèi)插區(qū)域,不包括內(nèi)插處理不需要的 區(qū)域,所以?xún)?nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面可以小于高質(zhì)量移動(dòng)圖像vll的圖像尺寸。 通常,在所述移動(dòng)圖像編碼方案中,當(dāng)圖像的尺寸減小時(shí),可以降低維持同樣移動(dòng)圖像質(zhì)量 (如原始高質(zhì)量移動(dòng)圖像vll)所需的編碼率,從而可以降低內(nèi)插移動(dòng)圖像vl2的編碼率。因 此,在實(shí)例1中,內(nèi)插移動(dòng)圖像vl2的編碼率能夠低于傳輸整個(gè)高質(zhì)量移動(dòng)圖像vll時(shí)的編 碼率。另外,由于內(nèi)插移動(dòng)圖像vl2的圖像尺寸小,所以也抑制了內(nèi)插單元210上內(nèi)插移動(dòng) 圖像vl2的解碼過(guò)程的負(fù)擔(dān)。
[0238] 在移動(dòng)設(shè)備和用戶(hù)設(shè)備中,例如,存在著其上僅安裝一個(gè)硬件解碼器的設(shè)備。當(dāng)把 實(shí)例1施用于這樣的設(shè)備時(shí),例如,所述硬件解碼器對(duì)再現(xiàn)移動(dòng)圖像vlO進(jìn)行解碼,可以令 具有小尺寸的內(nèi)插移動(dòng)圖像vl2經(jīng)歷稱(chēng)為軟件解碼(例如,通過(guò)CPU的運(yùn)算操作的解碼)的 解碼過(guò)程。由于內(nèi)插移動(dòng)圖像vl2的圖像尺寸小,所以可以按軟件解碼對(duì)內(nèi)插移動(dòng)圖像vl2 進(jìn)行解碼。
[0239] 另外,在以上所描述的實(shí)例中,已經(jīng)描述了其中在一個(gè)再現(xiàn)移動(dòng)圖像vlO的內(nèi)插 操作期間提供一個(gè)內(nèi)插移動(dòng)圖像vl2的情況,然而,如以上所描述的本發(fā)明專(zhuān)利所述實(shí)施 例中所描述的,對(duì)于一個(gè)再現(xiàn)移動(dòng)圖像v 1 〇,可能同時(shí)存在多個(gè)內(nèi)插移動(dòng)圖像v 12。例如,對(duì) 于名為"體育X"的移動(dòng)圖像內(nèi)容的再現(xiàn)移動(dòng)圖像vl〇,可以使用稱(chēng)為"運(yùn)動(dòng)員A"和"運(yùn)動(dòng) 員B"的兩個(gè)內(nèi)插移動(dòng)圖像執(zhí)行內(nèi)插處理。在這一情況下,內(nèi)插單元210的內(nèi)插移動(dòng)圖像選 擇部件214使用用戶(hù)的指令、用戶(hù)偏好的分析、網(wǎng)絡(luò)的普及等,通過(guò)自動(dòng)判斷,請(qǐng)求"運(yùn)動(dòng)員 A"和"運(yùn)動(dòng)員B"兩者的內(nèi)插移動(dòng)圖像vl2以及內(nèi)插信息ilO向內(nèi)插移動(dòng)圖像傳輸單元130 的傳輸。根據(jù)對(duì)所述多個(gè)內(nèi)插移動(dòng)圖像vl2以及內(nèi)插信息ilO的接收,內(nèi)插單元210同時(shí) 處理"運(yùn)動(dòng)員A"和"運(yùn)動(dòng)員B"的內(nèi)插移動(dòng)圖像vl2。另外,內(nèi)插單元210還可以在從兩個(gè) 內(nèi)插移動(dòng)圖像vl2獲得的內(nèi)插移動(dòng)圖像上進(jìn)行與再現(xiàn)移動(dòng)圖像vlO的移動(dòng)圖像屏面的內(nèi)插 組合。
[0240] < 3.實(shí)例 2 >
[0241] [概述]
[0242] 以下,將描述本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例2。在實(shí)例1中,由于僅在內(nèi)插區(qū)域上 聚焦內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面,所以當(dāng)對(duì)于一個(gè)再現(xiàn)移動(dòng)圖像vlO存在所述多個(gè) 內(nèi)插區(qū)域(例如,"運(yùn)動(dòng)員A"和"運(yùn)動(dòng)員B"的兩個(gè)內(nèi)插區(qū)域)時(shí),針對(duì)每一個(gè)內(nèi)插區(qū)域劃分 內(nèi)插移動(dòng)圖像vl2。為此,當(dāng)針對(duì)所述一個(gè)再現(xiàn)移動(dòng)圖像vlO處理所述多個(gè)內(nèi)插區(qū)域時(shí),內(nèi) 插單元210針對(duì)每一個(gè)內(nèi)插區(qū)域?qū)?nèi)插移動(dòng)圖像vl2進(jìn)行一次解碼。
[0243] 在以下所描述的實(shí)例2中,多個(gè)內(nèi)插區(qū)域的圖像將落入一個(gè)內(nèi)插移動(dòng)圖像vl2中。 因此,如果對(duì)內(nèi)插移動(dòng)圖像vl2進(jìn)行一次解碼,內(nèi)插單元210可以抽取內(nèi)插區(qū)域的所有圖 像。
[0244] 圖24描述了根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面和內(nèi)插區(qū)域之間的 關(guān)系的一個(gè)實(shí)例。
[0245] 在實(shí)例2中,把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸設(shè)置為與原始高質(zhì) 量移動(dòng)圖像vll的移動(dòng)圖像屏面的圖像尺寸相同。通過(guò)把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏 面的圖像尺寸設(shè)置為與原始高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面的圖像尺寸相同,在內(nèi)插 移動(dòng)圖像vl2中,確保了一個(gè)包括所有內(nèi)插區(qū)域的原始高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏 面的區(qū)域。
[0246] 接下來(lái),當(dāng)創(chuàng)建內(nèi)插移動(dòng)圖像vl2的每一個(gè)幀圖像時(shí),內(nèi)插移動(dòng)圖像生成單元120 設(shè)置與內(nèi)插區(qū)域的部分一樣多的相應(yīng)于高質(zhì)量移動(dòng)圖像vll的幀圖像的區(qū)域的像素組。此 處,其中設(shè)置了像素值的坐標(biāo)為高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面上的坐標(biāo)(換句話(huà)說(shuō), 為內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面上的坐標(biāo))。內(nèi)插移動(dòng)圖像生成單元120使用無(wú)效像 素填充除內(nèi)插移動(dòng)圖像幀的內(nèi)插區(qū)域之外的區(qū)域。
[0247] 在實(shí)例2中,無(wú)效像素指的是具有一個(gè)預(yù)定的像素值,以當(dāng)在內(nèi)插單元210中的內(nèi) 插圖像的抽取期間將它們遺棄。例如,可以選擇亮度+顏色-差(YCbCr等)的值范圍中的 一個(gè)值、RGBA(RGB+α )的透明度的最大值、或者不出現(xiàn)于所有幀的像素的一個(gè)值,也可以把 一個(gè)特定的像素值決定為無(wú)效像素的值。把無(wú)效像素的值固定為不改變的一個(gè)值。
[0248] 因此,把內(nèi)插移動(dòng)圖像ν12的幀圖像形成為一個(gè)其中僅把從高質(zhì)量移動(dòng)圖像vll 的相應(yīng)區(qū)域所獲取的有效像素組設(shè)置在內(nèi)插區(qū)域中的幀圖像,并且使用無(wú)效像素填充除內(nèi) 插區(qū)域之外的區(qū)域。另外,作為內(nèi)插信息il〇,描述了幀中與內(nèi)插區(qū)域的數(shù)目一樣多的矩形 內(nèi)插區(qū)域的坐標(biāo)。在圖24中的實(shí)例中,在某一幀中設(shè)置了 3個(gè)內(nèi)插區(qū)域,在內(nèi)插信息Π 0 中也描述3個(gè)矩形內(nèi)插區(qū)域的坐標(biāo)。不僅把內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度施用于原始高 質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面,也施用于內(nèi)插移動(dòng)圖像V12的移動(dòng)圖像屏面。其原因 在于,在本實(shí)例中,把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸設(shè)置為與原始高質(zhì)量 移動(dòng)圖像vll的移動(dòng)圖像屏面的圖像尺寸相同。
[0249] 當(dāng)對(duì)內(nèi)插移動(dòng)圖像vl2進(jìn)行編碼時(shí),內(nèi)插移動(dòng)圖像生成單元120可以維持圖像的 質(zhì)量,盡管其圖像尺寸與高質(zhì)量移動(dòng)圖像vll相同(在圖24的實(shí)例中,為1920X1080),而且 編碼的編碼率低于高質(zhì)量移動(dòng)圖像vll的編碼率。其原因在于,由于在幀圖像中無(wú)效像素 部分具有固定的值,相鄰宏塊和幀之間沒(méi)有變化,因此編碼之后的信息量明顯降低。編碼之 后的大多數(shù)信息僅為其圖像改變的內(nèi)插區(qū)域部分的信息。于是,即使根據(jù)其中內(nèi)插區(qū)域的 像素值的總數(shù)目在所有幀中一個(gè)幀中的內(nèi)插區(qū)域的最大面積決定編碼率,也能夠維持所編 碼的移動(dòng)圖像的質(zhì)量。
[0250] 在圖24的實(shí)例中,例如,在3個(gè)內(nèi)插區(qū)域中,正方形內(nèi)插區(qū)域具有200X 100=20000 個(gè)像素,三角形內(nèi)插區(qū)域具有150X200/2=15000個(gè)像素,圓形內(nèi)插區(qū)域具有80X80X π = 大約20000個(gè)像素,3個(gè)內(nèi)插區(qū)域的像素的總和為大約55000個(gè)像素。由于原始高 質(zhì)量移動(dòng)圖像vll具有1920X1080=2073600個(gè)像素,所以?xún)?nèi)插區(qū)域的像素的比率為 55000 + 2073600=大約 2. 7%。
[0251] 當(dāng)按4Mbps對(duì)高質(zhì)量移動(dòng)圖像vll進(jìn)行編碼時(shí),例如,如果內(nèi)插移動(dòng)圖像生成單元 120按根據(jù)面積比率簡(jiǎn)單計(jì)算的4MbpsX 2. 7%=大約lOOKbsp進(jìn)行編碼,可望內(nèi)插移動(dòng)圖像 vl2具有與高質(zhì)量移動(dòng)圖像vll -樣的質(zhì)量。另外,當(dāng)由于降低的編碼率而發(fā)現(xiàn)噪音時(shí),內(nèi) 插移動(dòng)圖像生成單元120可以執(zhí)行考慮到編碼方案的S/N比特性的編碼或者對(duì)編碼率設(shè)置 下限。由于有效像素的數(shù)目少,即使內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸與以上 所描述的原始高質(zhì)量移動(dòng)圖像vll相同,內(nèi)插移動(dòng)圖像生成單元120也可以按考慮到有幀 中效像素的數(shù)目(內(nèi)插區(qū)域中的像素的數(shù)目)的低編碼率對(duì)內(nèi)插移動(dòng)圖像vl2進(jìn)行編碼。
[0252] 也將參照?qǐng)D24概要地描述內(nèi)插單元210。
[0253] 當(dāng)抽取到內(nèi)插區(qū)域的圖像時(shí),內(nèi)插單元210首先對(duì)內(nèi)插移動(dòng)圖像vl2的一個(gè)幀進(jìn) 行解碼。如以上所描述的,如果內(nèi)插單元210對(duì)內(nèi)插移動(dòng)圖像vl2的一個(gè)幀進(jìn)行解碼,而不 管內(nèi)插區(qū)域的數(shù)目如何,則可以抽取所有內(nèi)插區(qū)域的圖像。
[0254] 接下來(lái),內(nèi)插單元210根據(jù)內(nèi)插信息ilO從內(nèi)插移動(dòng)圖像vl2的幀圖像抽取包括 內(nèi)插區(qū)域的矩形圖像。把內(nèi)插信息il〇中所描述的坐標(biāo)、寬度、以及高度施用于高質(zhì)量移動(dòng) 圖像vll的坐標(biāo)和內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面上的坐標(biāo)。其原因在于,在本實(shí)例中, 把內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸設(shè)置為與原始高質(zhì)量移動(dòng)圖像vll的移動(dòng) 圖像屏面的圖像尺寸相同。換句話(huà)說(shuō),內(nèi)插信息Π 0中所描述的坐標(biāo)為其中令內(nèi)插區(qū)域經(jīng) 歷抽取的內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面上的坐標(biāo)以及其中在內(nèi)插處理期間設(shè)置內(nèi)插 圖像的坐標(biāo)(高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面上的)。
[0255] 然后,當(dāng)無(wú)效像素包括在所抽取的矩形圖像中時(shí),內(nèi)插單元210遺棄無(wú)效像素部 分,接下來(lái),僅針對(duì)其余有效像素執(zhí)行與再現(xiàn)移動(dòng)圖像vlO的移動(dòng)圖像屏面的內(nèi)插組合。在 這一方式下,通過(guò)從從內(nèi)插移動(dòng)圖像vl2抽取的矩形圖像去除無(wú)效像素,在本實(shí)例中也可 以表示非矩形內(nèi)插區(qū)域,如圖24中所示。例如,內(nèi)插單元210可以按運(yùn)動(dòng)員的體形、人的面 部等抽取內(nèi)插圖像。
[0256] 以上,已經(jīng)概要地描述了根據(jù)所述實(shí)施例的施例2。以下,將描述根據(jù)實(shí)例2的內(nèi) 插移動(dòng)圖像生成單元120的一個(gè)操作實(shí)例。
[0257] [內(nèi)插移動(dòng)圖像生成單元的操作實(shí)例]
[0258] 圖20?圖22為描述根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例的 流程圖。注意,假設(shè)根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像生成單元120的配置與圖2中所示相同。以 下,將參照?qǐng)D20?圖22描述根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例。
[0259] 內(nèi)插指令單元121接收內(nèi)插指令的輸入(步驟S301)。內(nèi)插指令單元121獲取相對(duì) 高質(zhì)量移動(dòng)圖像vll的各個(gè)幀的內(nèi)插指令的信息,并且按文件、數(shù)據(jù)庫(kù)、內(nèi)存等形式保存所 有幀的內(nèi)插指令。內(nèi)插指令的信息包括內(nèi)插區(qū)域的幀時(shí)間、以及(左上)坐標(biāo)和尺寸(寬度和 高度)。在本實(shí)例中,可以輸入針對(duì)一個(gè)幀的多個(gè)區(qū)域的內(nèi)插指令。
[0260] 當(dāng)內(nèi)插指令單元121接收到內(nèi)插指令的輸入時(shí),內(nèi)插信息處理單元123獲取高質(zhì) 量移動(dòng)圖像Vll的幀組中的一個(gè)幀中具有最大面積(最大像素?cái)?shù)目)的內(nèi)插區(qū)域,然后決定 內(nèi)插移動(dòng)圖像V12編碼率(步驟S302)。
[0261] 圖21為步驟S302中所獲取的幀中具有最大面積(最大像素?cái)?shù)目)的內(nèi)插區(qū)域時(shí)所 執(zhí)行的操作細(xì)節(jié)的流程圖。
[0262] 首先,內(nèi)插信息處理單元123把最大內(nèi)插面積初始化為0 (步驟S311)。接下來(lái), 內(nèi)插信息處理單元123從內(nèi)插指令單元121獲取一個(gè)幀的一個(gè)內(nèi)插區(qū)域組(步驟S312)。
[0263] 然后,內(nèi)插信息處理單元123計(jì)算所述幀的每一個(gè)內(nèi)插區(qū)域的面積(像素?cái)?shù)目),并 且把所述面積的總和設(shè)置為幀的內(nèi)插區(qū)域面積(像素?cái)?shù)目)(步驟S313)。應(yīng)該加以注意的 是,當(dāng)內(nèi)插區(qū)域之間存在重疊部分時(shí),內(nèi)插信息處理單元123最好不對(duì)重疊部分執(zhí)行重復(fù) 的計(jì)算。步驟S313中所獲得的面積也稱(chēng)為內(nèi)插面積。
[0264] 接下來(lái),內(nèi)插信息處理單元123把最大內(nèi)插面積與步驟S313中所獲得的內(nèi)插面積 進(jìn)行比較,如果步驟S313中所獲得的內(nèi)插面積大,則用步驟S313中所獲得的內(nèi)插面積的值 更新最大內(nèi)插面積(步驟S314)。
[0265] 內(nèi)插信息處理單元123重復(fù)步驟S312?S314中的過(guò)程,直至達(dá)到最后一個(gè)幀(步 驟S315)。當(dāng)完成所述過(guò)程,達(dá)到最后一個(gè)幀時(shí),內(nèi)插信息處理單元123根據(jù)最大內(nèi)插面 積、以及原始高質(zhì)量移動(dòng)圖像vll的面積和編碼率決定內(nèi)插移動(dòng)圖像vl2的編碼率(步驟 S316)。內(nèi)插信息處理單元123可以使用以上所描述的高質(zhì)量移動(dòng)圖像vll的面積與最大 內(nèi)插面積的比率決定編碼率,并且可以根據(jù)編碼方案的S/N比非線(xiàn)性地計(jì)算編碼率,也可 以設(shè)置編碼率的最低值。
[0266] 將返回至圖20進(jìn)行描述。當(dāng)決定了內(nèi)插移動(dòng)圖像vl2的編碼率時(shí),幀圖像抽取單 元124根據(jù)高質(zhì)量移動(dòng)圖像vll生成內(nèi)插移動(dòng)圖像vl2 (步驟S303)。
[0267] 圖22為描述在步驟S303中根據(jù)高質(zhì)量移動(dòng)圖像vll生成內(nèi)插移動(dòng)圖像vl2時(shí)所 執(zhí)行的操作細(xì)節(jié)的流程圖。
[0268] 解碼單元122對(duì)高質(zhì)量移動(dòng)圖像vll的一個(gè)幀進(jìn)行解碼(步驟S321)。以寬度HW 和高度HH設(shè)置高質(zhì)量移動(dòng)圖像vll的圖像尺寸。當(dāng)解碼單元122對(duì)高質(zhì)量移動(dòng)圖像vll的 一個(gè)幀進(jìn)行解碼時(shí),則幀圖像抽取單元124準(zhǔn)備一個(gè)針對(duì)內(nèi)插移動(dòng)圖像vl2的幀緩沖器(步 驟S322)。把包括寬度MW和高度MH的幀緩沖器的圖像尺寸設(shè)置為與高質(zhì)量移動(dòng)圖像vll 的圖像尺寸(寬度HW和高度HH)相同。另外,幀圖像抽取單元124還在幀緩沖器中設(shè)置與 針對(duì)所述幀所指示的內(nèi)插區(qū)域的數(shù)目一樣多的內(nèi)插區(qū)域的像素組。
[0269] 在準(zhǔn)備好了幀緩沖器并且用無(wú)效像素加以填充之后,幀圖像抽取單元124接下來(lái) 獲取一個(gè)其中從內(nèi)插信息處理單元123指示內(nèi)插的區(qū)域(步驟S323)。
[0270] 當(dāng)幀圖像抽取單元124獲取其中從內(nèi)插信息處理單元123指示內(nèi)插的區(qū)域時(shí),從 從步驟S321的解碼過(guò)程所獲得的高質(zhì)量移動(dòng)圖像vll的幀圖像抽取所指示的區(qū)域的一個(gè) 像素組,然后將其設(shè)置在針對(duì)內(nèi)插區(qū)域的幀緩沖器中(步驟S324)。假設(shè)所述設(shè)置的坐標(biāo)、寬 度、以及高度與高質(zhì)量移動(dòng)圖像vll的坐標(biāo)、寬度、以及高度相同。
[0271] 幀圖像抽取單元124針對(duì)針對(duì)所述幀所指示的每一個(gè)內(nèi)插區(qū)域重復(fù)步驟S324的 過(guò)程一次(步驟S325)。在幀圖像抽取單元124針對(duì)針對(duì)所述幀所指示的每一個(gè)內(nèi)插區(qū)域重 復(fù)步驟S324的過(guò)程一次之后,編碼單元125針對(duì)一個(gè)幀執(zhí)行一個(gè)后過(guò)程,從而生成內(nèi)插移 動(dòng)圖像vl2 (步驟S326)。
[0272] 在幀圖像抽取單元124所產(chǎn)生的幀緩沖器中,把高質(zhì)量移動(dòng)圖像vll的像素組設(shè) 置在內(nèi)插區(qū)域組中,并且把無(wú)效像素組設(shè)置在除內(nèi)插區(qū)域組之外的區(qū)域中。編碼單元125 按步驟S302中所獲得的編碼率對(duì)幀緩沖器進(jìn)行編碼,從而生成內(nèi)插移動(dòng)圖像vl2。
[0273] 內(nèi)插信息處理單元123把有關(guān)幀的內(nèi)插區(qū)域的信息記錄在內(nèi)插信息ilO中。所記 錄的信息包括幀時(shí)間(或者幀序號(hào))、以及矩形內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度。所述值為 有關(guān)1?質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面的值和有關(guān)內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的 值。當(dāng)一個(gè)幀中存在多個(gè)內(nèi)插區(qū)域時(shí),內(nèi)插信息處理單元123把圖24中所示的所述多個(gè)內(nèi) 插區(qū)域的信息作為內(nèi)插信息i 10加以記錄。
[0274] 重復(fù)步驟S321?S326中的過(guò)程,直至達(dá)到最后一個(gè)幀。
[0275] 通過(guò)執(zhí)行圖20?22在中所示的操作,根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像生成單元120 可以創(chuàng)建其中把高質(zhì)量移動(dòng)圖像vll的像素組設(shè)置在內(nèi)插區(qū)域以及把無(wú)效像素設(shè)置在除 內(nèi)插區(qū)域之外的區(qū)域中的內(nèi)插移動(dòng)圖像vl2和其中針對(duì)一個(gè)幀描述一或多個(gè)像素組的信 息的內(nèi)插信息il〇。把內(nèi)插移動(dòng)圖像生成單元120所創(chuàng)建的內(nèi)插移動(dòng)圖像vl2和內(nèi)插信息 il〇傳輸于內(nèi)插移動(dòng)圖像傳輸單元130,并且將它們存儲(chǔ)在內(nèi)插移動(dòng)圖像傳輸單元130中。
[0276] 以上,已經(jīng)參照?qǐng)D20?22描述了根據(jù)施例2的內(nèi)插移動(dòng)圖像生成單元120的所 述操作實(shí)例。由于根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像傳輸單元130的操作與圖6和7中所示的操 作實(shí)例相同,所以此處將省略對(duì)其的詳細(xì)描述。以下,將描述根據(jù)實(shí)例2的21的一個(gè)操作 實(shí)例。
[0277] [內(nèi)插單元的操作實(shí)例]
[0278] 圖23為描述根據(jù)實(shí)例2的內(nèi)插單元210的所述操作實(shí)例的流程圖。應(yīng)該加以注意 的是,假設(shè)根據(jù)實(shí)例2的內(nèi)插移動(dòng)圖像傳輸單元130的配置與圖4中所示的配置相同。以 下,將參照?qǐng)D23描述據(jù)實(shí)例2的內(nèi)插單元210的所述操作實(shí)例。
[0279] 圖23描述了圖8的步驟S133的內(nèi)插處理的細(xì)節(jié)。對(duì)再現(xiàn)移動(dòng)圖像vlO進(jìn)行解碼 的解碼部件215對(duì)再現(xiàn)移動(dòng)圖像vlO的一個(gè)幀進(jìn)行解碼,從而生成一個(gè)所解碼的幀圖像(步 驟S331)。另外,解碼部件215還把此次所解碼的幀的幀時(shí)間(幀序號(hào))傳送于時(shí)間控制部 件 217。
[0280] 對(duì)內(nèi)插移動(dòng)圖像vl2進(jìn)行解碼的解碼部件216對(duì)內(nèi)插移動(dòng)圖像vl2的一個(gè)幀進(jìn)行 解碼,從而生成一個(gè)所解碼的幀圖像(步驟S333)。另外,解碼部件216還把此次所解碼的幀 的中貞時(shí)間(巾貞序號(hào))傳送于時(shí)間控制部件217。
[0281] 時(shí)間控制部件217對(duì)所述時(shí)間進(jìn)行匹配,以使再現(xiàn)移動(dòng)圖像vlO的幀時(shí)間和內(nèi)插 移動(dòng)圖像vl2的幀時(shí)間同步(步驟S331和S333)。
[0282] 當(dāng)時(shí)間控制部件217使再現(xiàn)移動(dòng)圖像vlO的幀時(shí)間和內(nèi)插移動(dòng)圖像vl2的幀時(shí)間 同步時(shí),則內(nèi)插區(qū)域抽取部分303從內(nèi)插移動(dòng)圖像vl2的幀圖像抽取內(nèi)插區(qū)域的圖像。執(zhí) 行內(nèi)插區(qū)域的圖像的抽取,如下。
[0283] 內(nèi)插區(qū)域抽取部分303從將加以抽取的幀的幀時(shí)間的內(nèi)插信息獲取內(nèi)插區(qū)域的 坐標(biāo)[x,y]、寬度麗、以及高度MH,然后從內(nèi)插移動(dòng)圖像vl2的幀圖像抽取所述區(qū)域的像素 組(步驟S334)。
[0284] 接下來(lái),內(nèi)插區(qū)域抽取部分303從所抽取的像素組(內(nèi)插圖像)中遺棄無(wú)效像素(步 驟S335)。例如,如果將加以處理的圖像的圖像格式為具有阿爾法通道的圖像格式,則內(nèi)插 區(qū)域抽取部分303把所抽取的像素組(內(nèi)插圖像)的透明度設(shè)置為最大。另外,如果將加以 處理的圖像的圖像格式為不具有阿爾法通道的圖像格式,例如,則在以后的內(nèi)插合成期間 跳過(guò)無(wú)效像素。
[0285] 當(dāng)內(nèi)插區(qū)域抽取部分303抽取內(nèi)插的圖像時(shí),圖像放大率改變部分301和304放 大或者縮小再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的所解碼的幀圖像,以適合標(biāo)準(zhǔn)圖像尺 寸(步驟S332和S236)。由于步驟S332和S336中所執(zhí)行的過(guò)程與圖9的步驟S143和S146 中所執(zhí)行的過(guò)程相同,所以省略了對(duì)它們的詳細(xì)描述。
[0286] 當(dāng)圖像放大率改變部分301和304放大或者縮小了再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng) 圖像vl2的所解碼的幀圖像時(shí),圖像放大率改變部分304還按與步驟S332和S336相同的 方式改變每一個(gè)幀時(shí)間的內(nèi)插坐標(biāo)的值,以適合標(biāo)準(zhǔn)圖像尺寸的坐標(biāo)、寬度、以及高度(步 驟 S337)。
[0287] 針對(duì)將加以處理的所有幀的內(nèi)插區(qū)域重復(fù)以上所描述的步驟S334和S337 (步驟 5338) 。
[0288] 幀圖像組合部分305在再現(xiàn)移動(dòng)圖像vlO的幀圖像上執(zhí)行已經(jīng)根據(jù)標(biāo)準(zhǔn)圖像尺 寸的坐標(biāo)系改變了其量值的內(nèi)插移動(dòng)圖像vl2的幀圖像的覆蓋描繪(重寫(xiě)的像素),其中,所 述再現(xiàn)移動(dòng)圖像vlO的幀圖像為已經(jīng)根據(jù)標(biāo)準(zhǔn)圖像尺寸同樣改變了其量值的幀圖像(步驟 5339) 。當(dāng)存在多個(gè)內(nèi)插區(qū)域時(shí),幀圖像組合部分305執(zhí)行與內(nèi)插區(qū)域的數(shù)目一樣多數(shù)目的 覆蓋描繪(像素的重寫(xiě))。如針對(duì)步驟S335所描述的,依據(jù)幀圖像的格式,幀圖像組合部分 305可以跳過(guò)步驟S339的描繪階段中的無(wú)效像素,從而可以?xún)H組合有效像素。
[0289] 通過(guò)執(zhí)行以上所描述的操作,包括在根據(jù)本發(fā)明專(zhuān)利實(shí)例2的內(nèi)插單元210中的 內(nèi)插處理部件218可以在僅具有作為移動(dòng)圖像屏面的內(nèi)插區(qū)域的內(nèi)插移動(dòng)圖像vl2上執(zhí)行 與再現(xiàn)移動(dòng)圖像vlO的移動(dòng)圖像屏面的內(nèi)插組合,甚至是當(dāng)一個(gè)幀具有多個(gè)內(nèi)插區(qū)域時(shí)。
[0290] 在實(shí)例2中,即使一個(gè)幀具有多個(gè)內(nèi)插區(qū)域,也根據(jù)內(nèi)插區(qū)域的面積將內(nèi)插移動(dòng) 圖像vl2設(shè)置為1,其編碼率可以低于高質(zhì)量移動(dòng)圖像vll的編碼率。例如,隨著移動(dòng)設(shè)備 和用戶(hù)設(shè)備硬件容量的提高,可以同時(shí)執(zhí)行兩個(gè)移動(dòng)圖像的硬件解碼。把具有如此配置的 設(shè)備配置為同時(shí)執(zhí)行實(shí)例2的再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的兩個(gè)移動(dòng)圖像的 硬件解碼,從而可以使用多個(gè)內(nèi)插區(qū)域內(nèi)插再現(xiàn)移動(dòng)圖像vl〇,同時(shí)有效地使用硬件解碼的 組。
[0291] 可以針對(duì)一段移動(dòng)圖像內(nèi)容創(chuàng)建多個(gè)內(nèi)插移動(dòng)圖像vl2。例如,對(duì)于"體育X"的 移動(dòng)圖像內(nèi)容,也可以創(chuàng)建僅"運(yùn)動(dòng)員A"的內(nèi)插移動(dòng)圖像vl2,或者"運(yùn)動(dòng)員A和運(yùn)動(dòng)員B" 的內(nèi)插移動(dòng)圖像vl2。當(dāng)針對(duì)一段移動(dòng)圖像內(nèi)容創(chuàng)建多個(gè)內(nèi)插移動(dòng)圖像vl2時(shí),內(nèi)插單元 210的內(nèi)插移動(dòng)圖像選擇部件214可以通過(guò)列舉內(nèi)插名令用戶(hù)選擇內(nèi)插移動(dòng)圖像v 12,根據(jù) 觀看者的偏好或者Internet的普及,或者向用戶(hù)推薦的內(nèi)插移動(dòng)圖像自動(dòng)地選擇內(nèi)插移 動(dòng)圖像vl2。
[0292] 另外,在實(shí)例2中,還把所述多個(gè)內(nèi)插區(qū)域包括在一個(gè)內(nèi)插移動(dòng)圖像vl2中,然而, 內(nèi)插單元210可以使用所述多個(gè)內(nèi)插移動(dòng)圖像vl2同時(shí)執(zhí)行內(nèi)插處理。例如,當(dāng)體育移動(dòng) 圖像的內(nèi)容中存在10個(gè)運(yùn)動(dòng)員時(shí),內(nèi)插移動(dòng)圖像生成單元120預(yù)先創(chuàng)建多個(gè)包括具有2? 3個(gè)運(yùn)動(dòng)員的內(nèi)插區(qū)域組的內(nèi)插移動(dòng)圖像。內(nèi)插單元210可以在各組中"運(yùn)動(dòng)員A和運(yùn)動(dòng) 員B"的內(nèi)插移動(dòng)圖像vl2以及"運(yùn)動(dòng)員Μ和運(yùn)動(dòng)員N"的內(nèi)插移動(dòng)圖像vl2上執(zhí)行內(nèi)插處 理。
[0293] 另外,在以上所描述的實(shí)例2中,把內(nèi)插移動(dòng)圖像vl2的每一個(gè)幀屏面上的內(nèi)插 區(qū)域的坐標(biāo)、寬度、以及高度設(shè)置為內(nèi)插信息il〇中所描述的,然而也可以不提供內(nèi)插信息 il〇。當(dāng)不提供內(nèi)插信息il〇時(shí),內(nèi)插移動(dòng)圖像生成單元120僅生成內(nèi)插移動(dòng)圖像vl2,不生 成內(nèi)插信息il〇。內(nèi)插移動(dòng)圖像傳輸單元也僅保存內(nèi)插移動(dòng)圖像vl2,并且把內(nèi)插移動(dòng)圖像 傳輸于再現(xiàn)設(shè)備200。
[0294] 另外,當(dāng)不提供內(nèi)插信息i 10時(shí),內(nèi)插單元210的內(nèi)插處理部件218掃描內(nèi)插移動(dòng) 圖像vl2的所解碼的幀圖像的所有像素,然后僅抽取有效像素。當(dāng)通過(guò)硬件從內(nèi)插移動(dòng)圖 像vl2的幀圖像抽取內(nèi)插圖像時(shí),掃描所有像素和僅抽取有效像素有助于電路的簡(jiǎn)化與加 速。另一方面,當(dāng)通過(guò)程序從內(nèi)插移動(dòng)圖像vl2的幀圖像抽取內(nèi)插圖像時(shí),有關(guān)其像素應(yīng)被 抽取的模式的信息的預(yù)提供有助于過(guò)程的優(yōu)化??梢杂蓛?nèi)插移動(dòng)圖像vl2的屏面尺寸取代 需要轉(zhuǎn)換為標(biāo)準(zhǔn)圖像尺寸的原始高質(zhì)量移動(dòng)圖像vll的屏面尺寸。其原因在于,在實(shí)例2 中,原始高質(zhì)量移動(dòng)圖像vll的屏面尺寸與內(nèi)插移動(dòng)圖像vl2的屏面尺寸相同。
[0295] 如以上所描述的,通過(guò)使用所述多個(gè)內(nèi)插區(qū)域填充內(nèi)插移動(dòng)圖像vl2以及使用無(wú) 效像素填充除內(nèi)插區(qū)域之外的區(qū)域,實(shí)例2的優(yōu)點(diǎn)在于,盡管存在著所述多個(gè)內(nèi)插區(qū)域,但 對(duì)一個(gè)內(nèi)插移動(dòng)圖像vl2進(jìn)行解碼足以。特別是,如以上所描述的,當(dāng)在能夠同時(shí)對(duì)兩個(gè)移 動(dòng)圖像進(jìn)行硬件解碼的設(shè)備中執(zhí)行內(nèi)插處理時(shí),可以利用這一優(yōu)點(diǎn)。另外,在實(shí)例2中,也 可以表示非矩形內(nèi)插區(qū)域。盡管內(nèi)插移動(dòng)圖像vl2具有矩形形狀,但由于在內(nèi)插處理中遺 棄了無(wú)效像素,所以用于內(nèi)插的內(nèi)插圖像(在遺棄無(wú)效像素之后)可具有任意形狀。例如,內(nèi) 插區(qū)域可以適合于運(yùn)動(dòng)員的體形,也可以適合作為面部識(shí)別結(jié)果的人的面部形狀,因此,本 實(shí)例能夠執(zhí)行更自然的內(nèi)插處理。
[0296] 注意,實(shí)例2的內(nèi)容也適用于實(shí)例1。通過(guò)把實(shí)例2的內(nèi)容施用于實(shí)例1,在實(shí)例 1中,可以展現(xiàn)這樣的效果:能夠表示這樣的非矩形內(nèi)插區(qū)域,能夠減少非內(nèi)插區(qū)域的信息 量,而且不必獨(dú)立地管理內(nèi)插移動(dòng)屏面的坐標(biāo)。
[0297] 圖26描述了當(dāng)把實(shí)例2的內(nèi)容施用于實(shí)例1時(shí)所展現(xiàn)的效果。通過(guò)把實(shí)例2的 內(nèi)容施用于實(shí)例1,根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1可以表示非矩形內(nèi)插區(qū)域,如"幀〇" 所示。在實(shí)例1中,僅把一個(gè)內(nèi)插區(qū)域設(shè)置為內(nèi)插移動(dòng)圖像vl2。通過(guò)把實(shí)例2的內(nèi)容施用 于實(shí)例1,根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1可以把無(wú)效像素設(shè)置在內(nèi)插移動(dòng)圖像vl2的移 動(dòng)圖像屏面中,而且,在內(nèi)插單元210的內(nèi)插組合期間,能夠在呈任意形狀的內(nèi)插區(qū)域上執(zhí) 行內(nèi)插組合。
[0298] 在圖26的幀0的實(shí)例中,為了表示圓形內(nèi)插區(qū)域,把一個(gè)包括圓形內(nèi)插區(qū)域的矩 形設(shè)置為內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面,并且使用無(wú)效像素填充除了圓形內(nèi)插區(qū)域的 部分。通過(guò)把實(shí)例2的內(nèi)容施用于實(shí)例1,根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1可以通過(guò)在內(nèi) 插單元210所執(zhí)行的內(nèi)插組合期間去除無(wú)效像素,在圓形內(nèi)插區(qū)域上進(jìn)行內(nèi)插組合。
[0299] 通過(guò)把實(shí)例2的內(nèi)容施用于實(shí)例1,根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1可以減少非 內(nèi)插區(qū)域的信息量,如幀1所示。在實(shí)例1中,內(nèi)插區(qū)域的圖像尺寸針對(duì)每一個(gè)幀改變,另 一方面,內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸固定,如圖17中所描述的。為此,在 實(shí)例1中,內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸為所有幀的內(nèi)插區(qū)域組的最大寬 度X最大高度。因此,即使一個(gè)幀的內(nèi)插區(qū)域的尺寸小,也把有關(guān)除所述小內(nèi)插區(qū)域之外 的區(qū)域的像素信息提供于內(nèi)插移動(dòng)圖像vl2的幀。
[0300] 通過(guò)把實(shí)例2的內(nèi)容施用于實(shí)例1,在根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1中的內(nèi)插 移動(dòng)圖像V12的每一個(gè)幀圖像中,使用無(wú)效像素填充除幀的內(nèi)插區(qū)域之外的區(qū)域,從而不 改變無(wú)效像素部分的值,因此能夠減少幀的移動(dòng)圖像編碼期間的信息量。
[0301] 在圖26的幀1的實(shí)例中,內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面具有為所有幀的最大 寬度和最大高度的圖像尺寸:MW=l〇〇和MH=100。當(dāng)幀的內(nèi)插區(qū)域具有小于上述圖像尺寸的 寬度50X高度60的尺寸時(shí),根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1能夠通過(guò)使用無(wú)效像素填 充除內(nèi)插區(qū)域之外的區(qū)域減少對(duì)幀進(jìn)行編碼時(shí)的信息量。
[0302] 通過(guò)把實(shí)例2的內(nèi)容施用于實(shí)例1,在根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1中,不必 獨(dú)立地管理內(nèi)插移動(dòng)圖像屏面的坐標(biāo),如幀2所表示的。在實(shí)例1中,當(dāng)把內(nèi)插區(qū)域定位在 高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面的右端或者左端時(shí),如圖18中所描述的,存在著這樣 一種情況:其中,由于內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸為固定的,內(nèi)插移動(dòng)圖 像vl2的移動(dòng)圖像屏面溢出高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面。因此,為了通過(guò)令內(nèi)插 移動(dòng)圖像vl2的移動(dòng)圖像屏面偏向左或上側(cè),而不使內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面溢 出高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面,與內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的內(nèi)插區(qū)域 的坐標(biāo)相獨(dú)立地管理所述內(nèi)插區(qū)域的坐標(biāo)。
[0303] 通過(guò)把實(shí)例2的內(nèi)容施用于實(shí)例1,在根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1中,可 以共同管理內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面和內(nèi)插區(qū)域的坐標(biāo),同時(shí)通過(guò)使用無(wú)效像素 填充溢出區(qū)域固定內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸,甚至是當(dāng)內(nèi)插移動(dòng)圖像 vl2的移動(dòng)圖像屏面溢出高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面時(shí)。
[0304] 在圖26的幀2的實(shí)例中,盡管內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的圖像尺寸 為MW=100XMH=100,但內(nèi)插區(qū)域的坐標(biāo)為[1840,1000]。如果按這一狀態(tài)照原樣抽取 100X100的像素組,則內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面溢出高質(zhì)量移動(dòng)圖像vll的移動(dòng) 圖像屏面。于是,根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1能夠在不必使內(nèi)插移動(dòng)圖像vl2的移 動(dòng)圖像屏面坐標(biāo)偏離內(nèi)插區(qū)域的坐標(biāo),并且參照高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面的像 素組的情況下,僅管理一種溢出區(qū)域(換句話(huà)說(shuō),僅管理除內(nèi)插區(qū)域之外的區(qū)域)的坐標(biāo)。
[0305] 圖25為描述當(dāng)把實(shí)例2的內(nèi)容施用于實(shí)例1時(shí)所執(zhí)行的內(nèi)插移動(dòng)圖像生成單元 120的一個(gè)操作實(shí)例的流程圖。圖25描述了當(dāng)從高質(zhì)量移動(dòng)圖像vll抽取內(nèi)插移動(dòng)圖像 vl2的移動(dòng)圖像屏面的圖像時(shí)所執(zhí)行的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例。
[0306] 首先,解碼單元122按與圖15的步驟S221相同的方式對(duì)高質(zhì)量移動(dòng)圖像vll的 一個(gè)幀進(jìn)行解碼,并且把所解碼的幀圖像提交于幀圖像抽取單元124。另外,還把所解碼的 幀圖像的時(shí)間(或者幀序號(hào))以及幀的圖像尺寸(寬度HW和高度HH)提交于內(nèi)插信息處理單 元 123 (步驟 S341)。
[0307] 內(nèi)插信息處理單元123從內(nèi)插指令單元121獲取相應(yīng)于所解碼的幀圖像的時(shí)間的 內(nèi)插區(qū)域指示信息(步驟S342)。此處,把所指示的內(nèi)插的區(qū)域(在高質(zhì)量移動(dòng)圖像vll的移 動(dòng)圖像屏面上)的左上部分的坐標(biāo)設(shè)置為[x,y],把其寬度設(shè)置為DW,把其高度設(shè)置為DH。
[0308] 接下來(lái),幀圖像抽取單元124準(zhǔn)備一個(gè)針對(duì)內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的 幀緩沖器。幀緩沖器的寬度HW和高度HH為圖13的步驟S202中所決定的圖像尺寸。然后, 使用無(wú)效像素填充幀緩沖器(步驟S343)。
[0309] 接下來(lái),幀圖像抽取單元124從高質(zhì)量移動(dòng)圖像vll抽取內(nèi)插區(qū)域的像素組,并且 將像素組設(shè)置在內(nèi)插移動(dòng)圖像vl2的幀緩沖器中(步驟S344)。幀圖像抽取單元124抽取高 質(zhì)量移動(dòng)圖像上的具有坐標(biāo)[x,y]以及尺寸(寬度DWX高度DH)的像素組。然后,幀圖像 抽取單元124從內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的幀緩沖器的坐標(biāo)[0, 0]開(kāi)始設(shè)置所抽 取的像素組。
[0310] 于是,在內(nèi)插移動(dòng)圖像vl2的寬度MWX高度ΜΗ的移動(dòng)圖像屏面上,把有效像素設(shè) 置在內(nèi)插區(qū)域(寬度DWX高度DH)中,把無(wú)效像素設(shè)置在除內(nèi)插區(qū)域之外的區(qū)域中,從而創(chuàng) 建了其圖像尺寸固定為寬度MWX高度ΜΗ的內(nèi)插移動(dòng)圖像ν12的移動(dòng)圖像屏面幀圖像。
[0311] 接下來(lái),編碼單元125對(duì)步驟S344中所生成的內(nèi)插移動(dòng)圖像ν12的移動(dòng)圖像屏面 的幀圖像進(jìn)行編碼(步驟S345)。根據(jù)所有幀的內(nèi)插區(qū)域中的最大內(nèi)插面積以及原始高質(zhì)量 移動(dòng)圖像的面積和編碼率決定步驟S345中的編碼率。如以上所描述的,編碼單元125可以 根據(jù)面積比率決定所述比率,可以根據(jù)編碼方案的S/N比非線(xiàn)性地計(jì)算所述比率,也可以 設(shè)置最低編碼率。在實(shí)例1中使用了內(nèi)插移動(dòng)圖像面積,但當(dāng)把實(shí)例2施用于實(shí)例1時(shí),可 以使用包括在移動(dòng)圖像屏面中的內(nèi)插區(qū)域的面積,從而進(jìn)一步降低了編碼率。
[0312] 另外,作為內(nèi)插信息ilO,描述了幀時(shí)間(或者幀序號(hào))、以及內(nèi)插區(qū)域的坐標(biāo)[X,y] 和尺寸DWXDH。由于內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖像屏面的坐標(biāo)與內(nèi)插區(qū)域的左上坐標(biāo)相 同,所以,與實(shí)例1中不同,不能夠獨(dú)立地描述內(nèi)插移動(dòng)圖像的坐標(biāo)。
[0313] 應(yīng)該加以注意的是,可以不在內(nèi)插信息ilO中描述尺寸DWXDH。僅當(dāng)從內(nèi)插移 動(dòng)圖像vl2的移動(dòng)圖像屏面的幀圖像遺棄無(wú)效像素時(shí),內(nèi)插處理部件218才可以抽取有效 像素,而不管是否提供了有關(guān)尺寸的信息。當(dāng)通過(guò)硬件執(zhí)行從內(nèi)插移動(dòng)圖像vl2的幀圖像 的內(nèi)插圖像的抽取時(shí),如在實(shí)例2中,像素的簡(jiǎn)單掃描可以簡(jiǎn)化電路,當(dāng)通過(guò)軟件進(jìn)行抽取 時(shí),可以通過(guò)有關(guān)矩形的信息的預(yù)提供獲得所述過(guò)程的優(yōu)化。
[0314] 如以上所描述的,通過(guò)把實(shí)例2施用于實(shí)例1,根據(jù)本實(shí)例的移動(dòng)圖像再現(xiàn)系統(tǒng)1 可以表示非矩形內(nèi)插區(qū)域,通過(guò)減少非內(nèi)插區(qū)域的信息量提高編碼效率,并且能夠共同管 理內(nèi)插移動(dòng)圖像和內(nèi)插區(qū)域的坐標(biāo)。
[0315] < 4.實(shí)例 3 >
[0316] [概述]
[0317] 以下,將描述本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1的另一個(gè)實(shí)例。在實(shí) 例3中,不根據(jù)每一內(nèi)插指令創(chuàng)建內(nèi)插移動(dòng)圖像vl2,例如,而是按貼片形狀把高質(zhì)量移動(dòng) 圖像vll的屏面區(qū)域劃分成多個(gè)區(qū)域,以預(yù)先準(zhǔn)備一個(gè)劃分屏面的移動(dòng)圖像組,其中,把每 一個(gè)矩形貼片(所劃分的屏面)設(shè)置為移動(dòng)圖像,并且把所述劃分屏面的移動(dòng)圖像組設(shè)置為 內(nèi)插移動(dòng)圖像vl2。接下來(lái),根據(jù)內(nèi)插指令,僅生成其中記錄了針對(duì)每一個(gè)幀的內(nèi)插區(qū)域的 內(nèi)插信息il〇。內(nèi)插單元210獲取相應(yīng)于內(nèi)插區(qū)域的劃分屏面的移動(dòng)圖像(內(nèi)插移動(dòng)圖像 vl2)組,從劃分屏面的移動(dòng)圖像組抽取內(nèi)插區(qū)域的像素組,然后執(zhí)行針對(duì)像素組的內(nèi)插組 合。
[0318] 在實(shí)例3中,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1展現(xiàn)了這樣的效 果:內(nèi)插移動(dòng)圖像的數(shù)目能夠始終維持均勻,能夠通過(guò)預(yù)先生成內(nèi)插移動(dòng)圖像迅速獲取相 應(yīng)于一個(gè)內(nèi)插區(qū)域的內(nèi)插移動(dòng)圖像V12,而不管內(nèi)插指令如何。
[0319] 圖32?34描述了實(shí)例3的操作梗概。
[0320] 內(nèi)插移動(dòng)圖像生成單元120預(yù)先把高質(zhì)量移動(dòng)圖像vll的屏面劃分為多個(gè)部分屏 面,如圖32中所示,而不管內(nèi)插指令存在與否。此處,為了便于描述,把每一個(gè)所劃分的矩 形部分屏面稱(chēng)為"貼片"。換句話(huà)說(shuō),內(nèi)插移動(dòng)圖像生成單元120沿水平方向把高質(zhì)量移動(dòng) 圖像vll的屏面劃分為T(mén)X個(gè)貼片,沿垂直方向把高質(zhì)量移動(dòng)圖像vll的屏面劃分為T(mén)Y個(gè) 貼片。
[0321] 然后,內(nèi)插移動(dòng)圖像生成單元120通過(guò)執(zhí)行針對(duì)高質(zhì)量移動(dòng)圖像vll的所有幀上 的每一個(gè)貼片的移動(dòng)圖像編碼,生成劃分屏面的移動(dòng)圖像組,并且把劃分屏面的移動(dòng)圖像 組作為一組內(nèi)插移動(dòng)圖像vl2對(duì)待。如果把屏面劃分為T(mén)XXTY,則內(nèi)插移動(dòng)圖像生成單 元120生成TX X TY個(gè)劃分屏面的移動(dòng)圖像(內(nèi)插移動(dòng)圖像),在相應(yīng)于原始高質(zhì)量移動(dòng)圖像 vll的貼片區(qū)域中,每一個(gè)內(nèi)插移動(dòng)圖像vl2形成一個(gè)移動(dòng)圖像屏面。
[0322] 例如,如果原始高質(zhì)量移動(dòng)圖像vll的圖像尺寸為1024X768,沿水平方向所劃分 的屏面的數(shù)目為4X沿垂直方向所劃分的屏面的數(shù)目為3,如圖32中所示,把高質(zhì)量移動(dòng)圖 像vll的移動(dòng)圖像屏面劃分為4X3=12個(gè)貼片,因此,也生成了 12個(gè)劃分屏面的移動(dòng)圖像 (=內(nèi)插移動(dòng)圖像)。另外,沿水平方向每一個(gè)貼片的圖像尺寸為1024/4=256,沿垂直方向?yàn)?768/3=256,因此,劃分屏面的移動(dòng)圖像(內(nèi)插移動(dòng)圖像vl2)組具有相應(yīng)于每一個(gè)貼片區(qū)域 的移動(dòng)圖像屏面,每一個(gè)移動(dòng)圖像的圖像尺寸為每一個(gè)貼片的圖像尺寸。
[0323] 以下,為了便于描述,通過(guò)從左向右依次向貼片添加0,1,2,以及3和從上到下依 次向貼片添加〇, 1,以及2為每一個(gè)貼片和劃分屏面的移動(dòng)圖像(內(nèi)插移動(dòng)圖像)編號(hào)。例 如,左上側(cè)的貼片(劃分屏面的移動(dòng)圖像)為<水平0,垂直〇>,右下側(cè)的貼片(劃分屏面的 移動(dòng)圖像)為<水平3,垂直2 >。
[0324] 實(shí)例3與實(shí)例1和2的不同之處在于,通過(guò)把高質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏 面劃分為一個(gè)固定的數(shù)目獲得所述內(nèi)插移動(dòng)圖像vl2組,并且可以由內(nèi)插移動(dòng)圖像生成單 元120獨(dú)立地預(yù)先加以生成,而不管內(nèi)插指令如何。
[0325] 與以上所描述的實(shí)例相同,內(nèi)插信息Π 0中描述了幀的幀時(shí)間(或者幀序號(hào))的計(jì) 數(shù)、內(nèi)插坐標(biāo)、寬度、以及高度。在實(shí)例3中,未提供專(zhuān)門(mén)針對(duì)內(nèi)插信息Π 0以及與內(nèi)插信息 Π 0形成一個(gè)對(duì)兒的內(nèi)插移動(dòng)圖像vl2,以上所描述的劃分屏面的移動(dòng)圖像組形成所述內(nèi) 插移動(dòng)圖像vl2 (的組)。盡管針對(duì)一段移動(dòng)圖像內(nèi)容(高質(zhì)量移動(dòng)圖像vll)存在多段內(nèi)插 信息Π 0,但僅提供劃分屏面的移動(dòng)圖像組的一個(gè)集合,并且在內(nèi)插信息Π 0中共享所述信 肩、。
[0326] 另一方面,內(nèi)插單元210從內(nèi)插移動(dòng)圖像傳輸單元130獲取有關(guān)包括內(nèi)插移動(dòng)圖 像vl2和內(nèi)插信息Π 0的劃分屏面的移動(dòng)圖像組的信息。有關(guān)劃分屏面的移動(dòng)圖像組的信 息包括原始高質(zhì)量移動(dòng)圖像vll的圖像尺寸、水平和垂直劃分的數(shù)目、每一劃分屏面的移 動(dòng)圖像的地址(例如,URL)等。根據(jù)從內(nèi)插移動(dòng)圖像傳輸單元130所傳輸?shù)男畔ⅲ瑑?nèi)插單元 210可以識(shí)別哪一貼片屬于屏面上的哪些坐標(biāo)。
[0327] 圖33描述了當(dāng)一個(gè)貼片包括一個(gè)完整內(nèi)插區(qū)域時(shí)內(nèi)插單元210所執(zhí)行的一個(gè)組 合過(guò)程。內(nèi)插單元210從內(nèi)插信息Π 0獲取有關(guān)一個(gè)幀的(第0個(gè)幀)的內(nèi)插區(qū)域的信息 (坐標(biāo)、寬度、以及高度)。例如,假設(shè)第〇個(gè)幀的內(nèi)插區(qū)域具有坐標(biāo)[260, 600]和寬度100、 以及高度100,如圖33中所示。內(nèi)插單元210可以根據(jù)劃分屏面的移動(dòng)圖像組的信息斷定 坐標(biāo)[260, 600]屬于貼片< 1,2 >。另外,內(nèi)插區(qū)域的右下角的坐標(biāo)為[360, 700],并且落 入貼片< 1,2>的區(qū)域,于是,內(nèi)插單元210意識(shí)到可以從貼片< 1,2>的所劃分的屏面獲 取內(nèi)插區(qū)域的圖像。
[0328] 內(nèi)插單元210從內(nèi)插移動(dòng)圖像傳輸單元130獲取貼片< 1,2 >的劃分屏面的移動(dòng) 圖像,對(duì)所獲取的貼片< 1,2 >的劃分屏面的移動(dòng)圖像進(jìn)行解碼,從而獲得第0個(gè)幀的幀圖 像。貼片< 1,2 >為來(lái)自高質(zhì)量移動(dòng)圖像vll的坐標(biāo)[256, 512]的具有256X512尺寸的 一個(gè)區(qū)域。內(nèi)插單元210抽取幀圖像中坐標(biāo)[260-256, 600-512]中100X 100的像素組。
[0329] 圖34描述了當(dāng)一個(gè)內(nèi)插區(qū)域跨越多個(gè)貼片時(shí)內(nèi)插單元210所執(zhí)行的一個(gè)組合過(guò) 程。內(nèi)插單元210從內(nèi)插信息Π 0獲取有關(guān)一個(gè)幀的(第1個(gè)幀)的內(nèi)插區(qū)域的信息(坐標(biāo)、 寬度、以及高度)。例如,假設(shè)第1個(gè)幀的內(nèi)插區(qū)域具有坐標(biāo)[450, 550]和寬度100、以及高 度100的尺寸,如圖34中所示。內(nèi)插單元210可以根據(jù)劃分屏面的移動(dòng)圖像組的信息斷定 內(nèi)插區(qū)域的左上部分位于貼片< 1,2 >的區(qū)域中,但右下部分的坐標(biāo)[550, 650]位于貼片 < 2,2 >的區(qū)域中。換句話(huà)說(shuō),內(nèi)插區(qū)域跨越貼片< 1,2 >和貼片< 2,2 >。于是,內(nèi)插單 元210從內(nèi)插移動(dòng)圖像傳輸單元130獲取貼片<1,2>的劃分屏面的移動(dòng)圖像和貼片<2, 2 >的劃分屏面的移動(dòng)圖像。貼片< 2, 2 >為來(lái)自原始高質(zhì)量移動(dòng)圖像的坐標(biāo)[512, 512] 的具有256X256尺寸的一個(gè)區(qū)域。
[0330] 接下來(lái)。內(nèi)插單元210對(duì)貼片< 1,2 >和貼片< 2, 2 >的兩個(gè)劃分屏面的移動(dòng)圖 像進(jìn)行解碼,從而獲得第1個(gè)幀的幀圖像。如圖34中所示,內(nèi)插區(qū)域的左部分位于貼片< 1, 2 >中,將考慮其中從坐標(biāo)[450, 550]抽取作為內(nèi)插區(qū)域的具有寬度100和高度100的一個(gè) 區(qū)域的情況。內(nèi)插單元210可以抽取具有幀圖像中坐標(biāo)[內(nèi)插區(qū)域的左坐標(biāo)450-貼片的 左坐標(biāo)256,內(nèi)插區(qū)域的上坐標(biāo)550-貼片的上坐標(biāo)512] = [194, 38]以及寬度(貼片的右坐 標(biāo)512-內(nèi)插區(qū)域的左坐標(biāo)450) X高度100的尺寸的內(nèi)插區(qū)域的左部分。另外,內(nèi)插區(qū)域 的右部分位于貼片< 2,2 >中,內(nèi)插單元210可以抽取具有幀圖像中坐標(biāo)[0, 38]以及寬度 (內(nèi)插區(qū)域的右坐標(biāo)(450+100)-貼片的左坐標(biāo)512) X高度100的尺寸的內(nèi)插區(qū)域的右部 分。內(nèi)插單元210可以通過(guò)獲取以上所描述的兩個(gè)區(qū)域的像素組,并且并排連接所述像素 組,根據(jù)來(lái)自?xún)蓚€(gè)貼片的幀圖像生成內(nèi)插區(qū)域的圖像。在與再現(xiàn)移動(dòng)圖像vlO的內(nèi)插組合 中內(nèi)插單元210使用內(nèi)插區(qū)域所生成的圖像。
[0331] 如以上所描述的,內(nèi)插單元210根據(jù)內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度,使用所述 針對(duì)內(nèi)插信息Π 0任何部分的劃分屏面的移動(dòng)圖像組獲取一組相應(yīng)于內(nèi)插區(qū)域?qū)儆谄涞?貼片的劃分屏面的移動(dòng)圖像,而不是使用與內(nèi)插信息no成對(duì)兒的內(nèi)插移動(dòng)圖像Vl2(專(zhuān)門(mén) 針對(duì)內(nèi)插信息Π 0的),然后,從幀圖像抽取內(nèi)插區(qū)域的像素值。
[0332] [內(nèi)插移動(dòng)圖像生成單元的功能配置實(shí)例]
[0333] 以下,將描述根據(jù)實(shí)例3的內(nèi)插移動(dòng)圖像生成單元120的一個(gè)功能配置實(shí)例。圖 27描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例3的內(nèi)插移動(dòng)圖像生成單元120的所述功能配 置實(shí)例。
[0334] 與以上所描述的實(shí)例1和2中不同,在實(shí)例3中,預(yù)先,把高質(zhì)量移動(dòng)圖像vll的 移動(dòng)圖像屏面劃分為指定數(shù)目的屏面,而不是根據(jù)每一內(nèi)插指令創(chuàng)建內(nèi)插移動(dòng)圖像vl2,并 且獨(dú)立于這樣的內(nèi)插指令生成其中把每一個(gè)所劃分的貼片設(shè)置為一個(gè)移動(dòng)圖像屏面的一 組內(nèi)插移動(dòng)圖像vl2。如在以上所描述的實(shí)例1和2中,內(nèi)插指令單元121生成內(nèi)插信息 i 10,并且把每一個(gè)幀的內(nèi)插區(qū)域的坐標(biāo)和尺寸記錄在其中。
[0335] 于是,在實(shí)例3中,與以上所描述的實(shí)例1和2中不同,不從內(nèi)插指令單元121向 幀圖像抽取單元124提供內(nèi)插信息。另外,把根據(jù)實(shí)例3的內(nèi)插移動(dòng)圖像生成單元120配 置為包括一個(gè)取代幀圖像抽取單元124的幀圖像劃分單元126。幀圖像劃分單元126把高 質(zhì)量移動(dòng)圖像vll的移動(dòng)圖像屏面劃分為指定數(shù)目的屏面。編碼單元125對(duì)幀圖像劃分單 元126所劃分的高質(zhì)量移動(dòng)圖像vll進(jìn)行編碼,從而獲得了其中把每一個(gè)貼片設(shè)置為一個(gè) 移動(dòng)圖像屏面的所述內(nèi)插移動(dòng)圖像vl2組。
[0336] [內(nèi)插移動(dòng)圖像傳輸單元的功能配置實(shí)例]
[0337] 以下,將描述根據(jù)實(shí)例3的內(nèi)插移動(dòng)圖像傳輸單元130的所述功能配置實(shí)例。圖 28描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例3的內(nèi)插移動(dòng)圖像傳輸單元130的所述功能配 置實(shí)例。
[0338] 根據(jù)實(shí)例3的內(nèi)插移動(dòng)圖像傳輸單元130的配置與根據(jù)以上所描述的實(shí)例1和2 的內(nèi)插移動(dòng)圖像傳輸單元130的配置不同。另一方面,內(nèi)插記錄單元132管理內(nèi)插移動(dòng)圖 像vl2和內(nèi)插信息ilO的方式也不同。根據(jù)實(shí)例3的內(nèi)插移動(dòng)圖像傳輸單元130的內(nèi)插記 錄單元132管理與移動(dòng)圖像內(nèi)容相關(guān)聯(lián)的內(nèi)插移動(dòng)圖像(劃分屏面的移動(dòng)圖像)組vl2', 而不是與內(nèi)插信息i 10成對(duì)兒的內(nèi)插移動(dòng)圖像vl2^。
[0339] 對(duì)于[移動(dòng)圖像內(nèi)容X],例如,內(nèi)插記錄單元132與[移動(dòng)圖像內(nèi)容X]相關(guān)聯(lián)地管 理和保存劃分為總共12個(gè)的內(nèi)插移動(dòng)圖像vl2<的組,包括水平方向?yàn)?的TXX垂直方 向的為3的TY。內(nèi)插記錄單元132還與[移動(dòng)圖像內(nèi)容X]相關(guān)聯(lián)地、與保存內(nèi)插移動(dòng)圖像 vl2'的組并行地管理與[移動(dòng)圖像內(nèi)容X]相關(guān)聯(lián)的內(nèi)插信息ilO。
[0340] 如圖3中所示,例如,當(dāng)存在[運(yùn)動(dòng)員A]的內(nèi)插指令和[運(yùn)動(dòng)員B]的內(nèi)插指令時(shí), 內(nèi)插記錄單元132管理和保存兩個(gè)運(yùn)動(dòng)員的內(nèi)插信息Π 0。把相應(yīng)于每一個(gè)貼片的內(nèi)插移 動(dòng)圖像vl2'的所劃分的屏面的數(shù)目和所存儲(chǔ)的位置(例如,URL等)添加于內(nèi)插記錄單元 132所管理的信息。在內(nèi)插單元210所執(zhí)行的內(nèi)插處理期間,把內(nèi)插記錄單元132所管理的 信息提交于內(nèi)插單元210。當(dāng)選擇相應(yīng)于內(nèi)插區(qū)域的內(nèi)插移動(dòng)圖像vl2'時(shí),內(nèi)插單元210 也使用相應(yīng)于每一貼片的內(nèi)插移動(dòng)圖像vl2'的所劃分的屏面的數(shù)目和所存儲(chǔ)的位置(例 如,URL等)的信息。
[0341] [內(nèi)插單元的功能配置實(shí)例]
[0342] 以下,將描述根據(jù)實(shí)例3的內(nèi)插單元210的一個(gè)功能配置實(shí)例。圖29描述了根據(jù) 本發(fā)明專(zhuān)利一個(gè)實(shí)施例的實(shí)例3的內(nèi)插單元210的所述功能配置實(shí)例。
[0343] 根據(jù)實(shí)例3的內(nèi)插單元210的配置與根據(jù)圖4中所示的本發(fā)明專(zhuān)利所述實(shí)施例的 內(nèi)插單元210的配置不同。另一方面,內(nèi)插處理部件218中所執(zhí)行的過(guò)程的內(nèi)容也不同。在 實(shí)例3中,內(nèi)插處理部件21V根據(jù)從內(nèi)插信息ilO獲得的幀圖像中的內(nèi)插區(qū)域決定相應(yīng)于 內(nèi)插區(qū)域的貼片的(一或多個(gè))內(nèi)插移動(dòng)圖像vl2'、以及指示接收部件212的一個(gè)過(guò)程,以 使內(nèi)插移動(dòng)圖像傳輸單兀130傳輸(一或多個(gè))內(nèi)插移動(dòng)圖像vC。
[0344] [內(nèi)插移動(dòng)圖像生成單元的操作實(shí)例]
[0345] 以下,將描述根據(jù)實(shí)例3的內(nèi)插移動(dòng)圖像生成單元12(V的一個(gè)操作實(shí)例。圖30 描述了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例3的內(nèi)插移動(dòng)圖像生成單元120'的所述操作置 實(shí)例。
[0346] 解碼單元122對(duì)高質(zhì)量移動(dòng)圖像vll的一個(gè)幀進(jìn)行解碼(步驟S401)。假設(shè)高質(zhì)量 移動(dòng)圖像vll的圖像尺寸為寬度HWX高度HH。另外,假設(shè)所劃分的屏面的預(yù)先指定的數(shù)目 為水平方向的TXX垂直方向的TY。假設(shè)通過(guò)屏面劃分所得到的圖像尺寸寬度為HW/TX=TW 以及高度為HH/TY=TH。
[0347] 當(dāng)在步驟S401中解碼單元122對(duì)高質(zhì)量移動(dòng)圖像vll的一個(gè)幀進(jìn)行解碼時(shí),則幀 圖像劃分單元126把所解碼的幀圖像沿水平方向劃分為T(mén)X個(gè)貼片,沿垂直方向劃分為T(mén)Y 個(gè)貼片。幀圖像劃分單元126首先初始化貼片行的計(jì)算器y (例如,把所述值初始化為0) (步驟 S402)。
[0348] 接下來(lái),幀圖像劃分單元126生成一個(gè)水平行的貼片。幀圖像劃分單元126初始 化貼片列的計(jì)算器X (例如,把所述值初始化為〇)(步驟S403)。
[0349] 然后,幀圖像劃分單元126抽取貼片< x,y >的一個(gè)像素組。具體地講,幀圖像劃 分單元126從解碼單元122在步驟S401中從坐標(biāo)[xXTW,yXTH]所解碼的高質(zhì)量移動(dòng)圖 像vll的幀圖像抽取所述區(qū)域尺寸(寬度TWX高度TH)的像素組。當(dāng)幀圖像劃分單元126 抽取像素組時(shí),則編碼單元125把像素組編碼為貼片<1,7>的劃分屏面的移動(dòng)圖像(內(nèi)插 移動(dòng)圖像vl2)(步驟S404)。
[0350] 當(dāng)編碼單元125在步驟S404中進(jìn)行解碼時(shí),則幀圖像劃分單元126把貼片列的計(jì) 算器X增加1 (步驟S405)。幀圖像劃分單元126判斷X是否大于水平劃分的數(shù)目TX (步 驟S406),當(dāng)X不大于所述數(shù)目時(shí),重復(fù)步驟S404和S405的過(guò)程,于是生成與一個(gè)水平行中 一樣多的劃分屏面的移動(dòng)圖像(內(nèi)插移動(dòng)圖像vl2)的貼片。
[0351] 當(dāng)X大于水平劃分的數(shù)目TX時(shí),則編碼單元125把貼片列的計(jì)算器y增加1 (步 驟S407)。幀圖像劃分單元126判斷y是否大于垂直劃分的數(shù)目TY(步驟S408),當(dāng)y不大 于所述數(shù)目時(shí),所述過(guò)程返回至步驟S403。當(dāng)y大于垂直劃分的數(shù)目TY時(shí),幀圖像劃分單 元126完成針對(duì)幀圖像的劃分過(guò)程。內(nèi)插移動(dòng)圖像生成單元120在所有幀上執(zhí)行圖30中 所示的過(guò)程。
[0352] 通過(guò)執(zhí)行圖30中所示的過(guò)程,內(nèi)插移動(dòng)圖像生成單元120可以生成這樣的劃分屏 面的移動(dòng)圖像(內(nèi)插移動(dòng)圖像vl2的組):其中,把通過(guò)沿水平方向把高質(zhì)量移動(dòng)圖像vll的 移動(dòng)圖像屏面劃分為T(mén)X個(gè)貼片以及沿垂直方向劃分為T(mén)Y個(gè)貼片所獲得的貼片設(shè)置為移動(dòng) 圖像屏面。另外,內(nèi)插移動(dòng)圖像生成單元120還根據(jù)來(lái)自以上所描述的內(nèi)插指令單元121的 內(nèi)插指令、與圖30中所示的過(guò)程并行地生成內(nèi)插信息Π 0。如以上所描述的,在實(shí)例3中, 不生成與內(nèi)插信息成對(duì)兒的內(nèi)插移動(dòng)圖像vl2。
[0353] 以上,已經(jīng)描述了描述根據(jù)實(shí)例3的內(nèi)插移動(dòng)圖像生成單元120的所述操作實(shí)例。 由于根據(jù)實(shí)例3的內(nèi)插移動(dòng)圖像傳輸單元130的操作與圖6和7中所示的操作實(shí)例相同, 所以此處省略了對(duì)其的詳細(xì)描述。以下,將描述根據(jù)實(shí)例3的內(nèi)插單元210的一個(gè)操作實(shí) 例。
[0354] [內(nèi)插單元的操作實(shí)例]
[0355] 以下,將描述根據(jù)本發(fā)明專(zhuān)利實(shí)例3的內(nèi)插單元210的所述操作實(shí)例。圖31描述 了根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的實(shí)例3的內(nèi)插單元210的所述操作置實(shí)例。
[0356] 當(dāng)接收部件211接收到再現(xiàn)移動(dòng)圖像vlO時(shí),解碼部件215對(duì)再現(xiàn)移動(dòng)圖像vlO 進(jìn)行解碼,從而生成一個(gè)幀圖像。解碼部件215把幀圖像的幀時(shí)間(幀序號(hào))傳輸于內(nèi)插坐 標(biāo)計(jì)算部分302 (步驟S411)。內(nèi)插坐標(biāo)計(jì)算部分302決定相應(yīng)于幀的內(nèi)插區(qū)域的(一或多 個(gè))內(nèi)插移動(dòng)圖像vl2,并且請(qǐng)求對(duì)內(nèi)插移動(dòng)圖像vl2的獲取(步驟S413)。決定相應(yīng)于幀圖 像的內(nèi)插區(qū)域的(一或多個(gè))內(nèi)插移動(dòng)圖像vl2的方法如以上所述,但也可以采用以下將加 以描述的方法。
[0357] 當(dāng)高質(zhì)量移動(dòng)圖像vll的圖像尺寸為HWXHH,所劃分的屏面的數(shù)目為T(mén)XXTY時(shí), 內(nèi)插坐標(biāo)計(jì)算部分302查找水平和垂直貼片(內(nèi)插移動(dòng)圖像vl2)的數(shù)目以及圖像尺寸 TWX ΤΗ。另外,如果把貼片數(shù)目設(shè)置為< tx,ty >,則內(nèi)插坐標(biāo)計(jì)算部分302查找每一個(gè)貼 片的左上坐標(biāo)[txXTW,tyXTH]。
[0358] 當(dāng)把內(nèi)插區(qū)域的左上坐標(biāo)設(shè)置為[x,y]以及把其尺寸設(shè)置為MWXMH時(shí),內(nèi)插區(qū) 域的左上坐標(biāo)設(shè)置為[X,y],左下坐標(biāo)為[x+MW,y],左下坐標(biāo)為[X,y+MH],以及右下坐標(biāo) 為[x+MW,y+MH]。內(nèi)插坐標(biāo)計(jì)算部分302決定相應(yīng)于內(nèi)插區(qū)域的4個(gè)角的貼片組的貼片數(shù) 目,然后還決定沿水平和垂直方向存在于貼片組中的另一個(gè)貼片組為包括此次內(nèi)插區(qū)域的 貼片組。
[0359] 內(nèi)插坐標(biāo)計(jì)算部分302從內(nèi)插移動(dòng)圖像傳輸單兀130抽取相應(yīng)于每一個(gè)貼片號(hào)的 內(nèi)插移動(dòng)圖像vl2的位置(URL等),并且向接收部件212請(qǐng)求從所抽取的位置對(duì)(一或多個(gè)) 內(nèi)插移動(dòng)圖像vl2的接收。
[0360] 接下來(lái),當(dāng)接收部件212接收到從內(nèi)插移動(dòng)圖像傳輸單元130傳輸?shù)?一或多個(gè)) 內(nèi)插移動(dòng)圖像vl2時(shí),解碼部件216對(duì)所接收的(一或多個(gè))內(nèi)插移動(dòng)圖像vl2進(jìn)行解碼,然 后把具有將加以處理的幀序號(hào)的內(nèi)插移動(dòng)圖像vl2的(一或多個(gè))幀圖像提交于內(nèi)插處理部 件 218 (步驟 S414)。
[0361] 時(shí)間控制部件217進(jìn)行匹配,以使再現(xiàn)移動(dòng)圖像vlO和內(nèi)插移動(dòng)圖像vl2的幀時(shí) 間同步(步驟S411和S414)。
[0362] 內(nèi)插處理部件218從內(nèi)插移動(dòng)圖像vl2的(一或多個(gè))幀圖像抽取內(nèi)插區(qū)域的像素 組(步驟S415)。內(nèi)插處理部件218中抽取內(nèi)插移動(dòng)圖像vl2的內(nèi)插區(qū)域的像素組的方法如 以上所述。
[0363] 內(nèi)插處理部件218針對(duì)內(nèi)插移動(dòng)圖像vl2的每一個(gè)幀決定在內(nèi)插移動(dòng)圖 像vl2的幀圖像中從其抽取像素的區(qū)域。將在每一個(gè)內(nèi)插移動(dòng)圖像vl2的移動(dòng)圖 像屏面中抽取的區(qū)域的坐標(biāo)為左上部分的[x-(txXTW),y-(tyXTH)]、右上部分的 |>+麗-(^叉\1¥),7-(^7\1'!{)]、左下部分的|>-(^叉\1¥),7+厘!1-(^7\1'!{)]、以及右下部分 的[x+MW- (tx X TW),y+MH- (ty X TH)]。應(yīng)該加以注意的是,就寬度而言,最低值為0,最高值 為T(mén)W,就高度而言,最低值為0,最高值為T(mén)H,
[0364] 內(nèi)插處理部件218沿水平方向與/或垂直方向在一個(gè)緩沖器上連接和設(shè)置所抽取 的像素組。
[0365] 內(nèi)插處理部件218重復(fù)步驟S413?S415的過(guò)程,直至達(dá)到內(nèi)插移動(dòng)圖像vl2的 末尾(最后一個(gè)幀)(步驟S416)。通過(guò)重復(fù)步驟所述過(guò)程直至達(dá)到內(nèi)插移動(dòng)圖像vl2的末 尾,內(nèi)插處理部件218能夠生成從中抽取來(lái)自為一個(gè)所劃分的屏面組的(一或多個(gè))內(nèi)插移 動(dòng)圖像vl2的內(nèi)插區(qū)域的像素值的緩沖器。
[0366] 至此所提到的坐標(biāo)系(圖像的坐標(biāo)和尺寸)為基于商質(zhì)量移動(dòng)圖像vll的移動(dòng)圖 像屏面的坐標(biāo)系,因此,圖像放大率改變部分301和304把基于高質(zhì)量移動(dòng)圖像vll的移動(dòng) 圖像屏面的坐標(biāo)系的值改變至基于標(biāo)準(zhǔn)圖像尺寸的坐標(biāo)系,從而轉(zhuǎn)換了坐標(biāo)(步驟S412和 S417)。
[0367] 當(dāng)完成了量值的改變和坐標(biāo)的轉(zhuǎn)換時(shí),幀圖像組合部分305執(zhí)行內(nèi)插處理(內(nèi)插 移動(dòng)圖像vl2向再現(xiàn)移動(dòng)圖像10的內(nèi)插處理)(步驟S418)。
[0368] 當(dāng)根據(jù)實(shí)例3的內(nèi)插單元210執(zhí)行圖31中所示的操作時(shí),內(nèi)插單元可以執(zhí)行這樣 一個(gè)內(nèi)插處理:其中,從為預(yù)先劃分的部分屏面的一個(gè)移動(dòng)圖像組的內(nèi)插移動(dòng)圖像vl2的 組抽取內(nèi)插區(qū)域的像素組。
[0369] 為了使實(shí)例3的過(guò)程高效運(yùn)作,內(nèi)插單元210可以進(jìn)行內(nèi)插移動(dòng)圖像vl2的預(yù)讀。 在實(shí)例3中,存在著這樣一種情況:其中,根據(jù)內(nèi)插區(qū)域坐標(biāo)的移動(dòng)改變將加以獲取的內(nèi)插 移動(dòng)圖像vl2 (的貼片的數(shù)目)。在這樣一種情況下,可以使用內(nèi)插單元210所獲取的內(nèi)插 信息Π 0進(jìn)行內(nèi)插信息il〇的預(yù)讀。
[0370] 通過(guò)進(jìn)行內(nèi)插信息i 10的預(yù)讀,內(nèi)插單元210可以獲取當(dāng)前所處理的幀之前的幀 時(shí)間(以下也將其稱(chēng)為"預(yù)讀時(shí)間(例如,幾秒)的一個(gè)內(nèi)插區(qū)域,然后決定相應(yīng)于所述區(qū) 域的貼片數(shù)目的內(nèi)插移動(dòng)圖像vl2。如果還沒(méi)有接收到內(nèi)插移動(dòng)圖像vl2,則通過(guò)事先給出 一條接收指令,把內(nèi)插移動(dòng)圖像設(shè)置為將加以接收,或者設(shè)置為通過(guò)給出一個(gè)搜索請(qǐng)求,并 且跳過(guò)不必要的(沿內(nèi)插移動(dòng)圖像vl2正向設(shè)置的)幀加以接收。
[0371] 內(nèi)插單元210對(duì)所接收的內(nèi)插移動(dòng)圖像vl2的所編碼的數(shù)據(jù)進(jìn)行分析,然后把包 括目標(biāo)幀(預(yù)讀時(shí)間的幀)的一個(gè)GOP (畫(huà)面組)的引導(dǎo)部分放入接收緩沖器中。當(dāng)移動(dòng)圖 像再現(xiàn)時(shí)間達(dá)到預(yù)讀時(shí)間時(shí),內(nèi)插單元210從GOP的引導(dǎo)部分開(kāi)始進(jìn)行解碼,從而獲取到目 標(biāo)幀圖像。
[0372] 在接收到內(nèi)插移動(dòng)圖像vl2之后,在不執(zhí)行內(nèi)插單元210的解碼部件216的解碼 過(guò)程的情況下,內(nèi)插單元210可以?xún)H通過(guò)進(jìn)行網(wǎng)絡(luò)通信和對(duì)所編碼的數(shù)據(jù)(GOP的引導(dǎo)部分 等)的分析,例如搜索,執(zhí)行預(yù)讀過(guò)程。注意,如果存在內(nèi)插單元210未使用的解碼部件(除 了解碼部件216之外),則可以使用所述尚未使用的解碼部件抽取預(yù)先獲取的內(nèi)插移動(dòng)圖像 vl2的目標(biāo)幀的圖像。
[0373] 在以上所描述的本發(fā)明專(zhuān)利的所述實(shí)施例中,已經(jīng)描述了使用MPEG-DASH對(duì)內(nèi)插 移動(dòng)圖像vl2的傳輸率的調(diào)整,然而,在實(shí)3例中,可以進(jìn)一步改進(jìn)使用MPEG-DASH對(duì)內(nèi)插 移動(dòng)圖像vl2的傳輸率的調(diào)整。
[0374] 在實(shí)例3中,可以把不同的傳輸率賦予所述多個(gè)將加以獲取的一組內(nèi)插移動(dòng)圖像 vl2 (-組劃分屏面的移動(dòng)圖像)。在實(shí)例3中,根據(jù)內(nèi)插區(qū)域的坐標(biāo)和尺寸獲取所述多個(gè) 貼片的內(nèi)插移動(dòng)圖像vl2的組,然而,不必為全部所述多個(gè)內(nèi)插移動(dòng)圖像vl2設(shè)置相同的編 碼率和傳輸率。
[0375] 例如,可以在相應(yīng)于內(nèi)插區(qū)域的所述多個(gè)貼片的組中賦予重要性,以把具有高圖 像質(zhì)量的高編碼率賦予具有高重要度的貼片的內(nèi)插移動(dòng)圖像vl2,把具有低圖像質(zhì)量的低 編碼率賦予具有低重要度的貼片的內(nèi)插移動(dòng)圖像vl2。例如,可以使用貼片的面積與內(nèi)插區(qū) 域的屏面的比率決定貼片的重要度。
[0376] 具體地講,內(nèi)插單元210可以通過(guò)賦予高編碼率使包括大量?jī)?nèi)插區(qū)域的貼片的內(nèi) 插移動(dòng)圖像vl2具有高圖像質(zhì)量,以及通過(guò)賦予低編碼率使包括少量?jī)?nèi)插區(qū)域的貼片的內(nèi) 插移動(dòng)圖像vl2具有低圖像質(zhì)量。另外,例如,把內(nèi)插區(qū)域的中心設(shè)置為具有高重要度,并 且把重要度設(shè)置為朝外側(cè)降低。因此,內(nèi)插單元210可以為接近中心的貼片的內(nèi)插移動(dòng)圖 像vl2決定具有1?圖像質(zhì)量的1?編碼率,為接近外側(cè)的貼片的內(nèi)插移動(dòng)圖像vl2決定具有 低圖像質(zhì)量的低編碼率。
[0377] 根據(jù)實(shí)例3,可以固定內(nèi)插移動(dòng)圖像vl2的數(shù)目。內(nèi)插移動(dòng)圖像生成單元120生成 預(yù)先劃分為固定數(shù)目的屏面的內(nèi)插移動(dòng)圖像vl2,而不是針對(duì)每一條內(nèi)插指令創(chuàng)建內(nèi)插移 動(dòng)圖像vl2。因此,即使內(nèi)插指令的數(shù)目增加,內(nèi)插移動(dòng)圖像傳輸單元130所保存的內(nèi)插移 動(dòng)圖像vl2的數(shù)目也可能不增加。于是,當(dāng)使用實(shí)例3時(shí),能夠抑制在內(nèi)插移動(dòng)圖像傳輸單 元130中記錄移動(dòng)圖像的容量。
[0378] 根據(jù)實(shí)例3,可以預(yù)先創(chuàng)建內(nèi)插移動(dòng)圖像vl2,而不管內(nèi)插指令如何。由于內(nèi)插移 動(dòng)圖像vl2與內(nèi)插指令相關(guān),甚至是當(dāng)添加了新的內(nèi)插指令時(shí),所以無(wú)需一個(gè)生成新內(nèi)插 移動(dòng)圖像vl2的過(guò)程。
[0379] 在大多數(shù)移動(dòng)圖像分布系統(tǒng)中,存在著這樣一種傾向:抑制分配于存儲(chǔ)容量的投 資開(kāi)銷(xiāo)以及CPU和內(nèi)存開(kāi)銷(xiāo)(CPU的等級(jí)和內(nèi)存容量或者在云計(jì)算虛擬機(jī)的情況下每CPU 使用時(shí)間的收費(fèi))方面的投資。使用實(shí)例3的技術(shù),即使內(nèi)插指令的數(shù)目增加,也不執(zhí)行生 成內(nèi)插移動(dòng)圖像vl2的過(guò)程,因此能夠抑制CPU和內(nèi)存的開(kāi)銷(xiāo)。
[0380] 根據(jù)實(shí)例3,能夠迅速地獲取相應(yīng)于內(nèi)插區(qū)域的內(nèi)插移動(dòng)圖像vl2。由于預(yù)先創(chuàng)建 了內(nèi)插移動(dòng)圖像vl2,所以當(dāng)再現(xiàn)設(shè)備200的用戶(hù)指示一個(gè)內(nèi)插區(qū)域時(shí),例如,內(nèi)插單元210 可以根據(jù)所述指示迅速獲取內(nèi)插移動(dòng)圖像vl2。換句話(huà)說(shuō),由于在內(nèi)插移動(dòng)圖像生成單元 120中無(wú)需生成內(nèi)插移動(dòng)圖像vl2的等待時(shí)間,所以,根據(jù)實(shí)例3, 一個(gè)交互內(nèi)插處理是可行 的。
[0381] < 5.結(jié)論>
[0382] 如以上所描述的,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1能夠通過(guò)使 具有低圖像質(zhì)量的再現(xiàn)移動(dòng)圖像vio的一個(gè)部分圖像具有高圖像質(zhì)量,增強(qiáng)用戶(hù)的觀看感 受。
[0383] 根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1僅傳輸一個(gè)內(nèi)插區(qū)域而不是 傳輸具有高圖像質(zhì)量的整個(gè)移動(dòng)圖像。因此,可以通過(guò)使圖像的一部分具有高圖像質(zhì)量同 時(shí)抑制傳輸率以及使負(fù)載變低,增強(qiáng)用戶(hù)的觀看感受。
[0384] 與其中通過(guò)分析一個(gè)單一移動(dòng)圖像執(zhí)行針對(duì)高圖像質(zhì)量的運(yùn)算操作的技術(shù)相比, 在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1中,在再現(xiàn)設(shè)備200上不會(huì)產(chǎn)生針對(duì) 高圖像質(zhì)量的運(yùn)算操作所導(dǎo)致的負(fù)載,也無(wú)需針對(duì)高圖像質(zhì)量的專(zhuān)門(mén)的電路。另外,即使再 現(xiàn)移動(dòng)圖像具有低圖像質(zhì)量和小信息量,也可以相應(yīng)于根據(jù)相應(yīng)于再現(xiàn)移動(dòng)圖像的高質(zhì)量 移動(dòng)圖像生成內(nèi)插移動(dòng)圖像,因此不會(huì)影響針對(duì)高圖像質(zhì)量的再現(xiàn)設(shè)備200中所執(zhí)行的內(nèi) 插處理。另外,與其中通過(guò)分析一個(gè)單一移動(dòng)圖像執(zhí)行針對(duì)高圖像質(zhì)量的運(yùn)算操作的技術(shù) 相比,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1對(duì)作為與再現(xiàn)移動(dòng)圖像相分離的 移動(dòng)圖像的內(nèi)插移動(dòng)圖像進(jìn)行編碼,從而能夠設(shè)置與再現(xiàn)移動(dòng)圖像相分離的內(nèi)插移動(dòng)圖像 的質(zhì)量。根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1不必針對(duì)再現(xiàn)設(shè)備200中所執(zhí) 行的針對(duì)高圖像質(zhì)量的運(yùn)算操作對(duì)再現(xiàn)移動(dòng)圖像重新進(jìn)行編碼(成像創(chuàng)建)。
[0385] 另外,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1能夠在再現(xiàn)移動(dòng)圖像的 傳輸期間有效地利用未占用的傳輸頻帶。當(dāng)包括再現(xiàn)移動(dòng)圖像傳輸單元1〇〇的服務(wù)器提供 了 3種速率和圖像尺寸的移動(dòng)圖像文件時(shí),再現(xiàn)設(shè)備200選擇一個(gè)可用傳輸頻帶或者一個(gè) 低于可用傳輸頻帶的頻帶的移動(dòng)圖像文件。在這樣的情況下,傳輸頻帶中可能存在未用空 間。根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1利用足夠的傳輸頻帶傳輸內(nèi)插移動(dòng) 圖像,從而能夠使再現(xiàn)屏面中的一個(gè)重要的區(qū)域具有高圖像質(zhì)量。
[0386] 而且,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1能夠利用移動(dòng)圖像的分 布商作為原始剪輯保存的高質(zhì)量移動(dòng)圖像,并且能夠降低高于傳輸整個(gè)高質(zhì)量移動(dòng)圖像時(shí) 的內(nèi)插移動(dòng)圖像的傳輸率。另外,由于根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng) 1能夠把內(nèi)插移動(dòng)圖像的圖像尺寸和編碼率抑制在低水平,所以能夠抑制內(nèi)插處理側(cè)的負(fù) 載。
[0387] 而且,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1還能夠準(zhǔn)備一組多個(gè)分 別相應(yīng)于一個(gè)再現(xiàn)移動(dòng)圖像的屏面中不同區(qū)域的內(nèi)插移動(dòng)圖像。通過(guò)準(zhǔn)備一組多個(gè)分別相 應(yīng)于一個(gè)再現(xiàn)移動(dòng)圖像的屏面中不同區(qū)域的內(nèi)插移動(dòng)圖像,當(dāng)一組多個(gè)再現(xiàn)設(shè)備在再現(xiàn)移 動(dòng)圖像中內(nèi)插不同區(qū)域時(shí),可以傳輸所述多個(gè)再現(xiàn)設(shè)備所共享的再現(xiàn)移動(dòng)圖像,而且內(nèi)插 移動(dòng)圖像隨每一再現(xiàn)設(shè)備的不同而不同。因此,優(yōu)點(diǎn)在于:根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移 動(dòng)圖像再現(xiàn)系統(tǒng)1不必保存高圖像質(zhì)量的整個(gè)移動(dòng)圖像屏面,而且通過(guò)廣播所述多個(gè)用于 分布的再現(xiàn)設(shè)備所共享的再現(xiàn)移動(dòng)圖像,可以降低移動(dòng)圖像傳輸側(cè)的移動(dòng)圖像數(shù)據(jù)的記錄 容量。另外,還具有另一個(gè)優(yōu)點(diǎn):通過(guò)廣播所述多個(gè)用于分布的再現(xiàn)設(shè)備所共享的再現(xiàn)移動(dòng) 圖像,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1能夠提高傳輸效率。
[0388] 通過(guò)采用以上所描述的實(shí)例1,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng) 1能夠把內(nèi)插移動(dòng)圖像的編碼率和傳輸率設(shè)置為所要求的最小程度,即通過(guò)設(shè)置其所要求 的其中包括內(nèi)插區(qū)域的最小圖像尺寸進(jìn)行這一設(shè)置。另外,通過(guò)設(shè)所要求的編碼率和傳輸 率,也可以縮減內(nèi)插單元210所執(zhí)行的內(nèi)插處理(解碼過(guò)程和針對(duì)幀圖像的過(guò)程)。因此,通 過(guò)采用以上所描述的實(shí)例1,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1可具有靈 活的配置,其中,盡管僅存在一個(gè)硬件解碼器,但能夠這樣地進(jìn)行處理:把硬件解碼器用于 對(duì)再現(xiàn)移動(dòng)圖像進(jìn)行解碼,把軟件解碼器用于對(duì)內(nèi)插移動(dòng)圖像進(jìn)行解碼。
[0389] 通過(guò)采用以上所描述的實(shí)例1,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng) 1能夠把內(nèi)插區(qū)域與內(nèi)插移動(dòng)圖像一一關(guān)聯(lián),以有助于多個(gè)內(nèi)插模式的組合。例如,當(dāng)內(nèi)插 運(yùn)動(dòng)員A和運(yùn)動(dòng)員B時(shí),可能需要一個(gè)用于內(nèi)插運(yùn)動(dòng)員A的內(nèi)插移動(dòng)圖像A和一個(gè)用于內(nèi) 插運(yùn)動(dòng)員B的內(nèi)插移動(dòng)圖像B,當(dāng)內(nèi)插運(yùn)動(dòng)員A和運(yùn)動(dòng)員C時(shí),可能需要內(nèi)插圖像A和一個(gè) 用于內(nèi)插運(yùn)動(dòng)員C的內(nèi)插移動(dòng)圖像C。
[0390] 通過(guò)采用以上所描述的實(shí)例2,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng) 1能夠使多個(gè)內(nèi)插區(qū)域的圖像包括在一個(gè)內(nèi)插移動(dòng)圖像屏面中。使多個(gè)內(nèi)插區(qū)域的圖像包 括在一個(gè)內(nèi)插移動(dòng)圖像屏面中,可以通過(guò)在內(nèi)插處理期間由一個(gè)解碼器對(duì)內(nèi)插移動(dòng)圖像的 解碼,同時(shí)抽取多個(gè)內(nèi)插區(qū)域的圖像,即使存在所述多個(gè)內(nèi)插區(qū)域,也不必針對(duì)每一個(gè)內(nèi)插 區(qū)域進(jìn)行一次解碼。另外,通過(guò)采用以上所描述的實(shí)例2,在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的 移動(dòng)圖像再現(xiàn)系統(tǒng)1中,內(nèi)插移動(dòng)圖像的一次流化是可能的。而且,通過(guò)采用以上所描述的 實(shí)例2,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1還能夠按除矩形之外的形狀表 示內(nèi)插區(qū)域。
[0391] 另外,通過(guò)采用以上所描述的實(shí)例1和實(shí)例2,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng) 圖像再現(xiàn)系統(tǒng)1甚至是在實(shí)例1中也能夠按除矩形之外的形狀表示內(nèi)插區(qū)域,并且可以減 少內(nèi)插移動(dòng)圖像編碼之后內(nèi)插移動(dòng)圖像的信息量。
[0392] 通過(guò)采用以上所描述的實(shí)例3,在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系 統(tǒng)1中,內(nèi)插模式不會(huì)對(duì)一組內(nèi)插移動(dòng)圖像(部分屏面的一組移動(dòng)圖像)產(chǎn)生影響,因此,能 夠在內(nèi)插處理之前加以創(chuàng)建。在以上所描述的實(shí)例3中,只要不改變劃分模式,內(nèi)插移動(dòng)圖 像的數(shù)目為固定的,不必針對(duì)每一個(gè)內(nèi)插模式生成內(nèi)插移動(dòng)圖像,而且可以?xún)H創(chuàng)建內(nèi)插信 息。因此,通過(guò)采用以上所描述的實(shí)例3,在根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系 統(tǒng)1中即使內(nèi)插模式的數(shù)目增加,也可以不增加內(nèi)插移動(dòng)圖像傳輸單元130所保存的內(nèi)插 移動(dòng)圖像的數(shù)目,于是,抑制了移動(dòng)圖像文件存儲(chǔ)區(qū)域的容量。
[0393] 通過(guò)采用以上所描述的實(shí)例3,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng) 1不必每次添加內(nèi)插指令時(shí)都生成內(nèi)插移動(dòng)圖像,因此,能夠抑制分布移動(dòng)圖像的服務(wù)器的 內(nèi)存。通過(guò)采用以上所描述的實(shí)例3,根據(jù)本發(fā)明專(zhuān)利所述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1預(yù) 先創(chuàng)建內(nèi)插移動(dòng)圖像,于是,如果創(chuàng)建一個(gè)新的內(nèi)插模式(內(nèi)插指令),則再現(xiàn)設(shè)備200迅速 獲取內(nèi)插移動(dòng)圖像,并且執(zhí)行內(nèi)插組合。通過(guò)采用以上所描述的實(shí)例3,根據(jù)本發(fā)明專(zhuān)利所 述實(shí)施例的移動(dòng)圖像再現(xiàn)系統(tǒng)1能夠執(zhí)行交互內(nèi)插,因?yàn)闊o(wú)需等待內(nèi)插移動(dòng)圖像生成單元 120中生成內(nèi)插移動(dòng)圖像的等待時(shí)間。
[0394] 不必根據(jù)描述為序列圖或者流程圖的次序、按時(shí)間順序執(zhí)行本發(fā)明專(zhuān)利中所描述 的各種裝置所執(zhí)行的處理過(guò)程中的相應(yīng)步驟。例如,可以按與流程圖中所描述的次序不同 的次序執(zhí)行各種裝置所執(zhí)行的處理過(guò)程中的相應(yīng)步驟,也可以并行地執(zhí)行這些步驟。
[0395] 另外,可以創(chuàng)建一個(gè)計(jì)算機(jī)程序,使各種裝置中的硬件(例如,CPU、ROM、以及RAM) 實(shí)現(xiàn)等同于以上所描述的各種裝置部分的功能。而且,還可以提供一個(gè)把這樣的計(jì)算機(jī)程 序存儲(chǔ)在其上的存儲(chǔ)媒體。另外,還可以通過(guò)配置作為硬件在功能結(jié)構(gòu)圖中所說(shuō)明的各功 能塊,由硬件實(shí)現(xiàn)過(guò)程系列。
[0396] 本領(lǐng)域技術(shù)人員將會(huì)意識(shí)到:可以依據(jù)設(shè)計(jì)要求和其它因素,對(duì)本發(fā)明進(jìn)行多方 面的修改、組合、子組合、以及變動(dòng),只要這些修改、組合、子組合、以及變動(dòng)處于所附權(quán)利要 求或者其等同要求的范圍內(nèi)即可。
[0397] 另外,也可以將本技術(shù)配置如下。
[0398] ( 1) 一種視頻處理設(shè)備,包括:
[0399] 圖像生成單元,配置成生成第二移動(dòng)圖像,所述第二移動(dòng)圖像被配置為具有與具 有第一圖像質(zhì)量的第一移動(dòng)圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第 二圖像質(zhì)量、并且具有相應(yīng)于第一移動(dòng)圖像的部分區(qū)域的尺寸;以及
[0400] 再現(xiàn)信息生成單元,配置成生成再現(xiàn)信息,所述再現(xiàn)信息被配置為在第一移動(dòng)圖 像的一部分被替換為第二移動(dòng)圖像之后被用于同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。
[0401] (2)根據(jù)(1)所述的視頻處理設(shè)備,其中,圖像生成單元根據(jù)再現(xiàn)信息生成單元所 生成的再現(xiàn)信息決定第二移動(dòng)圖像的一個(gè)區(qū)域。
[0402] (3)根據(jù)(2)所述的視頻處理設(shè)備,其中,在同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖 像的期間,圖像生成單元為被配置為包括所決定區(qū)域的像素組以第二圖像質(zhì)量生成具有與 所決定區(qū)域的移動(dòng)圖像相同內(nèi)容的移動(dòng)圖像。
[0403] (4)根據(jù)(2)所述的視頻處理設(shè)備,其中,圖像生成單元以第二圖像質(zhì)量生成具有 與所決定區(qū)域的移動(dòng)圖像相同內(nèi)容的移動(dòng)圖像,并且為所決定區(qū)域之外的區(qū)域生成無(wú)效像 素。
[0404] (5)根據(jù)(4)所述的視頻處理設(shè)備,其中,在同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖 像期間,圖像生成單元為被配置成包括所決定區(qū)域的像素組以用于所決定區(qū)域的第二圖像 質(zhì)量生成具有與所決定區(qū)域的移動(dòng)圖像相同內(nèi)容的移動(dòng)圖像,并且為所決定區(qū)域之外的區(qū) 域生成無(wú)效像素。
[0405] (6)根據(jù)(2)所述的視頻處理設(shè)備,其中,圖像生成單元為被劃分成作為所決定區(qū) 域的多個(gè)區(qū)域的塊中的預(yù)定塊以第二圖像質(zhì)量生成具有與所決定區(qū)域的移動(dòng)圖像相同內(nèi) 容的移動(dòng)圖像。
[0406] (7)根據(jù)(1) - (6)任何之一所述的視頻處理設(shè)備,圖像生成單元為其中在第一移 動(dòng)圖像的再現(xiàn)期間第一移動(dòng)圖像的內(nèi)容的識(shí)別被增強(qiáng)的區(qū)域生成第二移動(dòng)圖像。
[0407] (8)根據(jù)(7)所述的視頻處理設(shè)備,所述區(qū)域?yàn)榈谝灰苿?dòng)圖像中的區(qū)域,該區(qū)域包 括人的面貌。
[0408] (9)根據(jù)(7)或者(8)所述的視頻處理設(shè)備,所述區(qū)域?yàn)榈谝灰苿?dòng)圖像中的區(qū)域, 該區(qū)域顯示文本信息。
[0409] (10)根據(jù)(1) - (9)所述的視頻處理設(shè)備,其中,圖像生成單元基于再現(xiàn)信息,根 據(jù)其配置成用作第二移動(dòng)圖像的基礎(chǔ)的第三移動(dòng)圖像自動(dòng)地生成第二移動(dòng)圖像。
[0410] (11) 一種視頻再現(xiàn)設(shè)備,包括:
[0411] 圖像獲取單元,配置成獲取第一移動(dòng)圖像、第二移動(dòng)圖像以及再現(xiàn)信息,所述第一 移動(dòng)圖像被配置為具有第一圖像質(zhì)量,所述第二移動(dòng)圖像被配置為具有與第一移動(dòng)圖像相 同的內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動(dòng) 圖像的部分區(qū)域?qū)?yīng)的尺寸,并且所述再現(xiàn)信息用于在第一移動(dòng)圖像的一部分被第二移動(dòng) 圖像替換之后同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像;以及
[0412] 圖像組合單元,被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動(dòng)圖像的 一部分被第二移動(dòng)圖像替換之后致使第一移動(dòng)圖像和第二移動(dòng)圖像同時(shí)再現(xiàn)。
[0413] (12)根據(jù)(11)所述的視頻再現(xiàn)設(shè)備,其中,圖像組合單元包括圖像抽取單元,所述 圖像抽取單元的配置成從第二移動(dòng)圖像抽取將被第一移動(dòng)圖像的一部分替代的區(qū)域。
[0414] (13)根據(jù)(12)所述的視頻再現(xiàn)設(shè)備,其中,圖像組合單元獲取再現(xiàn)信息和第二移 動(dòng)圖像,再現(xiàn)信息包括關(guān)于圖像抽取單元所抽取的區(qū)域的信息。
[0415] (14)根據(jù)(11) - (13)任何之一所述的視頻再現(xiàn)設(shè)備,圖像獲取單元從與被配置 成傳輸?shù)诙苿?dòng)圖像的設(shè)備不同的設(shè)備獲取第一移動(dòng)圖像。
[0416] (15)根據(jù)(11) - (13)任何之一所述的視頻再現(xiàn)設(shè)備,圖像獲取單元從與被配置 成傳輸?shù)诙苿?dòng)圖像的設(shè)備相同的設(shè)備獲取第一移動(dòng)圖像。
[0417] (16) -種視頻處理方法,包括:
[0418] 生成第二移動(dòng)圖像,所述第二移動(dòng)圖像被配置為具有與具有第一圖像質(zhì)量的第一 移動(dòng)圖像相同的內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有 與第一移動(dòng)圖像的部分區(qū)域?qū)?yīng)的尺寸;以及
[0419] 成生成再現(xiàn)信息,所述再現(xiàn)信息在第一移動(dòng)圖像的一部分被替換為第二移動(dòng)圖像 之后被用于同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。
[0420] ( 17) -種視頻再現(xiàn)方法,包括:
[0421] 獲取第一移動(dòng)圖像、第二移動(dòng)圖像以及再現(xiàn)信息,所述第一移動(dòng)圖像被配置為具 有第一圖像質(zhì)量,所述第二移動(dòng)圖像被配置為具有與第一移動(dòng)圖像相同的內(nèi)容、具有被配 置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動(dòng)圖像的部分區(qū)域?qū)?yīng) 的尺寸,并且所述再現(xiàn)信息用于在第一移動(dòng)圖像的一部分被第二移動(dòng)圖像替換之后同時(shí)再 現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像;以及
[0422] 基于獲取步驟所獲取的再現(xiàn)信息在第一移動(dòng)圖像的一部分被第二移動(dòng)圖像替換 之后致使第一移動(dòng)圖像和第二移動(dòng)圖像同時(shí)再現(xiàn)。
[0423] ( 18) -種視頻處理系統(tǒng),包括:
[0424] 視頻處理設(shè)備;以及
[0425] 視頻再現(xiàn)設(shè)備,
[0426] 其中,視頻處理設(shè)備包括:
[0427] 圖像生成單元,配置成生成第二移動(dòng)圖像,所述第二移動(dòng)圖像被配置為具有與具 有第一圖像質(zhì)量的第一移動(dòng)圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第 二圖像質(zhì)量、并且具有相應(yīng)于第一移動(dòng)圖像的部分區(qū)域的尺寸;以及
[0428] 再現(xiàn)信息生成單元,配置成生成再現(xiàn)信息,所述再現(xiàn)信息被配置為在第一移動(dòng)圖 像的一部分被替換為第二移動(dòng)圖像之后被用于同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像,以 及
[0429] 其中,視頻再現(xiàn)設(shè)備包括:
[0430] 圖像獲取單元,配置成從視頻處理設(shè)備至少獲取第二移動(dòng)圖像和再現(xiàn)信息,以及
[0431] 圖像再現(xiàn)單元,被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動(dòng)圖像的 一部分被第二移動(dòng)圖像替換之后同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。
[0432] 本申請(qǐng)要求2013年3月18日提出的日本優(yōu)先專(zhuān)利申請(qǐng)JP2013-054995的權(quán)益, 特將其全部?jī)?nèi)容并入此處,以作參考。
【權(quán)利要求】
1. 一種視頻處理設(shè)備,包含: 圖像生成單元,配置成生成第二移動(dòng)圖像,所述第二移動(dòng)圖像被配置為具有與具有第 一圖像質(zhì)量的第一移動(dòng)圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第二圖 像質(zhì)量、并且具有相應(yīng)于第一移動(dòng)圖像的部分區(qū)域的尺寸;以及 再現(xiàn)信息生成單元,配置成生成再現(xiàn)信息,所述再現(xiàn)信息被配置為在第一移動(dòng)圖像的 一部分被替換為第二移動(dòng)圖像之后被用于同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。
2. 根據(jù)權(quán)利要求1所述的視頻處理設(shè)備,其中,圖像生成單元根據(jù)再現(xiàn)信息生成單元 所生成的再現(xiàn)信息決定第二移動(dòng)圖像的一個(gè)區(qū)域。
3. 根據(jù)權(quán)利要求2所述的視頻處理設(shè)備,其中,在同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng) 圖像的期間,圖像生成單元為被配置為包括所決定區(qū)域的像素組以第二圖像質(zhì)量生成具有 與所決定區(qū)域的移動(dòng)圖像相同內(nèi)容的移動(dòng)圖像。
4. 根據(jù)權(quán)利要求2所述的視頻處理設(shè)備,其中,圖像生成單元以第二圖像質(zhì)量生成具 有與所決定區(qū)域的移動(dòng)圖像相同內(nèi)容的移動(dòng)圖像,并且為所決定區(qū)域之外的區(qū)域生成無(wú)效 像素。
5. 根據(jù)權(quán)利要求4所述的視頻處理設(shè)備,其中,在同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng) 圖像期間,圖像生成單元為被配置成包括所決定區(qū)域的像素組以用于所決定區(qū)域的第二圖 像質(zhì)量生成具有與所決定區(qū)域的移動(dòng)圖像相同內(nèi)容的移動(dòng)圖像,并且為所決定區(qū)域之外的 區(qū)域生成無(wú)效像素。
6. 根據(jù)權(quán)利要求2所述的視頻處理設(shè)備,其中,圖像生成單元為被劃分成作為所決定 區(qū)域的多個(gè)區(qū)域的塊中的預(yù)定塊以第二圖像質(zhì)量生成具有與所決定區(qū)域的移動(dòng)圖像相同 內(nèi)容的移動(dòng)圖像。
7. 根據(jù)權(quán)利要求1所述的視頻處理設(shè)備,其中,圖像生成單元為其中在第一移動(dòng)圖像 的再現(xiàn)期間第一移動(dòng)圖像的內(nèi)容的識(shí)別被增強(qiáng)的區(qū)域生成第二移動(dòng)圖像。
8. 根據(jù)權(quán)利要求7所述的視頻處理設(shè)備,其中,所述區(qū)域?yàn)榈谝灰苿?dòng)圖像中的區(qū)域,該 區(qū)域包括人的面貌。
9. 根據(jù)權(quán)利要求7所述的視頻處理設(shè)備,其中,所述區(qū)域?yàn)榈谝灰苿?dòng)圖像中的區(qū)域,該 區(qū)域顯示文本信息。
10. 根據(jù)權(quán)利要求1所述的視頻處理設(shè)備,其中,圖像生成單元基于再現(xiàn)信息,根據(jù)其 配置成用作第二移動(dòng)圖像的基礎(chǔ)的第三移動(dòng)圖像自動(dòng)地生成第二移動(dòng)圖像。
11. 一種視頻再現(xiàn)設(shè)備,包含: 圖像獲取單元,配置成獲取第一移動(dòng)圖像、第二移動(dòng)圖像以及再現(xiàn)信息,所述第一移動(dòng) 圖像被配置為具有第一圖像質(zhì)量,所述第二移動(dòng)圖像被配置為具有與第一移動(dòng)圖像相同的 內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動(dòng)圖像 的部分區(qū)域?qū)?yīng)的尺寸,并且所述再現(xiàn)信息用于在第一移動(dòng)圖像的一部分被第二移動(dòng)圖像 替換之后同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像;以及 圖像組合單元,被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動(dòng)圖像的一部 分被第二移動(dòng)圖像替換之后致使第一移動(dòng)圖像和第二移動(dòng)圖像同時(shí)再現(xiàn)。
12. 根據(jù)權(quán)利要求11所述的視頻再現(xiàn)設(shè)備,其中,圖像組合單元包括圖像抽取單元,所 述圖像抽取單元的配置成從第二移動(dòng)圖像抽取將被第一移動(dòng)圖像的一部分替代的區(qū)域。
13. 根據(jù)權(quán)利要求12所述的視頻再現(xiàn)設(shè)備,其中,圖像組合單元獲取再現(xiàn)信息和第二 移動(dòng)圖像,再現(xiàn)信息包括關(guān)于圖像抽取單元所抽取的區(qū)域的信息。
14. 根據(jù)權(quán)利要求11所述的視頻再現(xiàn)設(shè)備,其中,圖像獲取單元從與被配置成傳輸?shù)?二移動(dòng)圖像的設(shè)備不同的設(shè)備獲取第一移動(dòng)圖像。
15. 根據(jù)權(quán)利要求11所述的視頻再現(xiàn)設(shè)備,其中,圖像獲取單元從與被配置成傳輸?shù)?二移動(dòng)圖像的設(shè)備相同的設(shè)備獲取第一移動(dòng)圖像。
16. -種視頻處理方法,包含: 生成第二移動(dòng)圖像,所述第二移動(dòng)圖像被配置為具有與具有第一圖像質(zhì)量的第一移動(dòng) 圖像相同的內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第 一移動(dòng)圖像的部分區(qū)域?qū)?yīng)的尺寸;以及 成生成再現(xiàn)信息,所述再現(xiàn)信息在第一移動(dòng)圖像的一部分被替換為第二移動(dòng)圖像之后 被用于同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。
17. -種視頻再現(xiàn)方法,包含: 獲取第一移動(dòng)圖像、第二移動(dòng)圖像以及再現(xiàn)信息,所述第一移動(dòng)圖像被配置為具有第 一圖像質(zhì)量,所述第二移動(dòng)圖像被配置為具有與第一移動(dòng)圖像相同的內(nèi)容、具有被配置為 比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動(dòng)圖像的部分區(qū)域?qū)?yīng)的尺 寸,并且所述再現(xiàn)信息用于在第一移動(dòng)圖像的一部分被第二移動(dòng)圖像替換之后同時(shí)再現(xiàn)第 一移動(dòng)圖像和第二移動(dòng)圖像;以及 基于獲取步驟所獲取的再現(xiàn)信息在第一移動(dòng)圖像的一部分被第二移動(dòng)圖像替換之后 致使第一移動(dòng)圖像和第二移動(dòng)圖像同時(shí)再現(xiàn)。
18. -種視頻處理系統(tǒng),包含: 視頻處理設(shè)備;以及 視頻再現(xiàn)設(shè)備, 其中,視頻處理設(shè)備包括: 圖像生成單元,配置成生成第二移動(dòng)圖像,所述第二移動(dòng)圖像被配置為具有與具有第 一圖像質(zhì)量的第一移動(dòng)圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第二圖 像質(zhì)量、并且具有相應(yīng)于第一移動(dòng)圖像的部分區(qū)域的尺寸;以及 再現(xiàn)信息生成單元,配置成生成再現(xiàn)信息,所述再現(xiàn)信息被配置為在第一移動(dòng)圖像的 一部分被替換為第二移動(dòng)圖像之后被用于同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像,以及 其中,視頻再現(xiàn)設(shè)備包括: 圖像獲取單元,配置成從視頻處理設(shè)備至少獲取第二移動(dòng)圖像和再現(xiàn)信息,以及 圖像再現(xiàn)單元,被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動(dòng)圖像的一部 分被第二移動(dòng)圖像替換之后同時(shí)再現(xiàn)第一移動(dòng)圖像和第二移動(dòng)圖像。
【文檔編號(hào)】H04N19/436GK104065965SQ201410087605
【公開(kāi)日】2014年9月24日 申請(qǐng)日期:2014年3月11日 優(yōu)先權(quán)日:2013年3月18日
【發(fā)明者】森田岳彥, 五十嵐卓也, 岡森厚 申請(qǐng)人:索尼公司