拍攝裝置、信息處理裝置、信息處理系統(tǒng)以及幀數(shù)據(jù)輸出同步化方法
【專利摘要】主機(jī)終端（20）的偏差時(shí)間監(jiān)視部（34）監(jiān)視來(lái)自拍攝裝置（12）的幀數(shù)據(jù)的輸入定時(shí)、與根據(jù)顯示器（16）的輸出頻率得到的該幀數(shù)據(jù)的理想的輸入定時(shí)的偏差。動(dòng)作周期調(diào)整部（36）根據(jù)輸入定時(shí)的偏差的大小，發(fā)送用于調(diào)整拍攝裝置（12）中的每1幀的動(dòng)作周期的請(qǐng)求信號(hào)。拍攝裝置（12）的H計(jì)數(shù)器部（42）將拍攝裝置（12）中的垂直同步信號(hào)作為起點(diǎn)計(jì)數(shù)水平同步信號(hào)的輸出，以規(guī)定的掃描線產(chǎn)生信號(hào)。VSync調(diào)整計(jì)數(shù)器部（44）將來(lái)自H計(jì)數(shù)器部（42）的信號(hào)作為起點(diǎn)計(jì)數(shù)像素時(shí)鐘，以對(duì)像素時(shí)鐘設(shè)定的值產(chǎn)生垂直同步信號(hào)。
【專利說(shuō)明】拍攝裝置、信息處理裝置、信息處理系統(tǒng)以及幀數(shù)據(jù)輸出同步化方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及在輸入接口上使用照相機(jī)的信息處理技術(shù)。
【背景技術(shù)】
[0002]近年，在很多領(lǐng)域中利用網(wǎng)頁(yè)照相機(jī)等將拍攝到的影像的數(shù)據(jù)實(shí)時(shí)地轉(zhuǎn)發(fā)，在顯示器中顯示的技術(shù)。例如，如視頻聊天或監(jiān)視照相機(jī)那樣，除了將拍攝到的影像原樣顯示之夕卜，還存在以視頻照相機(jī)拍攝用戶的頭部等身體的一部分，提取眼、口、手等規(guī)定的區(qū)域并在其他圖像中置換，在顯示器中顯示的游戲等(例如，專利文獻(xiàn)I)。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:歐州專利申請(qǐng)公開(kāi)第0999518號(hào)說(shuō)明書(shū)
【發(fā)明內(nèi)容】

[0006]發(fā)明要解決的課題
[0007]上述那樣的技術(shù)中，在照相機(jī)和顯示器非同步的情況下，對(duì)照相機(jī)和顯示器進(jìn)行中繼的主機(jī)終端中準(zhǔn)備同步用緩沖器，以幀單位調(diào)整輸出定時(shí)。在該方式中，需要通過(guò)調(diào)整從而廢棄剩余的幀，或顯示兩次相同的幀。由于這樣的同步處理產(chǎn)生不穩(wěn)定且大的等待時(shí)間，除了降低從照相機(jī)輸入至顯示的響應(yīng)性之外，還存在同步用緩沖器變得不可缺少而壓迫存儲(chǔ)區(qū)域等的問(wèn)題。特別是在接口非同步且不能共享時(shí)鐘的USB照相機(jī)中，同步處理困難。
[0008]本發(fā)明是鑒于這樣的課題而完成的，其目的在于，提供能夠容易地使照相機(jī)輸入和顯示器輸出同步動(dòng)作的圖像處理技術(shù)。
[0009]用于解決課題的手段
[0010]本發(fā)明的一方式涉及拍攝裝置。該拍攝裝置的特征在于，具備:輸出控制部，以垂直同步信號(hào)的頻率按照掃描線順序輸出拍攝元件拍攝到的運(yùn)動(dòng)圖像的各幀數(shù)據(jù)；以及垂直同步信號(hào)調(diào)整部，在輸出控制部輸出的幀數(shù)據(jù)的輸出時(shí)刻、與基于即時(shí)顯示運(yùn)動(dòng)圖像的顯示器中的輸出頻率的基準(zhǔn)輸出時(shí)刻的偏差超過(guò)了規(guī)定的閾值時(shí)，變更垂直同步信號(hào)的產(chǎn)生定時(shí)的設(shè)定。
[0011]本發(fā)明的其他方式涉及信息處理裝置。該信息處理裝置的特征在于，具備:偏差時(shí)間監(jiān)視部，取得從連接的拍攝裝置依次輸入的各幀數(shù)據(jù)的輸入時(shí)刻，監(jiān)視與基于該幀數(shù)據(jù)的輸出目的地的顯示器中的輸出頻率的基準(zhǔn)輸入時(shí)刻的偏差；以及動(dòng)作周期調(diào)整部，在偏差超過(guò)了規(guī)定的閾值時(shí)，將調(diào)整拍攝裝置中的垂直同步信號(hào)的產(chǎn)生定時(shí)的請(qǐng)求信號(hào)發(fā)送至拍攝裝置。
[0012]本發(fā)明的進(jìn)一步的其他方式涉及信息處理系統(tǒng)。該信息處理系統(tǒng)具備拍攝運(yùn)動(dòng)圖像的拍攝裝置、和依次取得該運(yùn)動(dòng)圖像的幀數(shù)據(jù)并向顯示器輸出的信息處理裝置，其特征在于，所述信息處理裝置具備:偏差時(shí)間監(jiān)視部，取得從拍攝裝置輸入的各幀數(shù)據(jù)的輸入時(shí)亥IJ，監(jiān)視與基于顯示器中的輸出頻率的基準(zhǔn)輸入時(shí)刻的偏差；以及動(dòng)作周期調(diào)整部，在偏差超過(guò)了規(guī)定的閾值時(shí)，將調(diào)整拍攝裝置中的垂直同步信號(hào)的產(chǎn)生定時(shí)的請(qǐng)求信號(hào)發(fā)送至拍攝裝置，拍攝裝置具備:垂直同步信號(hào)調(diào)整部，在幀的最終掃描線中，將具有像素值的輸出頻率的像素時(shí)鐘的邊緣數(shù)作為像素計(jì)數(shù)值而計(jì)數(shù)，在取得請(qǐng)求信號(hào)時(shí)，變更用于產(chǎn)生垂直同步信號(hào)的像素計(jì)數(shù)值的設(shè)定。
[0013]本發(fā)明的進(jìn)一步的其他方式涉及幀數(shù)據(jù)輸出同步化方法。該幀數(shù)據(jù)輸出同步化方法是拍攝裝置將即時(shí)顯示拍攝到的運(yùn)動(dòng)圖像的顯示器中的幀數(shù)據(jù)輸出處理、和自身的幀數(shù)據(jù)輸出處理同步的方法，其特征在于，包含:以垂直同步信號(hào)的頻率按照掃描線順序輸出各幀數(shù)據(jù)的步驟；以及在輸出的幀數(shù)據(jù)的輸出時(shí)刻、和與基于顯示器中的輸出頻率的基準(zhǔn)輸出時(shí)刻的偏差超過(guò)了規(guī)定的閾值時(shí)，變更垂直同步信號(hào)的產(chǎn)生定時(shí)的設(shè)定的步驟。
[0014]另外，以上的結(jié)構(gòu)要素的任意的組合，將本發(fā)明的表現(xiàn)在方法、裝置、系統(tǒng)、計(jì)算機(jī)程序、記錄了計(jì)算機(jī)程序的記錄介質(zhì)等之間變換也作為本發(fā)明的方式而有效。
[0015]發(fā)明效果
[0016]若根據(jù)本發(fā)明，則能夠容易地使照相機(jī)輸入和顯示器輸出同步動(dòng)作。
【專利附圖】

【附圖說(shuō)明】
[0017]圖1是表示能夠應(yīng)用本實(shí)施方式的信息處理系統(tǒng)的結(jié)構(gòu)例的圖。
[0018]圖2是表示實(shí)現(xiàn)照相機(jī)輸入和視頻輸出的同步處理的現(xiàn)有技術(shù)中的系統(tǒng)結(jié)構(gòu)的圖。
[0019]圖3是表示根據(jù)圖2所示的結(jié)構(gòu)進(jìn)行幀數(shù)據(jù)輸出定時(shí)的調(diào)整時(shí)的、來(lái)自拍攝裝置的輸出數(shù)據(jù)、同步用緩沖器中的數(shù)據(jù)、幀存儲(chǔ)器中的數(shù)據(jù)的變遷的圖。
[0020]圖4是表示拍攝裝置和顯示器同步的情況下的來(lái)自拍攝裝置的輸出數(shù)據(jù)、輸入緩沖器中的數(shù)據(jù)、幀存儲(chǔ)器中的數(shù)據(jù)的變遷的圖。
[0021]圖5是表示本實(shí)施方式中的拍攝裝置和主機(jī)終端的結(jié)構(gòu)的圖。
[0022]圖6是用于說(shuō)明本實(shí)施方式的拍攝裝置中產(chǎn)生的信號(hào)的圖。
[0023]圖7是用于說(shuō)明本實(shí)施方式的拍攝裝置中的垂直同步信號(hào)的產(chǎn)生定時(shí)的調(diào)整原理的圖。
[0024]圖8是表示本實(shí)施方式中調(diào)整來(lái)自拍攝裝置的每I幀的輸入周期的處理的步驟的流程圖。
[0025]圖9是表示在本實(shí)施方式中調(diào)整來(lái)自拍攝裝置的輸入周期的情況下的來(lái)自拍攝裝置的輸出數(shù)據(jù)、輸入緩沖器中的數(shù)據(jù)、幀存儲(chǔ)器中的數(shù)據(jù)的變遷的圖。
[0026]圖10是表示在主機(jī)終端中設(shè)置同步用緩沖器的狀態(tài)下連接了本實(shí)施方式的拍攝裝置的情況下的來(lái)自拍攝裝置的輸出數(shù)據(jù)、同步用緩沖器中的數(shù)據(jù)、幀存儲(chǔ)器中的數(shù)據(jù)的變遷的圖。
【具體實(shí)施方式】
[0027]圖1表示能夠應(yīng)用本實(shí)施方式的信息處理系統(tǒng)的結(jié)構(gòu)例。信息處理系統(tǒng)10包含:拍攝裝置12，對(duì)用戶I等的對(duì)象物進(jìn)行視頻拍攝；主機(jī)終端20，控制拍攝到的運(yùn)動(dòng)圖像數(shù)據(jù)的顯示；顯示器16，顯示運(yùn)動(dòng)圖像。也可以組合拍攝裝置12、主機(jī)終端20、顯示器16之中的任意兩個(gè)或者全部而一體地進(jìn)行裝備。此外，拍攝裝置12也可以不需要在顯示器16上設(shè)置。進(jìn)而用戶I也可以不是人，其數(shù)目也不被限定。
[0028]拍攝裝置12是具備CCD (Charge Coupled Device，電荷耦合器件)或者CMOS(Complementary Metal Oxide Semiconductor,互補(bǔ)金屬氧化物半導(dǎo)體)等的拍攝元件的數(shù)字視頻照相機(jī)。拍攝裝置12依次發(fā)送拍攝到的運(yùn)動(dòng)圖像的幀數(shù)據(jù)至主機(jī)終端20。主機(jī)終端20將被發(fā)送的幀數(shù)據(jù)與顯示器16的輸出定時(shí)配合并輸出至顯示器16。另外，主機(jī)終端20也可以使用幀數(shù)據(jù)進(jìn)行圖像輸出控制以外的規(guī)定的處理。例如能夠通過(guò)將用戶I的形象進(jìn)行人物化而生成虛擬世界的圖像并使顯示器16顯示，從而實(shí)現(xiàn)游戲等，但由于這樣的技術(shù)能夠應(yīng)用一般的情況所以在此不提及。
[0029]顯示器16將基于主機(jī)終端20的控制所輸入的幀數(shù)據(jù)作為圖像而顯示。顯示器16可以是具有輸出圖像的顯示器以及輸出聲音的揚(yáng)聲器的電視，例如是液晶電視、等離子電視、PC顯示器等。
[0030]在本實(shí)施方式中，在這樣的信息處理系統(tǒng)10中拍攝裝置12的照相機(jī)輸入和顯示器16的視頻輸出非同步的情況下，低成本且容易取得同步。首先為了使本實(shí)施方式的效果明顯，說(shuō)明在這樣的情況下能夠應(yīng)用的同步處理的已有方法。
[0031]圖2表示實(shí)現(xiàn)照相機(jī)輸入和視頻輸出的同步處理的現(xiàn)有技術(shù)中的系統(tǒng)結(jié)構(gòu)。另夕卜，由于同圖表示現(xiàn)有技術(shù)中的結(jié)構(gòu)，作為拍攝裝置12a、主機(jī)終端20a與本實(shí)施方式的各裝置區(qū)別，但連接方式與圖1所示的方式相同。主機(jī)終端20a需要從拍攝裝置12a，將以拍攝裝置的輸出頻率輸入的幀數(shù)據(jù)，以顯示器16的輸出頻率進(jìn)行輸出。
[0032]因此在主機(jī)終端20a中，除了可與顯示器16的輸出頻率配合而改寫的幀存儲(chǔ)器26之外，還需要具備在拍攝裝置12a和幀存儲(chǔ)器26之間用于緩沖幀數(shù)據(jù)而進(jìn)行定時(shí)調(diào)整的同步用緩沖器22。進(jìn)而主機(jī)終端20a具備控制從幀存儲(chǔ)器26至顯示器16的幀數(shù)據(jù)的輸出的顯示控制部24。
[0033]圖3表示在通過(guò)圖2所示的結(jié)構(gòu)進(jìn)行幀數(shù)據(jù)輸出定時(shí)的調(diào)整時(shí)的、來(lái)自拍攝裝置12a的輸出數(shù)據(jù)(上層)、同步用緩沖器22中的數(shù)據(jù)(中層3列)、幀存儲(chǔ)器26中的數(shù)據(jù)(下層2列)的變遷。例如設(shè)為拍攝裝置12a以60fps的幀速率進(jìn)行拍攝以及數(shù)據(jù)輸入，顯示器16以59.94fps的幀速率進(jìn)行動(dòng)態(tài)圖像顯示。此時(shí)，從拍攝裝置12a至主機(jī)終端20a的幀數(shù)據(jù)輸入周期為每I巾貞16.0msec,從主機(jī)終端20a至顯示器16的輸出周期為每I巾貞16.7msec。
[0034]同圖以橫軸表示時(shí)間經(jīng)過(guò)，以一個(gè)矩形表示與I幀量對(duì)應(yīng)的期間。矩形內(nèi)的字符表示幀序號(hào)。同圖上端的凡例所示那樣，矩形內(nèi)的實(shí)線以及虛線的斜線分別表示對(duì)掃描線進(jìn)行掃描的數(shù)據(jù)的輸出期間(scan out)、以及輸入期間(scan in)。此外以網(wǎng)格示出的矩形表示數(shù)據(jù)的保持期間。
[0035]首先在拍攝裝置12a中，在時(shí)刻t0開(kāi)始第η幀的拍攝以及輸出。于是在主機(jī)終端20a中的同步用緩沖器22的第I緩沖器22a中，從時(shí)刻tl起，按照拍攝結(jié)束的掃描線順序存儲(chǔ)第η幀的數(shù)據(jù)。至已存儲(chǔ)全部第η幀的數(shù)據(jù)的時(shí)刻t2的時(shí)間為上述所示的16.0msec0顯示控制部24從將之前的幀、即第(η-1)幀的數(shù)據(jù)已存儲(chǔ)至幀存儲(chǔ)器26的時(shí)刻t3起，開(kāi)始將第η幀的數(shù)據(jù)存儲(chǔ)至幀存儲(chǔ)器26的第I區(qū)域26a。
[0036]另外同步用緩沖器22的矩形列的下面所示的具有At的寬度的標(biāo)記表示正上方的矩形示出的幀數(shù)據(jù)的讀出期間。第η幀的讀出期間、即從時(shí)刻t3起At期間不能進(jìn)行至該緩沖器的其他數(shù)據(jù)的寫入。寫出至幀存儲(chǔ)器26的第I區(qū)域26a的第η幀的數(shù)據(jù)從之前的第(η-1)幀的顯示結(jié)束的時(shí)刻t4起，輸出至顯示器16，并顯示圖像。從第η幀的顯示開(kāi)始時(shí)刻t4至結(jié)束時(shí)刻t5的時(shí)間為上述所示的16.7msecο
[0037]對(duì)根據(jù)拍攝裝置12a中的拍攝的進(jìn)展而取得的各幀數(shù)據(jù)同樣地進(jìn)行這樣的處理。即拍攝裝置12a以及同步用緩沖器22將16.0msec作為每I幀的處理周期而動(dòng)作，幀存儲(chǔ)器26以及顯示器16將16.7msec作為每I幀的處理周期而動(dòng)作。同圖所示那樣幀存儲(chǔ)器26通過(guò)將存儲(chǔ)正在輸出至顯示器16的幀數(shù)據(jù)的區(qū)域、和存儲(chǔ)下一幀的區(qū)域進(jìn)行區(qū)分，并交替地使用第I區(qū)域26a、第2區(qū)域26b，從而進(jìn)行順利的圖像顯示。
[0038]另一方面，同步用緩沖器22中存儲(chǔ)完某幀的數(shù)據(jù)的定時(shí)、和將其讀出的定時(shí)因拍攝裝置12a和顯示器16的動(dòng)作頻率的差異而產(chǎn)生偏差。作為結(jié)果，在大部分的期間中，存儲(chǔ)幀數(shù)據(jù)時(shí)，成為兩個(gè)之前的幀數(shù)據(jù)的讀出未完成的狀況。例如在開(kāi)始第(n+2)幀的數(shù)據(jù)的存儲(chǔ)的時(shí)刻T中，正讀出兩個(gè)之前的第η幀的數(shù)據(jù)。
[0039]因此，不能將存儲(chǔ)著第η幀的數(shù)據(jù)的第I緩沖器22a作為第(n+2)幀的數(shù)據(jù)的存儲(chǔ)目的地。像這樣，在某幀數(shù)據(jù)的存儲(chǔ)開(kāi)始時(shí)，產(chǎn)生兩個(gè)之前的幀的數(shù)據(jù)的讀出未完成的狀況的環(huán)境中，作為同步用緩沖器22，需要準(zhǔn)備第I緩沖器22a、第2緩沖器22b、第3緩沖器22c這三個(gè)緩沖器并循環(huán)使用。
[0040]在使用了三個(gè)緩沖器的情況下，基本上，各幀的數(shù)據(jù)保持期間若去除存儲(chǔ)處理的期間則成為2周期量。即在同步用緩沖器22中能夠保持相同的幀的數(shù)據(jù)的期間依賴于緩沖器的數(shù)目而有限。但是在顯示器16側(cè)的動(dòng)作周期比拍攝裝置12a側(cè)的動(dòng)作周期更長(zhǎng)的情況下，相對(duì)于同步用緩沖器22中的各幀數(shù)據(jù)的保持期間，將其讀出的期間逐漸向后產(chǎn)生偏差。然后不久讀出期間超過(guò)數(shù)據(jù)保持期間。這樣，無(wú)論數(shù)據(jù)是否被存儲(chǔ)在同步用緩沖器22中，都產(chǎn)生在顯示器16中未顯示完全的幀。此時(shí)，必須廢棄該幀數(shù)據(jù)，讀出并顯示下一幀數(shù)據(jù)。
[0041]在圖3的例中，結(jié)束第(n+6)幀的讀出的時(shí)刻t6之后應(yīng)讀出第(n+7)幀的期間超過(guò)第(n+7)幀的數(shù)據(jù)保持期間。因此跳過(guò)第7幀，在時(shí)刻t7中開(kāi)始已存儲(chǔ)的第(n+8)幀的數(shù)據(jù)讀出。由于在該例中顯示器16側(cè)的動(dòng)作周期比拍攝裝置12a側(cè)的基本周期更長(zhǎng)，因此不消耗剩余的幀數(shù)據(jù)而廢棄，但若動(dòng)作周期的大小關(guān)系相反，則顯示所需的幀數(shù)據(jù)不足，必須將同一幀顯示2周期。
[0042]像這樣，在拍攝裝置12a和顯示器16非同步地動(dòng)作的情況下，需要比較同步用緩沖器22中的幀數(shù)據(jù)的保持期間、和將其讀出的期間，根據(jù)其結(jié)果產(chǎn)生數(shù)據(jù)的廢棄或2次顯示等復(fù)雜的處理。此外，由于動(dòng)作周期的差，作為同步用緩沖器需要的緩沖器區(qū)域的數(shù)目增加。
[0043]進(jìn)而，在使主機(jī)終端與顯示器16的頻率同步而進(jìn)行圖像處理的情況下，也考慮由于廢棄一個(gè)成為處理對(duì)象的幀而產(chǎn)生的缺點(diǎn)。例如在跟蹤被攝體的一部分的情況下，若與之前幀的時(shí)間間隔拉開(kāi)，則由于可動(dòng)范圍增大而產(chǎn)生擴(kuò)大搜索區(qū)域的需要。因此跟蹤處理所需的時(shí)間增加，成為等待時(shí)間增加的主要原因。
[0044]即使例如拍攝裝置和顯示器的設(shè)定動(dòng)作頻率是相同的，也存在由于內(nèi)置的振蕩電路的精度而產(chǎn)生同樣的偏差的可能性。因此在本實(shí)施方式中，通過(guò)以像素計(jì)數(shù)單位調(diào)整拍攝裝置12內(nèi)部的垂直同步信號(hào)的定時(shí)，從而將來(lái)自拍攝裝置12的數(shù)據(jù)輸入和至顯示器16的數(shù)據(jù)輸出的周期的偏差收斂至規(guī)定的范圍，設(shè)為至少不產(chǎn)生I幀量的時(shí)間差。
[0045]圖4表示在拍攝裝置和顯示器同步的情況下的來(lái)自拍攝裝置的輸出數(shù)據(jù)(上層)、輸入緩沖器中的數(shù)據(jù)(中層2列)、幀存儲(chǔ)器中的數(shù)據(jù)(下層2列)的變遷。圖的表示方式與圖3相同，但此時(shí)，存儲(chǔ)來(lái)自拍攝裝置的輸入數(shù)據(jù)的存儲(chǔ)器不是“同步用緩沖器”，而是作為用于主機(jī)終端20內(nèi)部的處理的“輸入緩沖器”而發(fā)揮作用。拍攝裝置和顯示器的動(dòng)作周期例如都設(shè)為16.0msec0
[0046]此時(shí)，如同圖所示那樣，幀數(shù)據(jù)至幀存儲(chǔ)器的讀出始終能夠在至輸入緩沖器的該數(shù)據(jù)的存儲(chǔ)完成之后立刻開(kāi)始，該兩個(gè)時(shí)刻沒(méi)有偏差。作為結(jié)果輸入緩沖器也與幀存儲(chǔ)器相同，能夠僅由用于寫入從拍攝裝置輸入的幀數(shù)據(jù)的緩沖器、和用于讀出至幀存儲(chǔ)器的緩沖器而構(gòu)成。此外如上述那樣，由于不需要偏差積蓄引起的幀單位的調(diào)整，因此能夠簡(jiǎn)化處理并抑制突發(fā)的等待時(shí)間的增大。
[0047]在本實(shí)施方式中，即使拍攝裝置和顯示器的動(dòng)作頻率不同，也會(huì)作出與如圖4所示的同步動(dòng)作相近的狀況。具體而言在拍攝裝置12中，以像素計(jì)數(shù)單位調(diào)整作為I幀量被定義的時(shí)間、即垂直同步信號(hào)(VSync)的間隔，進(jìn)行將顯示器中的I幀的顯示周期設(shè)為目標(biāo)的動(dòng)作周期的校準(zhǔn)。該方式對(duì)振蕩電路的精度引起的偏差也有效。圖5表示本實(shí)施方式中的拍攝裝置12和主機(jī)終端20的結(jié)構(gòu)。
[0048]圖5所示的各功能塊,硬件上能夠通過(guò)CPlXCentral Processing Unit,中央處理單兀)、RAM (Random Access Memory,隨機(jī)存取存儲(chǔ)器)、ROM (Read Only Memory,只讀存儲(chǔ)器)、計(jì)數(shù)器電路等的構(gòu)成而實(shí)現(xiàn)，軟件上可通過(guò)發(fā)揮數(shù)據(jù)輸入輸出功能、數(shù)據(jù)保持功能等的各功能的程序而實(shí)現(xiàn)。從而，本領(lǐng)域技術(shù)人員理解這些功能塊能夠以僅硬件、僅軟件、或者根據(jù)這些的組合的各種形態(tài)而實(shí)現(xiàn)，不限定于任一個(gè)。
[0049]主機(jī)終端20包含:輸入緩沖器32，暫時(shí)存儲(chǔ)從拍攝裝置12輸入的幀數(shù)據(jù)；幀存儲(chǔ)器38，暫時(shí)存儲(chǔ)輸出至顯示器16的幀數(shù)據(jù)；顯示控制部40，控制從輸入緩沖器32至幀存儲(chǔ)器38的幀數(shù)據(jù)寫出、從幀存儲(chǔ)器26至顯示器16的幀數(shù)據(jù)的輸出。
[0050]輸入緩沖器32、幀存儲(chǔ)器38、以及顯示控制部40具有與圖2所示的主機(jī)終端20a中的同步用緩沖器22、幀存儲(chǔ)器26、以及顯示控制部24相同的功能。其中與關(guān)于圖4所說(shuō)明相同，由于本實(shí)施方式也不需要進(jìn)行使用同步用緩沖器的調(diào)整，因此代替同步用緩沖器22具備輸入緩沖器32。輸入緩沖器32與圖4所示相同，具備兩個(gè)緩沖器區(qū)域即可。
[0051]主機(jī)終端20進(jìn)一步包含:偏差時(shí)間監(jiān)視部34，監(jiān)視來(lái)自拍攝裝置12的幀數(shù)據(jù)的輸入定時(shí)、和從顯示器16的輸出頻率得到的該幀數(shù)據(jù)的理想的輸入定時(shí)的偏差；動(dòng)作周期調(diào)整部36，根據(jù)輸入定時(shí)的偏差的大小，發(fā)送用于調(diào)整拍攝裝置12中的每I幀的動(dòng)作周期的請(qǐng)求信號(hào)。
[0052]拍攝裝置12包含拍攝元件31和橋部30。拍攝元件31如上所述是CXD或者CMOS等的傳感器。橋部30包含:輸出控制部41，控制幀數(shù)據(jù)至主機(jī)終端20的輸出出計(jì)數(shù)器部42，將拍攝裝置12中的垂直同步信號(hào)作為起點(diǎn)而計(jì)數(shù)水平同步信號(hào)(HSync)的輸出，以規(guī)定的掃描線產(chǎn)生信號(hào)；VSync調(diào)整計(jì)數(shù)器部44，將來(lái)自H計(jì)數(shù)器部42的信號(hào)作為起點(diǎn)計(jì)數(shù)像素時(shí)鐘，以對(duì)于像素時(shí)鐘設(shè)定的值產(chǎn)生垂直同步信號(hào)。
[0053]輸出控制部41將拍攝元件31拍攝到的結(jié)果所得到的幀的數(shù)據(jù)，經(jīng)由USB等的接口，按照掃描線順序送出至主機(jī)終端20。進(jìn)而分離在幀數(shù)據(jù)中包含的各種同步信號(hào)的信息，適當(dāng)提供至H計(jì)數(shù)器部42、VSync調(diào)整計(jì)數(shù)器部44。由于輸出控制部41進(jìn)行的處理能夠應(yīng)用一般的技術(shù)因此不詳細(xì)提及。H計(jì)數(shù)器部42以及VSync調(diào)整計(jì)數(shù)器部44、和主機(jī)終端20的偏差時(shí)間監(jiān)視部34以及動(dòng)作周期調(diào)整部36的詳細(xì)的動(dòng)作如后述。
[0054]接著根據(jù)圖5所示的結(jié)構(gòu)，說(shuō)明使來(lái)自拍攝裝置12的輸入和至顯示器16的輸出同步的原理。圖6是用于說(shuō)明拍攝裝置12中產(chǎn)生的信號(hào)的圖。另外這些信號(hào)是通過(guò)一般的拍攝裝置產(chǎn)生的信號(hào)，在本實(shí)施方式中能夠?qū)⑵淅?。同圖中右方向表示各掃描線中的像素單位的時(shí)間經(jīng)過(guò)，下方向表示掃描線單位的時(shí)間經(jīng)過(guò)。同圖中央的矩形之中的白區(qū)域表示像素值的輸入輸出期間，網(wǎng)格區(qū)域表示水平回掃期間(HBlank)以及垂直回掃期間(VBlank)0
[0055]首先橫向所表示的各掃描線中的時(shí)間經(jīng)過(guò)如圖的上端所示那樣，將像素時(shí)鐘(PCLK)的上升沿周期PT (= 1/PCLK)設(shè)為I個(gè)單位。像素時(shí)鐘具有像素值的輸出頻率。然后對(duì)每個(gè)掃描線,產(chǎn)生表不像素值的輸出期間的數(shù)據(jù)啟動(dòng)信號(hào)(DE)、表不掃描線的終點(diǎn)的定時(shí)的水平同步信號(hào)(HSync)。圖的縱向所表示的掃描線單位的時(shí)間經(jīng)過(guò)將水平同步信號(hào)的輸出周期設(shè)為I個(gè)單位。然后對(duì)每幀，產(chǎn)生表示具有值的掃描線的輸出期間的數(shù)據(jù)啟動(dòng)信號(hào)(DE)、表示幀的終點(diǎn)的定時(shí)的垂直同步信號(hào)(VSync )。
[0056]在此，若將至包含水平回掃期間的下一個(gè)掃描線的像素時(shí)鐘的計(jì)數(shù)值設(shè)為HTotal，將至包含垂直回掃期間的下一幀的掃描線的計(jì)數(shù)值設(shè)為VTotal，則由拍攝裝置12所拍攝且輸入至主機(jī)終端20的幀的幀速率R (fps)為，
[0057]R (fps) = PCLK (Hz) / (HTotal X VTotal)。
[0058]即每I巾貞的輸入周期Tint (sec)為，
[0059]Tint (sec) =1/R(fps) = (HTotal X VTotal) /PCLK(Hz) =HTotal XVTotal XPT (sec)。
[0060]在本實(shí)施方式中，將從拍攝裝置12輸入的幀數(shù)據(jù)的每I幀的輸入周期Tint，通過(guò)與顯示器16中的每I幀的輸出周期配合而作出與同步動(dòng)作相近的狀況。因此在本實(shí)施方式中，首先，調(diào)整HTotal以及VTotal，以掃描線數(shù)單位進(jìn)行粗略的校準(zhǔn)后，監(jiān)視實(shí)際的時(shí)間的偏差，以由調(diào)整的結(jié)果所決定的幀的最后的掃描線的輸入期間中的像素計(jì)數(shù)的單位進(jìn)行微調(diào)整。
[0061]以掃描線數(shù)單位的調(diào)整在將顯示器16中的輸出幀速率設(shè)為目標(biāo)幀速率TA時(shí)，通過(guò)決定HTotal以及VTotal以便滿足下式從而進(jìn)行。
[0062]PCLK/(HTotalXVTotal)<TA<PCLK/HTotalX (VTotal-1)
[0063]若取上式的各項(xiàng)的倒數(shù)，以周期比較則成為下式。
[0064]PTXHTotalX (VTotal-1) <1/TA<PT X HTotal X VTotal
[0065]S卩，調(diào)整HTotal以及VTotal使得在從垂直同步信號(hào)緊后的幀的起點(diǎn)至從最后起第2個(gè)掃描線的掃描完成所需的像素時(shí)鐘單位的時(shí)間“PTXHTotal X (VTotal-1) ”、和從該起點(diǎn)起至最后的掃描線的掃描完成所需的時(shí)間“PTXHTotal X VTotal”之間，有顯示器16的每I幀的輸出周期進(jìn)入。由此，像素計(jì)數(shù)單位的微調(diào)整能夠限定于最后的掃描線的掃描時(shí)間內(nèi)。
[0066]圖7是用于說(shuō)明拍攝裝置12中的垂直同步信號(hào)的產(chǎn)生定時(shí)的調(diào)整原理的圖。同圖中的矩形與圖6相同，表示包含水平同步信號(hào)、垂直同步信號(hào)在內(nèi)的I幀的輸入期間。然后從左至右橫穿過(guò)該矩形的箭頭示意性地表示掃描線。在此，若設(shè)為在顯示器16中I幀的顯示結(jié)束的時(shí)刻與線50對(duì)應(yīng)，則線50位于由上述的式?jīng)Q定的最后的掃描線上，嚴(yán)格來(lái)說(shuō)是在VTotal-1的計(jì)數(shù)和VTotal的計(jì)數(shù)之間的時(shí)間中。
[0067]由于HTotal以及VTotal的調(diào)整是掃描線單位的調(diào)整，因此根據(jù)顯示器16的輸出頻率預(yù)先決定。例如也可以在拍攝裝置12或主機(jī)終端20的內(nèi)部存儲(chǔ)器中，預(yù)先準(zhǔn)備將適當(dāng)?shù)腍Total以及VTotal的值與顯示器的輸出頻率建立對(duì)應(yīng)的表，在連接了顯示器16時(shí)根據(jù)實(shí)際的輸出頻率參照表后決定。也可以根據(jù)情況將像素時(shí)鐘本身設(shè)為上式的調(diào)整對(duì)象。
[0068]若這樣決定HTotal以及VTotal，則之后監(jiān)視實(shí)際的時(shí)間的偏差，同時(shí)進(jìn)行像素計(jì)數(shù)單位的微調(diào)整。該調(diào)整從性質(zhì)上而言成為將作為最后的掃描線上應(yīng)有的該幀的終點(diǎn)、即圖7中的最后的箭頭52的前端與線50接近的調(diào)整。若在通過(guò)調(diào)整得到的終點(diǎn)產(chǎn)生垂直同步信號(hào)，開(kāi)始下一幀的拍攝，則來(lái)自拍攝裝置12的每I幀的輸入周期、和至顯示器16的每I幀的輸出周期變得大致相等。
[0069]若考慮在以像素計(jì)數(shù)單位的時(shí)間測(cè)量中對(duì)于嚴(yán)密的測(cè)量時(shí)間產(chǎn)生舍入誤差、在拍攝裝置或顯示器的頻率中各自有波動(dòng)、處理的負(fù)荷等，則在時(shí)間的偏差積蓄了規(guī)定量的時(shí)亥IJ，對(duì)箭頭52的長(zhǎng)度、即在最后的掃描線中直至產(chǎn)生垂直同步信號(hào)為止的像素計(jì)數(shù)值進(jìn)行調(diào)整是有效率的。以后，將這樣的像素計(jì)數(shù)值稱為“最終線期間”。
[0070]實(shí)際的調(diào)整處理預(yù)先決定在最后的掃描線中比至線50的距離更短的最終線期間MF、以及比至線50的距離更長(zhǎng)的最終線期間MS，通過(guò)將其切換而進(jìn)行。較短的最終線期間MF以及較長(zhǎng)的最終線期間MS是滿足下式的值。
[0071]PTX (HTotal X (VTotal-1)+MF) <1/TA<PT X (HTotal X (VTotal-1)+MS)
[0072]然后，在來(lái)自拍攝裝置12的輸入比至顯示器16的輸出過(guò)早的情況下通過(guò)設(shè)定長(zhǎng)的最終線期間MS，過(guò)晚的情況下通過(guò)設(shè)定短的最終線期間MF，從而調(diào)整來(lái)自拍攝裝置12的每I幀的輸入周期。
[0073]若將兩個(gè)最終線期間MF以及MS設(shè)為夾著以線50表示的、顯示器16的I幀的輸出結(jié)束時(shí)刻的最近的整數(shù)值，則MF以及MS由以下的式?jīng)Q定。
[0074]MF=floor(FIT/PT-HTotal(VTotal-1))
[0075]MS=ceil(FIT/PT-HTotal(VTotal-1))
[0076]在此floor (X)是輸出x以下的最大的整數(shù)的函數(shù)，ceil (x)是輸出x以上的最小的整數(shù)的函數(shù)。此外FIT是由1/TA提供的顯示器16的I幀的顯示周期。
[0077]進(jìn)而也可以考慮拍攝裝置12以及顯示器16中的動(dòng)作頻率的波動(dòng)的幅度，如下決定兩個(gè)最終線期間MF以及MS，從而增大兩者之差。
[0078]MF=floor(FIT/PT-HTotal(VTotal-1))-dz/2
[0079]MS=ceil(FIT/PT-HTotal(VTotal-1))+dz/2
[0080]在此dz是考慮了波動(dòng)的幅度的校正值，預(yù)先決定dz。
[0081]接著，表示將以上那樣的調(diào)整通過(guò)圖5所示的結(jié)構(gòu)而實(shí)現(xiàn)時(shí)的處理步驟。圖8是表示本實(shí)施方式中調(diào)整來(lái)自拍攝裝置12的每I幀的輸入周期的處理的步驟的流程圖。同流程圖在用戶指示主機(jī)終端20執(zhí)行包含運(yùn)動(dòng)圖像的拍攝和將其使用的圖像的顯示的功能，主機(jī)終端20請(qǐng)求拍攝裝置12開(kāi)始拍攝時(shí)開(kāi)始處理。
[0082]首先拍攝裝置12中，對(duì)最終線期間M設(shè)定初始值MO(SlO)。初始值MO也可以是從O至HTotal的任一個(gè)值，也可以是MF或者M(jìn)S。接著拍攝裝置12開(kāi)始動(dòng)態(tài)圖像拍攝(S12)。然后輸出控制部41在對(duì)幀序號(hào)N代入O (N14)后，將第O個(gè)幀的數(shù)據(jù)按照掃描線順序輸入至主機(jī)終端20 (S16).此時(shí)H計(jì)數(shù)器部42在接受垂直同步信號(hào)的產(chǎn)生而將計(jì)數(shù)值設(shè)為O后，通過(guò)計(jì)數(shù)水平同步信號(hào)的輸出從而監(jiān)視已輸入的掃描線數(shù)目H。
[0083]主機(jī)終端20取得從拍攝裝置12輸入的數(shù)據(jù)，開(kāi)始至顯示器16的輸出，從而在顯示器16中顯示運(yùn)動(dòng)圖像(S18)。在拍攝裝置12中，在已輸入至主機(jī)終端20的掃描線數(shù)目H未達(dá)到VTotal-1的期間，繼續(xù)各掃描線的數(shù)據(jù)輸出(S20的“否”、S16)。若已輸出的掃描線數(shù)目H達(dá)到VTotal-1 (S20的“是”)，則將最后的掃描線VTotal的數(shù)據(jù)輸入至主機(jī)終端20。此時(shí)VSync調(diào)整計(jì)數(shù)器部44從H計(jì)數(shù)器部42接受掃描線數(shù)目H達(dá)到VTotal-1的情況，在將計(jì)數(shù)值設(shè)為O后，計(jì)數(shù)像素時(shí)鐘的上升沿。
[0084]在像素計(jì)數(shù)值P未達(dá)到最終線期間M的期間，繼續(xù)數(shù)據(jù)輸入(S24的“否”、S22)。若像素計(jì)數(shù)值P達(dá)到最終線期間M (S24的“是”)，則VSync調(diào)整計(jì)數(shù)器部44將垂直同步信號(hào)輸出至拍攝元件31以及H計(jì)數(shù)器部42 (S26)。
[0085]主機(jī)終端20的偏差時(shí)間監(jiān)視部34在每次從拍攝裝置12輸入I幀量的數(shù)據(jù)時(shí)，取得接收時(shí)的時(shí)戳。然后，判定從第O幀的數(shù)據(jù)輸入開(kāi)始至第N幀的數(shù)據(jù)輸入完成的實(shí)際的時(shí)間、與以顯示器16的輸出頻率進(jìn)行輸入動(dòng)作時(shí)的設(shè)想時(shí)間的差、即偏差，是否超過(guò)了預(yù)先準(zhǔn)備的閾值(S30)。在超過(guò)閾值的情況下(S30的“是”)，對(duì)拍攝裝置12的VSync調(diào)整計(jì)數(shù)器部44保持的最終線期間M，重新設(shè)定MF或者M(jìn)S的值(S32)。
[0086]偏差量D例如由下式求得。
[0087]D= I time_stump (N)-FITXNI
[0088]在此time_stump (N)是從第O幀的輸入開(kāi)始至第N幀的輸入完成的時(shí)戳的差。通過(guò)來(lái)自主機(jī)終端20輸出的視頻時(shí)鐘的頻率控制用電壓VCT測(cè)量該時(shí)戳，從而能夠基于在主機(jī)終端20內(nèi)進(jìn)行控制的FIT的實(shí)際的時(shí)間準(zhǔn)確地進(jìn)行比較。
[0089]若上述那樣偏差量D比閾值dw大，則重新設(shè)定最終線期間M。此時(shí)，若time_Stump(N)-FITXN為正值，則由于來(lái)自拍攝裝置12的輸入慢，因此設(shè)定較短的最終線期間MF。若為負(fù)值，則由于來(lái)自拍攝裝置12的輸入快，因此設(shè)定較長(zhǎng)的最終線期間MF。拍攝裝置12中的最終線期間的更新實(shí)際上也可以在將最后的掃描線以外的數(shù)據(jù)輸入至主機(jī)終端20的S16、S20的處理步驟的期間中進(jìn)行。在偏差量D未超過(guò)閾值dw的情況下，維持原樣的設(shè)定(S30的“否”)。
[0090]在不需要通過(guò)來(lái)自用戶的指示輸入等結(jié)束處理的期間(S34的“否”、S38的“否”)，拍攝裝置12中將幀序號(hào)進(jìn)行增量(S36)，同時(shí)重復(fù)以上的處理。其間，設(shè)為也可以繼續(xù)進(jìn)行拍攝裝置12中的拍攝、至主機(jī)終端20的幀數(shù)據(jù)輸入、至顯示器16的幀數(shù)據(jù)輸出、以及顯示器16中的運(yùn)動(dòng)圖像的顯示。若需要處理結(jié)束，則結(jié)束拍攝裝置12、主機(jī)終端20的雙方的處理(S34的“是”、S38的“是”)。
[0091]圖9表示在通過(guò)本實(shí)施方式調(diào)整了來(lái)自拍攝裝置12的輸入周期的情況下的、來(lái)自拍攝裝置12的輸出數(shù)據(jù)(上層)、輸入緩沖器32中的數(shù)據(jù)(中層2列)、幀存儲(chǔ)器38中的數(shù)據(jù)(下層2列)的變遷。圖的表示方法與圖4相同。此外，在同圖中，在示出拍攝裝置12中的輸出對(duì)象的幀的各矩形的上方，表示對(duì)于該幀的最終線期間M的設(shè)定值。
[0092]首先在從拍攝裝置12輸出第η幀的時(shí)刻t0中，對(duì)最終線期間M，設(shè)定較短的最終線期間MF。通過(guò)該設(shè)定，來(lái)自拍攝裝置12的每I幀的數(shù)據(jù)輸入周期成為比至顯示器16的每I幀的數(shù)據(jù)輸出周期稍短的狀態(tài)。[0093]如圖4中說(shuō)明的那樣，若來(lái)自拍攝裝置12的輸入和至顯示器16的輸出完全同步，則至輸入緩沖器32的存儲(chǔ)完成的幀數(shù)據(jù)將緊接著被輸出至顯示器16。在本實(shí)施方式中也在如上所述那樣調(diào)整了 VTotal、HTotal后，以像素計(jì)數(shù)單位進(jìn)行至顯示器的輸出頻率的校準(zhǔn)，因此得到與圖4相近的狀態(tài)。
[0094]另一方面，若幀處理進(jìn)展，則來(lái)自拍攝裝置12的輸入周期和至顯示器6的輸出周期的微小的偏差積蓄。在同圖中，將各幀的數(shù)據(jù)已存儲(chǔ)至輸入緩沖器32的時(shí)刻、和該數(shù)據(jù)至幀存儲(chǔ)器38的讀出開(kāi)始的時(shí)刻的偏差時(shí)間表示為D0、D1、D2、…。例如從已將第n+1幀的數(shù)據(jù)存儲(chǔ)至輸入緩沖器32的時(shí)刻tl，至該數(shù)據(jù)的讀出開(kāi)始時(shí)刻t2的時(shí)間的偏差為D1。
[0095]該時(shí)間的偏差是由來(lái)自拍攝裝置12的每I幀的輸入周期和至顯示器16的每I幀的輸出周期的差起因的偏差，進(jìn)而，與偏差時(shí)間監(jiān)視部34進(jìn)行閾值判定的值對(duì)應(yīng)。如上所述在設(shè)定較小的值MF作為最終線期間M的情況下，由于來(lái)自拍攝裝置12的輸入周期比至顯示器16的輸出周期更短，因此數(shù)據(jù)的輸入完成的時(shí)刻比開(kāi)始該讀出的時(shí)刻偏向前，其值如D0、D1、D2、D3增大。然后D4超過(guò)閾值dw。
[0096]動(dòng)作周期調(diào)整部36接受其結(jié)果，以將VSync調(diào)整計(jì)數(shù)器部44保持的最終線期間M重新設(shè)定為較長(zhǎng)的最終線期間MS的方式發(fā)送請(qǐng)求信號(hào)(S40)。由于通過(guò)該設(shè)定來(lái)自拍攝裝置12的輸入周期比至顯示器16的輸出周期更長(zhǎng)，因此偏差時(shí)間在之后的D5中向減少轉(zhuǎn)變，向D6、D7、D8、D9減少。若進(jìn)一步幀處理進(jìn)展，則不久偏差時(shí)間向來(lái)自拍攝裝置12的輸入慢的方向增大，因此在超過(guò)閾值dw的時(shí)刻將最終線期間M重新設(shè)定為較短的最終線期間MF (未圖示)。
[0097]通過(guò)這樣處理，即使來(lái)自拍攝裝置12的幀數(shù)據(jù)的存儲(chǔ)完成的時(shí)刻、和至顯示器16的輸出開(kāi)始的時(shí)刻的差最大也能夠被抑制至閾值dw程度，因此變得不會(huì)產(chǎn)生I幀量的數(shù)據(jù)的剩余或不足。作為結(jié)果，不需要為了合乎情理而廢棄數(shù)據(jù)或2次顯示相同的幀，能夠抑制不穩(wěn)定的等待時(shí)間的產(chǎn)生。進(jìn)而如圖9所示那樣輸入緩沖器32僅兩個(gè)緩沖器區(qū)域就足夠。
[0098]若本實(shí)施方式的拍攝裝置12不更新最終線期間M的設(shè)定，則與已有的非同步的拍攝裝置相同地進(jìn)行動(dòng)作。從而也可以與用途配合而切換同步/非同步。圖10表示在如圖2所示那樣在主機(jī)終端20中設(shè)置了同步用緩沖器22的狀態(tài)下連接了本實(shí)施方式的拍攝裝置12的情況下的、來(lái)自拍攝裝置12的輸出數(shù)據(jù)(上層)、同步用緩沖器22中的數(shù)據(jù)(中層3列)、幀存儲(chǔ)器26中的數(shù)據(jù)(下層2列)的變遷。
[0099]如圖3所示，在僅同步用緩沖器22的應(yīng)用中，顯示器16側(cè)的動(dòng)作周期比拍攝裝置12側(cè)的動(dòng)作周期更長(zhǎng)的情況下，相對(duì)于同步用緩沖器22中的各幀的數(shù)據(jù)的保持期間，將其讀出的期間逐漸偏向后方。相反在短的情況下，逐漸偏向前方。通過(guò)導(dǎo)入本實(shí)施方式，適當(dāng)?shù)卦O(shè)定最終線期間M，如同圖所示那樣，能夠在同步用緩沖器22中的數(shù)據(jù)保持期間之中的大致前半的期間中讀出各幀的數(shù)據(jù)。
[0100]作為結(jié)果，即使進(jìn)行與顯示器16的頻率配合的數(shù)據(jù)讀出，也能夠按照本來(lái)的幀順序可靠地接入至數(shù)據(jù)，不需要多余的處理。此外，由于不產(chǎn)生廢棄未顯示完全的幀的數(shù)據(jù)那樣的狀況，因此幀的時(shí)間間隔被保持為一定。由此，即使在使用被讀出的幀數(shù)據(jù)進(jìn)行跟蹤等的處理的情況下，也不產(chǎn)生由于廢棄了幀所引起的處理的負(fù)荷或精度的變動(dòng)。[0101]根據(jù)以上敘述的本實(shí)施方式，將拍攝裝置所拍攝到的動(dòng)態(tài)圖像實(shí)時(shí)顯示在顯示器上的系統(tǒng)中，以將從拍攝裝置至主機(jī)終端的幀數(shù)據(jù)的輸入周期與從主機(jī)終端至顯示器的輸出周期靠近的方式調(diào)整垂直同步信號(hào)的產(chǎn)生定時(shí)。為此，首先，事先進(jìn)行掃描線的長(zhǎng)度以及數(shù)目的調(diào)整，監(jiān)視實(shí)際的時(shí)間的偏差，同時(shí)以像素計(jì)數(shù)單位調(diào)整最后的掃描線中的垂直同步信號(hào)的產(chǎn)生定時(shí)。
[0102]由此能夠以低成本實(shí)現(xiàn)像素時(shí)鐘的上升沿周期級(jí)別、即顯示器的輸出周期的一百萬(wàn)分之一左右的時(shí)間調(diào)整。在僅調(diào)整掃描線數(shù)目的情況下，存在拍攝時(shí)間的變動(dòng)根據(jù)幀而變得比較大，在具有卷簾式快門的拍攝元件中引起曝光的變動(dòng)的可能性，但根據(jù)本實(shí)施方式那樣微少時(shí)間的調(diào)整，成為能夠忽略對(duì)曝光的影響的等級(jí)。
[0103]此外，調(diào)整僅在時(shí)間的偏差累積了規(guī)定量的時(shí)刻，重新更新設(shè)定值，因此對(duì)處理成本的影響少。進(jìn)而，根據(jù)兩個(gè)最終線期間的差分、或?qū)τ跁r(shí)間的偏差的閾值，能夠在吸收了裝置本身具有的動(dòng)作頻率的波動(dòng)的定時(shí)進(jìn)行調(diào)整，因此不產(chǎn)生高頻率地進(jìn)行無(wú)用的調(diào)整，花費(fèi)多余的處理的負(fù)荷的不好的情況。作為結(jié)果，低成本且對(duì)處理的負(fù)荷的影響少，能夠以低等待時(shí)間響應(yīng)性好地執(zhí)行從動(dòng)態(tài)圖像拍攝至顯示。
[0104]以上，基于實(shí)施方式說(shuō)明了本發(fā)明。本領(lǐng)域技術(shù)人員理解上述實(shí)施方式為例示，這些各結(jié)構(gòu)要素或各處理過(guò)程的組合中各種各樣的變形例是可能的，此外這樣的變形例也處于本發(fā)明的范圍中。
[0105]例如本實(shí)施方式中的拍攝裝置由單反拍攝元件構(gòu)成，但也可以設(shè)為立體照相機(jī)等具備多個(gè)照相機(jī)的結(jié)構(gòu)。此時(shí)，通過(guò)將從VSync調(diào)整計(jì)數(shù)器部產(chǎn)生的垂直同步信號(hào)提供給全部的照相機(jī)，能夠容易地將來(lái)自多個(gè)照相機(jī)的影像與顯示器的輸出同步。
[0106]標(biāo)號(hào)說(shuō)明
[0107]10信息處理系統(tǒng)，12拍攝裝置，16顯示器，20主機(jī)終端，30橋部，32輸入緩沖器，34偏差時(shí)間監(jiān)視部，36動(dòng)作周期調(diào)整部，38幀存儲(chǔ)器，40顯示控制部，41輸出控制部，42H計(jì)數(shù)器部，44VSync調(diào)整計(jì)數(shù)器部。
[0108]工業(yè)上的可利用性
[0109]如以上那樣本發(fā)明能夠用于計(jì)算機(jī)、游戲裝置、照相機(jī)、圖像顯示裝置等的信息處理裝置以及信息處理系統(tǒng)。
【權(quán)利要求】
1.一種拍攝裝置，其特征在于，具備: 輸出控制部，以垂直同步信號(hào)的頻率按照掃描線順序輸出拍攝元件拍攝到的運(yùn)動(dòng)圖像的各幀數(shù)據(jù)；以及 垂直同步信號(hào)調(diào)整部，在所述輸出控制部輸出的幀數(shù)據(jù)的輸出時(shí)刻、與基于即時(shí)顯示運(yùn)動(dòng)圖像的顯示器中的輸出頻率的基準(zhǔn)輸出時(shí)刻的偏差超過(guò)了規(guī)定的閾值時(shí)，變更垂直同步信號(hào)的產(chǎn)生定時(shí)的設(shè)定。
2.如權(quán)利要求1所述的拍攝裝置，其特征在于， 所述垂直同步信號(hào)調(diào)整部在幀的最終掃描線中，將具有像素值的輸出頻率的像素時(shí)鐘的邊緣數(shù)作為像素計(jì)數(shù)值而計(jì)數(shù)，使產(chǎn)生垂直同步信號(hào)的像素計(jì)數(shù)值的設(shè)定變化。
3.如權(quán)利要求2所述的拍攝裝置，其特征在于， 設(shè)定表示幀的各掃描線的掃描周期的像素計(jì)數(shù)值、和幀的掃描線數(shù)目，以使基于所述顯示器中的輸出頻率的每I幀的掃描時(shí)間的基準(zhǔn)結(jié)束時(shí)刻，所述拍攝裝置中的幀的最終掃描線的掃描期間中到來(lái)。
4.如權(quán)利要求3所述的拍攝裝置，其特征在于， 進(jìn)一步具備:存儲(chǔ)器，保持將顯示器中的輸出頻率、和應(yīng)與此相對(duì)而設(shè)定的表示所述掃描線的掃描周期的像素計(jì)數(shù)值和所述幀的掃描線數(shù)目建立對(duì)應(yīng)的表， 所述像素計(jì)數(shù)值和掃描線數(shù)目根據(jù)實(shí)際連接的顯示器的輸出頻率，參照所述表而被設(shè)定。
5.如權(quán)利要求1或者2所述的拍攝裝置，其特征在于， 所述垂直同步信號(hào)調(diào)整部將通過(guò)所述幀數(shù)據(jù)的輸出時(shí)刻和所述基準(zhǔn)輸出時(shí)刻的前后關(guān)系被預(yù)先決定的、比基于所述顯示器中的輸出頻率的每I幀的掃描時(shí)間的基準(zhǔn)結(jié)束時(shí)刻晚的定時(shí)的像素計(jì)數(shù)值、和比該基準(zhǔn)結(jié)束時(shí)刻早的定時(shí)的像素計(jì)數(shù)值，作為產(chǎn)生垂直同步信號(hào)的像素計(jì)數(shù)值而切換并設(shè)定。
6.一種信息處理裝置，其特征在于，具備: 偏差時(shí)間監(jiān)視部，取得從連接的拍攝裝置依次輸入的各幀數(shù)據(jù)的輸入時(shí)刻，監(jiān)視與基于該幀數(shù)據(jù)的輸出目的地的顯示器中的輸出頻率的基準(zhǔn)輸入時(shí)刻的偏差；以及 動(dòng)作周期調(diào)整部，在所述偏差超過(guò)了規(guī)定的閾值時(shí)，將調(diào)整所述拍攝裝置中的垂直同步信號(hào)的產(chǎn)生定時(shí)的請(qǐng)求信號(hào)發(fā)送至所述拍攝裝置。
7.一種信息處理系統(tǒng)，具備拍攝運(yùn)動(dòng)圖像的拍攝裝置、和依次取得該運(yùn)動(dòng)圖像的幀數(shù)據(jù)并向顯示器輸出的信息處理裝置，其特征在于， 所述信息處理裝置具備: 偏差時(shí)間監(jiān)視部，取得從所述拍攝裝置輸入的各幀數(shù)據(jù)的輸入時(shí)刻，監(jiān)視與基于所述顯示器中的輸出頻率的基準(zhǔn)輸入時(shí)刻的偏差；以及 動(dòng)作周期調(diào)整部，在所述偏差超過(guò)了規(guī)定的閾值時(shí)，將調(diào)整所述拍攝裝置中的垂直同步信號(hào)的產(chǎn)生定時(shí)的請(qǐng)求信號(hào)發(fā)送至所述拍攝裝置， 所述拍攝裝置具備: 垂直同步信號(hào)調(diào)整部，在幀的最終掃描線中，將具有像素值的輸出頻率的像素時(shí)鐘的邊緣數(shù)作為像素計(jì)數(shù)值而計(jì)數(shù)，在取得所述請(qǐng)求信號(hào)時(shí)，變更用于產(chǎn)生垂直同步信號(hào)的像素計(jì)數(shù)值的設(shè)定。
8.一種幀數(shù)據(jù)輸出同步化方法，拍攝裝置將即時(shí)顯示拍攝到的運(yùn)動(dòng)圖像的顯示器中的幀數(shù)據(jù)輸出處理、和自身的幀數(shù)據(jù)輸出處理同步，其特征在于，包含: 以垂直同步信號(hào)的頻率按照掃描線順序輸出各幀數(shù)據(jù)的步驟；以及在輸出的幀數(shù)據(jù)的輸出時(shí)刻、和與基于所述顯示器中的輸出頻率的基準(zhǔn)輸出時(shí)刻的偏差超過(guò)了規(guī)定的閾值時(shí)，變更所述垂直同步信號(hào)的產(chǎn)生定時(shí)的設(shè)定的步驟。
9.一種計(jì)算機(jī)程序，其特征在于，使計(jì)算機(jī)實(shí)現(xiàn)以下功能: 取得從連接的拍攝裝置依次輸入的各幀數(shù)據(jù)的輸入時(shí)刻，監(jiān)視與基于該幀數(shù)據(jù)的輸出目的地的顯示器中的輸出頻率的基準(zhǔn)輸入時(shí)刻的偏差的功能；以及 在所述偏差超過(guò)了規(guī)定的閾值時(shí)，將調(diào)整所述拍攝裝置中的垂直同步信號(hào)的產(chǎn)生定時(shí)的請(qǐng)求信號(hào)發(fā)送至所述拍攝裝置的功能。
10.一種記錄介質(zhì)，記錄了計(jì)算機(jī)程序，其特征在于，使計(jì)算機(jī)實(shí)現(xiàn)以下功能: 取得從連接的拍攝裝置依次輸入的各幀數(shù)據(jù)的輸入時(shí)刻，監(jiān)視與基于該幀數(shù)據(jù)的輸出目的地的顯示器中的輸出頻率的基準(zhǔn)輸入時(shí)刻的偏差的功能；以及 在所述偏差超過(guò)了規(guī)定的閾值時(shí)，將調(diào)整所述拍攝裝置中的垂直同步信號(hào)的產(chǎn)生定時(shí)的請(qǐng)求信號(hào)發(fā)送至所述拍攝裝置的功能。
【文檔編號(hào)】H04N5/232GK103703754SQ201280036086
【公開(kāi)日】2014年4月2日 申請(qǐng)日期:2012年5月31日 優(yōu)先權(quán)日:2011年7月29日
【發(fā)明者】大場(chǎng)章男, 勢(shì)川博之, 齋藤英幸 申請(qǐng)人:索尼電腦娛樂(lè)公司