設(shè)備的同步方法和同步系統(tǒng)的制作方法
【專(zhuān)利摘要】公開(kāi)了設(shè)備的同步方法和同步系統(tǒng)。根據(jù)某些實(shí)施例，同步方法可以包括接收用于發(fā)起操作的信號(hào)。所述方法還可以包括優(yōu)先化用于所述操作的處理能力。所述方法還可以包括在接收到所述信號(hào)之后在計(jì)算出的時(shí)間量處開(kāi)始所述操作。
【專(zhuān)利說(shuō)明】
設(shè)備的同步方法和同步系統(tǒng)
技術(shù)領(lǐng)域
[0001]本公開(kāi)總體涉及成像系統(tǒng)，更具體地涉及用于同步多個(gè)設(shè)備的系統(tǒng)和方法?！颈尘凹夹g(shù)】
[0002]在許多工業(yè)、商業(yè)和科學(xué)應(yīng)用中，精確同步多個(gè)設(shè)備或控制多個(gè)設(shè)備以協(xié)調(diào)方式操作是很關(guān)鍵的。例如，為了創(chuàng)建沉浸式虛擬現(xiàn)實(shí)(VR)體驗(yàn)，可以使用多個(gè)攝像機(jī)來(lái)覆蓋場(chǎng)景的不同部分。對(duì)攝像機(jī)在同一時(shí)間捕捉到的圖像幀進(jìn)行同步，從而實(shí)現(xiàn)場(chǎng)景的三維(3D) 重構(gòu)。當(dāng)場(chǎng)景是動(dòng)態(tài)的，即包含移動(dòng)對(duì)象時(shí)，一種公知的挑戰(zhàn)在于精確地在幀級(jí)別或者甚至在子幀級(jí)別(即，幀持續(xù)時(shí)間的一部分)同步圖像捕捉。
[0003]在沉浸式VR產(chǎn)生中關(guān)鍵任務(wù)是根據(jù)多視圖2D圖像數(shù)據(jù)準(zhǔn)確地重構(gòu)3D對(duì)象形狀、運(yùn)動(dòng)和表面紋理。類(lèi)似于人眼通過(guò)雙目視覺(jué)在正確的深度看到對(duì)象，多個(gè)攝像機(jī)可以用于從不同視點(diǎn)拍攝對(duì)象的圖像。對(duì)于運(yùn)動(dòng)對(duì)象，除非在同一時(shí)間捕捉到不同視點(diǎn)的圖像，否則不能生成對(duì)象的適當(dāng)立體顯示。
[0004]圖1是示出用于獲得對(duì)象的3D圖像信息的多攝像機(jī)系統(tǒng)的示意圖。參考圖1，為拍攝移動(dòng)汽車(chē)，將兩個(gè)攝像機(jī)(即，攝像機(jī)1和2)間隔預(yù)定距離并對(duì)齊。可以解釋由該兩個(gè)攝像機(jī)在同一時(shí)間拍攝的圖像之間的差別，從而確定汽車(chē)的深度信息。然而，如果攝像機(jī)1和2未同步，則由攝像機(jī)1在時(shí)間^捕捉到的圖像幀不能與攝像機(jī)在時(shí)間Tdf捉到的圖像幀組合來(lái)構(gòu)造顯示正確深度的虛擬場(chǎng)景。
[0005]此外，VR的觀(guān)看者可以自由地在虛擬世界中到處看。因此，VR需要提供寬視場(chǎng) (F0V)，例如360度球面圖。由于攝像機(jī)僅具有有限的F0V，所以可以將由多個(gè)攝像機(jī)拍攝的圖像組合成全景。圖2是示出用于獲得全景的多攝像機(jī)系統(tǒng)的示意圖。參考圖2,攝像機(jī)1和2 具有局部重疊的F0V。每個(gè)F0V覆蓋包括移動(dòng)車(chē)行進(jìn)經(jīng)過(guò)若干靜置輪胎的場(chǎng)景的一部分。如果兩個(gè)攝像機(jī)沒(méi)有同步，則當(dāng)汽車(chē)在F0V的重疊區(qū)域行進(jìn)時(shí)，由攝像機(jī)1在時(shí)間切甫捉到的圖像幀和由攝像機(jī)2在時(shí)間T2捕捉到的圖像幀示出在不同像素的汽車(chē)。這種像素差通常叫做“重影(ghosting)”偽像。換言之，根據(jù)這兩個(gè)圖像幀生成的全景可能在兩個(gè)幀重疊的區(qū)域?qū)⒁苿?dòng)汽車(chē)顯示為兩個(gè)圖像或“重影”。相反，因?yàn)殪o置輪胎總是停留在相同像素，所以輪胎沒(méi)有重影。
[0006]所公開(kāi)的方法和系統(tǒng)解決了以上列出的一個(gè)或多個(gè)問(wèn)題。
【發(fā)明內(nèi)容】

[0007]與本公開(kāi)的一個(gè)實(shí)施例一致，提供了第一設(shè)備的同步方法。所述方法可以包括接收用于發(fā)起操作的信號(hào)。所述方法還可以包括優(yōu)先化用于所述操作的處理能力。所述方法還可以包括在接收到所述信號(hào)之后在計(jì)算出的時(shí)間量處開(kāi)始所述操作。
[0008]與本公開(kāi)的另一實(shí)施例一致，提供了第一設(shè)備，包括存儲(chǔ)器和處理器。所述存儲(chǔ)器可以存儲(chǔ)指令。所述處理器可以配置為執(zhí)行所述指令，以:接收用于發(fā)起操作的信號(hào);優(yōu)先化用于所述操作的處理能力；以及在接收到所述信號(hào)之后在計(jì)算出的時(shí)間量處開(kāi)始所述操作。
[0009]與本公開(kāi)的又一實(shí)施例一致，提供了一種同步系統(tǒng)。所述系統(tǒng)可以包括信號(hào)生成器；以及通信地連接到所述信號(hào)生成器的多個(gè)設(shè)備。所述信號(hào)生成器可以配置為響應(yīng)于用戶(hù)輸入而將信號(hào)發(fā)送給設(shè)備。所述設(shè)備配置為:接收信號(hào)；優(yōu)先化用于操作的處理能力；以及在接收到所述信號(hào)之后在計(jì)算出的時(shí)間量處開(kāi)始所述操作。
[0010]可以理解的是，上述通用描述和后續(xù)詳細(xì)描述都僅是示例性和說(shuō)明性的，而不限制如所要求保護(hù)的本發(fā)明?！靖綀D說(shuō)明】
[0011]將通過(guò)示例性實(shí)施例進(jìn)一步描述在本文描述的方法、系統(tǒng)和/或程序。參考附圖詳細(xì)描述這些示例性實(shí)施例。這些實(shí)施例是非限制性的示例性實(shí)施例，其中在附圖的若干圖中類(lèi)似的附圖標(biāo)記表示類(lèi)似的結(jié)構(gòu)，其中:
[0012]圖1是示出用于獲得對(duì)象的3D圖像信息的多攝像機(jī)系統(tǒng)的示意圖。
[0013]圖2是示出用于獲得全景的多攝像機(jī)系統(tǒng)的示意圖。
[0014]圖3是示出在兩個(gè)攝像機(jī)之間未同步的幀數(shù)據(jù)編碼的示意圖。
[0015]圖4是示出在兩個(gè)攝像機(jī)之間的時(shí)鐘漂移的示意圖。
[0016]圖5是根據(jù)示例性實(shí)施例的用于同步多個(gè)用戶(hù)設(shè)備的系統(tǒng)的框圖。
[0017]圖6是根據(jù)示例性實(shí)施例的用于執(zhí)行同步方法的用戶(hù)設(shè)備的框圖。
[0018]圖7是根據(jù)示例性實(shí)施例的用于同步多個(gè)用戶(hù)設(shè)備的過(guò)程的流程圖。[0019 ]圖8是根據(jù)示例性實(shí)施例示出在圖7中所示過(guò)程的實(shí)現(xiàn)的示意圖?！揪唧w實(shí)施方式】
[0020]現(xiàn)在將詳細(xì)參考所公開(kāi)的實(shí)施例，其例子在附圖中示出。在方便時(shí)，相同的附圖標(biāo)記將在整體附圖中用于指代相同或類(lèi)似部件。
[0021]當(dāng)參照附圖考慮以下說(shuō)明時(shí)，本公開(kāi)的特點(diǎn)和特征、以及操作方法和結(jié)構(gòu)的相關(guān)元件的功能以及部分的組合和制造的經(jīng)濟(jì)性可以變得更加明顯，所有附圖形成本說(shuō)明書(shū)的一部分。但是，應(yīng)理解，附圖只是用于說(shuō)明和描述的目的而不意欲作為對(duì)發(fā)明的限定的定義。如說(shuō)明書(shū)和權(quán)利要求書(shū)中所使用的，除非上下文清楚地另有說(shuō)明，否則單數(shù)形式“一”、 “一個(gè)”和“該”包括復(fù)數(shù)。[〇〇22] 如圖1-2所示，快速變化的場(chǎng)景(例如，運(yùn)動(dòng)場(chǎng)館或音樂(lè)會(huì))可能呈現(xiàn)產(chǎn)生立體3D內(nèi)容的巨大困難和/或?qū)е氯吧芍袊?yán)重的重影偽像，即使由不同攝像機(jī)生成的圖像幀的時(shí)間差非常小也如此。為了創(chuàng)建令人滿(mǎn)意的沉浸式VR體驗(yàn)，期望將這些時(shí)間差控制到僅幾暈秒內(nèi)。
[0023]然而，難以實(shí)現(xiàn)多個(gè)攝像機(jī)的精確同步。每個(gè)攝像機(jī)捕捉圖像的工作流包括:激活攝像機(jī)(或激活攝像機(jī)的同步拍攝模式)；設(shè)置在攝像機(jī)中使用的拍攝參數(shù)，并啟動(dòng)圖像傳感器來(lái)捕捉圖像幀(即，觸發(fā)快門(mén)操作)；啟動(dòng)攝像機(jī)的圖像信號(hào)處理器(ISP)來(lái)獲取幀數(shù)據(jù)，并將幀數(shù)據(jù)編碼為可呈現(xiàn)和可顯示的圖像；以及重復(fù)幀捕捉和編碼。在上述步驟的任一個(gè)中都可能發(fā)生同步誤差。
[0024]首先，激活攝像機(jī)、幀捕捉以及幀編碼需要同時(shí)被外部觸發(fā)信號(hào)觸發(fā)。然而，在發(fā)送這些觸發(fā)信號(hào)時(shí)可能存在時(shí)延。一些觸發(fā)信號(hào)還可能在傳輸期間意外丟失。特別地，當(dāng)無(wú)線(xiàn)輸送觸發(fā)信號(hào)時(shí)，可能由無(wú)線(xiàn)介質(zhì)訪(fǎng)問(wèn)時(shí)間中的非確定性而引入不確定度。難以確信何時(shí)同步分組開(kāi)始從發(fā)送方傳播以及同步分組何時(shí)被接收方接收到。例如，典型的無(wú)線(xiàn)網(wǎng)絡(luò)的延遲可以是若干毫秒級(jí)別。
[0025]第二，即使多個(gè)攝像機(jī)能夠同時(shí)接收命令來(lái)拍攝圖像，在不同攝像機(jī)中的圖像傳感器可能會(huì)以不同的速度響應(yīng)該命令。圖像傳感器最初可能處于不同狀態(tài)。因此，每個(gè)攝像機(jī)需要重置各自的圖像傳感器，并向圖像傳感器的驅(qū)動(dòng)器發(fā)送傳感器操作參數(shù)，例如，快門(mén)速度、幀率、分辨率等。由于在圖像傳感器間的不同以及攝像機(jī)的多種硬件和軟件能力，每個(gè)攝像機(jī)具有從接收到拍攝圖像的觸發(fā)信號(hào)的時(shí)間到捕捉幀的時(shí)間的非確定性的延遲。
[0026]第三，即使多個(gè)攝像機(jī)能夠在同一時(shí)間開(kāi)始幀捕捉，由于攝像機(jī)中不同的實(shí)時(shí)工作條件/負(fù)載，多個(gè)攝像機(jī)可能以不同的速度開(kāi)始幀數(shù)據(jù)獲取和編碼。例如，當(dāng)攝像機(jī)接收到開(kāi)始幀獲取和編碼的命令時(shí)，每個(gè)攝像機(jī)可能執(zhí)行多個(gè)其它應(yīng)用，例如，測(cè)量剩余電池電量、調(diào)整變焦等。執(zhí)行這些額外任務(wù)可能消耗處理器時(shí)間和存儲(chǔ)器空間，因此可能在攝像機(jī)間引入對(duì)發(fā)起數(shù)據(jù)獲取和編碼的非確定性延遲。
[0027]圖3是示出在兩個(gè)攝像機(jī)之間未同步的幀數(shù)據(jù)編碼的示意圖。參考圖3,攝像機(jī)1和 2中的圖像傳感器被同步。換言之，攝像機(jī)1和2能夠在時(shí)間以、^^3、...同時(shí)捕捉幀。然而， 在攝像機(jī)1和2中的幀數(shù)據(jù)編碼是未同步的。例如，攝像機(jī)1在以和^之間的時(shí)間開(kāi)始編碼。 相反，攝像機(jī)2在^之后的時(shí)間^開(kāi)始編碼。因此，攝像機(jī)1對(duì)在t捕捉到的幀進(jìn)行編碼，并將其當(dāng)做第一幀；而攝像機(jī)2對(duì)在t2捕捉到的幀進(jìn)行編碼，并將其當(dāng)做第一幀。這兩個(gè)幀不能適當(dāng)組合而生成VR效果。
[0028]第四，多個(gè)攝像機(jī)需要以預(yù)定速率重復(fù)捕捉和對(duì)幀編碼。因此，即使在不同攝像機(jī)中的幀捕捉和編碼同時(shí)發(fā)起，由于后續(xù)在部分或所有攝像機(jī)中的時(shí)鐘漂移仍可能破壞同步。例如，每個(gè)攝像機(jī)可以使用晶體振蕩器作為內(nèi)部時(shí)鐘。由于每個(gè)晶體振蕩器的固有頻率誤差以及不同晶體振蕩器間的精度的差異，在多個(gè)攝像機(jī)開(kāi)始連續(xù)成像過(guò)程之后，在一個(gè)攝像機(jī)中的時(shí)鐘信號(hào)可能逐漸與在另一攝像機(jī)中的時(shí)鐘信號(hào)漂離或與其失去同步。[0〇29]圖4是不出在兩個(gè)攝像機(jī)之間的時(shí)鐘漂移的不意圖。參考圖4，可以在最初同步由攝像機(jī)1和2進(jìn)行的幀捕捉和編碼。然而，當(dāng)成像過(guò)程繼續(xù)時(shí)，時(shí)鐘漂移可能在攝像機(jī)1和2之間累積。例如，在兩個(gè)小時(shí)之后，在攝像機(jī)2中的圖像傳感器捕捉第i幀之前，攝像機(jī)1中的圖像傳感器可能捕捉第(i+1)幀。因此，攝像機(jī)1和2不再同時(shí)對(duì)動(dòng)態(tài)場(chǎng)景成像。此外，如果在相同或類(lèi)似時(shí)間編碼這兩個(gè)幀，則它們可能被當(dāng)作在同一時(shí)間捕捉到的幀，這將在產(chǎn)生VR效果時(shí)造成誤差。
[0030]在上述任何一方面的缺陷將導(dǎo)致丟失同步。如下文所述，與本公開(kāi)一致的示例性實(shí)施例提供了克服一個(gè)或多個(gè)上述困難的技術(shù)方案。
[0031]圖5是根據(jù)示例性實(shí)施例的用于同步多個(gè)用戶(hù)設(shè)備的系統(tǒng)100的框圖。參考圖5,系統(tǒng)100包括多個(gè)用戶(hù)設(shè)備110(例如，如圖5所示的用戶(hù)設(shè)備110a、110b、110c、…和110n)、信號(hào)生成器120、以及用于連接用戶(hù)設(shè)備110和信號(hào)生成器120的多個(gè)通信電纜130。
[0032]每個(gè)用戶(hù)設(shè)備110可以是具有特定計(jì)算和/或通信能力的設(shè)備，例如，智能攝像機(jī)、 智能可穿戴設(shè)備(例如，腕帶)、智能空調(diào)、智能空氣凈化器、智能冰箱、智能插座、智能門(mén)鈴等。用戶(hù)設(shè)備110可以是相同或不同類(lèi)型的設(shè)備。例如，所有的用戶(hù)設(shè)備110可以是能夠由信號(hào)生成器120觸發(fā)以同時(shí)拍攝對(duì)象的視頻的智能攝像機(jī)。再如，用戶(hù)設(shè)備110可以是不同的設(shè)備，例如，分別是智能空調(diào)、智能空氣凈化器以及智能咖啡機(jī)等，并且這些不同的用戶(hù)設(shè)備110可以由信號(hào)生成器120同時(shí)開(kāi)啟。[〇〇33]僅出于說(shuō)明的目的，后續(xù)描述假設(shè)用戶(hù)設(shè)備110是能夠同時(shí)拍攝視頻的智能攝像機(jī)。本文所公開(kāi)的攝像機(jī)可以是任意類(lèi)型的圖像捕捉設(shè)備。例如，用戶(hù)設(shè)備110可以是運(yùn)動(dòng)攝像機(jī)、數(shù)字?jǐn)z像機(jī)或者網(wǎng)絡(luò)攝像機(jī)。用戶(hù)設(shè)備110還可以嵌入到另一設(shè)備中，例如，智能電話(huà)、計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、監(jiān)視設(shè)備、視頻游戲控制臺(tái)等。[〇〇34]用戶(hù)設(shè)備110可以配置為以多種方式捕捉一個(gè)或多個(gè)圖像。例如，用戶(hù)設(shè)備110可以配置為通過(guò)編程、通過(guò)硬件設(shè)置或者通過(guò)其組合來(lái)捕捉用戶(hù)發(fā)起的圖像。在一些實(shí)施例中，當(dāng)用戶(hù)設(shè)備110配置為通過(guò)軟件或硬件編程或通過(guò)硬件設(shè)置捕捉圖像時(shí)，可以在一個(gè)或多個(gè)預(yù)定條件下執(zhí)行圖像捕捉。例如，用戶(hù)設(shè)備110可以響應(yīng)于用戶(hù)操作，例如用戶(hù)按壓在信號(hào)生成器120上的控制按鈕，來(lái)捕捉圖像。備選地或附加地，一組預(yù)定條件(例如，感知移動(dòng)對(duì)象)可以觸發(fā)用戶(hù)設(shè)備110來(lái)捕捉圖像。在一些實(shí)施例中，捕捉圖像可以包括用戶(hù)設(shè)備 110處于能夠捕捉一個(gè)或多個(gè)圖像的模式或設(shè)置中。如這里使用的，“圖像”可以局部或整體地指代靜態(tài)或動(dòng)態(tài)視覺(jué)表示，包括但不限于，照片、圖片、圖形、視頻、全息圖、虛擬現(xiàn)實(shí)圖像、增強(qiáng)現(xiàn)實(shí)圖像、其它視覺(jué)表示或其組合。
[0035]信號(hào)生成器120配置為生成用于觸發(fā)在每個(gè)用戶(hù)設(shè)備110中的操作的觸發(fā)信號(hào)，從而同步一些或所有用戶(hù)設(shè)備110的操作。信號(hào)生成器120可以是專(zhuān)門(mén)設(shè)計(jì)為同步用戶(hù)設(shè)備 110的操作的獨(dú)立設(shè)備。備選地，信號(hào)生成器120可以是較大設(shè)備(例如，計(jì)算機(jī)、移動(dòng)電話(huà)、 個(gè)人數(shù)字助理(PDA)、MP3(運(yùn)動(dòng)圖像專(zhuān)家組音頻層III)播放器、MP4播放器等)的一部分。信號(hào)生成器120可以包括用戶(hù)輸入設(shè)備，例如鍵盤(pán)、觸摸屏或支持用戶(hù)輸入的觸摸板。此外，可以通過(guò)硬件、軟件或硬件和軟件的組合來(lái)實(shí)現(xiàn)信號(hào)生成器120。[〇〇36]參考圖5,在一個(gè)示例性實(shí)施例中，信號(hào)生成器120可以是包括按鈕122的遠(yuǎn)程控制設(shè)備。信號(hào)生成器120可以包括電路，該電路配置為通過(guò)生成觸發(fā)信號(hào)來(lái)觸發(fā)一個(gè)或多個(gè)用戶(hù)設(shè)備110的操作而響應(yīng)用戶(hù)激活按鈕122。
[0037]有線(xiàn)連接(例如，通信電纜130)用于連接，并因此允許每個(gè)用戶(hù)設(shè)備110和信號(hào)生成器120之間進(jìn)行雙向通信。在一個(gè)實(shí)施例中，用戶(hù)設(shè)備110可以包括接口，例如微型通用串行總線(xiàn)(USB)接口，其配置為接納通信電纜130。類(lèi)似地，信號(hào)生成器120可以包括多個(gè)端口， 例如微型USB端口，從而通信電纜130可以使每個(gè)用戶(hù)設(shè)備110與信號(hào)生成器120連接。這樣， 信號(hào)生成器110可以將觸發(fā)信號(hào)發(fā)送給每個(gè)用戶(hù)設(shè)備，以同時(shí)觸發(fā)用戶(hù)設(shè)備110的特定操作。例如，觸發(fā)信號(hào)可以是能夠激活每個(gè)用戶(hù)設(shè)備110的傳感器的高電壓脈沖。有線(xiàn)連接能夠避免信號(hào)的額外轉(zhuǎn)變和轉(zhuǎn)換，并在一些應(yīng)用中提供比無(wú)線(xiàn)連接更可靠的信號(hào)傳輸信道。 因此，通信電纜130能夠最小化信號(hào)時(shí)延和損失。[〇〇38]然而，在一些實(shí)施例中，信號(hào)生成器120還可以無(wú)線(xiàn)地將觸發(fā)信號(hào)發(fā)送到用戶(hù)設(shè)備 110。例如，每個(gè)用戶(hù)設(shè)備110可以包括紅外信號(hào)收發(fā)器、近場(chǎng)通信(NFC)信號(hào)收發(fā)器、藍(lán)牙天線(xiàn)和/或無(wú)線(xiàn)路由器，以便于在用戶(hù)設(shè)備110和信號(hào)生成器120之間的短程雙向通信。
[0039]圖6是根據(jù)不例性實(shí)施例的用戶(hù)設(shè)備110的框圖。參考圖6，用戶(hù)設(shè)備110可以包括傳感器210、晶體振蕩器220和控制器230。
[0040]傳感器210可以是圖像傳感器，例如電荷耦合器件(CXD)傳感器或者互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器。傳感器210還可以包括以下中的任一種:光學(xué)設(shè)備、透鏡、(XD或 CMOS驅(qū)動(dòng)電路，以及以及用于發(fā)送和接收各種波長(zhǎng)的光的光學(xué)部件、電子部件和控制電路的其它布置。[〇〇41]傳感器210配置為將光信號(hào)(例如，光子)轉(zhuǎn)換為電子信號(hào)(例如，電子電荷)。傳感器210具有光電轉(zhuǎn)換表面(光接收表面)，其中布置有形成像素矩陣的多個(gè)光檢測(cè)器。傳感器 210將入射光光電轉(zhuǎn)換為電荷，所述入射光通過(guò)用戶(hù)設(shè)備110的透鏡和光圈機(jī)構(gòu)聚焦于光電轉(zhuǎn)換表面。傳感器210由驅(qū)動(dòng)器驅(qū)動(dòng)。根據(jù)從控制器230接收到的命令，通過(guò)傳感器驅(qū)動(dòng)器來(lái)調(diào)整傳感器210的曝光時(shí)間(S卩，快門(mén)速度)。傳感器210將在像素中累積的電荷作為圖像信號(hào)通過(guò)可變?cè)鲆娣糯笃鬏敵龅侥M-數(shù)字(A/D)轉(zhuǎn)換器?？刂破?30設(shè)置放大器的放大因子。 放大因子對(duì)應(yīng)于ISO感光度(S卩，光敏度)，例如，ISO 200、IS0 400、IS0 800或ISO 1600。八/1) 轉(zhuǎn)換器將放大后的圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字形式，并將數(shù)字?jǐn)?shù)據(jù)發(fā)送給控制器230以供進(jìn)一步處理。在本公開(kāi)中，這一過(guò)程被稱(chēng)作“捕捉圖像”或“捕捉幀”。
[0042]在視頻記錄模式或連續(xù)圖片記錄模式中，傳感器210可以配置為以各種分辨率和幀率捕捉圖像幀，例如，30fps下1296p的分辨率以及30fps或60fps下1080p的分辨率。傳感器210的幀率是傳感器210獲取圖像幀并隨后完全讀出圖像幀所需時(shí)間的倒數(shù)(inverse)。 傳感器210的讀出速率由數(shù)字化單個(gè)像素(S卩，將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào))所需的時(shí)間進(jìn)行決定，并定義為數(shù)字化時(shí)間的倒數(shù)。傳感器210的幀率并入了曝光時(shí)間，并將單個(gè)像素讀出速率擴(kuò)展到整個(gè)像素陣列。
[0043]通過(guò)幀獲取時(shí)間和幀讀取時(shí)間的組合來(lái)確定幀率，所述時(shí)間中的每一個(gè)取決于特定于傳感器210的操作細(xì)節(jié)。在數(shù)量上，幀率可以表示為以下等式:
[0044]幀率=1/(幀獲取時(shí)間+幀讀取時(shí)間)(等式1)
[0045]通常，多個(gè)基本操作影響幀獲取和幀讀取時(shí)間間隔?？梢酝ㄟ^(guò)但不限于以下項(xiàng)來(lái)確定幀獲取時(shí)間:1)在開(kāi)始信號(hào)積分(即，曝光)之前，從每個(gè)像素清除電荷所需的時(shí)間；2) 快門(mén)打開(kāi)時(shí)延;3)曝光時(shí)間；以及4)快門(mén)關(guān)閉時(shí)延?？梢酝ㄟ^(guò)但不限于以下項(xiàng)確定幀讀取時(shí)間:每像素?cái)?shù)字化時(shí)間乘以待讀取像素的個(gè)數(shù)。
[0046]特別地，在圖像獲取之前，傳感器210有必要清除像素矩陣中在曝光之前由于暗電流或其它電荷生成事件累積的電荷。在開(kāi)始實(shí)際的幀積分之前消除在像素陣列中累積的任意電荷減少了圖像拖尾(image smear)的現(xiàn)象，并允許更精確地控制逐幀的曝光。
[0047]如從上可以看出的，在傳感器210捕捉第一幀之前，用戶(hù)設(shè)備110需要大量時(shí)間來(lái)準(zhǔn)備幀捕捉。例如，用戶(hù)設(shè)備110需要執(zhí)行一系列任務(wù)，包括調(diào)整焦點(diǎn)、設(shè)置閃光、設(shè)置圖像分辨率、測(cè)量和收集其它拍攝參數(shù)、以及選擇適當(dāng)?shù)目扉T(mén)持續(xù)時(shí)間和光圈開(kāi)口。還例如，傳感器210需要在捕捉每個(gè)新的幀之前從每個(gè)像素清除殘留的電荷。僅在設(shè)置了所需的參數(shù)和清除了殘留的電荷之后，快門(mén)可以打開(kāi)，并且傳感器210可以開(kāi)始幀捕捉。
[0048]在傳感器210中清除殘留電荷以及讀取和設(shè)置拍攝參數(shù)所需的時(shí)間可以從幾十毫秒到長(zhǎng)達(dá)幾秒的范圍。因此，在按壓快門(mén)按鈕和實(shí)際開(kāi)始幀捕捉之間總是存在滯后。此外， 由于硬件差異，不同的用戶(hù)設(shè)備110可以具有不同的快門(mén)滯后。
[0049]與所公開(kāi)的實(shí)施例一致，可以通過(guò)硬件設(shè)計(jì)縮短快門(mén)滯后，從而減少開(kāi)始幀捕捉的同步誤差。例如，在同步成像模式中一般使用的拍攝參數(shù)可以保存在控制器230的緩沖器中，從而處理器可以容易地訪(fǎng)問(wèn)參數(shù)。再如，可以將一些拍攝參數(shù)寫(xiě)入到集成到傳感器210的固件中，以便減少在將參數(shù)提供給傳感器210時(shí)所涉及的時(shí)間。
[0050]如在方法1000(圖7)中更詳細(xì)描述的，還可以通過(guò)軟件設(shè)計(jì)來(lái)避免由快門(mén)滯后所引起同步誤差。例如，當(dāng)接收觸發(fā)信號(hào)時(shí)，可以對(duì)用戶(hù)設(shè)備110進(jìn)行編程以設(shè)置拍攝參數(shù)，并用預(yù)定的持續(xù)時(shí)間重置傳感器110,并啟動(dòng)傳感器110來(lái)在預(yù)定持續(xù)時(shí)間末尾處捕捉第一幀 (BP，打開(kāi)快門(mén)開(kāi)始信號(hào)積分)。預(yù)定持續(xù)時(shí)間可以足夠長(zhǎng)，以允許每個(gè)用戶(hù)設(shè)備110結(jié)束設(shè)置拍攝參數(shù)和重置傳感器110。這樣，在所有用戶(hù)設(shè)備110中的傳感器210可以同時(shí)開(kāi)始幀捕捉。
[0051]晶體振蕩器220是電子振蕩器電路，其使用壓電材料的振動(dòng)晶體(例如，石英晶體) 的機(jī)械共振來(lái)創(chuàng)建具有精確頻率的電信號(hào)?？梢詫⒂删w振蕩器220生成的頻率供應(yīng)給傳感器210和控制器230,以精確控制其操作。在示例性實(shí)施例中，為了確保多個(gè)用戶(hù)設(shè)備110 的精確同步，可以使用高精度晶體振蕩器，例如，具有百萬(wàn)分之(ppm)五的頻率容差的晶體振蕩器。5ppm頻率容差對(duì)應(yīng)于每秒5微秒的漂移。[〇〇52]實(shí)踐中，標(biāo)記有5ppm的晶體振蕩器實(shí)際上可能具有稍不同于5ppm的頻率容差。這是因?yàn)橹圃熳兓捅┞队诔莶顥l件(例如，機(jī)械沖擊)可能引起晶體振蕩器中永久的頻率誤差。另外，溫度、年限、濕度等的變化可能導(dǎo)致在晶體振蕩器中的短期誤差。例如，標(biāo)記有 5ppm的五十個(gè)晶體振蕩器的實(shí)際頻率誤差可以形成以5ppm為中心的正態(tài)分布。[〇〇53]可以通過(guò)用戶(hù)設(shè)備110的改進(jìn)的制造方法或?qū)τ脩?hù)設(shè)備110的硬件修改，來(lái)解決實(shí)際頻率容差中的這種差異。在一個(gè)實(shí)施例中，可以根據(jù)實(shí)際頻率容差，來(lái)測(cè)試和排序大量的 5ppm晶體振蕩器。晶體振蕩器還可以被劃分為若干組，每個(gè)組中的振蕩器具有小于lppm的差別。來(lái)自同一組的振蕩器隨后可以用于需要同步的用戶(hù)設(shè)備110上。例如，如果需要同步 16個(gè)用戶(hù)設(shè)備110,則可以根據(jù)實(shí)際頻率容差來(lái)測(cè)試和排序50個(gè)晶體振蕩器。然后可以選擇具有小于lppm差別的16個(gè)晶體振蕩器，并將其分別安裝在16個(gè)用戶(hù)設(shè)備110上。[〇〇54]在另一實(shí)施例中，可以使用晶體振蕩器來(lái)向需要同步的所有用戶(hù)設(shè)備110提供時(shí)鐘信號(hào)。例如，專(zhuān)用電路可以用于將晶體振蕩器連接到每個(gè)用戶(hù)設(shè)備110上，從而為每個(gè)用戶(hù)設(shè)備110提供相同的時(shí)鐘信號(hào)。
[0055]控制器230可以包括輸入/輸出(I/O)接口 232、處理單元234、存儲(chǔ)單元236和/或存儲(chǔ)器模塊238等。這些單元可以配置為在彼此之間轉(zhuǎn)移數(shù)據(jù)并發(fā)送或接收指令。
[0056] I/O接口 232可以配置為在控制器230和用戶(hù)設(shè)備110和其它設(shè)備的各種部件(例如，傳感器210和信號(hào)生成器120)之間進(jìn)行雙向通信。例如，I/O接口232可以接收從信號(hào)生成器120傳送的觸發(fā)信號(hào)，并將該觸發(fā)信號(hào)中繼到處理單元234,以用于發(fā)起視頻捕捉。再如，I/O接口232可以接收由傳感器210生成的圖像數(shù)據(jù)，并將所述數(shù)據(jù)中繼到處理單元234 以進(jìn)行編碼，或中繼到存儲(chǔ)單元236和/或存儲(chǔ)器模塊238以進(jìn)行存儲(chǔ)。[〇〇57]可以通過(guò)以下項(xiàng)目實(shí)現(xiàn)處理單元234:—個(gè)或多個(gè)專(zhuān)用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理設(shè)備(DSPD)、可編程邏輯設(shè)備(PLD)、現(xiàn)場(chǎng)可編程門(mén)陣列 (FPGA)、控制器、微控制器、微處理器或其它電子部件。處理單元234可以根據(jù)本文描述的技術(shù)執(zhí)行計(jì)算機(jī)指令(程序代碼)并執(zhí)行功能。計(jì)算機(jī)指令包括例程、程序、對(duì)象、部件、數(shù)據(jù)結(jié)構(gòu)、過(guò)程、模塊和函數(shù)，其執(zhí)行本文描述的特定功能。[〇〇58]存儲(chǔ)單元236和/或存儲(chǔ)器模塊238中的每一個(gè)包括一個(gè)或多個(gè)存儲(chǔ)器，所述存儲(chǔ)器配置為存儲(chǔ)用于同步用戶(hù)設(shè)備110的指令和數(shù)據(jù)?？梢岳靡韵马?xiàng)目實(shí)現(xiàn)存儲(chǔ)器:任何種類(lèi)的易失性或非易失性存儲(chǔ)器設(shè)備或其組合，例如，靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、可編程只讀存儲(chǔ)器 (PROM)、只讀存儲(chǔ)器(ROM)、磁存儲(chǔ)器、閃存、或者磁盤(pán)或光盤(pán)。[〇〇59]存儲(chǔ)單元236和/或存儲(chǔ)器模塊238可以配置為存儲(chǔ)處理單元234用于執(zhí)行用戶(hù)設(shè)備110的功能的計(jì)算機(jī)指令和數(shù)據(jù)。例如，存儲(chǔ)單元236和/或存儲(chǔ)器模塊238可以存儲(chǔ)同步應(yīng)用，用于精確地控制收集和對(duì)幀數(shù)據(jù)編碼的定時(shí)。再如，存儲(chǔ)單元236和/或存儲(chǔ)器模塊 238可以存儲(chǔ)每個(gè)編碼的圖像幀，從而稍后可以將編碼的圖像幀與由其它用戶(hù)設(shè)備110生成的幀組合以形成全景。
[0060]圖7是根據(jù)示例性實(shí)施例的用于同步多個(gè)用戶(hù)設(shè)備的操作(也就是任務(wù))的過(guò)程 1 〇〇〇的流程圖。例如，過(guò)程1 〇〇〇可以由控制器230執(zhí)行。參考圖7，過(guò)程1000可以包括以下步驟。
[0061]在步驟1010中，控制器230在第一時(shí)間點(diǎn)接收第一觸發(fā)信號(hào)，并激活用戶(hù)設(shè)備110。 [〇〇62]在示例性實(shí)施例中，每個(gè)用戶(hù)設(shè)備110通過(guò)通信電纜130連接到信號(hào)生成器120。為了激活用戶(hù)設(shè)備110,用戶(hù)可以按壓信號(hào)生成器120的按鈕122。響應(yīng)于用戶(hù)操作，信號(hào)生成器120可以將第一觸發(fā)信號(hào)發(fā)送到每個(gè)用戶(hù)設(shè)備110。
[0063]如果用戶(hù)設(shè)備110初始是關(guān)閉的或者處于空閑狀態(tài)，則第一觸發(fā)信號(hào)可以用于激活用戶(hù)設(shè)備110。在一個(gè)實(shí)施例中，用戶(hù)設(shè)備110的液晶顯示器(IXD)可以進(jìn)入睡眠模式，并且當(dāng)用戶(hù)設(shè)備110已經(jīng)空閑了給定時(shí)間段時(shí)，用戶(hù)設(shè)備110可以掉電。當(dāng)接收到第一觸發(fā)信號(hào)時(shí)，用戶(hù)設(shè)備110可以花費(fèi)若干秒醒來(lái)和準(zhǔn)備好拍攝圖像。[〇〇64]在接收到第一觸發(fā)信號(hào)之后，控制器230可以執(zhí)行特定任務(wù)以準(zhǔn)備圖像捕捉。例如，控制器230可以向緩沖器或存儲(chǔ)器模塊238加載拍攝參數(shù)和/或用于同步用戶(hù)設(shè)備110的指令，從而允許快速訪(fǎng)問(wèn)所述參數(shù)和指令。[〇〇65]在步驟1020中，控制器230在第二時(shí)間點(diǎn)接收第二觸發(fā)信號(hào)并重置傳感器210。
[0066]在接收到第二觸發(fā)信號(hào)之前，傳感器220可以處于各種狀態(tài)。例如，傳感器220可以是活躍的，允許電荷連續(xù)填充像素。再如，傳感器210可以處于睡眠狀態(tài)，以幫助減少生熱并改善信噪比。類(lèi)似于在攝像機(jī)上按壓“快門(mén)釋放”按鈕，第二觸發(fā)信號(hào)用于重置傳感器210并使其準(zhǔn)備好捕捉新的幀。因此，當(dāng)接收到第二觸發(fā)信號(hào)時(shí)，控制器230可以確?？扉T(mén)關(guān)閉并允許傳感器210清除任何殘留電荷。[〇〇67] 傳感器210的重置還要求控制器230設(shè)置用于傳感器210的拍攝參數(shù)。在一個(gè)實(shí)施例中，控制器130可以確定對(duì)于要成像的場(chǎng)景或主題合適的設(shè)置?；谒龃_定，控制器230 可以調(diào)整用戶(hù)設(shè)備110的焦點(diǎn)和變焦，設(shè)置圖像質(zhì)量，設(shè)置電子閃光的定時(shí)和持續(xù)時(shí)間，選擇適當(dāng)?shù)目扉T(mén)持續(xù)時(shí)間和光圈開(kāi)口，和/或測(cè)量并收集其它拍攝參數(shù)。
[0068]例如，如果使用自動(dòng)對(duì)焦模式，則控制器230可以確定自動(dòng)對(duì)焦設(shè)置。控制器230隨后可以確定場(chǎng)景的白平衡-色彩校正。之后，控制器230可以計(jì)算并設(shè)置曝光。[〇〇69] 例如，控制器230可以設(shè)置用于傳感器210的適當(dāng)幀率。如上所述，傳感器210的幀率由多種因素確定。例如，幀率部分由幀讀取時(shí)間所確定，而幀讀取時(shí)間是每像素?cái)?shù)字化時(shí)間乘以將要讀取的像素?cái)?shù)量的結(jié)果。如果將要讀取的像素?cái)?shù)量變化，則幀讀取時(shí)間以及因此幀率也將變化。因此，通過(guò)不同的拍攝參數(shù)，傳感器210可以實(shí)現(xiàn)不同的幀率。例如，用戶(hù)設(shè)備11 〇可以以各種分辨率和幀率記錄視頻，例如1080p/30f ps、1080p/60f ps、960p/48f ps、720p/120fps、480p/240fps 等。
[0070]然而，為了同步在多個(gè)用戶(hù)設(shè)備110中的視頻記錄，期望在每個(gè)用戶(hù)設(shè)備110中的傳感器210以相同的操作參數(shù)工作，從而多個(gè)用戶(hù)設(shè)備110生成的幀可以組合。因此，控制器 230可以規(guī)定傳感器210的統(tǒng)一幀率。例如，如果在同步成像模式下1080p/30fps是用于傳感器210的分辨率和幀率，則控制器230可以為傳感器210設(shè)置1080p/30fps。[〇〇71]在步驟1030中，控制器230在第三時(shí)間點(diǎn)發(fā)起幀捕捉。
[0072]將第三時(shí)間點(diǎn)和第二時(shí)間點(diǎn)之間的差設(shè)置為預(yù)定值，該值足夠長(zhǎng)從而允許所有用戶(hù)設(shè)備110完成重置各自的傳感器210。由于處理速度的多樣性，不同的用戶(hù)設(shè)備110可能花費(fèi)不同的持續(xù)時(shí)間來(lái)重置各自的傳感器210。在用戶(hù)設(shè)備110完成清除各自傳感器210上的殘留電荷以及設(shè)置拍攝參數(shù)之后，用戶(hù)設(shè)備110可以將各自的傳感器110保持不活躍直到第三時(shí)間點(diǎn)。因此，在第三時(shí)間點(diǎn)之前，用戶(hù)設(shè)備110中具有較快處理速度的傳感器210可以更長(zhǎng)時(shí)間保持不活躍。
[0073]在第三時(shí)間點(diǎn)，所有用戶(hù)設(shè)備110可以激活各自的傳感器210,并在同一時(shí)間開(kāi)始幀捕捉。這樣，可以最小化跨所有用戶(hù)設(shè)備110的快門(mén)滯后的差別。具體地，每個(gè)控制器230 打開(kāi)各自的快門(mén)并使得各自的傳感器210暴光?？扉T(mén)在再次關(guān)閉之前保持開(kāi)啟達(dá)指定的曝光持續(xù)時(shí)間，允許傳感器210執(zhí)行信號(hào)積分。積分的信號(hào)然后可以被讀出并發(fā)送到控制器 230。曝光和像素讀出周期可以以幀率重復(fù)以連續(xù)捕捉幀。將捕捉到的幀在被控制器230進(jìn)一步處理之前保存到緩沖器(例如，存儲(chǔ)單元236和/或存儲(chǔ)器模塊238的一部分)中。[〇〇74]在步驟1040中，控制器230在第四時(shí)間點(diǎn)接收第三觸發(fā)信號(hào)，并確定用戶(hù)設(shè)備110 是否在執(zhí)行先前發(fā)起的與同步成像操作無(wú)關(guān)的第二操作。
[0075]因?yàn)樵诮邮沼|發(fā)信號(hào)之前，用戶(hù)設(shè)備110可以同時(shí)運(yùn)行多個(gè)過(guò)程，所以執(zhí)行該第二操作。例如，用戶(hù)設(shè)備110可能正在運(yùn)行應(yīng)用以回放先前捕捉到的圖像。再如，用戶(hù)設(shè)備110 可以周期性監(jiān)視和顯示剩余的電池電量。這些過(guò)程與同步成像操作無(wú)關(guān)，但是消耗控制器 230的計(jì)算能力，并因此可能減慢處理捕捉到的幀的速度。[〇〇76]在步驟1050中，如果用戶(hù)設(shè)備110正在執(zhí)行第二操作，則控制器230停止執(zhí)行第二操作，例如，通過(guò)掛起或終止第二操作。
[0077] “掛起”指的是控制器230在一段時(shí)間內(nèi)臨時(shí)暫停執(zhí)行程序的情況。當(dāng)掛起程序時(shí)， 程序是“睡眠的”。所述程序不在中央處理單元(CPU)中運(yùn)行，但是仍然存在存儲(chǔ)器中并且其操作狀態(tài)被存儲(chǔ)，從而程序可以在短時(shí)間內(nèi)被“喚醒”以開(kāi)始執(zhí)行。相反，“終止”指的是控制器230使得程序完全“死亡”，從而程序被從CPU和存儲(chǔ)器中移除的情況。因此，如果程序被終止，則控制器230下次花費(fèi)較長(zhǎng)的時(shí)間來(lái)調(diào)用該程序。[〇〇78]通過(guò)掛起或終止第二操作，控制器230能夠?qū)⒆畲罂捎糜?jì)算能力專(zhuān)用于處理由傳感器210捕捉到的幀，并因此可以最小化從接收到第三觸發(fā)信號(hào)的時(shí)間和開(kāi)始編碼捕捉到的幀的時(shí)間起的延遲。通過(guò)減少該延遲，控制器230可以減少同步幀編碼的誤差。
[0079]在步驟1060中，控制器230在第五時(shí)間點(diǎn)發(fā)起幀編碼。
[0080]如在步驟1030中描述的，通過(guò)傳感器210捕捉到的幀保存在緩沖器中用于進(jìn)一步處理?？刂破?30然后可以從緩沖器讀取捕捉到的幀，并對(duì)所述幀進(jìn)行編碼以產(chǎn)生經(jīng)處理的圖像。經(jīng)處理的圖像可以是為在顯示器屏幕上顯示、為在存儲(chǔ)器中存儲(chǔ)等而格式化的圖像文件。在一個(gè)實(shí)施例中，控制器230可以執(zhí)行編碼步驟，包括清除Bayer處理、去馬賽克等，以及壓縮以格式化圖像數(shù)據(jù)進(jìn)行輸出?？刂破?30可以處理圖像數(shù)據(jù)以生成標(biāo)準(zhǔn)格式(例如 JPEG、PNG、TIFF、AVI或MPEG)的圖像或視頻文件。在一些實(shí)施例中，控制器230可以以傳感器 210所使用的幀率對(duì)幀進(jìn)行編碼，從而能夠同步幀捕捉和編碼。
[0081]可以將所有用戶(hù)設(shè)備110編程為在第五時(shí)間點(diǎn)發(fā)起幀編碼。因?yàn)榕c同步成像操作無(wú)關(guān)的操作被掛起或終止(步驟1050)，所以第五時(shí)間點(diǎn)和第四時(shí)間點(diǎn)之間的差可以設(shè)置地非常短，例如，幾毫秒。這樣，可以用該差限制在同步幀結(jié)束中的任何誤差。[〇〇82] 實(shí)踐中，雖然有重置傳感器210的同步機(jī)制(步驟1020-1030)，但是不同的傳感器 210仍然可在不同時(shí)間點(diǎn)開(kāi)始幀捕捉?？紤]到這種可能性，可以將第五時(shí)間點(diǎn)和第三時(shí)間點(diǎn)很好地分離，以便最小化幀失配的風(fēng)險(xiǎn)。下面結(jié)合圖8解釋了該情形。圖8是根據(jù)示例性實(shí)施例的示出過(guò)程1000的實(shí)現(xiàn)的示意圖。參考圖8,重置用戶(hù)設(shè)備110a和110b中的傳感器210(下文中分別稱(chēng)作傳感器210a和21 Ob)，以在第三時(shí)間點(diǎn)時(shí)間To(例如，0ms)處發(fā)起幀捕捉，從而開(kāi)始視頻捕捉。隨后，傳感器210a可以在每個(gè)時(shí)間點(diǎn)等處生成幀。并且傳感器210b 可以在每個(gè)時(shí)間點(diǎn)11、12、13處生成幀。此外，用戶(hù)設(shè)備110&和11013中的控制器230(下文分別稱(chēng)作傳感器230a和230b)在每個(gè)時(shí)間點(diǎn)T1、T2、T3等處獲得并對(duì)幀編碼。這里，h是第五時(shí)間點(diǎn)，在此控制器230a和230b開(kāi)始獲得并編碼分別由傳感器210a和210b生成的第一幀。 [〇〇83]實(shí)踐中，由于系統(tǒng)配置的差別，傳感器210a和210b可能分別在稍微不同的時(shí)間點(diǎn) (即，ti和t’ 1)處生成第一幀。例如，ti = 10ms并且t’ i = 1 lms。如果兩個(gè)傳感器210a和210b都以30fps的幀率操作，則傳感器210a和210b中的每一個(gè)可以大約每33ms生成一幀。例如，傳感器210a和210b可以在大約t2 = 43ms和t’2 = 44ms處生成各自的第二幀。如果第五時(shí)間點(diǎn)Ti 設(shè)置在10.5ms處，則控制器230a將不能獲得和對(duì)傳感器210a生成的第一幀進(jìn)行編碼。更糟的是，由于傳感器210a生成的第二幀實(shí)際上是控制器230a獲得和編碼的第一幀。傳感器 210a生成的第二幀將與傳感器210b生成的第一幀組合來(lái)形成全景。因此，導(dǎo)致幀失配。
[0084] 為了解決上述問(wèn)題，可以將第五時(shí)間點(diǎn)^選為顯著不同于tdPt、的值，從而1^實(shí)際上不能落入到tdPt、之間。例如，如果試驗(yàn)顯示“和丨^通常位于lOms-llms的范圍內(nèi)，則可以將Ti設(shè)置為20ms。這可以防止控制器230忽略由對(duì)應(yīng)傳感器210生成的第一幀。[〇〇85]在步驟1070中，控制器230在發(fā)起編碼幀之后恢復(fù)第二操作。
[0086]在開(kāi)始幀編碼之后，控制器230的計(jì)算能力不再需要專(zhuān)用于確保準(zhǔn)確發(fā)起編碼。因此，控制器230可以恢復(fù)先前掛起或終止的第二操作。[〇〇87]在步驟1080中，用戶(hù)設(shè)備110根據(jù)預(yù)定速率重復(fù)幀捕捉和編碼。[〇〇88] 這里，預(yù)定速率是傳感器210的幀率。例如，如果用于同步目的的幀率是30fps，則控制器230還可以根據(jù)30Hz的速率重復(fù)幀編碼。在示例性實(shí)施例中，為了在視頻捕捉的整個(gè)過(guò)程中確保幀同步，晶體振蕩器220的頻率可以用于防止用戶(hù)設(shè)備110的系統(tǒng)時(shí)鐘漂移。
[0089]總之，本公開(kāi)提供了用于同步多個(gè)攝像機(jī)的成像過(guò)程的技術(shù)方案。首先，使用專(zhuān)用通信電纜來(lái)傳送觸發(fā)信號(hào)，從而最小化信號(hào)延遲和損失。例如，在有線(xiàn)連接中的信號(hào)傳輸可以限制到幾微秒，這使得可以將同步誤差減少到幾毫秒。
[0090]第二，每個(gè)攝像機(jī)的工作流被劃分成多個(gè)階段，包括攝像機(jī)激活、傳感器重置和幀編碼。每個(gè)階段被分別觸發(fā)和同步。在各階段之間允許足夠的時(shí)間來(lái)支持對(duì)下一階段的準(zhǔn)備。這樣，可以改善同步的整體精度。
[0091]在一些實(shí)施例中，可以通過(guò)觸發(fā)信號(hào)攜帶的信息來(lái)區(qū)別不同階段的觸發(fā)信號(hào)。例如，可以用唯一識(shí)別符(UID)對(duì)觸發(fā)信號(hào)編碼。UID可以實(shí)現(xiàn)為不同的電壓電平。第一電壓電平可以用于識(shí)別攝像機(jī)的激活。第二電壓電平可以用于識(shí)別圖像傳感器的重置。第三電壓電平可以對(duì)應(yīng)于幀編碼的開(kāi)始。
[0092]第三，在傳感器重置階段，在公共時(shí)間點(diǎn)之前可以重置所有圖像傳感器，然后將其激活以在公共時(shí)間點(diǎn)處發(fā)起幀捕捉。因此，可以減少跨攝像機(jī)的快門(mén)滯后的差別。
[0093]第四，當(dāng)接收到發(fā)起幀編碼的命令時(shí)，攝像機(jī)掛起或終止與成像過(guò)程無(wú)關(guān)的操作， 從而減少開(kāi)始幀編碼的時(shí)延。此外，將幀編碼的定時(shí)與幀捕捉的定時(shí)很好地分離開(kāi)，并因此可以最小化幀失配的風(fēng)險(xiǎn)。
[0094]第五，高精度的晶體振蕩器可以用于減小攝像機(jī)間的時(shí)鐘漂移。例如，可以從大量晶體振蕩器中通過(guò)測(cè)試和排序來(lái)選擇用于同步目的的晶體振蕩器。再例如，晶體振蕩器可以用于向所有攝像機(jī)提供時(shí)鐘信號(hào)。[〇〇95]雖然在此已經(jīng)描述了說(shuō)明性實(shí)施例，但是基于本公開(kāi)本領(lǐng)域技術(shù)人員將理解，任意和所有實(shí)施例的范圍可以具有等同的元件、修改、省略、(例如，跨各個(gè)實(shí)施例的方面的) 組合、適配和/或改變。應(yīng)基于權(quán)利要求中采用的語(yǔ)言對(duì)權(quán)利要求中的限定進(jìn)行寬泛解釋?zhuān)?而不應(yīng)將其限制到在本說(shuō)明書(shū)中描述的或在本申請(qǐng)審查期間的例子。所述例子將被解釋為非排它的。此外，可以以任何方式修改所公開(kāi)的過(guò)程的步驟，包括通過(guò)重新排序步驟和/或插入或刪除步驟。因此，意圖將說(shuō)明書(shū)和例子視為僅說(shuō)明性的，真實(shí)的范圍和精神由所附權(quán)利要求及等同物的全部范圍表示。
【主權(quán)項(xiàng)】
1.一種第一設(shè)備的同步方法，包括:接收用于發(fā)起操作的信號(hào)；優(yōu)先化用于所述操作的處理能力；以及 在接收到所述信號(hào)之后，在計(jì)算出的時(shí)間量處開(kāi)始所述操作。2.根據(jù)權(quán)利要求1所述的方法，其中，所述第一設(shè)備經(jīng)由有線(xiàn)連接接收信號(hào)。3.根據(jù)權(quán)利要求1所述的方法，其中:所述操作是第一操作;并且 優(yōu)先化處理能力包括:響應(yīng)于接收到所述信號(hào)，確定所述第一設(shè)備當(dāng)前是否在執(zhí)行第二操作；以及 如果所述第一設(shè)備當(dāng)前在執(zhí)行所述第二操作，則停止執(zhí)行所述第二操作。4.根據(jù)權(quán)利要求3所述的方法，還包括:在開(kāi)始所述第一操作之后，恢復(fù)所述第二操作。5.根據(jù)權(quán)利要求1所述的方法，其中，所述操作包括以預(yù)定速率對(duì)圖像幀進(jìn)行編碼。6.根據(jù)權(quán)利要求5所述的方法，其中:所述信號(hào)是第一信號(hào)；所述計(jì)算出的時(shí)間量是第一時(shí)間量；以及 所述方法還包括:在接收所述第一信號(hào)之前，接收第二信號(hào)；響應(yīng)于所述第二信號(hào)，重置所述第一設(shè)備的圖像傳感器；以及在接收到所述第二信號(hào)之后，控制所述圖像傳感器在第二時(shí)間量處開(kāi)始捕捉圖像幀。7.根據(jù)權(quán)利要求6所述的方法，還包括:基于重置所述圖像傳感器所需的持續(xù)時(shí)間，計(jì)算所述第二時(shí)間量。8.根據(jù)權(quán)利要求7所述的方法，其中:由包括圖像傳感器的第二設(shè)備執(zhí)行所述操作；所述方法用于同步在所述第一設(shè)備中和在所述第二設(shè)備中的操作；以及 所述第二時(shí)間量比第一和第二設(shè)備重置各自的圖像傳感器所需要的持續(xù)時(shí)間長(zhǎng)。9.根據(jù)權(quán)利要求6所述的方法，其中，重置所述圖像傳感器包括:防止所述圖像傳感器在所述第二時(shí)間量期間捕捉圖像幀。10.根據(jù)權(quán)利要求6所述的方法，其中:在開(kāi)始捕捉之后，控制所述圖像傳感器以預(yù)定速率捕捉圖像幀。11.根據(jù)權(quán)利要求10所述的方法，其中:由包括圖像傳感器的第二設(shè)備執(zhí)行所述操作；所述方法用于同步在所述第一設(shè)備中和在所述第二設(shè)備中的操作；所述第一設(shè)備的圖像傳感器在時(shí)間點(diǎn)七和^生成兩個(gè)連續(xù)的圖像幀；所述第二設(shè)備的圖像傳感器在時(shí)間點(diǎn)七’和t2’生成兩個(gè)連續(xù)的圖像幀；以及 計(jì)算所述第一時(shí)間量，從而所述第一設(shè)備在時(shí)間點(diǎn)T處開(kāi)始對(duì)圖像幀進(jìn)行編碼，其中tK T〈t2且tl’〈T〈t2’。12.根據(jù)權(quán)利要求6所述的方法，還包括:在接收到所述第二信號(hào)之前，接收第三信號(hào)；以及響應(yīng)于所述第三信號(hào)，激活所述第一設(shè)備。13.根據(jù)權(quán)利要求5所述的方法，其中:通過(guò)第二設(shè)備執(zhí)行所述操作；所述方法用于同步在所述第一設(shè)備中和在所述第二設(shè)備中的操作；以及 所述第一和第二設(shè)備根據(jù)晶體振蕩器的頻率維持預(yù)定速率。14.第一設(shè)備，包括:存儲(chǔ)器，用于存儲(chǔ)指令；以及 處理器，被配置為執(zhí)行所述指令，以:接收用于發(fā)起操作的信號(hào)；優(yōu)先化用于所述操作的處理能力；以及 在接收到所述信號(hào)之后，在計(jì)算出的時(shí)間量處開(kāi)始所述操作。15.根據(jù)權(quán)利要求14所述的第一設(shè)備，其中:所述操作是第一操作;并且所述處理器還被配置為執(zhí)行指令，以:響應(yīng)于接收到所述信號(hào)，確定所述第一設(shè)備當(dāng)前是否在執(zhí)行第二操作；以及 如果所述第一設(shè)備當(dāng)前在執(zhí)行所述第二操作，則停止執(zhí)行所述第二操作。16.根據(jù)權(quán)利要求15所述的第一設(shè)備，其中，所述處理器還被配置為執(zhí)行所述指令，以: 在開(kāi)始所述第一操作之后，恢復(fù)所述第二操作。17.根據(jù)權(quán)利要求14所述的第一設(shè)備，其中，所述操作包括以預(yù)定速率對(duì)圖像幀進(jìn)行編碼。18.根據(jù)權(quán)利要求17所述的第一設(shè)備，還包括:圖像傳感器；其中:所述信號(hào)是第一信號(hào)；所述計(jì)算出的時(shí)間量是第一時(shí)間量；以及 所述處理器還被配置為執(zhí)行所述指令，以:在接收所述第一信號(hào)之前，接收第二信號(hào)；響應(yīng)于所述第二信號(hào)，重置所述圖像傳感器；以及在接收到所述第二信號(hào)之后，控制所述圖像傳感器在第二時(shí)間量處開(kāi)始捕捉圖像幀。19.根據(jù)權(quán)利要求18所述的第一設(shè)備，其中，所述處理器還被配置為執(zhí)行所述指令，以: 基于重置所述圖像傳感器所需的持續(xù)時(shí)間，計(jì)算所述第二時(shí)間量。20.根據(jù)權(quán)利要求19所述的第一設(shè)備，其中:由包括圖像傳感器的第二設(shè)備執(zhí)行所述操作；以及所述第二時(shí)間量比第一和第二設(shè)備重置各自的圖像傳感器所需要的持續(xù)時(shí)間長(zhǎng)。21.根據(jù)權(quán)利要求18所述的第一設(shè)備，其中，所述處理器還被配置為執(zhí)行所述指令，以: 防止所述圖像傳感器在所述第二時(shí)間量期間捕捉圖像幀。22.根據(jù)權(quán)利要求18所述的第一設(shè)備，其中，所述處理器還被配置為執(zhí)行所述指令，以: 在開(kāi)始捕捉之后，控制所述圖像傳感器以預(yù)定速率捕捉圖像幀。23.根據(jù)權(quán)利要求18所述的第一設(shè)備，其中:由包括圖像傳感器的第二設(shè)備執(zhí)行所述操作；所述第一設(shè)備的圖像傳感器在時(shí)間點(diǎn)七和^生成兩個(gè)連續(xù)的圖像幀；所述第二設(shè)備的圖像傳感器在時(shí)間點(diǎn)七’和t2’生成兩個(gè)連續(xù)的圖像幀；以及 所述處理器還被配置為執(zhí)行所述指令，以:計(jì)算所述第一時(shí)間量，從而所述第一設(shè)備在時(shí)間點(diǎn)T處開(kāi)始對(duì)圖像幀進(jìn)行編碼，其中tK T〈t2且tl’〈T〈t2’。24.—種同步系統(tǒng)，包括:信號(hào)生成器；以及通信地連接到所述信號(hào)生成器的多個(gè)設(shè)備；其中:所述信號(hào)生成器被配置為響應(yīng)于用戶(hù)輸入而將信號(hào)發(fā)送給設(shè)備；以及所述設(shè)備被配置 為:接收信號(hào)；優(yōu)先化用于操作的處理能力；以及在接收到所述信號(hào)之后，在計(jì)算出的時(shí)間量處開(kāi)始所述操作。25.根據(jù)權(quán)利要24所述的系統(tǒng)，其中，所述設(shè)備經(jīng)由有線(xiàn)連接連接到所述信號(hào)生成器。26.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中:所述系統(tǒng)還包括通信地連接到多個(gè)設(shè)備的晶體振蕩器；以及 其中，所述設(shè)備還被配置為:根據(jù)所述晶體振蕩器的頻率，執(zhí)行所述操作。27.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中:所述設(shè)備包括具有指定頻率容差的晶體振蕩器；以及 所述晶體振蕩器的實(shí)際頻率容差間的差別小于預(yù)定閾值。
【文檔編號(hào)】H04N13/02GK105979159SQ201610578584
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2016年7月21日
【發(fā)明人】和超
【申請(qǐng)人】上海云蟻科技有限公司