圖像處理方法和支持該方法的電子設(shè)備的制造方法
【專利摘要】提供了一種圖像處理方法，包括以下操作：收集第一運(yùn)動(dòng)圖像；提取關(guān)于形成所述第一運(yùn)動(dòng)圖像的幀中的至少一部分幀的空間信息；將所提取的空間信息反映到與所述第一運(yùn)動(dòng)圖像相對(duì)應(yīng)的3D視圖的生成。
【專利說(shuō)明】圖像處理方法和支持該方法的電子設(shè)備
[0001 ] 本申請(qǐng)要求2015年2月27日在韓國(guó)知識(shí)產(chǎn)權(quán)局提交的韓國(guó)專利申請(qǐng)10-2015-0028646的優(yōu)先權(quán)，其內(nèi)容以全文引用的方式并入本文中。
技術(shù)領(lǐng)域
[0002]本公開(kāi)涉及用于使用2D圖像數(shù)據(jù)生成3D視圖的圖像處理方法以及支持所述方法的電子設(shè)備。
【背景技術(shù)】
[0003]諸如智能電話、平板計(jì)算機(jī)和數(shù)碼相機(jī)的電子設(shè)備能夠提供多種功能，比如拍攝照片或運(yùn)動(dòng)圖像、媒體輸出等。在拍攝照片或運(yùn)動(dòng)圖像時(shí)，這些電子設(shè)備可提供多種選項(xiàng)。從原始2D圖像(原始圖像)生成3D視圖將花費(fèi)相當(dāng)大量的時(shí)間。將拍攝原始圖像，并將其存儲(chǔ)在用戶終端的存儲(chǔ)器中。3D視圖將根據(jù)所存儲(chǔ)的2D圖像生成。原始圖像將被發(fā)送到外部服務(wù)器，并且外部服務(wù)器將根據(jù)從用戶終端接收的原始圖像生成3D視圖。然后，外部服務(wù)器能夠?qū)⑺傻?D視圖發(fā)送到用戶終端，并且所述用戶終端輸出所接收的3D視圖。上述方案將使得在拍攝2D圖像時(shí)對(duì)3D視圖生成進(jìn)行實(shí)時(shí)錯(cuò)誤檢查是不可行的。

【發(fā)明內(nèi)容】

[0004]本公開(kāi)的各個(gè)方面是為了至少解決上述問(wèn)題和/或缺點(diǎn)，并且至少提供以下描述的優(yōu)點(diǎn)。相應(yīng)地，本公開(kāi)提供了用于使用2D圖像數(shù)據(jù)生成3D視圖的圖像處理方法以及支持所述方法的電子設(shè)備。根據(jù)本公開(kāi)的一方面，
[0005]根據(jù)本公開(kāi)的各個(gè)實(shí)施例，能夠允許電子設(shè)備通過(guò)基于原始圖像和附加分析圖像生成3D信息來(lái)縮短圖像分析時(shí)間。
[0006]根據(jù)本公開(kāi)的各個(gè)實(shí)施例，還能夠允許電子設(shè)備基于從原始圖像和附加分析圖像中提取的空間信息來(lái)提高通過(guò)對(duì)原始圖像進(jìn)行拍攝的模式來(lái)生成3D視圖的拍攝準(zhǔn)確度。
【附圖說(shuō)明】
[0007]圖1是示出了根據(jù)各個(gè)實(shí)施例的電子設(shè)備的框圖。
[0008]圖2是示出了根據(jù)各個(gè)實(shí)施例的3D視圖生成的過(guò)程的流程圖。
[0009]圖3A和3B是示出了根據(jù)各個(gè)實(shí)施例的收集第一圖像信息的過(guò)程的示例性圖。
[0010]圖4A是示出了根據(jù)各個(gè)實(shí)施例的從第一圖像信息收集第二圖像信息的過(guò)程的示例性圖。
[0011]圖4B是示出了根據(jù)各個(gè)實(shí)施例的使用空間信息和所存儲(chǔ)的第一圖像生成3D視圖的過(guò)程的示例性圖。
[0012]圖4C是示出了根據(jù)2D圖像和空間信息實(shí)時(shí)生成3D視圖的方法的示例性圖。
[0013]圖4D是示出了使用第二運(yùn)動(dòng)圖像和空間信息通過(guò)背景改變生成3D視圖的方法的示例性圖。
[0014]圖5A和5B是示出了根據(jù)各個(gè)實(shí)施例的從第一運(yùn)動(dòng)圖像中采樣第二運(yùn)動(dòng)圖像的過(guò)程的示例性圖。
[0015]圖6示出了根據(jù)各個(gè)實(shí)施例的使用從第二運(yùn)動(dòng)圖像中提取的信息修正第一運(yùn)動(dòng)圖像的過(guò)程。
[0016]圖7示出了根據(jù)各個(gè)實(shí)施例的基于第二運(yùn)動(dòng)圖像的特征信息修正第一運(yùn)動(dòng)圖像的過(guò)程。
[0017]圖8是示出了根據(jù)各個(gè)實(shí)施例的基于第二運(yùn)動(dòng)圖像的模式改變的過(guò)程的流程圖。
[0018]圖9是示出了根據(jù)各個(gè)實(shí)施例的拍攝模式改變的過(guò)程的流程圖。
[0019]圖10是示出了根據(jù)各個(gè)實(shí)施例的對(duì)象居中過(guò)程的流程圖。
[0020]圖11是示出了根據(jù)各個(gè)實(shí)施例的用于對(duì)象居中過(guò)程的屏幕的示例性圖。
[0021 ]圖12A和12B是示出了根據(jù)各個(gè)實(shí)施例的使用3D視圖的屏幕的示例性圖。
[0022]圖13是示出了根據(jù)各個(gè)實(shí)施例的電子設(shè)備的框圖。
[0023]圖14是根據(jù)各種實(shí)施例的程序模塊的框圖。
【具體實(shí)施方式】
[0024]在下文中，將參照附圖詳細(xì)地描述本公開(kāi)的多個(gè)實(shí)施例。但是，本文所述的各種實(shí)施例并不用來(lái)限制于特定實(shí)施例，而應(yīng)該被理解為包括多種修改、等同和/或替換。相對(duì)于附圖的描述，類似的參考數(shù)字表示類似的元素。
[0025]術(shù)語(yǔ)“具有”、“可以具有”、“包含”和“包括”或“可以包含”和“可以包括”表示存在相應(yīng)的特征(例如，數(shù)值、功能、操作或組件)，但是不排除其他特征。
[0026]在本文中，術(shù)語(yǔ)“A或B”、“A或/和B中的至少一項(xiàng)”或“A或/和B中的一個(gè)或多個(gè)”可以包括所列出項(xiàng)目的所有可能組合。例如，術(shù)語(yǔ)“A或B”、“A和B中的至少一個(gè)”、“A或B中的至少一個(gè)”可以指示以下所有情況:(I)包括至少一個(gè)A，(2)包括至少一個(gè)B，或者(3)包括至少一個(gè)A和至少一個(gè)B。
[0027]本文中，術(shù)語(yǔ)“第一”、“第二”等可以不考慮順序和/或重要性地標(biāo)示各組件。其僅用于彼此相區(qū)分，而不將這些元素限制于此。例如，第一用戶設(shè)備和第二用戶設(shè)備都指示不同的用戶設(shè)備。例如，在不脫離本公開(kāi)范圍的情況下，第一元素可稱為第二元素，反之亦然。
[0028]應(yīng)該理解，當(dāng)一個(gè)元素(例如，第一元素)被稱為“操作地或者通信地耦接至”或者“連接至”另一元素(例如，第二元素)時(shí)，應(yīng)該理解的是，前者可以與后者直接耦接，或者可以通過(guò)中間元素(例如，第三元素)與后者連接。相反，將理解的是，如果一個(gè)元素被稱為“直接連接到”或“直接耦接到”另一元素，則可理解在二者之間不存在任何中間元素(例如，第三元素)。
[0029]在說(shuō)明書或權(quán)利要求中，術(shù)語(yǔ)“被配置為”(或被設(shè)置為)可以與其他連帶意思替換使用，比如“適用于”、“具有……的能力”、“設(shè)計(jì)為”、“適于”、“形成為”、“能夠”互換，而不是簡(jiǎn)單地指示“特別地設(shè)計(jì)為” ο備選地，在一些情況下，術(shù)語(yǔ)“設(shè)備被配置為”可以表示該設(shè)備“可以”與其他設(shè)備或組件一起做某些事情。例如，術(shù)語(yǔ)“處理器被配置為(或設(shè)置為)執(zhí)行A、B和C”可以指示通用處理器(例如，CPU或應(yīng)用程序處理器)，所述通用處理器能夠通過(guò)執(zhí)行在用于相關(guān)的操作的專用處理器(例如，嵌入式處理器)或存儲(chǔ)器中存儲(chǔ)的一個(gè)或多個(gè)軟件或程序來(lái)執(zhí)行相關(guān)的操作。
[0030]說(shuō)明書使用的術(shù)語(yǔ)用于描述本公開(kāi)的各種實(shí)施例，而不是為了限制本公開(kāi)的范圍。除非另有規(guī)定，單數(shù)形式的術(shù)語(yǔ)可以包括多數(shù)形式。除非這里另有說(shuō)明，這里使用的所有術(shù)語(yǔ)(包括技術(shù)和科學(xué)術(shù)語(yǔ))可具有與本公開(kāi)所屬領(lǐng)域的技術(shù)人員通常所理解的含義相同的含義。還應(yīng)該理解，在通用字典中定義并且常用的術(shù)語(yǔ)應(yīng)該按相關(guān)技術(shù)中的慣例進(jìn)行解釋，而不應(yīng)該解釋為具有理想化或過(guò)度刻板的含義，除非在本公開(kāi)中明確限定。在一些情況下，即使說(shuō)明書中定義的術(shù)語(yǔ)也不能被理解成排除本公開(kāi)的實(shí)施例。
[0031]下文中，將結(jié)合附圖來(lái)描述根據(jù)各種實(shí)施例的電子設(shè)備。在各個(gè)實(shí)施例的描述中，術(shù)語(yǔ)“用戶”可指使用電子設(shè)備的人或者使用電子設(shè)備的設(shè)備(如人工智能電子設(shè)備)。
[0032]圖1是示出了根據(jù)各個(gè)實(shí)施例的電子設(shè)備的框圖。
[0033]參考圖1，電子設(shè)備101包括總線110、處理器120、存儲(chǔ)器130、傳感器模塊140、輸入/輸出接口 150、顯示器160、通信接口 170、相機(jī)模塊180和3D轉(zhuǎn)換模塊190。在一些實(shí)施例中，電子設(shè)備101可不包括上述元素中的至少一個(gè)，或者還可以包括其他部件。
[0034]總線110可以包括(例如)將處理器120、存儲(chǔ)器130、傳感器模塊140、輸入/輸出接口 150、顯示器160、通信接口 170、相機(jī)模塊180和3D轉(zhuǎn)換模塊190彼此相連并在元件之間中繼通信(例如控制消息和/或數(shù)據(jù))的電路。
[0035]處理器120可包括中央處理單元(CPU)、應(yīng)用處理器(AP)或通信處理器(CP)中的至少一個(gè)或多個(gè)。例如，處理器120可以執(zhí)行計(jì)算或數(shù)據(jù)操作，以用于電子設(shè)備101的至少一個(gè)其它元素的控制和/或通信。在各個(gè)實(shí)施例中，處理器120可處理通過(guò)傳感器模塊140收集的信息。處理器120可基于通過(guò)傳感器模塊140收集的信息確定關(guān)于電子設(shè)備101的移動(dòng)方向、移動(dòng)距離、加速度的信息。通過(guò)處理器120計(jì)算的信息可提供到3D轉(zhuǎn)換模塊190。
[0036]存儲(chǔ)器130可以包括易失性和/或非易失性存儲(chǔ)器。存儲(chǔ)器130可以存儲(chǔ)例如與電子設(shè)備101中的至少一個(gè)其它元素中所涉及的指令或數(shù)據(jù)。根據(jù)實(shí)施例，存儲(chǔ)器130可以存儲(chǔ)軟件和/或程序。
[0037]舉例來(lái)講，傳感器模塊140可以測(cè)量物理量或檢測(cè)電子設(shè)備101的操作狀態(tài)，并且可以將測(cè)量的或檢測(cè)的信息轉(zhuǎn)換為電信號(hào)。舉例來(lái)講，傳感器模塊140可以包括手勢(shì)傳感器、陀螺儀傳感器、加速傳感器、握持傳感器、鄰近傳感器、生物計(jì)量傳感器、發(fā)光傳感器等。
[0038]根據(jù)各個(gè)實(shí)施例，傳感器模塊140可收集關(guān)于電子設(shè)備101的移動(dòng)方向、移動(dòng)速度、位置的信息。修正的信息可提供給處理器120或3D轉(zhuǎn)換模塊190。
[0039]輸入/輸出接口150可以用作例如能夠向電子設(shè)備101的其他元素發(fā)送從用戶或其他外部設(shè)備輸入的指令或數(shù)據(jù)的接口。此外，輸入/輸出接口 150可以向用戶或另一個(gè)外部設(shè)備輸出從電子設(shè)備101的另一元素(或其他元素)接收的指令或數(shù)據(jù)。
[0040]顯示器160可以包括例如液晶顯示器(LCD)、發(fā)光二極管(LED)顯示器、有機(jī)LED(OLED)、微機(jī)電系統(tǒng)(MEMS)顯示器或電子紙顯示器。顯示器160可以向用戶顯示各種內(nèi)容(例如，文本、圖像、視頻、圖標(biāo)或符號(hào))。顯示器160可包括觸摸屏，并可接收例如通過(guò)使用電子筆或用戶身體的一部分進(jìn)行的觸摸、手勢(shì)、接近或懸停的輸入。
[0041 ]通信接口 170可以在例如電子設(shè)備101和外部電子設(shè)備(例如，第一外部電子設(shè)備102、第二外部電子設(shè)備104或服務(wù)器106)之間設(shè)置通信。例如，通信接口 170可以通過(guò)無(wú)線通信或有線通信與連接到網(wǎng)絡(luò)162的外部電子設(shè)備(例如，第二外部電子設(shè)備104或服務(wù)器106)通信。
[0042]相機(jī)模塊180拍攝照片或圖像。在各個(gè)實(shí)施例中，通過(guò)相機(jī)模塊180收集的2D圖像(針對(duì)本文檔的目的，術(shù)語(yǔ)“圖像”應(yīng)該是一般術(shù)語(yǔ)，其包括但不限于“一幀”、“多幀”或“幀”的一部分)可用于生成3D視圖。用戶可使用相機(jī)模塊180來(lái)拍攝將被轉(zhuǎn)換成3D視圖的對(duì)象。用戶可在沿圍繞對(duì)象的特定路徑(例如環(huán)形路徑)移動(dòng)的同時(shí)使用相機(jī)模塊180來(lái)拍攝對(duì)象。根據(jù)所拍攝的圖像，可通過(guò)3D轉(zhuǎn)換模塊190提取空間信息，比如特征和深度，然后可將其轉(zhuǎn)換成3D視圖。在各個(gè)實(shí)施例中，空間信息可包括以下信息中的至少一部分:(I)相對(duì)坐標(biāo)信息(X-Y-Z位置和偏轉(zhuǎn)-俯仰-擺動(dòng)方向)；(2)相對(duì)于特征的深度(深度可以是相機(jī)和對(duì)象的形狀的一部分(例如特征)之間的間隔)；以及(3)所拍攝的圖像之間的相對(duì)轉(zhuǎn)換信息和通過(guò)相對(duì)轉(zhuǎn)換信息估計(jì)的相對(duì)相機(jī)移動(dòng)信息。
[0043]3D轉(zhuǎn)換模塊190可處理通過(guò)相機(jī)模塊180拍攝的圖像，然后可生成3D視圖。3D轉(zhuǎn)換模塊190可提取關(guān)于特征和深度的空間信息，然后可生成對(duì)象的3D視圖。在各個(gè)實(shí)施例中，如果相機(jī)模塊180開(kāi)始拍攝對(duì)象，則3D轉(zhuǎn)換模塊190可生成分析圖像，所述分析圖像基于所拍攝的原始圖像進(jìn)行按比例縮小或采樣。3D轉(zhuǎn)換模塊190可同時(shí)執(zhí)行從分析圖像中提取生成3D視圖所必需的信息的過(guò)程和拍攝原始圖像的過(guò)程。
[0044]根據(jù)各個(gè)實(shí)施例，3D轉(zhuǎn)換模塊190可包括空間信息提取部分191和3D視圖生成部分192。空間信息提取部分191可提取空間信息，比如特征和深度?？苫趫D像的對(duì)比度/色彩值來(lái)確定特征。深度可以是特征與電子設(shè)備101之間的相對(duì)間隔。3D視圖生成部分192可基于空間信息(比如所提取的特征和深度)生成對(duì)象的3D視圖。
[0045]圖1中所示的元素可以在功能上分類并可不限于此。例如，3D轉(zhuǎn)換模塊中處理的操作甚至可以通過(guò)處理器120執(zhí)行。此外甚至可以處理器的內(nèi)部模塊的形式包括3D轉(zhuǎn)換模塊130。
[0046]圖2是示出了根據(jù)各個(gè)實(shí)施例的3D視圖生成的過(guò)程的流程圖。
[0047]參見(jiàn)圖2，在操作210處，相機(jī)模塊180開(kāi)始拍攝對(duì)象并從中收集第一運(yùn)動(dòng)圖像。例如，用戶可執(zhí)行3D相機(jī)應(yīng)用(下文中，稱為“3D app”)來(lái)拍攝對(duì)象。3D app可調(diào)用相機(jī)模塊180，并可收集第一運(yùn)動(dòng)圖像。在拍攝開(kāi)始之后，用戶可在以環(huán)形圍繞對(duì)象移動(dòng)(例如在對(duì)象的中心上旋轉(zhuǎn)360度)的同時(shí)拍攝對(duì)象的區(qū)域，這些區(qū)域?qū)⒈晦D(zhuǎn)換成3D視圖。所收集的第一圖像可存儲(chǔ)在緩沖器或存儲(chǔ)器130中。第一運(yùn)動(dòng)圖像可包括在連續(xù)時(shí)段上的規(guī)則周期性間隔期間(比如每秒的1/20)從連續(xù)位置拍攝的靜止幀的集合。
[0048]在操作220處，3D轉(zhuǎn)換模塊190可生成第二運(yùn)動(dòng)圖像，該第二運(yùn)動(dòng)圖像由形成第一運(yùn)動(dòng)圖像的幀中的至少一部分幀組成(第二運(yùn)動(dòng)圖像可以不是連續(xù)拍攝的幀，而可以是從第一運(yùn)動(dòng)圖像采樣的多個(gè)2D圖像的數(shù)據(jù)本身)。第二運(yùn)動(dòng)圖像可以是在特定條件下從第一運(yùn)動(dòng)圖像按比例縮小或采樣的分析圖像。在各個(gè)實(shí)施例中，3D轉(zhuǎn)換模塊190可在通過(guò)按比例縮小第一運(yùn)動(dòng)圖像來(lái)減小數(shù)據(jù)處理容量后執(zhí)行采樣過(guò)程。
[0049]根據(jù)各個(gè)實(shí)施例，第二運(yùn)動(dòng)圖像可不在完成對(duì)第一運(yùn)動(dòng)圖像的拍攝后收集，而是可在相機(jī)模塊180連續(xù)收集第一運(yùn)動(dòng)圖像的同時(shí)通過(guò)背景處理來(lái)進(jìn)行收集。例如，如果拍攝開(kāi)始獲取第一運(yùn)動(dòng)圖像，則3D轉(zhuǎn)換模塊190可在每個(gè)特定時(shí)間間隔(例如0.1秒)按比例縮小第一運(yùn)動(dòng)圖像，然后可通過(guò)對(duì)按比例縮小的圖像進(jìn)行采樣來(lái)收集第二運(yùn)動(dòng)圖像。稍后將參考圖5來(lái)描述各采樣模式。
[0050]在操作230處，3D轉(zhuǎn)換模塊190可收集第二運(yùn)動(dòng)圖像的空間信息，比如特征、深度和拍攝位置。3D轉(zhuǎn)換模塊190可不直接提取作為原始圖像的第一運(yùn)動(dòng)圖像的空間信息，但可從作為從第一運(yùn)動(dòng)圖像采樣的分析圖像的第二運(yùn)動(dòng)圖像中提取空間信息。通過(guò)這種方式，3D轉(zhuǎn)換模塊190可使用經(jīng)過(guò)按比例縮小或采樣的第二圖像提取3D轉(zhuǎn)換所必需的信息，而不必等待第一運(yùn)動(dòng)圖像的拍攝結(jié)束(包括使用正連續(xù)拍攝的第一運(yùn)動(dòng)圖像對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼的完成時(shí)間)。此外，3D轉(zhuǎn)換模塊190可通過(guò)按比例縮小或采樣來(lái)降低所計(jì)算的數(shù)據(jù)的量，并可在正拍攝第一運(yùn)動(dòng)圖像時(shí)提取空間信息。
[0051]在操作240處，3D轉(zhuǎn)換模塊190可將第二運(yùn)動(dòng)圖像的空間信息反映到根據(jù)第一運(yùn)動(dòng)圖像的3D視圖生成過(guò)程中。例如，3D轉(zhuǎn)換模塊190可將第二運(yùn)動(dòng)圖像的空間信息反映到第一運(yùn)動(dòng)圖像的附加繼續(xù)拍攝中，或可利用所述空間信息來(lái)簡(jiǎn)化所拍攝的第一圖像的3D視圖生成過(guò)程。
[0052]在各個(gè)實(shí)施例中，3D轉(zhuǎn)換模塊190可生成第二運(yùn)動(dòng)圖像的3D視圖，并可向用戶提供所述3D視圖。用戶可在基于分析圖像確認(rèn)3D視圖的同時(shí)附加地拍攝所述第一運(yùn)動(dòng)圖像。
[0053]圖3A和3B是示出了根據(jù)各個(gè)實(shí)施例的收集第一圖像信息的過(guò)程的示例性圖。
[0054]參見(jiàn)圖3A，電子設(shè)備101可通過(guò)相機(jī)模塊180拍攝第一運(yùn)動(dòng)圖像。用戶可在沿圍繞對(duì)象310的特定方向(例如從左到右)逐漸移動(dòng)電子設(shè)備101的同時(shí)收集第一運(yùn)動(dòng)圖像。所述第一運(yùn)動(dòng)圖像可存儲(chǔ)在緩沖器或存儲(chǔ)器130中。雖然圖3A示例性地示為在用戶相對(duì)于對(duì)象310的中心從左到右移動(dòng)的同時(shí)拍攝對(duì)象310，但本公開(kāi)的實(shí)施例不限于此。根據(jù)要設(shè)置的模式，可通過(guò)沿右-左方向或上-下方向拍攝所述對(duì)象來(lái)收集第一運(yùn)動(dòng)圖像。
[0055]在電子設(shè)備101在第一位置(例如對(duì)象310的前方)處拍攝對(duì)象310的情況下，可收集第一圖像310a。在電子設(shè)備101在第二位置(例如對(duì)象310的側(cè)向)處拍攝對(duì)象310的情況下，可收集第二圖像310b。通過(guò)在不同的角度拍攝對(duì)象310獲得圖像，并且所述圖像可包括彼此不同的特征。
[0056]此外，電子設(shè)備101可使用在不同位置拍攝的第一圖像310a和第二圖像310b，以用來(lái)檢測(cè)關(guān)于特征的空間位置。此外，電子設(shè)備101甚至可檢測(cè)相機(jī)和對(duì)象之間的相對(duì)方向，以及與之有關(guān)的位置信息。
[0057]在各個(gè)實(shí)施例中，電子設(shè)備101可將多個(gè)圖像相互進(jìn)行比較，以分析特征的關(guān)系以及提取相機(jī)和對(duì)象之間的位置信息(同形)。此外，電子設(shè)備101可使用源自相機(jī)運(yùn)動(dòng)的視差信息，甚至來(lái)提取對(duì)象的深度信息(來(lái)自運(yùn)動(dòng)的深度)。
[0058]根據(jù)各個(gè)實(shí)施例，在不能僅通過(guò)圖像確認(rèn)空間信息的情況下，電子設(shè)備101可通過(guò)包括在傳感器模塊140中的多個(gè)傳感器收集空間信息。例如，在不能提取特征的情況下，電子設(shè)備101可使用加速傳感器和GPS傳感器來(lái)提取關(guān)于移動(dòng)方向、移動(dòng)速度、和距離拍攝各個(gè)幀的地點(diǎn)的位置的信息。
[0059]圖3B示出了是根據(jù)各種實(shí)施例的在第一位置處拍攝的圖像。
[0060]參見(jiàn)圖3B，圖像310a可包括多個(gè)特征(點(diǎn)云)。正面圖像(例如圖像310a)可具有相對(duì)較多的特征。相反地，背面圖像可具有相對(duì)較少的特征。
[0061 ]在當(dāng)如圖3A所示從左向右移動(dòng)的同時(shí)拍攝對(duì)象的情況下，圖像31Oa的左側(cè)區(qū)域可以是損失(1ss)域311，右側(cè)區(qū)域可以是生成域312。損失域311在拍攝開(kāi)始時(shí)可包括相對(duì)較大數(shù)量的特征。在電子設(shè)備101在拍攝開(kāi)始后從左向右移動(dòng)的情況下，損失域311中針對(duì)對(duì)象的特定部分的特征的數(shù)量減少。不同的是，生成域312可包括針對(duì)對(duì)象的特定部分的相對(duì)較少的特征，但在拍攝期間特定部分的特征的數(shù)量可增加。
[0062]3D轉(zhuǎn)換模塊190可提取第二運(yùn)動(dòng)圖像的空間信息，而不是提取第一運(yùn)動(dòng)圖像的所有幀的特征和深度的空間信息。在處理原始圖像的所有空間信息的情況下，會(huì)存在大量的數(shù)據(jù)。此外，這會(huì)消耗很長(zhǎng)的處理時(shí)間，并且用戶可能花費(fèi)長(zhǎng)時(shí)間來(lái)確認(rèn)3D結(jié)果。為了克服這些問(wèn)題，3D轉(zhuǎn)換模塊190可通過(guò)首先提取采樣的第二圖像的空間信息然后將所述空間信息反映到對(duì)第一運(yùn)動(dòng)圖像的拍攝過(guò)程或3D轉(zhuǎn)換的過(guò)程來(lái)縮短確認(rèn)3D轉(zhuǎn)換的結(jié)果的時(shí)間。
[0063]圖4A是示出了根據(jù)各個(gè)實(shí)施例的從第一圖像信息收集第二圖像信息的過(guò)程的示例性圖。
[0064]參見(jiàn)圖4A，相機(jī)模塊180可開(kāi)始收集第一運(yùn)動(dòng)圖像410。除了繼續(xù)拍攝并存儲(chǔ)第一運(yùn)動(dòng)圖像410之外，3D轉(zhuǎn)換模塊190可收集第二運(yùn)動(dòng)圖像，該第二運(yùn)動(dòng)圖像是從第一運(yùn)動(dòng)圖像410按比例縮小或采樣得到的。下文中，將描述在對(duì)第一運(yùn)動(dòng)圖像410進(jìn)行按比例縮小后進(jìn)行采樣，但本發(fā)明的實(shí)施例不限于此。
[0065]3D轉(zhuǎn)換模塊190可按比例縮放所收集的第一圖像410，以生成第二運(yùn)動(dòng)圖像420。在此之后，3D轉(zhuǎn)換模塊190可根據(jù)特定條件生成采樣的第二圖像430。例如，采樣的第二圖像430可以是以較低的采樣頻率或較大的采樣間隔收集的來(lái)自第二運(yùn)動(dòng)圖像的幀的子集。
[0066]除了對(duì)第一運(yùn)動(dòng)圖像410進(jìn)行拍攝之外，3D轉(zhuǎn)換模塊190可通過(guò)背景工作收集空間信息440a，比如形成第二運(yùn)動(dòng)圖像430的幀的特征和深度，然后可以將所收集的空間信息存儲(chǔ)在緩沖器或存儲(chǔ)器中。
[0067]根據(jù)各個(gè)實(shí)施例，3D轉(zhuǎn)換模塊190可基于所生成的空間信息440a提取第二運(yùn)動(dòng)圖像的剩余幀450(其未被采樣)的空間信息440K3D轉(zhuǎn)換模塊190可基于初步計(jì)算并存儲(chǔ)的空間信息440a來(lái)處理其他幀，從而縮短計(jì)算時(shí)間。3D轉(zhuǎn)換模塊190可將空間信息450b(其關(guān)于經(jīng)過(guò)按比例縮小的第一圖像的所有幀)存儲(chǔ)在緩沖器或存儲(chǔ)器中。在各個(gè)實(shí)施例中，可在拍攝第一運(yùn)動(dòng)圖像的同時(shí)執(zhí)行提取剩余幀450的空間信息440b的操作，或可在播放第一運(yùn)動(dòng)圖像的同時(shí)通過(guò)背景處理執(zhí)行該操作。
[0068]在完成對(duì)第一運(yùn)動(dòng)圖像410的拍攝之后，3D轉(zhuǎn)換模塊190可生成轉(zhuǎn)換成運(yùn)動(dòng)圖像格式(例如MP4)或靜止圖像格式(例如PNG)的圖像411，并可將圖像411與從中生成的空間信息440a—起存儲(chǔ)。
[0069]在各個(gè)實(shí)施例中，在用戶選擇所存儲(chǔ)的第一圖像411進(jìn)行3D視圖生成的情況下，3D轉(zhuǎn)換模塊190可基于存儲(chǔ)在一起的空間信息412和空間信息440b生成3D視圖。
[0070]圖4B是示出了根據(jù)各個(gè)實(shí)施例的使用空間信息和所存儲(chǔ)的第一圖像生成3D視圖的過(guò)程的示例性圖。
[0071]參見(jiàn)圖4B，3D轉(zhuǎn)換模塊190可根據(jù)第一運(yùn)動(dòng)圖像460和空間信息460a實(shí)時(shí)地生成3D視圖462。3D轉(zhuǎn)換模塊190可從第一運(yùn)動(dòng)圖像460的文件中提取各幀的空間信息和2D圖像，并可對(duì)圖像進(jìn)行解碼。解碼圖像可用于通過(guò)附加計(jì)算提取更多的空間信息。例如，如圖4B所示，可執(zhí)行附加計(jì)算，以進(jìn)一步提取關(guān)于幀461的信息，該信息沒(méi)有包括在現(xiàn)有的空間信息中，或者可執(zhí)行附加計(jì)算，以提高3D空間信息的準(zhǔn)確性(例如將準(zhǔn)確度從3自由度(DOF)信息擴(kuò)展到6D0F信息)?？墒褂贸醪酱鎯?chǔ)的空間信息和經(jīng)過(guò)解碼的圖像來(lái)進(jìn)行附加計(jì)算。
[0072]所提取的空間信息可應(yīng)用于經(jīng)過(guò)解碼的圖像，以生成和顯示3D視圖462?？筛鶕?jù)用戶終端在回放期間的方向或位置、用戶的手勢(shì)輸入或通過(guò)另一設(shè)備的遙控生成的信號(hào)來(lái)確定3D視圖的方向或位置。
[0073]圖4C是示出了根據(jù)2D圖像和空間信息實(shí)時(shí)生成3D視圖的方法的示例性圖。
[0074]參見(jiàn)圖4C，3D轉(zhuǎn)換模塊190可對(duì)從圖像中檢測(cè)到的特征和與所述特征相關(guān)的空間信息中與對(duì)象470相對(duì)應(yīng)的空間信息進(jìn)行分類。3D轉(zhuǎn)換模塊190可設(shè)置由與分類后的對(duì)象470相對(duì)應(yīng)的特征形成的區(qū)域(即虛線區(qū)域)，并可生成3D視圖信息，以使所述區(qū)域在位置、尺寸或方向中的至少一個(gè)方面是一致的(uniform)。30轉(zhuǎn)換模塊190可使用所獲得的關(guān)于對(duì)象470的方向的信息，并可以選擇對(duì)象470的來(lái)自相同輸入的旋轉(zhuǎn)了特定角度的圖像，以便生成3D視圖彳目息。
[0075]根據(jù)各個(gè)實(shí)施例，在附加地使用關(guān)于布置有主要特征的區(qū)域(例如，容貌部分)的信息的情況下，3D轉(zhuǎn)換模塊190可將該區(qū)域的尺寸和位置設(shè)置為針對(duì)相同條件與其他圖像一致。例如，在將臉部或容貌設(shè)置為占據(jù)屏幕中心并且設(shè)置所述容貌具有在中心旋轉(zhuǎn)拍攝的圖像的總視角的1/3的情況下，即使拍攝是在不同的時(shí)間間隔進(jìn)行的，3D轉(zhuǎn)換模塊190也可以提供相同的3D視圖。
[0076]圖4D是示出了使用第二運(yùn)動(dòng)圖像和空間信息通過(guò)背景改變生成3D視圖的方法的示例性圖。
[0077]參見(jiàn)圖4D，在從圖像中檢測(cè)到的特征和所述特征中所涉及的空間信息中，3D轉(zhuǎn)換模塊190可對(duì)與對(duì)象480相對(duì)應(yīng)的空間信息和與圍繞對(duì)象480的周圍的背景481相對(duì)應(yīng)的空間信息進(jìn)行分類。3D轉(zhuǎn)換模塊190可設(shè)置由與分類后的對(duì)象480相對(duì)應(yīng)的特征形成的區(qū)域(即虛線區(qū)域)，可保持所述區(qū)域在位置、尺寸或方向方面的一致性，并可利用背景481的空間信息來(lái)生成3D視圖，其中背景在所述3D視圖中旋轉(zhuǎn)。具有旋轉(zhuǎn)背景481的3D視圖可向用戶提供與其中對(duì)象480旋轉(zhuǎn)的3D視圖不同的可視效果。
[0078]圖5A和5B是示出了根據(jù)各個(gè)實(shí)施例的從第一運(yùn)動(dòng)圖像中采樣第二運(yùn)動(dòng)圖像的過(guò)程的示例性圖。
[0079]圖5A示出了基于電子設(shè)備101在拍攝對(duì)象時(shí)的移動(dòng)路徑對(duì)第二運(yùn)動(dòng)圖像進(jìn)行采樣的過(guò)程。
[0080]參見(jiàn)圖5A，3D轉(zhuǎn)換模塊190可基于電子設(shè)備101的移動(dòng)路徑生成第二運(yùn)動(dòng)圖像。如果相機(jī)模塊開(kāi)始針對(duì)第一運(yùn)動(dòng)圖像拍攝對(duì)象，則3D轉(zhuǎn)換模塊190可以在適合生成3D視圖的拍攝路徑(理想路徑)510與電子設(shè)備101的實(shí)際路徑520相交或毗鄰的點(diǎn)處采樣幀，所述幀形成第二運(yùn)動(dòng)圖像。
[0081]理想路徑510可以是初步指定的路徑或通過(guò)分析第一運(yùn)動(dòng)圖像的早期幀確定的路徑。實(shí)際路徑520可以是通過(guò)電子設(shè)備101中包括的運(yùn)動(dòng)傳感器識(shí)別的路徑。
[0082]例如，在理想路徑510與實(shí)際路徑520相交或毗鄰的情況下，采樣的幀511、512和513可被確定為形成第二運(yùn)動(dòng)圖像的幀。在其他情況下，由于理想路徑510與實(shí)際路徑520的不同超過(guò)了特定值，所以在采樣的第二圖像中可能不包括其他幀(比如幀521和522)。
[0083]根據(jù)各個(gè)實(shí)施例，即使在理想路徑520與實(shí)際路徑520相交或毗鄰的情況下，也可通過(guò)特定條件(例如，采樣間隔)排除一些幀。例如，幀523對(duì)應(yīng)于與理想路徑510和實(shí)際路徑520的相交情況，但考慮到與已經(jīng)被采樣的幀513的采樣間隔，可能將其從第二運(yùn)動(dòng)圖像中排除。
[0084]根據(jù)各個(gè)實(shí)施例，可基于采樣的幀511-513來(lái)確定用于修正第一運(yùn)動(dòng)圖像的其他幀(例如幀521、522和523)的參數(shù)，所述其他幀沒(méi)有被采樣到采樣的第二圖像中?？扇鐖D6所示設(shè)置關(guān)于修正參數(shù)的信息。
[0085]圖5B示出了通過(guò)截除幀的一部分來(lái)收集采樣的第二圖像的過(guò)程。
[0086]參見(jiàn)圖5B，如果相機(jī)模塊180開(kāi)始針對(duì)第一運(yùn)動(dòng)圖像拍攝對(duì)象，則3D轉(zhuǎn)換模塊190可基于運(yùn)動(dòng)傳感器的標(biāo)識(shí)信息從每個(gè)幀中移除重置區(qū)域(除了參考區(qū)域530)。參考區(qū)域530可被設(shè)置為至多包括所述對(duì)象或特征。
[0087]例如，針對(duì)幀531-533，可在第二運(yùn)動(dòng)圖像中包括幀531a、532a和533a的一部分(所述部分包括在參考區(qū)域530中)，并且可從中截除和移除剩余部分531b、532b和533C(33D轉(zhuǎn)換模塊190可移除不包括對(duì)象的周圍區(qū)域，以減少將被處理的數(shù)據(jù)量。
[0088]圖5A和5B中所示的采樣模式是示例性的，本發(fā)明的各個(gè)實(shí)施例不限于此。例如，3D轉(zhuǎn)換模塊190可基于拍攝所述幀的電子設(shè)備的位置差別或基于所述幀中所包括的特征的差別來(lái)采樣所述幀。
[0089]根據(jù)各個(gè)實(shí)施例，甚至可以以組合方式一致地執(zhí)行各個(gè)采樣模式。例如，如圖5A所示，在基于移動(dòng)路徑采樣之后，截除采樣的幀的一部分，以減少將被處理的數(shù)據(jù)量。
[0090]圖6示出了根據(jù)各個(gè)實(shí)施例的使用從第二運(yùn)動(dòng)圖像提取的信息修正第一運(yùn)動(dòng)圖像的過(guò)程。雖然圖6是使用圖5A的采樣模式示出的，但本發(fā)明的各個(gè)實(shí)施例不限于此。
[0091]參見(jiàn)圖6，3D轉(zhuǎn)換模塊190可在理想路徑610與實(shí)際路徑620相交或毗鄰的點(diǎn)處對(duì)第一運(yùn)動(dòng)圖像進(jìn)行采樣，然后可以生成采樣的第二圖像。在這種情況下，3D轉(zhuǎn)換模塊190可基于采樣的第二圖像的幀611、612和613來(lái)修正第一運(yùn)動(dòng)圖像的其他幀。
[0092]3D轉(zhuǎn)換模塊190可以確定針對(duì)相對(duì)遠(yuǎn)離理想路徑610的幀向理想路徑610移動(dòng)的情況的修正參數(shù)。雖然圖6只是在2D運(yùn)動(dòng)中示出的，但本發(fā)明的各個(gè)實(shí)施例不限于此。例如通過(guò)6D0F，可將修正參數(shù)X、Y、Z、偏轉(zhuǎn)、俯仰和擺動(dòng)包括在其中。
[0093]例如，在對(duì)與理想路徑610相交或毗鄰的幀611、612和613進(jìn)行采樣的情況下，沒(méi)有被采樣的其他幀621、622、623和624可移位到理想路徑610上的621&、6223、6233和624&。在這種情況下，可以允許在幀移位之前和之后保持所述幀對(duì)應(yīng)的區(qū)域中的數(shù)據(jù)。在其他情況下，可以允許基于在所述移位之前和之后采樣的幀611、612和613，將數(shù)據(jù)反映到通過(guò)移位丟失或添加的區(qū)域。
[0094]根據(jù)各個(gè)實(shí)施例，在拍攝第一運(yùn)動(dòng)圖像期間，雖然由于用戶不以勻速移動(dòng)導(dǎo)致可能不存在幀622和612之間的位置處的圖像信息，但是可允許基于幀612和622的數(shù)據(jù)附加地生成位置之間的位置數(shù)據(jù)(未示出)。
[0095]圖7示出了根據(jù)各個(gè)實(shí)施例的基于采樣的第二圖像的特征信息修正第一運(yùn)動(dòng)圖像的過(guò)程。雖然圖7是使用圖5A的采樣模式示出的，但本發(fā)明的各個(gè)實(shí)施例不限于此。
[0096]參見(jiàn)圖7，3D轉(zhuǎn)換模塊可通過(guò)對(duì)理想路徑710與實(shí)際路徑720相交或毗鄰的點(diǎn)處的第一運(yùn)動(dòng)圖像進(jìn)行采樣生成采樣的第二圖像。在這種情況下，3D轉(zhuǎn)換模塊190可基于采樣的第二圖像的幀711、712和713來(lái)修正其他幀。
[0097]3D轉(zhuǎn)換模塊190可基于分別包括在采樣的幀711、712和713中的特征的數(shù)量確定其他幀的按比例縮小程度。例如，在按照幀711、712和713的順序布置所述特征的情況下，在包括足夠數(shù)量的特征的幀712之后拍攝的幀區(qū)域722可被轉(zhuǎn)換成具有最小尺寸的幀區(qū)域722a，向所述幀區(qū)域722a反映了最大的按比例減小程度。由于特征數(shù)量相對(duì)較少而具有小的計(jì)算量的幀區(qū)域723可被轉(zhuǎn)換成具有最大尺寸的幀區(qū)域723a。具有中等數(shù)量特征的幀區(qū)域721可被轉(zhuǎn)換成幀區(qū)域721a。
[0098]如上所述，在基于特征修正第一運(yùn)動(dòng)圖像的情況下，可允許將總計(jì)算量保持在統(tǒng)一水平，從而在特定時(shí)間中處理數(shù)據(jù)和生成3D視圖。
[0099]圖8是示出了根據(jù)各個(gè)實(shí)施例的基于第二運(yùn)動(dòng)圖像的模式改變的處理的流程圖。
[0100]參見(jiàn)圖8，在操作810處，3D轉(zhuǎn)換模塊190可對(duì)第一運(yùn)動(dòng)圖像進(jìn)行采樣，然后可生成第二運(yùn)動(dòng)圖像。可通過(guò)使用理想路徑或通過(guò)設(shè)置參考區(qū)域來(lái)執(zhí)行對(duì)第二運(yùn)動(dòng)圖像進(jìn)行采樣的模式，由此導(dǎo)致采樣的第二圖像。
[0101]在操作820處，3D轉(zhuǎn)換模塊190可提取空間信息，比如針對(duì)所生成的第二圖像的特征、深度。
[0102]在操作830處，3D轉(zhuǎn)換模塊190可確定采樣的第二圖像的每一幀的相對(duì)相似性是否等于或高于特定值。3D轉(zhuǎn)換模塊190可通過(guò)在數(shù)量、分布和相似性方面相互比較每個(gè)幀的特征來(lái)確認(rèn)相對(duì)相似性。
[0103]在操作840處，在相對(duì)相似性低于特定值的情況下，3D轉(zhuǎn)換模塊190可改變拍攝模式。這是因?yàn)榈拖鄬?duì)相似性指示當(dāng)前拍攝的第一圖像正變化到不適合被轉(zhuǎn)換成3D視圖的狀態(tài)。3D轉(zhuǎn)換模塊190可通過(guò)拍攝模式的改變來(lái)檢測(cè)附加特征，并可修正錯(cuò)誤。可通過(guò)圖9所示的流設(shè)置關(guān)于拍攝模式改變的附加信息。
[0104]在操作850處，在相對(duì)相似性等于或高于特定值的情況下，可將所提取的空間信息反映到為第一運(yùn)動(dòng)圖像生成3D視圖。
[0105]圖9是示出了根據(jù)各個(gè)實(shí)施例的拍攝模式改變的處理的流程圖。
[0106]參見(jiàn)圖9，在操作910處，3D轉(zhuǎn)換模塊190可開(kāi)始改變拍攝模式。
[0107]在操作920處，3D轉(zhuǎn)換模塊190可確定在第二運(yùn)動(dòng)圖像的兩個(gè)連續(xù)幀之間特征的變化程度是否等于或大于特定值。例如，在對(duì)象包括陰影區(qū)域或突然發(fā)生特征變化的情況下，兩個(gè)連續(xù)幀之間的特征可以以等于或大于特定值的程度發(fā)生變化。
[0108]在操作930處，在特征以等于或大于特定值的程度變化的情況下，3D轉(zhuǎn)換模塊190可確定兩個(gè)幀之間的特征的色散值是否以等于或大于特定值的程度發(fā)生變化。
[0109]在操作940處，在特征的色散值以等于或大于特定值的程度發(fā)生變化的情況下(例如在對(duì)象的所述區(qū)域中部分地出現(xiàn)陰影的情況下)，3D轉(zhuǎn)換模塊190可將拍攝模式改變?yōu)閭鞲衅魍粕?booster)模式。傳感器推升模式可改變圖像傳感器的操作速度、靈敏度和曝光時(shí)間中的至少一個(gè)，以使得更容易提取特征。
[0110]在操作950處，在特征的色散值不以等于或大于特定值的程度發(fā)生變化的情況下(例如拍攝區(qū)域轉(zhuǎn)向具有相對(duì)較多的特征信息的容貌中的具有相對(duì)較少特征信息的頭部的情況)，3D轉(zhuǎn)換模塊190可將拍攝模式改變?yōu)閭鞲衅魅诤夏Ｊ?。傳感器融合模式可利用多個(gè)傳感器。
[0111]在操作960處，3D轉(zhuǎn)換模塊190可確定兩個(gè)幀之間的特征的相對(duì)相似性是否等于或高于特定值。在幀之間的相似性等于或高于特定值的情況下，3D轉(zhuǎn)換模塊190可終止拍攝模式改變的過(guò)程。
[0112]在操作970處，在特征的相對(duì)相似性低于特定值的情況下，3D轉(zhuǎn)換模塊190可將拍攝模式改變?yōu)橐龑?dǎo)模式。引導(dǎo)模式可將用戶引導(dǎo)到拍攝方向或拍攝模式。
[0113]例如，在用戶在水平地旋轉(zhuǎn)相機(jī)或?qū)ο蟮耐瑫r(shí)在特定范圍內(nèi)改變相機(jī)或?qū)ο蟮奈恢没蚪嵌鹊那闆r下，電子設(shè)備101可輸出用來(lái)將相機(jī)或?qū)ο蠓祷氐狡渲拔恢玫南⒉⒂纱丝梢砸龑?dǎo)所述用戶。此外，在用戶過(guò)快地旋轉(zhuǎn)相機(jī)或?qū)ο蟮姆较虻那闆r下，電子設(shè)備101可輸出用來(lái)引導(dǎo)所述用戶的消息。
[0114]在操作980處，3D轉(zhuǎn)換模塊190可確定是否存在錯(cuò)誤(比如洞)。
[0115]在操作990處，在存在錯(cuò)誤的情況下，3D轉(zhuǎn)換模塊190可將拍攝模式改變?yōu)樾迯?fù)模式。修復(fù)模式可使用初步存儲(chǔ)的3D視圖來(lái)補(bǔ)償發(fā)生錯(cuò)誤的區(qū)域。
[0116]圖10是示出了根據(jù)各個(gè)實(shí)施例的對(duì)象居中過(guò)程的流程圖。
[0117]參見(jiàn)圖10，在操作1010處，3D轉(zhuǎn)換模塊190可對(duì)來(lái)自第一運(yùn)動(dòng)圖像的幀的一部分進(jìn)行采樣，然后可生成采樣的第二圖像。
[0118]在操作1020處，3D轉(zhuǎn)換模塊190可提取電子設(shè)備101的拍攝位置信息、采樣的第二圖像的幀的空間信息和參考區(qū)域信息。可將參考區(qū)域初步設(shè)置為特定尺寸。例如，參考區(qū)域可被設(shè)置在對(duì)應(yīng)于總幀區(qū)域的20%的特定部分中。
[0119]在操作1030中，3D轉(zhuǎn)換模塊190可針對(duì)對(duì)象執(zhí)行對(duì)象居中過(guò)程和視圖平滑過(guò)程。對(duì)象居中過(guò)程可在考慮所提取的特征的數(shù)量或分布的情況下設(shè)置屏幕的中心。例如，假定對(duì)象中針對(duì)所有位置均勻地檢測(cè)到特征，則屏幕的中心可以是圖(例如四邊形)的幾何中心，所述圖中，在相應(yīng)方向中檢測(cè)到的特征被限制在最少的區(qū)域中。在各個(gè)實(shí)施例中，3D轉(zhuǎn)換模塊190甚至可將具有最多特征的區(qū)域移位到屏幕的中心(密度中心)。其他情況下，3D轉(zhuǎn)換模塊190甚至可將初步指定的對(duì)象(例如，容貌)移位到屏幕的中心。視圖平滑過(guò)程可減輕由對(duì)象居中過(guò)程導(dǎo)致的幀間異質(zhì)性。
[0120]通過(guò)對(duì)象居中過(guò)程和/或視圖平滑過(guò)程，可提取最大的截除區(qū)域。針對(duì)對(duì)象居中過(guò)程或視圖平滑過(guò)程，最大截除區(qū)域可以是幀中具有將被截除的最大部分(除了包括對(duì)象的區(qū)域之外的剩余部分)的截除區(qū)域。
[0121]在操作1040處，3D轉(zhuǎn)換模塊190可確定所述最大截除區(qū)域是否寬于參考區(qū)域。
[0122]在操作1050處，在最大截除區(qū)域?qū)捰趨⒖紖^(qū)域的情況下，3D轉(zhuǎn)換模塊190可重置參數(shù)，以微弱地執(zhí)行對(duì)象居中過(guò)程或視圖平滑過(guò)程。通過(guò)該操作，可將最大截除區(qū)域按比例縮小，以擴(kuò)展對(duì)象上的剩余區(qū)域。
[0123]在操作1060期間，在最大截除區(qū)域等于或小于參考區(qū)域的情況下，3D轉(zhuǎn)換模塊190可確定截除區(qū)域，并對(duì)其進(jìn)行截除處理。
[0124]根據(jù)各個(gè)實(shí)施例，在電子設(shè)備中執(zhí)行的圖像處理方法可包括以下操作:收集第一運(yùn)動(dòng)圖像;提取針對(duì)形成所述第一運(yùn)動(dòng)圖像的幀中的至少一部分幀的空間信息;將所提取的空間信息反映到對(duì)與所述第一運(yùn)動(dòng)圖像相對(duì)應(yīng)的3D視圖的生成。
[0125]根據(jù)各個(gè)實(shí)施例，收集第一運(yùn)動(dòng)圖像可包括:獲得與對(duì)象的第一方向相對(duì)應(yīng)的第一 2D圖像和與所述對(duì)象的第二方向相對(duì)應(yīng)的第二 2D圖像。所述提取空間信息可包括:基于所述第一 2D圖像和所述第二 2D圖像的至少一部分確定所述空間信息。確定空間信息可包括:確定所述第一 2D圖像的第一特征和所述第二 2D圖像的與所述第一特征相對(duì)應(yīng)的第二特征；以及基于所述第一特征和所述第二特征中的至少一部分，將所述對(duì)象的位置或方向確定為所述空間信息的至少一部分。所述空間信息可以是與所述第一 2D圖像和所述第二 2D圖像中的至少一部分一起存儲(chǔ)的。
[0126]根據(jù)各個(gè)實(shí)施例，反映到所述3D視圖生成可包括:基于所述第一方向和所述第二方向確定第三方向；以及基于所述第三方向生成所述對(duì)象的3D圖像。
[0127]根據(jù)各個(gè)實(shí)施例，所述反映到所述3D視圖生成可包括:基于所述空間信息修正與多個(gè)方向相對(duì)應(yīng)的多個(gè)圖像；以及基于所述修正提供所述3D視圖。所述修正可包括:生成電子設(shè)備的虛擬理想路徑，以及基于所述虛擬理想路徑和所述空間信息修正多個(gè)圖像中的至少一個(gè)的位置。
[0128]根據(jù)各個(gè)實(shí)施例，提取空間信息可包括:通過(guò)在特定條件下對(duì)所述第一圖像進(jìn)行按比例縮小或采樣，確定所述幀的所述部分。
[0129]根據(jù)各個(gè)實(shí)施例，提取空間信息可包括:如果理想路徑與所述電子設(shè)備移動(dòng)所沿的實(shí)際路徑相交或所述理想路徑在特定范圍內(nèi)與所述實(shí)際路徑毗鄰，則對(duì)所述第一運(yùn)動(dòng)圖像進(jìn)行采樣。提取空間信息可包括:提取用于將所述第一運(yùn)動(dòng)圖像的未采樣的幀轉(zhuǎn)換成在所述理想路徑上拍攝的幀的修正參數(shù)。
[0130]根據(jù)各個(gè)實(shí)施例，提取空間信息可包括:基于被確定為所述幀的所述部分的每個(gè)幀中包括的特征的數(shù)量，將所述第一運(yùn)動(dòng)圖像中的未采樣的幀按比例縮小。
[0131]根據(jù)各個(gè)實(shí)施例，提取空間信息可包括:基于形成所述第一運(yùn)動(dòng)圖像的幀中的每一個(gè)的參考區(qū)域中包括的圖像數(shù)據(jù)來(lái)確定所述幀的所述部分。提取空間信息可包括:提取以下中的至少一個(gè):關(guān)于針對(duì)被確定為所述幀的所述部分的每一幀的特征和深度的信息或關(guān)于拍攝每一幀的電子設(shè)備的位置的信息。
[0132]根據(jù)各個(gè)實(shí)施例，反映到3D視圖生成可包括:基于所述空間信息，改變所述第一運(yùn)動(dòng)圖像的拍攝模式。改變拍攝模式可包括:如果形成所述幀的所述部分的連續(xù)幀之間的特征在等于或大于特定值的程度內(nèi)變化，并且所述特征的色散值在等于或大于特定值的程度內(nèi)變化，則通過(guò)第一模式收集所述第一運(yùn)動(dòng)圖像。所述第一模式通過(guò)改變圖像傳感器的操作速度、靈敏度和曝光時(shí)間中的至少一個(gè)來(lái)收集所述第一運(yùn)動(dòng)圖像。
[0133]根據(jù)各個(gè)實(shí)施例，改變拍攝模式可包括:如果形成所述幀的所述部分的連續(xù)幀之間的特征在等于或大于特定值的程度內(nèi)變化，并且所述特征的色散值在低于特定值的程度內(nèi)變化，則通過(guò)第二模式收集所述第一運(yùn)動(dòng)圖像。所述第二模式可使用多個(gè)傳感器來(lái)收集所述第一運(yùn)動(dòng)圖像。
[0134]根據(jù)各個(gè)實(shí)施例，改變拍攝模式可包括:如果所述幀的所述部分中包括的幀之間的相對(duì)性低于特定值，則在將用戶引導(dǎo)至拍攝方向或拍攝速度的第三模式中收集第一運(yùn)動(dòng)圖像。
[0135]圖11是示出了根據(jù)各個(gè)實(shí)施例的用于對(duì)象居中過(guò)程的屏幕的示例性圖。
[0136]在用戶不能在將對(duì)象放置在屏幕的中心上時(shí)拍攝對(duì)象的情況下，3D轉(zhuǎn)換模塊190可通過(guò)居中處理將對(duì)象移位到屏幕的中心。
[0137]例如，在對(duì)第一到第三幀1110-1130進(jìn)行采樣的情況下，對(duì)象可被放置在每個(gè)采樣的幀中的屏幕的中心處，或甚至左側(cè)或右側(cè)。
[0138]3D轉(zhuǎn)換模塊190可提取電子設(shè)備101的拍攝位置信息、對(duì)象的空間信息和參考區(qū)域的信息。參考區(qū)域可以是對(duì)象的特征所主要布置于的部分。
[0139]在最大截除區(qū)域大于參考區(qū)域的情況下，3D轉(zhuǎn)換模塊190可能通過(guò)截除過(guò)程無(wú)意地移除對(duì)象的中心上的對(duì)象的特征的一部分。為了防止這一情況，3D轉(zhuǎn)換模塊190可重置剩余區(qū)域，然后可允許截除屏幕的邊緣，以保留所述對(duì)象。
[0140]3D轉(zhuǎn)換模塊190可針對(duì)幀1110、1120和1130執(zhí)行對(duì)象居中過(guò)程或視圖平滑過(guò)程，以分別獲得幀1111、1121和1131。在這種情況下，雖然所述居中在屏幕的中心上是成功的，但由于該原因，可能截除了對(duì)象的特征。
[0141]3D轉(zhuǎn)換模塊190可控制參數(shù)，以微弱地執(zhí)行對(duì)象居中過(guò)程或視圖平滑過(guò)程。通過(guò)該過(guò)程，可將幀1111、1121和1131分別轉(zhuǎn)換成幀1112、1122和1132。在執(zhí)行對(duì)象居中過(guò)程時(shí)，幀1112、1122和1132被相對(duì)弱化，但可以保持對(duì)象的特征不被截除。
[0142]圖12A和12B是示出了根據(jù)各個(gè)實(shí)施例的使用3D視圖的屏幕的示例性圖。雖然圖12A和12B只是示為使用2D視圖，但本發(fā)明的各個(gè)實(shí)施例不限于此。
[0143]參見(jiàn)圖12A，3D轉(zhuǎn)換模塊190可基于第二運(yùn)動(dòng)圖像的空間信息生成針對(duì)第一運(yùn)動(dòng)圖像的3D視圖1210?？赏ㄟ^(guò)利用被按比例縮小或采樣的第二運(yùn)動(dòng)圖像的空間信息來(lái)生成3D視圖1210。例如，在3D轉(zhuǎn)換模塊190執(zhí)行針對(duì)第二運(yùn)動(dòng)圖像的6-D0F計(jì)算的情況下，可執(zhí)行針對(duì)第一運(yùn)動(dòng)圖像的3-D0F計(jì)算，以簡(jiǎn)化計(jì)算過(guò)程。3D轉(zhuǎn)換模塊190可在完成對(duì)第一運(yùn)動(dòng)圖像的拍攝的幾乎同一時(shí)刻或在播放拍攝結(jié)果的同時(shí)通過(guò)背景處理來(lái)生成3D視圖1210。
[0144]在各個(gè)實(shí)施例中，3D視圖1210可被用于屏幕的背景。在將3D視圖1210設(shè)置在屏幕的背景中的情況下，可允許根據(jù)運(yùn)動(dòng)傳感器的檢測(cè)狀態(tài)來(lái)區(qū)分在其上輸出3D視圖1210的平面。
[0145]例如，在用戶面對(duì)和持有電子設(shè)備1201的情況下，可在屏幕上顯示3D視圖1210的前部。在用戶在左右方向上旋轉(zhuǎn)電子設(shè)備1210的情況下，可通過(guò)向其反映旋轉(zhuǎn)方向和強(qiáng)度來(lái)旋轉(zhuǎn)3D視圖1210。
[0146]參見(jiàn)圖12B，3D視圖1220可被用于解鎖屏幕。例如，在鎖定狀態(tài)中，3D視圖的前部可顯示在屏幕上。在用戶為了解鎖而觸摸屏幕并且從左至右滑動(dòng)屏幕的情況下，3D視圖1220可響應(yīng)于滑動(dòng)操作而旋轉(zhuǎn)。通過(guò)3D視圖1220的旋轉(zhuǎn)，可將屏幕解鎖。
[0147]圖13是根據(jù)各個(gè)實(shí)施例的電子設(shè)備1301的框圖1300。
[0148]參考圖13，電子設(shè)備1301可以包括例如圖1所示的電子設(shè)備101的全部或部分元素。電子設(shè)備1301包括至少一個(gè)應(yīng)用處理器(AP) 1310、通信模塊1320、訂戶身份模塊(SIM)卡1324、存儲(chǔ)器1330、傳感器模塊1340、輸入設(shè)備1350、顯示器1360、接口 1370、音頻模塊1380、圖像傳感器模塊1391、功率管理模塊1395、電池1396、指示器1397和電機(jī)1398。
[0149]處理器1310可以驅(qū)動(dòng)操作系統(tǒng)(OS)或應(yīng)用程序來(lái)控制與處理器1310相連的多個(gè)硬件或軟件元素，并且可以處理和計(jì)算包括多媒體數(shù)據(jù)在內(nèi)的多種數(shù)據(jù)。例如，處理器1310可以使用系統(tǒng)級(jí)芯片(SoC)來(lái)實(shí)現(xiàn)。根據(jù)實(shí)施例，AP 810還可以包括圖形處理單元(GPU)和/或圖像信號(hào)處理器。處理器1310可以包括圖13中示出的元素的至少一部分。處理器1310可加載和處理從至少一個(gè)其他元素(例如，非易失性存儲(chǔ)器)接收到的指令或數(shù)據(jù)，并將各種類型的數(shù)據(jù)存儲(chǔ)在非易失性存儲(chǔ)器中。
[0150]通信模塊1320可以具有與圖1的通信接口170相同或相似的配置。通信模塊1320可以包括蜂窩模塊1321、WiFi模塊1323、藍(lán)牙模塊1325、GPS模塊1327、NFC模塊1328、以及射頻(RF)模塊 1329。
[0151]蜂窩模塊1321可以通過(guò)通信網(wǎng)絡(luò)來(lái)提供語(yǔ)音呼叫、視頻呼叫、字符服務(wù)或互聯(lián)網(wǎng)服務(wù)。根據(jù)一個(gè)實(shí)施例，蜂窩模塊1321可以通過(guò)使用訂戶識(shí)別模塊(例如，SIM卡)1324來(lái)執(zhí)行在通信網(wǎng)絡(luò)中對(duì)電子設(shè)備的區(qū)別和認(rèn)證。根據(jù)實(shí)施例，蜂窩模塊1321可以至少執(zhí)行處理器1310提供的功能的一部分。根據(jù)實(shí)施例，蜂窩模塊821可以包括通信處理器(CP)。
[0152]例如，WiFi模塊1323、藍(lán)牙模塊1325、GPS模塊1327和NFC模塊1328中的每個(gè)包括用于處理經(jīng)對(duì)應(yīng)模塊交換的數(shù)據(jù)的處理器。在一些實(shí)施例中，蜂窩模塊1321、WiFi模塊1323、藍(lán)牙模塊1325、GPS模塊1327或NFC模塊1328中的至少一些(例如，兩個(gè)或更多元素)可以包括在一個(gè)集成電路(IC)或IC封裝中。
[0153]RF模塊1329可以發(fā)送和接收例如通信信號(hào)(例如，RF信號(hào))AF模塊1329可包括收發(fā)機(jī)、功率放大器模塊(PAM)、頻率濾波器、低噪聲放大器(LNA)或天線。根據(jù)另一個(gè)實(shí)施例，蜂窩模塊1321、WiFi模塊1323、藍(lán)牙模塊1325、GPS模塊1327和NFC模塊1328中的至少一個(gè)通過(guò)分離的RF模塊發(fā)送和接收RF信號(hào)。
[0154]SIM卡1324可以包括例如含有用戶標(biāo)識(shí)模塊和/或嵌入式SIM的卡，可以包含獨(dú)特標(biāo)識(shí)信息(例如，集成電路卡標(biāo)識(shí)符(ICCID))或訂戶信息(例如，國(guó)際移動(dòng)訂戶標(biāo)識(shí)(IMSD)0
[0155]存儲(chǔ)器1330(例如，圖1的存儲(chǔ)器130)可以包括例如嵌入式存儲(chǔ)器1332或者外部存儲(chǔ)器1334。例如，嵌入式存儲(chǔ)器832可包括例如易失性存儲(chǔ)器(例如，動(dòng)態(tài)RAM(DRAM)、靜態(tài)RAM(SRAM)、同步動(dòng)態(tài)1^1(301?層))或非易失性存儲(chǔ)器(例如，一次性可編程1?01((^?1?010、可編程ROM(PROM)、可擦除可編程ROM(EPROM)、電可擦除可編程ROM(EEPROM)、掩膜型ROM、閃存型ROM、NAND閃存和NOR閃存)、硬盤驅(qū)動(dòng)器或固態(tài)硬盤驅(qū)動(dòng)器(SSD)中的至少一個(gè)。
[0156]外部存儲(chǔ)器1334還包括閃速驅(qū)動(dòng)器，例如緊湊閃存(CF)、安全數(shù)字(SD)、微-SD、迷你-SD、超級(jí)數(shù)字(xD)、多媒體卡或記憶棒等。外部存儲(chǔ)器1334可以通過(guò)各種接口與電子設(shè)備1301功能連接。
[0157]傳感器模塊1340可以測(cè)量例如物理量或可以檢測(cè)電子設(shè)備800的操作狀態(tài)，并將測(cè)量或檢測(cè)到的信息轉(zhuǎn)換為電信號(hào)。傳感器模塊1340包括以下中的至少一個(gè):手勢(shì)傳感器1340A、陀螺傳感器1340B、氣壓壓力傳感器1340C、磁傳感器1340D、加速度傳感器1340E、抓握傳感器1340F、鄰近傳感器1340G、顏色傳感器1340H(例如，RGB傳感器)、生物計(jì)量傳感器13401、溫度/濕度傳感器840J、照明傳感器1340K和紫外(UV)傳感器1340M。附加地或者一般地，盡管未示出，傳感器模塊1340還可以包括電子鼻(E-nose)傳感器、肌電圖(EMG)傳感器、腦電圖(EEG)傳感器、心電圖(ECG)傳感器、紅外(IR)傳感器、虹膜傳感器或者指紋傳感器。傳感器模塊840還可以包括用于控制其中包括的至少一個(gè)或多個(gè)傳感器的控制電路。在一些實(shí)施例中，電子設(shè)備1301還包括處理器，其被配置為控制作為一部分或者附加元素的傳感器模塊1340，從而當(dāng)處理器1310處于休眠模式時(shí)控制傳感器模塊840。
[0158]輸入單元1350可以具有與圖1的輸入/輸出接口150相似的配置。此外，在顯示器160具有觸摸面板的情況下，顯示器160可部分地執(zhí)行輸入/輸出單元1350的功能。輸入單元1350可以包括例如觸摸面板1352、(數(shù)字)筆傳感器1354、按鍵1356或超聲輸入單元1358。觸摸板1352可以使用電容性、電阻性、紅外型或超聲波型的至少一種來(lái)識(shí)別觸摸輸入。此外，觸摸面板1352還可以包括控制電路。觸摸面板1352還可以包括觸覺(jué)層，以向用戶提供觸覺(jué)反饋。
[0159](數(shù)字)筆傳感器1354可以是觸摸板1352或用于識(shí)別的分離片。例如，按鍵1356可以包括物理按鈕、光學(xué)按鍵或鍵區(qū)。超聲輸入單元1358可以允許電子設(shè)備1301使用麥克風(fēng)(例如，麥克風(fēng)1388)檢測(cè)聲波以及通過(guò)生成超聲信號(hào)的輸入工具來(lái)驗(yàn)證數(shù)據(jù)。
[0160]顯示器1360(例如，顯示器160)可以與顯示器160具有相同或相似的配置，包括面板1362、全息設(shè)備1364或投影儀1366。面板1362可以包括與圖1的顯示器160相同或相似的配置。例如，面板1362可以實(shí)現(xiàn)為柔性、透明或可穿戴的。面板1362和觸摸板1352可以用一個(gè)模塊來(lái)實(shí)現(xiàn)。全息裝置1364可以使用光的干涉來(lái)示出空間三維圖像。投影儀1366可以將光投影到屏幕上以便顯示圖像。例如，所述平面可以定位于電子設(shè)備1301的內(nèi)部或外部。根據(jù)實(shí)施例，顯示器1360還可包括用于控制面板1362、全息圖設(shè)備1364或投影儀1366的控制電路。
[0161]例如，接口 1370可以包括高分辨率多媒體接口(HDMI)1372、USB 1374、光學(xué)接口1376或D-sub(D-迷你接口)1378。例如，所述接口 1370可包括在圖1所示的通信接口 170。接口 1370可以包括例如移動(dòng)高清鏈路(MHL)接口、SD卡AMC接口或紅外數(shù)據(jù)協(xié)會(huì)(IrDA)標(biāo)準(zhǔn)接口。
[0162]音頻模塊1380可與圖1的輸入/輸出接口150具有相同或相似的配置，并可在雙向轉(zhuǎn)換例如聲音和電信號(hào)。音頻模塊1380的元素的至少一部分可以被包含在例如圖1所示的輸入/輸出接口 150中。音頻模塊1380可以處理通過(guò)揚(yáng)聲器1382、接收機(jī)1384、耳機(jī)1386或麥克風(fēng)1388輸入的或輸出的聲音信息。
[0163]相機(jī)模塊1391可以是能夠拍攝靜態(tài)圖像和移動(dòng)圖像的單元。根據(jù)實(shí)施例，相機(jī)模塊1391可以包括一個(gè)或更多個(gè)圖像傳感器(例如，前置傳感器或后置傳感器)、鏡頭、圖像信號(hào)處理器(ISP)或閃光燈(例如，LED或氙氣燈)。
[0164]電源管理模塊1395可以管理例如電子設(shè)備1301的電力。功率管理模塊1395可包括例如功率管理集成電路(PMIC)、充電器集成電路、電池或燃料表。PMIC可以使用有線或無(wú)線充電模式進(jìn)行操作。無(wú)線充電模式可以包括例如磁共振型、磁感應(yīng)型、或電磁波型。為了無(wú)線充電，可以在其中另外包括附加電路，例如，如線圈回路、諧振電路、或整流器。例如，電池電量表可以測(cè)量電池1396的剩余量、充電期間的電壓、電流或溫度。例如，電池1396可以包括可充電電池和/或太陽(yáng)能電池。
[0165]指示器1397可以與輸入/輸出接口150具有相同或相似的配置，并可顯示電子設(shè)備1301或其一部分(例如，處理器1310)的具體狀態(tài)，例如引導(dǎo)狀態(tài)、消息狀態(tài)和充電狀態(tài)等。電機(jī)1398可以將電信號(hào)轉(zhuǎn)換為機(jī)械振動(dòng)，并且產(chǎn)生振動(dòng)或觸覺(jué)效應(yīng)。盡管未不出，電子設(shè)備1301可以包括用于支持移動(dòng)TV的處理單元(例如，GPU)。用于支持移動(dòng)TV的處理單元可以例如處理基于數(shù)字多媒體廣播(DMB)、數(shù)字視頻廣播(DVB)或媒體流(MediaFlo?)的標(biāo)準(zhǔn)的媒體數(shù)據(jù)。
[0166]可以使用一個(gè)或多個(gè)組件來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明的實(shí)施例的電子設(shè)備的以上元素中的每一個(gè)，并且相關(guān)組件的名稱可以隨著電子設(shè)備的種類而改變。根據(jù)本公開(kāi)各種實(shí)施例的電子設(shè)備可以包括上述組件中的至少一個(gè)。同樣，可以省略所述組件中的一部分，或還可以包括附加的其它組件。同樣，可以將根據(jù)本發(fā)明的電子設(shè)備的部件的一些進(jìn)行組合以形成一個(gè)整體，從而使得可以執(zhí)行與組合之前實(shí)質(zhì)上相同的相關(guān)部件功能。
[0167]根據(jù)各個(gè)實(shí)施例，提供了一種具有相機(jī)模塊的電子設(shè)備，所述電子設(shè)備可以包括:所述相機(jī)模塊，被配置為拍攝圖像；以及3D轉(zhuǎn)換模塊，被配置為基于所述圖像生成3D視圖，其中所述相機(jī)模塊開(kāi)始收集第一運(yùn)動(dòng)圖像，以及其中所述3D轉(zhuǎn)換模塊基于關(guān)于形成所述第一運(yùn)動(dòng)圖像的幀中的至少一部分幀的空間信息生成與所述第一運(yùn)動(dòng)圖像相對(duì)應(yīng)的3D視圖。所述電子設(shè)備還包括傳感器模塊，其中所述3D轉(zhuǎn)換模塊基于通過(guò)所述傳感器模塊收集的信息來(lái)提取關(guān)于第二運(yùn)動(dòng)圖像的空間信息。
[0168]圖14是根據(jù)各個(gè)實(shí)施例的程序模塊1410的框圖300。
[0169]參見(jiàn)圖14，根據(jù)一個(gè)實(shí)施例，程序模塊1410可以包括對(duì)與電子設(shè)備(例如，電子設(shè)備101)相關(guān)的資源進(jìn)行控制的操作系統(tǒng)(OS)和/或在操作系統(tǒng)上驅(qū)動(dòng)的各種應(yīng)用。操作系統(tǒng)可以是例如 Andro id、1S、Windows、Symbian、TizeruBada 等。
[0170]程序模塊1410包括內(nèi)核1420、中間件1430、API 960和/或應(yīng)用1470。程序模塊1410的至少一部分可以預(yù)先加載到電子設(shè)備上或者從外部電子設(shè)備下載。
[0171]內(nèi)核1420可以包括例如系統(tǒng)資源管理器1421或設(shè)備驅(qū)動(dòng)器1423。系統(tǒng)資源管理器1421可以執(zhí)行系統(tǒng)資源的控制、分配或者恢復(fù)。根據(jù)實(shí)施例，系統(tǒng)資源管理器1421可以包括進(jìn)程管理部分、存儲(chǔ)器管理部分和/或文件系統(tǒng)管理部分。設(shè)備驅(qū)動(dòng)器1423例如可以包括顯示器驅(qū)動(dòng)器、攝像機(jī)驅(qū)動(dòng)器、藍(lán)牙驅(qū)動(dòng)器、公共存儲(chǔ)器驅(qū)動(dòng)器、USB驅(qū)動(dòng)器、鍵區(qū)驅(qū)動(dòng)器、W1-Fi 驅(qū)動(dòng)器、 音頻驅(qū)動(dòng)器或進(jìn)程間通信(IPC)驅(qū)動(dòng)器。
[0172]中間件1430可提供例如應(yīng)用1470通常所需的功能、或通過(guò)API1460向應(yīng)用1470提供多種功能，以便允許應(yīng)用1470能有效地使用電子設(shè)備中有限的系統(tǒng)資源。根據(jù)一實(shí)施例，中間件1430可以包括運(yùn)行時(shí)間庫(kù)1435、應(yīng)用管理器1441、窗口管理器1442、多媒體管理器1443、資源管理器1444、功率管理器1445、數(shù)據(jù)庫(kù)管理器1446、數(shù)據(jù)包管理器1447、連接管理器1448、通知管理器1449、位置管理器1450、圖形管理器1451和安全管理器1452中的至少一個(gè)。
[0173]運(yùn)行時(shí)間庫(kù)1435可包括例如由編譯器使用的庫(kù)模塊，以便在執(zhí)行應(yīng)用1470期間通過(guò)使用編程語(yǔ)言來(lái)添加新的功能。運(yùn)行時(shí)間庫(kù)1435可執(zhí)行與輸入和輸出管理、存儲(chǔ)器管理、或算術(shù)功能相關(guān)的功能。
[0174]應(yīng)用管理器1441可以管理例如至少一個(gè)應(yīng)用1470的生命周期。窗口管理器1442可以管理在屏幕中使用的GUI資源。多媒體管理器1443可以識(shí)別用于播放各種媒體文件所需的格式，并可以通過(guò)使用適合對(duì)應(yīng)格式的編解碼器對(duì)媒體文件執(zhí)行編碼或解碼。資源管理器1444可以管理應(yīng)用1470中至少一個(gè)應(yīng)用的資源，例如源代碼、存儲(chǔ)器、存儲(chǔ)空間等。
[0175]電源管理器1445連同例如基本輸入/輸出系統(tǒng)(B1S)—同操作，以便管理電池或功率，且提供用于電子設(shè)備的操作的電源信息。數(shù)據(jù)庫(kù)管理器1446可以生成、搜索或修改要在至少一個(gè)應(yīng)用1470中使用的數(shù)據(jù)庫(kù)。分組管理器1447安裝或更新以分組文件形式分發(fā)的應(yīng)用。
[0176]連接性管理器1448管理例如無(wú)線連接，諸如W1-Fi和藍(lán)牙。通知管理器1449以不干擾用戶的方式顯示或通知諸如消息到達(dá)、預(yù)約、接近報(bào)警的事件。位置管理器1450可以管理電子設(shè)備的位置信息。圖形管理器1451可以管理向用戶提供的圖形效果，或管理與圖形效果相關(guān)的用戶界面。安全管理器1452可以提供系統(tǒng)安全或用戶認(rèn)證所需的普通安全功能。根據(jù)一個(gè)實(shí)施例，如果電子設(shè)備(例如，電子設(shè)備101)具有電話功能，則中間件1430還包括電話管理器，用于管理電子設(shè)備的語(yǔ)音和/或圖像呼叫功能。
[0177]中間件1430可以包括中間件模塊，用于形成上述部件的各種功能的組合。中間件1430可提供根據(jù)OS的類型而專門化的模塊，以供應(yīng)不同功能。此外，中間件1430可以動(dòng)態(tài)地移除已有元素的一部分或向其添加新的元素。
[0178]API 1460可以是編程功能的集合，且可以根據(jù)OS而具有不同配置。舉例來(lái)講，在OS是安卓或1S的情況下，可能許可每個(gè)平臺(tái)提供一個(gè)API集合。在OS是tizen的情況下，可能許可每個(gè)平臺(tái)提供兩個(gè)或更多個(gè)個(gè)API集合。
[0179]應(yīng)用1470可包括例如一個(gè)或更多個(gè)應(yīng)用，能夠提供針對(duì)主頁(yè)1471、撥號(hào)盤1472、SMS/MMS 1473、即時(shí)消息(頂)1474、瀏覽器1475、相機(jī)1476、警報(bào)1477、聯(lián)系人1478、語(yǔ)音撥號(hào)1479、電子郵件1480、日歷1481、媒體播放器1482、相冊(cè)1483和時(shí)鐘1484的功能，或用于提供健康管理(例如，測(cè)量運(yùn)動(dòng)量或血糖)或環(huán)境信息(例如，氣壓、濕度或溫度)。
[0180]根據(jù)一個(gè)實(shí)施例，應(yīng)用1470可包括用來(lái)支持電子設(shè)備(例如電子設(shè)備101)和外部電子設(shè)備之間的信息交換的應(yīng)用(為了便于描述，在下文中被稱為“信息交換應(yīng)用”)。例如，信息交換應(yīng)用可以包括用于向外部電子設(shè)備發(fā)送特定信息的通知中繼應(yīng)用或者用于管理外部電子設(shè)備的設(shè)備管理應(yīng)用。
[0181 ]例如，信息交換應(yīng)用可包括向外部電子設(shè)備傳送從其他應(yīng)用(例如，SMS/MMS應(yīng)用、電子郵件應(yīng)用、健康管理應(yīng)用或環(huán)境信息應(yīng)用)處產(chǎn)生的通知信息的功能。附加地，信息交換應(yīng)用可以從外部電子設(shè)備接收例如通知信息并將其提供給用戶。
[0182]設(shè)備管理應(yīng)用可以管理(例如，安裝、移除或更新)例如與該電子設(shè)備通信的外部電子設(shè)備的至少一個(gè)功能(例如，外部電子設(shè)備(或其一些組件)的接通/斷開(kāi)、或調(diào)整顯示器的亮度(或分辨率))、在外部電子設(shè)備處工作的應(yīng)用、或由外部電子設(shè)備提供的應(yīng)用(例如，呼叫服務(wù)或消息服務(wù))。
[0183]根據(jù)一個(gè)實(shí)施例，應(yīng)用1470可包括根據(jù)外部電子設(shè)備的屬性指派的應(yīng)用(例如健康護(hù)理應(yīng)用)。根據(jù)一個(gè)實(shí)施例，應(yīng)用1470可包括從外部電子設(shè)備接收的應(yīng)用。根據(jù)實(shí)施例，應(yīng)用1470可包括預(yù)加載的應(yīng)用或可從服務(wù)器下載的第三方應(yīng)用。根據(jù)所示出的實(shí)施例的程序模塊1410的名稱可根據(jù)OS的類型而改變。
[0184]根據(jù)各種實(shí)施例，程序模塊1410中的至少一部分可以用軟件、固件、硬件或它們中的兩個(gè)或更多個(gè)的組合來(lái)實(shí)現(xiàn)。例如，程序模塊1410的至少一部分可以由處理器(例如處理器1410)來(lái)實(shí)現(xiàn)(例如執(zhí)行)。程序模塊1410的至少一部分可包括例如用于執(zhí)行一個(gè)或多個(gè)功能的模塊、程序、例程、指令集或處理。
[0185]可以使用一個(gè)或多個(gè)組件來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明的實(shí)施例的電子設(shè)備的以上元素中的每一個(gè)，并且相關(guān)組件的名稱可以隨著電子設(shè)備的種類而改變。根據(jù)本公開(kāi)各種實(shí)施例的電子設(shè)備可以包括上述組件中的至少一個(gè)。同樣，可以省略所述組件中的一部分，或還可以包括附加的其它組件。同樣，可以將根據(jù)本發(fā)明的電子設(shè)備的部件的一些進(jìn)行組合以形成一個(gè)整體，從而使得可以執(zhí)行與組合之前實(shí)質(zhì)上相同的相關(guān)部件功能。
[0186]本公開(kāi)所使用的術(shù)語(yǔ)“模塊”可以例如意味著包括硬件、軟件和固件之一或者其中兩種或更多種的組合在內(nèi)的單元。“模塊”可以與諸如“單元”、“邏輯”、“邏輯塊”、“組件”或“電路”等的術(shù)語(yǔ)互換使用?！澳K”可表示集成配置的組件或其中一部分的最小單元。“?！缐笨梢允怯糜趫?zhí)行一個(gè)或多個(gè)功能的最小單元或其一部分。可以用機(jī)械方式或電子方式來(lái)實(shí)現(xiàn)所述“模塊”。例如，根據(jù)本公開(kāi)各種實(shí)施例的術(shù)語(yǔ)“模塊”可以包括執(zhí)行特定操作的專用集成電路(ASIC)芯片、現(xiàn)場(chǎng)可編程門陣列(FPGA)、或可編程邏輯器件中的至少一項(xiàng)，這些設(shè)備都是已知的或?qū)?lái)開(kāi)發(fā)出的。
[0187]根據(jù)本公開(kāi)各個(gè)實(shí)施例的裝置(例如，其模塊或功能)或方法(例如，操作)的至少一部分例如實(shí)現(xiàn)為以可編程模塊形式存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的指令。當(dāng)由處理器(例如處理器120)執(zhí)行時(shí)，所述指令可以執(zhí)行與所述指令相對(duì)應(yīng)的功能。這種計(jì)算機(jī)可讀介質(zhì)可以是例如存儲(chǔ)器130。
[0188]計(jì)算機(jī)可讀記錄介質(zhì)可以包括硬盤、諸如軟盤和磁帶之類的磁性介質(zhì)、諸如緊湊盤ROM(CD-ROM)和數(shù)字通用盤(DVD)之類的光學(xué)介質(zhì)、磁光介質(zhì)(例如光磁軟盤)和硬件設(shè)備(例如R0M、RAM和閃存)。同樣，程序指令不但可以包括諸如由編譯者產(chǎn)生的機(jī)器代碼，而且包括可以使用譯碼器在計(jì)算機(jī)上執(zhí)行的高級(jí)語(yǔ)言代碼。以上硬件單元可以配置為經(jīng)由用于執(zhí)行本發(fā)明操作的一個(gè)或多個(gè)軟件模塊來(lái)操作，反之亦然。
[0189]根據(jù)各個(gè)實(shí)施例，計(jì)算機(jī)可讀記錄介質(zhì)可包括進(jìn)行以下操作的程序:收集第一運(yùn)動(dòng)圖像;提取關(guān)于形成所述第一運(yùn)動(dòng)圖像的幀的至少一部分的空間信息;將所提取的空間信息反映到對(duì)與所述第一運(yùn)動(dòng)圖像相對(duì)應(yīng)的3D視圖的生成。
[0190]根據(jù)本公開(kāi)各個(gè)實(shí)施例的模塊或編程模塊可包括上述元素中的至少一個(gè)，或可以省略一部分上述元素，或還可以包括附加其他元素。根據(jù)本公開(kāi)各個(gè)實(shí)施例的由模塊、編程模塊或其他組成元素執(zhí)行的操作可以依次地、并行地、重復(fù)地或啟發(fā)式地執(zhí)行。此外，操作的一部分可以以不同順序被執(zhí)行、被省略，或者可以添加其它操作。
[0191]盡管參考本公開(kāi)的多個(gè)實(shí)施例示出并描述了本公開(kāi)，但是本領(lǐng)域技術(shù)人員將理解，在不脫離由所附權(quán)利要求及其等同物定義的本公開(kāi)的精神和范圍的前提下，可以在其中進(jìn)行多種形式和細(xì)節(jié)上的改變。
【主權(quán)項(xiàng)】
1.一種在電子設(shè)備中執(zhí)行的圖像處理方法，所述圖像處理方法包括: 收集第一運(yùn)動(dòng)圖像； 提取形成所述第一運(yùn)動(dòng)圖像的幀中的至少一部分幀的空間信息；以及 將所提取的空間信息反映到與所述第一運(yùn)動(dòng)圖像相對(duì)應(yīng)的3維3D視圖的生成。2.根據(jù)權(quán)利要求1所述的圖像處理方法，其中，收集第一運(yùn)動(dòng)圖像包括: 獲得與對(duì)象的第一方向相對(duì)應(yīng)的第一二維2D圖像和與所述對(duì)象的第二方向相對(duì)應(yīng)的第二 2D圖像。3.根據(jù)權(quán)利要求2所述的圖像處理方法，其中，提取空間信息包括: 基于所述第一 2D圖像和所述第二 2D圖像中的至少一部分來(lái)確定所述空間信息。4.根據(jù)權(quán)利要求3所述的圖像處理方法，其中，確定所述空間信息包括: 確定所述第一 2D圖像的第一特征和所述第二 2D圖像的與所述第一特征相對(duì)應(yīng)的第二特征；以及 基于所述第一特征和所述第二特征中的至少一部分，將所述對(duì)象的位置或方向確定為所述空間信息的至少一部分。5.根據(jù)權(quán)利要求2所述的圖像處理方法，其中，反映到所述3D視圖的生成包括: 基于所述第一方向和所述第二方向確定第三方向；以及 基于所述第三方向生成所述對(duì)象的3D圖像。6.根據(jù)權(quán)利要求2所述的圖像處理方法，其中，反映到所述3D視圖的生成包括: 基于所述空間信息來(lái)修正與多個(gè)方向相對(duì)應(yīng)的多個(gè)圖像；以及 基于所述修正來(lái)提供所述3D視圖。7.根據(jù)權(quán)利要求6所述的圖像處理方法，其中所述修正包括: 生成所述電子設(shè)備的虛擬理想路徑；以及 基于所述虛擬理想路徑和所述空間信息來(lái)修正多個(gè)圖像中的至少一個(gè)的位置。8.根據(jù)權(quán)利要求1所述的圖像處理方法，其中，提取空間信息包括: 通過(guò)在特定條件下對(duì)所述第一圖像進(jìn)行按比例縮小或采樣，確定所述至少一部分幀。9.根據(jù)權(quán)利要求1所述的圖像處理方法，其中，提取空間信息包括: 如果理想路徑與所述電子設(shè)備移動(dòng)所沿的實(shí)際路徑相交或所述理想路徑在特定范圍內(nèi)與所述實(shí)際路徑毗鄰，則對(duì)所述第一運(yùn)動(dòng)圖像進(jìn)行采樣。10.根據(jù)權(quán)利要求9所述的圖像處理方法，其中，提取空間信息包括: 提取用于將所述第一運(yùn)動(dòng)圖像的未采樣的幀轉(zhuǎn)換成在所述理想路徑上拍攝的幀的修正參數(shù)。11.根據(jù)權(quán)利要求9所述的圖像處理方法，其中，提取空間信息包括: 基于被確定為所述至少一部分幀的每個(gè)幀中包括的特征的數(shù)量，將所述第一運(yùn)動(dòng)圖像中的未采樣的幀按比例縮小。12.一種具有相機(jī)模塊的電子設(shè)備，所述電子設(shè)備包括: 所述相機(jī)模塊，被配置為拍攝圖像；以及 3D轉(zhuǎn)換模塊，被配置為基于所述圖像生成3D視圖， 其中所述相機(jī)模塊開(kāi)始收集第一運(yùn)動(dòng)圖像，以及 所述3D轉(zhuǎn)換模塊基于關(guān)于形成所述第一運(yùn)動(dòng)圖像的幀中的至少一部分幀的空間信息來(lái)生成與所述第一運(yùn)動(dòng)圖像相對(duì)應(yīng)的3D視圖。13.根據(jù)權(quán)利要求12所述的電子設(shè)備，還包括傳感器模塊， 其中所述3D轉(zhuǎn)換模塊基于通過(guò)所述傳感器模塊收集的信息來(lái)提取關(guān)于第二圖像的空間?目息。14.根據(jù)權(quán)利要求12所述的電子設(shè)備，其中，所述3D轉(zhuǎn)換模塊基于所述空間信息改變所述第一運(yùn)動(dòng)圖像的拍攝模式。15.根據(jù)權(quán)利要求14所述的電子設(shè)備，其中，如果形成所述至少一部分幀的連續(xù)幀之間的特征在等于或大于第一值的程度內(nèi)變化，并且所述特征的色散值在等于或大于第二值的程度內(nèi)變化，則所述3D轉(zhuǎn)換模塊允許通過(guò)第一模式收集所述第一運(yùn)動(dòng)圖像。16.根據(jù)權(quán)利要求15所述的電子設(shè)備，其中，所述第一模式通過(guò)改變圖像傳感器的操作速度、靈敏度和曝光時(shí)間中的至少一個(gè)來(lái)收集所述第一運(yùn)動(dòng)圖像。17.根據(jù)權(quán)利要求14所述的電子設(shè)備，其中，如果形成所述至少一部分幀的連續(xù)幀之間的特征在等于或大于第一值的程度內(nèi)變化，并且所述特征的色散值在小于第二值的程度內(nèi)變化，則所述3D轉(zhuǎn)換模塊允許通過(guò)第二模式收集所述第一運(yùn)動(dòng)圖像。18.根據(jù)權(quán)利要求17所述的電子設(shè)備，其中，所述第二模式使用多個(gè)傳感器來(lái)收集所述第一運(yùn)動(dòng)圖像。19.根據(jù)權(quán)利要求14所述的電子設(shè)備，其中，如果所述至少一部分幀所包括的幀之間的相對(duì)相似度低于特定值，則所述3D轉(zhuǎn)換模塊在將用戶引導(dǎo)至拍攝方向或拍攝速度的模式中收集所述第一運(yùn)動(dòng)圖像。20.—種具有程序的計(jì)算機(jī)可讀記錄介質(zhì)，所述程序包括: 收集第一運(yùn)動(dòng)圖像； 提取關(guān)于形成所述第一運(yùn)動(dòng)圖像的幀中的至少一部分幀的空間信息； 將所提取的空間信息反映到與所述第一運(yùn)動(dòng)圖像相對(duì)應(yīng)的3D視圖的生成。
【文檔編號(hào)】H04N13/02GK105933689SQ201610112507
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年2月29日
【發(fā)明人】李始炯, 崔智煥, 李基赫, 趙成大
【申請(qǐng)人】三星電子株式會(huì)社