本發(fā)明涉及一種通過(guò)電子設(shè)備處理多媒體數(shù)據(jù)的方法及其電子設(shè)備。

背景技術(shù)：

各種類型的電子設(shè)備，諸如智能手機(jī)，平板PC等，被廣泛使用。例如，諸如智能電話等的電子設(shè)備可以從外部下載各種類型的多媒體數(shù)據(jù)，諸如包括照片或圖片的靜止圖像以及包括電影，動(dòng)畫(huà)等的動(dòng)態(tài)圖像，并且存儲(chǔ)它們，或者通過(guò)相機(jī)拍攝各種類型的多媒體數(shù)據(jù)并存儲(chǔ)它們。

電子設(shè)備可以選擇各種類型的多媒體數(shù)據(jù)，并在屏幕上顯示多媒體數(shù)據(jù)或?qū)⒍嗝襟w數(shù)據(jù)發(fā)送到外部。電子設(shè)備可以顯示其上可以使用用戶界面的列表屏幕，以便允許用戶方便地使用各種類型的多媒體數(shù)據(jù)之一。

例如，電子設(shè)備可以在可以執(zhí)行用戶選擇的列表屏幕上顯示表示每條多媒體數(shù)據(jù)的多個(gè)縮略圖，并且用戶可以從顯示在其上的多個(gè)縮略圖中選擇預(yù)定的縮略圖列表屏幕，以便方便地選擇用戶期望的多媒體數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問(wèn)題

本發(fā)明的各個(gè)實(shí)施例提供了一種通過(guò)電子設(shè)備處理多媒體數(shù)據(jù)的方法及其電子設(shè)備，當(dāng)在電子設(shè)備中選擇諸如靜止圖像或動(dòng)態(tài)圖像的多媒體數(shù)據(jù)時(shí)，例如智能電話或可以通過(guò)音頻數(shù)據(jù)輸出與要與多媒體數(shù)據(jù)的圖像鏈接的多媒體數(shù)據(jù)相關(guān)的各種信息。

本發(fā)明的各個(gè)實(shí)施例提供了一種通過(guò)電子設(shè)備處理多媒體數(shù)據(jù)的方法及其電子設(shè)備，當(dāng)選擇多媒體數(shù)據(jù)時(shí)，其可以重疊地顯示與多媒體數(shù)據(jù)相關(guān)的各種信息和多媒體的圖像數(shù)據(jù)。

本發(fā)明的各個(gè)實(shí)施例提供了一種由電子設(shè)備處理多媒體數(shù)據(jù)的方法及其電子設(shè)備，當(dāng)用戶選擇在多媒體數(shù)據(jù)的圖像上重疊顯示的各條信息中的一個(gè)或多個(gè)時(shí)，提供與所選擇的信息相關(guān)的附加服務(wù)。

技術(shù)方案

根據(jù)本發(fā)明的各個(gè)實(shí)施例，一種由電子設(shè)備處理多媒體數(shù)據(jù)的方法可以包括：通過(guò)所述電子設(shè)備獲取與所述多媒體數(shù)據(jù)相關(guān)的信息；存儲(chǔ)要彼此鏈接的所獲取的信息和多媒體數(shù)據(jù)；和當(dāng)選擇多媒體數(shù)據(jù)時(shí)，輸出存儲(chǔ)的信息以通過(guò)音頻與多媒體數(shù)據(jù)鏈接。

根據(jù)本發(fā)明的各個(gè)實(shí)施例，一種由電子設(shè)備處理多媒體數(shù)據(jù)的方法可以包括：當(dāng)選擇所述多媒體數(shù)據(jù)時(shí)，由所述電子設(shè)備獲取與所述多媒體數(shù)據(jù)相關(guān)的信息；和通過(guò)音頻數(shù)據(jù)輸出所獲取的要與多媒體數(shù)據(jù)鏈接的信息。

根據(jù)本發(fā)明的各個(gè)實(shí)施例，一種電子設(shè)備可以包括：存儲(chǔ)器，被配置為存儲(chǔ)多媒體數(shù)據(jù)；和處理器，被配置為控制所述存儲(chǔ)器，其中，當(dāng)存儲(chǔ)所述多媒體數(shù)據(jù)時(shí)，所述處理器獲取與多媒體數(shù)據(jù)相關(guān)的信息，存儲(chǔ)要彼此鏈接的所獲取的信息和多媒體數(shù)據(jù)，并且當(dāng)所述多媒體數(shù)據(jù)被選擇時(shí)，通過(guò)音頻數(shù)據(jù)輸出所述存儲(chǔ)的要與多媒體數(shù)據(jù)鏈接的信息。

根據(jù)本發(fā)明的各個(gè)實(shí)施例，一種電子設(shè)備可以包括：存儲(chǔ)器，被配置為存儲(chǔ)多媒體數(shù)據(jù)；和處理器，被配置為控制所述存儲(chǔ)器，其中，當(dāng)選擇所述多媒體數(shù)據(jù)時(shí)，所述處理器獲取與多媒體數(shù)據(jù)相關(guān)的信息，并通過(guò)音頻數(shù)據(jù)輸出所獲取的要與所述多媒體數(shù)據(jù)鏈接的信息。

有益效果

根據(jù)本發(fā)明的各個(gè)實(shí)施例，當(dāng)選擇多媒體數(shù)據(jù)時(shí)，諸如智能電話的電子設(shè)備可以通過(guò)音頻數(shù)據(jù)輸出與要與多媒體數(shù)據(jù)鏈接的多媒體數(shù)據(jù)相關(guān)的各種信息片段，使得用戶可以在視覺(jué)上觀看多媒體數(shù)據(jù)的圖像并且同時(shí)聽(tīng)覺(jué)地收聽(tīng)各種信息。因此，可以向盲人和正常用戶提供方便。

根據(jù)本發(fā)明的各個(gè)實(shí)施例，當(dāng)選擇多媒體數(shù)據(jù)時(shí)，電子設(shè)備可以在多媒體數(shù)據(jù)的圖像上重疊地顯示與多媒體數(shù)據(jù)相關(guān)的各種信息，使得用戶可以同時(shí)進(jìn)行視覺(jué)上觀看多媒體的圖像數(shù)據(jù)和各種信息。

根據(jù)本發(fā)明的各個(gè)實(shí)施例，當(dāng)用戶選擇在多媒體數(shù)據(jù)的圖像上重疊顯示的各條信息時(shí)，電子設(shè)備可以提供與所選擇的信息相關(guān)的附加服務(wù)，使得用戶可以方便地使用各種附加服務(wù)，例如，通信服務(wù)，日程管理服務(wù)和簡(jiǎn)檔搜索服務(wù)，同時(shí)觀看多媒體數(shù)據(jù)的圖像。

附圖說(shuō)明

圖1a示出了包括根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備的網(wǎng)絡(luò)環(huán)境；

圖1b示出了根據(jù)本發(fā)明的各個(gè)實(shí)施例的多媒體接口的配置的示例；

圖2是根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備的框圖；

圖3示出根據(jù)本發(fā)明的各個(gè)實(shí)施例的多媒體數(shù)據(jù)文件的配置的示例；

圖4示出了根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備執(zhí)行面部識(shí)別操作的處理的示例；

圖5示出根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備通過(guò)音頻數(shù)據(jù)和子屏幕輸出與圖像相關(guān)的信息的示例；

圖6示出了根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備通過(guò)音頻數(shù)據(jù)和語(yǔ)音氣泡輸出與圖像相關(guān)的信息的示例；

圖7示出根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備輸出與用戶通過(guò)音頻數(shù)據(jù)和語(yǔ)音氣泡選擇的縮略圖圖像有關(guān)的信息的示例；

圖8示出根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備通過(guò)音頻數(shù)據(jù)和語(yǔ)音氣泡輸出與包括幾個(gè)人的圖像相關(guān)的信息的示例；

圖9示出根據(jù)本發(fā)明的各個(gè)實(shí)施例的讀取優(yōu)先級(jí)設(shè)置屏幕的示例；

圖10示出了根據(jù)本發(fā)明的各個(gè)實(shí)施例的閱讀聲音設(shè)置屏幕的示例；

圖11示出了根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備提供日程管理服務(wù)的過(guò)程的示例；

圖12示出了根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備提供簡(jiǎn)檔搜索服務(wù)的過(guò)程的示例；

圖13a至13d是示出根據(jù)本發(fā)明的各個(gè)實(shí)施例的由電子設(shè)備處理多媒體數(shù)據(jù)的方法的示例的操作的流程圖；和

圖14是示出根據(jù)本發(fā)明的各個(gè)實(shí)施例的由電子設(shè)備處理多媒體數(shù)據(jù)的方法的另一示例的操作的流程圖。

具體實(shí)施方式

在下文中，將參照附圖描述本發(fā)明的各種實(shí)施例。本發(fā)明可以具有各種實(shí)施例，并且可以在其中進(jìn)行修改和改變。因此，將參考附圖中所示的具體實(shí)施例詳細(xì)描述本發(fā)明。然而，應(yīng)當(dāng)理解，沒(méi)有意圖將本發(fā)明的各種實(shí)施例限制于本文公開(kāi)的特定實(shí)施例，而是本發(fā)明應(yīng)當(dāng)被解釋為覆蓋落入本發(fā)明的各種實(shí)施例的精神和范圍內(nèi)的所有修改、等同物和/或替換。結(jié)合附圖的描述，相同的附圖標(biāo)記表示相同的元件。

在本發(fā)明中，表述“包括”或“可包括”是指對(duì)應(yīng)的功能、操作或元件的存在，并且不限制一個(gè)或多個(gè)附加的功能、操作或元件。此外，如在本發(fā)明的各種實(shí)施例中所使用的，術(shù)語(yǔ)“包括”、“具有”及其變形僅旨在表示特定特征、數(shù)字、步驟、操作、元件、組件或其組合，不應(yīng)解釋為最初排除一個(gè)或多個(gè)其它特征、數(shù)字、步驟、操作、元件、組件或其組合的存在或添加的可能性。

此外，如在本發(fā)明的各種實(shí)施例中所使用的，表達(dá)“或”包括在一起列舉的單詞的任何或所有組合。例如，表達(dá)“A或B”可以包括A，可以包括B，或者可以包括A和B。雖然包括序數(shù)的表達(dá)，諸如“第一”和“第二”，如在本發(fā)明的各種實(shí)施例中使用的本發(fā)明可以修改各種構(gòu)成元件，但是這些構(gòu)成元件不限于上述表達(dá)方式。例如，上述表述不限制元素的順序和/或重要性。上述表述僅用于區(qū)分元件與其它元件的目的。例如，第一用戶設(shè)備和第二用戶設(shè)備指示不同的用戶設(shè)備，盡管它們兩者都是用戶設(shè)備。例如，第一元件可以被稱為第二元件，并且類似地，第二元件也可以被稱為第一元件，而不脫離本發(fā)明的范圍。

在元件被稱為“連接”或“接入”到其他元件的情況下，應(yīng)當(dāng)理解，不僅該元件直接連接或接入到其它元件，而且在它們之間可以存在另一個(gè)元件。相反，當(dāng)元件被稱為“直接耦合”或“直接連接”到任何其它元件時(shí)，應(yīng)當(dāng)理解，在它們之間沒(méi)有元件。

在本發(fā)明的各種實(shí)施例中使用的術(shù)語(yǔ)僅僅是為了描述特定實(shí)施例的目的，并且不旨在限制本發(fā)明的各種實(shí)施例。如本文所使用的，單數(shù)形式也旨在包括復(fù)數(shù)形式，除非上下文另有明確指示。

除非另有定義，本文使用的所有術(shù)語(yǔ)，包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ)，具有與本發(fā)明的各種實(shí)施例所屬領(lǐng)域的普通技術(shù)人員通常理解的相同的含義。在通常使用的字典中定義的那些術(shù)語(yǔ)應(yīng)被解釋為具有與相關(guān)領(lǐng)域中的上下文含義相同的含義，并且不應(yīng)被解釋為具有理想的或過(guò)度形式的含義，除非在各種實(shí)施例中清楚地定義本發(fā)明。

根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備可以是包括通信功能的設(shè)備。例如，電子設(shè)備可以包括智能電話、平板個(gè)人計(jì)算機(jī)(PC)、移動(dòng)電話、視頻電話、電子書(shū)閱讀器、臺(tái)式PC、膝上型PC、上網(wǎng)本計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、MP3播放器、移動(dòng)醫(yī)療設(shè)備、照相機(jī)、可穿戴設(shè)備(例如，諸如電子眼鏡的頭戴式設(shè)備、電子手鐲、電子項(xiàng)鏈、電子配件、電子紋身或智能手表)。

根據(jù)一些實(shí)施例，電子設(shè)備可以是具有通信功能的智能家用電器。智能家電可以包括例如電視、數(shù)字視頻盤(DVD)播放器、音頻播放器、冰箱、空調(diào)、清潔器、烤箱、微波爐、洗衣機(jī)、空氣凈化器、機(jī)頂盒、電視盒(例如，三星的HomeSync TM、Apple TV TM或Google TV TM)、游戲控制臺(tái)、電子詞典、電子鑰匙、攝像機(jī)或電子相框。

根據(jù)一些實(shí)施例，電子設(shè)備可以包括各種醫(yī)療器械(例如，磁共振血管造影術(shù)(MRA)、磁共振成像(MRI)、計(jì)算機(jī)斷層攝影(CT)和超聲波機(jī))，導(dǎo)航設(shè)備、全球定位系統(tǒng)(GPS)接收器、事件數(shù)據(jù)記錄器(EDR)、飛行數(shù)據(jù)記錄器(FDR)、汽車信息娛樂(lè)裝置、船舶電子設(shè)備(例如船舶導(dǎo)航設(shè)備和陀螺羅盤)、航空電子設(shè)備、安防設(shè)備、車輛頭單元(vehicle head unit)、工業(yè)或家庭機(jī)器人、銀行系統(tǒng)的自動(dòng)取款機(jī)(ATM)和商店的銷售點(diǎn)(POS)。

根據(jù)一些實(shí)施例，電子設(shè)備可以包括家具的一部分或具有通信功能的建筑物/結(jié)構(gòu)、電子板、電子簽名接收設(shè)備、投影儀和各種測(cè)量?jī)x器(例如，水表、電表、氣表、無(wú)線電波表等)中的至少一個(gè)。根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備可以是上述各種設(shè)備中的一個(gè)或多個(gè)的組合。此外，根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備可以是柔性設(shè)備。此外，對(duì)于本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是，根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備不限于上述設(shè)備。

在下文中，將參照附圖描述根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備。在本發(fā)明的各種實(shí)施例中使用的術(shù)語(yǔ)“用戶”可以指示使用電子設(shè)備的用戶或使用電子設(shè)備的設(shè)備，諸如人工智能電子設(shè)備。

圖1a示出了包括根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備101的網(wǎng)絡(luò)環(huán)境100。圖1b示出了根據(jù)本發(fā)明的各種實(shí)施例的多媒體接口170的配置的示例。

參考圖1，電子設(shè)備101可以包括總線110、處理器120、存儲(chǔ)器130、輸入/輸出接口140、顯示器150、通信接口160、多媒體接口170和傳感器接口180。

參考圖1b，多媒體接口170可以包括例如用于處理數(shù)據(jù)以記錄或再現(xiàn)各種類型的多媒體數(shù)據(jù)(諸如靜止圖像或動(dòng)態(tài)圖像)的數(shù)據(jù)處理器170A；將文本轉(zhuǎn)換為聲音的TTS(文本到聲音)轉(zhuǎn)換器170B，用于輸出與多媒體數(shù)據(jù)相關(guān)的信息作為音頻數(shù)據(jù)；以及用于通過(guò)對(duì)多媒體數(shù)據(jù)的圖像的圖像掃描來(lái)識(shí)別人的臉部的臉部識(shí)別單元170C。

多媒體接口170的一部分或整體可以被包括在處理器120中或者作為單獨(dú)的元件與處理器120交互工作。

總線110可以是互連上述元件并在上述元件之間傳遞通信(例如，控制消息)的電路。處理器120可以通過(guò)總線110接收例如來(lái)自其他元件(例如，存儲(chǔ)器130、輸入/輸出接口140、顯示器150和通信接口160)的指令，分析所接收的指令，并執(zhí)行根據(jù)分析的指令進(jìn)行計(jì)算或數(shù)據(jù)處理。

存儲(chǔ)器130可以存儲(chǔ)從處理器120或其他元件(例如，輸入/輸出接口140、顯示器150和通信接口160)接收或由其創(chuàng)建的指令或數(shù)據(jù)。存儲(chǔ)器130可以包括編程模塊，例如，內(nèi)核131、中間件132、應(yīng)用編程接口(API)133、應(yīng)用134等。上述編程模塊中的每一個(gè)可以由軟件、固件、硬件或其至少兩個(gè)的組合形成。

內(nèi)核131可以控制或管理用于執(zhí)行在剩余的其他編程模塊(例如中間件132、API 133或應(yīng)用程序134)中實(shí)現(xiàn)的操作或功能的系統(tǒng)資源(例如，總線110、處理器120或存儲(chǔ)器130)。此外，內(nèi)核131可以提供接口，通過(guò)該接口中間件132、API 133或應(yīng)用134可以在訪問(wèn)各個(gè)組件時(shí)控制或管理電子設(shè)備101的各個(gè)組件。

中間件132可以執(zhí)行允許API 133或應(yīng)用134與內(nèi)核131通信以與其交換數(shù)據(jù)的中繼功能。此外，與從應(yīng)用134接收的任務(wù)請(qǐng)求相關(guān)聯(lián)，中間件132可以通過(guò)使用例如向應(yīng)用程序134中的至少一個(gè)分配方法來(lái)控制(例如，調(diào)度或負(fù)載平衡)任務(wù)請(qǐng)求、用于使用電子設(shè)備101的系統(tǒng)資源(例如，總線110，處理器120，存儲(chǔ)器130等)的優(yōu)先級(jí)。

API 133是應(yīng)用134可以通過(guò)其控制由內(nèi)核131或中間件132提供的功能的接口，并且可以包括用于文件控制、窗口控制、圖像處理或文本控制的至少一個(gè)接口或功能(例如，指令)。

根據(jù)本發(fā)明的各種實(shí)施例，應(yīng)用134可以包括短消息服務(wù)(SMS)/多媒體消息服務(wù)(MMS)應(yīng)用、電子郵件應(yīng)用、日歷應(yīng)用、報(bào)警應(yīng)用、健康護(hù)理應(yīng)用(例如，用于測(cè)量運(yùn)動(dòng)量或血糖的應(yīng)用)和環(huán)境信息應(yīng)用(例如，用于提供大氣壓、濕度、溫度等的應(yīng)用)。附加地或替代地，應(yīng)用134可以是與電子設(shè)備101和外部電子設(shè)備(例如，電子設(shè)備104)之間的信息交換相關(guān)的應(yīng)用。與信息交換有關(guān)的應(yīng)用可以包括例如用于將預(yù)定信息傳送到外部電子設(shè)備的通知中繼應(yīng)用或用于管理外部電子設(shè)備的設(shè)備管理應(yīng)用。

例如，通知中繼應(yīng)用可以包括將在電子設(shè)備101的其他應(yīng)用(例如，SMS/MMS應(yīng)用、電子郵件應(yīng)用、健康管理應(yīng)用、環(huán)境信息應(yīng)用等)中生成的通知信息傳送到外部電子設(shè)備(例如，電子設(shè)備104)。附加地或替代地，通知中繼應(yīng)用可以從例如外部電子設(shè)備(例如，電子設(shè)備1024)接收通知信息，并且可以向用戶提供接收到的通知信息。設(shè)備管理應(yīng)用可以管理(例如，安裝、刪除或更新)例如與電子設(shè)備101通信的外部電子設(shè)備(例如，電子設(shè)備104)的至少一部分的功能(例如，打開(kāi)/關(guān)閉外部電子設(shè)備本身(或其某些元件)或調(diào)整顯示器的亮度(或分辨率)，管理在外部電子設(shè)備中操作的應(yīng)用或從外部電子設(shè)備提供的服務(wù)(例如，電話呼叫服務(wù)或消息服務(wù))。

根據(jù)本發(fā)明的各種實(shí)施例，應(yīng)用134可以包括根據(jù)外部電子設(shè)備(例如，電子設(shè)備104)的屬性(例如，電極裝置的類型)指定的應(yīng)用。例如，當(dāng)外部電子設(shè)備是MP3播放器時(shí)，應(yīng)用134可以包括與音樂(lè)的再現(xiàn)相關(guān)的應(yīng)用。類似地，當(dāng)外部電子設(shè)備是移動(dòng)醫(yī)療器械時(shí)，應(yīng)用134可以包括與保健相關(guān)的應(yīng)用。根據(jù)實(shí)施例，應(yīng)用134可以包括指定給電子設(shè)備101的應(yīng)用和從外部電子設(shè)備(例如，服務(wù)器106或電子設(shè)備104)接收的應(yīng)用中的至少一個(gè)。

輸入/輸出接口140可以將通過(guò)輸入/輸出設(shè)備(例如，傳感器、鍵盤或觸摸屏)從用戶輸入的指令或數(shù)據(jù)例如通過(guò)總線110傳送到處理器120、存儲(chǔ)器130和通信接口160。例如，輸入/輸出接口140可以向處理器120提供用于通過(guò)觸摸屏的用戶觸摸輸入的數(shù)據(jù)。另外，通過(guò)輸入/輸出裝置(例如，揚(yáng)聲器或顯示器)，輸入/輸出接口140可以通過(guò)總線110輸出從處理器120、存儲(chǔ)器130或通信接口160接收的指令或數(shù)據(jù)。例如，輸入/輸出接口140可以通過(guò)揚(yáng)聲器將通過(guò)處理器120處理的語(yǔ)音數(shù)據(jù)輸出到用戶。

顯示器150可以向用戶顯示各種信息(例如，多媒體數(shù)據(jù)或文本數(shù)據(jù))。通信接口160可以連接電子設(shè)備101和外部電子設(shè)備(例如，電子設(shè)備104或服務(wù)器106)之間的通信。例如，通信接口160可以通過(guò)無(wú)線通信或有線通信連接到網(wǎng)絡(luò)162以與外部設(shè)備通信。無(wú)線通信可以包括例如Wi-Fi、藍(lán)牙(BT)、近場(chǎng)通信(NFC)、全球定位系統(tǒng)(GPS)和蜂窩通信(例如，LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM等)中的至少一個(gè)。此外，有線通信可以包括例如通用串行總線(USB)、高清晰度多媒體接口(HDMI)、推薦標(biāo)準(zhǔn)232(RS-232)和普通老式電話服務(wù)(POTS)中的至少一個(gè)。

根據(jù)本發(fā)明的實(shí)施例，網(wǎng)絡(luò)162可以是電信網(wǎng)絡(luò)。通信網(wǎng)絡(luò)可以包括計(jì)算機(jī)網(wǎng)絡(luò)、因特網(wǎng)、物聯(lián)網(wǎng)和電話網(wǎng)絡(luò)中的至少一個(gè)。根據(jù)實(shí)施例，用于電子設(shè)備101和外部設(shè)備之間的通信的協(xié)議(例如，傳輸層協(xié)議、數(shù)據(jù)鏈路層協(xié)議或物理層協(xié)議)可以由應(yīng)用134、應(yīng)用程序編程接口133、中間件132、內(nèi)核131和通信接口160中的至少一個(gè)支持。

圖2是根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備201的框圖。電子設(shè)備201可以形成例如圖1所示的電子設(shè)備101的一部分或全部。如圖2所示，電子設(shè)備201可以包括至少一個(gè)應(yīng)用處理器(AP)210、通信模塊220、訂戶識(shí)別模塊(SIM)卡224、存儲(chǔ)器230、傳感器模塊240、輸入設(shè)備250、顯示器260、接口270、音頻模塊280、相機(jī)模塊291、電源管理模塊295、電池296、指示器297和電動(dòng)機(jī)298。

AP 210可以通過(guò)驅(qū)動(dòng)操作系統(tǒng)或應(yīng)用程序來(lái)控制連接到AP 210的多個(gè)硬件或軟件元件，并且處理包括多媒體數(shù)據(jù)的各種類型的數(shù)據(jù)并執(zhí)行計(jì)算。AP 210可以被實(shí)現(xiàn)為例如片上系統(tǒng)(SoC)。根據(jù)實(shí)施例，AP 210還可以包括圖形處理單元(GPU)(未示出)。

通信模塊220(例如，通信接口160)可以在電子設(shè)備201(例如，電子設(shè)備101)和其他電子設(shè)備(例如，電子設(shè)備104和服務(wù)器106)之間的通信中執(zhí)行數(shù)據(jù)發(fā)送/接收。根據(jù)實(shí)施例，通信模塊220可以包括蜂窩模塊221、Wi-Fi模塊223、BT模塊225、GPS模塊227、NFC模塊228和射頻(RF)模塊229。

蜂窩模塊221可以通過(guò)通信網(wǎng)絡(luò)(例如，LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro或者GSM)來(lái)提供語(yǔ)音呼叫、視頻呼叫、短消息服務(wù)(SMS)。此外，蜂窩模塊221可以使用例如訂戶識(shí)別模塊(例如，SIM卡224)來(lái)執(zhí)行通信網(wǎng)絡(luò)中的電子設(shè)備的識(shí)別和認(rèn)證。根據(jù)一個(gè)實(shí)施例，蜂窩模塊221可以執(zhí)行可以由AP 210提供的至少一些功能。例如，蜂窩模塊221可以執(zhí)行至少一些多媒體控制功能。

根據(jù)本發(fā)明的實(shí)施例，蜂窩模塊221可以包括通信處理器(CP)。此外，蜂窩模塊221可以實(shí)現(xiàn)為例如SoC。在圖2中，諸如蜂窩模塊221(例如，通信處理器)、存儲(chǔ)器230和電源管理模塊295的元件被示為與AP 210分離。然而，根據(jù)實(shí)施例，AP 210可以被實(shí)現(xiàn)為包括前述元件(例如，蜂窩模塊221)中的至少一些。

根據(jù)本發(fā)明的實(shí)施例，AP 210或蜂窩模塊221(例如，CP)可以加載從非易失性存儲(chǔ)器和與其連接的其它組件中的至少一個(gè)接收的指令或數(shù)據(jù)到易失性存儲(chǔ)器中，以及處理加載的指令或數(shù)據(jù)。此外，AP 210或蜂窩模塊221可以在非易失性存儲(chǔ)器中存儲(chǔ)從至少一個(gè)其他組成元件接收或生成的數(shù)據(jù)。

Wi-Fi模塊223、BT模塊225、GPS模塊227和NFC模塊228可以包括例如用于處理通過(guò)相應(yīng)模塊發(fā)送/接收的數(shù)據(jù)的處理器。在圖2中，蜂窩模塊221、Wi-Fi模塊223、BT模塊225、GPS模塊227和NFC模塊228被示出為分離的塊。然而，根據(jù)實(shí)施例，蜂窩模塊221、Wi-Fi模塊223、BT模塊225、GPS模塊227和NFC模塊228中的至少一些(例如，兩個(gè)或更多個(gè))可以被包括在一個(gè)集成芯片(IC)或一個(gè)IC封裝。例如，與蜂窩模塊221、Wi-Fi模塊223、BT模塊225、GPS模塊227和NFC模塊228對(duì)應(yīng)的處理器中的至少一些(例如，對(duì)應(yīng)于蜂窩模塊221的通信處理器和對(duì)應(yīng)于Wi-Fi模塊223的Wi-Fi處理器)可以實(shí)現(xiàn)為一個(gè)SoC。

RF模塊229可以發(fā)送/接收數(shù)據(jù)，例如RF信號(hào)。雖然未示出，但是RF模塊229可以例如包括收發(fā)器、功率放大器模塊(PAM)、頻率濾波器、低噪聲放大器(LNA)等。此外，RF模塊229還可以包括用于在無(wú)線通信的自由空間中發(fā)送和接收電磁波的部件，例如導(dǎo)體、導(dǎo)線等。雖然蜂窩模塊221、Wi-Fi模塊223、BT模塊225、NFC模塊227和GPS模塊228共享圖2中的一個(gè)RF模塊229，但是，根據(jù)實(shí)施例，蜂窩模塊221、Wi-Fi模塊223、BT模塊225、NFC模塊227和GPS模塊228中的至少一個(gè)可以通過(guò)單獨(dú)的RF模塊發(fā)送/接收RF信號(hào)。

SIM卡224可以是包括訂戶識(shí)別模塊的卡，并且可以插入形成在電子設(shè)備的特定部分中的槽中。SIM卡224可以包括唯一的標(biāo)識(shí)信息(例如，集成電路卡標(biāo)識(shí)符(ICCID))或訂戶信息(例如，國(guó)際移動(dòng)訂戶標(biāo)識(shí)符(IMSI))。

存儲(chǔ)器230(例如，存儲(chǔ)器130)可以包括內(nèi)部存儲(chǔ)器232或外部存儲(chǔ)器234。內(nèi)部存儲(chǔ)器232可以包括例如易失性存儲(chǔ)器(例如，動(dòng)態(tài)RAM(DRAM)、靜態(tài)RAM(SRAM)和同步動(dòng)態(tài)RAM(SDRAM))和非易失性存儲(chǔ)器(例如，一次性可編程ROM(OTPROM)、可編程ROM(PROM)、可擦除和可編程ROM EPROM)、電可擦除可編程ROM(EEPROM)、掩模ROM、閃速ROM、NAND閃速存儲(chǔ)器和NOR閃速存儲(chǔ)器)中的至少一個(gè)。

根據(jù)實(shí)施例，內(nèi)部存儲(chǔ)器232可以是固態(tài)驅(qū)動(dòng)器(SSD)。外部存儲(chǔ)器234還可以包括閃存驅(qū)動(dòng)器，例如緊湊型閃存(CF)、安全數(shù)字(SD)、微安全數(shù)字(Micro-SD)、迷你安全數(shù)字(Mini-SD)、極速數(shù)字(xD)、記憶棒等。外部存儲(chǔ)器234可以通過(guò)各種接口在功能上與電子設(shè)備201連接。根據(jù)實(shí)施例，電子設(shè)備201還可以包括諸如硬盤驅(qū)動(dòng)器的存儲(chǔ)設(shè)備(或存儲(chǔ)介質(zhì))。

傳感器模塊240可以測(cè)量物理量或檢測(cè)電子設(shè)備的操作狀態(tài)，并且可以將測(cè)量或檢測(cè)的信息轉(zhuǎn)換為電信號(hào)。傳感器模塊240可以包括例如姿勢(shì)傳感器240A、陀螺儀傳感器240B、大氣壓力傳感器240C、磁性傳感器240D、加速度傳感器240E、握持傳感器240F、接近傳感器240G、顏色傳感器240H(例如，紅色、綠色和藍(lán)色(RGB)傳感器)、生物傳感器240I、溫度/濕度傳感器240J、照度傳感器240K和紫外(UV)傳感器240M中的至少一個(gè)。附加地或替代地，傳感器模塊240可以包括例如E鼻傳感器(未示出)、肌電圖(EMG)傳感器(未示出)、腦電圖(EEG)傳感器(未示出)、心電圖(ECG)傳感器(未示出)、紅外(IR)傳感器(未示出)、光圈傳感器(未示出)和指紋傳感器(未示出)。傳感器模塊240還可以包括用于控制其中包括的一個(gè)或多個(gè)傳感器的控制電路。

輸入設(shè)備250可以包括觸摸面板252、(數(shù)字)筆傳感器254、按鍵256或超聲波輸入設(shè)備258。觸摸面板252可以檢測(cè)例如電容性類型、電阻型、紅外型或超聲波型中的至少一個(gè)類型的觸摸輸入。此外，觸摸面板252還可以包括控制電路。在電容型觸摸面板的情況下，物理接觸或接近檢測(cè)是可能的。觸摸面板252還可以包括觸覺(jué)層。在這種情況下，觸摸面板252可以向用戶提供觸覺(jué)響應(yīng)。

(數(shù)字)筆傳感器254可以例如使用與接收用戶的觸摸輸入相同或相似的方法或使用單獨(dú)的識(shí)別片(sheet)來(lái)實(shí)現(xiàn)。按鍵256可以包括例如物理按鈕、光學(xué)鍵或鍵盤。超聲輸入設(shè)備258可以通過(guò)利用產(chǎn)生超聲信號(hào)的輸入單元通過(guò)電子設(shè)備201的麥克風(fēng)(例如，麥克風(fēng)288)檢測(cè)聲波來(lái)識(shí)別數(shù)據(jù)，并且可以執(zhí)行無(wú)線檢測(cè)。根據(jù)實(shí)施例，電子設(shè)備201還可以通過(guò)使用通信模塊220從連接到其的外部設(shè)備(例如，計(jì)算機(jī)或服務(wù)器)接收用戶輸入。

顯示器260(例如，顯示器150)可以包括面板262、全息設(shè)備264或投影儀266。面板262可以是例如液晶顯示器(LCD)和有源矩陣有機(jī)發(fā)光器件二極管(AM-OLED)顯示器等。面板262可以被實(shí)現(xiàn)為例如柔性的、透明的或可佩戴的。面板262可以與觸摸面板252集成以配置一個(gè)模塊。全息圖裝置264可以通過(guò)使用光的干涉在空中顯示立體圖像。投影儀266可以將光投射到屏幕上以顯示圖像。屏幕可以位于例如電子設(shè)備201的內(nèi)部或外部。根據(jù)實(shí)施例，顯示器260還可以包括用于控制面板262、全息設(shè)備264或投影儀266的控制電路。

接口270可以包括例如高清晰度多媒體接口(HDMI)272、通用串行總線(USB)274、光學(xué)接口276或D超小型(D-sub)278。接口270可以被包括在例如圖1所示的通信接口160中。附加地或替代地，接口270可以包括例如移動(dòng)高清晰度鏈路(MHL)接口、安全數(shù)字(SD)卡/多媒體卡(MMC)接口或紅外數(shù)據(jù)協(xié)會(huì)(IrDA))標(biāo)準(zhǔn)接口。

音頻模塊280可以雙向地轉(zhuǎn)換聲音和電子信號(hào)。音頻模塊280的至少一些元件可以包括在例如圖1所示的輸入/輸出接口140中。音頻模塊280可以處理通過(guò)例如揚(yáng)聲器282、接收器284、耳機(jī)286、麥克風(fēng)288等輸入或輸出的聲音信息。

相機(jī)模塊291是可以拍攝靜止和運(yùn)動(dòng)圖像的設(shè)備，并且根據(jù)實(shí)施例，可以包括一個(gè)或多個(gè)圖像傳感器(例如，前傳感器或后傳感器，未示出)、鏡頭(未示出)、圖像信號(hào)處理器(ISP)(未示出)或閃光燈(例如，LED或氙氣燈，未示出)。電源管理模塊295可以管理電子設(shè)備201的電源。雖然未示出，但電源管理模塊295可以包括例如電源管理集成電路(PMIC)、充電器集成電路(IC)或電池或量度表。

PMIC可以安裝在例如集成電路或SoC半導(dǎo)體中。充電方法可以分為有線充電和無(wú)線充電。充電器IC可以對(duì)電池充電并防止來(lái)自充電器的過(guò)大電壓或過(guò)大電流流入。根據(jù)實(shí)施例，充電器IC可以包括用于有線充電和無(wú)線充電中的至少一個(gè)的充電器IC。無(wú)線充電的示例可以包括磁共振充電、磁感應(yīng)充電和電磁充電，并且可以添加諸如線圈回路、諧振電路、整流器等的附加電路用于無(wú)線充電。

電池量表可以測(cè)量例如電池296的剩余量或充電期間的電壓、電流或溫度。電池296可以存儲(chǔ)或產(chǎn)生電力，并且可以通過(guò)使用所存儲(chǔ)或產(chǎn)生的電力來(lái)向電子設(shè)備201供電。電池696可以包括例如可再充電電池或太陽(yáng)能電池。

指示器297可以顯示電子設(shè)備201或電子設(shè)備的一部分(例如，AP 210)的特定狀態(tài)，例如，引導(dǎo)狀態(tài)、消息狀態(tài)、充電狀態(tài)等。電機(jī)298可以將電信號(hào)轉(zhuǎn)換為機(jī)械振動(dòng)。雖然未示出，但是電子設(shè)備201可以包括用于支持移動(dòng)TV的處理單元(例如，GPU)。用于支持移動(dòng)TV的處理單元可以根據(jù)數(shù)字多媒體廣播(DMB)、數(shù)字視頻廣播(DVB)、媒體流等的標(biāo)準(zhǔn)來(lái)處理媒體數(shù)據(jù)。

根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備的上述元件中的每一個(gè)可以由一個(gè)或多個(gè)組件形成，并且相應(yīng)元件的名稱可以根據(jù)電子設(shè)備的類型而變化。根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備可以包括上述元件中的至少一個(gè)，并且可以排除一些元件或者還包括其他附加元件。此外，根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備的一些元件可以耦合以形成單個(gè)實(shí)體，同時(shí)在耦合之前執(zhí)行與相應(yīng)元件的功能相同的功能。

在下文中，將詳細(xì)描述根據(jù)本發(fā)明的各種實(shí)施例的由電子設(shè)備處理多媒體數(shù)據(jù)的方法及其電子設(shè)備。根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備可以是各種類型的電子設(shè)備，諸如智能電話、平板個(gè)人計(jì)算機(jī)(PC)等，并且可以被配置為包括圖1a、1b和2所述的部件的一些或全部。

根據(jù)本發(fā)明的各種實(shí)施例，當(dāng)存儲(chǔ)多媒體數(shù)據(jù)時(shí)，電子設(shè)備101可以獲取與多媒體數(shù)據(jù)相關(guān)的信息，存儲(chǔ)所獲取的與多媒體數(shù)據(jù)鏈接的信息，并且當(dāng)選擇多媒體數(shù)據(jù)時(shí)，輸出所存儲(chǔ)的信息以通過(guò)音頻數(shù)據(jù)與多媒體數(shù)據(jù)鏈接。

根據(jù)本發(fā)明的各種實(shí)施例，當(dāng)選擇多媒體數(shù)據(jù)時(shí)，電子設(shè)備101可以獲取與多媒體數(shù)據(jù)相關(guān)的信息，然后通過(guò)音頻數(shù)據(jù)輸出獲取的信息以與多媒體數(shù)據(jù)鏈接。

根據(jù)本發(fā)明的各種實(shí)施例，與多媒體數(shù)據(jù)相關(guān)的信息可以包括文件類型，天氣、類別、人名和亮度中的至少一個(gè)，并且可以基于從多媒體數(shù)據(jù)提取的人臉特征信息和通過(guò)執(zhí)行人的臉部識(shí)別應(yīng)用從存儲(chǔ)在電子設(shè)備中的簡(jiǎn)檔信息中提取的人的臉部特征信息獲取人的姓名信息。

根據(jù)本發(fā)明的各個(gè)實(shí)施例，可以通過(guò)根據(jù)上下文特定優(yōu)先級(jí)改變順序的音頻數(shù)據(jù)以及通過(guò)組合或連接多個(gè)的元素形成的句子的音頻數(shù)據(jù)中的至少一個(gè)來(lái)輸出所存儲(chǔ)的信息。

根據(jù)本發(fā)明的各種實(shí)施例，電子設(shè)備101可以在多媒體數(shù)據(jù)的圖像上重疊地顯示與多媒體數(shù)據(jù)相關(guān)的信息，并且當(dāng)選擇在多媒體數(shù)據(jù)的圖像上重疊顯示的信息時(shí)，電子設(shè)備101可以提供與所選信息相關(guān)的附加服務(wù)。

圖3示出根據(jù)本發(fā)明的各種實(shí)施例的多媒體數(shù)據(jù)文件的配置。參考圖3，多媒體數(shù)據(jù)文件300可以包括各種類型(諸如靜止圖像或動(dòng)態(tài)圖像)的多媒體數(shù)據(jù)301以及與多媒體數(shù)據(jù)相關(guān)的標(biāo)簽信息302。

標(biāo)簽信息302可以包括例如屬性信息302a和附加信息302b，屬性信息302a可以對(duì)應(yīng)于指示例如多媒體數(shù)據(jù)的屬性的信息，并且可以包括文件類型302a-1、亮度302a-2或類別302a-3。

附加信息302b可以對(duì)應(yīng)于例如另外解釋多媒體數(shù)據(jù)的圖像的信息，并且可以包括當(dāng)多媒體數(shù)據(jù)文件300被存儲(chǔ)時(shí)的日期302b-1、位置302b-2、天氣302b-3或?qū)?yīng)于指示多媒體數(shù)據(jù)的圖像內(nèi)的人的臉的“誰(shuí)”302b-4的人的姓名。

附加信息302b可以包括在例如標(biāo)簽信息302中，或者可以作為與多媒體數(shù)據(jù)相關(guān)聯(lián)的單獨(dú)的日志信息存儲(chǔ)在電子設(shè)備內(nèi)部或外部。

當(dāng)存儲(chǔ)多媒體數(shù)據(jù)文件300時(shí)，可以通過(guò)電子設(shè)備101內(nèi)的每個(gè)操作模塊獲取附加信息302b，然后將其存儲(chǔ)在標(biāo)簽信息或日志信息中。當(dāng)再現(xiàn)多媒體數(shù)據(jù)文件300時(shí)，可以在標(biāo)簽信息或日志信息中搜索附加信息302b，然后與多媒體數(shù)據(jù)301的圖像一起作為音頻數(shù)據(jù)再現(xiàn)。

附加信息302b可以與多媒體數(shù)據(jù)301的圖像一起由各種類型的子屏幕重疊顯示。此外，附加信息302b可以與屬性信息302a一起作為音頻數(shù)據(jù)輸出，或者由子屏幕重疊顯示。

當(dāng)用戶選擇預(yù)定的一條重疊顯示的屬性信息或附加信息時(shí)，電子設(shè)備101可以根據(jù)所選擇的信息提供各種附加服務(wù)，諸如通信服務(wù)、日程管理服務(wù)或者簡(jiǎn)檔搜索服務(wù)。

圖4示出了根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備執(zhí)行臉部識(shí)別操作的處理的示例。例如，電子設(shè)備101的處理器120可以安裝并執(zhí)行可以通過(guò)圖像掃描操作識(shí)別人的面部的面部識(shí)別應(yīng)用。

面部識(shí)別應(yīng)用可以對(duì)多媒體數(shù)據(jù)的圖像執(zhí)行圖像掃描操作，并提取包括在圖像中的人的面部的特征信息。

面部識(shí)別應(yīng)用可以從存儲(chǔ)在電子設(shè)備101中的多個(gè)人的簡(jiǎn)檔中搜索例如圖像(例如，照片)作為聯(lián)系人信息，然后提取包括在每個(gè)圖像中的人的面部的特征信息。

處理器120可以比較提取的人的面部特征信息，在簡(jiǎn)檔信息中搜索與包括在多媒體數(shù)據(jù)的圖像中的人相同或相似的人的姓名，然后存儲(chǔ)找到的要與多媒體數(shù)據(jù)文件的標(biāo)簽信息鏈接的姓名作為附加信息。

參考圖4，當(dāng)執(zhí)行面部識(shí)別應(yīng)用并且執(zhí)行針對(duì)多媒體數(shù)據(jù)400的圖像的圖像掃描操作時(shí)，第一指示器400a可以重疊地顯示在圖像中包括的人的面部上，例如圖4的男人的面部，并且第二指示器400b可以重疊地顯示在圖4的女人的臉上。

此外，圖4的聯(lián)系人信息410可以包括：簡(jiǎn)檔信息410a，簡(jiǎn)檔信息410a包括其上重疊顯示第一指示器400a的男人的照片和姓名(例如，Tom)；以及簡(jiǎn)檔信息410b，簡(jiǎn)檔信息410b包括其上重疊顯示第二指示器400b的女人的照片和名字(例如，Alice)。

因此，處理器120可以將從圖像400提取的面部特征信息與從簡(jiǎn)檔信息410提取的面部特征信息進(jìn)行比較，搜索匹配或類似的特定人的姓名(例如，Tom或Alice)，以及存儲(chǔ)所找到的特定人的姓名作為附加信息。

圖5示出根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備通過(guò)音頻數(shù)據(jù)和子屏幕輸出與圖像相關(guān)的信息的示例。當(dāng)再現(xiàn)多媒體數(shù)據(jù)文件300時(shí)，電子設(shè)備101的處理器120可以顯示多媒體數(shù)據(jù)301的圖像，并且還輸出包括在多媒體數(shù)據(jù)文件300的標(biāo)簽信息302中的屬性信息302a和附加信息302b作為音頻數(shù)據(jù)，以便當(dāng)多媒體數(shù)據(jù)的圖像輸出時(shí)一起輸出聲音。

此外，處理器120可以通過(guò)對(duì)屬性信息和附加信息中的至少一個(gè)進(jìn)行信號(hào)處理，然后在多媒體數(shù)據(jù)的圖像上重疊地顯示子屏幕，來(lái)產(chǎn)生各種類型的子屏幕。

參考圖5，處理器120可以通過(guò)再現(xiàn)多媒體數(shù)據(jù)文件300來(lái)顯示包括男人的臉部和女人的臉部的圖像500，并且從多媒體數(shù)據(jù)文件300的標(biāo)簽信息302提取屬性信息302a和附加信息302b，以輸出提取的信息作為音頻數(shù)據(jù)。

這里，指示正在輸出音頻數(shù)據(jù)的揚(yáng)聲器形狀的圖標(biāo)501可以重疊地顯示在顯示的屏幕上，并且音頻數(shù)據(jù)可以是例如由用戶選擇的語(yǔ)音或根據(jù)預(yù)定順序、語(yǔ)調(diào)或發(fā)音通過(guò)其讀取的文件類型、照片、日期、位置、天氣、從標(biāo)簽信息中提取的類別、人名或亮度的音頻數(shù)據(jù)。

此外，用于可視地顯示例如文件類型、照片、日期、位置、天氣、類別、人名或亮度的子屏幕502可以重疊地顯示在圖像500上。

這里，可以根據(jù)用戶的選擇或預(yù)定的亮度、透明度或顏色來(lái)不同地顯示子屏幕502，并且可以與音頻數(shù)據(jù)一起輸出或者與音頻數(shù)據(jù)分開(kāi)地輸出子屏幕502。

圖6示出根據(jù)本發(fā)明的各個(gè)實(shí)施例的電子設(shè)備通過(guò)音頻數(shù)據(jù)和語(yǔ)音氣泡輸出與圖像相關(guān)的信息的示例。當(dāng)多媒體數(shù)據(jù)文件300被再現(xiàn)時(shí)，電子設(shè)備101的處理器120可以顯示多媒體數(shù)據(jù)301的圖像，并且還可以對(duì)圖像執(zhí)行圖像掃描操作以識(shí)別人的面部。

處理器120可以通過(guò)音頻數(shù)據(jù)和語(yǔ)音氣泡輸出與圖像相關(guān)的信息。參考圖6，處理器120可以對(duì)圖像600執(zhí)行圖像掃描操作以識(shí)別包括在圖像600中的男人的臉部和女人的臉部。

處理器120可以重疊地顯示男人的面部上的第一指示器600a和女人的面部上的第二指示器600b，并且可以通過(guò)音頻數(shù)據(jù)輸出與圖像600相關(guān)的屬性信息和附加信息，以輸出聲音。

處理器120可以重疊地顯示指示正在輸出音頻數(shù)據(jù)的揚(yáng)聲器形狀的圖標(biāo)601、在圖像600上指示男人的臉部附近的男人的姓名(例如，Tom)的語(yǔ)音氣泡602a和指示女人的臉部附近的女人姓名(例如，Alice)的語(yǔ)音氣泡602b。

這里，可以根據(jù)用戶的選擇或預(yù)定形狀、透明度、顏色或亮度來(lái)不同地重疊地顯示圖標(biāo)601和語(yǔ)音氣泡602a和602b。

圖7示出根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備輸出與用戶通過(guò)音頻數(shù)據(jù)和語(yǔ)音氣泡選擇的縮略圖圖像有關(guān)的信息的示例。電子設(shè)備101的處理器120可以通過(guò)多個(gè)縮略圖圖像顯示例如存儲(chǔ)在電子設(shè)備101中的多張照片。

參考圖7，當(dāng)用戶選擇預(yù)定縮略圖圖像700時(shí)，處理器120可以在屏幕上顯示與縮略圖圖像相對(duì)應(yīng)的照片圖像710，搜索與所顯示的照片圖像相關(guān)的信息720，然后通過(guò)音頻數(shù)據(jù)和語(yǔ)音氣泡多樣化地輸出所述信息。

可以在顯示在屏幕上的照片圖像710上重疊地顯示揚(yáng)聲器形狀的圖標(biāo)710a、指示器710b和710c以及指示人的姓名的語(yǔ)音氣泡710d。

這里，音頻數(shù)據(jù)可以是通過(guò)其讀取各種信息(例如，文件類型、日期、位置、天氣、類別、人的姓名和亮度)的聲音。當(dāng)沒(méi)有識(shí)別到面部或者檢測(cè)到名字不可知的人時(shí)，可以輸出讀出“發(fā)現(xiàn)Jina和一個(gè)人”的聲音。

圖8示出根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備通過(guò)音頻數(shù)據(jù)和語(yǔ)音氣泡輸出與包括多個(gè)人的圖像相關(guān)的信息的示例。當(dāng)顯示諸如包括例如幾個(gè)人的照片圖像的圖像時(shí)，電子設(shè)備101的處理器120可以根據(jù)用戶的選擇或者預(yù)定的順序和方法來(lái)不同地讀取幾個(gè)人的姓名。

參考圖8，當(dāng)通過(guò)圖像800顯示包括例如五個(gè)人的照片圖像時(shí)，處理器120可以分別重疊地顯示五個(gè)人的面部上的指示器，并且通過(guò)語(yǔ)音氣泡810a至810e重疊地顯示五個(gè)人的姓名。

處理器120可以在圖像800上重疊地顯示揚(yáng)聲器形狀的圖標(biāo)801，并通過(guò)音頻數(shù)據(jù)輸出與圖像相關(guān)的信息。這里，可以根據(jù)用戶的選擇或預(yù)定的順序和方法來(lái)不同地讀取五個(gè)人的姓名(例如，Tom，Alice，爸爸，媽媽和John)。

例如，基于作為電子設(shè)備101的所有者的用戶自己，可以首先讀取靠近用戶的人的名字或者可以首先讀取位于特定方向的人的名字(例如，順時(shí)針?lè)较蚧蚰鏁r(shí)針?lè)较?。

此外，可以首先根據(jù)較大面部大小的順序讀取面部被識(shí)別為最大的人的姓名，或者可以首先讀取基于與家人、朋友或同事的親密度而確定的人的姓名。

圖9示出根據(jù)本發(fā)明的各種實(shí)施例的讀取優(yōu)先級(jí)設(shè)置屏幕的示例。例如，當(dāng)通過(guò)音頻數(shù)據(jù)讀取包括在圖像中的幾個(gè)人的姓名時(shí)，電子設(shè)備101的處理器120可以根據(jù)用戶的選擇或預(yù)定優(yōu)先級(jí)來(lái)不同地讀取姓名。

參考圖9，處理器120可以顯示例如作為用戶選擇菜單屏幕之一的讀取優(yōu)先級(jí)設(shè)置屏幕900。讀取優(yōu)先級(jí)設(shè)置屏幕900可以包括各種用戶選擇項(xiàng)。例如，可以包括諸如用戶自己、家人、朋友/同事、最近聯(lián)系人的數(shù)量、方向基準(zhǔn)、距離基準(zhǔn)和面部尺寸基準(zhǔn)的各種選擇項(xiàng)目

用戶可以通過(guò)例如讀取優(yōu)先級(jí)設(shè)置屏幕將用戶自己設(shè)置為具有第一優(yōu)先級(jí)，家人具有第二優(yōu)先級(jí)，朋友/同事具有第三優(yōu)先級(jí)，面部尺寸基準(zhǔn)具有第四優(yōu)先級(jí)，并且方向基準(zhǔn)具有第五優(yōu)先級(jí)。在這種情況下，處理器120可以根據(jù)優(yōu)先級(jí)通過(guò)音頻數(shù)據(jù)讀取幾個(gè)人的姓名。

這里，處理器120可以參考各種簡(jiǎn)檔信息(諸如存儲(chǔ)在電子設(shè)備中并由其管理的聯(lián)系人信息或社交網(wǎng)絡(luò)服務(wù)(SNS)信息)來(lái)確定幾個(gè)人的姓名作為用戶自己、家人或朋友/同事。

圖10示出了根據(jù)本發(fā)明的各種實(shí)施例的閱讀聲音設(shè)置屏幕的示例。例如，當(dāng)通過(guò)音頻數(shù)據(jù)讀取包括在圖像中的幾個(gè)人的姓名時(shí)，電子設(shè)備101的處理器120可以根據(jù)用戶的選擇或預(yù)定的語(yǔ)音、語(yǔ)調(diào)或速度來(lái)不同地讀取姓名。

參考圖10，處理器120可以顯示例如作為用戶選擇菜單屏幕之一的閱讀聲音設(shè)置屏幕1000。閱讀聲音設(shè)置屏幕1000可以包括各種用戶選擇項(xiàng)目。例如，可以包括諸如男聲、女聲、文學(xué)風(fēng)格、口語(yǔ)風(fēng)格、標(biāo)準(zhǔn)語(yǔ)言、方言和講話速度的各種選擇項(xiàng)目1001a至1001h。

用戶可以通過(guò)閱讀聲音設(shè)置屏幕1000將男聲、口語(yǔ)風(fēng)格和標(biāo)準(zhǔn)語(yǔ)言設(shè)置為閱讀聲音。在這種情況下，處理器120可以通過(guò)滿足條件的聲音來(lái)不同地讀取與圖像相關(guān)的信息的男聲、口語(yǔ)風(fēng)格和標(biāo)準(zhǔn)語(yǔ)言。

圖11示出了根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備提供日程管理服務(wù)的過(guò)程的示例。例如，當(dāng)顯示圖像1100時(shí)，電子設(shè)備101的處理器120可以在圖像1100上重疊地顯示揚(yáng)聲器形狀的圖標(biāo)1101和示出與圖像有關(guān)的信息的子屏幕1102。當(dāng)在圖像上重疊地顯示預(yù)定的信息由用戶選擇時(shí)，處理器120可以提供與所選擇的信息相對(duì)應(yīng)的各種附加服務(wù)。

參考圖11，當(dāng)用戶從在圖像1100上重疊顯示的信息中選擇日期信息時(shí)，處理器120可以通過(guò)顯示顯示所選擇的日期的日程計(jì)劃器來(lái)允許用戶更方便地使用日程管理服務(wù)。

這里，重疊顯示在圖像上的日期信息可以由用戶通過(guò)例如觸摸動(dòng)作方便地選擇，并且可以包括用于與日程計(jì)劃器的鏈接的鏈接信息。

圖12示出了根據(jù)本發(fā)明的各種實(shí)施例的電子設(shè)備提供簡(jiǎn)檔搜索服務(wù)的過(guò)程的示例。例如，當(dāng)顯示圖像1200時(shí)，電子設(shè)備101的處理器120可以在圖像1200上重疊地顯示揚(yáng)聲器形狀的圖標(biāo)1201和示出與圖像有關(guān)的信息的子屏幕1202。當(dāng)在圖像上重疊地顯示預(yù)定的信息由用戶選擇時(shí)，處理器120可以提供與所選擇的信息相對(duì)應(yīng)的各種附加服務(wù)。

參考圖12，當(dāng)用戶從在圖像1200上重疊顯示的信息中選擇人名(日期)信息時(shí)，處理器120可以通過(guò)顯示所顯示的選擇名稱的聯(lián)系人1210的簡(jiǎn)檔信息1210a來(lái)允許用戶更方便地使用簡(jiǎn)檔搜索服務(wù)。

這里，重疊地顯示在圖像上的名稱信息可以由用戶通過(guò)例如觸摸動(dòng)作方便地選擇，并且可以包括要與簡(jiǎn)檔鏈接的鏈接信息。用戶可以基于鏈接到簡(jiǎn)檔的電話號(hào)碼方便地使用各種通信服務(wù)，例如呼叫服務(wù)、短消息服務(wù)(SMS)或社交網(wǎng)絡(luò)服務(wù)(SNS)。

圖13a至13d是示出根據(jù)本發(fā)明的各種實(shí)施例的由電子設(shè)備處理多媒體數(shù)據(jù)的方法的操作的流程圖。如上面參考圖1A和1B所述的，包括在多媒體接口170中的數(shù)據(jù)處理器170a、TTS轉(zhuǎn)換器170b和面部識(shí)別單元170c中的一些或全部可以被包括在處理器120中，或者可以作為單獨(dú)的元件與處理器120交互工作。作為本發(fā)明的各種實(shí)施例之一，作為示例詳細(xì)描述了多媒體接口170被包括在處理器120中的情況。

參考圖13a，當(dāng)存儲(chǔ)多媒體數(shù)據(jù)時(shí)，在操作1300，處理器120可以從外部下載多媒體數(shù)據(jù)，例如靜止圖像或動(dòng)態(tài)圖像，并存儲(chǔ)下載多媒體數(shù)據(jù)，或者可以通過(guò)相機(jī)拍攝對(duì)象，并將拍攝的對(duì)象存儲(chǔ)為多媒體數(shù)據(jù)。

在操作1301中，處理器120可以獲取與多媒體數(shù)據(jù)相關(guān)的各條附加信息，并且在操作1302中存儲(chǔ)所獲取的與多媒體數(shù)據(jù)的屬性信息鏈接的附加信息。

例如，當(dāng)獲取附加信息需要很長(zhǎng)時(shí)間時(shí)，處理器120可以首先存儲(chǔ)多媒體數(shù)據(jù)，然后，當(dāng)獲取與存儲(chǔ)的多媒體數(shù)據(jù)相關(guān)的附加信息時(shí)，存儲(chǔ)彼此鏈接的多媒體數(shù)據(jù)的屬性信息和附加信息。這里，當(dāng)電子設(shè)備進(jìn)入空閑狀態(tài)時(shí)，可以執(zhí)行獲取附加信息的操作。

相反，當(dāng)不花費(fèi)長(zhǎng)時(shí)間來(lái)獲取附加信息時(shí)，處理器120可以獲取附加信息，并且在存儲(chǔ)多媒體數(shù)據(jù)時(shí)，存儲(chǔ)彼此鏈接的多媒體數(shù)據(jù)的屬性信息和附加信息。

當(dāng)在操作1303中選擇多媒體數(shù)據(jù)時(shí)，處理器120可以在操作1304中搜索多媒體數(shù)據(jù)的屬性信息和與屬性信息鏈接的存儲(chǔ)的附加信息，并且在操作1305，通過(guò)音頻數(shù)據(jù)輸出找到的屬性信息和附加信息。

也就是說(shuō)，處理器120可以在選擇多媒體數(shù)據(jù)的同時(shí)通過(guò)音頻數(shù)據(jù)一起再現(xiàn)和輸出多媒體數(shù)據(jù)的一個(gè)或多個(gè)屬性信息和附加信息，使得用戶可以觀看多媒體數(shù)據(jù)的再現(xiàn)圖像，通過(guò)音頻數(shù)據(jù)同時(shí)收聽(tīng)各種相關(guān)信息。在下文中，將詳細(xì)描述獲取與多媒體數(shù)據(jù)相關(guān)的附加信息的操作1301。

參考圖13b，處理器120可以在操作1301a獲取在電子設(shè)備101的屏幕上顯示的當(dāng)前時(shí)間信息，在操作1301b獲取電子設(shè)備101的當(dāng)前位置信息，以及在操作1301c獲取當(dāng)前天氣信息。

例如，處理器120可以通過(guò)使用包括在圖2的通信模塊220中的GPS模塊、Wi-Fi模塊、BT模塊和蜂窩模塊中的至少一個(gè)來(lái)獲取電子設(shè)備101的當(dāng)前位置信息和當(dāng)前天氣信息。

在操作1301d，處理器120可以識(shí)別包括在多媒體數(shù)據(jù)的圖像中的人的面部，并且可以獲取與識(shí)別的面部相對(duì)應(yīng)的人的姓名信息。在下文中，將詳細(xì)描述獲取人的姓名信息的操作1301d。

參考圖13c，處理器120可以在操作1301d-1中通過(guò)圖像掃描操作執(zhí)行用于識(shí)別人的臉部的應(yīng)用，并且可以在操作1301d-2中通過(guò)該應(yīng)用從多媒體數(shù)據(jù)的圖像提取人的臉部特征信息。

處理器120可以通過(guò)對(duì)已經(jīng)存儲(chǔ)在電子設(shè)備中的信息(例如，在操作1301d-3中包括的聯(lián)系人的簡(jiǎn)檔信息中的照片)的圖像掃描操作來(lái)提取人的面部特征信息。

在操作1301d-4中，處理器120可以比較提取的人的面部特征信息。當(dāng)存在匹配或類似的人的面部特征信息時(shí)，在操作1301d-5，處理器120可以從簡(jiǎn)檔信息提取匹配或類似人的姓名。在下文中，將詳細(xì)描述通過(guò)音頻數(shù)據(jù)輸出屬性信息和附加信息的操作1305之后的操作。

參考圖13d，在操作1306中，處理器120可以生成一條或多條屬性信息和附加信息作為子屏幕，并在多媒體數(shù)據(jù)的圖像上重疊地顯示子屏幕。

當(dāng)在操作1307中用戶選擇重疊顯示的屬性信息或附加信息時(shí)，在操作1308，處理器120可以提供鏈接到所選信息的附加服務(wù)。

例如，當(dāng)用戶從重疊顯示的信息中選擇日期信息時(shí)，處理器120可以通過(guò)顯示包括日期的日程計(jì)劃器來(lái)向用戶提供日程管理服務(wù)。當(dāng)用戶選擇姓名信息時(shí)，處理器120可以通過(guò)顯示包括姓名的簡(jiǎn)檔信息來(lái)向用戶提供簡(jiǎn)檔搜索服務(wù)。

圖14是示出根據(jù)本發(fā)明的各種實(shí)施例的由電子設(shè)備處理多媒體數(shù)據(jù)的方法的另一示例的操作的流程圖。參考圖14，當(dāng)在操作1400中選擇了多媒體數(shù)據(jù)時(shí)，處理器120可以從外部下載多媒體數(shù)據(jù)，例如靜止圖像或動(dòng)態(tài)圖像，并再現(xiàn)下載的多媒體數(shù)據(jù)，或者可以通過(guò)相機(jī)拍攝對(duì)象并選擇多媒體數(shù)據(jù)。

在操作1401中，處理器120可以獲取與多媒體數(shù)據(jù)相關(guān)的各條附加信息。例如，處理器120可以基于圖2的通信模塊220中包括的GPS模塊、Wi-Fi模塊、BT模塊和蜂窩模塊的至少一個(gè)獲取電子設(shè)備101的當(dāng)前位置信息和當(dāng)前天氣信息。

處理器120可以識(shí)別包括在多媒體數(shù)據(jù)的圖像中的人的面部，并獲取與所識(shí)別的面部相對(duì)應(yīng)的人的姓名信息。在操作1402中，處理器120可以搜索獲取的附加信息以及多媒體數(shù)據(jù)文件中的屬性信息和附加信息，并且在操作1403中通過(guò)音頻數(shù)據(jù)輸出屬性信息和附加信息。

也就是說(shuō)，處理器120可以在選擇多媒體數(shù)據(jù)的同時(shí)通過(guò)音頻數(shù)據(jù)一起再現(xiàn)和輸出多媒體數(shù)據(jù)的一個(gè)或多個(gè)屬性信息和附加信息，使得用戶可以觀看多媒體數(shù)據(jù)的再現(xiàn)圖像，通過(guò)音頻數(shù)據(jù)同時(shí)收聽(tīng)各種相關(guān)信息。

根據(jù)本發(fā)明的各種實(shí)施例的權(quán)利要求或說(shuō)明書(shū)中描述的方法可以通過(guò)硬件、軟件或硬件和軟件的組合來(lái)實(shí)現(xiàn)。在軟件的實(shí)現(xiàn)中，可以提供用于存儲(chǔ)一個(gè)或多個(gè)程序(軟件模塊)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的一個(gè)或多個(gè)程序可以被配置為由電子設(shè)備內(nèi)的一個(gè)或多個(gè)處理器120執(zhí)行。至少一個(gè)程序可以包括使電子設(shè)備執(zhí)行如由所附權(quán)利要求限定和/或在此公開(kāi)的根據(jù)本發(fā)明的各種實(shí)施例的方法的指令。

程序(軟件模塊或軟件)可以存儲(chǔ)在非易失性存儲(chǔ)器中，包括隨機(jī)存取存儲(chǔ)器和閃存、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、磁盤存儲(chǔ)設(shè)備、壓縮盤-ROM(CD-ROM)、數(shù)字通用盤(DVD)或其它類型的光學(xué)存儲(chǔ)設(shè)備或磁帶盒?；蛘?，一些或全部的任何組合可以形成其中存儲(chǔ)有程序的存儲(chǔ)器。此外，在電子設(shè)備中可以包括多個(gè)這樣的存儲(chǔ)器。

另外，程序可以存儲(chǔ)在可附接的存儲(chǔ)設(shè)備中，其可以通過(guò)諸如因特網(wǎng)、內(nèi)聯(lián)網(wǎng)、局域網(wǎng)(LAN)、廣域網(wǎng)(WLAN)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)或其組合的通信網(wǎng)絡(luò)訪問(wèn)電子設(shè)備。這樣的存儲(chǔ)設(shè)備可以經(jīng)由外部端口訪問(wèn)電子設(shè)備。此外，通信網(wǎng)絡(luò)上的單獨(dú)的存儲(chǔ)設(shè)備可以訪問(wèn)便攜式電子設(shè)備。

在如上所述的本發(fā)明的各種具體實(shí)施例中，根據(jù)所提出的具體實(shí)施例，包括在本發(fā)明中的一個(gè)或多個(gè)元件以單數(shù)形式或復(fù)數(shù)形式表示。然而，出于方便適于所呈現(xiàn)的情況的描述而選擇單數(shù)形式或復(fù)數(shù)形式，并且本發(fā)明的各種實(shí)施例不限于單個(gè)元件或其多個(gè)元件。此外，在說(shuō)明書(shū)中表示的多個(gè)元件可以被配置為單個(gè)元件，或者說(shuō)明書(shū)中的單個(gè)元件可以被配置為多個(gè)元件。

同時(shí)，雖然在本發(fā)明的詳細(xì)描述中已經(jīng)參考本發(fā)明的具體實(shí)施例示出和描述了本發(fā)明，但是不言而喻，在不脫離本發(fā)明的精神和范圍的情況下，可以在形式和細(xì)節(jié)上進(jìn)行各種改變。因此，本發(fā)明的范圍不應(yīng)限于這些實(shí)施例，而應(yīng)由所附權(quán)利要求及其等同物來(lái)限定。