一種數(shù)據(jù)處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法和一種數(shù)據(jù)處理裝置。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)和文化事業(yè)的發(fā)展，音視頻資源極大豐富，對音視頻文件的處理的需要也快速增長。
[0003]音視頻文件處理的大致流程如下:首先將需處理的音視頻文件解封裝成為視頻幀序列和音頻幀序列；然后將視頻幀序列和音頻幀序列分別解碼為RAW格式和PCM格式數(shù)據(jù)；對RAW格式和PCM格式數(shù)據(jù)進行處理；再將RAW格式和PCM格式的數(shù)據(jù)編碼為所需格式的音頻幀序列和視頻幀序列；最后將音頻幀序列和視頻幀序列封裝成需要的文件格式。
[0004]以上處理是通過計算機或計算機構(gòu)成的數(shù)據(jù)處理裝置來完成的，現(xiàn)有的這些計算機或數(shù)據(jù)處理裝置是依靠本機的軟硬件資源來實現(xiàn)對文件的處理。音視頻文件處理的計算量龐大，對處理裝置的運算能力和存儲資源消耗很大，而且隨著高清音視頻文件的日益增多和處理需求的不斷增大，依靠單機進行音視頻文件處理的瓶頸問題日益突出，單機處理速度慢且容易發(fā)生系統(tǒng)崩潰。即使用戶使用配置很高的計算機也難以保證處理的速度和穩(wěn)定程度，尤其無法滿足大批量和時間要求很高的處理任務(wù)。
[0005]鑒于現(xiàn)有技術(shù)中存在的以上問題，提供了一種數(shù)據(jù)處理方法，用于分布式處理系統(tǒng)，使用多臺計算機或處理裝置來實現(xiàn)并行處理，從而大大減少了處理所需的時間，同時降低了系統(tǒng)的處理壓力，減少了系統(tǒng)崩潰的可能性。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實施例提供一種數(shù)據(jù)處理方法及裝置，包括如下技術(shù)方案:
[0007]根據(jù)本發(fā)明實施例的第一方面，提供一種數(shù)據(jù)處理方法，用于分布式音視頻處理系統(tǒng)，所述方法包括:
[0008]獲取視頻數(shù)據(jù)；
[0009]對所述視頻數(shù)據(jù)進行解封裝操作，以得到所述視頻數(shù)據(jù)對應(yīng)的多媒體文件碎片和所述多媒體文件碎片的總數(shù)信息；
[0010]將所述多媒體文件碎片分發(fā)至多個音視頻處理裝置進行處理；
[0011]獲取每個音視頻處理裝置發(fā)送的處理后的多媒體文件碎片以及所述多媒體文件碎片的總數(shù)信息；
[0012]根據(jù)所述多媒體文件碎片的總數(shù)信息和接收到的所述處理后的多媒體文件碎片，判斷是否接收到所述視頻數(shù)據(jù)對應(yīng)的所有處理后的多媒體文件碎片；
[0013]在接收到所述所有處理后的多媒體文件碎片時，對所述所有處理后的多媒體文件碎片進行封裝操作，以得到處理后的視頻數(shù)據(jù)。
[0014]在一個實施例中，所述獲取所述多個音視頻處理裝置發(fā)送的處理后的多媒體文件碎片以及所述多媒體文件碎片的總數(shù)信息，包括:
[0015]在所述多個音視頻裝置進行處理時，獲取系統(tǒng)配置文件，并獲取當前處理進程對應(yīng)的配置項；
[0016]監(jiān)控所述配置項對應(yīng)的目錄中的寫入關(guān)閉事件；
[0017]當監(jiān)控到有寫入關(guān)閉事件時，獲取所述寫入關(guān)閉事件的文件名，并記錄所述寫入關(guān)閉事件的發(fā)生時刻；
[0018]當所述寫入關(guān)閉事件中包含所述多媒體文件碎片的總數(shù)信息時，讀取所述多媒體文件碎片的目標總個數(shù)，當所述寫入關(guān)閉時間中包含處理后的多媒體文件碎片時，根據(jù)所述處理后的多媒體文件碎片填寫多媒體文件碎片接收映射表。
[0019]在一個實施例中，所述根據(jù)所述多媒體文件碎片的總數(shù)信息和接收到的所述處理后的多媒體文件碎片，判斷是否接收到所述視頻數(shù)據(jù)對應(yīng)的所有處理后的多媒體文件碎片，包括:
[0020]判斷所述多媒體文件碎片接收映射表中填寫的多媒體文件碎片總個數(shù)是否等于所述目標總個數(shù)；
[0021]當所述多媒體文件碎片接收映射表中填寫的多媒體文件碎片總個數(shù)等于所述目標總個數(shù)時，判斷接收到所述視頻數(shù)據(jù)對應(yīng)的所有處理后的多媒體文件碎片；
[0022]當所述多媒體文件碎片接收映射表中填寫的多媒體文件碎片總個數(shù)小于所述目標總個數(shù)時，判斷未接收到所述視頻數(shù)據(jù)對應(yīng)的所有處理后的多媒體文件碎片。
[0023]在一個實施例中，所述多媒體文件碎片的總數(shù)信息中包括音視頻處理裝置標識和對應(yīng)的多媒體文件碎片信息，所述方法還包括:
[0024]當未接收到所述視頻數(shù)據(jù)對應(yīng)的所有處理后的多媒體文件碎片時，或者未接收到所有的多媒體文件碎片的總數(shù)信息時，判斷當前時刻與記錄的最新的寫入關(guān)閉事件的發(fā)生時刻之間的時間間隔是否大于預(yù)設(shè)時間間隔；
[0025]在所述時間間隔大于所述預(yù)設(shè)時間間隔時，所述多媒體文件碎片的總數(shù)信息與接收到的處理后的多媒體文件碎片進行對比，以確定未接收到的目標多媒體文件碎片信息和對應(yīng)的目標音視頻處理裝置的標識；
[0026]根據(jù)所述目標多媒體文件碎片信息和對應(yīng)的目標音視頻處理裝置標識，發(fā)送文件重發(fā)命令至目標音視頻處理裝置，以獲取所述目標多媒體文件碎片信息。
[0027]在一個實施例中，所述多媒體文件碎片包括音頻文件和視頻文件，所述視頻文件包括目標視頻文件名的后綴以及后綴長度、目標視頻編碼格式的編號、目標視頻的參數(shù)、源視頻的參數(shù)、源視頻文件對應(yīng)的身份標識、視頻文件的序號、所述視頻文件第一幀的序號、所述視頻文件包含的視頻幀數(shù)，所述音頻文件包括目標音頻文件名的后綴以及后綴長度、目標音頻編碼格式的編號、目標音頻的參數(shù)、源音頻的參數(shù)、源音頻文件對應(yīng)的身份標識、音頻文件的序號、所述音頻文件第一幀的序號、所述音頻文件包含的音頻幀數(shù)，處理后的視頻文件包括源視頻文件對應(yīng)的身份標識、視頻文件的序號、所述視頻文件第一幀的序號、所述視頻文件包含的視頻幀數(shù)，處理后的音頻文件包括源音頻文件對應(yīng)的身份標識、音頻文件的序號、所述音頻文件第一幀的序號、所述音頻文件包含的音頻幀數(shù)。
[0028]根據(jù)本發(fā)明實施例的第二方面，提供一種數(shù)據(jù)處理裝置，用于分布式音視頻處理系統(tǒng)，所述裝置包括:
[0029]第一獲取模塊，用于獲取視頻數(shù)據(jù)；
[0030]解封裝模塊，用于對所述視頻數(shù)據(jù)進行解封裝操作，以得到所述視頻數(shù)據(jù)對應(yīng)的多媒體文件碎片和所述多媒體文件碎片的總數(shù)信息；
[0031]分發(fā)模塊，用于將所述多媒體文件碎片分發(fā)至多個音視頻處理裝置進行處理；
[0032]第二獲取模塊，用于獲取每個音視頻處理裝置發(fā)送的處理后的多媒體文件碎片以及所述多媒體文件碎片的總數(shù)信息；
[0033]第一判斷模塊，用于根據(jù)所述多媒體文件碎片的總數(shù)信息和接收到的所述處理后的多媒體文件碎片，判斷是否接收到所述視頻數(shù)據(jù)對應(yīng)的所有處理后的多媒體文件碎片；
[0034]封裝模塊，用于在接收到所述所有處理后的多媒體文件碎片時，對所述所有處理后的多媒體文件碎片進行封裝操作，以得到處理后的視頻數(shù)據(jù)。
[0035]在一個實施例中，所述第二獲取模塊包括:
[0036]所述第二獲取模塊包括:
[0037]第一獲取子模塊，用于在所述多個音視頻裝置進行處理時，獲取系統(tǒng)配置文件，并獲取當前處理進程對應(yīng)的配置項；
[0038]監(jiān)控子模塊，用于監(jiān)控所述配置項對應(yīng)的目錄中的寫入關(guān)閉事件；
[0039]第二獲取子模塊，用于當監(jiān)控到有寫入關(guān)閉事件時，獲取所述寫入關(guān)閉事件的文件名，并記錄所述寫入關(guān)閉事件的發(fā)生時刻；
[0040]第三獲取子模塊，用于當所述寫入關(guān)閉事件中包含所述多媒體文件碎片的總數(shù)信息時，讀取所述多媒體文件碎片的目標總個數(shù)，當所述寫入關(guān)閉時間中包含處理后的多媒體文件碎片時，根據(jù)所述處理后的多媒體文件碎片填寫多媒體文件碎片接收映射表。
[0041 ] 在一個實施例中，所述第一判斷模塊包括:
[0042]第一判斷子模塊，用于判斷所述多媒體文件碎片接收映射表中填寫的多媒體文件碎片總個數(shù)是否等于所述目標總個數(shù)；
[0043]第二判斷子模塊，用于當所述多媒體文件碎片接收映射表中填寫的多媒體文件碎片總個數(shù)等于所述目標總個數(shù)時，判斷接收到所述視頻數(shù)據(jù)對應(yīng)的所有處理后的多媒體文件碎片；
[0044]第三判斷子模塊，用于當所述多媒體文件碎片接收映射表中填寫的多媒體文件碎片總個數(shù)小于所述目標總個數(shù)時，判斷未接收到所述視頻數(shù)據(jù)對應(yīng)的所有處理后的多媒體文件碎片。
[0045]在一個實施例中，所述多媒體文件碎片的總數(shù)信息中包括音視頻處理裝置標識和對應(yīng)的多媒體文件碎片信息，所述方法還包括:
[0046]第二判斷模塊，用于當未接收到所述視頻數(shù)據(jù)對應(yīng)的所有處理后的多媒體文件碎片時，或者未接收到所有的多媒體文件碎片的總數(shù)信息時，判斷當前時刻與記錄的最新的寫入關(guān)閉事件的發(fā)生時刻之間的時間間隔是否大于預(yù)設(shè)時間間隔；
[0047]對比模塊，用于在所述時間間隔大于所述預(yù)設(shè)時間間隔時，所述多媒體文件碎片的總數(shù)信息與接收到的處理后的多媒體文件碎片進行對比，以確定未接收到的目標多媒體文件碎片信息和對應(yīng)的目標音視頻處理裝置的標識；
[0048]發(fā)送模塊，用于根據(jù)所述目標多媒體文件碎片信息和對應(yīng)的目標音視頻處理裝置標識，發(fā)送文件重發(fā)命令至目標音視頻處理裝置，以獲取所述目標多媒體文件碎片信息。
[0049]在一個實施例中，所述多媒體文件碎片包括音頻文件和視頻文件，所述視頻文件包括目標視頻文件名的后綴以及后綴長度、目標視頻編碼格式的編號、目標視頻的參數(shù)、源視頻的參數(shù)、源視頻文件對應(yīng)的身份標識、視頻文件的序號、所述視頻文件第一幀