本申請實施方式涉及數(shù)據(jù)處理領域，更具體地，本申請實施方式涉及一種數(shù)據(jù)壓縮處理方法及相關裝置。

背景技術：

1、稀疏矩陣是指大部分元素為零的矩陣。這類矩陣在工程應用中經(jīng)常被使用，尤其是在人工智能領域。比如自然語言處理等機器學習領域常常會應用到大型稀疏矩陣。由于稀疏矩陣中存在大量的冗余0，如果將其當作稠密矩陣來表示和處理，計算資源消耗大，導致計算成本較高。因而，需要對稀疏矩陣進行預處理，以降低其計算成本，提升計算效率。

2、相關技術中，基于字典的壓縮方案將數(shù)據(jù)字替換為字典中的對應短碼，通過壓縮頻繁出現(xiàn)的數(shù)據(jù)字，此方案可以實現(xiàn)較高的壓縮率，然而該方案需要依賴于專用字典，由于字典同步復雜性使得方案的可擴展性較差，時延較長。

3、綜上，亟待提供一種全新的技術方案，用以解決相關技術中存在的上述至少一個技術問題。

技術實現(xiàn)思路

1、在本上下文中，本申請的實施方式期望提供一種數(shù)據(jù)壓縮處理方法及相關裝置，用以實現(xiàn)相關技術中可拓展性不高的問題，以實現(xiàn)高可拓展性。

2、在本申請實施方式的第一方面中，提供了一種數(shù)據(jù)壓縮處理方法，所述方法應用稀疏矩陣壓縮場景下的多通道流水線架構，所述多通道流水線架構至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述方法包括：

3、接收多個通道的初始數(shù)據(jù)和連接位圖；其中，所述連接位圖用于表征多個通道之間的數(shù)據(jù)連接關系，每一通道的初始數(shù)據(jù)的數(shù)據(jù)位寬相同；

4、對每個通道的初始數(shù)據(jù)進行預處理，得到每個通道的第一數(shù)據(jù)；

5、將所述多個通道的第一數(shù)據(jù)和所述連接位圖輸入到中間存儲區(qū)域中；

6、根據(jù)中間存儲區(qū)域中的所述連接位圖，通過數(shù)據(jù)拼接模塊將多個通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；

7、通過零壓縮模塊對所述拼接數(shù)據(jù)進行零壓縮處理，得到壓縮數(shù)據(jù)包。

8、在本申請實施方式的第二方面中，提供了一種數(shù)據(jù)壓縮處理裝置，所述裝置應用稀疏矩陣壓縮場景下的多通道流水線架構，所述多通道流水線架構至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述裝置至少包括：

9、數(shù)據(jù)接收模塊，用于接收多個通道的初始數(shù)據(jù)和連接位圖；其中，所述連接位圖用于表征多個通道之間的數(shù)據(jù)連接關系，每一通道的初始數(shù)據(jù)的數(shù)據(jù)位寬相同；

10、數(shù)據(jù)預處理模塊，用于對每個通道的初始數(shù)據(jù)進行預處理，得到每個通道的第一數(shù)據(jù)；

11、數(shù)據(jù)拼接模塊，用于將所述多個通道的初始數(shù)據(jù)和所述連接位圖輸入到中間存儲區(qū)域中；根據(jù)中間存儲區(qū)域中的所述連接位圖，將多個通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；

12、零壓縮模塊，用于對所述拼接數(shù)據(jù)進行零壓縮處理，得到壓縮數(shù)據(jù)包。

13、在本申請實施方式的第三方面中，提供了一種計算設備，所述計算設備包括：

14、至少一個處理器、存儲器和輸入輸出單元；

15、其中，所述存儲器用于存儲計算機程序，所述處理器用于調(diào)用所述存儲器中存儲的計算機程序來執(zhí)行第一方面的數(shù)據(jù)壓縮處理方法。

16、在本申請實施方式的第四方面中，提供了一種計算機可讀存儲介質(zhì)，其包括指令，當其在計算機上運行該指令時，使得計算機執(zhí)行第一方面的數(shù)據(jù)壓縮處理方法。

17、在本申請實施方式的第五方面中，提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)第一方面的數(shù)據(jù)壓縮處理方法。

18、在本申請實施方式的第六方面中，提供了一種芯片，該芯片中包括與收發(fā)器耦合的處理器，用于執(zhí)行第一方面的數(shù)據(jù)壓縮處理方法。

19、在本申請實施方式的第七方面中，提供了一種芯片系統(tǒng)，該芯片系統(tǒng)包括：通信接口，用于輸入和/或輸出信息；處理器，用于執(zhí)行計算機可執(zhí)行程序，使得安裝有所述芯片系統(tǒng)的設備執(zhí)行如第一方面的數(shù)據(jù)壓縮處理方法。

20、本申請實施方式中，提供了一種數(shù)據(jù)壓縮處理方法及相關裝置。本申請實施方式中，通過接收多個通道的初始數(shù)據(jù)和連接位圖；對每個通道的初始數(shù)據(jù)進行預處理，得到每個通道的第一數(shù)據(jù)；將所述多個通道的初始數(shù)據(jù)和所述連接位圖輸入到中間存儲區(qū)域中；根據(jù)中間存儲區(qū)域中的所述連接位圖，將多個通道的第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；對拼接數(shù)據(jù)進行零壓縮處理，得到壓縮數(shù)據(jù)包。通過數(shù)據(jù)拼接將多路數(shù)據(jù)整合為單數(shù)據(jù)流，對單數(shù)據(jù)流進行零壓縮處理，以實現(xiàn)存儲空間壓縮。且數(shù)據(jù)拼接和零壓縮兩個環(huán)節(jié)實現(xiàn)數(shù)據(jù)壓縮，是不對輸入數(shù)據(jù)類型有特殊約束的，因此具有更廣泛的適用性，也就是實現(xiàn)了數(shù)據(jù)壓縮處理的高可拓展性。

技術特征：

1.一種數(shù)據(jù)壓縮處理方法，其特征在于，所述方法應用稀疏矩陣壓縮場景下的多通道流水線架構，所述多通道流水線架構至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述方法包括：

2.根據(jù)權利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，對每個通道的初始數(shù)據(jù)進行預處理，得到每個通道的第一數(shù)據(jù)，包括：

3.根據(jù)權利要求2所述的數(shù)據(jù)壓縮處理方法，其特征在于，對每個通道的初始數(shù)據(jù)進行移位補零處理，包括：

4.根據(jù)權利要求3所述的數(shù)據(jù)壓縮處理方法，其特征在于，將每個通道的初始數(shù)據(jù)按照預設規(guī)則對應的目標位數(shù)進行左移，包括：

5.根據(jù)權利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，根據(jù)中間存儲區(qū)域中的所述連接位圖，通過數(shù)據(jù)拼接模塊將多個通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)，包括：

6.根據(jù)權利要求5所述的數(shù)據(jù)壓縮處理方法，其特征在于，基于所述連接位圖，確定多個通道中至少兩個待拼接通道，包括：

7.根據(jù)權利要求6所述的數(shù)據(jù)壓縮處理方法，其特征在于，將所述至少兩個待拼接通道的所述第一數(shù)據(jù)拼接得到所述拼接數(shù)據(jù)，包括：

8.根據(jù)權利要求7所述的數(shù)據(jù)壓縮處理方法，其特征在于，若所述多個通道的通道個數(shù)為n，每個通道的所述第一數(shù)據(jù)的數(shù)據(jù)位寬為m，則所述拼接數(shù)據(jù)的數(shù)據(jù)位寬與拼接前的所述第一數(shù)據(jù)的數(shù)據(jù)位寬均為n×m位。

9.根據(jù)權利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，將所述多個通道的第一數(shù)據(jù)和所述連接位圖輸入到中間存儲區(qū)域中，包括：

10.一種數(shù)據(jù)壓縮處理裝置，其特征在于，所述裝置應用稀疏矩陣壓縮場景下的多通道流水線架構，所述多通道流水線架構至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述裝置至少包括：

技術總結
本申請實施方式提供了一種數(shù)據(jù)壓縮處理方法及相關裝置。該方法包括：接收多個通道的初始數(shù)據(jù)和連接位圖；對每個通道的初始數(shù)據(jù)進行預處理，得到每個通道的第一數(shù)據(jù)；將多個通道的初始數(shù)據(jù)和所述連接位圖輸入到中間存儲區(qū)域中；根據(jù)中間存儲區(qū)域中的連接位圖，將多個通道的第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；對拼接數(shù)據(jù)進行零壓縮處理，得到壓縮數(shù)據(jù)包。本申請通過數(shù)據(jù)拼接將多路數(shù)據(jù)整合為單數(shù)據(jù)流，對單數(shù)據(jù)流進行零壓縮處理，以實現(xiàn)存儲空間壓縮。數(shù)據(jù)拼接和零壓縮兩個環(huán)節(jié)實現(xiàn)數(shù)據(jù)壓縮，是不對輸入數(shù)據(jù)類型有特殊約束的，因此具有更廣泛的適用性，也就是實現(xiàn)了數(shù)據(jù)壓縮處理的高可拓展性。

技術研發(fā)人員：鄭瀚尋,楊龔軼凡,闖小明,靳翼冰
受保護的技術使用者：上海泰則半導體有限公司
技術研發(fā)日：
技術公布日：2024/12/19