本發(fā)明涉及數(shù)據(jù)轉(zhuǎn)換與編譯，尤其涉及一種sas代碼自動(dòng)轉(zhuǎn)換方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在現(xiàn)代金融行業(yè)中，數(shù)據(jù)分析和處理能力已成為企業(yè)決策和運(yùn)營(yíng)的重要支撐。金融機(jī)構(gòu)依賴于復(fù)雜的數(shù)據(jù)分析來進(jìn)行風(fēng)險(xiǎn)評(píng)估、客戶細(xì)分、市場(chǎng)預(yù)測(cè)以及反欺詐檢測(cè)等工作。為此，金融機(jī)構(gòu)通常使用多種數(shù)據(jù)處理工具和平臺(tái)，如sas(統(tǒng)計(jì)分析系統(tǒng))和各種大數(shù)據(jù)平臺(tái)(如hive、z+平臺(tái))來管理和分析海量金融數(shù)據(jù)。

2、sas平臺(tái)以其強(qiáng)大的數(shù)據(jù)分析功能和廣泛的應(yīng)用場(chǎng)景在金融領(lǐng)域中占據(jù)了重要地位。然而，隨著數(shù)據(jù)量的爆炸性增長(zhǎng)和云計(jì)算技術(shù)的發(fā)展，金融機(jī)構(gòu)逐漸轉(zhuǎn)向更具擴(kuò)展性和高效性的云端大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)處理和存儲(chǔ)。這些平臺(tái)(如hive和z+平臺(tái))不僅能夠處理大規(guī)模數(shù)據(jù)，還支持并行計(jì)算和分布式存儲(chǔ)，為金融分析提供了更高的計(jì)算性能和更低的成本。

3、在這一轉(zhuǎn)變過程中，一個(gè)關(guān)鍵挑戰(zhàn)是如何將現(xiàn)有的sas代碼和分析邏輯無縫遷移到這些新興的大數(shù)據(jù)平臺(tái)上。傳統(tǒng)的sas代碼通常包含復(fù)雜的邏輯和數(shù)據(jù)處理步驟，這些步驟涉及對(duì)金融數(shù)據(jù)的清洗、轉(zhuǎn)換、分析和可視化。為了適應(yīng)新平臺(tái)的特性，這些sas代碼需要轉(zhuǎn)換為目標(biāo)平臺(tái)的代碼形式，如hive?sql或z+平臺(tái)代碼。

4、然而，手動(dòng)完成這類轉(zhuǎn)換不僅耗時(shí)且易出錯(cuò)，還可能導(dǎo)致分析邏輯的偏差，進(jìn)而影響金融決策的準(zhǔn)確性。尤其在金融領(lǐng)域，對(duì)數(shù)據(jù)處理的精準(zhǔn)性和安全性有著極高的要求，任何細(xì)微的錯(cuò)誤都可能導(dǎo)致重大經(jīng)濟(jì)損失。因此，開發(fā)一種能夠自動(dòng)、高效地將sas代碼轉(zhuǎn)換為目標(biāo)平臺(tái)代碼的工具，對(duì)于金融機(jī)構(gòu)而言，具有極大的實(shí)用價(jià)值。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種sas代碼自動(dòng)轉(zhuǎn)換方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決如何自動(dòng)且高效地將sas代碼轉(zhuǎn)換為目標(biāo)平臺(tái)代碼，以確保數(shù)據(jù)處理邏輯的一致性和轉(zhuǎn)換過程的準(zhǔn)確性的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種sas代碼自動(dòng)轉(zhuǎn)換方法，包括：

3、接收基于sas平臺(tái)編寫的sas代碼，識(shí)別并提取所述sas代碼的函數(shù)名和變量名；

4、檢測(cè)sas平臺(tái)中的數(shù)據(jù)表與hive平臺(tái)中的對(duì)應(yīng)表之間的邏輯關(guān)系，生成表對(duì)應(yīng)關(guān)系映射；

5、使用有限自動(dòng)機(jī)提取所述sas代碼中的data?step部分，并使用預(yù)定義的語法規(guī)則結(jié)合所述表對(duì)應(yīng)關(guān)系映射將所述data?step部分解析為關(guān)系代數(shù)；

6、調(diào)用hive的語法解析樹，結(jié)合所述表對(duì)應(yīng)關(guān)系映射將解析出的所述關(guān)系代數(shù)轉(zhuǎn)換為hive?sql代碼；

7、將sas代碼中的函數(shù)名和變量名轉(zhuǎn)換為hive平臺(tái)中的對(duì)應(yīng)函數(shù)名和變量名，結(jié)合所述hive?sql代碼與hive平臺(tái)的函數(shù)名和變量名生成目標(biāo)hive代碼，基于所述目標(biāo)hive代碼轉(zhuǎn)換并生成目標(biāo)z+平臺(tái)代碼。

8、在一個(gè)實(shí)施例中，基于所述目標(biāo)hive代碼轉(zhuǎn)換并生成目標(biāo)z+平臺(tái)代碼，包括：

9、構(gòu)建一個(gè)平行語料庫(kù)，所述平行語料庫(kù)包含sas代碼、根據(jù)sas代碼生成的hive代碼，以及與hive代碼相對(duì)應(yīng)的z+平臺(tái)代碼，涵蓋多種場(chǎng)景的翻譯任務(wù)；

10、基于transformer的bert模型，使用所述平行語料庫(kù)進(jìn)行模型訓(xùn)練，所述bert模型通過學(xué)習(xí)所述sas代碼與目標(biāo)hive代碼之間的映射規(guī)則以及所述目標(biāo)hive代碼與z+平臺(tái)代碼之間的轉(zhuǎn)換規(guī)則優(yōu)化翻譯模型；

11、在模型訓(xùn)練過程中，加入正則化項(xiàng)，調(diào)整模型訓(xùn)練中的損失函數(shù)，訓(xùn)練得到最終的目標(biāo)翻譯模型；

12、基于所述目標(biāo)翻譯模型將所述sas代碼轉(zhuǎn)換為所述目標(biāo)z+平臺(tái)代碼。

13、在一個(gè)實(shí)施例中，基于transformer的bert模型，使用所述平行語料庫(kù)進(jìn)行模型訓(xùn)練，包括：

14、將平行語料庫(kù)中的數(shù)據(jù)輸入到基于transformer的bert模型中進(jìn)行訓(xùn)練，所述bert模型的結(jié)構(gòu)包括多頭注意力機(jī)制、前饋神經(jīng)網(wǎng)絡(luò)層和位置編碼；

15、在模型訓(xùn)練過程中，應(yīng)用學(xué)習(xí)率衰減策略，隨著訓(xùn)練的進(jìn)行，逐步降低學(xué)習(xí)率；

16、計(jì)算模型訓(xùn)練中的損失函數(shù)，通過反向傳播算法優(yōu)化模型參數(shù)，并對(duì)bert模型的最后預(yù)設(shè)數(shù)量的層進(jìn)行微調(diào)。

17、在一個(gè)實(shí)施例中，基于所述目標(biāo)翻譯模型將所述sas代碼轉(zhuǎn)換為所述目標(biāo)z+平臺(tái)代碼，包括：

18、在轉(zhuǎn)換過程中，對(duì)生成的中間結(jié)果進(jìn)行異常值檢測(cè)，并在檢測(cè)到異常時(shí)記錄并生成警告；

19、在生成初步z+平臺(tái)代碼后，通過語法檢查工具驗(yàn)證所述初步z+平臺(tái)代碼的語法正確性，并在檢測(cè)到語法錯(cuò)誤時(shí)進(jìn)行自動(dòng)修復(fù)或提示用戶手動(dòng)修正；

20、對(duì)生成的所述初步z+平臺(tái)代碼進(jìn)行邏輯驗(yàn)證，確保數(shù)據(jù)處理邏輯與輸入的所述sas代碼一致，并通過對(duì)比分析方法驗(yàn)證函數(shù)和變量映射的正確性；

21、在模擬環(huán)境中執(zhí)行所述初步z+平臺(tái)代碼，記錄并分析運(yùn)行日志，檢測(cè)潛在的運(yùn)行時(shí)錯(cuò)誤和邏輯異常，并生成詳細(xì)的錯(cuò)誤報(bào)告和修復(fù)建議；

22、對(duì)模擬執(zhí)行的結(jié)果進(jìn)行驗(yàn)證，比較模擬執(zhí)行的結(jié)果與預(yù)期輸出是否一致，若不一致，標(biāo)記問題并提示用戶進(jìn)行復(fù)查；

23、在完成驗(yàn)證過程并修正錯(cuò)誤后，生成最終的目標(biāo)z+平臺(tái)代碼。

24、在一個(gè)實(shí)施例中，將sas代碼中的函數(shù)名和變量名轉(zhuǎn)換為hive平臺(tái)中的對(duì)應(yīng)函數(shù)名和變量名，包括：

25、根據(jù)預(yù)先定義的映射規(guī)則表，查找sas代碼中的函數(shù)名和變量名在hive平臺(tái)中的對(duì)應(yīng)名稱；

26、根據(jù)所述映射規(guī)則表逐一替換sas代碼中的函數(shù)名和變量名，轉(zhuǎn)換為hive平臺(tái)中對(duì)應(yīng)的函數(shù)名和變量名；

27、轉(zhuǎn)換完成后，進(jìn)行語法檢查，若發(fā)現(xiàn)不符合hive平臺(tái)要求的命名或語法問題，調(diào)整轉(zhuǎn)換后的hive平臺(tái)中的函數(shù)名與變量名。

28、在一個(gè)實(shí)施例中，接收基于sas平臺(tái)編寫的sas代碼，識(shí)別并提取所述sas代碼的函數(shù)名和變量名，包括：

29、接收基于sas平臺(tái)編寫的sas代碼，并將其存儲(chǔ)在內(nèi)存中；

30、使用語法解析器對(duì)所述sas代碼進(jìn)行初步解析，構(gòu)建代碼的語法樹，并標(biāo)記其中的語法元素，包括函數(shù)名和變量；

31、分析所述語法樹中的每個(gè)函數(shù)調(diào)用節(jié)點(diǎn)，識(shí)別其中的嵌套函數(shù)結(jié)構(gòu)，標(biāo)記參數(shù)中包含其他函數(shù)調(diào)用的節(jié)點(diǎn)為嵌套函數(shù)調(diào)用；

32、對(duì)識(shí)別出的嵌套函數(shù)調(diào)用，遞歸解析其內(nèi)層函數(shù)，自最內(nèi)層函數(shù)起逐步向外解析，并將解析后的函數(shù)名依次存儲(chǔ)在映射表中；

33、識(shí)別所述語法樹中的復(fù)雜數(shù)據(jù)結(jié)構(gòu)，包括多維數(shù)組和嵌套的數(shù)據(jù)框或數(shù)據(jù)集，并標(biāo)記這些復(fù)雜數(shù)據(jù)結(jié)構(gòu)的節(jié)點(diǎn)；

34、逐層解析所述復(fù)雜數(shù)據(jù)結(jié)構(gòu)，提取每一層的數(shù)據(jù)元素的變量名，并將其存儲(chǔ)在變量映射表中，按順序記錄各維度的變量名。

35、在一個(gè)實(shí)施例中，檢測(cè)sas平臺(tái)中的數(shù)據(jù)表與hive平臺(tái)中的對(duì)應(yīng)表之間的邏輯關(guān)系，生成表對(duì)應(yīng)關(guān)系映射，包括：

36、提取sas平臺(tái)中數(shù)據(jù)表的元數(shù)據(jù)，包括表名、字段名、數(shù)據(jù)類型、主鍵和外鍵；

37、提取hive平臺(tái)中相應(yīng)數(shù)據(jù)表的元數(shù)據(jù)，包括表名、字段名、數(shù)據(jù)類型、分區(qū)鍵、主鍵和外鍵；

38、基于主鍵和外鍵的邏輯關(guān)系，定義sas數(shù)據(jù)表與hive數(shù)據(jù)表之間的對(duì)應(yīng)關(guān)系；

39、當(dāng)主鍵與外鍵之間的映射關(guān)系不足以確定表之間的對(duì)應(yīng)關(guān)系時(shí)，基于表名和字段名的名稱相似度進(jìn)行映射關(guān)系定義，使用字符串匹配算法計(jì)算相似度并判斷是否存在映射關(guān)系；

40、若名稱匹配也未能確定映射關(guān)系，進(jìn)一步分析表的結(jié)構(gòu)相似性，包括字段數(shù)量、數(shù)據(jù)類型分布和表的層級(jí)關(guān)系，識(shí)別和記錄存在的映射關(guān)系，生成sas數(shù)據(jù)表與hive數(shù)據(jù)表之間的表對(duì)應(yīng)關(guān)系映射。

41、進(jìn)一步地，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種sas代碼自動(dòng)轉(zhuǎn)換裝置，包括：

42、代碼接收與解析模塊，接收基于sas平臺(tái)編寫的sas代碼，識(shí)別并提取所述sas代碼的函數(shù)名和變量名；

43、數(shù)據(jù)表映射模塊，檢測(cè)sas平臺(tái)中的數(shù)據(jù)表與hive平臺(tái)中的對(duì)應(yīng)表之間的邏輯關(guān)系，生成表對(duì)應(yīng)關(guān)系映射；

44、sas代碼解析模塊，使用有限自動(dòng)機(jī)提取所述sas代碼中的data?step部分，并使用預(yù)定義的語法規(guī)則結(jié)合所述表對(duì)應(yīng)關(guān)系映射將所述data?step部分解析為關(guān)系代數(shù)；

45、sql轉(zhuǎn)換模塊，調(diào)用hive的語法解析樹，結(jié)合所述表對(duì)應(yīng)關(guān)系映射將解析出的所述關(guān)系代數(shù)轉(zhuǎn)換為hive?sql代碼；

46、代碼轉(zhuǎn)換與生成模塊，將sas代碼中的函數(shù)名和變量名轉(zhuǎn)換為hive平臺(tái)中的對(duì)應(yīng)函數(shù)名和變量名，結(jié)合所述hive?sql代碼與hive平臺(tái)的函數(shù)名和變量名生成目標(biāo)hive代碼，基于所述目標(biāo)hive代碼轉(zhuǎn)換并生成目標(biāo)z+平臺(tái)代碼。

47、進(jìn)一步地，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種sas代碼自動(dòng)轉(zhuǎn)換設(shè)備，所述sas代碼自動(dòng)轉(zhuǎn)換設(shè)備包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的sas代碼自動(dòng)轉(zhuǎn)換程序，所述sas代碼自動(dòng)轉(zhuǎn)換程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述所述的sas代碼自動(dòng)轉(zhuǎn)換方法的步驟。

48、進(jìn)一步地，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有sas代碼自動(dòng)轉(zhuǎn)換程序，所述sas代碼自動(dòng)轉(zhuǎn)換程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的sas代碼自動(dòng)轉(zhuǎn)換方法的步驟。

49、有益效果：本發(fā)明涉及一種sas代碼自動(dòng)轉(zhuǎn)換方法，通過接收并解析基于sas平臺(tái)編寫的sas代碼，識(shí)別并提取其中的函數(shù)名和變量名；檢測(cè)sas平臺(tái)與hive平臺(tái)之間的數(shù)據(jù)表對(duì)應(yīng)關(guān)系，并生成表對(duì)應(yīng)關(guān)系映射；使用有限自動(dòng)機(jī)解析sas代碼中的data?step部分，并結(jié)合預(yù)定義的語法規(guī)則及表對(duì)應(yīng)關(guān)系映射，將其解析為關(guān)系代數(shù)；調(diào)用hive的語法解析樹，將解析出的關(guān)系代數(shù)轉(zhuǎn)換為hive?sql代碼；將sas代碼中的函數(shù)名和變量名轉(zhuǎn)換為hive平臺(tái)中的對(duì)應(yīng)項(xiàng)，基于生成的hive?sql代碼生成目標(biāo)hive代碼，并最終轉(zhuǎn)換為目標(biāo)z+平臺(tái)代碼。本發(fā)明不僅提高了轉(zhuǎn)換過程的自動(dòng)化程度和效率，還確保了數(shù)據(jù)處理邏輯的一致性，為金融領(lǐng)域的數(shù)字化轉(zhuǎn)型提供了強(qiáng)有力的技術(shù)支持。