一種構(gòu)建多語言網(wǎng)站實時翻譯的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)信息技術(shù)領(lǐng)域，具體涉及一種構(gòu)建多語言網(wǎng)站實時翻譯的方法。
【背景技術(shù)】
[0002]隨著國際化進(jìn)程的不斷加快，機器翻譯或機器輔助在線翻譯已經(jīng)公開了極多技術(shù)，多語言網(wǎng)站在互聯(lián)網(wǎng)中的地位日漸突出，伴隨而來的是海量數(shù)據(jù)實時翻譯的問題，當(dāng)前多語言網(wǎng)站實時翻譯大多采用將數(shù)據(jù)均分到不同的翻譯機進(jìn)行翻譯的方法。此方法在高并發(fā)、數(shù)據(jù)量大的情況下，翻譯延遲現(xiàn)象比較嚴(yán)重，原因主要有兩方面:一是數(shù)據(jù)方面，由于多語言混雜，翻譯機需要頻繁切換語言接口 ；二是翻譯機本身翻譯速度不同，易發(fā)生木桶短板效應(yīng)。

【發(fā)明內(nèi)容】

[0003]為了解決現(xiàn)有的問題，本發(fā)明目的是，提出一種多語言網(wǎng)站實時翻譯的方法，旨在實現(xiàn)高并發(fā)、數(shù)據(jù)量大的情況下的多語言網(wǎng)站實時翻譯。
[0004]本發(fā)明技術(shù)方案是:一種多語言網(wǎng)站實時翻譯的方法，通過組建翻譯集群、劃分待翻譯數(shù)據(jù)塊和數(shù)據(jù)塊翻譯進(jìn)行高并發(fā)、數(shù)據(jù)量大情況下的多語言網(wǎng)站實時翻譯；
[0005]I)組建翻譯集群方法，具體步驟如下:
[0006]步驟一、所有集群內(nèi)的翻譯機按名稱排序，便于監(jiān)測其狀態(tài)及出現(xiàn)問題時的排查；
[0007]步驟二、按照一定規(guī)則，抽取一定數(shù)量的翻譯機，形成調(diào)度翻譯集群；
[0008]步驟三、剩余的翻譯機，按待翻譯的語言種類平均分配，形成多個有語言種類特色的獨立翻譯集群，若為各個獨立翻譯集群平均分配整數(shù)臺翻譯機后有剩下的余數(shù)，再逐個分配，各個語言種類的獨立翻譯集群的翻譯機數(shù)量差不超過一臺；
[0009]2)劃分待翻譯數(shù)據(jù)塊方法，具體步驟如下:
[0010]步驟一、將所有待翻譯數(shù)據(jù)按待翻譯的語言種類劃分，形成不同語言種類的待翻譯數(shù)據(jù)集合；
[0011]步驟二、將各類語言種類的待翻譯數(shù)據(jù)集合，按對應(yīng)語言種類獨立翻譯集群的翻譯機數(shù)量動態(tài)平均分配，形成多個待翻譯數(shù)據(jù)塊；
[0012]3)數(shù)據(jù)塊翻譯方法，具體步驟如下:
[0013]步驟一、將待翻譯數(shù)據(jù)塊發(fā)送到對應(yīng)的獨立翻譯集群中的翻譯機翻譯；
[0014]步驟二、由于每個獨立翻譯集群的翻譯速度不盡相同，對待翻譯數(shù)據(jù)的處理速度不一樣，調(diào)度翻譯集群會協(xié)助翻譯速度最慢的那個獨立翻譯集群一起翻譯，待調(diào)度翻譯集群翻譯完成后，尋找下一個需要幫助的翻譯集群。
[0015]進(jìn)一步，將翻譯機按待翻譯的語言種類形成獨立翻譯集群，大大減少翻譯機切換語言的頻率，有效地減少翻譯機卡機、死機，翻譯錯位等問題。
[0016]2)中步驟二的翻譯機數(shù)量動態(tài)平均分配，具體如下，首先將各類語言的待翻譯數(shù)據(jù)量，按對應(yīng)語言獨立翻譯集群的翻譯機數(shù)量平均分配，若為各個翻譯機平均分配整數(shù)條數(shù)據(jù)后有剩下的余數(shù)，再逐條分配各個翻譯機，各個翻譯機的翻譯數(shù)據(jù)量差不超過一條；下一次翻譯數(shù)據(jù)分配前，統(tǒng)計獨立翻譯集群內(nèi)各翻譯機未翻譯完的數(shù)據(jù)量，再分配，使得每一次分配后，一個獨立翻譯集群內(nèi)的各個翻譯機的數(shù)據(jù)量差不超過一條，如此保證所有翻譯機的平均翻譯速度，提升獨立翻譯集群的整體翻譯速度。
[0017]調(diào)度翻譯集群判斷后協(xié)助翻譯速度最慢的那個獨立翻譯集群一起翻譯，調(diào)度翻譯集群在翻譯時采用翻譯機數(shù)量動態(tài)平均分配的方法，如此提升各個獨立翻譯集群的翻譯速度，使得在數(shù)據(jù)量大、高并發(fā)的情況下，各類語言網(wǎng)站的實時翻譯不阻塞。
[0018]本發(fā)明的有益效果，與現(xiàn)有技術(shù)相比，其顯著優(yōu)點為:
[0019](I)將翻譯機按待翻譯的語言種類形成獨立翻譯集群，不需頻繁切換語言接口，有效地減少翻譯機卡機、死機，翻譯錯位等問題。
[0020](2)按一個獨立翻譯集群內(nèi)的各翻譯機的翻譯速度，動態(tài)平均分配翻譯數(shù)據(jù)量，如此保證所有翻譯機的平均翻譯速度，提升獨立翻譯集群的整體翻譯速度。
[0021](3)設(shè)有調(diào)度翻譯集群，會協(xié)助翻譯速度最慢的那個獨立翻譯集群一起翻譯，如此提升各個獨立翻譯集群的翻譯速度，使得在數(shù)據(jù)量大、高并發(fā)的情況下，不易發(fā)生木桶短板效應(yīng)。
【附圖說明】
[0022]圖1為本發(fā)明實施例組建翻譯集群的示意圖。
[0023]圖2為本發(fā)明實施例劃分待翻譯數(shù)據(jù)塊的示意圖。
[0024]圖3為本發(fā)明實施例數(shù)據(jù)塊翻譯的示意圖。
【具體實施方式】
[0025]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖和具體實施例對本發(fā)明進(jìn)行詳細(xì)描述。
[0026]如圖1所示，為本發(fā)明實施例組建翻譯集群的示意圖，具體為:
[0027]步驟一、所有翻譯機按名稱排序，便于監(jiān)測其狀態(tài)及出現(xiàn)問題時的排查。本實施例假設(shè)名稱為翻譯機的IP。
[0028]步驟二、按照一定規(guī)則，抽取一定數(shù)量的翻譯機，形成調(diào)度翻譯集群。本實施例假設(shè)數(shù)量為X臺翻譯機。X可為語言種類的數(shù)量的1-3倍。
[0029]步驟三、剩余的翻譯機，按待翻譯的語言種類平均分配，形成多個有語言特色的獨立翻譯集群，若為各個獨立翻譯集群平均分配整數(shù)臺翻譯機后有剩下的余數(shù)，再逐個分配，各個獨立翻譯集群的翻譯機數(shù)量差不超過一臺。本實施例假設(shè)待翻譯的語言種類為N類，各個獨立翻譯集群分配到的翻譯機數(shù)量為Y臺或Z臺，則Y = Z或Y - Z = I。
[0030]如圖2所示，為本發(fā)明實施例劃分待翻譯數(shù)據(jù)塊的示意圖，具體為:
[0031]步驟一、將所有待翻譯數(shù)據(jù)按待翻譯的語言種類劃分，形成不同種類語言的待翻譯數(shù)據(jù)集合。本實施例假設(shè)待翻譯的語言種類為N類。
[0032]步驟二、將各類語言的待翻譯數(shù)據(jù)集合，按對應(yīng)語言獨立翻譯集群的翻譯機數(shù)量動態(tài)平均分配，形成多個待翻譯數(shù)據(jù)塊；
[0033]步驟二的動態(tài)平均分配具體為首先將各類語言的待翻譯數(shù)據(jù)量，按對應(yīng)語言獨立翻譯集群的翻譯機數(shù)量平均分配，若為各個翻譯機平均分配整數(shù)條數(shù)據(jù)量后有剩下的余數(shù)，再逐條分配，各個翻譯機的數(shù)據(jù)量差不超過一條；下一次分配前，統(tǒng)計獨立翻譯集群內(nèi)各翻譯機未翻譯完的數(shù)據(jù)量，再分配，使得每一次分配后，一個獨立翻譯集群內(nèi)的各個翻譯機的數(shù)據(jù)量差不超過一條。本實施例將各類語言的待翻譯數(shù)據(jù)集合，按對應(yīng)語言獨立翻譯集群的翻譯機數(shù)量(Y臺或Z臺，且Y = Z或Y-Z = I)動態(tài)平均分配，使得每一次分配后，一個獨立翻譯集群內(nèi)的各個翻譯機的數(shù)據(jù)量差不超過一條。
[0034]如圖3所示，為本發(fā)明實施例數(shù)據(jù)塊翻譯的示意圖，具體為:
[0035]步驟一、將待翻譯數(shù)據(jù)塊發(fā)送到對應(yīng)的獨立翻譯集群中的翻譯機翻譯。
[0036]步驟二、由于每個獨立翻譯集群的翻譯速度不盡相同，對待翻譯數(shù)據(jù)的處理速度不一樣，調(diào)度翻譯集群會協(xié)助翻譯速度最慢的那個獨立翻譯集群一起翻譯，待翻譯完成后，尋找下一個需要幫助的翻譯集群。本實例假設(shè)當(dāng)前防疫速度最慢的獨立翻譯集群為法語翻譯集群。調(diào)度翻譯集群在翻譯時亦參照翻譯機數(shù)量動態(tài)平均分配的方法。如此保證所有翻譯機的平均翻譯速度，提升獨立翻譯集群的整體翻譯速度。
[0037]以上所述僅為本發(fā)明專利的實施例而已，并不用以限制本發(fā)明專利，凡在本發(fā)明專利的精神和原則之內(nèi)所做的任何修改、等同替換和改進(jìn)等，均以包含在本發(fā)明專利的保護范圍之內(nèi)。
【主權(quán)項】
1.一種多語言網(wǎng)站實時翻譯的方法，其特征在于通過組建翻譯集群、劃分待翻譯數(shù)據(jù)塊和數(shù)據(jù)塊翻譯進(jìn)行高并發(fā)、數(shù)據(jù)量大情況下的多語言網(wǎng)站實時翻譯； 1)組建翻譯集群方法，具體步驟如下: 步驟一、所有集群內(nèi)的翻譯機按名稱排序，便于監(jiān)測其狀態(tài)及出現(xiàn)問題時的排查； 步驟二、按照一定規(guī)則，抽取一定數(shù)量的翻譯機，形成調(diào)度翻譯集群； 步驟三、剩余的翻譯機，按待翻譯的語言種類平均分配，形成多個有語言種類特色的獨立翻譯集群，若為各個獨立翻譯集群平均分配整數(shù)臺翻譯機后有剩下的余數(shù)，再逐個分配，各個語言種類的獨立翻譯集群的翻譯機數(shù)量差不超過一臺；語言獨立翻譯集群的翻譯機 2)劃分待翻譯數(shù)據(jù)塊方法，具體步驟如下: 步驟一、將所有待翻譯數(shù)據(jù)按待翻譯的語言種類劃分，形成不同語言種類的待翻譯數(shù)據(jù)集合； 步驟二、將各類語言種類的待翻譯數(shù)據(jù)集合，按對應(yīng)語言種類獨立翻譯集群的翻譯機數(shù)量動態(tài)平均分配，形成多個待翻譯數(shù)據(jù)塊； 3)數(shù)據(jù)塊翻譯方法，具體步驟如下: 步驟一、將待翻譯數(shù)據(jù)塊發(fā)送到對應(yīng)的獨立翻譯集群中的翻譯機翻譯； 步驟二、由于每個獨立翻譯集群的翻譯速度不盡相同，對待翻譯數(shù)據(jù)的處理速度不一樣，調(diào)度翻譯集群判斷后協(xié)助翻譯速度最慢的那個獨立翻譯集群一起翻譯，待調(diào)度翻譯集群翻譯完成后，尋找下一個需要幫助的翻譯集群。2.根據(jù)權(quán)利要求1所述的組建翻譯集群方法，其特征在于將翻譯機按待翻譯的語言種類形成獨立翻譯集群，大大減少翻譯機切換語言的頻率，有效地減少翻譯機卡機、死機，翻譯錯位等問題。3.根據(jù)權(quán)利要求1所述的劃分待翻譯數(shù)據(jù)塊方法，其特征在于2)中步驟二的翻譯機數(shù)量動態(tài)平均分配，具體如下，首先將各類語言的待翻譯數(shù)據(jù)量，按對應(yīng)語言獨立翻譯集群的翻譯機數(shù)量平均分配，若為各個翻譯機平均分配整數(shù)條數(shù)據(jù)后有剩下的余數(shù)，再逐條分配各個翻譯機，各個翻譯機的翻譯數(shù)據(jù)量差不超過一條；下一次翻譯數(shù)據(jù)分配前，統(tǒng)計獨立翻譯集群內(nèi)各翻譯機未翻譯完的數(shù)據(jù)量，再分配，使得每一次分配后，一個獨立翻譯集群內(nèi)的各個翻譯機的數(shù)據(jù)量差不超過一條，如此保證所有翻譯機的平均翻譯速度，提升獨立翻譯集群的整體翻譯速度。4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)塊翻譯方法，其特征在于調(diào)度翻譯集群判斷后協(xié)助翻譯速度最慢的那個獨立翻譯集群一起翻譯，調(diào)度翻譯集群在翻譯時采用翻譯機數(shù)量動態(tài)平均分配的方法。
【專利摘要】一種多語言網(wǎng)站實時翻譯的方法，1)組建翻譯集群方法，所有集群內(nèi)的翻譯機按名稱排序，便于監(jiān)測其狀態(tài)及出現(xiàn)問題時的排查；按照一定規(guī)則，抽取一定數(shù)量的翻譯機，形成調(diào)度翻譯集群；剩余的翻譯機，按待翻譯的語言種類平均分配，形成多個有語言種類特色的獨立翻譯集群；2)劃分待翻譯數(shù)據(jù)塊方法，將所有待翻譯數(shù)據(jù)按待翻譯的語言種類劃分，形成不同語言種類的待翻譯數(shù)據(jù)集合；3)數(shù)據(jù)塊翻譯方法，將待翻譯數(shù)據(jù)塊發(fā)送到對應(yīng)的獨立翻譯集群中的翻譯機翻譯；調(diào)度翻譯集群判斷后協(xié)助翻譯速度最慢的那個獨立翻譯集群一起翻譯，待調(diào)度翻譯集群翻譯完成后，尋找下一個需要幫助的翻譯集群。
【IPC分類】G06F17/28
【公開號】CN105159891
【申請?zhí)枴緾N201510475481
【發(fā)明人】張麗, 楊晨, 賀鵬, 褚一帆, 王煒
【申請人】焦點科技股份有限公司
【公開日】2015年12月16日
【申請日】2015年8月5日