元組恢復的制作方法
【專利說明】
【背景技術】
[0001]數(shù)據(jù)可以作為數(shù)據(jù)流而被發(fā)送和/或接收。數(shù)據(jù)流可以包括可逐元組發(fā)送的數(shù)據(jù)的連續(xù)流?？梢园凑仗囟ǖ拇涡騺硖幚碓M的數(shù)據(jù)流。
【附圖說明】
[0002]圖1是根據(jù)本公開內容的用于元組恢復的系統(tǒng)的示例的圖示。
[0003]圖2是根據(jù)本公開內容的用于元組恢復的流程圖的示例的圖示。
[0004]圖3是根據(jù)本公開內容的用于元組恢復的流程圖的示例的圖示。
[0005]圖4是根據(jù)本公開內容的用于元組恢復的處理資源和存儲器資源的示例的圖示。
[0006]圖5是根據(jù)本公開內容的用于元組恢復的方法的示例的流程圖。
[0007]圖6是根據(jù)本公開內容的用于元組恢復的方法的示例的流程圖。
【具體實施方式】
[0008]數(shù)據(jù)系統(tǒng)可以包括數(shù)據(jù)的連續(xù)流(例如，流送(streaming)系統(tǒng))。示例流送系統(tǒng)可以包括可實施并行處理(例如，同時實施對數(shù)據(jù)流的各部分的處理)的分布式流送系統(tǒng)。從特定源向特定目的地傳送數(shù)據(jù)流(例如，數(shù)據(jù)流動(dataflow))的順序和/或次序可以被表示為具有節(jié)點和邊的圖形結構。節(jié)點可以包括能夠在流送系統(tǒng)上發(fā)送、接收和/或轉發(fā)數(shù)據(jù)流的電子設備和/或計算機可讀指令。在一些示例中，電子設備可以包括多個節(jié)點。
[0009]數(shù)據(jù)流可以包括數(shù)據(jù)事件(例如元組)的序列。元組可以被按照特定次序從一個節(jié)點發(fā)送至另一個節(jié)點。每個節(jié)點可以包括接收和發(fā)送元組的任務(例如，實例)。數(shù)據(jù)流可以包括操作。操作可以包括用于實施特定功能的計算機可讀指令。操作的執(zhí)行可以被劃分成多個間隔(例如，狀態(tài))。操作可以包括并行地運行以實施功能的多個任務。
[0010]任務可以監(jiān)視節(jié)點處元組向任務中和從任務向外的流動。依賴于數(shù)據(jù)的流動，任務可以是上游的或下游的。例如，第一任務(例如，上游任務)可以接收第一元組。第一任務(例如，上游任務、源任務)可以處理第一元組并將第一元組發(fā)送至第二任務(例如，下游任務、目標任務)。第二任務(例如，下游任務、目標任務)然后可以變成處于第二任務下游的第三任務的上游任務。任務可以包括周期，其中每個周期包括多個操作。該操作可以包括接收元組、處理接收到的元組、更新執(zhí)行狀態(tài)以及將所得到的元組發(fā)射至下游任務。
[0011]任務可以逐元組地處理數(shù)據(jù)流中的元組。元組可能需要被任務處理一次。元組可以被順序地處理，并且序列中在前的元組可能需要在在后的元組可以被發(fā)送至任務之前被任務處理。任務可以保存所接收和發(fā)送的元組的記錄。一些數(shù)據(jù)流可以將整個流送過程視作單個操作。該方法可能在故障發(fā)生的情況下經歷中間結果的丟失。
[0012]一些數(shù)據(jù)流可以使下游任務向上游任務發(fā)送元組已被接收的應答。在這樣的數(shù)據(jù)流中，在后的元組可能在應答被接收到之前不被發(fā)送。如果第一元組從未被接收到，則可以不發(fā)送第二元組。如果應答從未被接收到，則可以不發(fā)送第二元組。應答方法可能在數(shù)據(jù)流中造成等待時間。
[0013]相比之下，本公開內容的示例可以包括從上游節(jié)點向下游節(jié)點發(fā)送元組。當元組被發(fā)送和/或接收時，節(jié)點的狀態(tài)(例如，已發(fā)送和/或接收什么元組)可以被記錄(例如，被進行檢查點處理(checkpointed))。維持對最后發(fā)送和/或接收的元組的記錄可以允許在節(jié)點故障的情況下以較小的間隔恢復(例如，恢復中間結果而不恢復整個流送過程)。此外，可以將元組從上游節(jié)點發(fā)送至下游節(jié)點，而不等待順序上在先的元組已在下游節(jié)點處被接收的應答。例如，可以將第一元組從上游節(jié)點發(fā)送至下游節(jié)點?？梢栽谏嫌喂?jié)點未接收到第一元組在下游節(jié)點處被接收的應答的情況下將第二元組從上游節(jié)點發(fā)送至下游。
[0014]數(shù)據(jù)的流送可以通過在未首先接收到繼續(xù)進行的應答的情況下發(fā)送數(shù)據(jù)來避免系統(tǒng)中的等待時間。由于故障較不頻繁，因此對于每個所發(fā)送的元組來說應答不是必要的。當故障確實發(fā)生時，請上游節(jié)點重新發(fā)送缺失元組的過程可以避免最初未接收到的元組的丟失。
[0015]圖1是根據(jù)本公開內容的用于元組恢復的系統(tǒng)100的示例的圖示。系統(tǒng)100可以包括在數(shù)據(jù)通道104上向下游任務106 (例如，下游節(jié)點)發(fā)送數(shù)據(jù)(例如，元組)的上游任務102(例如，上游節(jié)點)。數(shù)據(jù)通道104可以包括上游節(jié)點與下游節(jié)點之間的通信鏈路。數(shù)據(jù)通道104可以被用來按照順序的次序發(fā)送來自數(shù)據(jù)流的元組。下游任務106可以包括用于存儲從上游任務102接收到的數(shù)據(jù)的隊列108 (例如，緩沖器、數(shù)據(jù)存儲裝置)。
[0016]下游任務106可以在消息傳遞通道110上向上游任務102發(fā)送消息。消息傳遞通道110可以包括上游節(jié)點與下游節(jié)點之間的通信鏈路。消息傳遞通道110可以被用來發(fā)送重新發(fā)送元組的請求，發(fā)送元組被接收的應答，以及重新發(fā)送所請求的元組。消息傳遞通道可以被用來基于重新發(fā)送元組的請求來發(fā)送不按次序的元組。消息可以包括重新發(fā)送缺失數(shù)據(jù)(例如，元組)的請求(“ASK”)。上游任務102可以在消息傳遞通道110上向下游任務106重新發(fā)送所請求的缺失數(shù)據(jù)。當下游任務106在數(shù)據(jù)通道104和/或消息傳遞通道110上接收到數(shù)據(jù)時，下游任務可以在消息傳遞通道110上發(fā)送指示數(shù)據(jù)被接收的應答(“ACK”)。
[0017]可以通過使用消息傳遞通道作為虛擬通道來在邏輯上跟蹤在消息傳遞通道110上發(fā)送的數(shù)據(jù)。虛擬通道可以允許由任務別名(例如，任務標識符)標識任務。任務別名可以被用于在邏輯上推斷、跟蹤和傳送通道信息。
[0018]可以按照順序的次序在數(shù)據(jù)通道104上從上游任務102向下游任務106發(fā)送數(shù)據(jù)(例如，元組)。例如，第一元組可以第一個被發(fā)送，并且第二元組可以第二個被發(fā)送。數(shù)據(jù)(例如，元組)可以包括消息標識符。消息標識符可以包括順序信息。順序信息可以指示數(shù)據(jù)(例如，元組)的次序。例如，與第一元組相關聯(lián)的第一消息標識符可以指示第一元組應當?shù)谝粋€被發(fā)送和/或第一個被處理。此外，與第二元組相關聯(lián)的第二消息標識符可以指示第二元組應當?shù)诙€被發(fā)送和/或第二個被處理。
[0019]數(shù)據(jù)(例如，元組)的順序可以在數(shù)據(jù)不按次序時指示缺失數(shù)據(jù)。例如，可以將順序上第一個元組從(例如，與上游節(jié)點相關聯(lián)的)上游任務102發(fā)送至(例如，與下游節(jié)點相關聯(lián)的)下游任務106。在一些示例中，任務可以與節(jié)點相關聯(lián)。在一些示例中，多個任務可以與節(jié)點相關聯(lián)。可以將順序上第三個元組從上游任務102發(fā)送至下游任務106。如果下游任務106沒有在第一個元組之后以及在第三個元組之前接收到順序上第二個元組，則可以識別缺失元組?？梢酝ㄟ^從下游任務向上游任務發(fā)送重新發(fā)送缺失元組的請求，來在消息傳遞通道110上請求所識別的缺失元組。
[0020]圖2是根據(jù)本公開內容的用于元組恢復的流程圖201的示例的圖示。流程圖201是任務可如何對元組的周期進行處理(例如針對其實施執(zhí)行循環(huán)和/或操作)的示例。在220，任務可以使元組輸入出隊列(例如，如圖1中的隊列108圖示的)。在222，可以檢查元組的順序次序。如果元組是重復元組(例如，接收到的元組中的信息已經在在先元組中被發(fā)送)，則在226，不處理(例如，忽略)元組，并且可以在消息傳遞通道(例如，圖1中的110)上向上游任務發(fā)送應答(“ACK”)。應答可以向上游任務(例如，圖1中的102)指示上游任務可以從隊列中釋放與重復元組相關聯(lián)的數(shù)據(jù)。
[0021]如果被發(fā)送至下游任務的元組不按次序228(例如，附加的元組原本應當在接收到的元組之前被發(fā)送，并因此是缺失的)，則在230，下游任務可以發(fā)送請求(“ASK”)并且重新發(fā)送的元組可以被處理。對重新發(fā)送的元組的處理可以包括通過返回(例如，虛線箭頭)到使輸入出隊列的第一操作(例如，在220)來經歷執(zhí)行的操作