一種基于網絡的集中式文件自動收集和分發(fā)裝置制造方法
【專利摘要】本發(fā)明涉及一種基于網絡的集中式文件自動收集和分發(fā)裝置。該裝置包括：配置模塊，用于實現(xiàn)預先指定的文件傳輸配置的載入和解析；文件傳輸模塊，用于將遠程文件傳輸至本地或者將本地文件傳輸至遠程；協(xié)議適配模塊，用于將不同的網絡傳輸協(xié)議轉換成統(tǒng)一的網絡傳輸協(xié)議來實現(xiàn)文件的傳輸；外部觸發(fā)模塊，用于在文件傳輸過程完成后觸發(fā)相應的后續(xù)流程；以及主控模塊，用于在合適的時間點控制所述配置模塊、所述文件傳輸模塊、所述協(xié)議適配模塊、所述外部觸發(fā)模塊完成文件傳輸。在本發(fā)明中由于采用了集中式的配置管理，避免了在各個模塊分別實現(xiàn)和配置，從而降低了系統(tǒng)出錯的可能性。
【專利說明】一種基于網絡的集中式文件自動收集和分發(fā)裝置

【技術領域】
[0001]本發(fā)明涉及一種文件處理裝置，具體地涉及基于網絡的文件自動收集和分發(fā)裝置。

【背景技術】
[0002]在現(xiàn)有技術中，隨著業(yè)務的發(fā)展，現(xiàn)有計算機軟件系統(tǒng)也需要根據(jù)新的需求迭代更新，而系統(tǒng)各個模塊間的依賴也不可避免地要增加。一個常見的設計需求是，位于同一網絡內不同主機上的服務之間需要以文件的形式傳輸其輸入或輸出數(shù)據(jù)，而其實現(xiàn)往往是通過編寫特定的代碼并讓其在指定條件下運行。然而，對于每個系統(tǒng)都使用類似的實現(xiàn)來完成，會帶來代碼的冗余，容易出現(xiàn)不一致的情形；并且往往使得文件傳輸?shù)呐渲梅稚⒃谙到y(tǒng)的各個角落，難以統(tǒng)一管理，在模塊更新時可能會被忽略從而影響整個系統(tǒng)的穩(wěn)定運行。
[0003]


【發(fā)明內容】

[0004]鑒于上述問題，本發(fā)明旨在提供一種能夠對文件傳輸配置集中實現(xiàn)統(tǒng)一管理的于網絡的集中式文件自動收集和分發(fā)裝置。
[0005]本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置，按照預先制定的文件傳輸配置在網絡上任意的主機之間實現(xiàn)文件的收集和分發(fā)，其特征在于，包括:
配置模塊，用于實現(xiàn)預先指定的文件傳輸配置的載入和解析；
文件傳輸模塊，用于將遠程文件傳輸至本地或者將本地文件傳輸至遠程；
協(xié)議適配模塊，用于將不同的網絡傳輸協(xié)議轉換成統(tǒng)一的網絡傳輸協(xié)議來實現(xiàn)文件的傳輸；
外部觸發(fā)模塊，用于在文件傳輸過程完成后觸發(fā)相應的后續(xù)流程；以及主控模塊，用于在合適的時間點控制所述配置模塊、所述文件傳輸模塊、所述協(xié)議適配模塊、所述外部觸發(fā)模塊完成文件傳輸。
[0006]優(yōu)選地，所述主控模塊用于在下述之一的合適的時間點控制所述配置模塊、所述文件傳輸模塊、所述協(xié)議適配模塊、所述外部觸發(fā)模塊完成文件傳輸:
系統(tǒng)時間符合配置中指定的時間點或時間段；
在外部主動發(fā)起請求的情況下；
在檢測到文件傳輸源已經生成的情況下；
配置中指定條件且與該指定條件相應的插件檢測結果為滿足的情況下。
[0007]優(yōu)選地，所述配置模塊用于對文件傳輸所必要的信息進行配置以使得在每一份配置中包括但不限于:
源文件路徑；
目標文件路徑；
執(zhí)行時間； 是否覆蓋已存在的目標文件重試次數(shù)；
其他可用執(zhí)行檢測條件；
底層傳輸協(xié)議所必需的信息。
[0008]優(yōu)選地，所述配置模塊還用于在解析過程中遇到錯誤的配置的情況下記錄必要的錯誤信息。
[0009]優(yōu)選地，所述配置模塊還用于提供文件路徑的擴展機制。
[0010]優(yōu)選地，所述文件傳輸模塊還用于根據(jù)所述配置模塊提供的擴展機制將源文件路徑擴展為列表之后再進行傳輸。
[0011]優(yōu)選地，所述文件傳輸模塊利用遞歸算法以分級目錄結構的方式實現(xiàn)文件傳輸。
[0012]優(yōu)選地，所述外部觸發(fā)模塊用于在文件傳輸成功后通知對應的模塊啟動相應的操作或者在文件失敗后發(fā)出失敗通知。
[0013]優(yōu)選地，所述外部觸發(fā)模塊用于在本地或遠程運行制定的命令。
[0014]優(yōu)選地，所述外部觸發(fā)模塊用于通過HTTP請求發(fā)送通知。
[0015]根據(jù)本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置，能夠避免在多個模塊實現(xiàn)相同的功能、分散的文件傳輸策略，實現(xiàn)統(tǒng)一的管理，而降低系統(tǒng)出錯的可能性。
[0016]而且，根據(jù)本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置，能夠簡化復雜系統(tǒng)的設計與實現(xiàn)，讓系統(tǒng)的各個模塊不必額外進行相應地改造開發(fā)即能根據(jù)其實際需要，在合適的時間獲得輸入、并及時將其輸出推送至相關模塊，保證整個系統(tǒng)的順利運行。
[0017]

【專利附圖】

【附圖說明】
[0018]圖1是本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置的構造框圖。
[0019]圖2是利用本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置解析文件的收集/分發(fā)的流程圖。

【具體實施方式】
[0020]下面介紹的是本發(fā)明的多個實施例中的一些，旨在提供對本發(fā)明的基本了解。并不旨在確認本發(fā)明的關鍵或決定性的要素或限定所要保護的范圍。
[0021]圖1是本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置的構造框圖。
[0022]下面，參照圖1對于本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置進行說明。
[0023]本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置是按照預先制定的文件傳輸配置在網絡上的任意主機之間實現(xiàn)文件的收集和分發(fā)的裝置。本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置包括配置模塊100、文件傳輸模塊200、外部觸發(fā)模塊300、協(xié)議適配模塊400以及主控模塊500。
[0024]配置模塊100用于實現(xiàn)預先指定的文件傳輸配置的載入和解析，文件傳輸模塊200用于將遠程文件傳輸至本地或者將本地文件傳輸至遠程，協(xié)議適配模塊300用于將不同的網絡傳輸協(xié)議轉換成統(tǒng)一的網絡傳輸協(xié)議來實現(xiàn)文件的傳輸，夕卜部觸發(fā)模塊400用于在文件傳輸過程完成后觸發(fā)相應的后續(xù)流程；主控模塊500用于在合適的時間點組合所述配置模塊、所述文件傳輸模塊、所述協(xié)議適配模塊、所述外部觸發(fā)模塊完成文件傳輸。
[0025]下面對于配置模塊100、文件傳輸模塊200、外部觸發(fā)模塊300、協(xié)議適配模塊400以及主控模塊500分別進行說明。
[0026]主控模塊500用于在合適的時間點組合其余模塊的功能完成文件傳輸。所謂合適的時間是指滿足一定外部條件的時間，例如包括但不限于下述情況:
a.系統(tǒng)時間符合配置中指定的時間點或時間段；
b.外部主動發(fā)起請求(例如通過監(jiān)聽TCP或UDP端口以獲取通知)；
c.檢測到文件傳輸源已經生成；
d.配置中指定條件、且為其開發(fā)的相應插件檢測結果為滿足的情況，例如，指定配置為〃check_task_xxx〃,則系統(tǒng)會根據(jù)該名稱載入相應插件去判斷task_xxx是否已經成功執(zhí)行。
[0027]對于需要檢測某些條件是否滿足的情況，主控模塊500可以被設置為定時執(zhí)行，執(zhí)行時間間隔可以根據(jù)實際需要配置。
[0028]配置模塊100完成配置的載入和解析。在解析的過程中如果遇到錯誤的配置，可以將必要的錯誤信息記錄下來，輸出到日志文件中，以供系統(tǒng)管理員或其他自動監(jiān)控機制的審查。
[0029]一個文件中可以包含多個任務配置，每一份配置中都應當包含文件傳輸所必需的信息，包括但不限于:
a.源文件路徑；
b.目標文件路徑；
c.執(zhí)行時間；
d.是否覆蓋已存在的目標文件；
e.重試次數(shù)；
f.其他可用執(zhí)行檢測條件；
g.底層傳輸協(xié)議所必需的其他信息，如協(xié)議類型、用戶名、密碼等。
[0030]對于其他可用執(zhí)行檢測條件，需要指定執(zhí)行檢測的方法，通過開發(fā)插件的形式實現(xiàn)。對于特定情況，其中的一些項目也可以省略；對于允許省略的項目，配置模塊100予以忽略或使用默認配置。
[0031]配置模塊100還能夠提供文件路徑的擴展機制。所謂擴展機制是指，配置中直接存儲的不是確定的、完整的路徑，但是提供必要的信息可以在系統(tǒng)的運行時補全。例如通配符/src/abc*并不指定某個特定文件，而是在運行時查找/src路徑下所有以abc開頭的文件名；或者abc—DATE—會在運行時根據(jù)當前系統(tǒng)時間調整(例如可能是abc20130822
)o
[0032]由于在實際應用中，文件路徑并非總可以唯一指定，因此需要增加模板功能。模板可以用不同的方式實現(xiàn)，包括a.使用*等作為通配符，分別匹配多個或1個字符；b.使用正則表達式完成部分匹配，提供更復雜的定制功能；c.通過替換路徑中的特定標識符，弓丨入日期、時間、用戶名等外部變量。
[0033]文件傳輸模塊200用于將遠程文件傳輸至本地,或將本地文件傳輸至遠程。由于源文件路徑中可能存在通配符等信息，需要先通過配置模塊100提供的擴展機制將源文件路徑擴展為列表之后再進行傳輸。而且，在傳輸過程中還應按需引入遞歸算法以實現(xiàn)分級目錄結構的傳輸。此外，對于目錄中可能導致環(huán)路的情況(例如Unix/Linux文件系統(tǒng)中的鏈接)也需要特殊處理。
[0034]協(xié)議適配模塊400允許使用不同的網絡傳輸協(xié)議來實現(xiàn)文件的傳輸。通過封裝底層協(xié)議，向上層提供帳戶驗證、獲取文件列表、切換目錄、獲得文件大小、推送文件、拉取文件等接口，允許在不改動其他模塊的情況下切換底層協(xié)議。協(xié)議適配模塊400根據(jù)實際需要能夠包含若干協(xié)議封裝模塊，協(xié)議封裝模塊用于對具體協(xié)議(例如，HTTP/FTP )進行封裝。而且，協(xié)議適配模塊400能夠為上層提供統(tǒng)一的接口，屏蔽了底層協(xié)議的區(qū)別。例如，上層需要獲取一個文件的大小，只需調用協(xié)議適配模塊400的相應接口，而該協(xié)議適配模塊400會判斷任務是什么協(xié)議(例如ftp和rsync協(xié)議),再調用實際協(xié)議的對應功能來實現(xiàn)。利用協(xié)議適配模塊400，能夠方便地使用現(xiàn)有的HTTP協(xié)議、FTP協(xié)議、RSYNC等協(xié)議。而且，在此基礎上，也可以快速引入其他協(xié)議。
[0035]外部觸發(fā)模塊300允許在文件傳輸過程完成后觸發(fā)相應的后續(xù)流程。例如，當文件傳輸成功以后，可以通知配置文件中指定的對應模塊啟動相應操作(例如，在獲取到文件以后需要對文件進行解析，那么可以在配置文件中指定解析模塊)；文件傳輸失敗，也允許通過外部觸發(fā)模塊300發(fā)出失敗通知，以便相關人員介入排查系統(tǒng)問題。外部觸發(fā)模塊300能夠以多種實現(xiàn)形式，包括在本地或遠程運行指定的命令、通過HTTP請求發(fā)送通知等。
[0036]本發(fā)明提出的基于網絡的集中式文件自動收集和分發(fā)裝置能夠避免在多個模塊實現(xiàn)相同的功能、分散的文件傳輸策略，實現(xiàn)統(tǒng)一的管理，而降低系統(tǒng)出錯的可能性。本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置能夠在指定時間運行，按照由配置模塊100預先制定的文件傳輸配置，利用文件傳輸模塊200將文件從網絡中的其他主機中收集到本機的指定位置或者將本機中的文件分發(fā)至網絡上的其他主機，由此能夠實現(xiàn)更復雜的策略，例如完成網絡上任意主機之間的文件收集和分發(fā)。
[0037]圖2是利用本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置解析文件的收集/分發(fā)的流程圖。
[0038]如圖2所示，在啟動之后，由配置模塊100讀取配置，由主控模塊500執(zhí)行任務或者經過規(guī)定延時之后再由主控模塊500執(zhí)行任務。主控模塊500控制文件傳輸模塊200進行文件的傳輸。接著，按照配置模塊100讀取的配置進行任務的篩選，由文件傳輸模塊200進行文件的傳輸，在文件的傳輸時，由協(xié)議適配模塊400進行協(xié)議適配，調用配置中指定協(xié)議的封裝模塊完成數(shù)據(jù)傳輸。在文件傳輸模塊200完成文件的傳輸(從本地到遠程或者從遠程到本地)之后，外部觸發(fā)模塊300進行外部觸發(fā)，以觸發(fā)相應的后續(xù)流程。
[0039]利用本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置，能夠簡化復雜系統(tǒng)的設計與實現(xiàn)，讓系統(tǒng)的各個模塊不必額外進行相應地改造開發(fā)即能根據(jù)其實際需要。而且，能夠在合適的時間獲得輸入、并及時將其輸出推送至相關模塊，保證整個系統(tǒng)的順利運行。由于采用了集中式的配置管理，避免了在各個模塊分別實現(xiàn)和配置，從而降低了系統(tǒng)出錯的可能性。
[0040]以上例子主要說明了本發(fā)明的基于網絡的集中式文件自動收集和分發(fā)裝置。盡管只對其中一些本發(fā)明的【具體實施方式】進行了描述，但是本領域普通技術人員應當了解，本發(fā)明可以在不偏離其主旨與范圍內以許多其他的形式實施。因此，所展示的例子與實施方式被視為示意性的而非限制性的，在不脫離如所附各權利要求所定義的本發(fā)明精神及范圍的情況下，本發(fā)明可能涵蓋各種的修改與替換。
【權利要求】
1.一種基于網絡的集中式文件自動收集和分發(fā)裝置，按照預先制定的文件傳輸配置在網絡上任意的主機之間實現(xiàn)文件的收集和分發(fā)，其特征在于，包括: 配置模塊，用于實現(xiàn)預先指定的文件傳輸配置的載入和解析； 文件傳輸模塊，用于將遠程文件傳輸至本地或者將本地文件傳輸至遠程； 協(xié)議適配模塊，用于將不同的網絡傳輸協(xié)議轉換成統(tǒng)一的網絡傳輸協(xié)議來實現(xiàn)文件的傳輸； 外部觸發(fā)模塊，用于在文件傳輸過程完成后觸發(fā)相應的后續(xù)流程；以及主控模塊，用于在合適的時間點控制所述配置模塊、所述文件傳輸模塊、所述協(xié)議適配模塊、所述外部觸發(fā)模塊完成文件傳輸。
2.如權利要求1所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述主控模塊用于在下述之一的合適的時間點控制所述配置模塊、所述文件傳輸模塊、所述協(xié)議適配模塊、所述外部觸發(fā)模塊完成文件傳輸: 系統(tǒng)時間符合配置中指定的時間點或時間段； 在外部主動發(fā)起請求的情況下； 在檢測到文件傳輸源已經生成的情況下； 配置中指定條件且與該指定條件相應的插件檢測結果為滿足的情況下。
3.如權利要求2所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述配置模塊用于對文件傳輸所必要的信息進行配置以使得在每一份配置中包括但不限于: 源文件路徑； 目標文件路徑； 執(zhí)行時間； 是否覆蓋已存在的目標文件 重試次數(shù)； 其他可用執(zhí)行檢測條件； 底層傳輸協(xié)議所必需的信息。
4.如權利要求3所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述配置模塊還用于在解析過程中遇到錯誤的配置的情況下記錄錯誤信息。
5.如權利要求1?4任意一項所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述配置模塊還用于提供文件路徑的擴展路徑。
6.如權利要求5所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述文件傳輸模塊還用于根據(jù)所述配置模塊提供的擴展路徑將源文件路徑擴展為列表之后再進行傳輸。
7.如權利要求5所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述文件傳輸模塊利用遞歸算法以分級目錄結構的方式實現(xiàn)文件傳輸。
8.如權利要求5所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述外部觸發(fā)模塊用于在文件傳輸成功后通知對應的模塊啟動相應的操作或者在文件失敗后發(fā)出失敗通知。
9.如權利要求5所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述外部觸發(fā)模塊用于在本地或遠程運行制定的命令。
10.如權利要求5所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述外部觸發(fā)模塊用于通過HTTP請求發(fā)送通知。
11.如權利要求6?10任意一項所述的基于網絡的集中式文件自動收集和分發(fā)裝置，其特征在于， 所述協(xié)議適配模塊具備對具體協(xié)議進行封裝的協(xié)議封裝模塊。
【文檔編號】H04L29/06GK104426880SQ201310394144
【公開日】2015年3月18日 申請日期:2013年9月3日 優(yōu)先權日:2013年9月3日
【發(fā)明者】馮敏, 胡天一, 楊欣郁, 張瑞雪, 王天琪 申請人:中國銀聯(lián)股份有限公司