專利名稱：影視資源聚合系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種影視資源聚合系統(tǒng)。
背景技術(shù)：
目前一般通用的做法是在網(wǎng)站中做一個鏈接，而并沒有自己保存詳細(xì)的信息?，F(xiàn)有的通用做法無法做到讓用戶體驗一致，并不能做到綜合搜索。有時為了找到最好的網(wǎng)絡(luò)資源會同時使用多個搜索引擎進(jìn)行搜索和比較，但操作起來比較繁瑣。而且網(wǎng)絡(luò)資源變化很快，如果當(dāng)時沒有記住搜索結(jié)果鏈接或及時保存網(wǎng)頁，下次就可能找不到了。為了方便用戶在一個地方可以找到各種影片資源，不需要去每個網(wǎng)站查找。有必要建立一個資源聚合系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明針對以上問題的提出，而研制一種影視資源聚合系統(tǒng)。本發(fā)明采用的技術(shù)手段如下:一種影視資源聚合系統(tǒng)，其特征在于包括如下步驟:首先，啟動爬蟲；然后，初始化參數(shù)，啟動多線程后臺任務(wù)；掃描任務(wù)，請求數(shù)據(jù)接口，獲取任務(wù)列表，由規(guī)則自動生成或手動添加；是否有任務(wù),請求獨占任務(wù),請求URL、解析數(shù)據(jù)；最后，壓縮數(shù)據(jù)并上傳到數(shù)據(jù)服務(wù)器，完成數(shù)據(jù)處理。資源聚合的后端是一個分布式的基于Linux的web service系統(tǒng)，采用Nginx+Tomcat+Memcache 的方案。Nginx是一個高性能Web和反向代理服務(wù)器，在高連接并發(fā)的情況下；后端應(yīng)用API服務(wù)器使用Tomcat作為業(yè)務(wù)組件的容器，其設(shè)計原則遵循RESTful軟件架構(gòu)思想，通過url來設(shè)計系統(tǒng)的結(jié)構(gòu)。根據(jù)REST,每個url都代表一個resource,而整個系統(tǒng)就是由這些resource組成的。資源聚合可以將各家網(wǎng)站的內(nèi)容集中到我們自己服務(wù)器，用戶在一個客戶端即可看到各家網(wǎng)站的內(nèi)容。


圖1為本發(fā)明的工作流程圖；圖2為本發(fā)明的結(jié)構(gòu)框圖。
具體實施例方式如圖1和圖2所示的影視資源聚合系統(tǒng)，包括如下步驟:首先，啟動爬蟲；然后，初始化參數(shù)，啟動多線程后臺任務(wù)；掃描任務(wù)，請求數(shù)據(jù)接口，獲取任務(wù)列表，由規(guī)則自動生成或手動添加；是否有任務(wù)，請求獨占任務(wù)，請求URL、解析數(shù)據(jù)；最后，壓縮數(shù)據(jù)并上傳到數(shù)據(jù)服務(wù)器，完成數(shù)據(jù)處理。資源采集程序從需要資源聚合的各網(wǎng)站采集網(wǎng)頁，如果必要，可以遞歸采集網(wǎng)頁上的鏈接指向的更深層次的網(wǎng)頁，分析并得到其中的影片詳細(xì)信息和播放地址，提交給后臺應(yīng)用服務(wù)器進(jìn)行整理，分類并存入數(shù)據(jù)庫，這樣，數(shù)據(jù)庫里就保存了各個網(wǎng)站的影片信息；用戶在使用客戶端進(jìn)行瀏覽的時候，選擇按應(yīng)用瀏覽或使用搜索；這種聚合方式對于用戶的體驗來說是至為重要的，用戶通過資源聚合可以更快，更準(zhǔn)確的找到自己想要的東西；資源聚合服務(wù)是典型的客戶端-服務(wù)器應(yīng)用，后臺系統(tǒng)通過tomcat提供接口和服務(wù)，它位于客戶端和數(shù)據(jù)庫之間。整個資源聚合的后端是一個分布式的基于Linux的web service系統(tǒng)，采用Nginx+Tomcat+Memcache的方案，易于擴充和大規(guī)模部署。Nginx是一個高性能Web和反向代理服務(wù)器，在高連接并發(fā)的情況下，Nginx是Apache服務(wù)器不錯的替代品:Nginx在全世界已經(jīng)成為虛擬主機運營的首選軟件平臺，能夠支持高達(dá)50，000個并發(fā)連接數(shù)的響應(yīng)，占用內(nèi)存少，同時Nginx還可以作為負(fù)載均衡服務(wù)器使用。后端應(yīng)用API服務(wù)器使用Tomcat作為業(yè)務(wù)組件的容器，其設(shè)計原則遵循RESTful軟件架構(gòu)思想，通過url來設(shè)計系統(tǒng)的結(jié)構(gòu)。根據(jù)REST,每個url都代表一個resource,而整個系統(tǒng)就是由這些resource組成的。REST不僅僅把HTTP作為自己的數(shù)據(jù)運輸協(xié)議，而且也作為直接進(jìn)行數(shù)據(jù)處理的工具。REST之所以能夠提高系統(tǒng)的可伸縮性，是因為它強制所有操作都是stateless的，這樣就沒有context的約束,如果要做分布式、做集群,就不需要考慮context的問題了。同時，它令系統(tǒng)可以有效地使用pool。REST對性能的另一個提升來自其對clint和server任務(wù)的分配:server只負(fù)責(zé)提供resource以及操作resource的服務(wù)，而client要根據(jù)resource中的data和representation自己做render。這就減少了服務(wù)器的開銷。服務(wù)端基于接口的設(shè)計使得客戶端不必知道遠(yuǎn)程服務(wù)的實現(xiàn)細(xì)節(jié)。在客戶端代碼中不做任何修改，實現(xiàn)方式就可以改變。采用REST風(fēng)格的API，客戶端調(diào)用也極其方便。采用的語言和框架:系統(tǒng)采用Java開發(fā)語言和Spring J2EE開發(fā)框架來實現(xiàn)跨平臺的、非侵入性的、輕量級的遠(yuǎn)程服務(wù)，它使用Aspects和AOP等技術(shù)，反向控制(1C)，代理和工廠模式等設(shè)計模式，可以封裝服務(wù)類中商業(yè)任務(wù)的實現(xiàn)細(xì)節(jié)，只把接口留給客戶端。服務(wù)端與客戶端之間的通訊采用輕量級的數(shù)據(jù)交換格JSON(JavaScript ObjectNotation)，易于人閱讀和編寫。同時也易于機器解析和生成。再通過我們的高速傳輸技術(shù)，即使在高并發(fā)情況下，對網(wǎng)絡(luò)帶寬的占用也會被控制在一個合理的可接受的程度。系統(tǒng)采用的緩存技術(shù)內(nèi)容管理系統(tǒng)所有的數(shù)據(jù)基本上都是保存在數(shù)據(jù)庫當(dāng)中的，每次頻繁的存取數(shù)據(jù)庫，導(dǎo)致數(shù)據(jù)庫性能急劇下降，無法同時服務(wù)更多的用戶，比如MySQL，可能會導(dǎo)致特別頻繁的鎖表。鑒于此內(nèi)容管理系統(tǒng)使用Memcache作為集中式緩存系統(tǒng)，讓來分擔(dān)數(shù)據(jù)庫的壓力，Memcache是danga.com的一個項目，目前全世界很多系統(tǒng)使用這個緩存項目來構(gòu)建自己大負(fù)載的網(wǎng)站，來分擔(dān)數(shù)據(jù)庫的壓力。它可以應(yīng)對任意多個連接，使用非阻塞的網(wǎng)絡(luò)
10。由于數(shù)據(jù)存儲在分布式的內(nèi)存中，數(shù)據(jù)存取的速度非?？?。系統(tǒng)采用的數(shù)據(jù)庫技術(shù):內(nèi)容管理系統(tǒng)使用MySQL作為后端數(shù)據(jù)庫存儲系統(tǒng)。MySQL是最受歡迎的、開放源代碼、高速度、高性能、多線程，建立在客戶/服務(wù)器(Client/Server)結(jié)構(gòu)上的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)(RDBMS)。MySQL的開發(fā)人員從一開始就一直關(guān)注它的性能，為此不惜犧牲特性集，直到今天，MySQL依然保持本色，以高速度高性能為首要原貝U。隨著時間的推移，MySQL也加入了大型數(shù)據(jù)庫產(chǎn)品的高級特性，如存儲過程、視圖、觸發(fā)器、事務(wù)等，使其在企業(yè)級數(shù)據(jù)庫系統(tǒng)中開始被部署應(yīng)用。系統(tǒng)采用的負(fù)載均衡技術(shù):Web服務(wù)采用多Nginx+多Tomcat+主備MySQL的體系架構(gòu)和部署，可以輕易實現(xiàn)集群的負(fù)載均衡，并可以靈活的指定輪詢、基于訪問IP的或基于權(quán)重的路由分發(fā)策略。如果后端Tomcat服務(wù)器down掉，還能自動剔除。本系統(tǒng)支持多臺TOMCAT服務(wù)器之間共享SESSION，確保集群在應(yīng)用上的有效性。后端數(shù)據(jù)庫為一個主MySQL服務(wù)器(Master)服務(wù)器與多個從屬MySQL服務(wù)器(Slave)建立復(fù)制(replication)連接，主DB服務(wù)器與從屬DB服務(wù)器實現(xiàn)一定程度上的數(shù)據(jù)同步，多個從屬服務(wù)器存儲相同的數(shù)據(jù)副本，實現(xiàn)數(shù)據(jù)冗余，提供容錯功能。部署開發(fā)應(yīng)用系統(tǒng)時，對數(shù)據(jù)庫操作代碼進(jìn)行優(yōu)化，將寫操作(如UPDATE、INSERT)定向到主服務(wù)器，把大量的查詢操作(SELECT)定向到從屬服務(wù)器，實現(xiàn)集群的負(fù)載均衡功能，從而得到更好的客戶響應(yīng)時間。以上所述，僅為本發(fā)明較佳的具體實施方式
，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種影視資源聚合系統(tǒng)，其特征在于包括如下步驟: 首先，啟動爬蟲； 然后，初始化參數(shù)，啟動多線程后臺任務(wù)；掃描任務(wù)，請求數(shù)據(jù)接口，獲取任務(wù)列表，由規(guī)則自動生成或手動添加；是否有任務(wù)，請求獨占任務(wù)，請求URL、解析數(shù)據(jù)； 最后，壓縮數(shù)據(jù)并上傳到數(shù)據(jù)服務(wù)器，完成數(shù)據(jù)處理。
2.根據(jù)權(quán)利要求1所述的一種影視資源聚合系統(tǒng)，其特征在于資源聚合的后端是一個分布式的基于Linux的web service系統(tǒng)，采用Nginx+Tomcat+Memcache的方案。
3.根據(jù)權(quán)利要求1所述的一種影視資源聚合系統(tǒng)，其特征在于Nginx是一個高性能Web和反向代理服務(wù)器，在高連接并發(fā)的情況下；后端應(yīng)用API服務(wù)器使用Tomcat作為業(yè)務(wù)組件的容器，其設(shè)計原則遵循RESTful軟件架構(gòu)思想，通過url來設(shè)計系統(tǒng)的結(jié)構(gòu)，根據(jù)REST,每個url都代表一個resource,而整個系統(tǒng)就是由這些resource組成的。
全文摘要
本發(fā)明公開了一種影視資源聚合系統(tǒng)，其特征在于包括如下步驟首先，啟動爬蟲；然后，初始化參數(shù)，啟動多線程后臺任務(wù)；掃描任務(wù)，請求數(shù)據(jù)接口，獲取任務(wù)列表，由規(guī)則自動生成或手動添加；是否有任務(wù)，請求獨占任務(wù)，請求URL、解析數(shù)據(jù)；最后，壓縮數(shù)據(jù)并上傳到數(shù)據(jù)服務(wù)器，完成數(shù)據(jù)處理。資源聚合可以將各家網(wǎng)站的內(nèi)容集中到我們自己服務(wù)器，用戶在一個客戶端即可看到各家網(wǎng)站的內(nèi)容。
文檔編號G06F17/30GK103186613SQ20111045686
公開日2013年7月3日 申請日期2011年12月30日 優(yōu)先權(quán)日2011年12月30日
發(fā)明者李丕 申請人:大連天維科技有限公司