性能和功率優(yōu)化計(jì)算機(jī)系統(tǒng)架構(gòu)和運(yùn)用功率優(yōu)化樹結(jié)構(gòu)互連的方法
【專利摘要】公開了性能和功率優(yōu)化計(jì)算機(jī)系統(tǒng)架構(gòu)以及運(yùn)用功率優(yōu)化樹結(jié)構(gòu)互連的方法。一個實(shí)施例構(gòu)建運(yùn)用具有平鋪構(gòu)建塊的結(jié)構(gòu)的低功率服務(wù)器集群，而另一個實(shí)施例實(shí)現(xiàn)存儲解決方案或者冷卻解決方案。又一個實(shí)施例使用結(jié)構(gòu)來交換非以太網(wǎng)分組、交換網(wǎng)絡(luò)處理器和其它裝置的多個協(xié)議。
【專利說明】性能和功率優(yōu)化計(jì)算機(jī)系統(tǒng)架構(gòu)和運(yùn)用功率優(yōu)化樹結(jié)構(gòu)互連的方法
[0001 ] 優(yōu)先權(quán)聲明/相關(guān)應(yīng)用
本申請根據(jù)35 USC 120要求2010年6月7日提交的標(biāo)題為“System and Method forHigh-Performance, Low-Power DataCenter Interconnect Fabric(用于高性能、低功率數(shù)據(jù)中心互連結(jié)構(gòu)的系統(tǒng)和方法)”的美國專利申請序號12/794，996的優(yōu)選權(quán)益，通過引用其全文結(jié)合于本文。另外，本專利申請根據(jù)35 USC 119(e)和120來要求2010年9月16日提交的標(biāo)題為“Performance and Power Optimized Computer System Architectures andMethods Leveraging Power Optimized Tree Fabric Interconnect (性能和功率優(yōu)化計(jì)算機(jī)系統(tǒng)架構(gòu)和運(yùn)用功率優(yōu)化數(shù)結(jié)構(gòu)互連的方法)”的美國臨時(shí)專利申請序號61/383，585的權(quán)益，通過弓I用其全文結(jié)合于本文。
【背景技術(shù)】
[0002]圖1和圖2示出當(dāng)前眾所周知的傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)聚合(aggregation)。圖1示出典型網(wǎng)絡(luò)數(shù)據(jù)中心架構(gòu)100的簡圖,其中，頂級交換機(jī)101a-n處于機(jī)架(rack)102a-n頂部，其中機(jī)架102a-n裝有穿插了本地路由器103a_f、105a_b的刀片服務(wù)器107a_n，以及附加機(jī)架單元108a-n包含附加服務(wù)器104e_k和路由器106a_g。圖2示出具有圍繞邊緣路由器系統(tǒng)112a-h設(shè)置的外圍服務(wù)器llla-bn的系統(tǒng)的示范物理視圖110，其中邊緣路由器系統(tǒng)112a-h圍繞位于中心的核心交換系統(tǒng)113放置。通常，這樣的聚合110具有從機(jī)架服務(wù)器至它們的機(jī)架頂部交換機(jī)的IGb以太網(wǎng)，并且常常具有到邊緣和核心路由器的IOGb以太網(wǎng)端口。
【專利附圖】

【附圖說明】
[0003]圖1和圖2示出典型數(shù)據(jù)中心網(wǎng)絡(luò)聚合；
圖3示出按照一個實(shí)施例的使用服務(wù)器的網(wǎng)絡(luò)聚合；
圖4示出按照一個實(shí)施例的機(jī)架中的數(shù)據(jù)中心；
圖5不出具有交換結(jié)構(gòu)的網(wǎng)絡(luò)系統(tǒng)的聞級拓?fù)洌?br> 圖6示出組成與描述的點(diǎn)對點(diǎn)互連來互連的多個服務(wù)器節(jié)點(diǎn)的服務(wù)器板；
圖6a_6c示出結(jié)構(gòu)拓?fù)涞牧硪粋€示例；
圖7示出連接到一個或多個節(jié)點(diǎn)板和兩個聚合板的無源底板的示例；
圖8示出跨機(jī)框(shelves)擴(kuò)展結(jié)構(gòu)以及跨服務(wù)器機(jī)架鏈接機(jī)框的示例；
圖9a示出具有磁盤外形尺寸(form factor)的示范服務(wù)器700 ；
圖9b和圖9c示出按照一個實(shí)施例的使用存儲服務(wù)器I節(jié)點(diǎn)SATA板的磁盤-服務(wù)器組合的示范陣列；
圖9d示出標(biāo)準(zhǔn)3.5英寸驅(qū)動器；
圖9e示出標(biāo)準(zhǔn)3.5英寸磁盤驅(qū)動器外形尺寸的多個服務(wù)器節(jié)點(diǎn)的實(shí)現(xiàn)；
圖10示出與存儲器的深度集成的服務(wù)器的實(shí)現(xiàn)； 圖11示出運(yùn)用(leverage)現(xiàn)有3.5英寸JBOD存儲器盒來密集封裝存儲器和服務(wù)器的實(shí)現(xiàn)；
圖12示出以在2.5英寸驅(qū)動器的相同外形尺寸中作為示例的服務(wù)器節(jié)點(diǎn)的實(shí)現(xiàn)；
圖13示出機(jī)架煙囪冷卻的實(shí)現(xiàn)；
圖13a示出圖13所示的煙囪機(jī)架冷卻中使用的熱對流的示范圖示；
圖14示出相對彼此斜向地(diagonally)放置以使跨服務(wù)器節(jié)點(diǎn)的自發(fā)熱減到最小的服務(wù)器節(jié)點(diǎn)；
圖15示出按照一個實(shí)施例的示范16節(jié)點(diǎn)系統(tǒng)，其中熱波從印刷電路板升起；
圖16示出16節(jié)點(diǎn)系統(tǒng)的更高密度變體，其中具有被相似地設(shè)置以使跨節(jié)點(diǎn)的自發(fā)熱減到最小的節(jié)點(diǎn)；
圖17示出服務(wù)器節(jié)點(diǎn)結(jié)構(gòu)交換機(jī)的內(nèi)部架構(gòu)；
圖18示出包括連接到內(nèi)部CPU總線結(jié)構(gòu)的PCIe控制器的服務(wù)器節(jié)點(diǎn)；
圖18a示出具有使用結(jié)構(gòu)交換機(jī)的多個協(xié)議橋接器的系統(tǒng)；
圖19示出服務(wù)器結(jié)構(gòu)與網(wǎng)絡(luò)處理器的集成；
圖20示出提供諸如IP虛擬服務(wù)器(IPVS)的服務(wù)的結(jié)構(gòu)交換機(jī)和FPGA ；
圖21示出將OpenFlow流處理構(gòu)建到Calxeda結(jié)構(gòu)中的方式；
圖22示出經(jīng)由PCIe將功率優(yōu)化結(jié)構(gòu)交換機(jī)集成到現(xiàn)有處理器的一個示例；以及 圖23示出經(jīng)由以太網(wǎng)將功率優(yōu)化結(jié)構(gòu)交換機(jī)集成到現(xiàn)有處理器的一個示例。
【具體實(shí)施方式】
[0004]公開了性能和功率優(yōu)化計(jì)算機(jī)系統(tǒng)架構(gòu)和運(yùn)用功率優(yōu)化樹結(jié)構(gòu)互連的方法。一個實(shí)施例構(gòu)建運(yùn)用具有平鋪構(gòu)建塊的結(jié)構(gòu)的低功率服務(wù)器集群，而另一個實(shí)施例實(shí)現(xiàn)存儲解決方案或者冷卻解決方案。又一個實(shí)施例使用結(jié)構(gòu)來交換其它東西。
[0005]共同待決的專利申請12/794，996描述支持使用樹狀或圖形拓?fù)鋪砺酚傻墓β蕛?yōu)化服務(wù)器通信結(jié)構(gòu)的架構(gòu)，樹狀或圖形拓?fù)渲С置抗?jié)點(diǎn)多個鏈路，其中在拓?fù)鋬?nèi)每個鏈路被指定為上、下或橫向鏈路。該系統(tǒng)使用分段MAC架構(gòu),該架構(gòu)可具有再利用(re-purpose)MAC IP地址以用于內(nèi)部MAC和外部MAC，并且運(yùn)用通常是用于MAC饋入交換機(jī)的物理信令的方法。Calxeda XAUI系統(tǒng)互連降低機(jī)架的功率、減少機(jī)架的導(dǎo)線并縮小機(jī)架的尺寸。沒有對于高功率、昂貴的以太網(wǎng)交換機(jī)和單獨(dú)服務(wù)器上的高功率以太網(wǎng)Phys的需要。它急劇減少電纜(電纜復(fù)雜度、成本、重大的故障源)。它還實(shí)現(xiàn)機(jī)架內(nèi)部的異構(gòu)服務(wù)器混合，以支持使用以太網(wǎng)或SATA或PCIe的任何設(shè)備。在該架構(gòu)中，功率節(jié)省主要來自兩個架構(gòu)上的方面:1)最小化跨結(jié)構(gòu)的以太網(wǎng)Phys，用節(jié)點(diǎn)之間的點(diǎn)對點(diǎn)XAUI互連來替代它們，以及2)基于負(fù)載來動態(tài)調(diào)整鏈路的XAUI寬度和速度。
[0006]圖3示出網(wǎng)絡(luò)聚合200。該網(wǎng)絡(luò)支持聚合路由器202與三個機(jī)架203a_c之間的10Gb/sec以太網(wǎng)通信201 (粗線)。在機(jī)架203a中，Calxeda互連結(jié)構(gòu)提供機(jī)架內(nèi)的機(jī)框上的服務(wù)器206a-d之間的多個高速IOGb通路，多個高速IOGb通路用粗線表示。服務(wù)器206a-d中的嵌入式交換機(jī)能夠替代機(jī)架頂部交換機(jī)，因而節(jié)省大量功率和成本，同時(shí)仍然向聚合路由器提供IOGb以太網(wǎng)端口。Calxeda交換結(jié)構(gòu)能夠?qū)鹘y(tǒng)以太網(wǎng)(IGb或IOGb)集成到Calxeda XAUI結(jié)構(gòu)中，以及Calxeda服務(wù)器能夠?yàn)榈谌揭蕴W(wǎng)連接的服務(wù)器充當(dāng)機(jī)架頂部交換機(jī)。
[0007]中間機(jī)架203b示出另一種情形，其中Calxeda服務(wù)器206e、f能夠集成到包含機(jī)架頂部交換機(jī)208a的現(xiàn)有數(shù)據(jù)中心機(jī)架中。在這種情況下，IT小組能夠繼續(xù)使他們的其它服務(wù)器經(jīng)由IGb以太網(wǎng)向上連接到現(xiàn)有機(jī)架頂部交換機(jī)。Calxeda內(nèi)部服務(wù)器能夠經(jīng)由Calxeda IOGb XAUI結(jié)構(gòu)來被連接，并且它們能夠用IGb或IOGb以太網(wǎng)互連向上集成到現(xiàn)有機(jī)架頂部交換機(jī)。右側(cè)的機(jī)架203c是將數(shù)據(jù)中心機(jī)架傳統(tǒng)地部署的當(dāng)前方式。細(xì)紅線表示IGb以太網(wǎng)。因此，數(shù)據(jù)中心機(jī)架的當(dāng)前部署是傳統(tǒng)的向上到機(jī)架頂部交換機(jī)308b的IGb以太網(wǎng)，然后是從機(jī)架頂部交換機(jī)出來至聚合路由器的IOGb(粗紅線201)。注意，所有服務(wù)器以未知量存在，盡管為了清楚和簡潔起見，它們在這里以有限量示出。此外，使用增強(qiáng)Calxeda服務(wù)器，不需要附加的路由器，因?yàn)樗鼈儾僮饕韵抡撌龅乃鼈冏约旱腦AUI交換結(jié)構(gòu)。
[0008]圖4示出按照一個實(shí)施例的示范“機(jī)架中的數(shù)據(jù)中心”400的概圖。它具有IOGb以太網(wǎng)PHY 40la-n和IGb私用以太網(wǎng)PHY 402。大型計(jì)算機(jī)(功率(power)服務(wù)器)403a_n支持搜索、數(shù)據(jù)挖掘、索引、Hadoop、Java軟件框架、MapReduce>由Google引入以支持對計(jì)算機(jī)的集群上的大型數(shù)據(jù)集的分布式計(jì)算的軟件框架、云應(yīng)用等。具有本地閃存和/或固態(tài)磁盤(SSD)的計(jì)算機(jī)(服務(wù)器)404a-n支持搜索、MySQL、CDN、軟件即服務(wù)(SaaS)、云應(yīng)用等。單個、大型、慢速風(fēng)扇405增大在其上垂直安裝的服務(wù)器的對流冷卻。數(shù)據(jù)中心400具有例如采用簡單磁盤捆綁(JBOD)配置的硬盤的陣列406，以及可選地磁盤外形尺寸中的Calxeda服務(wù)器(陣列406和407中的綠盒)，可選地充當(dāng)磁盤控制器。硬盤服務(wù)器或Calxeda磁盤服務(wù)器可用于萬維網(wǎng)服務(wù)器、用戶應(yīng)用和云應(yīng)用等。還示出的是存儲服務(wù)器的陣列407和具有用于遺留應(yīng)用的標(biāo)準(zhǔn)以太網(wǎng)接口的歷史服務(wù)器408a、b (任何大小、任何供應(yīng)商)。
[0009]圖5示出共同待決專利申請12/794，996中描述的網(wǎng)絡(luò)系統(tǒng)的高級拓?fù)?00，其示出通過交換結(jié)構(gòu)來連接的XAUI連接SoC節(jié)點(diǎn)。IOGb以太網(wǎng)端口 EthO 501a和Ethl 501b來自樹的頂部。橢圓502a_n是包括計(jì)算處理器以及嵌入式交換機(jī)的Calxeda節(jié)點(diǎn)。節(jié)點(diǎn)具有連接到內(nèi)部交換機(jī)的5個XAUI鏈路。交換層將全部5個XAUI鏈路用于交換。第O級葉節(jié)點(diǎn)502d、e ( S卩，NOn節(jié)點(diǎn)或Nxy，其中X=級以及y=項(xiàng)目號)僅使用I個XAUI鏈路來附連到互連，以留下能夠用作XAUIUOGb以太網(wǎng)、PCIe、SATA等供附連到I/O的4個高速端口。樹和胖樹的大多數(shù)具有僅作為葉節(jié)點(diǎn)的活動節(jié)點(diǎn)，而其它節(jié)點(diǎn)是純交換節(jié)點(diǎn)。這種方式使路由更為直接得多。拓?fù)?00具有準(zhǔn)許每一個節(jié)點(diǎn)作為組合計(jì)算和交換節(jié)點(diǎn)或者只作為交換節(jié)點(diǎn)的靈活性。大部分樹型實(shí)現(xiàn)在葉節(jié)點(diǎn)上具有1/0，但是拓?fù)?00令I(lǐng)/O在任一個節(jié)點(diǎn)上。一般來說，將以太網(wǎng)放置在樹的頂部使至以太網(wǎng)的平均跳數(shù)減到最少。
[0010]使用平鋪構(gòu)建塊來構(gòu)建功率優(yōu)化服務(wù)器結(jié)構(gòu)板
圖6示出組成與描述的點(diǎn)對點(diǎn)互連來互連的多個服務(wù)器節(jié)點(diǎn)的服務(wù)器板。服務(wù)器板具
有:
-該簡圖中的橢圓的每個是包括處理器、存儲器、I/o和結(jié)構(gòu)交換機(jī)的單機(jī)服務(wù)器節(jié)點(diǎn)。
[0011]-結(jié)構(gòu)交換機(jī)具有獨(dú)立地為每個鏈路動態(tài)地修改每個通道的寬度(通道數(shù)量)和速度的能力。[0012]- 14節(jié)點(diǎn)板示例示出來自結(jié)構(gòu)的兩個以太網(wǎng)退口(escapes)。通常將這些以太網(wǎng)退口路由到標(biāo)準(zhǔn)以太網(wǎng)交換機(jī)或路由器。這些以太網(wǎng)退口能夠是標(biāo)準(zhǔn)IGb或IOGb以太網(wǎng)。
[0013]- 14節(jié)點(diǎn)示例拓?fù)涫堑闻謽?，其提供冗余通路以允許自適應(yīng)路由以繞過故障路由和繞過局部熱點(diǎn)路由。
[0014]- 3節(jié)點(diǎn)聚合器板允許僅用兩個板瓦片(tile)組成大型服務(wù)器結(jié)構(gòu)。
[0015]-對于冗余度，添加第二聚合器 -輸入/輸出:
-用于smooth-stone結(jié)構(gòu)的PCIe連接器 -可選的以太網(wǎng)支持(斷開、1、2、5、10或20Gbs)
-基于應(yīng)用所需的帶寬的以太網(wǎng)判定
-聚合器板上的節(jié)點(diǎn)能夠就是交換節(jié)點(diǎn)或者包括交換的全計(jì)算節(jié)點(diǎn)。
[0016]-板輸入/輸出可以是支持2個x4XAUI (2個smooth-stone結(jié)構(gòu)鏈路)和/或可選的以太網(wǎng)支持(斷開、1、2、10或20Gbs)的PCIe連接器。
[0017]-如14節(jié)點(diǎn)示例的示例結(jié)構(gòu)拓?fù)涫箍缭桨逑蛲獾逆溌窋?shù)量減到最少以使連接器(大小和數(shù)量)及關(guān)聯(lián)成本減到最小，同時(shí)仍然保留以太網(wǎng)退口和多路冗余度。
[0018]-兩個聚合器板能夠被用于在擴(kuò)展結(jié)構(gòu)時(shí)實(shí)現(xiàn)通路冗余度。
[0019]-功率節(jié)省能夠用靜態(tài)鏈路配置來實(shí)現(xiàn)
-圖中的低層節(jié)點(diǎn)(標(biāo)注為葉節(jié)點(diǎn))能夠以lGb/sec運(yùn)行。
[0020]-圖中的第一層交換節(jié)點(diǎn)(標(biāo)注為第I層交換機(jī))則具有來自葉節(jié)點(diǎn)的3Gb/sec的入局帶寬。這允許第I層與第2層交換機(jī)之間的2.5或5Gb/sec的靜態(tài)鏈路配置。
[0021]-第2層交換機(jī)層向外擴(kuò)展的鏈路則能夠以lOGb/sec運(yùn)行。
[0022]-在該拓?fù)渲?，由于大多?shù)節(jié)點(diǎn)是葉節(jié)點(diǎn)，大多數(shù)鏈路正運(yùn)行在最慢速率(在該示例中為lGb/sec),因而使聯(lián)網(wǎng)功率消耗減到最小。
[0023]-允許以太網(wǎng)退口在結(jié)構(gòu)中的任何節(jié)點(diǎn)被拉取(pull)以允許結(jié)構(gòu)設(shè)計(jì)人員折衷以太網(wǎng)退口的所需帶寬、機(jī)架頂部交換機(jī)使用的端口數(shù)量以及與以太網(wǎng)端口關(guān)聯(lián)的成本和功率。
[0024]-功率節(jié)省能夠經(jīng)由鏈路使用驅(qū)動的動態(tài)鏈路配置被進(jìn)一步優(yōu)化。在該示例中，結(jié)構(gòu)交換機(jī)的每個鏈路和關(guān)聯(lián)端口包含帶寬計(jì)數(shù)器，其中具有允許基于動態(tài)鏈路使用對鏈路寬度和速度向上和向下重新配置的可配置閾值事件。
[0025]-因?yàn)樵谠S多常見的服務(wù)器使用情況中，以太網(wǎng)業(yè)務(wù)主要是節(jié)點(diǎn)至外部以太網(wǎng)而不是節(jié)點(diǎn)至節(jié)點(diǎn)，所以提出的樹結(jié)構(gòu)構(gòu)造，并且尤其是蝶形胖樹示例使跨過結(jié)構(gòu)至以太網(wǎng)的跳數(shù)減到最少，因而使等待時(shí)間減到最少。這允許創(chuàng)建至以太網(wǎng)的大型低等待時(shí)間結(jié)構(gòu)，同時(shí)使用具有相對少(在該示例中為5)的數(shù)量的交換端口的交換機(jī)。
[0026]-圖2中的服務(wù)器209a的集成示出使用限定的服務(wù)器結(jié)構(gòu)的另一種新系統(tǒng)。在這種情況下，為了利用服務(wù)器結(jié)構(gòu)的性能和電源管理，并且使機(jī)架頂部交換機(jī)上的端口的使用減到最少，該圖示出將現(xiàn)有服務(wù)器異構(gòu)集成到限定的服務(wù)器結(jié)構(gòu)上，以使得來自現(xiàn)有服務(wù)器的以太網(wǎng)業(yè)務(wù)能夠被網(wǎng)關(guān)傳遞到結(jié)構(gòu)中(can be gateway’ ed into the fabric),以允許與結(jié)構(gòu)內(nèi)的節(jié)點(diǎn)通信，以及使209a以太網(wǎng)業(yè)務(wù)通過結(jié)構(gòu)被攜帶至上行鏈路以太網(wǎng)端口 201。[0027]圖6a_6c示出作為由12個卡組成的48節(jié)點(diǎn)結(jié)構(gòu)拓?fù)涞慕Y(jié)構(gòu)拓?fù)涞牧硪粋€示例，其中每個卡包含4個連接到系統(tǒng)板中的節(jié)點(diǎn)。該拓?fù)涮峁┮恍┤哂噫溌?，但是沒有龐大的冗余。拓?fù)渚哂?個以太網(wǎng)網(wǎng)關(guān)退口，并且這些以太網(wǎng)網(wǎng)關(guān)退口的每個可以是IGb或10Gb，但是并非所有這些以太網(wǎng)網(wǎng)關(guān)均需要被使用或被連接。在所示示例中，8個結(jié)構(gòu)鏈路被帶出(are brought off)四節(jié)點(diǎn)卡，以及在一個示例中,PCIe xl6連接器用于將4個結(jié)構(gòu)鏈路帶出卡。
[0028]使用平鋪構(gòu)建塊來構(gòu)建功率優(yōu)化服務(wù)器結(jié)構(gòu)板的概括/概述
1.允許跨服務(wù)器互連結(jié)構(gòu)的任意數(shù)量的以太網(wǎng)退口的服務(wù)器樹結(jié)構(gòu)，以使以太網(wǎng)Phys的數(shù)量減到最少，使用來節(jié)省與以太網(wǎng)Phys、關(guān)聯(lián)電流以及機(jī)架頂部以太網(wǎng)交換機(jī)/路由器上消耗的端口關(guān)聯(lián)的功率和成本。
[0029]2.交換節(jié)點(diǎn)能夠是通過關(guān)斷計(jì)算子系統(tǒng)來節(jié)省功率的純交換節(jié)點(diǎn)，或者能夠用作包括結(jié)構(gòu)交換的全計(jì)算子系統(tǒng)。參照圖17，在一個實(shí)現(xiàn)中，使用多個功率域來從與管理處理器(框906)和結(jié)構(gòu)交換機(jī)(框的其余部分)分離計(jì)算子系統(tǒng)(框905)。這允許利用計(jì)算子系統(tǒng)(框905)來配置S0C，通過由結(jié)構(gòu)交換機(jī)完成被斷電，保持框906中的管理處理，以及硬件分組交換和路由。
[0030]3.蝶形胖樹拓?fù)浞?wù)器結(jié)構(gòu)提供板內(nèi)的最少數(shù)量的鏈路(節(jié)省功率和成本)、跨越板的最少數(shù)量的鏈路(節(jié)省功率和成本)，同時(shí)允許板內(nèi)和跨板的冗余鏈路通路。
[0031]4.所提出的基板和聚合器板允許僅用兩個板構(gòu)建塊來組成可縮放故障恢復(fù)服務(wù)器結(jié)構(gòu)。
[0032]5.面向樹的服務(wù)器結(jié)構(gòu)以及如示例蝶形胖樹的變體允許能夠通過該節(jié)點(diǎn)的子節(jié)點(diǎn)的聚合帶寬來限定的靜態(tài)鏈路寬度和速度指定，從而允許便利的鏈路配置同時(shí)使互連功率減到最小。
[0033]6.功率節(jié)省能夠經(jīng)由鏈路使用所驅(qū)動的動態(tài)鏈路配置來進(jìn)一步優(yōu)化。在該示例中，結(jié)構(gòu)交換機(jī)的每個鏈路和關(guān)聯(lián)端口包含帶寬計(jì)數(shù)器，其中具有允許基于動態(tài)鏈路使用對鏈路寬度和速度向上和向下重新配置的可配置閾值事件。
[0034]7.由于在許多常見的服務(wù)器使用情況中，以太網(wǎng)業(yè)務(wù)主要是節(jié)點(diǎn)至外部以太網(wǎng)而不是節(jié)點(diǎn)至節(jié)點(diǎn)的，所以提出的樹結(jié)構(gòu)構(gòu)造，尤其是蝶形胖樹示例使跨過結(jié)構(gòu)至以太網(wǎng)的跳數(shù)減到最少，因而使等待時(shí)間減到最少。這允許創(chuàng)建至以太網(wǎng)的大型低等待時(shí)間結(jié)構(gòu)，同時(shí)使用具有相對少(在該示例中為5)數(shù)量的交換端口的交換機(jī)。
[0035]8.允許把攜帶來自現(xiàn)有服務(wù)器的以太網(wǎng)業(yè)務(wù)的結(jié)構(gòu)異構(gòu)服務(wù)器集成到限定的服務(wù)器通信結(jié)構(gòu)中并通過它。
[0036]使用平鋪構(gòu)建塊來構(gòu)建功率優(yōu)化服務(wù)器機(jī)框和機(jī)架
這時(shí)能夠組合這些板“瓦片”以構(gòu)造結(jié)構(gòu)連接的服務(wù)器節(jié)點(diǎn)的機(jī)框和機(jī)柜。圖7示出無源底板如何能夠連接8個14節(jié)點(diǎn)板和2個聚合板以組合由236個服務(wù)器節(jié)點(diǎn)所組成的機(jī)框的示例。例如，每個板可以是對于6U例如8.7”高+機(jī)械部件〈10.75”( 8.7” tall+ mechanical < 10.75” for 6U),對于密度交織散熱片，以及16個板裝配在19英寸寬機(jī)架中。底板可以是簡單/便宜的，具有PCIe轉(zhuǎn)換器和路由，其中路由可以是XAUI信號(藍(lán)色和綠色)+很簡單而無需導(dǎo)線的功率(+ Power which is very simple without wires)。在8個板聚合點(diǎn)處示出以太網(wǎng)連接。[0037]圖8示出跨機(jī)框擴(kuò)展的結(jié)構(gòu)和跨服務(wù)器機(jī)架鏈接機(jī)框的示例。以太網(wǎng)退口能夠在結(jié)構(gòu)中的任何節(jié)點(diǎn)處被拉取，在該示例中，從連接多節(jié)點(diǎn)刀片的無源互連底板拉取它們。
[0038]使用平鋪構(gòu)建塊來構(gòu)建功率優(yōu)化服務(wù)器機(jī)框和機(jī)架的概括/概述
1.使用PCIe連接器來引出以太網(wǎng)退口以及板向外的ΧΑΠ鏈路，以將板與點(diǎn)對點(diǎn)服務(wù)器結(jié)構(gòu)連接在一起，不使用PCIe信令，而是使用物理連接器以用于板的功率和XAUI信號，同時(shí)保持用于故障處理(fail-over)和熱點(diǎn)減少的冗余通信通路。
[0039]2.用完全無源底板所形成的XAUI點(diǎn)對點(diǎn)服務(wù)器互連結(jié)構(gòu)。
[0040]3.跨橫跨機(jī)架的結(jié)構(gòu)的以太網(wǎng)退口在樹的每一級處，而不只是在樹的頂部。
[0041]4.能夠動態(tài)啟用和禁用跨結(jié)構(gòu)的以太網(wǎng)退口，以使帶寬與優(yōu)化功率使用匹配。
[0042]5.包括系統(tǒng)管理業(yè)務(wù)的節(jié)點(diǎn)至節(jié)點(diǎn)業(yè)務(wù)留在橫跨機(jī)架的結(jié)構(gòu)上，而完全不會穿過機(jī)架頂部以太網(wǎng)交換機(jī)。
[0043]存儲
圖9a示出按照一個實(shí)施例的具有磁盤外形尺寸的示范服務(wù)器700，典型地諸如具有SCSI或SATA驅(qū)動器的標(biāo)準(zhǔn)2.3英寸或3.5英寸硬盤驅(qū)動器(HDD)。服務(wù)器板701裝配在與當(dāng)前磁盤機(jī)架中的磁盤驅(qū)動器702相同的基礎(chǔ)設(shè)施中。服務(wù)器701是全服務(wù)器，其中具有DDR、芯片上服務(wù)器SoC、可選閃存、本地電源管理、至磁盤的SATA連接(1_16…受連接器大小的限制)。其輸出可以是以太網(wǎng)或Calxeda的結(jié)構(gòu)(XAUI)，其中具有用于故障處理的兩個XAUI輸出?？蛇x地，它可使用PCIe代替SATA(SSD或者需要PCIe的其它東西)，其中具有I至4個節(jié)點(diǎn)以平衡計(jì)算相對存儲需求。這樣的服務(wù)器可進(jìn)行RAID實(shí)現(xiàn)以及LAMP棧服務(wù)器應(yīng)用。在每個磁盤上使用Calxeda ServerNode ?將提供具有4GB的DDR3的全LAMP棧服務(wù)器和多個SATA接 口?？蛇x地，如果需要，則可添加8GB的DDR的第二節(jié)點(diǎn)。
[0044]圖9b和圖9c分別示出按照一個實(shí)施例的使用如上所述的存儲服務(wù)器1-節(jié)點(diǎn)SATA板的磁盤-服務(wù)器組合700a-n的示范陣列710和720。通過標(biāo)準(zhǔn)或?qū)Ｓ械哪硞€高速網(wǎng)絡(luò)或互連的連接消除了對大型以太網(wǎng)交換機(jī)的需要，從而節(jié)省功率、降低成本、減少熱量和減小面積。每個板701比磁盤的高度和深度要小。陣列可用交替的磁盤和板來設(shè)置,如圖7b中所示,或者一個板能夠?yàn)槎鄠€磁盤工作,例如采用磁盤、磁盤、板、磁盤、磁盤的布置,如圖7c所示。因此，計(jì)算功率以靈活地方式與磁盤比率匹配。板701a-n的連通性可基于每個節(jié)點(diǎn)，其中SATA用于連到磁盤以及多個SATA連到多個磁盤。它也可基于節(jié)點(diǎn)至節(jié)點(diǎn)，其中如前面所述的在結(jié)構(gòu)配置中以及在申請61/256723中，在每個節(jié)點(diǎn)中具有兩個XAUI以備冗余。節(jié)點(diǎn)通過XAUI結(jié)構(gòu)來連接。這樣的連接可是樹或胖樹拓?fù)?，即?jié)點(diǎn)至節(jié)點(diǎn)至節(jié)點(diǎn)至節(jié)點(diǎn)，其中確定性、無關(guān)(oblivious)或自適應(yīng)路由朝正確方向來移動數(shù)據(jù)。備選地，可使用全專有互連，以轉(zhuǎn)到其它處理單元。一些端口可轉(zhuǎn)到以太網(wǎng)輸出或者任何其它I/O導(dǎo)管。每個節(jié)點(diǎn)可直接轉(zhuǎn)到“盒”內(nèi)部的以太網(wǎng)或者XAUI到XAUI聚合器(交換機(jī))然后到PHY或者ΧΑΠ到PHY?；蛘呖墒褂靡陨系娜魏谓M合。在又一些情況中，SATA連接可用PCIe來替代，以使用具有PCIe連接的SSD。一些SSD與PCIe或SATA—起進(jìn)入磁盤外形尺寸?；蛘呖苫旌螾CIe和SATA?？梢允褂煤型獾囊蕴W(wǎng)來代替AXUI以供系統(tǒng)互連。在一些情況下，例如，可使用標(biāo)準(zhǔn)SATA連接器，但是在其它情況下，可制作具有通過專有底板的專有布線的較高密度連接器。
[0045]在又一種情況下，服務(wù)器功能可處于磁盤驅(qū)動器內(nèi)，以提供單個磁盤驅(qū)動器外形尺寸的全服務(wù)器加磁盤。例如，可將ServerNode ?放在在磁盤內(nèi)部的板上。這種方式可用ΧΑΠ或以太網(wǎng)連通性來實(shí)現(xiàn)。在這樣的情況下，本發(fā)明人已知的芯片上服務(wù)器(server-on-chip)方式可用作磁盤控制器加服務(wù)器。圖9d示出這個概念。圖9d中示出標(biāo)準(zhǔn)3.5英寸驅(qū)動器，項(xiàng)目9d0。它具有控制磁盤驅(qū)動器的集成電路卡9dl。標(biāo)注為9d2大量空間在驅(qū)動器內(nèi)未被使用，其中能夠形成Calxeda低功率小服務(wù)器節(jié)點(diǎn)PCB來裝配在磁盤驅(qū)動器內(nèi)的該未使用的空間內(nèi)。
[0046]圖9e示出將多個服務(wù)器節(jié)點(diǎn)放入標(biāo)準(zhǔn)3.5英寸磁盤驅(qū)動器外形尺寸中的實(shí)現(xiàn)。在這種情況下，從服務(wù)器PCB至底板的連接器轉(zhuǎn)出基于XAUI的服務(wù)器結(jié)構(gòu)互連，以提供網(wǎng)絡(luò)和服務(wù)器間通信結(jié)構(gòu)，以及用于至相鄰SATA驅(qū)動器的連接的4個SATA端口。
[0047]圖10示出用于將服務(wù)器與存儲器深度集成的實(shí)現(xiàn)。服務(wù)器節(jié)點(diǎn)(101)示出集成計(jì)算核心、DRAM、集成I/O和結(jié)構(gòu)交換機(jī)的完全低功率服務(wù)器。在該示例中，示出在與標(biāo)準(zhǔn)2 1/2英寸磁盤驅(qū)動器(102)相同的外形尺寸中的服務(wù)器節(jié)點(diǎn)101。(103)示出采用組對的一對一方式來組合這些服務(wù)器節(jié)點(diǎn)和磁盤驅(qū)動器，其中每個服務(wù)器節(jié)點(diǎn)具有其自己的本地存儲器。(104)示出控制4個磁盤驅(qū)動器的服務(wù)器節(jié)點(diǎn)。系統(tǒng)(105)示出經(jīng)由統(tǒng)一服務(wù)器結(jié)構(gòu)來組合這些存儲服務(wù)器，然后在該示例中從結(jié)構(gòu)拉取4個lOGb/sec以太網(wǎng)退口以連接到以太網(wǎng)交換機(jī)或路由器。
[0048]圖11通過示出運(yùn)用現(xiàn)有3.5英寸JBOD(簡單磁盤捆綁)存儲器盒的使用，來示出存儲器和服務(wù)器的這種密集封裝的具體實(shí)現(xiàn)。在這種情況下，未改變包括磁盤殼體的JBOD機(jī)械部件，但是示出在未修改的JBOD盒內(nèi)與磁盤驅(qū)動器的組對的一對一的存儲節(jié)點(diǎn)。這示出一個概念，其中服務(wù)器節(jié)點(diǎn)是插入包含結(jié)構(gòu)鏈路的基礎(chǔ)主板的可插入模塊。在該圖示中，將23個3.5英寸磁盤(在邏輯視圖中示為矩形)置于該標(biāo)準(zhǔn)JBOD盒內(nèi)，并且該圖示出JBOD盒內(nèi)包含31個服務(wù)器節(jié)點(diǎn)(在邏輯視圖中示為橢圓/圓形)以控制23個磁盤的并顯露出兩個lOGb/sec以太網(wǎng)鏈路(在邏輯視圖中示為深色寬線)。該緊密集成的服務(wù)器/存儲概念僅取用現(xiàn)成存儲器JBOD盒，然后添加通過功率優(yōu)化結(jié)構(gòu)通信的相同外形尺寸中的31個服務(wù)器節(jié)點(diǎn)。這很好地反映了優(yōu)選具有本地存儲的應(yīng)用。
[0049]圖12示出運(yùn)用如下事實(shí)的相關(guān)概念:能夠以服務(wù)器節(jié)點(diǎn)與2.5英寸驅(qū)動器相同外形尺寸為例。在這種情況下，它們被集成到具有46個磁盤的2.5英寸JBOD中。這個概念示出在JBOD存儲器相同的外形尺寸中集成的64個服務(wù)器節(jié)點(diǎn)。在該示例中，從結(jié)構(gòu)拉取2個IOGb以太網(wǎng)鏈路，以及l(fā)Gb/sec管理以太網(wǎng)鏈路。
[0050]存儲器的概括/概述
1.使用PCIe連接器來引出以太網(wǎng)退口以及板向外的ΧΑΠ鏈路，以將板與點(diǎn)對點(diǎn)服務(wù)器結(jié)構(gòu)連接在一起，不使用PCIe信令，而是使用物理連接器以用于板的功率和XAUI信號，同時(shí)保持用于故障恢復(fù)和負(fù)載平衡的冗余通信通路。
[0051]2.通過啟用小外形尺寸低功率結(jié)構(gòu)的服務(wù)器節(jié)點(diǎn)與磁盤組對來使用限定的服務(wù)器結(jié)構(gòu)以變換現(xiàn)有JBOD存儲系統(tǒng)，提供與本地存儲緊密地組對的、經(jīng)由功率和性能優(yōu)化服務(wù)器結(jié)構(gòu)集成的極高密度計(jì)算機(jī)服務(wù)器，從而創(chuàng)建新的高性能計(jì)算服務(wù)器和存儲服務(wù)器解決方案，而不影響JBOD存儲系統(tǒng)的物理和機(jī)械設(shè)計(jì)。
[0052]3.用于在高密度計(jì)算系統(tǒng)中使用，為了用附加服務(wù)器來替換一些驅(qū)動器而在硬盤驅(qū)動器的外形尺寸中封裝完整服務(wù)器的方法。[0053]4.如權(quán)利要求3中一樣，其中服務(wù)器經(jīng)由和附加交換結(jié)構(gòu)連接到網(wǎng)絡(luò)。
[0054]5.如權(quán)利要求3中一樣，其中裝有驅(qū)動器的外殼中的底板用適合創(chuàng)建至少一個內(nèi)部交換通道的底板來替換。
[0055]6.用于在高密度存儲系統(tǒng)中使用，將低功率服務(wù)器PCB集成到標(biāo)準(zhǔn)3.5英寸磁盤驅(qū)動器內(nèi)的空白空間中的方法，以提供磁盤驅(qū)動器內(nèi)的集成計(jì)算能力。
[0056]集成低功率服務(wù)器的機(jī)架的冷卻
驅(qū)動到低功率計(jì)算機(jī)服務(wù)器解決方案的一個方面是管理通過機(jī)架和跨板的熱度、冷卻和空氣移動。風(fēng)扇的小型化是降低低功率服務(wù)器的總擁有成本(TCO)的一個方面。風(fēng)扇因運(yùn)動部件而增加成本、復(fù)雜度、降低可靠性，消耗大量功率并且產(chǎn)生大量噪聲。減少和移除風(fēng)扇能夠在可靠性、TCO和功率消耗上提供顯著效益。
[0057]圖13示出支持通過整個機(jī)架或者只在機(jī)架的一段的煙囪冷卻的機(jī)架煙囪冷卻的新實(shí)現(xiàn)。在煙囪機(jī)架概念中一個重要方面是單個風(fēng)扇，在一個風(fēng)扇的幫助下使用上升自然對流。冷卻整個機(jī)架的大型風(fēng)扇能夠是慢速的。它可被放置在底部或者在機(jī)架的垂直安裝的對流冷卻子集之下的機(jī)架內(nèi)。當(dāng)冷卻空氣到達(dá)底部時(shí)，風(fēng)扇推送它經(jīng)過煙囪并且推出頂部。因?yàn)樗邪寰谴怪钡模圆淮嬖谒阶枞?。雖然在該示例中，示出風(fēng)扇在機(jī)架底部，但是它能夠在系統(tǒng)的任何位置。也就是說，如果是在通風(fēng)孔和風(fēng)扇下面的“傳統(tǒng)”冷卻，留下頂部作為垂直煙囪，該系統(tǒng)可能具有水平阻塞。該垂直的、底部冷卻方式能夠?qū)π∠到y(tǒng)起作用。風(fēng)扇能夠是變速并且溫度相關(guān)的。
[0058]圖13a示出煙囪機(jī)架概念中使用的熱對流500的新原理的示范圖示。以成角度對齊來放置組件使熱流501a-n從印刷電路板502上的熱發(fā)散雙倍數(shù)據(jù)速率(DDR)存儲器芯片503a-n上升，因此那些熱發(fā)散芯片不形成熱備份或者相互加熱。在該示例中，DDR芯片相互之間斜向地放置而不是垂直堆疊，因?yàn)樗鼈儍A向于相互加熱。另外，DDR芯片被放置在諸如ASIC、S0C或處理器的大型計(jì)算芯片504a之上而不是之下，因?yàn)樗鼈儠A向于加熱S0C。以及閃存芯片506 (最涼芯片)被放置在SOC之下。同樣，如下面論述的，節(jié)點(diǎn)不是垂直堆疊。圖14將該概念擴(kuò)展到示出服務(wù)器節(jié)點(diǎn)如何相互斜向地放置以使跨服務(wù)器節(jié)點(diǎn)的自發(fā)熱減到最小。
[0059]圖15示出按照一個實(shí)施例的示范16節(jié)點(diǎn)系統(tǒng)，其中熱波從印刷電路板升起。對于典型16節(jié)點(diǎn)系統(tǒng)，單個節(jié)點(diǎn)被設(shè)置以使得從每個單元升起的熱量不加熱之上的單元。整體外殼通常是更長、不高并且不密集。另外，不是如所示斜向地安裝PCB，PCB而是可成直角地(squarely aligned)對齊并且是矩形的,但是組件可斜向地對齊來放置，以使相互加熱減到最小。不同行中的PCB可具有互補(bǔ)布局或者可相應(yīng)地錯列以降低相互加熱。類似地，圖16示出16節(jié)點(diǎn)系統(tǒng)的更高密度變體，其中具有類似地設(shè)置的節(jié)點(diǎn)使跨節(jié)點(diǎn)的自發(fā)熱減到最小。
[0060]用于低功率服務(wù)器的機(jī)架的附加冷卻概念是使用氣動空氣壓差來創(chuàng)建上升氣流而無需風(fēng)扇。用于這樣做的技術(shù)是創(chuàng)建具有空氣的延長垂直通風(fēng)管的密封機(jī)架。該通風(fēng)管必須足夠高(大約20-30英尺以上(20-30 feet+))，以創(chuàng)建足夠的空氣壓差從而創(chuàng)建上升氣流。這為低功率服務(wù)器的機(jī)架提供的完全無源空氣移動和冷卻系統(tǒng)。
[0061]機(jī)架安裝的低功率服務(wù)器的冷卻的概括/概述
1.用于在高密度計(jì)算系統(tǒng)中使用，將熱發(fā)散組件放置在垂直放置安裝板上的方法。[0062]其中沒有熱發(fā)散組件被直接放置在另一個熱發(fā)散組件之上或之下。
[0063]2.如權(quán)利要求1所述，其中組件跨安裝板基本斜向設(shè)置。
[0064]3.如權(quán)利要求1所述，其中組件跨安裝板以若干基本上交叉斜向設(shè)置。
[0065]4.如權(quán)利要求1、2和3所述，其中安裝板是印刷線路板。
[0066]非以太網(wǎng)分組的服務(wù)器結(jié)構(gòu)交換
如共同待決專利申請12/794996中所述，圖17示出服務(wù)器節(jié)點(diǎn)結(jié)構(gòu)交換機(jī)的內(nèi)部架構(gòu)。圖17示出按照本文所公開系統(tǒng)和方法的一個方面的示范交換機(jī)900的框圖。它具有四個感興趣區(qū)域910a-d。區(qū)域910a對應(yīng)于CPU與內(nèi)部MAC之間的以太網(wǎng)分組。區(qū)域910b對應(yīng)于在內(nèi)部MAC的以太網(wǎng)物理接口的以太網(wǎng)幀，其包含前同步碼、幀的開始和幀間間隙字段。區(qū)域910c對應(yīng)于在外部MAC的以太網(wǎng)物理接口的以太網(wǎng)幀，其包含前同步碼、幀的開始和幀間間隙字段。區(qū)域910d對應(yīng)于路由報(bào)頭901的處理器與外部MAC 904之間的以太網(wǎng)分組。該分段MAC架構(gòu)是不對稱的。內(nèi)部MAC具有到路由報(bào)頭處理器中的以太網(wǎng)物理信令接口，以及外部MAC具有到路由報(bào)頭處理器中的以太網(wǎng)分組接口。因此，MAC IP被再利用以用于對內(nèi)部MAC和外部MAC，并且運(yùn)用通常是用于MAC饋入交換機(jī)的物理信令。MAC配置使得A9核心905的操作系統(tǒng)裝置驅(qū)動程序管理和控制內(nèi)部EthO MAC 902和內(nèi)部ETHlMAC 903。管理處理器906的裝置驅(qū)動程序管理和控制內(nèi)部Eth2 MAC 907。外部Eth MAC904不由裝置驅(qū)動程序來控制。MAC 904以混雜模式被配置以傳遞所有幀而對于網(wǎng)絡(luò)監(jiān)視不進(jìn)行任何濾波。該MAC的初始化在MAC的硬件例示與任何其它必要的管理處理器初始化之間來協(xié)調(diào)。外部Eth MAC 904寄存器是A9 905和管理處理器906地址映射均可見的。外部Eth MAC 904的中斷可路由到A9或管理處理器。
[0067]對節(jié)點(diǎn)的關(guān)鍵在于，路由報(bào)頭處理器910d在接收從MAC發(fā)往交換機(jī)的分組時(shí)，將結(jié)構(gòu)路由報(bào)頭添加到分組，以及接收從交換機(jī)發(fā)往MAC的分組時(shí)去除結(jié)構(gòu)路由報(bào)頭。結(jié)構(gòu)交換機(jī)本身僅對包含在結(jié)構(gòu)路由報(bào)頭中包含的節(jié)點(diǎn)ID和其它信息路由，而不對原始分組進(jìn)行分組檢查。
[0068]分布式PCIe結(jié)構(gòu)
圖18示出包括連接到內(nèi)部CPU總線結(jié)構(gòu)的PCIe控制器的服務(wù)器節(jié)點(diǎn)。這允許創(chuàng)建運(yùn)用高性能、功率優(yōu)化服務(wù)器結(jié)構(gòu)的新PCIe交換機(jī)結(jié)構(gòu)，以便創(chuàng)建可縮放的、高性能、功率優(yōu)化PCIe結(jié)構(gòu)。
[0069]該技術(shù)如下:
-PCIe控制器902連接到Mux 902a，以允許PCIe控制器直接連接到外部PCIe Phy或者連接到PCIe路由報(bào)頭處理器910c。當(dāng)Mux 902a被配置成將PCIe業(yè)務(wù)導(dǎo)向本地PCIePhy時(shí)，這相當(dāng)于標(biāo)準(zhǔn)本地PCIe連接。當(dāng)Mux 902a被配置成將PCIe業(yè)務(wù)導(dǎo)向PCIe路由報(bào)頭處理器910c時(shí)，這實(shí)現(xiàn)新PCIe分布式結(jié)構(gòu)交換機(jī)機(jī)制。
[0070]- PCIe路由報(bào)頭處理器910c使用分組內(nèi)的嵌入式路由信息(地址、ID或隱式)來創(chuàng)建將該P(yáng)CIe分組路由映射到目的地結(jié)構(gòu)節(jié)點(diǎn)PCIe控制器的結(jié)構(gòu)路由報(bào)頭。
[0071]-這提供與分布式PCIe結(jié)構(gòu)相似的優(yōu)點(diǎn):服務(wù)器結(jié)構(gòu)提供聯(lián)網(wǎng)。
[0072]-源自處理器核心(905)的PCIe事務(wù)能夠(經(jīng)由Mux旁路或者經(jīng)由交換機(jī))被路由到本地PCIe Phy，能夠被路由到結(jié)構(gòu)上的任何其它節(jié)點(diǎn)，直接路由到內(nèi)部PCIe控制器(902)或者外部PCIe控制器/Phy (904)。[0073]-同樣，入局PCIe事務(wù)進(jìn)入外部PCIe控制器(904)，被PCIe路由報(bào)頭處理器(910)用結(jié)構(gòu)路由報(bào)頭來標(biāo)記，然后結(jié)構(gòu)將PCIe分組傳輸給它的最終目標(biāo)。
[0074]分布式總線協(xié)議結(jié)構(gòu)
圖18a示出附加擴(kuò)展，其示出多個協(xié)議橋接器能夠利用如下事實(shí):結(jié)構(gòu)交換機(jī)對路由報(bào)頭而不是直接對基本分組有效載荷(例如第2層以太網(wǎng)幀)進(jìn)行路由。在該圖示中，示出3個協(xié)議橋接器:以太網(wǎng)、PCIe和總線協(xié)議橋接器。
[0075]總線協(xié)議橋接器的作用是取得處理器或內(nèi)部SOC結(jié)構(gòu)協(xié)議，對其分組，添加Calxeda結(jié)構(gòu)路由報(bào)頭,然后將其通過Calxeda結(jié)構(gòu)來路由。
[0076]作為一個可行的示例，考慮SOC內(nèi)的諸如AMBA AX1、HyperTransport或QPI (快速通路互連)的總線協(xié)議。
[0077]考慮下列數(shù)據(jù)流:
-內(nèi)部SOC總線結(jié)構(gòu)上的處理器發(fā)出存儲器加載(或存儲)請求。
[0078]-存儲器操作的物理地址目標(biāo)已經(jīng)被映射到結(jié)構(gòu)上的遠(yuǎn)程節(jié)點(diǎn)。
[0079]-總線事務(wù)穿過總線協(xié)議橋接器:
-將總線事務(wù)分組
-將存儲器事務(wù)的物理地址映射到遠(yuǎn)程節(jié)點(diǎn)，在構(gòu)建路由報(bào)頭時(shí)使用該節(jié)點(diǎn)ID。
[0080]-路由幀由總線協(xié)議橋接器來構(gòu)建，路由幀包含具有遠(yuǎn)程節(jié)點(diǎn)ID的路由報(bào)頭，并且有效載荷是分組的總線事務(wù)。
[0081]-總線事務(wù)路由幀經(jīng)過結(jié)構(gòu)交換機(jī)，穿過結(jié)構(gòu)，并且由目標(biāo)節(jié)點(diǎn)的幀交換機(jī)來接收。
[0082]-目標(biāo)節(jié)點(diǎn)總線協(xié)議橋接器對分組的總線事務(wù)進(jìn)行拆包，發(fā)出總線事務(wù)到目標(biāo)SOC結(jié)構(gòu)中，完成存儲器加載，并且通過相同步驟返回結(jié)果，其中結(jié)果回流到始發(fā)節(jié)點(diǎn)。
[0083]網(wǎng)絡(luò)處理器與服務(wù)器結(jié)構(gòu)集成
圖19示出將服務(wù)器結(jié)構(gòu)與網(wǎng)絡(luò)處理器(911)集成的圖示。對于將服務(wù)器結(jié)構(gòu)與網(wǎng)絡(luò)處理器集成存在若干使用情況，包括:
-網(wǎng)絡(luò)處理器能夠用作本地處理器(905)以及結(jié)構(gòu)上的任何其它處理器的網(wǎng)絡(luò)分組處理加速器。
[0084]-能夠是網(wǎng)絡(luò)處理器中心設(shè)計(jì)，其中來自外部以太網(wǎng)的入局分組針對網(wǎng)絡(luò)處理器，以及網(wǎng)絡(luò)處理器和控制平面處理能夠被卸載到更大的處理核心(905)。
[0085]-服務(wù)器結(jié)構(gòu)能夠用作網(wǎng)絡(luò)處理器之間的通信結(jié)構(gòu)。
[0086]為了實(shí)現(xiàn)這些新使用情況，向網(wǎng)絡(luò)處理器指配MAC地址。在圖19所示的交換機(jī)架構(gòu)中，沒有附連到端口 1-4的路由報(bào)頭處理器。因此，直接連接到端口 1-4的代理需要注入具有對有效載荷分組預(yù)設(shè)的結(jié)構(gòu)交換機(jī)報(bào)頭的分組。網(wǎng)絡(luò)處理器通過下列步驟對其設(shè)計(jì)添加結(jié)構(gòu)交換機(jī)集成:
-用結(jié)構(gòu)交換機(jī)報(bào)頭來標(biāo)記來自網(wǎng)絡(luò)處理器的出局分組，其對來自目的地MAC的目的地節(jié)點(diǎn)ID進(jìn)行編碼。
[0087]-在以太網(wǎng)分組處理之前來自結(jié)構(gòu)交換機(jī)的對網(wǎng)絡(luò)處理器的入局分組使結(jié)構(gòu)交換機(jī)報(bào)頭被去除。
[0088]外部裝置與服務(wù)器結(jié)構(gòu)的集成 圖19示出將服務(wù)器結(jié)構(gòu)與任意外部裝置(912)集成的圖示。外部裝置意味著任何處理器、DSP、GPU、I/O或者需要裝置間通信結(jié)構(gòu)的通信或處理裝置。典型使用情況將是需要DSP或GPU處理器之間的互連結(jié)構(gòu)的DSP或GPU處理器所組成的大型處理系統(tǒng)。
[0089]結(jié)構(gòu)交換機(jī)基于結(jié)構(gòu)路由報(bào)頭來路由分組，并且不對分組有效載荷進(jìn)行分組檢查。分組有效載荷沒有被格式化為以太網(wǎng)幀的假設(shè)，并且完全作為不透明有效載荷來對待。
[0090]這允許外部裝置(例如DSP或GPU處理器)附連到結(jié)構(gòu)交換機(jī)，并且通過下列步驟來運(yùn)用可縮放的、高性能、功率優(yōu)化通信結(jié)構(gòu):
-將包含分組的目的地節(jié)點(diǎn)ID的路由幀報(bào)頭添加到發(fā)送給幀交換機(jī)的任意分組有效載荷。
[0091]-當(dāng)接收來自幀交換機(jī)的分組時(shí)剝離路由幀報(bào)頭。
[0092]負(fù)載平衡
當(dāng)考慮諸如圖5所示的結(jié)構(gòu)拓?fù)鋾r(shí)，結(jié)構(gòu)中的節(jié)點(diǎn)的每個轉(zhuǎn)出至少一個MAC地址和IP地址，以通過501a和501b所示的網(wǎng)關(guān)節(jié)點(diǎn)來提供外部以太網(wǎng)連通性。
[0093]暴露這些細(xì)粒度的MAC和IP地址對于使用硬件負(fù)載平衡器的大規(guī)模萬維網(wǎng)操作是有利的，因?yàn)樗鼮樨?fù)載平衡器提供MAC/IP地址的簡單列表，以基于簡單列表來進(jìn)行操作，其中結(jié)構(gòu)的內(nèi)部構(gòu)造對于負(fù)載平衡器不可見的。
[0094]但是，較小的數(shù)據(jù)中心能夠潛在地被高密度低功率服務(wù)器能夠提供的潛在的大量新MAC/IP地址壓倒。有利的是能夠提供用于負(fù)載平衡的選項(xiàng)，以隔離外部數(shù)據(jù)中心基礎(chǔ)設(shè)施以免必須單獨(dú)處理諸如萬維網(wǎng)服務(wù)的層的大量IP地址。
[0095]考慮圖20，其中我們已經(jīng)取用結(jié)構(gòu)交換機(jī)上的一個端口，并且已經(jīng)添加提供諸如IP虛擬服務(wù)器(IPVS)的服務(wù)的FPGA。該IP虛擬化能夠在包括第4層(傳輸)和第7層(應(yīng)用)的網(wǎng)絡(luò)級的范圍完成。在許多情況下，有利的是，在用于諸如萬維網(wǎng)服務(wù)的數(shù)據(jù)中心層的第7層處完成負(fù)載平衡，以使得http會話狀態(tài)能夠由特定萬維網(wǎng)服務(wù)器節(jié)點(diǎn)本地地保持。IPVS FPGA僅附連到網(wǎng)關(guān)節(jié)點(diǎn)(圖5中的節(jié)點(diǎn)501a和501b)。
[0096]在該示例中，圖5所示的結(jié)構(gòu)在用網(wǎng)關(guān)節(jié)點(diǎn)上的IPVS FPGA來擴(kuò)大時(shí)，能夠轉(zhuǎn)出每網(wǎng)關(guān)節(jié)點(diǎn)單個IP地址。IPVS FPGA則對于對結(jié)構(gòu)內(nèi)的節(jié)點(diǎn)的入局請求(例如HTTP請求)進(jìn)行負(fù)載平衡。對于第4層負(fù)載平衡，IPVS FPGA能夠無狀態(tài)地完成，并且使用包括跨節(jié)點(diǎn)輪詢的算法，或者在使用下一個節(jié)點(diǎn)之前例示每節(jié)點(diǎn)的最大數(shù)量的請求。對于第7層負(fù)載平衡，IPVS FPGA將需要保持狀態(tài)，以使得應(yīng)用會話能夠針對特定節(jié)點(diǎn)。
[0097]所產(chǎn)生流程變成:
-入局請求(例如HTTP請求)進(jìn)入圖20中的網(wǎng)關(guān)節(jié)點(diǎn)(端口 O)。
[0098]-結(jié)構(gòu)交換機(jī)路由表已經(jīng)被配置以將來自端口O的入局業(yè)務(wù)導(dǎo)向結(jié)構(gòu)交換機(jī)上的 IPVS FPGA 端 口。
[0099]-1PVS FPGA改寫路由報(bào)頭，以針對結(jié)構(gòu)內(nèi)的特定節(jié)點(diǎn)，并且將所產(chǎn)生的分組轉(zhuǎn)發(fā)到目標(biāo)節(jié)點(diǎn)。
[0100]-目標(biāo)節(jié)點(diǎn)處理請求，并且通常從網(wǎng)關(guān)節(jié)點(diǎn)發(fā)送出結(jié)果。
[0101]OpenFlow/軟件定義的啟用聯(lián)網(wǎng)的結(jié)構(gòu)
OpenFlow是提供通過網(wǎng)絡(luò)對交換機(jī)或路由器的轉(zhuǎn)發(fā)平面的接入的通信協(xié)議。OpenFlow允許通過交換機(jī)的網(wǎng)絡(luò)的網(wǎng)絡(luò)分組的通路由在單獨(dú)的服務(wù)器上運(yùn)行的軟件來確定。把控制與轉(zhuǎn)發(fā)的分離允許比當(dāng)今使用ACL和路由協(xié)議可行的業(yè)務(wù)管理更復(fù)雜的業(yè)務(wù)管理。OpenFlow被認(rèn)為是軟件限定的聯(lián)網(wǎng)的一般方式的實(shí)現(xiàn)。
[0102]圖21示出將OpenFlow(或者更一般的軟件限定的聯(lián)網(wǎng)(SDF))流處理構(gòu)建到Calxeda結(jié)構(gòu)中的方式。網(wǎng)關(guān)節(jié)點(diǎn)的每個將例示在網(wǎng)關(guān)節(jié)點(diǎn)的結(jié)構(gòu)交換機(jī)的端口上的啟用OpenFlow的FPGA。OpenFlow FPGA需要至控制平面處理器的帶外通路，這能夠通過OpenFlow FPGA上的單獨(dú)的聯(lián)網(wǎng)端口完成,或者能夠通過簡單地要求結(jié)構(gòu)交換機(jī)外的另一個端口向控制平面處理器通話來完成。
[0103]所產(chǎn)生流程變成:
-入局請求進(jìn)入圖20中的網(wǎng)關(guān)節(jié)點(diǎn)(端口 O)。
[0104]-結(jié)構(gòu)交換機(jī)路由表已經(jīng)被配置，以將來自端口O的入局業(yè)務(wù)導(dǎo)向到結(jié)構(gòu)交換機(jī)上的 OpenFlow/SDF FPGA 端 口。
[0105]- OpenFlow/SDF FPGA實(shí)現(xiàn)標(biāo)準(zhǔn)OpenFlow處理,包括在必要時(shí)可選地聯(lián)絡(luò)控制平面處理器。OpenFlow/SDF FPGA改寫路由報(bào)頭，以針對結(jié)構(gòu)內(nèi)的特定節(jié)點(diǎn)(通過MAC地址)，并且將所產(chǎn)生的分組轉(zhuǎn)發(fā)到目標(biāo)節(jié)點(diǎn)。
[0106]-目標(biāo)節(jié)點(diǎn)處理請求,并且向OpenFlowFPGA發(fā)送回結(jié)果,其中它實(shí)現(xiàn)任何出局流處理。
[0107]經(jīng)由PCIe將功率優(yōu)化結(jié)構(gòu)集成到標(biāo)準(zhǔn)處理器
圖5所示并且先前描述的功率優(yōu)化服務(wù)器結(jié)構(gòu)對于現(xiàn)有標(biāo)準(zhǔn)處理器提供引人注目的優(yōu)勢，并且能夠按集成芯片解決方案來與現(xiàn)有處理器集成。標(biāo)準(zhǔn)臺式和服務(wù)器處理器常常直接地或者經(jīng)由集成芯片組來支持PCIe接口。圖22示出經(jīng)由PCIe將功率優(yōu)化結(jié)構(gòu)交換機(jī)集成到現(xiàn)有處理器的一個示例。項(xiàng)目22a示出直接地或者經(jīng)由集成芯片組來支持一個或多個PCIe接口的標(biāo)準(zhǔn)處理器。項(xiàng)目22b示出具有對其已經(jīng)集成了 PCIe接口的集成以太網(wǎng)MAC控制器的公開的結(jié)構(gòu)交換機(jī)。項(xiàng)目22b通?？墒褂肞CIe集成結(jié)構(gòu)交換機(jī)的FPGA或ASIC實(shí)現(xiàn)來被集成在一起。
[0108]在本公開中，圖5中所示的節(jié)點(diǎn)能夠是功率優(yōu)化服務(wù)器SOC與集成結(jié)構(gòu)交換機(jī)的異構(gòu)組合，以及本公開的PCIe連接的標(biāo)準(zhǔn)處理器與包含以太網(wǎng)MAC和結(jié)構(gòu)交換機(jī)的PCIe接口模塊的集成。
[0109]經(jīng)由以太網(wǎng)的功率優(yōu)化結(jié)構(gòu)與標(biāo)準(zhǔn)處理器的集成
圖5中所示并且先前描述的功率優(yōu)化服務(wù)器結(jié)構(gòu)對現(xiàn)有標(biāo)準(zhǔn)處理器提供引人注目的優(yōu)勢，并且能夠作為集成芯片解決方案與現(xiàn)有處理器來集成。標(biāo)準(zhǔn)臺式和服務(wù)器處理器常常經(jīng)由集成芯片或者潛在地在SOC內(nèi)提供支持以太網(wǎng)接口。圖23示出經(jīng)由以太網(wǎng)將功率優(yōu)化結(jié)構(gòu)交換機(jī)集成到現(xiàn)有處理器的一個示例。項(xiàng)目23a示出通過SOC或者經(jīng)由集成芯片來支持以太網(wǎng)接口的標(biāo)準(zhǔn)處理器。項(xiàng)目23b示出公開的結(jié)構(gòu)交換機(jī)沒有集成內(nèi)部以太網(wǎng)MAC控制器。項(xiàng)目23b通?？墒褂眉山Y(jié)構(gòu)交換機(jī)的FPGA或ASIC實(shí)現(xiàn)來被集成在一起。
[0110]在本公開中，圖5中所示的節(jié)點(diǎn)能夠是功率優(yōu)化服務(wù)器SOC與集成結(jié)構(gòu)交換機(jī)的異構(gòu)組合，以及本公開的以FPGA或ASIC的方式實(shí)現(xiàn)以太網(wǎng)連接的標(biāo)準(zhǔn)處理器與集成結(jié)構(gòu)交換機(jī)的集成。
[0111]雖然前述已經(jīng)參照了本發(fā)明的特定實(shí)施例，但是本領(lǐng)域的技術(shù)人員將理解的是，在不背離本公開的原理和精神的情況下，可進(jìn)行對本實(shí)施例進(jìn)行變更，本公開的范圍由所附權(quán)利要求書來限定。
【權(quán)利要求】
1.一種計(jì)算裝置，包括: 多個服務(wù)器節(jié)點(diǎn)，其中，每個服務(wù)器節(jié)點(diǎn)包括彼此互連的處理器、存儲器、輸入/輸出電路和結(jié)構(gòu)交換機(jī)； 結(jié)構(gòu)交換機(jī)，所述結(jié)構(gòu)交換機(jī)通過多個結(jié)構(gòu)鏈路將所述多個服務(wù)器節(jié)點(diǎn)互連在一起；以及 一個或多個以太網(wǎng)退口，所述一個或多個以太網(wǎng)退口來自形成功率優(yōu)化服務(wù)器結(jié)構(gòu)的所述結(jié)構(gòu)交換機(jī)。
2.如權(quán)利要求1所述的計(jì)算裝置，其中，所述多個服務(wù)器節(jié)點(diǎn)是服務(wù)器板的一部分。
3.如權(quán)利要求2所述的計(jì)算裝置，還包括一組板的聚合，其中，每個板具有一個或多個服務(wù)器節(jié)點(diǎn)，其中，每個服務(wù)器節(jié)點(diǎn)包括處理器、存儲器、輸入/輸出電路，以及所述一組板與所述結(jié)構(gòu)交換機(jī)互連以產(chǎn)生更大的服務(wù)器。
4.如權(quán)利要求1所述的計(jì)算裝置，其中，所述服務(wù)器節(jié)點(diǎn)還包括一個或多個結(jié)構(gòu)交換機(jī)，所述一個或多個結(jié)構(gòu)交換機(jī)交換連結(jié)到以太網(wǎng)第2層分組的路由報(bào)頭。
5.如權(quán)利要求1所述的計(jì)算裝置，其中，所述結(jié)構(gòu)交換機(jī)具有多個服務(wù)器節(jié)點(diǎn)鏈路，其中，設(shè)置每個服務(wù)器節(jié)點(diǎn) 鏈路的速度以優(yōu)化功率。
6.如權(quán)利要求1所述的計(jì)算裝置，其中，所述結(jié)構(gòu)交換機(jī)具有多個服務(wù)器節(jié)點(diǎn)鏈路，其中，每個服務(wù)器節(jié)點(diǎn)鏈路的速度能夠被動態(tài)地調(diào)整以優(yōu)化功率。
7.如權(quán)利要求6所述的計(jì)算裝置，其中，每個服務(wù)器節(jié)點(diǎn)鏈路的速度能夠基于服務(wù)器節(jié)點(diǎn)鏈路的瞬時(shí)使用和所述服務(wù)器節(jié)點(diǎn)鏈路的平均使用的其中之一來被動態(tài)地調(diào)整。
8.如權(quán)利要求3所述的計(jì)算裝置，其中，一個或多個結(jié)構(gòu)鏈路和一個或多個以太網(wǎng)退口使用PCIe連接器來連接到所述一組板。
9.如權(quán)利要求1所述的計(jì)算裝置，還包括提供點(diǎn)對點(diǎn)服務(wù)器互連結(jié)構(gòu)的無源底板。
10.如權(quán)利要求1所述的計(jì)算裝置，其中，所述多個服務(wù)器節(jié)點(diǎn)形成具有一級或多級的樹，并且其中，所述以太網(wǎng)退口處于所述樹的任何級。
11.如權(quán)利要求1所述的計(jì)算裝置，其中，每個以太網(wǎng)退口是啟用和禁用之一以使帶寬與優(yōu)化功率使用匹配。
12.如權(quán)利要求1所述的計(jì)算裝置，其中，所述服務(wù)器節(jié)點(diǎn)之間的數(shù)據(jù)穿過所述結(jié)構(gòu)交換機(jī)而不是所述以太網(wǎng)退口。
13.如權(quán)利要求4所述的計(jì)算裝置，其中，每個服務(wù)器節(jié)點(diǎn)使所述計(jì)算組件關(guān)斷以降低功率。
14.如權(quán)利要求2所述的計(jì)算裝置，還包括形成機(jī)架和底板的其中之一的多個服務(wù)器板。
15.如權(quán)利要求14所述的計(jì)算裝置，還包括組成機(jī)架的多個機(jī)框。
16.一種計(jì)算裝置，包括: 存儲裝置，具有外形尺寸； 服務(wù)器節(jié)點(diǎn)，其中所述服務(wù)器節(jié)點(diǎn)包括處理器、存儲器、輸入/輸出電路、交換機(jī)結(jié)構(gòu)和用于所述存儲裝置的一個或多個SATA接口，所述服務(wù)器節(jié)點(diǎn)具有與所述存儲裝置相同的外形尺寸。
17.如權(quán)利要求16所述的計(jì)算裝置，還包括彼此互連的存儲裝置陣列和服務(wù)器節(jié)點(diǎn)陣列。
18.如權(quán)利要求16所述的計(jì)算裝置，其中，所述服務(wù)器節(jié)點(diǎn)處于所述存儲裝置內(nèi)。
19.如權(quán)利要求16所述的計(jì)算裝置，其中，所述服務(wù)器節(jié)點(diǎn)被連接到所述存儲裝置，以及所述存儲裝置是所述服務(wù)器節(jié)點(diǎn)的本地存儲器。
20.如權(quán)利要求16所述的計(jì)算裝置，還包括多個存儲裝置，其中，每個存儲裝置被連接到所述SATA接口之一，以使得所述服務(wù)器節(jié)點(diǎn)控制所述多個存儲裝置。
21.如權(quán)利要求16所述的計(jì)算裝置，還包括多個服務(wù)器節(jié)點(diǎn)和多個存儲裝置，其中，所述多個服務(wù)器節(jié)點(diǎn)是交換機(jī)結(jié)構(gòu)，并且控制所述多個存儲裝置。
22.如權(quán)利要求16所述的計(jì)算裝置，還包括一個或多個以太網(wǎng)退口和鏈路，以及其中，每個以太網(wǎng)退口和鏈路具有PCIe連接器。
23.一種用于生產(chǎn)高密度計(jì)算系統(tǒng)的方法，所述方法包括: 提供具有處理器、存儲器、輸入/輸出電路、交換機(jī)結(jié)構(gòu)和一個或多個SATA接口的服務(wù)器節(jié)點(diǎn)；以及 將所述服務(wù)器節(jié)點(diǎn)封裝到硬盤驅(qū)動器的外形尺寸中。
24.如權(quán)利要求23所述的方法，其中，所述交換機(jī)結(jié)構(gòu)將所述服務(wù)器節(jié)點(diǎn)連接到網(wǎng)絡(luò)。
25.如權(quán)利要求23所述的方法，還包括用適合于創(chuàng)建至少一個內(nèi)部交換通道的底板來替代所述硬盤驅(qū)動器的底板。
26.一種用于生產(chǎn)高密度計(jì)算系統(tǒng)的方法，所述方法包括:` 提供標(biāo)準(zhǔn)外形尺寸磁盤驅(qū)動器；以及 將具有處理器、存儲器、輸入/輸出電路、交換機(jī)結(jié)構(gòu)和一個或多個SATA接口的服務(wù)器節(jié)點(diǎn)集成到所述標(biāo)準(zhǔn)外形尺寸磁盤驅(qū)動器中，其中，在所述標(biāo)準(zhǔn)外形尺寸磁盤驅(qū)動器內(nèi)提供集成的計(jì)算能力。
27.一種計(jì)算裝置，包括: 電路板； 安裝在所述電路板上的一個或多個動態(tài)存儲器芯片； 安裝到所述電路板的一個或多個計(jì)算芯片； 安裝到所述電路板的一個或多個閃速存儲器芯片； 其中，將所述電路板垂直地安裝，以使得所述一個或多個閃速存儲器芯片在所述一個或多個計(jì)算芯片之下，以及所述一個或多個動態(tài)存儲器芯片在所述一個或多個計(jì)算芯片之上； 垂直地安裝的電路板的煙囪冷卻器。
28.如權(quán)利要求27所述的計(jì)算裝置，還包括通過煙囪冷卻來冷卻的多個垂直定向的電路板。
29.如權(quán)利要求27所述的計(jì)算裝置，其中，所述煙?冷卻器是在所述電路板底部處的冷卻所述電路板的風(fēng)扇。
30.如權(quán)利要求27所述的計(jì)算裝置，其中，所述煙?冷卻器是氣動空氣源和通風(fēng)管。
31.如權(quán)利要求27所述的計(jì)算裝置，其中，所述垂直地安裝的電路板中的所述一個或多個動態(tài)存儲器芯片不是直接在所述一個或多個計(jì)算芯片之上。
32.如權(quán)利要求27所述的計(jì)算裝置，其中，所述電路板是印刷電路板。
33.如權(quán)利要求27所述的計(jì)算裝置，其中，將所述一個或多個動態(tài)存儲器芯片、一個或多個計(jì)算芯片和一個或多個閃速存儲器芯片斜向地安裝在所述電路板上。
34.一種計(jì)算裝置，包括: 一個或多個處理器； 連接到所述一個或多個處理器的總線結(jié)構(gòu)； 連接到所述總線結(jié)構(gòu)的結(jié)構(gòu)交換機(jī)，所述結(jié)構(gòu)交換機(jī)從所述計(jì)算裝置向一個或多個端口輸出數(shù)據(jù)；以及 一個或多個路由報(bào)頭處理器，其中，每個路由報(bào)頭處理器被用于路由特定傳輸流，以使得所述結(jié)構(gòu)交換機(jī)處理不同的傳輸流。
35.如權(quán)利要求34所述的計(jì)算裝置，其中，所述不同的傳輸流包括服務(wù)器傳輸流、存儲器傳輸流和聯(lián)網(wǎng)傳輸流。
36.如權(quán)利要求34所述的計(jì)算裝置，還包括連接到所述總線結(jié)構(gòu)的一個或多個以太網(wǎng)MAC控制器，并且將所述結(jié)構(gòu)交換機(jī)連接到從所述計(jì)算裝置向一個或多個端口輸出數(shù)據(jù)的所述一個或多個以太網(wǎng)MAC控制器，以及所述一個或多個路由報(bào)頭處理器是用于跨所述結(jié)構(gòu)交換機(jī)來路由PCIe數(shù)據(jù)的PCIe報(bào)頭處理器。
37.如權(quán)利要求36所述的計(jì)算裝置，還包括連接到所述總線結(jié)構(gòu)的PCIe控制器、連接到能夠與PCIe PHY連接的所述PCIe控制器的PCIe路由報(bào)頭。
38.如權(quán)利要求34所述的計(jì)算裝置，還包括連接到所述交換機(jī)結(jié)構(gòu)的網(wǎng)絡(luò)處理器。
39.如權(quán)利要求36所述的 計(jì)算裝置，還包括連接到至少一個端口的外部裝置。
40.一種計(jì)算裝置，包括: 一個或多個處理器； 連接到所述一個或多個處理器的總線結(jié)構(gòu)； 連接到所述總線結(jié)構(gòu)的結(jié)構(gòu)交換機(jī)，所述結(jié)構(gòu)交換機(jī)從所述計(jì)算裝置向一個或多個端口輸出數(shù)據(jù)； 連接在所述總線結(jié)構(gòu)與所述交換機(jī)結(jié)構(gòu)之間的總線協(xié)議橋接器；以及 一個或多個路由報(bào)頭處理器，其中每個路由報(bào)頭處理器用于路由特定傳輸流，以使得所述結(jié)構(gòu)交換機(jī)處理不同傳輸流。
41.一種用于交換不同傳輸流的方法，包括: 提供一個或多個處理器和連接到所述一個或多個處理器的總線結(jié)構(gòu)； 提供連接到所述總線結(jié)構(gòu)的結(jié)構(gòu)交換機(jī)，所述結(jié)構(gòu)交換機(jī)從所述計(jì)算裝置向一個或多個端口輸出數(shù)據(jù)；以及 使用一個或多個路由報(bào)頭處理器來交換特定傳輸流，以使得所述結(jié)構(gòu)交換機(jī)處理不同的傳輸流。
42.如權(quán)利要求41所述的方法，其中，所述不同傳輸流包括服務(wù)器傳輸流、存儲器傳輸流和聯(lián)網(wǎng)傳輸流。
43.如權(quán)利要求41所述的方法，還包括跨所述結(jié)構(gòu)交換機(jī)來路由PCIe數(shù)據(jù)。
44.一種使用交換機(jī)結(jié)構(gòu)進(jìn)行負(fù)載平衡的方法，包括: 提供服務(wù)器節(jié)點(diǎn)，所述服務(wù)器節(jié)點(diǎn)具有一個或多個處理器、連接到所述一個或多個處理器的總線結(jié)構(gòu)；連接到所述總線結(jié)構(gòu)、從所述計(jì)算裝置向一個或多個端口輸出數(shù)據(jù)的結(jié)構(gòu)交換機(jī)以及連接到所述結(jié)構(gòu)交換機(jī)的IP虛擬服務(wù)器； 接收入局請求； 將所述入局請求路由到與所述結(jié)構(gòu)交換機(jī)連接的所述IP虛擬服務(wù)器； 使用連接到所述結(jié)構(gòu)交換機(jī)的所述IP虛擬服務(wù)器對所述結(jié)構(gòu)的特定節(jié)點(diǎn)生成路由報(bào)頭; 將所述入局請求轉(zhuǎn)發(fā)到所述特定節(jié)點(diǎn)；以及 使用所述特定節(jié)點(diǎn)來處理所述入局請求，以提供負(fù)載平衡。
45.一種使用交換機(jī)結(jié)構(gòu)進(jìn)行處理的方法，包括: 提供服務(wù)器節(jié)點(diǎn)，所述服務(wù)器節(jié)點(diǎn)具有一個或多個處理器、連接到所述一個或多個處理器的總線結(jié)構(gòu)；連接到所述總線結(jié)構(gòu)、從所述計(jì)算裝置向一個或多個端口輸出數(shù)據(jù)的結(jié)構(gòu)交換機(jī)以及連接到所述結(jié)構(gòu)交換機(jī)的OpenFlow裝置； 接收入局請求； 將所述入局請求路由到與所述結(jié)構(gòu)交換機(jī)連接的所述OpenFlow裝置； 使用所述OpenFlow裝置對所述結(jié)構(gòu)的特定節(jié)點(diǎn)生成路由報(bào)頭； 將所述入局請求轉(zhuǎn)發(fā)到所述特定節(jié)點(diǎn)； 使用所述特定節(jié)點(diǎn)來處理所述入局請求，以提供負(fù)載平衡；以及 向所述OpenFlow裝置發(fā)送回經(jīng)處理的入局請求。
46.一種計(jì)算裝置，包括: 一個或多個處理器； 連接到所述一個或多個處理器的總線結(jié)構(gòu)； 連接到所述總線結(jié)構(gòu)的結(jié)構(gòu)交換機(jī)，所述結(jié)構(gòu)交換機(jī)從所述計(jì)算裝置向一個或多個端口輸出數(shù)據(jù)； 連接到所述總線結(jié)構(gòu)的PCIe接口 ；以及 外部處理器，所述外部處理器使用所述PCIe接口連接到所述計(jì)算裝置。
47.一種計(jì)算裝置，包括: 從所述計(jì)算裝置向一個或多個端口輸出數(shù)據(jù)的結(jié)構(gòu)交換機(jī)； 連接到所述結(jié)構(gòu)交換機(jī)的以太網(wǎng)端口 ；以及 使用以太網(wǎng)接口連接到所述計(jì)算裝置的外部處理器。
【文檔編號】H04L12/28GK103444133SQ201180055329
【公開日】2013年12月11日 申請日期:2011年9月16日 優(yōu)先權(quán)日:2010年9月16日
【發(fā)明者】M.B.戴維斯, D.J.博爾蘭 申請人:卡爾克塞達(dá)公司