一種異構(gòu)計(jì)算系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種異構(gòu)計(jì)算系統(tǒng)，其包括多層存儲(chǔ)空間復(fù)雜結(jié)構(gòu)體，其存儲(chǔ)器結(jié)構(gòu)包括六種存儲(chǔ)器：全局存儲(chǔ)器、寄存器、本地存儲(chǔ)器、共享存儲(chǔ)器、常量存儲(chǔ)器、紋理存儲(chǔ)器，其中前三者支持讀/寫操作，而后兩者只具備讀操作；這些存儲(chǔ)器的結(jié)構(gòu)各異、運(yùn)算速度不同、大小及存儲(chǔ)規(guī)模不一樣。本發(fā)明相較于現(xiàn)有技術(shù)提高了CPU+GPU異構(gòu)計(jì)算方法的效率。
【專利說(shuō)明】
一種異構(gòu)計(jì)算系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及計(jì)算機(jī)計(jì)算領(lǐng)域，具體涉及一種異構(gòu)計(jì)算系統(tǒng)。
【背景技術(shù)】
[0002]異構(gòu)計(jì)算(Heterogeneous computing)主要是指使用不同類型指令集和體系架構(gòu)的計(jì)算單元組成系統(tǒng)的計(jì)算方式。常見(jiàn)的計(jì)算單元類別包括CPU、GHJ等協(xié)處理器、DSP、ASIC、FPGA等。異構(gòu)計(jì)算近年來(lái)得到更多關(guān)注，主要是因?yàn)橥ㄟ^(guò)提升CPU時(shí)鐘頻率和內(nèi)核數(shù)量而提高計(jì)算能力的傳統(tǒng)方式遇到了散熱和能耗瓶頸。而與此同時(shí)，GPU等專用計(jì)算單元雖然工作頻率較低，具有更多的內(nèi)核數(shù)和并行計(jì)算能力，總體性能-芯片面積比和性能-功耗比都很高，卻遠(yuǎn)遠(yuǎn)沒(méi)有得到充分利用。廣義上，不同計(jì)算平臺(tái)的各個(gè)層次上都存在異構(gòu)現(xiàn)象，除硬件層的指令集、互聯(lián)方式、內(nèi)存層次之外，軟件層中應(yīng)用二進(jìn)制接口、AP1、語(yǔ)言特性底層實(shí)現(xiàn)等的不同，對(duì)于上層應(yīng)用和服務(wù)而言，都是異構(gòu)的。從實(shí)現(xiàn)的角度來(lái)說(shuō)，異構(gòu)計(jì)算就是制定出一系列的軟件與硬件的標(biāo)準(zhǔn)，讓不同類型的計(jì)算設(shè)備能夠共享計(jì)算的過(guò)程和結(jié)果。同時(shí)不斷優(yōu)化和加速計(jì)算的過(guò)程，使其具備更高的計(jì)算效能。
[0003]近年來(lái)，基于CPU+GPU的混合異構(gòu)計(jì)算系統(tǒng)開(kāi)始逐漸成為國(guó)內(nèi)外高性能計(jì)算領(lǐng)域的熱點(diǎn)研究方向。在實(shí)際應(yīng)用中，許多基于CPU+GPU的混合異構(gòu)計(jì)算機(jī)系統(tǒng)表現(xiàn)出了良好的性能。但是在顯卡進(jìn)行計(jì)算的同時(shí)，處理器處于閑置狀態(tài)。由此處理器廠商也想?yún)⑴c到計(jì)算中來(lái)，他們希望CPU和GPU能夠協(xié)同運(yùn)算，完成那些對(duì)計(jì)算量有著苛刻要求的應(yīng)用。同時(shí)也希望將計(jì)算機(jī)的處理能力再推上一個(gè)新的高峰。

【發(fā)明內(nèi)容】

[0004]本發(fā)明為解決上述問(wèn)題，提供了一種異構(gòu)計(jì)算系統(tǒng)，其包括多層存儲(chǔ)空間復(fù)雜結(jié)構(gòu)體，其存儲(chǔ)器結(jié)構(gòu)包括六種存儲(chǔ)器:全局存儲(chǔ)器、寄存器、本地存儲(chǔ)器、共享存儲(chǔ)器、常量存儲(chǔ)器、紋理存儲(chǔ)器，其中前三者支持讀/寫操作，而后兩者只具備讀操作;這些存儲(chǔ)器的結(jié)構(gòu)各異、運(yùn)算速度不同、大小及存儲(chǔ)規(guī)模不一樣，其中共享存儲(chǔ)器、寄存器以其獨(dú)特的結(jié)構(gòu)組成方式在這些存儲(chǔ)器中在數(shù)據(jù)流訪問(wèn)操作速度方面是相對(duì)較快的;對(duì)于每個(gè)并行的運(yùn)算線程來(lái)說(shuō)，寄存器、局部存儲(chǔ)器都是私有的，也就是說(shuō)每個(gè)線程單獨(dú)存在使用各自的寄存器及局部寄存器;其中作為GHJ上的高速緩存區(qū)，寄存器能夠在極低延遲的情況下別每個(gè)線程的ALU所讀取;數(shù)量客觀的寄存器文件構(gòu)成了寄存器的基礎(chǔ)單元，并且被分配給每個(gè)正在執(zhí)行的并行線程，因此，在并行執(zhí)行的過(guò)程中每個(gè)線程所擁有的寄存器大小及其有限，在編程過(guò)程中應(yīng)盡量為每個(gè)線程分配足夠且較少的的私有變量;局部存儲(chǔ)器是寄存器在線程執(zhí)行過(guò)程中的補(bǔ)充，當(dāng)寄存器使用過(guò)多，或者并行使用到結(jié)構(gòu)體、數(shù)組這樣的大數(shù)據(jù)變量，局部寄存器就充當(dāng)暫時(shí)的收容所，為這些私有數(shù)據(jù)分配必要的存儲(chǔ)空間；與寄存器類似，共享存儲(chǔ)器同樣也是GPU上的高速存儲(chǔ)器，存在于共享存儲(chǔ)器的數(shù)據(jù)是被同一個(gè)線程塊(Block)中的所有線程共享的，分配這樣一種存儲(chǔ)器的目的在于減小線程塊內(nèi)各個(gè)線程的通信延遲；因?yàn)楣蚕砑拇嫫鞯拇嬖冢湓诒４婀灿糜?jì)數(shù)器或者線程塊內(nèi)的公共結(jié)果時(shí)，省去大量時(shí)間進(jìn)行線程間通行，所以相應(yīng)的速率會(huì)提升很多；對(duì)于全局存儲(chǔ)器，GPU、CPU可以直接訪問(wèn)操作其中的全局?jǐn)?shù)據(jù)，也就是說(shuō)執(zhí)行并行運(yùn)算的任意一個(gè)線程、串行運(yùn)算的部分都可以讀寫當(dāng)中的任意區(qū)域的數(shù)據(jù)，但訪問(wèn)操作過(guò)程有很高的延遲；同樣位于顯存的常數(shù)存儲(chǔ)器擁有緩存加速，且為只讀存儲(chǔ)器;GPU分配給常數(shù)存儲(chǔ)器的空間只有64K，可用于存儲(chǔ)并行運(yùn)算執(zhí)行過(guò)程中需要多次讀取的只讀變量;紋理存儲(chǔ)器的紋理內(nèi)存存在緩存從而減少了對(duì)內(nèi)存的請(qǐng)求并提供更高的帶寬。
[0005]本發(fā)明相較于現(xiàn)有技術(shù)提高了CPU+GPU異構(gòu)計(jì)算方法的效率。
【附圖說(shuō)明】
[0006]圖1為CUDA存儲(chǔ)模型示意圖；
[0007]圖2為紋理內(nèi)存與線程的映射關(guān)系圖。
【具體實(shí)施方式】
[0008]下文將詳細(xì)參考附圖描述本發(fā)明的優(yōu)選實(shí)施例，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問(wèn)題，并達(dá)到技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。為了全面理解本發(fā)明，在以下詳細(xì)描述中提到了諸多細(xì)節(jié)，但本領(lǐng)域技術(shù)人員應(yīng)該理解，本發(fā)明可以無(wú)需這些具體細(xì)節(jié)而實(shí)現(xiàn)。
[0009]GPU與CPU的最大不同點(diǎn)在于硬件結(jié)構(gòu)自身，而硬件結(jié)構(gòu)不同是由于晶體管用途分布造成的，GPU比CPU在數(shù)據(jù)計(jì)算能力和存儲(chǔ)器帶框上有相對(duì)大的優(yōu)勢(shì)，在能耗和價(jià)格上付出的代價(jià)也相對(duì)較小，從而在異構(gòu)操作協(xié)同處理運(yùn)算上占領(lǐng)并行運(yùn)算的一席之地。GPU作為圖形渲染的主要硬件，因圖像渲染運(yùn)算的高度并行性，它可以采用添加ALU和ControlCache(存儲(chǔ)器控制單元)的方式提高運(yùn)算能力和存儲(chǔ)器帶寬。CPU的制造廠家是把更多的晶體管用于復(fù)雜的控制單元以及緩沖區(qū)，而GPU的晶體管作為ALU的居多，從何提高GPU的總體執(zhí)行單元效率。
[0010]CUDA架構(gòu)下的GHJ是一種多層存儲(chǔ)空間復(fù)雜結(jié)構(gòu)體，這是GPU自身的發(fā)展歷史和GPU原本的設(shè)計(jì)理念決定的。如圖1所示，該圖表明了 CUDA的存儲(chǔ)器結(jié)構(gòu)包括六種存儲(chǔ)器:全局存儲(chǔ)器(Global Memory)、寄存器(Registers)、本地存儲(chǔ)器(Local Memory)、共享存儲(chǔ)器(Shared Memory)、常量存儲(chǔ)器(Constant Memory)、紋理存儲(chǔ)器(Texture Memory)，其中前三者支持讀/寫操作，而后兩者只具備讀操作。這些存儲(chǔ)器在性能上存在較大差別，它們的結(jié)構(gòu)各異、運(yùn)算速度不同、大小及存儲(chǔ)規(guī)模不一樣，也決定了 CUDA在并行運(yùn)算過(guò)程中存在相同并行運(yùn)算過(guò)程有不同的運(yùn)算加速收益。共享存儲(chǔ)器、寄存器以其獨(dú)特的結(jié)構(gòu)組成方式在這些存儲(chǔ)器中在數(shù)據(jù)流訪問(wèn)操作速度方面是相對(duì)較快的。
[0011]對(duì)于每個(gè)并行的運(yùn)算線程來(lái)說(shuō)，寄存器、局部存儲(chǔ)器都是私有的，也就是說(shuō)每個(gè)線程單獨(dú)存在使用各自的寄存器及局部寄存器。之中，作為GPU上的高速緩存區(qū)，寄存器能夠在極低延遲的情況下別每個(gè)線程的ALU所讀取。數(shù)量客觀的寄存器文件(Register File)構(gòu)成了寄存器的基礎(chǔ)單元，并且被分配給每個(gè)正在執(zhí)行的并行線程，因此，在并行執(zhí)行的過(guò)程中每個(gè)線程所擁有的寄存器大小及其有限，在編程過(guò)程中應(yīng)盡量為每個(gè)線程分配足夠且較少的的私有變量。局部存儲(chǔ)器是寄存器在線程執(zhí)行過(guò)程中的補(bǔ)充，當(dāng)寄存器使用過(guò)多，或者并行使用到結(jié)構(gòu)體、數(shù)組這樣的大數(shù)據(jù)變量，局部寄存器就充當(dāng)暫時(shí)的收容所，為這些私有數(shù)據(jù)分配必要的存儲(chǔ)空間，其區(qū)別就在于，分配到局部存儲(chǔ)器的數(shù)據(jù)是存在于顯卡顯存中，而不是像寄存器在邊上或者緩沖區(qū)中，所以局部存儲(chǔ)器對(duì)數(shù)據(jù)的訪問(wèn)操作會(huì)比寄存器慢很多。
[0012]與寄存器類似，共享存儲(chǔ)器同樣也是GPU上的高速存儲(chǔ)器，但如同名字一樣，存在于共享存儲(chǔ)器的數(shù)據(jù)是被同一個(gè)線程塊(Block)中的所有線程共享的。分配這樣一種存儲(chǔ)器的目的在于解決線程塊內(nèi)各個(gè)線程的通信問(wèn)題，這個(gè)也是CUDA的創(chuàng)新之處，以往的GPU并行運(yùn)算技術(shù)在執(zhí)行過(guò)程中線程之間的通行總是難以解決，各個(gè)線程之間的通行過(guò)程總是會(huì)存在很長(zhǎng)的延遲，而CUDA因?yàn)楣蚕砑拇嫫鞯拇嬖?，其在保存共用?jì)數(shù)器或者線程塊內(nèi)的公共結(jié)果時(shí)，省去大量時(shí)間進(jìn)行線程間通行，所以相應(yīng)的速率會(huì)提升很多。
[0013]占有顯存很大一塊的全局存儲(chǔ)器，GPU、CPU可以直接訪問(wèn)操作其中的全局?jǐn)?shù)據(jù)，也就是說(shuō)執(zhí)行并行運(yùn)算的任意一個(gè)線程、串行運(yùn)算的部分都可以讀寫當(dāng)中的任意區(qū)域的數(shù)據(jù)，但訪問(wèn)操作過(guò)程有很高的延遲。全局存儲(chǔ)器帶寬很高，在遵守訪問(wèn)要求前提下，避免分區(qū)沖突，如此高的帶寬才能被充分的利用好。同樣位于顯存的常數(shù)存儲(chǔ)器擁有緩存加速，且為只讀存儲(chǔ)器。GPU分配給常數(shù)存儲(chǔ)器的空間只有64K，可用于存儲(chǔ)并行運(yùn)算執(zhí)行過(guò)程中需要多次讀取的只讀變量。由于它的緩存機(jī)制，常量存儲(chǔ)器節(jié)約了帶寬，提高了讀取的速率，同時(shí)也因?yàn)閿?shù)據(jù)只讀，因此不存在緩存不一的問(wèn)題。
[0014]特殊的只讀存儲(chǔ)器還有紋理存儲(chǔ)器，開(kāi)辟這樣的一塊存儲(chǔ)器也是由于GHJ紋理渲染功能的特殊性。與常量?jī)?nèi)存類似，紋理內(nèi)存存在緩存從而減少了對(duì)內(nèi)存的請(qǐng)求并提供更高的帶寬。圖2為紋理內(nèi)存原理的示意圖，圖中的地址并不連續(xù)，普通的CPU緩存機(jī)制下這類地址得不到緩存，而GPU就可以在該種模式下進(jìn)行緩存加速，獲取并行程序性能的提升。
[0015]以上所述僅為本發(fā)明的較佳實(shí)施例，并不用于限制本發(fā)明，凡在本發(fā)明精神和原則之內(nèi)所做的任何修改、等同替換和改進(jìn)等，均包含于本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種異構(gòu)計(jì)算系統(tǒng)，其包括多層存儲(chǔ)空間復(fù)雜結(jié)構(gòu)體，其存儲(chǔ)器結(jié)構(gòu)包括六種存儲(chǔ)器:全局存儲(chǔ)器、寄存器、本地存儲(chǔ)器、共享存儲(chǔ)器、常量存儲(chǔ)器、紋理存儲(chǔ)器，其中前三者支持讀/寫操作，而后兩者只具備讀操作； 這些存儲(chǔ)器的結(jié)構(gòu)各異、運(yùn)算速度不同、大小及存儲(chǔ)規(guī)模不一樣，其中共享存儲(chǔ)器、寄存器以其獨(dú)特的結(jié)構(gòu)組成方式在這些存儲(chǔ)器中在數(shù)據(jù)流訪問(wèn)操作速度方面是相對(duì)較快的；對(duì)于每個(gè)并行的運(yùn)算線程來(lái)說(shuō)，寄存器、局部存儲(chǔ)器都是私有的，也就是說(shuō)每個(gè)線程單獨(dú)存在使用各自的寄存器及局部寄存器;其中作為GPU上的高速緩存區(qū)，寄存器能夠在極低延遲的情況下別每個(gè)線程的ALU所讀取;數(shù)量客觀的寄存器文件構(gòu)成了寄存器的基礎(chǔ)單元，并且被分配給每個(gè)正在執(zhí)行的并行線程，因此，在并行執(zhí)行的過(guò)程中每個(gè)線程所擁有的寄存器大小及其有限，在編程過(guò)程中應(yīng)盡量為每個(gè)線程分配足夠且較少的的私有變量;局部存儲(chǔ)器是寄存器在線程執(zhí)行過(guò)程中的補(bǔ)充，當(dāng)寄存器使用過(guò)多，或者并行使用到結(jié)構(gòu)體、數(shù)組這樣的大數(shù)據(jù)變量，局部寄存器就充當(dāng)暫時(shí)的收容所，為這些私有數(shù)據(jù)分配必要的存儲(chǔ)空間；與寄存器類似，共享存儲(chǔ)器同樣也是GPU上的高速存儲(chǔ)器，存在于共享存儲(chǔ)器的數(shù)據(jù)是被同一個(gè)線程塊(Block)中的所有線程共享的，分配這樣一種存儲(chǔ)器的目的在于減小線程塊內(nèi)各個(gè)線程的通信延遲；因?yàn)楣蚕砑拇嫫鞯拇嬖?，其在保存共用?jì)數(shù)器或者線程塊內(nèi)的公共結(jié)果時(shí)，省去大量時(shí)間進(jìn)行線程間通行，所以相應(yīng)的速率會(huì)提升很多；對(duì)于全局存儲(chǔ)器，GPU、CPU可以直接訪問(wèn)操作其中的全局?jǐn)?shù)據(jù)，也就是說(shuō)執(zhí)行并行運(yùn)算的任意一個(gè)線程、串行運(yùn)算的部分都可以讀寫當(dāng)中的任意區(qū)域的數(shù)據(jù)，但訪問(wèn)操作過(guò)程有很高的延遲；同樣位于顯存的常數(shù)存儲(chǔ)器擁有緩存加速，且為只讀存儲(chǔ)器;GPU分配給常數(shù)存儲(chǔ)器的空間只有64K，可用于存儲(chǔ)并行運(yùn)算執(zhí)行過(guò)程中需要多次讀取的只讀變量;紋理存儲(chǔ)器的紋理內(nèi)存存在緩存從而減少了對(duì)內(nèi)存的請(qǐng)求并提供更高的帶寬。
【文檔編號(hào)】G06T1/20GK105843692SQ201610159081
【公開(kāi)日】2016年8月10日
【申請(qǐng)日】2016年3月18日
【發(fā)明人】楊浩, 章玲玲, 肖勇才, 李軼鵬, 林楠
【申請(qǐng)人】國(guó)家電網(wǎng)公司, 國(guó)網(wǎng)江西省電力科學(xué)研究院