為計(jì)算裝置上部分模糊圖形圖像促進(jìn)動(dòng)態(tài)和有效的預(yù)啟動(dòng)裁剪的制作方法
【技術(shù)領(lǐng)域】
[0001]本文中所述實(shí)施例一般涉及計(jì)算機(jī)。更具體地說，實(shí)施例涉及一種用于為計(jì)算裝置上部分模糊圖像促進(jìn)動(dòng)態(tài)和有效的預(yù)啟動(dòng)裁剪的機(jī)制。
【背景技術(shù)】
[0002]顯示方位更改和觸摸有關(guān)的滑動(dòng)、收縮和拉伸事件等是移動(dòng)計(jì)算裝置中相當(dāng)常見的體驗(yàn)。這些頻繁和異步事件經(jīng)常產(chǎn)生不明顯的裁剪的二維(2D)圖像，導(dǎo)致部分模糊的像素區(qū)域。在為計(jì)算采用圖形處理單元(GPU)運(yùn)行時(shí)間/驅(qū)動(dòng)程序的常規(guī)技術(shù)中，一直調(diào)度線程以在所有像素上執(zhí)行內(nèi)核而不考慮其可見狀態(tài)，其中，顯示范圍裁剪的動(dòng)作被延遲，并且在隨后再現(xiàn)階段中執(zhí)行。在不斷更改圖像與顯示范圍的幾何關(guān)系的動(dòng)態(tài)模型中，此類常規(guī)技術(shù)在功率、計(jì)算資源等方面是次佳的，并且效率低。此外，前面提及的感覺事件強(qiáng)制在GPU上重復(fù)計(jì)算，并且?guī)硖幚聿豢梢娤袼氐南喈?dāng)大開銷。
【附圖說明】
[0003]在附圖中，實(shí)施例以示例方式而不是限制方式示出，圖中，相似的標(biāo)號(hào)表示類似的元素。
[0004]圖1是根據(jù)一實(shí)施例的數(shù)據(jù)處理系統(tǒng)的框圖。
[0005]圖2是具有一個(gè)或更多個(gè)處理器核、集成存儲(chǔ)器控制器和集成圖形處理器的處理器的一實(shí)施例的框圖。
[0006]圖3是圖形處理器的一個(gè)實(shí)施例的框圖，圖形處理器可以是離散圖形處理單元，或者可以是集成有多個(gè)處理核的圖形處理器。
[0007]圖4是用于圖形處理器的圖形處理引擎的一實(shí)施例的框圖。
[0008]圖5是圖形處理器的另一實(shí)施例的框圖。
[0009]圖6示出包括在圖形處理引擎的一個(gè)實(shí)施例中采用的處理元素的陣列的線程執(zhí)行邏輯。
[0010]圖7是示出根據(jù)一實(shí)施例的圖形處理器執(zhí)行單元指令格式的框圖。
[0011]圖8是包括圖形管線、媒體管線、顯示引擎、線程執(zhí)行邏輯及再現(xiàn)輸出管線的圖形處理器的另一實(shí)施例的框圖。
[0012]圖9A是示出根據(jù)一實(shí)施例的圖形處理器命令格式的框圖，并且圖9B是示出根據(jù)一實(shí)施例的圖形處理器命令序列的框圖。
[0013]圖10示出根據(jù)一實(shí)施例，用于數(shù)據(jù)處理系統(tǒng)的示范圖形軟件體系結(jié)構(gòu)。
[0014]圖11A、IlBUlC和IlD示出可應(yīng)用一個(gè)或更多個(gè)實(shí)施例的各種用例。
[0015]圖12示出根據(jù)一個(gè)實(shí)施例，采用動(dòng)態(tài)預(yù)啟動(dòng)裁剪機(jī)制的計(jì)算裝置。
[0016]圖13示出根據(jù)一個(gè)實(shí)施例的動(dòng)態(tài)預(yù)啟動(dòng)裁剪機(jī)制。
[0017]圖14示出用于促進(jìn)常規(guī)后啟動(dòng)裁剪過程的方法。
[0018]圖15A示出根據(jù)一個(gè)實(shí)施例，用于為在計(jì)算裝置的部分模糊圖像促進(jìn)動(dòng)態(tài)預(yù)啟動(dòng)裁剪過程的方法。
[0019]圖15B示出根據(jù)一個(gè)實(shí)施例，用于在圖形處理單元的計(jì)算啟動(dòng)過程的事務(wù)序列。
【具體實(shí)施方式】
[0020]在下面的描述中，陳述了許多特定細(xì)節(jié)。然而，實(shí)施如本文中所述實(shí)施例可無需這些特定的細(xì)節(jié)。在其它情況下，公知的電路、結(jié)構(gòu)和技術(shù)未詳細(xì)顯示以免混淆對此描述的理解。
[0021]實(shí)施例代表計(jì)算裝置(例如，塘智能電話、平板計(jì)算機(jī)等移動(dòng)計(jì)算裝置)中的GPU，為部分模糊圖像提供有效預(yù)啟動(dòng)裁剪以促進(jìn)指定圖像的相關(guān)活躍子空間的有效方案，預(yù)啟動(dòng)GPU計(jì)算任務(wù)。例如并且在一個(gè)實(shí)施例中，不同于在無貢獻(xiàn)像素上分給已經(jīng)受約束計(jì)算裝置資源的常規(guī)技術(shù)，實(shí)施例基于GPU計(jì)算運(yùn)行時(shí)/驅(qū)動(dòng)程序在預(yù)啟動(dòng)內(nèi)核中依從顯示裁剪狀態(tài)，提供了新穎和創(chuàng)新的技術(shù)。運(yùn)行時(shí)/驅(qū)動(dòng)程序隨后可調(diào)度處理線程只在可見子圖像上操作，例如，在與成像算法運(yùn)行的復(fù)雜性和裁剪掉的元素的數(shù)量均直接成正比的功率方面產(chǎn)生性能的預(yù)期得益。
[0022]可預(yù)見的是，實(shí)施例不限于任何特定操作系統(tǒng)或平臺(tái)，并且提供預(yù)啟動(dòng)裁剪選項(xiàng)的實(shí)施例可受任何數(shù)量和類型的操作系統(tǒng)和平臺(tái)支持或在為這些操作系統(tǒng)或平臺(tái)采用，諸如(但不限于)Android?上的RenderScript?計(jì)算平臺(tái)等，以使用戶有計(jì)劃地為計(jì)算選擇關(guān)注區(qū)域。還可預(yù)見的是，實(shí)施例可進(jìn)一步擴(kuò)展以應(yīng)用到更廣范圍的異步裁剪事件實(shí)例，如實(shí)施例可在各種數(shù)據(jù)平行系統(tǒng)采用或由其使用以在其相應(yīng)接口中可能適應(yīng)和啟用預(yù)啟動(dòng)裁剪優(yōu)化。
[0023]如前面提及的一樣，基于GPU計(jì)算運(yùn)行時(shí)/驅(qū)動(dòng)程序的常規(guī)技術(shù)提供用于脫離依從被認(rèn)為是圖形特定的狀態(tài)，并且效率低，因此嚴(yán)重受限于具有自足GPU計(jì)算程序的僅限大型靜態(tài)環(huán)境并且不適用于更小動(dòng)態(tài)環(huán)境(例如，移動(dòng)計(jì)算環(huán)境等)。此類技術(shù)在遇到裁剪的圖像時(shí)效率特別低，這強(qiáng)制常規(guī)運(yùn)行時(shí)/驅(qū)動(dòng)程序在所有像素(包括不相關(guān)的那些像素)上執(zhí)行重復(fù)再計(jì)算并且延遲在再現(xiàn)時(shí)的對應(yīng)裁剪后啟動(dòng)。因此，此類技術(shù)成本相當(dāng)高、功率效率低，在處理導(dǎo)致裁剪圖像的觸摸事件時(shí)且極其低效，并且深深植根于用戶體驗(yàn)中。
[0024]實(shí)施例提供用于采用適用于裝置顯示裁剪狀態(tài)的機(jī)制的GPU計(jì)算運(yùn)行時(shí)/驅(qū)動(dòng)程序，使得它能夠驗(yàn)證活躍的計(jì)算元素，并且如果需要，則調(diào)用更有效的預(yù)啟動(dòng)裁剪。實(shí)施例提供用于在功率和資源方面均相當(dāng)有效的技術(shù)，并且提供用于無縫和有效的處理路徑。
[0025]概沭-圖1-3
圖1是根據(jù)一實(shí)施例的數(shù)據(jù)處理系統(tǒng)100的框圖。數(shù)據(jù)處理系統(tǒng)100包括一個(gè)或更多個(gè)處理器102和一個(gè)或更多個(gè)圖形處理器108，并且可以是單個(gè)處理器臺(tái)式系統(tǒng)、多處理器工作站系統(tǒng)或具有大量處理器102或處理器核107的服務(wù)器系統(tǒng)。在一實(shí)施例中，數(shù)據(jù)處理系統(tǒng)100是在移動(dòng)、手持式或嵌入式裝置中使用的系統(tǒng)級(jí)芯片集成電路(SOC)
數(shù)據(jù)處理系統(tǒng)100的一實(shí)施例能夠包括基于服務(wù)器的游戲平臺(tái)、包括游戲和媒體控制臺(tái)的游戲控制臺(tái)、移動(dòng)游戲控制臺(tái)、手持式游戲控制臺(tái)或在線游戲控制臺(tái)，或者包含在其內(nèi)。在一個(gè)實(shí)施例中，數(shù)據(jù)處理系統(tǒng)100是移動(dòng)電話、智能電話、平板計(jì)算裝置或移動(dòng)因特網(wǎng)裝置。數(shù)據(jù)處理系統(tǒng)100也能夠包括可佩戴裝置，與其耦合或者集成在其內(nèi)，如和表可佩戴裝置、智能眼戴式裝置、增強(qiáng)現(xiàn)實(shí)裝置或虛擬現(xiàn)實(shí)裝置。在一個(gè)實(shí)施例中，數(shù)據(jù)處理系統(tǒng)100是具有一個(gè)或更多個(gè)處理器102和由一個(gè)或更多個(gè)圖形處理器108生成的圖形接口的電視或機(jī)頂盒裝置。
[0026]一個(gè)或更多個(gè)處理器102每個(gè)包括一個(gè)或更多個(gè)處理器核107以處理指令，指令在執(zhí)行時(shí)，執(zhí)行用于系統(tǒng)和用戶軟件的操作。在一個(gè)實(shí)施例中，一個(gè)或更多個(gè)處理器核107的每個(gè)核配置成處理特定指令集109。指令集109可促進(jìn)復(fù)雜指令集計(jì)算(CISC)、精簡指令集計(jì)算(RISC)或經(jīng)極長指令字(VLIW)的計(jì)算。多個(gè)處理器核107可每個(gè)處理不同指令集109，不同指令集可包括促進(jìn)仿真其它指令集的指令。處理器核108也可包括其它處理裝置，如數(shù)字信號(hào)處理器(DSP)。
[0027]在一個(gè)實(shí)施例中，處理器102包括高帶緩沖存儲(chǔ)器104。視體系結(jié)構(gòu)而定，處理器102能夠具有單個(gè)內(nèi)部高速緩存或多級(jí)內(nèi)部高速緩存。在一個(gè)實(shí)施例中，高速緩沖存儲(chǔ)器在處理器102的各種組件之間共享。在一個(gè)實(shí)施例中，處理器102也使用外部高速緩存(例如，第3級(jí)(L3)高速緩存或末級(jí)高速緩存(LLC)K未示出)，外部高速緩存可在使用已知高速緩存相干性技術(shù)的處理器核107之間共享。寄存器文件106另外包括在處理器102中，處理器102可包括不同類型的寄存器以便存儲(chǔ)不同類型的數(shù)據(jù)(例如，整數(shù)寄存器、浮點(diǎn)寄存器、狀態(tài)寄存器和指令指針寄存器)。一些寄存器可以是通用寄存器，而其它寄存器可對處理器102的設(shè)計(jì)是特定的。
[0028]處理器102耦合到處理器總線110以在處理器102與系統(tǒng)10k的其它組件之間傳送數(shù)據(jù)信號(hào)。系統(tǒng)100使用示范“集線器”系統(tǒng)體系結(jié)構(gòu)，包括存儲(chǔ)器控制器集線器116和輸入輸出(I/O)控制器集線器130。存儲(chǔ)器控制器集線器116促進(jìn)在存儲(chǔ)器裝置與系統(tǒng)100的其它組件之間的通信，而I/O控制器集線器(ICH) 130經(jīng)本地I/O總線提供到I/O裝置的連接。
[0029]存儲(chǔ)器裝置120能夠是動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)裝置、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)裝置、閃存存儲(chǔ)器裝置或具有適合性能以充當(dāng)過程存儲(chǔ)器的某一其它存儲(chǔ)器裝置。存儲(chǔ)器120能夠存儲(chǔ)數(shù)據(jù)122和指令121以便在處理器102執(zhí)行過程時(shí)使用。存儲(chǔ)器控制器集線器116也與可選外部圖形處理器112耦合，處理器112可與處理器102中的一個(gè)或更多個(gè)圖形處理器108進(jìn)行通信以執(zhí)行圖形和媒體操作。
[0030]ICH 130允許外設(shè)經(jīng)高速I/O總線連接到存儲(chǔ)器120和處理器102。I/O外設(shè)包括音頻控制器146、固件接口 128、無線收發(fā)器126 (例如，W1-F1、藍(lán)牙)、數(shù)據(jù)存儲(chǔ)裝置124(例如，硬盤驅(qū)動(dòng)器、閃存存儲(chǔ)器等)及用于耦合遺留裝置(例如，個(gè)人系統(tǒng)2 (PS/2))裝置到系統(tǒng)的遺留I/O控制器。一個(gè)或更多個(gè)通用串行總線(USB)控制器142連接輸入裝置，如鍵盤和鼠標(biāo)144組合。網(wǎng)絡(luò)控制器134也可耦合到ICH 130。在一個(gè)實(shí)施例中，高性能網(wǎng)絡(luò)控制器(未示出)耦合到處理器總線110。
[0031]圖2是具有一個(gè)或更多個(gè)處理器核102A-N、集成存儲(chǔ)器控制器114和集成圖形處理器208的處理器200的一實(shí)施例的框圖。處理器200能夠包括另外的核，直至并且包括由虛線框表示的另外核102N。每個(gè)核102-N包括一個(gè)或更多個(gè)內(nèi)部高速緩存單元104A-N。在一個(gè)實(shí)施例中，每個(gè)核也具有到一個(gè)或更多個(gè)共享緩存單元106的訪問權(quán)。
[0032]內(nèi)部緩存單元104A-N和共享緩存單元106表示處理器200內(nèi)的高速緩沖存儲(chǔ)器層次結(jié)構(gòu)。高速緩沖存儲(chǔ)器層次結(jié)構(gòu)可包括在每個(gè)核內(nèi)的至少一級(jí)的指令和數(shù)據(jù)高速緩存和一個(gè)或更多個(gè)級(jí)的共享中級(jí)高速緩存，如第2級(jí)(L2)、第3級(jí)(L3)、第4級(jí)(L4)或其它級(jí)的高速緩存，其中，在外部存儲(chǔ)器前的最高級(jí)的高速緩存被分類為末級(jí)高速緩存(LLC)。在一個(gè)實(shí)施例中，高速緩存相干性邏輯保持在各種高速緩存單元106與104A-N之間的相干性。處理器200也可包括有一個(gè)或更多個(gè)總線控制器單元116的集和系統(tǒng)代理110。一個(gè)或更多個(gè)總線控制器單元管理外設(shè)總線集，如一個(gè)或更多個(gè)外設(shè)組件互連總線(例如，PC1、PCI Express)ο系統(tǒng)代理110提供用于各種處理器組件的管理功能性。在一個(gè)實(shí)施例中，系統(tǒng)代理110包括一個(gè)或更多個(gè)集成存儲(chǔ)器控制器114以管理對各種外部存儲(chǔ)器裝置(未示出)的訪問。
[0033]在一個(gè)實(shí)施例中，一個(gè)或更多個(gè)核102A-N包括對同時(shí)多線程的支持。在此類實(shí)施例中，系統(tǒng)代理110包括用于在多線程處理期間協(xié)調(diào)和操作核102A-N的組件。系統(tǒng)代理110可另外包括功率控制單元(P⑶)，該單元包括調(diào)節(jié)核102A-N和圖形處理器208的功率狀態(tài)的邏輯和組件。
[0034]處理器200另外包括圖形處理器208以執(zhí)行圖形處理操作。在一個(gè)實(shí)施例中，圖形處理器208與共享緩存單元106集和包括一個(gè)或更多個(gè)集成存儲(chǔ)器控制器114的系統(tǒng)代理單元110耦合。在一個(gè)實(shí)施例中，顯示控制器211與圖形處理器208耦合以驅(qū)動(dòng)到一個(gè)或更多個(gè)耦合的顯示器的圖形處理器輸出。顯示控制器211可以是經(jīng)至少一個(gè)互連與圖形處理器耦合的單獨(dú)模塊，或者可集成在圖形處理器208或系統(tǒng)代理110內(nèi)。
[0035]在一個(gè)實(shí)施例中，基于環(huán)形的互連單元112用于耦合處理器200的內(nèi)部組件，然而，備選互連單元可使用，如點(diǎn)對點(diǎn)互連、交換互連或包括本領(lǐng)域熟知的技術(shù)的其它技術(shù)。在一個(gè)實(shí)施例中，圖形處理器208經(jīng)I/O鏈路213與環(huán)形互連112耦合。
[0036]示范I/O鏈路214表示多個(gè)各種各樣的I/O互連至少之一，包括促進(jìn)在各種處理器組件與諸如eDRAM模塊等高性能嵌入式存儲(chǔ)器模塊218之間通信的封裝上I/O互連。在一個(gè)實(shí)施例中，每個(gè)核102A-N和圖形處理器208使用嵌入式存儲(chǔ)器模塊218作為共享的末級(jí)高速緩存。
[0037]在一個(gè)實(shí)施例中，核102A-N是執(zhí)行相同指令集體系結(jié)構(gòu)的同類核。在另一實(shí)施例中，核102A-N在指令集體系結(jié)構(gòu)(ISA)方面是異類的，其中，一個(gè)或更多個(gè)核102A-N執(zhí)行第一指令集，而至少其它核之一執(zhí)行第一指令集的子集或不同指令集。
[0038]處理器200能夠是使用多個(gè)工藝技術(shù)的任何技術(shù)的一個(gè)或更多個(gè)襯底的一部分或者在襯底上實(shí)現(xiàn)，如互補(bǔ)型金屬氧化物半導(dǎo)體(CMOS)、雙極結(jié)/互補(bǔ)型金屬氧化物半導(dǎo)體(BiCMOS)或N型金屬氧化物半導(dǎo)體邏輯(NMOS)。另外，處理器200能夠在一個(gè)或更多個(gè)芯片上實(shí)現(xiàn)，或者實(shí)現(xiàn)為除其它組件外，具有所示組件的系統(tǒng)級(jí)芯片(SOC)集成電路。
[0039]圖3是圖形處理器300的一個(gè)實(shí)施例的框圖，圖形處理器可以是離散圖形處理單元，或者可以是集成有多個(gè)處理核的圖形處理器。在一個(gè)實(shí)施例中，經(jīng)到圖形處理器上寄存器的存儲(chǔ)器映射的I/o接口和經(jīng)放入處理器存儲(chǔ)器中的命令，與圖形處理器進(jìn)行通信。圖形處理器300包括存儲(chǔ)器接口 314以訪問存儲(chǔ)器。存儲(chǔ)器接口 314能夠是到本地存儲(chǔ)器、一個(gè)或更多個(gè)內(nèi)部高速緩存、一個(gè)或更多個(gè)共享的外部高速緩存和/或到系統(tǒng)存儲(chǔ)器的接
□O
[0040]圖形處理器300也包括顯示控制器302以驅(qū)動(dòng)到顯示裝置320的顯示輸出數(shù)據(jù)。顯示控制器302包括用于一個(gè)或更多個(gè)覆蓋平面以便顯示和構(gòu)成視頻或用戶接口元素的多層的硬件。在一個(gè)實(shí)施例中，圖形處理器300包括視頻編解碼器引擎306以便向和從一個(gè)或更多個(gè)媒體編碼格式或在這些格式之間將媒體進(jìn)行編碼、解碼或轉(zhuǎn)碼，包括但不限于諸如MPEG-2等運(yùn)動(dòng)圖像專家組(MPEG)格式、諸如H.264/MPEG-E AVC等高級(jí)視頻編碼(AVC)格式及運(yùn)動(dòng)圖像和電視工程師學(xué)會(huì)(SMPTE) 421M/VC-1和諸如JPEG和運(yùn)動(dòng)JPEG (MJPEG)格式等聯(lián)合圖像專家組(JPEG)格式。
[0041]在一個(gè)實(shí)施例中，圖形處理器300包括塊圖像傳輸(BLIT)引擎304以執(zhí)行二維(2D)光柵化操作，例如包括比特邊界塊傳輸。然而，在一個(gè)實(shí)施例中，使用圖形處理引擎(GPE) 310的一個(gè)或更多個(gè)組件執(zhí)行2D圖形操作。圖形處理引擎310是用于執(zhí)行包括三維(3D)圖形操作和媒體操作等圖形操作的計(jì)算引擎。
[0042]GPE 310包括用于執(zhí)行3D操作的3D管線312，如使用對3D基本形狀(例如，矩形、三角形等)起作用的處理功能再現(xiàn)三維圖像和場景。3D管線312包括在元素內(nèi)執(zhí)行各種任務(wù)和/或派生執(zhí)行線程到3D/媒體子系統(tǒng)315的可編程和固定功能元素。雖然3D管線312能夠用于執(zhí)行媒體操作，但GPE 310的一實(shí)施例也包括專門用于執(zhí)行諸如視頻后處理和圖像增強(qiáng)等媒體操作的媒體管線316。
[0043]在一個(gè)實(shí)施例中，媒體管線316包括固定功能或可編程邏輯單元，以執(zhí)行一個(gè)或更多個(gè)專用媒體操作，如替代或代表視頻編解碼器引擎306的視頻解碼加速、視頻解交錯(cuò)和視頻編碼加速。在一個(gè)實(shí)施例中，媒體管線316另外包括派生線程以便在3D/媒體子系統(tǒng)315上執(zhí)行的線程派生單元。派生的線程為在3D/媒體子系統(tǒng)中包括的一個(gè)或更多個(gè)圖形執(zhí)行單元上的媒體操作執(zhí)行計(jì)算。
[0044]3D/媒體子系統(tǒng)315包括用于執(zhí)行由3D管線312和媒體管線316派生的線程的邏輯。在一個(gè)實(shí)施例中，管線將線程執(zhí)行請求發(fā)送到3D