本發(fā)明涉及圖像處理技術(shù),特別涉及一種圖像處理系統(tǒng)及方法。
背景技術(shù):
近年來(lái),soc(soc,systemonchip,片上系統(tǒng))芯片廣泛的應(yīng)用于圖像處理領(lǐng)域。
soc芯片將系統(tǒng)關(guān)鍵部件,例如中央處理器、數(shù)字信號(hào)處理器以及圖像處理器等集中在一塊,也即,soc芯片是一個(gè)微型系統(tǒng),可以作為圖像處理系統(tǒng)使用。
現(xiàn)有技術(shù)中的主流系統(tǒng)級(jí)soc芯片,例如高通驍龍、英偉達(dá)tagra以及聯(lián)發(fā)科中的圖像處理系統(tǒng)的數(shù)據(jù)路徑,參考圖1所示,包括:存儲(chǔ)器10、圖像傳感器11、輸入端口12、實(shí)時(shí)圖像處理器13、離線圖像處理器14、顯示處理器15、jpeg編碼器16、顯示輸出端口17以及外部存儲(chǔ)18。
由于現(xiàn)有技術(shù)中的主流系統(tǒng)級(jí)soc芯片的圖像數(shù)據(jù)路徑比較簡(jiǎn)單,均在芯片內(nèi)部,對(duì)輸入圖像進(jìn)行圖像處理的過(guò)程不足以發(fā)揮圖像處理器的全部性能,最終導(dǎo)致soc芯片的圖像處理能力受限。而使用同一種soc芯片的對(duì)于不同設(shè)備的制造,會(huì)受限于同一種soc芯片中的圖像處理器而不能靈活添加各種功能??偟膩?lái)說(shuō),現(xiàn)有技術(shù)中的soc芯片受限于均在芯片內(nèi)部的數(shù)據(jù)路徑,使圖像處理性能受限,不易引入新的功能。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本發(fā)明的目的在于提供一種圖像處理系統(tǒng)及方法,在使用soc芯片進(jìn)行圖像處理時(shí),克服不易引入新功能的問(wèn)題。其具體方案如下:
一種圖像處理系統(tǒng),包括soc芯片、第一端口以及位于所述soc芯片外部的圖像處理芯片;其中,
所述soc芯片,用于接收輸入圖像,并對(duì)所述輸入圖像進(jìn)行處理,得到第一處理圖像;
所述第一端口,用于將所述soc芯片得到的所述第一處理圖像傳輸至所述圖像處理芯片;
所述圖像處理芯片,用于對(duì)所述第一處理圖像進(jìn)行處理,得到第二處理圖像;
其中,所述第一端口為mipidsi端口或hdmi端口。
優(yōu)選地,所述soc芯片,包括第二端口和實(shí)時(shí)isp;其中,
所述第二端口,用于接收所述輸入圖像并發(fā)送至所述實(shí)時(shí)isp,其中,所述第二端口為mipicsi端口或hdmi端口;
所述實(shí)時(shí)isp,用于對(duì)所述輸入圖像進(jìn)行處理,得到所述第一處理圖像,并將所述第一處理圖像發(fā)送至所述第一端口。
優(yōu)選地,還包括:
ddr存儲(chǔ)器,用于通過(guò)所述第二端口,接收所述圖像處理芯片傳輸?shù)乃龅诙幚韴D像,并對(duì)所述第二處理圖像進(jìn)行存儲(chǔ);
離線isp,用于從所述ddr存儲(chǔ)器中獲取所述第二處理圖像,并對(duì)所述第二處理圖像進(jìn)行處理,得到第三處理圖像;
其中,所述離線isp位于所述soc芯片內(nèi)部。
優(yōu)選地,所述soc芯片,包括第二端口、實(shí)時(shí)isp和離線isp;其中,
所述第二端口,用于接收所述輸入圖像并發(fā)送至所述實(shí)時(shí)isp,其中,所述第二端口為mipicsi端口或hdmi端口;
所述實(shí)時(shí)isp,用于對(duì)所述輸入圖像進(jìn)行處理,得到實(shí)時(shí)處理圖像,并將所述實(shí)時(shí)處理圖像發(fā)送至預(yù)設(shè)的ddr存儲(chǔ)器進(jìn)行保存;
所述離線isp,用于從所述ddr存儲(chǔ)器中獲取所述實(shí)時(shí)處理圖像,并對(duì)所述實(shí)時(shí)處理圖像進(jìn)行處理,得到所述第一處理圖像,并將所述第一處理圖像發(fā)送至所述第一端口。
優(yōu)選地,所述圖像處理芯片,包括:
第一處理器,用于接收所述第一端口傳輸?shù)乃龅谝惶幚韴D像,并對(duì)所述第一處理圖像進(jìn)行相應(yīng)的圖像處理,得到所述第二處理圖像;
其中,所述第一處理器進(jìn)行的相應(yīng)的圖像處理包括hdr處理和/或降噪處理和/或散景處理和/或基于深度學(xué)習(xí)的對(duì)象識(shí)別處理。
優(yōu)選地,所述圖像處理芯片,還包括第二處理器和第三端口;其中,
所述第二處理器,用于獲取所述第三端口接收到的原始圖像,并對(duì)所述原始圖像進(jìn)行預(yù)處理,得到所述輸入圖像;
所述第三端口,用于將所述第二處理器得到的所述輸入圖像傳輸至所述soc芯片;其中,所述第三端口為mipicsi端口;
其中,所述預(yù)處理包括低光降噪處理和/或3a圖像統(tǒng)計(jì)收集處理和/或基于深度學(xué)習(xí)的場(chǎng)景檢測(cè)處理。
本發(fā)明還公開(kāi)了一種圖像處理方法,包括:
利用soc芯片接收輸入圖像,并對(duì)所述輸入圖像進(jìn)行處理,得到第一處理圖像;
利用第一端口將所述soc芯片得到的所述第一處理圖像傳輸至圖像處理芯片;
利用所述圖像處理芯片對(duì)所述第一處理圖像進(jìn)行處理,得到第二處理圖像;
其中,所述第一端口為mipidsi端口或hdmi端口。
優(yōu)選地,所述利用soc芯片接收輸入圖像,并對(duì)所述輸入圖像進(jìn)行處理,得到第一處理圖像的過(guò)程,包括:
利用所述soc芯片內(nèi)部的第二端口接收所述輸入圖像并發(fā)送至所述soc芯片內(nèi)部的實(shí)時(shí)isp,其中,所述第二端口為mipicsi端口或hdmi端口;
利用所述實(shí)時(shí)isp對(duì)所述輸入圖像進(jìn)行處理,得到所述第一處理圖像,并將所述第一處理圖像發(fā)送至所述第一端口。
優(yōu)選地,還包括:
利用ddr存儲(chǔ)器通過(guò)所述第二端口,接收所述圖像處理芯片傳輸?shù)乃龅诙幚韴D像,并對(duì)所述第二處理圖像進(jìn)行存儲(chǔ);
利用離線isp從所述ddr存儲(chǔ)器中獲取所述第二處理圖像,并對(duì)所述第二處理圖像進(jìn)行處理,得到第三處理圖像;
其中,所述離線isp位于所述soc芯片內(nèi)部。
優(yōu)選地,所述利用soc芯片接收輸入圖像,并對(duì)所述輸入圖像進(jìn)行處理,得到第一處理圖像的過(guò)程,包括:
利用所述soc芯片內(nèi)部的第二端口接收所述輸入圖像并發(fā)送至所述soc芯片內(nèi)部的實(shí)時(shí)isp,其中,所述第二端口為mipicsi端口或hdmi端口;
利用所述實(shí)時(shí)isp對(duì)所述輸入圖像進(jìn)行處理,得到實(shí)時(shí)處理圖像,并將所述實(shí)時(shí)處理圖像發(fā)送至預(yù)設(shè)的ddr存儲(chǔ)器進(jìn)行保存;
利用所述soc芯片內(nèi)部的離線isp從所述ddr存儲(chǔ)器中獲取所述實(shí)時(shí)處理圖像,并對(duì)所述實(shí)時(shí)處理圖像進(jìn)行處理,得到所述第一處理圖像,并將所述第一處理圖像發(fā)送至所述第一端口。
優(yōu)選地,所述利用所述圖像處理芯片對(duì)所述第一處理圖像進(jìn)行處理,得到第二處理圖像的過(guò)程,包括:
利用所述圖像處理芯片內(nèi)部的第一處理器接收所述第一端口傳輸?shù)乃龅谝惶幚韴D像,并對(duì)所述第一處理圖像進(jìn)行相應(yīng)的圖像處理,得到所述第二處理圖像;
其中,所述第一處理器進(jìn)行的相應(yīng)的圖像處理包括hdr處理和/或降噪處理和/或散景處理和/或基于深度學(xué)習(xí)的對(duì)象識(shí)別處理。
優(yōu)選地,還包括:
利用所述圖像處理芯片內(nèi)部的第二處理器獲取所述圖像處理芯片內(nèi)部的第三端口接收到的原始圖像,并對(duì)所述原始圖像進(jìn)行預(yù)處理,得到所述輸入圖像;
利用所述第三端口將所述第二處理器得到的所述輸入圖像傳輸至所述soc芯片;其中,所述第三端口為mipicsi端口;
其中,所述預(yù)處理包括低光降噪處理和/或3a圖像統(tǒng)計(jì)收集處理和/或基于深度學(xué)習(xí)的場(chǎng)景檢測(cè)處理。
本發(fā)明中,圖像處理系統(tǒng)包括soc芯片、第一端口以及位于soc芯片外部的圖像處理芯片;其中,soc芯片,用于接收輸入圖像,并對(duì)輸入圖像進(jìn)行處理,得到第一處理圖像;第一端口,用于將soc芯片得到的第一處理圖像傳輸至圖像處理芯片;圖像處理芯片,用于對(duì)第一處理圖像進(jìn)行處理,得到第二處理圖像;其中,所述第一端口為mipidsi端口或hdmi端口。可見(jiàn),本發(fā)明在圖像處理過(guò)程中,通過(guò)第一端口,使soc芯片對(duì)輸入圖像處理后得到的第一處理圖像能夠傳輸至外部的圖像處理芯片,從而可以利用外部的圖像處理芯片靈活地添加各種定制功能??偟膩?lái)說(shuō),利用本發(fā)明的圖像處理系統(tǒng)能夠克服在進(jìn)行圖像處理時(shí)使用soc芯片不易引入新的功能的問(wèn)題。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本發(fā)明的實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)提供的附圖獲得其他的附圖。
圖1為現(xiàn)有技術(shù)中的主流系統(tǒng)級(jí)soc芯片進(jìn)行圖像處理時(shí)結(jié)構(gòu)與數(shù)據(jù)路徑示意圖;
圖2為本發(fā)明實(shí)施例公開(kāi)的一種圖像處理系統(tǒng)結(jié)構(gòu)示意圖;
圖3為本發(fā)明實(shí)施例公開(kāi)的一種具體的圖像處理系統(tǒng)結(jié)構(gòu)示意圖;
圖4為本發(fā)明實(shí)施例公開(kāi)的另一種具體的圖像處理系統(tǒng)結(jié)構(gòu)示意圖;
圖5為本發(fā)明實(shí)施例公開(kāi)的一種圖像處理方法流程圖;
圖6為本發(fā)明實(shí)施例公開(kāi)的一種具體的圖像處理方法流程圖;
圖7為本發(fā)明實(shí)施例公開(kāi)的另一種具體的圖像處理方法流程圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明實(shí)施例公開(kāi)了一種圖像處理系統(tǒng),參見(jiàn)圖2所示,該系統(tǒng)包括soc芯片21、第一端口22以及位于soc芯片外部的圖像處理芯片23。具體的:
soc芯片21,用于接收輸入圖像,并對(duì)輸入圖像進(jìn)行處理,得到第一處理圖像。
本實(shí)施例中,上述soc芯片21是一個(gè)微型的系統(tǒng),由多個(gè)系統(tǒng)的部件組成,包括中央處理器、數(shù)字信號(hào)處理器以及圖像處理器等,因此一些系統(tǒng)級(jí)的soc芯片,例如高通驍龍、英偉達(dá)tagra以及聯(lián)發(fā)科等soc芯片可以應(yīng)用于圖像處理。soc芯片21可以利用接收?qǐng)D像數(shù)據(jù)的端口接收來(lái)自傳感器的圖像,例如接收攝像頭捕捉的圖像等,然后通過(guò)soc芯片21內(nèi)部的數(shù)據(jù)路徑把圖像數(shù)據(jù)傳輸至一些圖像處理器,利用圖像處理器對(duì)圖像數(shù)據(jù)進(jìn)行處理,然后進(jìn)行輸出。
需要說(shuō)明的是,在soc芯片21內(nèi)部是有多種圖像處理器的,因此soc芯片21對(duì)圖像數(shù)據(jù)的處理也是多種多樣的,例如對(duì)圖像數(shù)據(jù)進(jìn)行線性糾正、降噪、壞點(diǎn)去除、細(xì)節(jié)增強(qiáng)等處理,從而提高圖像輸出的質(zhì)量。
第一端口22,用于將soc芯片21得到的第一處理圖像傳輸至圖像處理芯片。
本發(fā)明實(shí)施例中,第一端口的主要功能是將經(jīng)soc芯片21處理后的圖像數(shù)據(jù)傳輸至soc芯片21外部的圖像處理器23。而第一端口22可以是在soc芯片21的內(nèi)部原有的端口,通過(guò)利用安卓軟件進(jìn)行修改,賦予這些端口將soc芯片21處理后的圖像數(shù)據(jù)傳輸至外部的功能。第一端口22還可以是soc芯片21外部新增的端口,新增的第一端口可以直接與soc芯片21內(nèi)部關(guān)鍵的圖像處理器連接,對(duì)關(guān)鍵的圖像處理器的安卓堆棧進(jìn)行修改,使第一端口22直接獲取這些關(guān)鍵的圖像處理器處理后的圖像數(shù)據(jù),傳輸至soc芯片21外部的圖像處理器。
需要說(shuō)明的是,第一端口22為mipidsi端口(mipidsi,mobileindustryprocessorinterfacedisplayserialinterfacespecification,移動(dòng)產(chǎn)業(yè)處理器接口顯示器串行接口規(guī)范)或hdmi端口(hdmi,highdefinitionmultimediainterface,高清晰多媒體接口)。
圖像處理芯片23,用于對(duì)第一處理圖像進(jìn)行處理,得到第二處理圖像。
本發(fā)明實(shí)施例中,圖像處理芯片23通過(guò)第一端口22,接收來(lái)自soc芯片21的第一處理圖像,也就是經(jīng)過(guò)soc芯片21處理后的圖像數(shù)據(jù),對(duì)這些圖像數(shù)據(jù)再做進(jìn)一步的處理,再度提升圖像數(shù)據(jù)的質(zhì)量。soc芯片21外部的圖像處理芯片23主要是提供各種圖像處理功能,這些功能一般在僅使用soc芯片21進(jìn)行圖像處理時(shí)是沒(méi)有的,或者不易實(shí)現(xiàn)的,例如低光降噪以及hdr(hdr,high-dynamicrange,高動(dòng)態(tài)光照渲染)等。
需要說(shuō)明的是,為了實(shí)現(xiàn)各種圖像功能,圖像處理芯片23的選取是多種的,圖像處理芯片23內(nèi)部的圖像處理器也是多種多樣的,這里不做限定,使用soc芯片21外部的圖像處理芯片23對(duì)圖像數(shù)據(jù)再度進(jìn)行處理,可以再次提高圖像數(shù)據(jù)的質(zhì)量或者實(shí)現(xiàn)其它圖像處理功能。
可見(jiàn),本實(shí)施例在圖像處理過(guò)程中,通過(guò)第一端口22,使soc芯片21對(duì)輸入圖像處理后得到的第一處理圖像能夠傳輸至外部的圖像處理芯片23,從而可以利用外部的圖像處理芯片23靈活地添加各種定制功能。總的來(lái)說(shuō),利用本發(fā)明的圖像處理系統(tǒng)能夠克服在進(jìn)行圖像處理時(shí)使用soc芯片21不易引入新的功能的問(wèn)題。
本發(fā)明實(shí)施例公開(kāi)了一種具體的圖像處理系統(tǒng),參見(jiàn)圖3所示,圖3為本實(shí)施例系統(tǒng)結(jié)構(gòu)示意圖,相對(duì)于上一實(shí)施例,本實(shí)施例對(duì)技術(shù)方案作了進(jìn)一步的說(shuō)明和優(yōu)化。具體的:
soc芯片31中包括第二端口312和實(shí)時(shí)isp313(isp,imagesignalprocessing,圖像信號(hào)處理單元),其中:
第二端口312,用于接收輸入圖像并發(fā)送至實(shí)時(shí)isp313,其中,第二端口31為mipicsi端口(mipicsi,即mobileindustryprocessorinterfacecomssensorinterface,移動(dòng)產(chǎn)業(yè)處理器接口傳感攝像頭接口)或hdmi端口。
本實(shí)施例中,第二端口312為soc芯片31內(nèi)部的數(shù)據(jù)接收端口,可以用于接收soc芯片31外部圖像傳感器,例如攝像頭的圖像數(shù)據(jù),還可以用于接收其它圖像數(shù)據(jù),例如圖像處理芯片32的數(shù)據(jù)等。第二端口312在接收?qǐng)D像數(shù)據(jù)后可以將圖像數(shù)據(jù)傳輸至soc芯片31內(nèi)部的部件進(jìn)行相應(yīng)的處理,例如傳輸至實(shí)時(shí)isp32進(jìn)行處理,還可以將圖像數(shù)據(jù)傳輸至soc芯片31外部的部件,例如存儲(chǔ)器等。
實(shí)時(shí)isp313,用于對(duì)輸入圖像進(jìn)行處理,得到第一處理圖像,并將第一處理圖像發(fā)送至第一端口311。
本實(shí)施例中,實(shí)時(shí)isp313為soc芯片31內(nèi)部圖像處理器的一種,用于對(duì)輸入soc芯片31的圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)的處理。例如,在進(jìn)行攝像頭的圖像數(shù)據(jù)的處理時(shí),可以逐行或逐像素模式與攝像頭傳感器進(jìn)行同步,然后對(duì)同步獲取的圖像數(shù)據(jù)進(jìn)行處理,如進(jìn)行線性糾正、降噪、壞點(diǎn)去除、內(nèi)插、白平衡以及顏色轉(zhuǎn)換等一些典型的isp處理,提高圖像數(shù)據(jù)的顯示的質(zhì)量。
需要說(shuō)明的是,在本實(shí)施例中,從soc芯片31發(fā)送至第一端口311的第一處理圖像只經(jīng)過(guò)實(shí)時(shí)isp313處理得到,在經(jīng)過(guò)圖像處理芯片32處理后的第二處理圖像還需要再次經(jīng)過(guò)soc芯片31的其它處理,才可以輸出,因此第二處理圖像還需要經(jīng)過(guò)第二端口312進(jìn)入soc芯片31。
圖像處理芯片32,包括:
第一處理器321,用于接收第一端口311傳輸?shù)牡谝惶幚韴D像,并對(duì)第一處理圖像進(jìn)行相應(yīng)的圖像處理,得到第二處理圖像;
其中,第一處理器進(jìn)行的相應(yīng)的圖像處理包括hdr處理和/或降噪處理和/或散景處理和/或基于深度學(xué)習(xí)的對(duì)象識(shí)別處理。
本實(shí)施例中,利用soc芯片31外部的圖像處理芯片32的第一處理器321,在soc芯片31處理圖像數(shù)據(jù)的過(guò)程中間,可以增加新的處理步驟。在soc芯片31進(jìn)行圖像的實(shí)時(shí)處理后,通過(guò)第一端口311將第一處理圖像,也就是實(shí)時(shí)處理后的圖像傳輸至第一處理器321進(jìn)行處理,以提高圖像的質(zhì)量,例如利用第一處理器33進(jìn)行降噪、hdr以及散景處理。還可以通過(guò)第一處理器321進(jìn)行處理,從而引進(jìn)新的功能,例如對(duì)圖像進(jìn)行基于深度學(xué)習(xí)的對(duì)象識(shí)別處理,識(shí)別圖像中的各種信息,如文字等,從而達(dá)到智能獲取圖像信息的功能。
其中,圖像處理芯片32,還包括第二處理器322以及第三端口323,具體的:
第二處理器322,用于獲取第三端口323接收到的原始圖像,并對(duì)原始圖像進(jìn)行預(yù)處理,得到輸入圖像;
其中,預(yù)處理包括低光降噪處理和/或3a圖像統(tǒng)計(jì)收集處理和/或基于深度學(xué)習(xí)的場(chǎng)景檢測(cè)處理。
本實(shí)施例中,利用soc芯片31外部的圖像處理芯片32的第二處理器322,在soc芯片31處理圖像數(shù)據(jù)的過(guò)程之前,可以增加新的預(yù)處理步驟。在soc芯片31進(jìn)行圖像的實(shí)時(shí)處理之前,通過(guò)圖像處理芯片32的第三端口323接收原始圖像,例如接收攝像頭傳感器發(fā)送的原始圖像,進(jìn)行圖像的初步預(yù)處理。例如利用第二處理器322對(duì)原始圖像進(jìn)行低光降噪、3a圖像統(tǒng)計(jì)收集等處理,以提高圖像質(zhì)量。還可以通過(guò)第二處理器322進(jìn)行圖像處理,從而引進(jìn)新功能,例如對(duì)原始圖像進(jìn)行基于深度學(xué)習(xí)的場(chǎng)景檢測(cè),達(dá)到智能獲取圖像信息的功能。
第三端口323,用于將第二處理器得到的輸入圖像傳輸至soc芯片31;其中,第三端口為mipicsi端口。
本實(shí)施例中,第三端口323除了可以接收原始圖像并傳輸至第二處理器322,還可以將第二處理器322對(duì)原始圖像進(jìn)行預(yù)處理后的輸入圖像傳輸至soc芯片31,再由soc芯片31的上述各部件間進(jìn)行圖像的傳輸與處理。
需要說(shuō)明的是,第三端口323為mipicsi端口。
本申請(qǐng)實(shí)施例中,還包括:
ddr存儲(chǔ)器33,用于通過(guò)第二端口312,接收?qǐng)D像處理芯片32傳輸?shù)牡诙幚韴D像,并對(duì)第二處理圖像進(jìn)行存儲(chǔ)。
本申請(qǐng)實(shí)施例中,第二端口312除了可以接收輸入圖像并發(fā)送至實(shí)時(shí)isp313,還可以接收來(lái)自圖像處理芯片32的圖像數(shù)據(jù),例如接收經(jīng)過(guò)圖像處理芯片32的第一處理器321處理后的第二處理圖像,以及接收第二處理器322處理后的輸入圖像。在接收第一處理器321處理后的第二處理圖像,還可以利用第二端口312連接soc芯片31外部的ddr存儲(chǔ)器33進(jìn)行圖像的儲(chǔ)存以及對(duì)圖像的幀緩沖。
離線isp314,用于從ddr存儲(chǔ)器33中獲取第二處理圖像,并對(duì)第二處理圖像進(jìn)行處理,得到第三處理圖像;
本實(shí)施例中,離線isp314位于soc芯片31內(nèi)部。
soc芯片31除了對(duì)圖像進(jìn)行實(shí)時(shí)isp圖像處理,還需要進(jìn)行圖像的離線isp處理,在圖像處理芯片32進(jìn)行處理后,soc芯片31還需獲取第二處理圖像進(jìn)行離線處理,這時(shí)可以使用soc芯片31內(nèi)部的離線isp314獲取ddr存儲(chǔ)器33中獲取第二處理圖像進(jìn)行處理。離線isp314會(huì)對(duì)第二處理圖像進(jìn)行典型的后置處理,例如暗光去噪、細(xì)節(jié)增強(qiáng)等,最終得到第三處理圖像,整個(gè)圖像處理過(guò)程結(jié)束。在系統(tǒng)級(jí)soc芯片,例如在高通驍龍內(nèi),離線isp具體為高通驍龍內(nèi)的cpp(cpp,camerapostprocessor)。
上述實(shí)施例中soc芯片31外部的圖像處理芯片32支持透明模式,也即,在圖像處理的過(guò)程中,圖像可以直接進(jìn)入soc芯片31內(nèi)進(jìn)行處理,整個(gè)處理過(guò)程圖像處理芯片32可以不參與。
本發(fā)明實(shí)施例公開(kāi)了另一種具體的圖像處理系統(tǒng),參見(jiàn)圖4所示,相對(duì)于上一實(shí)施例,本實(shí)施例對(duì)技術(shù)方案作了改進(jìn)。具體的:
soc芯片41中包括第二端口412和實(shí)時(shí)isp413以及離線isp414,其中:
第二端口412,用于接收輸入圖像并發(fā)送至實(shí)時(shí)isp413,其中,第二端口為mipicsi端口或hdmi端口;
實(shí)時(shí)isp413,用于對(duì)輸入圖像進(jìn)行處理,得到實(shí)時(shí)處理圖像,并將實(shí)時(shí)處理圖像發(fā)送至預(yù)設(shè)的ddr存儲(chǔ)器43進(jìn)行保存;
離線isp414,用于從ddr存儲(chǔ)器43中獲取實(shí)時(shí)處理圖像,并對(duì)實(shí)時(shí)處理圖像進(jìn)行處理,得到第一處理圖像,并將第一處理圖像發(fā)送至第一端口411。
相對(duì)于上一實(shí)施例,本實(shí)施例中從soc芯片41發(fā)送至第一端口411的第一處理圖像是經(jīng)過(guò)實(shí)時(shí)isp413以及離線isp414處理得到,因此再經(jīng)過(guò)圖像處理芯片42的第一處理器421處理,得到第二處理圖像,整個(gè)圖像處理過(guò)程結(jié)束。
圖像處理芯片42,包括:
第一處理器421,用于接收第一端口411傳輸?shù)牡谝惶幚韴D像,并對(duì)第一處理圖像進(jìn)行相應(yīng)的圖像處理,得到第二處理圖像;
其中,第一處理器進(jìn)行的相應(yīng)的圖像處理包括hdr處理和/或降噪處理和/或散景處理和/或基于深度學(xué)習(xí)的對(duì)象識(shí)別處理。
本實(shí)施例中,利用soc芯片41外部的圖像處理芯片42的第一處理器421,在soc芯片41處理圖像數(shù)據(jù)的過(guò)程之后,增加新的處理步驟。在soc芯片41進(jìn)行圖像的實(shí)時(shí)以及離線處理后,通過(guò)第一端口411將第一處理圖像,也就是實(shí)時(shí)處理后的圖像傳輸至第一處理器421進(jìn)行處理,以提高圖像的質(zhì)量,例如利用第一處理器421進(jìn)行降噪、hdr以及散景處理。還可以通過(guò)第一處理器421進(jìn)行處理,從而引進(jìn)新的功能,例如對(duì)圖像進(jìn)行基于深度學(xué)習(xí)的對(duì)象識(shí)別處理,識(shí)別圖像中的各種信息,如文字等,從而達(dá)到智能獲取圖像信息的功能。
本實(shí)施例經(jīng)過(guò)上述步驟的處理后,得到的第二處理圖像為最終的處理圖像,整個(gè)圖像處理過(guò)程結(jié)束。
其中,圖像處理芯片42,還包括第二處理器422以及第三端口423,具體的:
第二處理器422,用于獲取第三端口423接收到的原始圖像,并對(duì)原始圖像進(jìn)行預(yù)處理,得到輸入圖像;
其中,預(yù)處理包括低光降噪處理和/或3a圖像統(tǒng)計(jì)收集處理和/或基于深度學(xué)習(xí)的場(chǎng)景檢測(cè)處理。
第三端口423,用于將第二處理器得到的輸入圖像傳輸至soc芯片41;其中,第三端口為mipicsi端口。
上述實(shí)施例中soc芯片41外部的圖像處理芯片42支持透明模式,也即,在圖像處理的過(guò)程中,圖像可以直接進(jìn)入soc芯片41內(nèi)進(jìn)行處理,整個(gè)處理過(guò)程圖像處理芯片42可以不參與。
關(guān)于上述各個(gè)部件更加詳細(xì)的工作過(guò)程可以參考前述實(shí)施例中公開(kāi)的相應(yīng)內(nèi)容,在此不再贅述。
本發(fā)明實(shí)施例還公開(kāi)了一種圖像處理方法,參見(jiàn)圖5所示,該方法包括:
步驟s11:利用soc芯片接收輸入圖像,并對(duì)輸入圖像進(jìn)行處理,得到第一處理圖像。
步驟s12:利用第一端口將soc芯片得到的第一處理圖像傳輸至圖像處理芯片。
步驟s13:利用圖像處理芯片對(duì)第一處理圖像進(jìn)行處理,得到第二處理圖像;
其中,第一端口為mipidsi端口或hdmi端口。
可見(jiàn),本實(shí)施例在圖像處理過(guò)程中,通過(guò)第一端口,使soc芯片對(duì)輸入圖像處理后得到的第一處理圖像能夠傳輸至外部的圖像處理芯片,從而可以利用外部的圖像處理芯片靈活地添加各種定制功能。總的來(lái)說(shuō),利用本發(fā)明的圖像處理系統(tǒng)能夠克服在進(jìn)行圖像處理時(shí)使用soc芯片不易引入新的功能的問(wèn)題。
關(guān)于上述各個(gè)步驟中使用的部件的更加詳細(xì)的工作過(guò)程可以參考前述實(shí)施例中公開(kāi)的相應(yīng)內(nèi)容,在此不再贅述。
本發(fā)明實(shí)施例公開(kāi)了一種具體的圖像處理方法,參見(jiàn)圖6所示,該方法包括:
步驟s21:利用圖像處理芯片內(nèi)部的第二處理器獲取圖像處理芯片內(nèi)部的第三端口接收到的原始圖像,并對(duì)原始圖像進(jìn)行預(yù)處理,得到輸入圖像;
其中,預(yù)處理包括低光降噪處理和/或3a圖像統(tǒng)計(jì)收集處理和/或基于深度學(xué)習(xí)的場(chǎng)景檢測(cè)處理。
步驟s22:利用第三端口將第二處理器得到的輸入圖像傳輸至soc芯片;其中,第三端口為mipicsi端口。
步驟s23:利用soc芯片內(nèi)部的第二端口接收輸入圖像并發(fā)送至soc芯片內(nèi)部的實(shí)時(shí)isp,其中,第二端口為mipicsi端口或hdmi端口。
步驟s24:利用實(shí)時(shí)isp對(duì)輸入圖像進(jìn)行處理,得到第一處理圖像,并將第一處理圖像發(fā)送至第一端口。
步驟s25:利用圖像處理芯片內(nèi)部的第一處理器接收第一端口傳輸?shù)牡谝惶幚韴D像,并對(duì)第一處理圖像進(jìn)行相應(yīng)的圖像處理,得到第二處理圖像。
其中,第一處理器進(jìn)行的相應(yīng)的圖像處理包括hdr處理和/或降噪處理和/或散景處理和/或基于深度學(xué)習(xí)的對(duì)象識(shí)別處理。
步驟s26:利用ddr存儲(chǔ)器通過(guò)第二端口,接收?qǐng)D像處理芯片傳輸?shù)牡诙幚韴D像,并對(duì)第二處理圖像進(jìn)行存儲(chǔ)。
步驟s27:利用離線isp從ddr存儲(chǔ)器中獲取第二處理圖像,并對(duì)第二處理圖像進(jìn)行處理,得到第三處理圖像;
其中,離線isp位于soc芯片內(nèi)部。
關(guān)于上述各個(gè)步驟中使用的部件的更加詳細(xì)的工作過(guò)程可以參考前述實(shí)施例中公開(kāi)的相應(yīng)內(nèi)容,在此不再贅述。
本發(fā)明實(shí)施例公開(kāi)了另一種具體的圖像處理方法,參見(jiàn)圖7所示,該方法包括:
步驟s31:利用圖像處理芯片內(nèi)部的第二處理器獲取圖像處理芯片內(nèi)部的第三端口接收到的原始圖像,并對(duì)原始圖像進(jìn)行預(yù)處理,得到輸入圖像;
其中,預(yù)處理包括低光降噪處理和/或3a圖像統(tǒng)計(jì)收集處理和/或基于深度學(xué)習(xí)的場(chǎng)景檢測(cè)處理。
步驟s32:利用第三端口將第二處理器得到的輸入圖像傳輸至soc芯片;其中,第三端口為mipicsi端口。
步驟s33:利用soc芯片內(nèi)部的第二端口接收輸入圖像并發(fā)送至soc芯片內(nèi)部的實(shí)時(shí)isp,其中,第二端口為mipicsi端口或hdmi端口。
步驟s34:利用實(shí)時(shí)isp對(duì)輸入圖像進(jìn)行處理,得到實(shí)時(shí)處理圖像,并將實(shí)時(shí)處理圖像發(fā)送至預(yù)設(shè)的ddr存儲(chǔ)器進(jìn)行保存。
步驟s35:利用soc芯片內(nèi)部的離線isp從ddr存儲(chǔ)器中獲取實(shí)時(shí)處理圖像,并對(duì)實(shí)時(shí)處理圖像進(jìn)行處理,得到第一處理圖像,并將第一處理圖像發(fā)送至第一端口。
步驟s36:利用圖像處理芯片內(nèi)部的第一處理器接收第一端口傳輸?shù)牡谝惶幚韴D像,并對(duì)第一處理圖像進(jìn)行相應(yīng)的圖像處理,得到第二處理圖像。
其中,第一處理器進(jìn)行的相應(yīng)的圖像處理包括hdr處理和/或降噪處理和/或散景處理和/或基于深度學(xué)習(xí)的對(duì)象識(shí)別處理。
關(guān)于上述各個(gè)步驟中使用的部件的更加詳細(xì)的工作過(guò)程可以參考前述實(shí)施例中公開(kāi)的相應(yīng)內(nèi)容,在此不再贅述。
最后,還需要說(shuō)明的是,在本文中,諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái),而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒(méi)有明確列出的其他要素,或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下,由語(yǔ)句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。
以上對(duì)本發(fā)明所提供的一種圖像處理系統(tǒng)及方法進(jìn)行了詳細(xì)介紹,本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述,以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想;同時(shí),對(duì)于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處,綜上所述,本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。