專利名稱：一種圖像處理的裝置的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及電子通信技術(shù)領(lǐng)域，尤其涉及一種圖像處理的裝置。
技術(shù)背景隨著多媒體技術(shù)的發(fā)展，需要電子設(shè)備提供豐富的圖像、聲音等多媒體服務(wù)；并且嵌入式系統(tǒng)由于其體積小、省電、功能豐富的優(yōu)點，而廣泛的應 用于各種電子設(shè)備中。為了實現(xiàn)嵌入式系統(tǒng)的圖像應用，現(xiàn)有的方法包括首先，將圖像數(shù)據(jù) 經(jīng)過專用處理電路(比如硬件電路模塊或?qū)Ｓ肈SP (數(shù)字信號處理器)) 進行采集和壓縮處理，之后，再將處理后的信號發(fā)送至嵌入式處理器，由嵌 入式處理器對壓縮后的文件進行回放處理(即，從信息中生成圖像)。現(xiàn)有的實現(xiàn)嵌入式系統(tǒng)的圖像處理的結(jié)構(gòu)圖如圖1所示，包括圖像傳感 器，對圖像數(shù)據(jù)進行采集和壓縮處理的專用處理電路，即專用芯片(比如 ASIC (專用集成電路)或DSP芯片)以及對壓縮后的文件進行回放處理的嵌 入式處理器。其中，圖像傳感器通過串行數(shù)據(jù)、串行時鐘以及專用芯片與嵌 入式處理器相連，專用芯片通過主時鐘、像素時鐘、數(shù)據(jù)總線、行、場同步 總線與圖像傳感器和嵌入式處理器相連。該專用芯片，具有很高的運算速度，用于在不需要嵌入式處理器干預的 情況下，進行圖像采集，以迅速完成圖像數(shù)據(jù)的采集，并將采集的圖像數(shù)據(jù) 進行壓縮處理，將壓縮后的圖像數(shù)據(jù)傳輸至嵌入式處理器。有些專用芯片， 也可以作為協(xié)處理器，與嵌入式處理器并行工作，執(zhí)行復雜的圖像運算。
采用專用處理電路進行圖像數(shù)據(jù)的采集和壓縮處理，雖然能夠提高處理 速度，但是由于其增加制造成本、增大電路體積、增大功耗，并且對圖像的 處理方式相對固定難以靈活更改以及受供貨渠道的影響等問題，而限制了專 用處理電路的應用范圍。實用新型內(nèi)容本實用新型提供一種圖像處理的裝置，能夠?qū)D像數(shù)據(jù)進行靈活處理， 并且減小了系統(tǒng)的體積，降低了系統(tǒng)的成本。本實用新型提供一種圖像處理的裝置，所述裝置與圖像傳感器相連，所述裝置包括用于進行圖像數(shù)據(jù)的采集、壓縮和回放處理中的至少一個處理 的嵌入式處理器。所述嵌入式處理器具體包括用于從圖像傳感器采集數(shù)據(jù)的圖像采集單 元、用于將采集的數(shù)據(jù)進行壓縮處理的圖像壓縮單元和用于將壓縮得到的數(shù) 據(jù)進行回放處理的圖像回放單元中的至少一個單元，其中，所述圖像采集單 元與所述圖像壓縮單元連接，所述圖像壓縮單元與所述圖像回放單元連接。所述圖像采集單元具體包括用于向圖像傳感器發(fā)送采集參數(shù)的采集參數(shù)輸出接口 、用于向圖像傳感 器發(fā)送時鐘頻率的主時鐘輸出單元、用于接收圖像傳感器發(fā)送的像素時鐘的像素時鐘接收單元和用于執(zhí)行圖像數(shù)據(jù)的采集功能的數(shù)據(jù)采集執(zhí)行單元；所 述采集參數(shù)輸出接口與圖像傳感器相連，所述主時鐘輸出單元與圖像傳感器 相連，所述像素時鐘接收單元與圖像傳感器相連，所述數(shù)據(jù)采集執(zhí)行單元與 圖像傳感器相連。所述圖像回放單元具體包括用于根據(jù)獲取的文件頭信息建立查找表和反量化表的表構(gòu)造單元、 用于判斷塊解壓縮得到的數(shù)據(jù)塊是否在設(shè)備的可顯示范圍之內(nèi)并將在設(shè)
備顯示范圍之內(nèi)的數(shù)據(jù)塊輸出的裁剪單元、用于對變換之后的數(shù)據(jù)進行亮度分量的下采樣處理的下采樣單元，所述表構(gòu)造單元的 一端與用于獲取壓縮文件的文件頭信息的數(shù)據(jù)信息獲取單元相連，另一端與用于對壓縮文件進行塊解壓縮處理的塊解碼單元相連，還有 一端與用于根據(jù)表構(gòu)造單元的具體內(nèi)容對輸出數(shù)據(jù)塊進行變換處理的變換單元相連；所述裁剪單元的一端與所述塊解碼單元相連，另一端與所述變換單元相連；所述下采樣單元與所述變換單元相連。由上述本實用新型提供的技術(shù)方案可以看出，本實用新型采用嵌入式處 理器對圖像數(shù)據(jù)進行采集、壓縮和回放處理中的至少一個處理，減小了系統(tǒng) 的體積，降低了系統(tǒng)的成本，并且能夠?qū)D像數(shù)據(jù)進行靈活處理。


圖1為現(xiàn)有的實現(xiàn)嵌入式系統(tǒng)的圖像處理的結(jié)構(gòu)圖； 圖2為本實用新型的裝置的結(jié)構(gòu)圖； 圖3為本實用新型的裝置與圖像傳感器的連接示意圖； 圖4為本實用新型的YUV420采樣方式的示意圖； 圖5為本實用新型在圖像回放處理過程中的數(shù)據(jù)處理流程圖； 圖6為本實用新型的對Y分量進行下采樣的過程示意圖。
具體實施方式
本實用新型采用嵌入式處理器實現(xiàn)對圖像數(shù)據(jù)的采集、壓縮和回放處理 中的至少一個處理，即，本實用新型的嵌入式處理器可以進行采集、壓縮和 回放處理，或者采集、壓縮和回放處理中的任意兩個處理，或者采集、壓縮和回放處理中的任意 一 個處理。本實用新型的嵌入式處理器的具體結(jié)構(gòu)如圖 2所示，包括圖像采集單元、圖像壓縮單元和圖像回放單元中的至少一個單 元，其中，圖像采集單元，用于從圖像傳感器采集數(shù)據(jù)；圖像壓縮單元，用于與圖像采集單元相連，將圖像采集單元采集的數(shù)據(jù)-進fl"壓縮處J里；圖像回放單元，用于與圖像壓縮單元相連，將圖像壓縮單元壓縮得到的 數(shù)據(jù)進行回放處理。其中，圖像采集單元包括采集參數(shù)輸出接口，用于與圖像傳感器相連，向圖像傳感器發(fā)送采集參 數(shù)；具體可以通過嵌入式處理器的串行數(shù)據(jù)和串行時鐘向圖像傳感器發(fā)送采 集參數(shù)；該采集參數(shù)被存儲在圖像傳感器的內(nèi)部寄存器中；主時鐘產(chǎn)生單元，用于產(chǎn)生時鐘頻率；主時鐘輸出單元，用于與主時鐘產(chǎn)生單元相連，向圖像傳感器發(fā)送時鐘 頻率，該時鐘頻率作為圖像傳感器的主時鐘；像素時鐘接收單元，用于與圖像傳感器相連，接收圖像傳感器發(fā)送的像 素時鐘；該像素時鐘的大小根據(jù)圖像傳感器的內(nèi)部寄存器中的具體參數(shù)確 定，并由主時鐘產(chǎn)生；數(shù)據(jù)采集執(zhí)行單元，用于與圖像傳感器相連，在像素時鐘的驅(qū)動下，執(zhí) 行圖像數(shù)據(jù)的采集功能；同步信號單元，用于與圖像傳感器相連，通過行、場同步信號分別和圖像傳感器同步傳輸圖像數(shù)據(jù)的行和列的起始。 該圖像回放單元具體包括數(shù)據(jù)信息獲取單元，用于與圖像壓縮單元相連，獲取壓縮文件的文件頭 信息； 表構(gòu)造單元，用于與塊解碼單元、變換單元以及數(shù)據(jù)信息獲取單元相 連，根據(jù)獲取的文件頭信息建立查找表和反量化表；該查找表和反量化表用 于在需要進行圖像運算的情況下，根據(jù)運算的參數(shù)直接從查找表和反量化表中查找出結(jié)果，以便于節(jié)省時間；塊解碼單元，用于與裁剪單元相連，對壓縮文件進行塊解壓縮的處理， 并將塊解壓縮后的數(shù)據(jù)塊傳輸至裁剪單元；裁剪單元，用于判斷塊解壓縮得到的數(shù)據(jù)塊是否在設(shè)備的可顯示范圍之 內(nèi)，并將在設(shè)備顯示范圍之內(nèi)的數(shù)據(jù)塊傳輸至變換單元；變換單元，用于與裁剪單元相連，接收裁剪單元的輸出^:據(jù)塊，并根據(jù) 表構(gòu)造單元的具體內(nèi)容對輸出數(shù)據(jù)塊進行變換處理；下采樣單元，用于與變換單元相連，對變換之后的數(shù)據(jù)進行亮度分量的 下采樣處理；色彩變換單元，用于將圖像數(shù)據(jù)變換到顯示單元能夠顯示的格式； 顯示單元，用于將變換單元的結(jié)果在顯示設(shè)備上輸出。法包括圖像數(shù)據(jù)的采集、壓縮和回放三個階段，下面分別對這三個階段的 處理過程進行詳細4又述。圖像數(shù)據(jù)的采集過程包括如下步驟步驟1:嵌入式處理器向圖像傳感器發(fā)送采集參數(shù)和主時鐘頻率；步驟2:圖像傳感器接收嵌入式處理器發(fā)送的采集參數(shù)和主時鐘頻率，并將該采集參數(shù)存儲在內(nèi)部寄存器中，由主時鐘得到像素時鐘；步驟3:圖像傳感器向嵌入式處理器發(fā)送圖像數(shù)據(jù)和像素時鐘；步驟4:嵌入式處理器根據(jù)在像素時鐘的驅(qū)動下，接收圖像數(shù)據(jù)，并且通過行、場同步信號分別同步圖像數(shù)據(jù)的行和列的起始。當整幅圖像數(shù)據(jù)采集完畢后，嵌入式處理器對采集到的圖像數(shù)據(jù)進行壓
縮處理。在進行壓縮處理的過程中，使用標準壓縮算法進行壓縮，這樣可以 使文件尺寸進一步縮小。并且，在壓縮處理的過程中，圖像數(shù)據(jù)的一部分壓 縮完成后，將壓縮后的文件存儲至其他文件系統(tǒng)(比如閃存、存儲卡、硬盤 等存儲介質(zhì))中，之后，再進行圖像數(shù)據(jù)的其他部分的壓縮處理，并將壓縮 后的文件存儲至其他文件系統(tǒng)，直到整個圖像數(shù)據(jù)壓縮完畢。采用該壓縮方 法，可以減小嵌入式處理器的內(nèi)存消耗，以便于提高嵌入式處理器的處理速 度。在需要對壓縮后的圖像數(shù)據(jù)進行回放處理的情況下，該回放處理的步驟包括步驟1:嵌入式處理器解析圖像數(shù)據(jù)的格式，獲取壓縮文件的文件頭信 息；該文件頭信息可以包括文件頭中的圖像尺寸、采樣方式、色彩深度等 信息；步驟2:通過文件頭信息建立查找表和反量化表；即事先將圖像運算的運 算結(jié)果制作成查找表和反量化表，當需要進行運算時，直接從表中查找結(jié) 果；步驟3:針對不同的顯示設(shè)備，進行壓縮文件的塊解碼處理； 步驟4:判斷步驟3中塊解碼處理得到的數(shù)據(jù)塊是否在設(shè)備的可顯示范圍 之內(nèi)，若在設(shè)備的可現(xiàn)實范圍之內(nèi)，則對該數(shù)據(jù)塊進行變換、下采樣等處 理，以適應相應設(shè)備的顯示分辨率、色彩類型等需求；對判斷為設(shè)備的可現(xiàn) 實范圍以外的數(shù)據(jù)塊，則返回執(zhí)行步驟3，直到壓縮文件塊解碼完畢；這 樣，對設(shè)備的可現(xiàn)實范圍以外的數(shù)據(jù)塊不作任何處理，顯著節(jié)省了執(zhí)行時 間；步驟5:將圖像經(jīng)圖形接口發(fā)送至顯示設(shè)備。下面以本實用新型的典型應用在ARM (高級精簡指令集處理器)作為 嵌入式處理器的情況下，在ARM平臺上，實現(xiàn)終端的拍照功能為例，對本實用新型的具體實施方式
進行詳細敘述。本實用新型實施例的終端中的嵌入式處理器與圖像傳感器的連接示意圖如圖3所示，圖3所示的結(jié)構(gòu)圖中包括用于實現(xiàn)圖像數(shù)據(jù)的采集、壓縮和回 放處理的嵌入式處理器，圖像傳感器，該圖像傳感器與嵌入式處理器直接連 接。該嵌入式處理器與圖像傳感器通過串行數(shù)據(jù)、串行時鐘、主時鐘、像素 時鐘、數(shù)據(jù)總線和行、場同步總線相連，其中，串行數(shù)據(jù)、時鐘總線，用于初始化配置圖像傳感器的寄存器；圖像傳感器的主時鐘，由嵌入式處理器產(chǎn)生；像素時鐘，由圖像傳感器根據(jù)寄存器確定，并由主時鐘分頻得到，具體 可以將主時鐘八分頻得到像素時鐘，即像素時鐘為主時鐘大小的八分之一 ， 像素時鐘與嵌入式處理器的INT (外部中斷)引腳相連；數(shù)據(jù)總線與嵌入式處理器的GPIO (通用輸入輸出)端口相連，用于傳輸 圖像數(shù)據(jù)；行、場同步信號分別同步行和列的起始。本實用新型實施例的圖像的采集過程包括如下步驟步驟1:嵌入式處理器通過串行數(shù)據(jù)、時鐘總線配置圖像傳感器的寄存 器，并產(chǎn)生圖像傳感器的主時鐘；步驟2:圖像傳感器根據(jù)步驟1的中對寄存器的配置結(jié)果確定像素時鐘的 大小，并由主時鐘八分頻得到像素時鐘；之所以設(shè)置的像素時鐘比主時鐘 小，是為了使得嵌入式處理器有充足的處理時間，這是因為嵌入式處理器在 進行采集圖像的過程中，同時還可能執(zhí)行響應人機界面搡作、執(zhí)行常規(guī)運算 等操作；步驟3:圖像傳感器向嵌入式處理器發(fā)送圖像數(shù)據(jù)和像素時鐘； 步驟4:嵌入式處理器根據(jù)在像素時鐘的驅(qū)動下，接收圖像數(shù)據(jù)，并且通 過行、場同步信號分別同步圖像數(shù)據(jù)的行和列的起始；在圖像數(shù)據(jù)的傳輸過
程中，當圖像數(shù)據(jù)傳輸至嵌入式處理器，會引發(fā)嵌入式處理器的中斷，而使 嵌入式處理器進入服務(wù)程序；在嵌入式處理器處于服務(wù)程序的過程中，嵌入式處理器中GPIO端口讀取圖像數(shù)據(jù)；圖像數(shù)據(jù)讀取完成后，將讀取的圖像數(shù)據(jù)傳輸?shù)絻?nèi)存中，以等待進一步處理。在整幅圖像采集完畢后，對采集到的圖像數(shù)據(jù)進行壓縮處理。圖像壓縮使用JPEG (—種壓縮標準)標準壓縮算法中的YUV420 (—種采樣方式)采 樣方式。在壓縮處理的過程中，圖像數(shù)據(jù)的一部分壓縮完成后，將壓縮后的 文件存儲至其他文件系統(tǒng)(比如閃存、存儲卡、硬盤等存儲介質(zhì))中，之 后，再進行圖像數(shù)據(jù)的其他部分的壓縮處理，并將壓縮后的文件存儲至其他 文件系統(tǒng)，直到整個圖像數(shù)據(jù)壓縮完畢。 YU V420采樣方式的示意圖如圖4所示從圖4可以看出，原始數(shù)據(jù)為Y(亮度)、Cb、 Cr(Cb、 Cr統(tǒng)稱為色差 分量)，經(jīng)YUV420采樣方式下采樣之后，人眼不敏感的Cb、 Cr色度分量從 16x16下采樣到8x8，而原始數(shù)據(jù)丫保持不變，顯著降低了對存儲空間的需求。在整幅圖像壓縮完畢后，對壓縮后的文件進行回放處理，壓縮文件的回 放處理流程如圖5所示，包括如下步驟步驟1:讀取壓縮文件的文件頭，并判斷該文件頭的格式是否正確，若正 確，執(zhí)行步驟2，否則結(jié)束；步驟2:根據(jù)讀取的文件頭信息重建哈夫曼解碼表、反量化表；步驟3:對壓縮文件進行塊解碼操作；步驟4:判斷步驟3中塊解碼操作得到的數(shù)據(jù)塊是否進入終端LCD (液晶 顯示器)的可視區(qū)域，若是，則執(zhí)行步驟5,若不是，則判斷是否到達壓縮 文件末尾，若不是，則執(zhí)行步驟3，若是到達壓縮文件末尾，則結(jié)束；步驟5:對數(shù)據(jù)塊進行塊反量化、反離散余弦變換操作，其中直流分量根據(jù)原始值進行解差分編碼，之后得到還原后的圖像數(shù)據(jù)，該圖像數(shù)據(jù)是YUV420格式的；這兩個步驟使用了先前重建的反量化表，同樣加快了處理 速度；步驟6:將YUV420格式的圖像數(shù)據(jù)進行亮度分量下采樣操作，由于圖像 數(shù)據(jù)中的Cb和Cr分量在壓縮時已經(jīng)進行了下采樣，所以只需要對Y分量進行 下采樣；對Y分量進行下采樣的算法是本身、右、下、右下四個點作平 均，具體示意圖如圖6所示，該下采樣算法運算簡單，節(jié)省了處理時間。經(jīng) 下采樣后的圖像數(shù)據(jù)，尺寸已經(jīng)和LCD尺寸匹配了；步驟7:逐點進行YCbCr到RGB色彩空間的轉(zhuǎn)換運算，將圖像數(shù)據(jù)轉(zhuǎn)換 成LCD所能接受的RGB格式；步驟8:輸出該數(shù)據(jù)塊，并判斷是否到達壓縮文件結(jié)尾，若是，則結(jié)束， 否則，執(zhí)行步驟3。比如壓縮后的圖像數(shù)據(jù)的尺寸為640x480，而終端LCD尺寸為 176x224,為了能夠適應LCD的顯示，要對壓縮后的圖像數(shù)據(jù)進行裁剪(步 驟4 )和下采樣處理(步驟6)。處理的方法為，先從640x480裁減到 352x448 (通過步驟4的處理完成)，再將其下采樣到172x224 (通過步驟6 的處理完成)。這些算法在JPEG解碼過程中交叉進行，減少了訪問圖像數(shù) 據(jù)的次數(shù)，從而提高了效率。以上所述，僅為本實用新型較佳的具體實施方式
，但本實用新型的保護 范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本實用新型揭露的技 術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應涵蓋在本實用新型的保護范圍之 內(nèi)。因此，本實用新型的保護范圍應該以權(quán)利要求書的保護范圍為準。
權(quán)利要求1、一種圖像處理的裝置，其特征在于，所述裝置與圖像傳感器相連，所述裝置包括用于進行圖像數(shù)據(jù)的采集、壓縮和回放處理中的至少一個處理的嵌入式處理器。
2、 如權(quán)利要求1所述的裝置，其特征在于，所述嵌入式處理器具體包 括用于從圖像傳感器采集數(shù)據(jù)的圖像采集單元、用于將采集的數(shù)據(jù)進行壓 縮處理的圖像壓縮單元和用于將壓縮得到的數(shù)據(jù)進行回放處理的圖像回放單 元中的至少一個單元，其中，所述圖像采集單元與所述圖像壓縮單元連接， 所述圖像壓縮單元與所述圖像回放單元連接。
3、 如權(quán)利要求2所述的裝置，其特征在于，所述圖像采集單元具體包括用于向圖像傳感器發(fā)送采集參數(shù)的采集參數(shù)輸出接口 、用于向圖像傳感 器發(fā)送時鐘頻率的主時鐘輸出單元、用于接收圖像傳感器發(fā)送的像素時鐘的 像素時鐘接收單元和用于執(zhí)行圖像數(shù)據(jù)的采集功能的數(shù)據(jù)采集執(zhí)行單元；所 述采集參數(shù)輸出接口與圖像傳感器相連，所述主時鐘輸出單元與圖像傳感器 相連，所述像素時鐘接收單元與圖像傳感器相連，所述數(shù)據(jù)釆集執(zhí)行單元與 圖像傳感器相連。
4、 如權(quán)利要求2所述的裝置，其特征在于，所述圖像回放單元具體包括用于根據(jù)獲取的文件頭信息建立查找表和反量化表的表構(gòu)造單元、 用于判斷塊解壓縮得到的數(shù)據(jù)塊是否在設(shè)備的可顯示范圍之內(nèi)并將在設(shè) 備顯示范圍之內(nèi)的數(shù)據(jù)塊輸出的裁剪單元、用于對變換之后的數(shù)據(jù)進行亮度分量的下采樣處理的下采樣單元， 所述表構(gòu)造單元的一端與用于獲取壓縮文件的文件頭信息的數(shù)據(jù)信息獲 連，還有一端與用于根據(jù)表構(gòu)造單元的具體內(nèi)容對輸出數(shù)據(jù)塊進行變換處理的變才炎單元相連；所述裁剪單元的一端與所述塊解碼單元相連，另一端與所述變換單元相連；所述下采樣單元與所述變換單元相連。
專利摘要本實用新型涉及一種圖像處理的裝置，包括嵌入式處理器；該嵌入式處理器與圖像傳感器相連，用于進行圖像數(shù)據(jù)的采集、壓縮和回放處理中的至少一個處理。本實用新型采用嵌入式處理器對圖像數(shù)據(jù)進行采集、壓縮和回放處理中的至少一個處理，減小了系統(tǒng)的體積，降低了系統(tǒng)的成本，并且能夠?qū)D像數(shù)據(jù)進行靈活處理。
文檔編號H04N5/225GK201044472SQ20072014919
公開日2008年4月2日 申請日期2007年5月18日 優(yōu)先權(quán)日2007年5月18日
發(fā)明者青 貢, 郜文參 申請人:北京思比科微電子技術(shù)有限公司