專利名稱：圖像處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，更詳細地說，涉及用于減少圖像處理延遲的 裝置及方法。
背景技術(shù)：
近年來，通過將小型且薄型的攝像元件搭載到便攜電話機或PDA (Personal Digital Assistant:個人數(shù)字助理)等小型且薄型的便攜用終端 上，從而使得便攜用終端能夠作為攝像裝置工作，由此，不僅能夠遠程 傳送音頻信息，還能夠傳送圖像信息。攝像元件不僅可以配備在便攜電 話機或PDA中，還可配備在MP3播放機等便攜用終端中，實現(xiàn)為能夠 在各種裝置中將外部影像作為電子數(shù)據(jù)保持。
在這種攝像裝置中，通常使用的有CCD (Charge Coupled Device: 電荷耦合器件)型圖像傳感器或CMOS (Complementary Metal-Oxide Semiconductor:互補型氧化金屬半導(dǎo)體)型圖像傳感器等固態(tài)攝像元件。
圖l是簡要地示出通常的攝像裝置的結(jié)構(gòu)的圖，圖2是示出現(xiàn)有技術(shù) 所涉及的用于輸出編碼后的數(shù)據(jù)的信號波形的圖，圖3是示出通常的JPEG 編碼過程的圖。
如圖1所述，將外部影像轉(zhuǎn)換成電數(shù)據(jù)并顯示到顯示部150上的攝 像裝置包括圖像傳感器110、圖像信號處理器(ISP， Image Signal Processor) 120、后端芯片(Back-end chip) 130、基帶芯片(Baseband Chip) 140、以及顯示部150。除此之外，攝像裝置還包括用于存儲轉(zhuǎn)換后的電 數(shù)據(jù)的存儲器、將模擬信號轉(zhuǎn)換成數(shù)字信號的AD轉(zhuǎn)換器等。
圖像傳感器110是具有拜耳模式(Bayer Pattern)的傳感器，按照每 個單位像素，輸出與經(jīng)由透鏡輸入的光量相應(yīng)的電信號(rawdata)。
圖像信號處理器120將從圖像傳感器110輸入的電信號(rawdata)轉(zhuǎn)換成YUV值，將轉(zhuǎn)換后的YUV值輸出到后端芯片130。 YUV方式是關(guān)注 人眼對亮度比色相更加敏感這一事實的方式，將顏色分為作為亮度 (Luminance)的Y成分和作為色相(Chrominance)的U及V成分。由于 誤差對Y成分的影響很大，所以以多于作為色相成分的U和V的比特對其 進行編碼。典型的Y:U:V的比例為4:2:2。
圖像信號處理器120將轉(zhuǎn)換后的YUV值依次存儲到FIFO中，從而 能夠使得后端芯片130得到相應(yīng)信息的輸入。
后端芯片130通過預(yù)先指定的編碼方法將所輸入的YUV值轉(zhuǎn)換成 JPEG或BMP，存儲到存儲器中，或?qū)⑵浣獯a，顯示到顯示部150上。 后端芯片130還能夠進行圖像的放大、縮小、旋轉(zhuǎn)等工作。當然，如圖l 所示，基帶芯片140還可以從后端芯片130輸入解碼后的數(shù)據(jù)，將該數(shù) 據(jù)顯示到顯示部150上。
基帶芯片140執(zhí)行對攝像裝置的動作進行整體控制的功能。例如， 若使用者經(jīng)由鍵輸入部(未圖示)輸入攝像命令，則基帶芯片140還可 以通過向后端芯片130傳送圖像生成命令，使后端芯片130生成與所輸 入的外部影像相應(yīng)的編碼后的數(shù)據(jù)。
顯示部150顯示通過后端芯片130或基帶芯片140的控制來提供的 解碼后的數(shù)據(jù)。
圖2示出蓄積在存儲器中的數(shù)據(jù)被依次輸入以進行解碼等處理的過 程的信號波形。通常，后端芯片130實現(xiàn)為能夠輸入YUV/拜耳(BAYER) 格式的數(shù)據(jù)，作為用于接受這種數(shù)據(jù)輸入的接口，使用時鐘信號 (P一CLK)、垂直同步信號(V—sync)、有效數(shù)據(jù)使能信號(H一REF)、以 及數(shù)據(jù)(DATA)信號。
如圖2所示，現(xiàn)有的后端芯片130如下構(gòu)成在對一個幀(例如， 第k個輸入的幀，k為自然數(shù))進行編碼處理的過程中，針對后續(xù)幀(例 如，第k+l個輸入的幀)輸入垂直同步信號(V—sync2)和/或圖像數(shù)據(jù)， 所以存在對圖像數(shù)據(jù)進行編碼時產(chǎn)生錯誤的可能性很大的問題。
艮P，現(xiàn)有的后端芯片130有時不僅對當前正在處理的幀進行編碼處 理，還一同對下一幀進行編碼處理，所以存在不能完成正確的數(shù)據(jù)編碼并且，還存在如下問題在后端芯片130的編碼部將編碼后的數(shù)據(jù) 傳遞給解碼部，或存儲到存儲器的情況下，在接收到新的垂直同步信號
(V—sync2)之后，不能針對當前幀正常輸入編碼后的數(shù)據(jù)。
而且，如圖2所示，現(xiàn)有的圖像信號處理器120交替輸出可在后端 芯片130中存儲數(shù)據(jù)時使用的H一REF信號。但是，這有可能成為后端芯 片130的存儲器切換記錄使能(Write Enable)信號時引起電力消耗的原 因。
圖3示出通過后端芯片130進行的通常的JPEG編碼過程。JPEG編 碼過程200對于本領(lǐng)域的技術(shù)人員來說是顯而易見的，所以進行簡要說 明。 ，
如圖3所示，所輸入的YUV值的圖像被分成8x8像素大小的塊，對 各塊進行DCT (離散余弦轉(zhuǎn)換Discrete Cosine Transform) (210)。 DCT 表示通過按照空間圖像將圖像轉(zhuǎn)換成與之相應(yīng)的頻率形式來進行傅立葉 轉(zhuǎn)換(FourierTransform)的一連串的轉(zhuǎn)換過程。
接著，量化器(Quantizer)根據(jù)給視覺帶來的影響，對各塊的DCT 系數(shù)進行加權(quán)，以進行量化(220)。將該權(quán)重表稱為量化表。對于量化 表的值，在DC附近取較小的值，在高頻下，取較大的值，從而以較小 的損失傳輸信息量較多的DC附近的數(shù)據(jù)，而在高頻下實現(xiàn)較高的壓縮 率。
然后，通過作為無損耗編碼器(Lossless coder)的熵編碼器(entr叩y encoder)生成最終壓縮的數(shù)據(jù)(230)。經(jīng)過量化處理過程的系數(shù)由表示 為0的一連串連續(xù)構(gòu)成。因此，通過將數(shù)據(jù)表示為碼符的游程(Run-length) 編碼，能夠縮小數(shù)據(jù)大小。并且，通過哈夫曼(Huffinan)編碼，也能夠 減小數(shù)據(jù)大小。哈夫曼算法統(tǒng)計性地對更加重復(fù)頻繁地生成的碼符分配 更短的符號。游程以及哈夫曼的這2個熵編碼均是將數(shù)據(jù)大小縮小的編 碼過程，但不產(chǎn)生數(shù)據(jù)損失。
經(jīng)過上述過程進行編碼的數(shù)據(jù)被積載到存儲器中。后端芯片130進 行將積載在存儲器中的數(shù)據(jù)解碼并顯示到顯示部150上等的處理?，F(xiàn)有的圖像信號處理器120實現(xiàn)為以比后端芯片140的時鐘速率 (Clockrate)低的時鐘速率進行動作。
通常，圖像傳感器110以拜耳圖像形式輸出電信號(raw data)。所 輸出的電信號通過在圖像信號處理器120中進行的預(yù)先指定的預(yù)處理(例 如，圖像處理、內(nèi)插(interpolation)等)轉(zhuǎn)換成RGB數(shù)據(jù)形式，該RGB 數(shù)據(jù)為輸出而轉(zhuǎn)換成YUV數(shù)據(jù)。其結(jié)果，所輸出的數(shù)據(jù)量為所輸入的數(shù) 據(jù)量的約2倍。因此，在圖像信號處理器120的輸出端中使用的時鐘速 率也為在圖像信號處理器120內(nèi)部中用于圖像處理的時鐘速率的約2倍。 在后端芯片130中使用的時鐘速率也為在圖像信號處理器120內(nèi)部用于 圖像處理的時鐘速率的約2倍。
如上所述，由于在圖像信號處理器120的輸出端中使用的時鐘速率 較高，所以會在處理圖像時出現(xiàn)問題。
艮P，在考慮到最近的高像素化傾向時，可以認為圖像處理的速度是 重要的因素。在以往的VGA或1兆字節(jié)左右的圖像處理時，為了能夠使使 用者識別為自然的圖像，20MHz 40MHz左右的時鐘頻率就已足夠。但 是，在發(fā)展到3 5兆字節(jié)以上的當前狀態(tài)，為了滿足每秒10 20幀，要 求60MHz 80MHz下的圖像處理。
但是，在考慮到現(xiàn)有的圖像信號處理器120以及后端芯片130的聯(lián) 動結(jié)構(gòu)時，在增加用于圖像信號處理器120的圖像處理的時鐘速率的情 況下，后端芯片130的時鐘速率也要隨之變得非常高，這是技術(shù)上不能 實現(xiàn)的問題。
像這樣，現(xiàn)有的圖像信號處理器120將高像素圖像處理成低頻時鐘速 率，所以在捕獲(capture) l個場景時，需要大量時間，不能捕獲瞬間的 場景，而捕獲包含延遲時間的場景。即，存在如下問題因在圖像捕獲 時產(chǎn)生的延遲(lagging)現(xiàn)象，在拍攝動態(tài)物體時，捕獲到模糊的圖像。
并且，為了以低頻時鐘速率進行圖像處理，在對一個圖像完成JPEG 編碼之前，輸入后續(xù)幀的圖像數(shù)據(jù)，從而存在發(fā)生沖突的問題
發(fā)明內(nèi)容
于是，用于解決上述問題的本發(fā)明的目的在于，提供一種圖像處理
方法及裝置，其能夠迅速進行YUV數(shù)據(jù)的編碼，從而在捕獲圖像時，將 延遲現(xiàn)象最小化。
本發(fā)明的另一目的在于，提供一種圖像處理方法及裝置，其在針對 一個幀進行編碼處理時，限制針對后續(xù)幀的數(shù)據(jù)輸入，從而能夠抑制數(shù) 據(jù)間的沖突。
本發(fā)明的又一目的在于，提供一種圖像處理方法及裝置，其通過將 用于YUV數(shù)據(jù)的編碼處理的時鐘速率維持在用于輸出編碼后的圖像數(shù) 據(jù)的時鐘速率以上，從而能夠在數(shù)據(jù)的傳送區(qū)間，迅速地傳送更多的數(shù) 據(jù)。
本發(fā)明的又一目的在于，提供一種圖像處理方法及裝置，其通過迅 速地將有效數(shù)據(jù)傳送到后端芯片，從而后端芯片能夠?qū)⒕幋a后的數(shù)據(jù)迅 速解碼。
本發(fā)明的又一目的在于，提供一種圖像處理方法及裝置，其圖像信 號處理器在將編碼后的數(shù)據(jù)提供給后端芯片時，使用通常的接口結(jié)構(gòu)， 從而在硬件的設(shè)計以及控制方面具有有利的效果。
本發(fā)明的又一目的在于，提供一種圖像處理方法及裝置，其能夠防 止接收端(例如，后端芯片、基帶芯片)的處理效率增進以及電力消耗。
本發(fā)明的又一目的在于，提供一種圖像處理方法及裝置，其圖像信 號處理器能夠根據(jù)編碼速度決定可否對所輸入的幀進行編碼，能夠進行 順利的編碼動作。
本發(fā)明的又一目的在于，提供一種圖像處理的延遲減少裝置及方法， 其在將通過編碼器編碼后的數(shù)據(jù)傳遞到接收端時，能夠在最佳時刻，輸 出垂直同步信號(V一sync)。
本發(fā)明的又一目的在于，提供一種圖像處理的延遲減少裝置及方法， 當在接收端輸入編碼后的數(shù)據(jù)的情況下，不會因表示輸入新幀的垂直同 步信號的輸入而導(dǎo)致當前幀進行了處理的數(shù)據(jù)的輸入受到影響。
本發(fā)明的又一 目的在于，提供一種圖像處理的延遲減少裝置及方法， 其使僅由構(gòu)成圖像的有效數(shù)據(jù)構(gòu)成的編碼后的數(shù)據(jù)以集合方式傳送到后端芯片，以增進后端芯片的處理效率以及處理速度。
本發(fā)明的又一 目的在于，提供一種圖像處理的延遲減少裝置及方法，
其將在后端芯片中存儲數(shù)據(jù)時可利用的H一REF信號恒定維持在高電平 (High)或低電平(Low)狀態(tài)，從而能夠防止由后端芯片的存儲器的記 錄使能(Write Enable)信號的切換引起電力消耗。
本發(fā)明的又一目的在于，提供一種圖像處理的延遲減少裝置及方法， 其通過使構(gòu)成圖像的有效數(shù)據(jù)集中配置在所輸出的數(shù)據(jù)串的前端部，從 而能夠增進后端芯片的處理效率以及處理速度。
其他本發(fā)明的目的將通過以下敘述的優(yōu)選實施方式進一步加以明確。
為了達到上述目的，根據(jù)本發(fā)明的一側(cè)面，提供一種圖像信號處理 器和/或包括所述圖像信號處理器的攝像裝置。
根據(jù)本發(fā)明的一個優(yōu)選實施方式，本發(fā)明提供一種攝像裝置，該攝 像裝置包括圖像傳感器、圖像信號處理器以及接收端，所述攝像裝置包 括圖像傳感器，其生成與外部影像相應(yīng)的電信號(raw data)并輸出； 以及圖像信號處理器，其具備編碼器，使用與所述電信號相應(yīng)的YUV數(shù) 據(jù)或所述編碼器，生成編碼后的數(shù)據(jù)，輸出到所述接收端，在此，所述 接收端是后端芯片(Back-EndChip)或基帶芯片(BasebandChip)。在此， 用于生成所述YUV數(shù)據(jù)的第一處理時鐘速率小于用于生成所述編碼后 的數(shù)據(jù)的第二處理時鐘速率。
并且，在此，所述第一處理時鐘速率為用于輸出所述YUV數(shù)據(jù)和所 述編碼后的數(shù)據(jù)的輸出時鐘速率以下，所述第二處理時鐘速率為所述輸 出時鐘速率以上。
所述第一處理時鐘速率與所述第二處理時鐘速率之比可以是與一個 幀相應(yīng)的所述YUV數(shù)據(jù)的大小和應(yīng)進行編碼的數(shù)據(jù)的大小之比。所述大 小可以是面積、橫向長度、縱向長度、對角線長度中的任意一個。
所述圖像傳感器能夠以符合與所述第一處理時鐘速率或所述第二處 理時鐘速率相應(yīng)地從所述圖像信號處理器輸入的時鐘信號的方式生成所 述電信號并輸出。^f述第一處理時鐘速率是預(yù)覽(Preview)狀態(tài)的時鐘速率，所述第 二處理時鐘速率是用于處理與從所述接收端輸入的捕獲命令相應(yīng)的幀的 時鐘速率。
在對與所述捕獲命令相應(yīng)的第k個幀進行處理的過程中，在從所述圖 像傳感器輸入表示開始輸入第k+l個幀的垂直同步信號(V—sync)的情況 下，所述圖像信號處理器向所述圖像傳感器傳送跳過(skip)命令，所述 圖像傳感器不輸出與所述第k+l個幀相應(yīng)的電信號，其中，k為自然數(shù)。
在對與所述捕獲命令相應(yīng)的第k個幀進行處理的過程中，在從所述 圖像傳感器輸入表示開始輸入第k+l個幀的垂直同步信號(V—sync)的 情況下，所述圖像信號處理器能夠跳過(skip)從所述圖像傳感器輸入的 電信號的處理，其中，k為自然數(shù)。
所述圖像信號處理器包括緩存，該緩存進行臨時存儲，以將所述編 碼后的數(shù)據(jù)傳送到所述接收端。在此，當存儲于所述緩存的編碼后的數(shù) 據(jù)量為預(yù)先指定的大小以上時，減小所述第二處理時鐘速率。
在對與所述捕獲命令相應(yīng)的第k個幀進行處理的過程中，指示所述圖 像傳感器，使之延遲輸入第k+l個幀。
本發(fā)明的一個優(yōu)選實施方式涉及的圖像信號處理器包括時鐘生成
器，其輸出與處理時鐘速率相應(yīng)的時鐘信號；控制單元，其進行如下控 制在被輸入捕獲命令時，使所述時鐘生成器輸出與增加后的處理時鐘 速率相應(yīng)的時鐘信號；子ISP，其根據(jù)所述時鐘信號，使用從圖像傳感器
輸入的電信號，生成YUV數(shù)據(jù)；編碼部，其根據(jù)所述時鐘信號，使用所 述YUV數(shù)據(jù)生成編碼后的圖像數(shù)據(jù)；存儲器，其蓄積所述編碼后的圖像 數(shù)據(jù)；以及輸出部，其通過所述控制單元的控制，在每個預(yù)先指定的時 刻，將所述蓄積的編碼后的圖像數(shù)據(jù)輸出到接收端，其中，所述接收端 是后端芯片或基帶芯片。
所述圖像信號處理器還包括緩存管理部，該緩存管理部監(jiān)視所述存 儲器中蓄積的編碼后的圖像數(shù)據(jù)的量，生成監(jiān)視信息。在此，所述控制 單元使用所述監(jiān)視信息來增減所述處理時鐘速率。
在被輸入所述捕獲命令之前，所述輸出部將通過所述子ISP輸出的所述YUV數(shù)據(jù)輸出到所述接收端。
在對與所述捕獲命令相應(yīng)的第lc個幀進行處理的過程中，在從所述
圖像傳感器輸入表示開始輸入第k+l個幀的垂直同步信號(V—sync)的 情況下，所述控制單元向所述圖像傳感器傳送跳過(skip)命令，所述圖 像傳感器不輸出與所述第k+l個幀相應(yīng)的電信號，其中，k為自然數(shù)。
在對與所述捕獲命令相應(yīng)的第k個幀進行處理的過程中，在從所述圖 像傳感器輸入表示開始輸入第k+l個幀的垂直同步信號(V—sync)的情況 下，所述控制單元向所述子ISP傳送跳過命令，所述子ISP跳過(skip)與 所述第k+l個幀相應(yīng)的YUV數(shù)據(jù)生成，k為自然數(shù)。
在對與所述捕獲命令相應(yīng)的第k個幀進行處理的過程中，指示所述圖 像傳感器，使之延遲輸入第k+l個幀，其中，k為自然數(shù)。
為了達到上述目的，根據(jù)本發(fā)明的另一方面，提供一種圖像處理方 法和/或記錄有用于執(zhí)行該方法的程序的記錄介質(zhì)。
根據(jù)本發(fā)明的一個優(yōu)選實施方式，提供一種圖像處理方法，該圖像 處理方法由攝像裝置的圖像信號處理器執(zhí)行，所述攝像裝置包括圖像傳 感器、所述圖像信號處理器以及接收端，所述圖像處理方法包括執(zhí)行如 下處理的步驟(a)依照第一處理時鐘速率，生成與從所述圖像傳感器 輸入的電信號(raw data)相應(yīng)的YUV數(shù)據(jù)，依照第一輸出時鐘速率，將 所述YUV數(shù)據(jù)輸出到所述接收端，在此，所述接收端是后端芯片或基帶 芯片；(b)從所述接收端輸入捕獲命令；以及(c)依照第二處理時鐘速 率，生成與從所述圖像傳感器輸入的電信號(rawdata)相應(yīng)的編碼后的 數(shù)據(jù)，依照第二輸出時鐘速率，將所述編碼后的數(shù)據(jù)輸出到所述接收端。 在此，所述圖像信號處理器具備編碼器，所述第一處理時鐘速率為所述 第二處理時鐘速率以下。
所述圖像傳感器能夠以符合與所述第一處理時鐘速率或所述第二處 理時鐘速率相應(yīng)地從所述圖像信號處理器輸入的時鐘信號的方式生成所 述電信號并輸出。
所述第一處理時鐘速率是預(yù)覽(Preview)狀態(tài)的時鐘速率，所述第 二處理時鐘速率是用于處理與從所述接收端輸入的捕獲命令相應(yīng)的幀的時鐘速率。
所述步驟(C)包括執(zhí)行如下處理的步驟依照所述第二處理時鐘速
率，生成與從所述圖像傳感器輸入的電信號(rawdata)相應(yīng)的編碼后的 數(shù)據(jù)；將所述編碼后的數(shù)據(jù)存儲到緩存中；將在符合預(yù)先指定的的期間 內(nèi)存儲于所述緩存的所述編碼后的數(shù)據(jù)，按照每個預(yù)先指定的時刻，依 照所述第二輸出時鐘速率輸出到所述接收端。在此，在所述緩存中存儲 的編碼后的數(shù)據(jù)量為預(yù)先指定的大小以上的情況下，能夠減小所述第二 時鐘速率。
如上所述，本發(fā)明具有如下效果通過迅速進行YUV數(shù)據(jù)的編碼， 從而能夠在捕獲圖像時，將延遲現(xiàn)象最小化。
并且，本發(fā)明具有如下效果針對一個幀進行編碼處理時，限制針 對后續(xù)幀的數(shù)據(jù)輸入，從而能夠抑制數(shù)據(jù)間的沖突。
而且，本發(fā)明具有如下效果通過將用于YUV數(shù)據(jù)的編碼處理的 時鐘速率維持在用于輸出編碼后的圖像數(shù)據(jù)的時鐘速率以上，從而能夠 在數(shù)據(jù)的傳送區(qū)間，迅速地傳送更多的數(shù)據(jù)。
此外，本發(fā)明具有如下效果通過迅速地將有效數(shù)據(jù)傳送到后端芯 片，從而后端芯片能夠?qū)⒕幋a后的數(shù)據(jù)迅速解碼。
另外，本發(fā)明中，圖像信號處理器在將編碼后的數(shù)據(jù)提供給后端芯 片時，使用通常的接口結(jié)構(gòu)，從而在硬件的設(shè)計以及控制方面具有有利 的效果。
并且，本發(fā)明具有如下效果能夠防止接收端(例如，后端芯片、 基帶芯片)的處理效率增進以及電力消耗。
而且，本發(fā)明具有如下效果圖像信號處理器能夠根據(jù)編碼速度決 定可否對所輸入的幀進行編碼，從而能夠進行順利的編碼動作。
此外，本發(fā)明具有如下效果將通過編碼器進行了編碼的數(shù)據(jù)傳遞 到接收端時，能夠在最佳時刻，輸出垂直同步信號(V—sync)。
另外，本發(fā)明具有如下效果在接收端輸入編碼后的數(shù)據(jù)的情況下， 不會因表示輸入新幀的垂直同步信號的輸入而導(dǎo)致當前幀進行了處理的 數(shù)據(jù)的輸入受到影響。并且，本發(fā)明具有如下效果使僅由構(gòu)成圖像的有效數(shù)據(jù)構(gòu)成的編 碼后的數(shù)據(jù)以集合方式傳送到接收端，以增進后端芯片的處理效率以及 處理速度。
而且，本發(fā)明具有如下效果將在后端芯片中存儲數(shù)據(jù)時可利用的
H一REF信號恒定維持在高電平(High)或低電平(Low)狀態(tài)，從而能 夠防止由后端芯片的存儲器的記錄使能(Write Enable)信號的切換引起 電力消耗。
此外，本發(fā)明具有如下效果通過使構(gòu)成圖像的有效數(shù)據(jù)集中配置 在所輸出的數(shù)據(jù)串的前端部，從而能夠增進后端芯片的處理效率以及處 理速度。


圖l是簡要地示出了通常的攝像裝置的結(jié)構(gòu)的圖。 圖2是示出現(xiàn)有技術(shù)所涉及的用于輸出編碼后的數(shù)據(jù)的信號波形的圖。
圖3是示出通常的JPEG編碼過程的圖。
圖4是簡要地示出本發(fā)明的一個優(yōu)選實施方式涉及的攝像裝置的結(jié) 構(gòu)的圖。
圖5是詳細地示出本發(fā)明的一個優(yōu)選實施方式涉及的圖像信號處理 器的結(jié)構(gòu)的圖。
圖6是例示出本發(fā)明的一個優(yōu)選實施方式涉及的用于輸出在圖像信 號處理器中編碼后的數(shù)據(jù)的信號波形的圖。
圖7是例示出本發(fā)明的另一個優(yōu)選實施方式涉及的用于輸出在圖像 信號處理器中編碼后的數(shù)據(jù)的信號波形的圖。
圖8是概念性地示出本發(fā)明的另一個優(yōu)選實施方式涉及的從圖像信 號處理器傳送并蓄積到后端芯片的存儲器中的數(shù)據(jù)的存儲方式的圖。
圖9是例示出本發(fā)明的另一個優(yōu)選實施方式涉及的用于輸出在圖像 信號處理器中編碼后的數(shù)據(jù)的信號波形的圖。
圖10是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出在圖像信號處理器中編碼后的數(shù)據(jù)的信號波形的圖。
圖ll是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出在圖像 信號處理器中編碼后的數(shù)據(jù)的信號波形的圖。
圖12是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出在圖像 信號處理器中編碼后的數(shù)據(jù)的信號波形的圖。
圖13是概念性地示出本發(fā)明的又一個優(yōu)選實施方式涉及的從圖像信 號處理器傳送并蓄積到后端芯片的存儲器中的數(shù)據(jù)的存儲方式的圖。
圖14是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出在圖像
信號處理器中編碼后的數(shù)據(jù)的信號波形的圖。
圖15是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出在圖像 信號處理器的各結(jié)構(gòu)要素中進行處理的數(shù)據(jù)的信號波形的圖。
圖16是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出在圖像 信號處理器的各結(jié)構(gòu)要素中進行處理的數(shù)據(jù)的信號波形的圖。
圖17是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出在圖像 信號處理器的各結(jié)構(gòu)要素中進行處理的數(shù)據(jù)的信號波形的圖。
圖18是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出在圖像 信號處理器的各結(jié)構(gòu)要素中進行處理的數(shù)據(jù)的信號波形的圖。
標記說明
110圖像傳感器；120圖像信號處理器；130后端芯片；140基 帶芯片；150顯示部；220量化器；230熵編碼器；310時鐘生成 器；320子ISP; 330編碼部；340數(shù)據(jù)輸出部；410預(yù)處理部；415 YUV輸出部；420輸出控制部；425 JPEG編碼器；430緩存；435緩 存管理部；450傳感器控制部；445控制單元。
具體實施例方式
上述的目的、特征以及優(yōu)點將通過與附圖相關(guān)的以下詳細說明進一 步加以明確。首先，需要注意的是，對各附圖的結(jié)構(gòu)要素附加標號時， 對于相同的結(jié)構(gòu)要素，例如即使表示在其他附圖上，仍盡可能賦予相同的標號。下面，參照附圖詳細說明本發(fā)明的一個優(yōu)選實施方式。
圖4是簡要地示出本發(fā)明的一個優(yōu)選實施方式涉及的攝像裝置的結(jié)
構(gòu)的圖，圖5是詳細地示出本發(fā)明的一個優(yōu)選實施方式涉及的圖像信號
處理器的結(jié)構(gòu)的圖。
參照圖4，本發(fā)明涉及的攝像裝置包括圖像傳感器110、圖像信號處 理器310、后端芯片130、基帶芯片140、以及顯示部150。
圖像傳感器IIO生成與外部影像相應(yīng)的電信號(raw data),輸出到 圖像信號處理器310。圖像傳感器110在生成電信號并輸出時，能夠使用 從時鐘生成器440 (參照圖5)輸入的時鐘信號。對于本領(lǐng)域的技術(shù)人員 來說，圖像傳感器110生成與外部影像相應(yīng)的電信號并輸出的過程屬于 顯而易見的，所以省略其說明。
圖像信號處理器310將從圖像傳感器110輸入的電信號轉(zhuǎn)換成YUV 數(shù)據(jù)或編碼后的數(shù)據(jù)，輸出到后端芯片130。在預(yù)覽(Preview,是利用 顯示部150顯示通過圖像傳感器110輸入的數(shù)據(jù)，而不生成圖像數(shù)據(jù)的 狀態(tài)，是由使用者輸入攝影命令之前的狀態(tài))狀態(tài)下，輸出YUV數(shù)據(jù)； 在輸入了捕獲命令(即，用于生成對外部影像進行拍攝的圖像數(shù)據(jù)的命 令)時，輸出對相應(yīng)的幀進行了 JPEG編碼的數(shù)據(jù)。通常，攝像裝置在輸 入捕獲命令之前以及完成與捕獲命令相應(yīng)的圖像數(shù)據(jù)編碼之后，處于預(yù) 覽狀態(tài)。
圖像信號處理器310能夠包括子ISP320、編碼部330、以及數(shù)據(jù)輸出 部340等。除此之外，還可以包括時鐘生成器、傳感器控制部等。子ISP320 還可以包括預(yù)處理部410、 YUV輸出部415等。對于編碼部330，雖然假設(shè) 為JPEG編碼器的情況進行說明，但當然也可以是用于其他格式的數(shù)據(jù)轉(zhuǎn) 換的編碼器。數(shù)據(jù)輸出部340可以包括緩存430、緩存管理部435等。
參照詳細示出圖像信號處理器310的結(jié)構(gòu)的圖5，圖像信號處理器 310可以包括預(yù)處理部410、 YUV輸出部415、輸出控制部420、 JPEG 編碼器425、緩存430、緩存管理部435、時鐘生成器440、控制單元445、 傳感器控制部450以及復(fù)用器(MUX、 455。
預(yù)處理部410對從圖像傳感器110輸入的電信號(mwdata)進行處理，輸出高分辨率YUV數(shù)據(jù)?？梢酝ㄟ^預(yù)處理部410進行圖像的色相、 亮度等方面的畫質(zhì)改善。預(yù)處理部410可以采用與現(xiàn)有的圖像信號處理 器120相同或極其近似的結(jié)構(gòu)要素。
YUV輸出部415將從預(yù)處理部410輸入的高分辨率YUV數(shù)據(jù)轉(zhuǎn)換 成符合預(yù)先設(shè)定的垂直線數(shù)和水平像素數(shù)的低分辨率YUV數(shù)據(jù)，輸出到 輸出控制部420。用于預(yù)覽(Preview)的垂直線數(shù)和水平像素數(shù)可由使 用者設(shè)定或預(yù)先指定。
并且，YUV輸出部415通過從后端芯片130經(jīng)由I2C或SPI輸入了 捕獲命令的控制單元445的控制，能夠?qū)⒏叻直媛蔣UV數(shù)據(jù)提供給JPEG 編碼器425。 JPEG編碼器425使用從YUV輸出部415輸入的高分辨率 YUV數(shù)據(jù)，生成JPEG編碼后的數(shù)據(jù)。在由JPEG編碼器425對與捕獲 命令相應(yīng)的幀(例如，第k個幀)進行的編碼處理中，在開始從圖像傳 感器IIO輸入后續(xù)幀(例如，第k+l個幀)的數(shù)據(jù)(rawdata)的情況下， YUY輸出部415通過控制單元445的控制，可以不將與后續(xù)幀相應(yīng)的高 分辨率YUV數(shù)據(jù)輸入到JPEG編碼器425。
輸出控制部420對復(fù)用器455進行控制，該復(fù)用器455為了通過控 制單元445的控制向后端芯片130輸出低分辨率YUV數(shù)據(jù)或編碼后的數(shù) 據(jù)，進行切換動作。圖5中示出，輸出控制部420設(shè)置在YUV輸出部 415和復(fù)用器455之間的低分辨率YUV數(shù)據(jù)傳送路徑上的情況，當輸出 控制部420僅為了用于控制復(fù)用器455而存在的情況下，其也可以設(shè)置 在控制單元445和復(fù)用器455之間的控制路徑上。低分辨率YUV數(shù)據(jù)可 提供給后端芯片130，以用于進行預(yù)覽(Preview);編碼后的數(shù)據(jù)可提供 給后端芯片130，以用于將進行了壓縮的圖像數(shù)據(jù)存儲和/或解碼。
JPEG編碼器425使用從YUV輸出部415輸入的高分辨率YUV數(shù) 據(jù)，生成JPEG編碼后的數(shù)據(jù)，存儲到緩存430中。JPEG編碼過程已在 上面進行了詳細敘述，所以省略對其進行說明。
緩存430可以是例如環(huán)形存儲器，能夠按照所輸入的順序記錄JPEG 編碼后的數(shù)據(jù)，按照所讀出的(read)順序重寫(overwrite)新的數(shù)據(jù)。 當然，還可以設(shè)定成刪除(delete)所讀出的數(shù)據(jù)。記錄于緩存430內(nèi)的JPEG編碼后的數(shù)據(jù)可以僅限為有效數(shù)據(jù)(即，實際構(gòu)成圖像的數(shù)據(jù))。 對于從JPEG編碼器425輸出的JPEG編碼后的數(shù)據(jù)是有效數(shù)據(jù)還是無效 數(shù)據(jù)，可通過JPEG編碼器425、緩存管理部435、以及控制單元445等 的至少任意一個進行判斷。無效數(shù)據(jù)輸出到緩存430，該緩存430設(shè)定成 在要記錄的地點記錄為空白或可連續(xù)記錄后面的有效數(shù)據(jù)。在無效數(shù)據(jù) 地點被記錄為空白的情況下，對于該地點，可向后端芯片130輸出充填 數(shù)據(jù)(padding data,用于使形式上符合水平像素數(shù)的形式數(shù)據(jù))。
緩存管理部435監(jiān)視記錄于緩存430的JPEG編碼后的數(shù)據(jù)量，管 理成緩存的容量不會全部被使用(即，不會出現(xiàn)不足)。緩存管理部435 將對緩存430進行監(jiān)視的信息(以下稱為"監(jiān)視信息")提供給控制單元 445。并且，緩存管理部435使記錄于緩存430的數(shù)據(jù)在每個預(yù)先指定的 時刻(例如，在圖2中H—REF信號被切換成高電平狀態(tài)的時刻)，輸出 到后端芯片130。除此之外，緩存管理部435進一步使時鐘信號(Pj:LK)、 垂直同步信號(V—sync)、以及有效數(shù)據(jù)使能信號(H—REF)輸出到后端 芯片130。
具體說明緩存管理部435的功能如下。
緩存管理部435設(shè)定成生成與現(xiàn)有的輸出波形相同方式的輸出波形， 輸入到后端芯片130。并且，在減少時鐘速率(Clockrate)的情況下，管 理成使得緩存430起到用于數(shù)據(jù)輸出的緩沖作用。這是由于，在本發(fā)明涉 及的圖像信號處理器310中，用于編碼處理的時鐘速率(以下稱為"處理 時鐘速率")設(shè)定成比用于輸出JPEG編碼后的數(shù)據(jù)的時鐘速率(以下稱為 "輸出時鐘速率")高，所以為了輸出JPEG編碼后的數(shù)據(jù)，需要減少時鐘 速率。并且，通過減少時鐘速率，可與現(xiàn)有的輸出波形同樣地輸出JPEG 編碼后的數(shù)據(jù)，所以即使是現(xiàn)有的后端芯片130，也能夠與本發(fā)明涉及的 圖像信號處理器310互換。
而且，緩存管理部435對存儲于緩存430、經(jīng)由復(fù)用器455輸出的 JPEG編碼后的數(shù)據(jù)量進行合計，檢查文件大小等，將相應(yīng)信息傳遞給控 制單元445，從而能夠與時鐘速率相關(guān)地調(diào)整壓縮率，使得能夠穩(wěn)定地輸 出JPEG編碼后的數(shù)據(jù)量。標度因子(scale factor)是指定為0 255范圍內(nèi)的任意值，來決定畫質(zhì)和壓縮率的變量。若標度因子較大，則壓縮率 良好，但畫質(zhì)變差；若標度因子較小，則畫質(zhì)良好，但壓縮率變差?？?制單元445根據(jù)存儲于緩存430的JPEG編碼后的數(shù)據(jù)量調(diào)節(jié)標度因子， 從而能夠在輸出緩存中無損失地調(diào)節(jié)時鐘速率。這能夠消除如下問題 即，由于用于生成編碼后的數(shù)據(jù)的處理時鐘速率過大，在讀出所記錄的 數(shù)據(jù)之前，被新的數(shù)據(jù)重寫。
因此，控制單元445在對與捕獲命令相應(yīng)的幀進行處理時，檢查最 大緩存利用量(即，全體緩存容量中預(yù)先指定的存儲限度基準)是否全 部被使用，由此，檢査考慮到當前時鐘速率的輸出穩(wěn)定度。接著，在存 儲于緩存430的數(shù)據(jù)量過多的情況下，提高標度因子。該情況下，優(yōu)選 標度因子設(shè)定成階段性地提高。
作為其他方法，控制單元445可以僅統(tǒng)計對一個幀(即，F(xiàn)FD8 (start mark) FFD9(end mark))進行了 JPEG編碼的數(shù)據(jù)之中的有效數(shù)據(jù)(即， 實際構(gòu)成圖像的數(shù)據(jù))，調(diào)節(jié)標度因子?？赏ㄟ^JPEG編碼器425、緩存 管理部435、或控制單元445等的至少任意一個來識別出從JPEG編碼器 425輸出的數(shù)據(jù)是有效數(shù)據(jù)還是無效數(shù)據(jù)。
作為又一方法，還可使用預(yù)處理部410的濾波器，這是在進行微細 調(diào)整的情況下，控制模糊(bluring)程度的同時，限制數(shù)據(jù)量的方法。
時鐘生成器440通過控制單元445的控制生成與任意的時鐘速率相 應(yīng)的時鐘信號，提供給各結(jié)構(gòu)要素。通過被輸入了捕獲命令的控制單元 445的控制，生成與處理時鐘速率相應(yīng)的時鐘信號，輸出到相應(yīng)的結(jié)構(gòu)要 素(例如，預(yù)處理部410、 YUV輸出部415、 JPEG編碼器425、緩存管 理部435等)。由時鐘生成器440生成的時鐘信號還輸入到圖像傳感器 110，在圖像傳感器110和圖像信號處理器310之間聯(lián)動。時鐘生成器440 還能夠生成與輸出時鐘速率相應(yīng)的時鐘信號，輸出到后端芯片130。
時鐘生成器440可以在捕獲命令輸入到圖像信號處理器310之前， 像以往那樣，維持小于輸出時鐘速率的處理時鐘速率。但是，通過控制 單元445的控制向圖像信號處理器310輸入了捕獲命令之后，使得處理 時鐘速率(以下稱為"第二處理時鐘速率")變?yōu)轭A(yù)覽(preview)狀態(tài)下的處理時鐘速率(以下稱為"第一處理時鐘速率")以上(即，第二處理 時鐘速率〉第一處理時鐘速率)。該情況下，第二處理時鐘速率增加的限 界(即，上限值)可以預(yù)先設(shè)定。并且，增加的第二處理時鐘速率可以 大于或小于輸出時鐘速率。
艮口，若被輸入了捕獲命令，則為了迅速進行圖像信號處理器310的
處理，增加第一處理時鐘速率，更新為第二處理時鐘速率。該情況下， 第一處理時鐘速率和第二處理時鐘速率之間的增加比例可以根據(jù)由各處 理時鐘速率處理的數(shù)據(jù)量來決定。通常，在預(yù)覽模式中，以符合顯示部
150的大小或其以下的大小顯示圖像影像，但根據(jù)捕獲命令編碼后的圖像 按照預(yù)先指定的大小生成，而與顯示部150的大小無關(guān)。但是，只是在 編碼后的圖像被顯示到顯示部150上時，根據(jù)顯示部150的大小或預(yù)覽 模式的顯示大小進行顯示。因此，第一處理時鐘速率與第二處理時鐘速 率之比可以和用于預(yù)覽模式的數(shù)據(jù)的大小(或，為預(yù)覽圖像的大小，例 如可以為320x240，這是寬度、橫向長度、縱向長度或?qū)蔷€長度等的任 意一個)與要進行編碼的數(shù)據(jù)的大小(例如可以為640x480，這是寬度、 橫向長度、縱向長度或?qū)蔷€長度等的任意一個)之比一致。
第二處理時鐘速率的上限值可以是使記錄于緩存430的數(shù)據(jù)量(即， 輸入量)與讀出并傳遞到后端芯片130的數(shù)據(jù)量(即，輸出量)之差維 持在緩存430的存儲容量(或最大緩存利用量)以下(或小于)的限界 值。當然，即使第二處理時鐘速率被指定為上述的上限值以下，在輸入 量與輸出量之差處于緩存430的存儲容量(或最大緩存利用量)以上的 情況下，為了保護作為記錄于緩存430的數(shù)據(jù)還未被讀出的數(shù)據(jù)，可以 減少第二處理時鐘速率。第二處理時鐘速率的增減可以通過緩存管理部 435進行控制，或者使用從緩存管理部435提供的監(jiān)視信息，通過控制單 元445進行控制。
除此之外，時鐘生成器440為了具備第二處理時鐘速率比第一時鐘 速率相對增加的效果，能夠進一步適用各種方法。例如，在處理時鐘速 率固定，輸出時鐘速率可變的情況下，時鐘生成器440可以相對地減少 輸出時鐘速率。但是，變更后的輸出時鐘速率應(yīng)該能夠在接收端進行識別并相應(yīng)地進行動作。如上所述，通過控制單元445或緩存管理部435 的控制，輸出時鐘速率可以與以往相比減少，處理時鐘速率也可以比以 往增加。例如，自不必說，在處理時鐘速率增加的情況下，各結(jié)構(gòu)要素 能夠更加迅速進行編碼處理；在輸出時鐘速率減少的情況下，各結(jié)構(gòu)要 素能夠進一步確保用于編碼處理的時間。
控制單元445控制成，在預(yù)覽狀態(tài)中，從YUV輸出部415輸出的低分 辨率YUV數(shù)據(jù)經(jīng)由復(fù)用器455輸出到后端芯片130;若從后端芯片130輸入 了捕獲命令，則在對相應(yīng)的幀進行編碼處理時，控制各結(jié)構(gòu)要素，以便 能夠使延遲現(xiàn)象最小化。并且，為了設(shè)定復(fù)用器455的路徑，以便能夠在 當前動作狀態(tài)(例如，預(yù)覽狀態(tài)或捕獲命令輸入狀態(tài))下輸出相應(yīng)的數(shù) 據(jù)，對輸出控制部420進行控制。并且，為了不使與捕獲命令相應(yīng)的幀(例 如，第k個幀)的編碼處理受到后續(xù)幀(即，第k+l個幀)的數(shù)據(jù)輸入影 響，或防止數(shù)據(jù)沖突，通過傳感器控制部450來控制圖像傳感器110，從 而能夠抑制后續(xù)幀(該情況下，可以僅限定為第k+l個幀)的電信號(raw data)輸出。當然，在與捕獲命令相應(yīng)的幀的編碼處理中，從圖像傳感器 IIO開始輸入后續(xù)幀的數(shù)據(jù)(raw data)的情況下，控制單元445能夠控制 成，YUY輸出部415不會將與后續(xù)幀相應(yīng)的高分辨率YUV數(shù)據(jù)輸入到 JPEG編碼器425。并且，在圖像傳感器110和預(yù)處理部410之間具備切換機 構(gòu)的情況下，控制單元445能夠控制成，對該切換機構(gòu)進行控制，使得從 圖像傳感器110輸出的電信號不會輸入到預(yù)處理部410。
傳感器控制部450能夠通過控制單元445的控制來控制圖像傳感器 IIO的輸出。例如，為對與捕獲命令相應(yīng)的幀進行編碼處理，從控制單元 輸入了后續(xù)幀的跳過(skip)命令的情況下，傳感器控制部450能夠控制 成不輸出與后續(xù)幀相應(yīng)的數(shù)據(jù)(raw data)。當然，除此之外，還可適用 各種方法，對于這些方法，下面參照附圖，詳細進行說明。
復(fù)用器455通過輸出控制部420的控制進行切換動作。即，若從輸出 控制部420要求作為預(yù)覽狀態(tài)設(shè)定用于輸出低分辨率YUV數(shù)據(jù)的路徑，則 將路徑設(shè)定成，使得從YUV輸出部415輸出的低分辨率YUV數(shù)據(jù)輸入到后 端芯片130?；蛘?，若從輸出控制部420要求設(shè)定用于輸出與捕獲命令相應(yīng)的JPEG編碼后的數(shù)據(jù)的路徑，則將路徑設(shè)定成，使得存儲于緩存430 的JPEG編碼后的數(shù)據(jù)輸出到后端芯片130。
下面，參照圖5，說明本發(fā)明涉及的圖像信號處理器310的動作過程。
首先，說明預(yù)覽(Preview)狀態(tài)下的動作過程。在預(yù)覽狀態(tài)下，在 圖像信號處理器310和圖像傳感器110的處理過程中，使用第一處理時 鐘速率。
圖像傳感器110生成與外部影像相應(yīng)的電信號(mwdata)，輸入到預(yù) 處理部410;預(yù)處理部410通過預(yù)先指定的方法對電信號進行處理，生成 高分辨率YUV數(shù)據(jù)并輸出。
YUV輸出部415將高分辨率YUV數(shù)據(jù)轉(zhuǎn)換成符合預(yù)先設(shè)定的垂直 線數(shù)和水平像素數(shù)的低分辨率YUV數(shù)據(jù)，輸出到輸出控制部420。如上 所述，在輸出控制部420僅用于控制復(fù)用器455的切換動作的情況下， 輸出控制部420可以設(shè)置在控制單元445和復(fù)用器455之間的控制路徑 上。
并且，YUV輸出部415還能夠?qū)⒏叻直媛蔣UV數(shù)據(jù)提供給JPEG 編碼器425。這是由于，JPEG編碼器425并不是用于使用高分辨率YUV 數(shù)據(jù)來生成JPEG編碼后的數(shù)據(jù)，而僅用于預(yù)先識別在輸入了捕獲命令的 情況下，應(yīng)輸出的壓縮后的圖像數(shù)據(jù)量。JPEG編碼器425可以預(yù)先了解 針對應(yīng)處理的圖像數(shù)據(jù)的垂直線數(shù)和水平像素數(shù)，或從控制單元445接 受相應(yīng)的提供。
輸出控制部420將從YUV輸出部415輸入的低分辨率YUV數(shù)據(jù)經(jīng) 由復(fù)用器455傳遞給后端芯片130。由于輸入了捕獲命令的情況不是一般 的狀態(tài)，所以復(fù)用器455設(shè)定的默認(default)路徑可以是用于輸出低分 辨率YUV數(shù)據(jù)的路徑。輸入捕獲命令時，通過輸出控制部420的控制， 復(fù)用器455可以變更路徑，以便輸出JPEG編碼后的數(shù)據(jù)。
后端芯片130使用從圖像信號處理器310輸入的低分辨率YUV數(shù) 據(jù)，向顯示部150輸出相應(yīng)的圖像，從而進行預(yù)覽動作。
在使用低分辨率YUV數(shù)據(jù)進行預(yù)覽動作時，在圖像信號處理器310和后端芯片130之間收發(fā)的數(shù)據(jù)量較少，所以顯然可以不受時鐘速率影
響地迅速傳遞數(shù)據(jù)。因此，在預(yù)覽狀態(tài)下，時鐘生成器440的處理時鐘 速率能夠與以往相同地適用。
其中，若為了順利執(zhí)行預(yù)覽動作，需要進一步減少收發(fā)的數(shù)據(jù)量， 則還可以利用圖像傳感器110和/或YUV輸出部415進行子采樣 (Subsampling )。
但是，如上所述，根據(jù)由使用者輸入的捕獲命令，將與外部影像相 應(yīng)的JPEG編碼后的數(shù)據(jù)傳送到后端芯片130的情況下，必須將較大的圖 像快速輸送，所以會產(chǎn)生延遲(lagging)現(xiàn)象。即，這是由于，根據(jù)捕 獲命令進行JPEG編碼的數(shù)據(jù)(即，高分辨率YUV數(shù)據(jù))的大小，要比 為進行預(yù)覽而輸出的數(shù)據(jù)(即，低分辨率YUV數(shù)據(jù))的大小大。以下， 說明本發(fā)明涉及的圖像信號處理器用于減少延遲現(xiàn)象的方法。
若攝像裝置在預(yù)覽狀態(tài)下進行動作時，使用者為了拍攝任意影像而 按下快門(或攝影按鈕)，則圖像信號處理器310 (或控制單元445)經(jīng) 由I2C或SPI從后端芯片130接受捕獲命令輸入。被輸入了捕獲命令的 控制單元445對時鐘生成器440進行控制，控制成第二處理時鐘速率達 到第一處理時鐘速率以上(或大于)。該情況下，第二處理時鐘速率可以 在輸出時鐘速率以上或小于輸出時鐘速率。使第二處理時鐘速率相比于 第一處理時鐘速率絕對或相對地增加的方法如上所述。自不必說，與增 加的第二處理時鐘速率相應(yīng)的時鐘信號被用于對圖像數(shù)據(jù)進行編碼的各 結(jié)構(gòu)要素，而減少的輸出時鐘速率被用于輸出JPEG編碼后的數(shù)據(jù)。
在該情況下，圖像傳感器110生成與外部影像相應(yīng)的電信號(raw data),輸入到預(yù)處理部410;預(yù)處理部410通過預(yù)先指定的方法對電信 號進行處理，生成高分辨率YUV數(shù)據(jù)，并輸出。該情況下，圖像傳感器 110以與從時鐘生成器440輸入的第二處理時鐘速率(或基于第二處理時 鐘速率的時鐘信號)相應(yīng)的方式輸出電信號，預(yù)處理部能夠與第二處理 時鐘速率相應(yīng)地進行預(yù)處理。
雖然完成了編碼處理，但根據(jù)本發(fā)明，進行了 JPEG編碼的數(shù)據(jù)(或 有效數(shù)據(jù))集中配置在前半部，在垂直像素數(shù)的后半部僅配置有充填數(shù)據(jù)，所以無需讀出與垂直像素數(shù)相當?shù)娜繑?shù)據(jù)。
緩存管理部435對緩存430進行監(jiān)視，將監(jiān)視信息傳送到控制單元 445?？刂茊卧?45能夠使用從緩存管理部435輸入的監(jiān)視信息，將時鐘生 成器440控制成可調(diào)節(jié)處理時鐘速率(或輸出時鐘速率)。例如，控制單 元445能夠?qū)⑻幚頃r鐘速率(或輸出時鐘速率)控制成，使得存儲于緩存 430的JPEG編碼后的數(shù)據(jù)維持在緩存430的存儲空間的最大緩存利用量以 下。這是為了控制處理時鐘速率(或輸出時鐘速率)，以便不會在記錄于 緩存430的JPEG編碼后的數(shù)據(jù)傳送到后端芯片130之前，被新的數(shù)據(jù)重寫 (overwrite)，或由于存儲了新的數(shù)據(jù)而導(dǎo)致還未讀出的數(shù)據(jù)被刪除。
存儲于緩存430的JPEG編碼后的數(shù)據(jù)從數(shù)據(jù)輸出時刻(例如，圖2 中，H一REF信號切換到高電平狀態(tài)的時刻)起在數(shù)據(jù)輸出區(qū)間的期間內(nèi) 輸出。緩存430中可以僅記錄有從JPEG編碼器425輸出的數(shù)據(jù)之中的有 效數(shù)據(jù)，該情況下，能夠僅依次輸出有效數(shù)據(jù)，或在輸出無效數(shù)據(jù)的區(qū) 間輸出充填數(shù)據(jù)。輸出信號的波形通過緩存管理部435或控制單元445 生成為與現(xiàn)有的輸出波形相同。存儲于緩存430的編碼后的數(shù)據(jù)通過緩 存管理部435或輸出控制部420讀出，輸入到復(fù)用器455。
復(fù)用器455通過輸出控制部420的控制，將路徑設(shè)定成能夠輸出 JPEG編碼后的數(shù)據(jù)，所以從緩存430輸出的JPEG編碼后的數(shù)據(jù)經(jīng)由復(fù) 用器455輸出到后端芯片130。
在JPEG編碼器425對與捕獲命令相應(yīng)的幀進行編碼處理的過程中， 從圖像傳感器110向圖像信號處理器310輸入針對新幀的電信號的情況 下，控制單元445控制YUV輸出部415，使得相應(yīng)的高分辨率YUV數(shù) 據(jù)不輸入到JPEG編碼器，或預(yù)處理部410不接受相應(yīng)的電信號(mw data) 輸入。當然，在圖像傳感器110和預(yù)處理部410之間設(shè)有切換機構(gòu)的情 況下，控制單元445控制該切換機構(gòu)，使得從圖像傳感器IIO輸出的電 信號不會輸入到預(yù)處理部410。通過上述的方法，能夠省略與后續(xù)幀相應(yīng) 的數(shù)據(jù)的輸入和/或處理，其結(jié)果，無需將圖lb所示的V—sync2輸出到 后端芯片130，能夠跳過(skip)。該情況下，自不必說，在V一sync2不 輸出到后端芯片130的情況下，相應(yīng)的數(shù)據(jù)也不會輸出到后端芯片130。到現(xiàn)在為止，以如下方法為中心進行了說明即，為了順利地處理 與通過使用者輸入的捕獲命令相應(yīng)的幀(例如，第k個幀)的數(shù)據(jù)，跳 過后續(xù)輸入的幀(例如，第k+l個幀)的處理。
除了該方法，參照相關(guān)附圖，詳細說明能夠無錯誤地進行圖像信號
處理器310的數(shù)據(jù)編碼，并在圖像信號處理器310和接收端(例如，后 端芯片130、基帶芯片140等)之間收發(fā)JPEG編碼后的數(shù)據(jù)的各種方法。
圖6是例示出本發(fā)明的一個優(yōu)選實施方式涉及的用于輸出圖像信號 處理器310中進行了編碼的數(shù)據(jù)的信號波形的圖。圖6示出使記錄于緩 存430的數(shù)據(jù)具備一定時間的延遲(delay)之后依次輸出的情況。
示出的信號波形通過緩存管理部435生成并輸出，或者，也可以通 過控制單元445生成并輸出。在通過控制單元445生成信號波形并輸出 的情況下，緩存管理部435將在預(yù)先指定的區(qū)間(例如，H—REF (有效 數(shù)據(jù)使能信號)信號維持在高電平狀態(tài)的區(qū)間)期間記錄于緩存430的 JPEG編碼后的數(shù)據(jù)(或有效數(shù)據(jù))輸出到接收端。H—REF信號在接收端 被識別為記錄使能(Write Enable)信號，將相應(yīng)的數(shù)據(jù)記錄到存儲器中， 通過這種方法，能夠在接收端的存儲器中僅依次記錄有效數(shù)據(jù)。圖6中， 無效數(shù)據(jù)或充填數(shù)據(jù)為0x00的形式示出，但這并不指特定的數(shù)據(jù)。
通過緩存管理部435或控制單元445輸出到接收端的時鐘信號 (P一CLK)可以是從時鐘生成器440生成的、或由預(yù)先設(shè)定的輸出時鐘 速率產(chǎn)生的時鐘信號。圖6所示，時鐘信號可以僅在有效數(shù)據(jù)輸出的期 間，輸出到接收端；在應(yīng)輸出無效數(shù)據(jù)或充填數(shù)據(jù)的區(qū)間，不輸出到接 收端(或維持在低電平狀態(tài))。當然，時鐘信號也可以持續(xù)輸出(下面的 各附圖中也相同)。自不必說，示出的垂直同步信號(V一sync)后續(xù)地輸 出與新幀相應(yīng)的數(shù)據(jù)。
在與V一syncl相應(yīng)的第k個幀的編碼處理過程中，從圖像傳感器110 輸入與第k+l個幀相應(yīng)的V一sync2的情況下，圖像信號處理器310通過 上述方法將跳過命令提供給圖像傳感器110或任意的結(jié)構(gòu)要素，以跳過 針對第k+l個幀的處理。該情況下，V—sync2無需輸出到接收端，所以如 圖6所示，V—sync2的輸出被跳過。可否輸入V一sync信號可以通過檢測V—sync信號的上升沿(rising edge)或下降沿(falling edge)來進行識別。 緩存管理部435或控制單元445可以從存儲于緩存430的數(shù)據(jù)的
JPEG報頭(Header)和/或尾部(Tail)捕獲"STARJMARKER"和"STOP
MARKER",以識別JPEG編碼的開始和結(jié)束。
因此，即使從圖像傳感器110依次輸入與#1、 #2、 #3幀相應(yīng)的電信
號(mw data),圖像信號處理器310輸出的編碼后的數(shù)據(jù)也可被僅限在
針對#1、 #3幀的數(shù)據(jù)。
圖7是例示出本發(fā)明的另一個優(yōu)選實施方式涉及的用于輸出在圖像
信號處理器310中編碼后的數(shù)據(jù)的信號波形的圖，圖8是概念性地示出本
發(fā)明的另一個優(yōu)選實施方式涉及的從圖像信號處理器傳送并蓄積到后端 芯片的存儲器中的數(shù)據(jù)的存儲方式的圖，圖9是例示出本發(fā)明的另一個優(yōu) 選實施方式涉及的用于輸出在圖像信號處理器310中編碼后的數(shù)據(jù)的信
號波形的圖。
圖7至圖9示出在緩存430中記錄預(yù)先指定的大小的有效數(shù)據(jù)的每 個時刻，輸出到接收端的情況。
示出的信號波形通過緩存管理部435生成并輸出，或者，也可以通 過控制單元445生成并輸出。通過控制單元445生成并輸出信號波形的 情況下，緩存管理部435將在預(yù)先指定的區(qū)間(例如、H—REF (有效數(shù) 據(jù)使能信號)信號維持在高電平狀態(tài)的區(qū)間)期間記錄于緩存430的JPEG 編碼后的數(shù)據(jù)中的有效數(shù)據(jù)輸出到接收端。緩存430可設(shè)定成僅記錄有 效數(shù)據(jù)。H一REF信號在接收端被識別為記錄使能(Write Enable)信號， 將相應(yīng)的數(shù)據(jù)記錄到存儲器中，通過這種方法，接收端的存儲器中可僅 依次記錄有效數(shù)據(jù)(參照圖8)。圖7和圖9中，無效數(shù)據(jù)或充填數(shù)據(jù)以 OxOO的形式示出，但這不表示特定的數(shù)據(jù)。
如上所述，根據(jù)本發(fā)明的另一個優(yōu)選實施方式，除去JPEG編碼后的 數(shù)據(jù)之中的無效數(shù)據(jù)，僅提取有效數(shù)據(jù)，在緩存430中蓄積與預(yù)先指定的 行大小(圖8的n，例如在H一REF信號維持在高電平狀態(tài)期間傳送的數(shù)據(jù) 大小)相當?shù)牧?。因此，可以在重?fù)與預(yù)先指定的列大小(圖8的m，例 如，針對一個幀，H一REF信號被切換到高電平狀態(tài)的總數(shù)量)相當?shù)牧恐埃瑢⑨槍Φ趉個幀的全部有效數(shù)據(jù)傳送到接收端。該情況下，如果在
接收端識別為還未從圖像信號處理器310接收到與預(yù)先指定的行大小x列 大小相當量的JPEG編碼后的數(shù)據(jù)(和/或充填數(shù)據(jù))，則不進行處理。為 了防止該情況，緩存管理部435或控制單元445在tffl寸間的期間內(nèi)輸出與剩 余列數(shù)(即，由預(yù)先指定的列數(shù)一有效數(shù)據(jù)構(gòu)成的列數(shù))相當量的充填 數(shù)據(jù)。輸出蓄積在緩存中的有效數(shù)據(jù)的各區(qū)間的時間是輸出預(yù)先指定大 小的數(shù)據(jù)的時間，所以全部一致(即，ta=tc=td=tf)。但是，蓄積該數(shù)據(jù) 的時間(例如，tb)有可能各不一致。有效數(shù)據(jù)連續(xù)存在的情況下，能夠 減少蓄積時間。但是，輸出充填數(shù)據(jù)之前的等待時間(例如te)相一致。
通過緩存管理部435或控制單元445輸出到接收端的時鐘信號 (P—CLK)可以是在時鐘生成器440中生成的、或由預(yù)先設(shè)定的輸出時 鐘速率產(chǎn)生的時鐘信號。如圖7和圖9所示，時鐘信號可以僅在有效數(shù) 據(jù)輸出的期間(即，H一REF信號維持在高電平狀態(tài)的區(qū)間)輸出到接收 端；在應(yīng)輸出無效數(shù)據(jù)或充填數(shù)據(jù)的區(qū)間，不輸出到接收端(或維持在 低電平狀態(tài))。自不必說，示出的垂直同步信號(V—sync)后續(xù)地輸出與 新幀相應(yīng)的數(shù)據(jù)。
在與V一syncl相應(yīng)的第k個幀的編碼處理過程中，從圖像傳感器110 輸入與第k+l個幀相應(yīng)的V—sync2的情況下，圖像信號處理器310通過 上述方法將跳過命令提供給圖像傳感器110或任意的結(jié)構(gòu)要素，以跳過 針對第k+l個幀的處理。該情況下，V一sync2無需輸出到接收端，所以如 圖9所示，V—sync2的輸出被跳過。緩存管理部435或控制單元445可以 從存儲于緩存430的數(shù)據(jù)的JPEG報頭(Header)和/或尾部(Tail)捕獲 "START MARKER"和"STOP MARKER",以識別JPEG編碼的開始和結(jié) 束。因此，即使從圖像傳感器110依次輸入與#1、 #2、 #3幀相應(yīng)的電信 號(raw data),圖像信號處理器310輸出的編碼后的數(shù)據(jù)也可被僅限在 針對#1、 #3幀的數(shù)據(jù)。
圖10和圖11是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出 在圖像信號處理器310中編碼后的數(shù)據(jù)的信號波形的圖。
圖10和圖11所示的信號波形在輸出針對一個幀的所有JPEG編碼后的數(shù)據(jù)的期間，將H一REF信號維持在高電平狀態(tài)。H一REF信號維持在 高電平狀態(tài)的期間，有效數(shù)據(jù)和充填數(shù)據(jù)(或無效數(shù)據(jù))連續(xù)輸出到接 收端。
這是由于，在接收端，作為記錄使能信號識別的H一REF信號交替， 從而在接收端產(chǎn)生無謂的電力消耗。
自不必說，即使在該情況下，如上所述，也可跳過針對在當前進行 處理的第k個幀的處理中輸入的第k+l個幀的V—sync2，跳過基于 V—sync2的數(shù)據(jù)輸入以及處理。
圖12是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出在圖像 信號處理器310中編碼后的數(shù)據(jù)的信號波形的圖；圖13是概念性地示出本 發(fā)明的又一個優(yōu)選實施方式涉及的從圖像信號處理器傳送并蓄積到后端 芯片的存儲器中的數(shù)據(jù)的存儲方式的圖；圖14是例示出本發(fā)明的又一個 優(yōu)選實施方式涉及的用于輸出在圖像信號處理器310中編碼后的數(shù)據(jù)的 信號波形的圖。
與前面說明的圖7至圖9相比，圖12至圖14示出在預(yù)先指定的期 間記錄于緩存430的數(shù)據(jù)在預(yù)先指定的每個時刻輸出的情況。即，緩存 430中蓄積數(shù)據(jù)的時間以及將所蓄積的數(shù)據(jù)輸出的時間預(yù)先進行指定。如 果在預(yù)先指定的時間期間記錄于緩存430的數(shù)據(jù)不符合預(yù)先指定的大小 的情況下，對于剩余的不足部分，添加充填數(shù)據(jù)，傳送到接收端。
該情況下，接收端的存儲器中以與圖8相同的方式記錄數(shù)據(jù)，接收 端在對記錄于存儲器的數(shù)據(jù)進行處理時，不讀出nxm大小的所有數(shù)據(jù)， 而僅讀出集中配置在前半部的有效數(shù)據(jù)來進行處理，從而可以進行迅速 的處理。
自不必說，即使在該情況下，如上所述，也可跳過針對在當前進行 處理的第k個幀的處理中輸入的第k+l個幀的V—sync2，跳過基于 V一sync2的數(shù)據(jù)輸入以及處理。
圖15和圖16是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的用于輸出 在圖像信號處理器310的各結(jié)構(gòu)要素中進行了處理的數(shù)據(jù)的信號波形的 圖。如圖15和圖16所示，從各結(jié)構(gòu)要素輸入的V—sync信號以最小限的 延遲(或無延遲)輸入到后續(xù)的結(jié)構(gòu)要素。與此相比，從在前的結(jié)構(gòu)要 素輸入的數(shù)據(jù)在緩存以及處理等過程產(chǎn)生一定的延遲(例如、dl、 d2、 d3、 d4等)。
因此，在圖像信號處理器310中，若經(jīng)由復(fù)用器455從在前的結(jié)構(gòu)要 素輸入了V—sync的時刻，向接收端輸出、sync，則接收端在輸入了V一sync 之后經(jīng)過至少dl+d2+d3+d4的時間，開始輸入JPEG編碼后的數(shù)據(jù)。這樣 能夠減少接收端的處理效率。
因此，本發(fā)明的另一個優(yōu)選實施方式中，在用于緩存JPEG編碼器 編碼的數(shù)據(jù)的延遲時間、即d4的時間范圍中的任意時刻(例如，JPEG 編碼器425為了開始編碼，將1 8行之中的任意行緩存的時刻)，將 V一sync輸出到接收端，從而能夠?qū)⒔邮斩说牡却龝r間最小化。
圖17和圖18是例示出本發(fā)明的又一個優(yōu)選實施方式涉及的圖像信號 處理器310的各結(jié)構(gòu)要素中處理的數(shù)據(jù)輸出的信號波形的圖。
圖17所示，若圖像信號處理器310在預(yù)覽狀態(tài)(例如，輸入了第k-l 個幀的狀態(tài))下被輸入了捕獲命令，則向圖像傳感器110輸入 V—sync—extend命令。V—sync一extend命令可以通過傳感器控制部450輸入。 V—sync一extend命令可以在與捕獲命令相應(yīng)的幀、即第k個幀的處理過程中 或處理之前進行傳送。
被輸入了 V—sync—extend命令的圖像傳感器110在將針對第k+l個 幀的V—sync輸出到圖像信號處理器310時，在留有圖像信號處理器310 將第k個幀全部處理的時間富余的狀態(tài)下，輸入到圖像信號處理器310。
假設(shè)V—sync信號的輸入被上升沿(rising edge)檢測出，則如圖18 所示，設(shè)定成針對第k+l個幀的V_sync在與輸出針對第k個幀的"STOP MARKER"的時刻相同或其之后輸出。
如上所述，本發(fā)明涉及的圖像信號處理器310能夠解決如下問題艮口， 通過上述的各種方法對第k個幀進行處理的期間，由于針對第k+l個幀的 V一sync信號，導(dǎo)致第k個幀的正常的數(shù)據(jù)處理受到妨礙。
現(xiàn)有的后端芯片130實現(xiàn)成接受YUV/BAYER格式的數(shù)據(jù)輸入，作為用于接受這種數(shù)據(jù)輸入的接口，使用P—CLK、 V一sync、 H_REF、 DATA信號。
考慮這一點，本發(fā)明的圖像信號處理器310也實現(xiàn)為使用與以往相 同的接口。
因此，自不必說，本發(fā)明即使在后端芯片130通過現(xiàn)有的后端芯片的 設(shè)計方法來實現(xiàn)的情況下，也能夠進行互換(portmatching)。
以上，僅以圖像信號處理器310釆用JPEG編碼方式的情況為中心 進行了說明，但自不必說，即使在支持BMP編碼方式、MPEG (MPEG1/2/4、 MPEG-4AVC)編碼方式、TV-out方式等其他編碼方式的 情況下，也能夠利用相同的數(shù)據(jù)傳送方式。
附圖和具體實施方式
僅用于例示地示出本發(fā)明，僅是以用于說明本 發(fā)明的目的而使用的，并不是為了限定含義或限定權(quán)利要求書中記載的 本發(fā)明的范圍而使用的。因此，本領(lǐng)域的技術(shù)人員可由此進行各種變形 以及等效的其他實施方式。因此，本發(fā)明的真正的技術(shù)保護范圍應(yīng)由本 申請的權(quán)利要求書中的技術(shù)思想來決定。
權(quán)利要求
1. 一種攝像裝置，該攝像裝置包括圖像傳感器、圖像信號處理器以及接收端，該攝像裝置的特征在于，所述攝像裝置包括圖像傳感器，其生成與外部影像相應(yīng)的電信號并輸出；以及圖像信號處理器，其具備編碼器，使用與所述電信號相應(yīng)的YUV數(shù)據(jù)或所述編碼器，生成編碼后的數(shù)據(jù)，將相應(yīng)數(shù)據(jù)輸出到所述接收端，用于生成所述編碼后的數(shù)據(jù)的第二處理時鐘速率大于用于生成所述YUV數(shù)據(jù)的第一處理時鐘速率。
2. 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述第一處理時鐘 速率為用于輸出所述YUV數(shù)據(jù)和所述編碼后的數(shù)據(jù)的輸出時鐘速率以 下，所述第二處理時鐘速率為所述輸出時鐘速率以上。
3. 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述第一處理時鐘 速率與所述第二處理時鐘速率之比是與一個幀相應(yīng)的所述YUV數(shù)據(jù)的大 小與應(yīng)進行編碼的數(shù)據(jù)的大小之比。
4. 根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于，所述大小是面積、 橫向長度、縱向長度、以及對角線長度中的任意一個。
5. 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述圖像傳感器 能夠以符合與所述第一處理時鐘速率或所述第二處理時鐘速率相應(yīng)地從 所述圖像信號處理器輸入的時鐘信號的方式生成所述電信號并輸出。
6. 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于，所述第一處理時 鐘速率是預(yù)覽狀態(tài)的時鐘速率，所述第二處理時鐘速率是用于處理與從 所述接收端輸入的捕獲命令相應(yīng)的幀的時鐘速率。
7. 根據(jù)權(quán)利要求6所述的攝像裝置，其特征在于，在對與所述捕獲 命令相應(yīng)的第k個幀進行處理的過程中，在從所述圖像傳感器輸入表示開 始輸入第k+l個幀的垂直同步信號的情況下，所述圖像信號處理器向所述 圖像傳感器傳送跳過命令，所述圖像傳感器不輸出與所述第k+l個幀相應(yīng) 的電信號，其中，k為自然數(shù)。
8. 根據(jù)權(quán)利要求6所述的攝像裝置，其特征在于，在對與所述捕獲命令相應(yīng)的第k個幀進行處理的過程中，在從所述圖像傳感器輸入表示開始輸入第k+l個幀的垂直同步信號的情況下，所述圖像信號處理器跳過從 所述圖像傳感器輸入的電信號的處理，其中，k為自然數(shù)。
9. 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于，所述圖像信號處 理器包括緩存，該緩存進行臨時存儲，以將所述編碼后的數(shù)據(jù)傳送到所 述接收端，當存儲于所述緩存的編碼后的數(shù)據(jù)量為預(yù)先指定的大小以上時，減 小所述第二處理時鐘速率。
10. 根據(jù)權(quán)利要求6所述的攝像裝置，其特征在于，在對與所述捕獲 命令相應(yīng)的第k個幀進行處理的過程中，指示所述圖像傳感器，使之延遲 輸入第k+l個幀，其中，k為自然數(shù)。
11. 一種圖像信號處理器，所述圖像信號處理器包括 時鐘生成器，其輸出與處理時鐘速率相應(yīng)的時鐘信號； 控制單元，其進行如下控制在被輸入捕獲命令時，使所述時鐘生成器輸出與增加后的處理時鐘速率相應(yīng)的時鐘信號；子ISP，其根據(jù)所述時鐘信號，使用從圖像傳感器輸入的電信號，生 成YUV數(shù)據(jù)；編碼部，其根據(jù)所述時鐘信號，使用所述YUV數(shù)據(jù)生成編碼后的圖 像數(shù)據(jù)；存儲器，其蓄積所述編碼后的圖像數(shù)據(jù)；以及輸出部，其通過所述控制單元的控制，在每個預(yù)先指定的時刻，將 所述蓄積的編碼后的圖像數(shù)據(jù)輸出到接收端。
12. 根據(jù)權(quán)利要求11所述的圖像信號處理器，其特征在于，所述圖像 信號處理器還包括緩存管理部，該緩存管理部監(jiān)視所述存儲器中所蓄積 的編碼后的圖像數(shù)據(jù)的量，生成監(jiān)視信息，所述控制單元使用所述監(jiān)視信息來增減所述處理時鐘速率。
13. 根據(jù)權(quán)利要求11所述的圖像信號處理器，其特征在于，在被輸入 所述捕獲命令之前，所述輸出部將通過所述子ISP輸出的所述YUV數(shù)據(jù)輸 出到所述接收端。
14. 根據(jù)權(quán)利要求11所述的圖像信號處理器，其特征在于，在對與所 述捕獲命令相應(yīng)的第k個幀進行處理的過程中，在從所述圖像傳感器輸入 表示開始輸入第k+l個幀的垂直同步信號的情況下，所述控制單元向所述 圖像傳感器傳送跳過命令，所述圖像傳感器不輸出與所述第k+l個幀相應(yīng) 的電信號，其中，k為自然數(shù)。
15. 根據(jù)權(quán)利要求11所述的圖像信號處理器，其特征在于，在對與所 述捕獲命令相應(yīng)的第k個幀進行處理的過程中，在從所述圖像傳感器輸入 表示開始輸入第k+l個幀的垂直同步信號的情況下，所述控制單元向所述 子ISP傳送跳過命令，所述子ISP跳過與所述第k+l個幀相應(yīng)的YUV數(shù)據(jù)生 成，其中，k為自然數(shù)。
16. 根據(jù)權(quán)利要求11所述的圖像信號處理器，其特征在于，在對與所 述捕獲命令相應(yīng)的第k個幀進行處理的過程中，指示所述圖像傳感器，使 之延遲輸入第k+l個幀，其中，k為自然數(shù)。
17. —種圖像處理方法，該圖像處理方法由攝像裝置的圖像信號處理 器來執(zhí)行，所述攝像裝置包括圖像傳感器、所述圖像信號處理器以及接 收端，所述圖像處理方法的特征在于，所述圖像處理方法包括執(zhí)行如下 處理的步驟(a) 依照第一處理時鐘速率，生成與從所述圖像傳感器輸入的電信 號相應(yīng)的YUV數(shù)據(jù)，依照第一輸出時鐘速率，將所述YUV數(shù)據(jù)輸出到所 述接收端；(b) 從所述接收端輸入捕獲命令；以及(c) 依照大于所述第一處理時鐘速率的第二處理時鐘速率，生成與 從所述圖像傳感器輸入的電信號相應(yīng)的編碼后的數(shù)據(jù)，依照第二輸出時 鐘速率，將所述編碼后的數(shù)據(jù)輸出到所述接收端，所述圖像信號處理器具備編碼器。
18. 根據(jù)權(quán)利要求17所述的圖像處理方法，其特征在于，所述圖像 傳感器以符合與所述第一處理時鐘速率或所述第二處理時鐘速率相應(yīng)地 從所述圖像信號處理器輸入的時鐘信號的方式生成所述電信號并輸出。
19. 根據(jù)權(quán)利要求17所述的圖像處理方法，其特征在于，所述第一處理時鐘速率是預(yù)覽狀態(tài)的時鐘速率，所述第二處理時鐘速率是用于處 理與從所述接收端輸入的捕獲命令相應(yīng)的幀的時鐘速率。
20.根據(jù)權(quán)利要求17所述的圖像處理方法，其特征在于，所述步驟(C)包括執(zhí)行如下處理的步驟依照所述第二處理時鐘速率，生成與從所述圖像傳感器輸入的電信號相應(yīng)的編碼后的數(shù)據(jù)；將所述編碼后的數(shù)據(jù)存儲到緩存中；以及將在符合預(yù)先指定的條件的期間內(nèi)存儲于所述緩存的所述編碼后的 數(shù)據(jù)，按照每個預(yù)先指定的時刻，依照所述第二輸出時鐘速率輸出到所 述接收端，當所述緩存中所存儲的編碼后的數(shù)據(jù)量為預(yù)先指定的大小以上時， 減小所述第二時鐘速率。
全文摘要
本發(fā)明提供一種圖像處理方法及裝置，其通過迅速進行YUV數(shù)據(jù)的編碼，從而能夠在圖像捕獲時將延遲現(xiàn)象最小化。本發(fā)明的實施方式涉及的圖像信號處理器中，用于預(yù)覽模式的處理時鐘速率或輸出時鐘速率和用于捕獲模式的處理時鐘速率或輸出時鐘速率應(yīng)用不同的時鐘速率，控制成在執(zhí)行捕獲模式時，處理時鐘速率為輸出時鐘速率以上。通過本發(fā)明能夠減少圖像處理時的延遲現(xiàn)象。
文檔編號H04N9/04GK101305619SQ200680042095
公開日2008年11月12日 申請日期2006年5月29日 優(yōu)先權(quán)日2005年11月11日
發(fā)明者魯堯煥 申請人:安泰科技有限公司