一種實(shí)現(xiàn)mipi鏡頭在可穿戴設(shè)備當(dāng)中使用的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及攝像頭圖片處理領(lǐng)域,具體涉及將MIPI協(xié)議的接口與FPGA的結(jié)合,使用FPGA直接實(shí)現(xiàn)圖像處理功能。
【背景技術(shù)】
[0002]未來(lái)的產(chǎn)品都將朝著移動(dòng)的方向發(fā)展,隨著時(shí)間的推移,涌現(xiàn)出了許許多多的接口標(biāo)準(zhǔn),例如UART協(xié)議、I2C、I2S、SP1、SD10等,同時(shí)也出現(xiàn)了各種與攝像頭傳感器和顯示器相關(guān)的并行接口,多種不同的接口標(biāo)準(zhǔn)導(dǎo)致了設(shè)計(jì)時(shí)的混亂。移動(dòng)設(shè)備的設(shè)計(jì)人員在設(shè)計(jì)某個(gè)功能系統(tǒng)時(shí),可能得處理多達(dá)五種相互有沖突的專用物理層接口。多種不同的標(biāo)準(zhǔn)不利于設(shè)備接口的互聯(lián)互通,也限制了產(chǎn)品開(kāi)發(fā)者的選擇。MIPI(移動(dòng)產(chǎn)業(yè)處理器接口 )是MIPI聯(lián)盟發(fā)起的為移動(dòng)應(yīng)用處理器制定的開(kāi)放標(biāo)準(zhǔn),旨在將移動(dòng)設(shè)備內(nèi)部的接口如攝像頭、顯示屏、基帶、射頻接口等標(biāo)準(zhǔn)化,從而增加設(shè)計(jì)靈活性,同時(shí)降低成本、設(shè)計(jì)復(fù)雜度、功耗和EMI。
[0003]目前高端手機(jī)攝像頭均為MIPI接口,一般使用的都是直接的數(shù)據(jù)處理芯片,如富士通等等專用芯片,該接口信號(hào)不能直接通過(guò)FPGA或DSP采集。但隨著儀器設(shè)備的小型化趨勢(shì)和手機(jī)攝像頭性能的不斷提高,使得在某些軍事、工業(yè)設(shè)備上使用手機(jī)攝像頭成為重要的方案之一,傳統(tǒng)的通過(guò)數(shù)據(jù)處理芯片處理圖片的方法在安全性、圖片處理質(zhì)量、待機(jī)時(shí)間以及運(yùn)算速度上已經(jīng)逐漸不能滿足人們的需求。現(xiàn)有的解決方案一般從提高數(shù)據(jù)處理芯片的性能入手,一方面這種性能的提高是相對(duì)的、有限的;另一方面,這種操作無(wú)疑增加了生產(chǎn)成本,降低了產(chǎn)品競(jìng)爭(zhēng)力。綜上所述,單純的提高數(shù)據(jù)處理芯片性能并不能解決通過(guò)數(shù)據(jù)處理芯片處理MIPI接口攝像頭圖片本身存在的矛盾。本發(fā)明創(chuàng)造性的將MIPI協(xié)議的接口與FPGA直接相連,使用FPGA直接實(shí)現(xiàn)圖像處理功能,藉此實(shí)現(xiàn)更安全、運(yùn)算速度更快、待機(jī)時(shí)間更長(zhǎng)、聲音及螢?zāi)唤馕龆雀玫墓δ?,完美的解決了傳統(tǒng)圖片處理方式存在的上述問(wèn)題。
【發(fā)明內(nèi)容】
[0004]為了克服現(xiàn)有的手機(jī)攝像頭MIPI接口直接連接數(shù)據(jù)處理芯片進(jìn)行圖片處理這一傳統(tǒng)方式帶來(lái)的安全性能低、圖片處理質(zhì)量差、待機(jī)時(shí)間短以及運(yùn)算速度的不足,本發(fā)明提供一種實(shí)現(xiàn)MIPI鏡頭在可穿戴設(shè)備當(dāng)中使用的方法,將MIPI協(xié)議的接口與FPGA直接相連,使用FPGA直接實(shí)現(xiàn)圖像處理功能。利用FPGA強(qiáng)大的運(yùn)算功能,可以實(shí)現(xiàn)圖片處理更安全、快速、低耗能的目標(biāo),同時(shí)可以滿足更高質(zhì)量圖片的要求。
[0005]本發(fā)明是通過(guò)以下技術(shù)方案解決上述技術(shù)問(wèn)題的:選擇適合的FPGA,本系統(tǒng)中FPGA選型為XILINX公司的Spartant6系列的FPGA。選擇合適的電氣接口設(shè)計(jì):數(shù)據(jù)傳輸?shù)牟罘中盘?hào)直接經(jīng)過(guò)HS接收端接收,同時(shí)引出差分信號(hào)中的一條線連接至LP接收端進(jìn)行數(shù)據(jù)接收。根據(jù)兩種信號(hào)選擇適合的約束管腳類型來(lái)采集專用電平的信號(hào),LP不是差分信號(hào),LP電平混疊著HS信號(hào),設(shè)計(jì)時(shí)應(yīng)避免使用低通濾波器而采用特定的管腳約束直接將LP信號(hào)連接FPGA的管腳,同時(shí)提高接收端低電平信號(hào)的噪聲容限。再根據(jù)信號(hào)協(xié)議,將混疊了各種信息的MIPI信號(hào)進(jìn)行處理,分離出行、場(chǎng)同步信號(hào),進(jìn)行時(shí)序整合;根據(jù)整合后的信息將圖像信號(hào)解碼成通用的LVCMOS信號(hào)并進(jìn)行成像實(shí)驗(yàn)。
[0006]本發(fā)明的有益效果是,F(xiàn)PGA的基本查找表單元LUT僅占全資源的1 %,在幀頻為22fps、像素分辨率3264X2448時(shí)成像質(zhì)量高、無(wú)畸變、長(zhǎng)時(shí)間連續(xù)成像無(wú)丟幀現(xiàn)象,證明了該設(shè)計(jì)的可靠性和穩(wěn)定性。同時(shí)程序可移植性強(qiáng)、輸出為并行信號(hào),滿足開(kāi)發(fā)人員的使用要求,已應(yīng)用到某些具體項(xiàng)目中。
【附圖說(shuō)明】
[0007]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說(shuō)明。
[0008]圖1是MIPI數(shù)據(jù)包發(fā)送格式圖。
[0009]圖2是MIPI信號(hào)接收裝置示意圖。
[0010]圖3是MIPI信號(hào)高速模式接收電路示意圖圖。
[0011]圖4是FPGA模塊提取行、場(chǎng)信號(hào)程序流程圖。
[0012]圖5是MIPI信號(hào)數(shù)據(jù)解碼流程圖。
[0013]圖6是FPGA內(nèi)部各模塊的構(gòu)成圖。
【具體實(shí)施方式】
[0014]結(jié)合附圖,以下對(duì)本發(fā)明整體的組成和功能做進(jìn)一步詳細(xì)說(shuō)明。
[0015]本發(fā)明具體涉及將MIPI協(xié)議的接口與FPGA的結(jié)合,使用FPGA直接實(shí)現(xiàn)圖像處理功能
[0016]圖1中,MIPI信號(hào)為差分?jǐn)?shù)據(jù),包含一個(gè)時(shí)鐘差分對(duì)和兩個(gè)數(shù)據(jù)差分對(duì)。每個(gè)數(shù)據(jù)傳輸通道都有2種傳輸模式:LP (低功耗模式)和HS (高速模式)。LP模式傳輸速率為10Mbit/s、信號(hào)為0?1.2V擺幅。HS模式傳輸速率可高達(dá)lGbit/s、信號(hào)為100?300mV擺幅。兩種模式混疊在一起傳輸。LP傳輸分為長(zhǎng)數(shù)據(jù)包和短數(shù)據(jù)包。長(zhǎng)數(shù)據(jù)包為圖像數(shù)據(jù)信息,短數(shù)據(jù)包為行、場(chǎng)同步等信息。較高端的手機(jī)攝像頭HS只傳輸長(zhǎng)數(shù)據(jù)包,行、場(chǎng)同步信息均混疊在LP模式中傳輸。
[0017]。注:圖1中,ST為起始字符,SP為短數(shù)據(jù)包,ET為終止字符,LPS低功率狀態(tài),PH為數(shù)據(jù)包頭,PF為數(shù)據(jù)包尾。
[0018]圖2中,主要介紹的是LP和HS信號(hào)接收時(shí)要進(jìn)行分離接收。由于LP和HS信號(hào)混疊在一起傳輸,接收端必須通過(guò)2種接收方式分別接收,LP和HS信號(hào)接收設(shè)置如圖2所示。數(shù)據(jù)傳輸?shù)牟罘中盘?hào)直接經(jīng)過(guò)HS接收端接收,同時(shí)引出差分信號(hào)中的一條線連接至LP接收端進(jìn)行數(shù)據(jù)接收。
[0019]在圖3中,MIPI DATA NO和MIPI DATA P0分別為數(shù)據(jù)信號(hào)入口和數(shù)據(jù)信號(hào)出口。R1和R2分別為兩個(gè)50歐姆的電阻。圖2是接收傳輸來(lái)的LP和HS信號(hào)時(shí)需要對(duì)數(shù)據(jù)進(jìn)行分離,圖3為接收分離好的數(shù)據(jù)后要對(duì)數(shù)據(jù)進(jìn)行濾波接收,也就是通過(guò)共模濾波接收。首先是HS接收端的設(shè)計(jì)問(wèn)題,根據(jù)HS信號(hào)的特點(diǎn)首先設(shè)計(jì)FPGA管腳約束。在FPGA上任意找3.3V或者2.5V供電的bank(供電模塊)上的幾對(duì)差分管腳,設(shè)置這幾對(duì)差分管腳約束為PH)S_33 (點(diǎn)對(duì)點(diǎn)差分信號(hào)傳輸標(biāo)準(zhǔn))或者PH)S_25,PH)S_33和PH)S_25 (點(diǎn)對(duì)點(diǎn)差分信號(hào)傳輸標(biāo)準(zhǔn))管腳的電氣標(biāo)準(zhǔn)一樣,為差分I/o,最小輸入差分振幅為100mV,最大輸入差分振幅為400mV。振幅中心可在200mV?2.3V