專利名稱：具有圖像轉(zhuǎn)換機(jī)制的顯示系統(tǒng)及其操作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及一種顯示系統(tǒng)，更具體地涉及一種用于圖像轉(zhuǎn)換的系統(tǒng)。
背景技術(shù)：
現(xiàn)代消費(fèi)和工業(yè)電子產(chǎn)品，尤其是諸如圖形顯示系統(tǒng)、電視、投影儀、蜂窩電話、便攜數(shù)字助手和組合設(shè)備之類的設(shè)備提供了增加的功能性級(jí)別，以支持包括三維顯示服務(wù)之類的現(xiàn)代生活。現(xiàn)有技術(shù)中的研究和開發(fā)可以采取多種不同方向。當(dāng)用戶越來越多地使用不斷增長的三維顯示設(shè)備時(shí)，新的和舊的范式開始利用這種新設(shè)備空間。存在許多技術(shù)方案來利用這種新顯示設(shè)備機(jī)遇。一種現(xiàn)有方法是在諸如視頻投影儀、電視、監(jiān)視器、游戲系統(tǒng)或個(gè)人數(shù)字助手(PDA)之類的消費(fèi)、工業(yè)和移動(dòng)電子產(chǎn)品上顯示三維圖像?；谌S圖像顯示的業(yè)務(wù)允許用戶創(chuàng)建、轉(zhuǎn)移、存儲(chǔ)和/或消費(fèi)信息，以便用戶在“真實(shí)世界”中創(chuàng)建、轉(zhuǎn)移、存儲(chǔ)和消費(fèi)?；谌S顯示的業(yè)務(wù)的一個(gè)這種用途是為了有效地在顯示器上展現(xiàn)三維圖像。已經(jīng)將三維顯示系統(tǒng)合并到投影儀、電視、筆記本電腦、手持設(shè)備和其他便攜產(chǎn)品中?，F(xiàn)在，這些系統(tǒng)通過顯示諸如圖表、地圖或視頻之類的可用相關(guān)信息來輔助用戶。三維圖像的顯示提供了非常寶貴的相關(guān)信息。然而，以三維形式顯示信息已經(jīng)變成消費(fèi)者主要關(guān)心的問題。顯示與真實(shí)世界沒有相關(guān)性的三維圖像減少了使用三維顯示系統(tǒng)的益處。因此，仍然需要具有圖像轉(zhuǎn)換機(jī)制的三維顯示系統(tǒng)來顯示三維圖像?？紤]到逐漸增加的商業(yè)競爭壓力、以及消費(fèi)者預(yù)期不斷增長和市場中有意義的產(chǎn)品分化的機(jī)會(huì)不斷減小，找到對(duì)于這些問題的答案越來越關(guān)鍵。此外，減少成本、改進(jìn)效率和性能以及滿足競爭壓力的需求對(duì)于找到這些問題的答案的緊迫必要性增加了甚至更大的迫切性。長期以來一直在尋找對(duì)于這些問題的解決方案，但是之前的研發(fā)還沒有教導(dǎo)或暗示任何解決方案，因此本領(lǐng)域技術(shù)人員對(duì)于這些問題的解決方案仍然毫無頭緒。

發(fā)明內(nèi)容
本發(fā)明提出了一種顯示系統(tǒng)的操作方法，包括:接收具有輸入像素的輸入圖像；向輸入像素分配與語義類別相對(duì)應(yīng)的像素信息；利用所述像素信息從輸入像素檢測輸入背景像素；利用所述輸入背景像素從所述輸入像素識(shí)別輸入前景像素；向輸入背景像素和輸入前景像素分配像素深度；利用輸入背景像素和輸入前景像素產(chǎn)生深度圖；以及利用深度圖根據(jù)輸入圖像產(chǎn)生處理的圖像，以在設(shè)備上顯示。
本發(fā)明提供了一種顯示系統(tǒng)，包括:通信單元，用于接收具有輸入像素的輸入圖像；語義分配模塊，與所述通信模塊相連，用于向輸入像素分配與語義類別相對(duì)應(yīng)的像素信息；背景檢測模塊，與所述語義分配模塊相連，用于利用所述像素信息從輸入像素檢測輸入背景像素；前景檢測模塊，與所述背景檢測模塊相連，用于利用所述輸入背景像素從所述輸入像素識(shí)別輸入前景像素；背景深度模塊，與語義分配模塊相連，用于向輸入背景像素分配像素深度；對(duì)象深度模塊，與所述背景深度模塊相連，用于向輸入前景像素分配像素深度；深度圖模塊，與所述語義分配模塊相連，用于利用輸入背景像素和輸入前景像素產(chǎn)生深度圖；以及圖像顯示模塊，與所述深度圖模塊相連，用于利用深度圖根據(jù)輸入圖像產(chǎn)生處理的圖像，以在設(shè)備上顯示。本發(fā)明的特定實(shí)施例具有除了上述之外的其他步驟或元素或者用于代替上述的其他步驟或元素。當(dāng)參考附圖時(shí)，根據(jù)閱讀以下詳細(xì)描述，這些步驟或元素對(duì)于本領(lǐng)域普通技術(shù)人員而言將是清楚明白的。


圖1是本發(fā)明實(shí)施例中具有圖像轉(zhuǎn)換機(jī)制的顯示系統(tǒng)。圖2是圖1的第一設(shè)備的顯示接口的示例。圖3是顯示系統(tǒng)的示例框圖。圖4是顯示系統(tǒng)的控制流程。圖5是語義分配模塊的視圖。圖6是輸入圖像的一部分的示例。圖7是背景檢測模塊的視圖。圖8是前景檢測模塊的視圖。圖9是深度圖模塊的視圖。圖10是輸入圖像的示例。圖11是具有已處理背景的輸入圖像的示例。圖12是已處理圖像的示例。圖13是本發(fā)明另一實(shí)施例中顯示系統(tǒng)的操作方法的流程圖。
具體實(shí)施例方式充分詳細(xì)地描述以下實(shí)施例以使得本領(lǐng)域普通技術(shù)人員能夠?qū)崿F(xiàn)和使用本發(fā)明。應(yīng)該理解的是基于本發(fā)明公開的其他實(shí)施例也是顯而易見的，并且在不脫離本發(fā)明范圍的情況下可以進(jìn)行系統(tǒng)、過程或機(jī)械變化。在以下詳細(xì)描述中，給出各種具體的細(xì)節(jié)以提供對(duì)本發(fā)明的全面理解。然而應(yīng)該明白的是可以在不包括這些特定細(xì)節(jié)的情況下實(shí)踐本發(fā)明。為了避免混淆本發(fā)明，沒有詳細(xì)地公開一些眾所周知的電路、系統(tǒng)配置和過程步驟。示出了所述系統(tǒng)的實(shí)施例的附圖只是半圖表式的，并且沒有按比例繪制，特別是為了清楚示出，一些尺寸在圖中放大地示出。類似地，盡管為了便于描述，附圖中的視圖通常示出類似的朝向，但是附圖中的這種繪圖對(duì)大多數(shù)部分而言是任意的。通常，可以按照任意朝向操作本發(fā)明。為了便于描述，已經(jīng)將實(shí)施例編號(hào)為第一實(shí)施例、第二實(shí)施例等，但不是為了具有任何其他含義或者對(duì)于本發(fā)明提供任何限制。本領(lǐng)域普通技術(shù)人員應(yīng)該理解的是表達(dá)圖像信息的格式對(duì)于本發(fā)明的一些實(shí)施例不是關(guān)鍵的。例如在一些實(shí)施例中，按照(x，Y)的格式展現(xiàn)圖像信息，其中X和Y是定義圖像中像素位置的兩個(gè)坐標(biāo)。在替代實(shí)施例中，例如用針對(duì)像素顏色的相關(guān)信息，通過(X，Y，Ζ)的形式展現(xiàn)三維圖像信息。在本發(fā)明的另一個(gè)實(shí)施例中，三維圖像信息也包括強(qiáng)度或亮度元素。這里使用的術(shù)語“圖像”可以包括二維圖像、三維圖像、視頻幀、計(jì)算機(jī)文件表示、來自攝像機(jī)的圖像、視頻幀或者其組合。例如，所述圖像可以是機(jī)器可讀數(shù)字文件、物理照片、數(shù)字照片、運(yùn)動(dòng)圖片幀、視頻幀、X射線圖像、掃描圖像或者其組合。此外，例如，硬件可以是電路、處理器、計(jì)算機(jī)、集成電路、集成電路內(nèi)核、壓力傳感器、慣性傳感器、微機(jī)電系統(tǒng)(MEMS)、無源器件或者其組合。這里使用的術(shù)語“模塊”包括軟件、硬件或者其組合。例如，軟件可以是機(jī)器代碼、固件、嵌入式代碼、應(yīng)用軟件。此外，例如，硬件可以是電路、處理器、計(jì)算機(jī)、集成電路、集成電路內(nèi)核、壓力傳感器、慣性傳感器、微機(jī)電系統(tǒng)(MEMS)、無源器件或者其組合?，F(xiàn)在參考圖1，其中示出了本發(fā)明實(shí)施例中具有圖像轉(zhuǎn)換機(jī)制的顯示系統(tǒng)100。顯示系統(tǒng)100包括諸如客戶端或服務(wù)器之類的第一設(shè)備102，與諸如客戶端或服務(wù)器之類的第二設(shè)備106相連。第一設(shè)備102可以利用諸如無線或有線網(wǎng)之類的通信路徑104與第二設(shè)備106通信。例如，第一設(shè)備102可以是多種顯示設(shè)備的任一個(gè)，例如蜂窩電話、個(gè)人數(shù)字助手、筆記本計(jì)算機(jī)、液晶顯示器(LCD)系統(tǒng)或者其他多功能顯示器或娛樂設(shè)備。第一設(shè)備102可以直接或間接地與通信路徑104相連，以與第二設(shè)備106通信，或者可以是獨(dú)立的設(shè)備。為了說明，描述顯示系統(tǒng)100，其中第一設(shè)備102是顯示設(shè)備，然而應(yīng)該理解的是第一設(shè)備102可以是不同類型的設(shè)備。例如，第一設(shè)備102也可以是用于展現(xiàn)圖像或多媒體展現(xiàn)的設(shè)備。多媒體展現(xiàn)可以是包括聲音、流圖像序列或視頻饋送、或者其組合的展現(xiàn)。作為示例，第一設(shè)備102可以是高清電視、三維電視、計(jì)算機(jī)監(jiān)視器、個(gè)人數(shù)字助手、蜂窩電話或多媒體機(jī)。第二設(shè)備106可以是多種集中或分散式計(jì)算設(shè)備或視頻傳輸設(shè)備的任一個(gè)。例如，第二設(shè)備102可以是多媒體計(jì)算機(jī)、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、視頻游戲控制臺(tái)、網(wǎng)格計(jì)算資源、虛擬計(jì)算資源、云計(jì)算資源、路由器、交換機(jī)、對(duì)等分布式計(jì)算設(shè)備、媒體回放設(shè)備、數(shù)字視頻盤(DVD)播放器、支持三維的DVD播放器、諸如照相機(jī)或視頻攝像機(jī)之類的記錄設(shè)備或者其組合。在另一個(gè)示例中，第二設(shè)備106可以是用于接收廣播或直播流信號(hào)的信號(hào)接收機(jī)，例如電視接收機(jī)、電纜盒、圓盤式衛(wèi)星接收機(jī)、或者諸如TiVo(TM)或Slingbox(TM)之類的web支持設(shè)備。第二設(shè)備106可以集中于單個(gè)房間、分布在不同房間、分布在不同的地理位置、嵌入在電信網(wǎng)絡(luò)中。第二設(shè)備106可以具有用于與通信路徑104耦合以與第一設(shè)備102通信的裝置。為了說明性的目的，描述顯示系統(tǒng)100，其中第二設(shè)備106為計(jì)算設(shè)備，然而應(yīng)該理解的是第二設(shè)備106可以是不同類型的設(shè)備。同樣為了說明性的目的，顯示系統(tǒng)100示出為第二設(shè)備106和第一設(shè)備102是通信路徑104的端點(diǎn),然而應(yīng)該理解的是顯示系統(tǒng)100可以具有在第一設(shè)備102、第二設(shè)備106和通信路徑104之間的不同劃分。例如，第一設(shè)備102、第二設(shè)備106或者其組合可以用作通信路徑104的一部分。通信路徑104可以是多種網(wǎng)絡(luò)。例如，通信路徑104可以包括無線通信、有線通信、光通信、超聲通信或其組合。衛(wèi)星通信、蜂窩通信、藍(lán)牙、紅外數(shù)據(jù)協(xié)會(huì)標(biāo)準(zhǔn)(IrDA)、無線保真度(WiFi)和微波接入萬維互操作性(WiMAX)是可以在通信路徑104中包括的無線通信的示例。以太網(wǎng)、數(shù)字訂戶線路(DSL)、光纖到戶(FTTH)和簡易老式電話業(yè)務(wù)(POTS)是可以在通信路徑104中包括的有線通信的示例。另外，通信路徑104可以跨越多個(gè)網(wǎng)絡(luò)拓?fù)浜途嚯x。例如，通信路徑104可以包括直接連接、私域網(wǎng)(PAN)、局域網(wǎng)(LAN)、城域網(wǎng)(MAN)、廣域網(wǎng)(WAN)或其組合?，F(xiàn)在參考圖2，其中示出了圖1的第一設(shè)備102的顯示接口 210的示例。顯示接口210是用于展現(xiàn)圖像或者多媒體展現(xiàn)的物理設(shè)備。例如，顯示接口可以是屏幕，包括IXD面板、等離子屏幕或者投影屏幕。顯示接口 210可以顯示已處理的圖像212。將已處理的圖像212定義為具有多個(gè)像素的區(qū)域，其中當(dāng)在顯示接口 210上展現(xiàn)時(shí)，像素已經(jīng)過處理以具有感知深度。感知深度意思是當(dāng)從遠(yuǎn)處觀看顯示接口 210時(shí),對(duì)象看起來相對(duì)于圖像中的其他對(duì)象或背景更加靠近或者遠(yuǎn)離。例如，在三維笛卡爾坐標(biāo)系中，其中原點(diǎn)位于圖像的左下角，將X軸213定義為用于寬度測量的基準(zhǔn)，將y軸215定義為用于深度測量的基準(zhǔn)，并且將ζ軸217定義為用于高度測量的基準(zhǔn)。對(duì)于y坐標(biāo)具有較大值的對(duì)象比對(duì)于y坐標(biāo)具有較小值的對(duì)象具有更大的感知深度。具有更大感知深度的對(duì)象看起來比具有更小感知深度的對(duì)象更靠近。作為另一個(gè)示例，用戶可以通過注意到已處理圖像212中的對(duì)象看起來在顯示接口 210平面的外面或前面來感知深度。類似地，用戶可以通過注意到已處理圖像212中的對(duì)象看起來在顯示接口 210平面的內(nèi)部或更深的后面來感知深度。例如，已處理的圖像212可以將像素變模糊，作為一種表達(dá)距離的方式。也可以減小亮度和色彩的強(qiáng)度以提供感知深度。已處理圖像212可以包括已處理的前景對(duì)象214和已處理的背景216。將已處理的前景對(duì)象214定義為相對(duì)于背景上對(duì)象的位置而言可以具有均勻深度(uniform depth)的對(duì)象。均勻深度的意思是對(duì)象的所有部分具有相同的感知深度。例如，已處理的前景對(duì)象214可以是筆直站立在足球場上的足球運(yùn)動(dòng)員或者筆直站立在棒球場中的棒球運(yùn)動(dòng)員。例如，為了向已處理的前景對(duì)象214提供相同的感知深度，在已處理的前景對(duì)象214的區(qū)域內(nèi)進(jìn)行像素模糊化和柔和化，這可以提供紋理，并暗示了已處理圖像212中任何已處理前景對(duì)象214之間的分離。將已處理的背景216定義為針對(duì)其他對(duì)象提供視覺基礎(chǔ)的那部分圖像。已處理的背景216具有逐漸或連續(xù)變化的感知深度。例如，在已處理圖像212底部附近的那部分已處理背景216可以比在已處理圖像212的中心或頂部附近的那部分已處理背景216具有更小的感知深度。在足球場的特定示例中，在已處理圖像212的底部附近的那部分足球場看起來更靠近，并且朝著已處理圖像212的中心和頂部將看起來逐漸遠(yuǎn)離。通常，已處理背景216可以代表單一或均勻的背景類型。例如，已處理的背景216可以代表足球比賽中的草坪運(yùn)動(dòng)場、航行場景中的海洋或者天空。然而，已處理背景216也可以由不同的分段或者部分組成，例如棒球球場的土壤以及內(nèi)野和外野草坪的組合，或者足球場草坪周圍的露天運(yùn)動(dòng)場座位。已處理圖像212可以具有圖像視點(diǎn)(viewpoint) 218。將圖像視點(diǎn)218定義為是圖像的攝像機(jī)角度。例如，圖像視點(diǎn)218可以是:鳥瞰圖，例如從飛機(jī)、直升機(jī)或小型飛船上的俯視圖；高角度視圖，例如從體育場的吊架或升高平臺(tái)獲取的視圖；或者視平高度(eyelevel)視圖；或者低角度視圖。通常，已處理圖像212可以具有作為透視圖(perspective view)的圖像視圖。將透視圖定義為高角度視點(diǎn)的類型，該高角度視點(diǎn)展現(xiàn)諸如體育場或者足球場或棒球場之類的廣播員的視角之類的大面積背景。透視圖通常也將前景對(duì)象展現(xiàn)為大面積背景上的小對(duì)象，例如運(yùn)動(dòng)場上的足球運(yùn)動(dòng)員或棒球運(yùn)動(dòng)員?，F(xiàn)在參考圖3，其中示出了顯示系統(tǒng)100的示例框圖。顯示系統(tǒng)100可以包括第一設(shè)備102、通信路徑104和第二設(shè)備106。第一設(shè)備102可以在通信路徑104上在第一設(shè)備傳輸308中向第二設(shè)備106發(fā)送信息。第二設(shè)備106可以在通信路徑104上在第二設(shè)備傳輸310中向第一設(shè)備102發(fā)送信息。為了說明性的目的，將顯示系統(tǒng)100示出為第一設(shè)備102作為客戶端設(shè)備，然而應(yīng)該理解的是顯示系統(tǒng)100可以具有作為不同類型設(shè)備的第一設(shè)備102。例如，第一設(shè)備102可以是具有顯示接口的服務(wù)器。此外，為了說明性的目的，將顯示系統(tǒng)100示出為具有作為服務(wù)器的第二設(shè)備106，然而應(yīng)該理解的是顯示系統(tǒng)100可以具有作為不同類型設(shè)備的第二設(shè)備106。例如，第二設(shè)備106可以是客戶端設(shè)備。為了在本發(fā)明該實(shí)施例中的描述簡潔，將第一設(shè)備102描述為客戶端設(shè)備，并且將第二設(shè)備106描述為服務(wù)器設(shè)備。本發(fā)明不局限于對(duì)于設(shè)備類型的這種選擇。這種選擇是本發(fā)明的示例。第一設(shè)備102可以包括第一控制單元312、第一存儲(chǔ)單元314、第一通信單元316和第一用戶接口 318。第一控制單元312可以包括第一控制接口 322。第一控制單元312可以執(zhí)行第一軟件326以提供顯示系統(tǒng)100的智能性?？梢园凑斩喾N不同的方式實(shí)現(xiàn)第一控制單元312。例如，第一控制單元312可以是處理器、專用集成電路(ASIC)、嵌入式處理器、微處理器、硬件控制邏輯、硬件有限狀態(tài)機(jī)(FSM)、數(shù)字信號(hào)處理器(DSP)或者其組合。第一控制接口 322可以用于在第一控制單元312和第一設(shè)備102中其他功能單元之間的通信。第一控制接口 322也可以用于第一設(shè)備102外部的通信。第一控制接口 322可以從其他功能單元或者從外部源接收信息，或者可以向其他功能單元或外部目的地發(fā)送信息。外部源和外部目的地指的是在第一設(shè)備102外部的源和目的地。第一控制接口 322可以按照不同方式實(shí)現(xiàn)，并且可以依賴于與第一控制接口 322接口連接的功能單元或外部單元而包括不同的實(shí)現(xiàn)。例如，第一控制接口 322可以利用壓力傳感器、慣性傳感器、微機(jī)電系統(tǒng)(MEMS)、光電路、波導(dǎo)、無線電路、有線電路或者其組合來實(shí)現(xiàn)。
第一存儲(chǔ)單元314可以存儲(chǔ)第一軟件326。第一存儲(chǔ)單元314也可以存儲(chǔ)相關(guān)信息，例如表示輸入圖像的數(shù)據(jù)、表示之前展現(xiàn)圖像的數(shù)據(jù)、聲音文件或者其組合。第一存儲(chǔ)單元314可以是易失性存儲(chǔ)器、非易失性存儲(chǔ)器、內(nèi)部存儲(chǔ)器、外部存儲(chǔ)器或者其組合。例如，第一存儲(chǔ)單元314可以是諸如非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)、閃速存儲(chǔ)器、盤存儲(chǔ)器之類的非易失性存儲(chǔ)器，或者諸如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)之類的易失性存儲(chǔ)器。第一存儲(chǔ)單元314可以包括第一存儲(chǔ)接口 324。第一存儲(chǔ)接口 324可以用于第一設(shè)備102中的其他功能單元之間的通信。第一存儲(chǔ)接口 324也可以用于第一設(shè)備102外部的通信。第一存儲(chǔ)接口 324可以從其他功能單元或者從外部源接收信息，或者可以向其他功能單元或者外部目的地發(fā)送信息。外部源和外部目的地指的是第一設(shè)備102外部的源或者目的地。依賴于與第一存儲(chǔ)單元314接口連接的功能單元或者外部單元，第一存儲(chǔ)接口324可以包括不同的實(shí)現(xiàn)。第一存儲(chǔ)接口 324可以利用與實(shí)現(xiàn)第一控制接口 322的技術(shù)類似的技術(shù)來實(shí)現(xiàn)。第一通信單元316可以使能去往和來自第一設(shè)備102的外部通信。例如，第一通信單元316可以允許第一設(shè)備102與圖1的第二設(shè)備106、諸如外圍設(shè)備或計(jì)算機(jī)桌面之類的附加設(shè)備以及通信路徑104通信。第一通信單元316也可以用作通信集線器(hub)，所述通信集線器允許第一設(shè)備102用作通信路徑104的一部分，并且不局限于至通信路徑104的端點(diǎn)或終端單元。第一通信單元316可以包括有源和無源部件，例如微電子器件或天線，用于與通信路徑104交互。第一通信單元316可以包括第一通信接口 328。第一通信接口 328可以用于在第一通信單元316與第一設(shè)備102中的其他功能單元之間的通信。第一通信接口 328可以從其他功能單元接收信息，或者可以向其他功能單元發(fā)送信息。依賴于與第一通信單元316接口連接的功能單元，第一通信接口 328可以包括不同的實(shí)現(xiàn)。第一通信接口 328可以利用與實(shí)現(xiàn)第一控制接口 322的技術(shù)類似的技術(shù)實(shí)現(xiàn)。第一用戶接口 318允許用戶(未示出)與第一設(shè)備102接口并且交互。第一用戶接口 318可以包括輸入設(shè)備和輸出設(shè)備。第一用戶接口 318的輸入設(shè)備的示例可以包括鍵區(qū)、觸摸板、軟按鍵、鍵盤、麥克風(fēng)、用于接收遙控信號(hào)的紅外傳感器，或者其任意組合，以提供數(shù)據(jù)和通信輸入。第一用戶接口 318可以包括第一顯示接口 330。第一顯示接口 330可以包括顯示器、投影儀、視頻屏幕、揚(yáng)聲器或者其任意組合。第一控制單元312可以操作第一用戶接口 318以顯示由顯示系統(tǒng)100產(chǎn)生的信息。第一控制單兀312也可以針對(duì)顯不系統(tǒng)100的其他功能來執(zhí)行第一軟件326。第一控制單元312還可以執(zhí)行第一軟件326，用于經(jīng)由第一通信單元316與通信路徑104交互。可以優(yōu)化第二設(shè)備106以在具有第一設(shè)備102的多設(shè)備實(shí)施例中實(shí)現(xiàn)本發(fā)明。與第一設(shè)備102相比，第二設(shè)備106可以提供附加的或者更高的性能處理能力。第二設(shè)備106可以包括第二控制單元334、第二通信單元336和第二用戶接口 338。第二用戶接口 338允許用戶(未示出)與第二設(shè)備接口并且交互。第二用戶接口338可以包括輸入設(shè)備和輸出設(shè)備。第二用戶接口 338的輸入設(shè)備的示例可以包括鍵區(qū)、觸摸板、軟按鍵、鍵盤、麥克風(fēng)、用于接收遙控信號(hào)的紅外傳感器或者其任意組合，以提供數(shù)據(jù)和通信輸入。第二用戶接口 338的輸出設(shè)備的示例可以包括第二顯示接口 340。第二顯示接口 340可以包括顯示器、投影儀、視頻屏幕、揚(yáng)聲器或者其任意組合。第二控制單元334可以執(zhí)行第二軟件342，以提供顯示系統(tǒng)100的第二設(shè)備106的智能性。第二軟件342可以與第一軟件326相結(jié)合操作。與第一控制單元312相比，第二控制單元334可以提供附加的性能。第二控制單元334可以操作第二用戶接口 338以顯示信息。第二控制單元334也可以執(zhí)行第二軟件342，用于顯示系統(tǒng)100的其他功能，包括操作第二通信單元336在通信路徑104上與第一設(shè)備102通信。第二控制單元可以按照多種不同方式實(shí)現(xiàn)。例如，第二控制單元334可以是處理器、嵌入式處理器、微處理器、硬件控制邏輯、硬件有限狀態(tài)機(jī)(FSM)、數(shù)字信號(hào)處理器(DSP)或者其組合。第二控制單元334可以包括第二控制器接口 344。第二控制器接口 344可以用于在第二控制單元334和第二設(shè)備106中的其他功能單元之間的通信。第二控制器接口 344也可以用于第二設(shè)備106外部的通信。第二控制器接口 344可以從其他功能單元或從外部源接收信息，或者可以向其他功能單元或向外部目的地發(fā)送信息。外部源和外部目的地指的是第二設(shè)備106外部的源和目的地。第二控制器接口 344可以按照不同的方式實(shí)現(xiàn)，并且可以依賴于與第二控制器接口 344接口的功能單元或外部單元而包括不同的實(shí)現(xiàn)。例如，第二控制器接口 344可以利用壓力傳感器、慣性傳感器、微機(jī)電系統(tǒng)(MEMS)、光電路、波導(dǎo)、無線電路、有線電路或者其組合來實(shí)現(xiàn)。第二存儲(chǔ)單元346可以存儲(chǔ)第二軟件342。第二存儲(chǔ)單元346也可以存儲(chǔ)例如表示輸入圖像的數(shù)據(jù)、表示之前展現(xiàn)圖像的數(shù)據(jù)、聲音文件或者其組合。可以確定第二存儲(chǔ)單元346的大小，以提供附加的存儲(chǔ)容量來補(bǔ)充第一存儲(chǔ)單元314。為了說明性的目的，將第二存儲(chǔ)單元346示出為是單一元件，然而應(yīng)該理解的是第二存儲(chǔ)單元346可以是分布式存儲(chǔ)元件。此外，為了說明性的目的，將顯示系統(tǒng)100示出為具有作為單級(jí)存儲(chǔ)系統(tǒng)的第二存儲(chǔ)單元346，然而應(yīng)該理解的是顯示系統(tǒng)100可以具有不同配置的第二存儲(chǔ)單元346。例如，第二存儲(chǔ)單元346可以利用形成存儲(chǔ)器分級(jí)系統(tǒng)的不同存儲(chǔ)技術(shù)來形成，該存儲(chǔ)器分級(jí)系統(tǒng)包括不同層次的高速緩存、主存儲(chǔ)器、旋轉(zhuǎn)式媒介(rotating media)或者離線存儲(chǔ)器。 第二存儲(chǔ)單元346可以是易失性存儲(chǔ)器、非易失性存儲(chǔ)器、內(nèi)部存儲(chǔ)器、外部存儲(chǔ)器或者其組合。例如，第二存儲(chǔ)單元346可以是諸如非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)、閃速存儲(chǔ)器、盤存儲(chǔ)器之類的非易失性存儲(chǔ)器，或者諸如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)之類的易失性存儲(chǔ)器。第二存儲(chǔ)單元346可以包括第二存儲(chǔ)接口 348。第二存儲(chǔ)接口 348可以用于在第二設(shè)備106中的其他功能單元之間的通信。第二存儲(chǔ)接口 348也可以用于第二設(shè)備106外部的通信。
第二存儲(chǔ)接口 348可以從其他功能單元或者從外部源接收信息，或者可以向其他功能單元或外部目的地發(fā)送信息。外部源和外部目的地指的是第二設(shè)備106外部的源和目的地。依賴于與第二存儲(chǔ)單元346接口的功能單元或外部單元，第二存儲(chǔ)接口 348可以包括不同的實(shí)現(xiàn)。第二存儲(chǔ)接口 348可以利用與實(shí)現(xiàn)第二控制器接口 344的技術(shù)類似的技術(shù)來實(shí)現(xiàn)。第二通信單元336可以使能去往和來自第二設(shè)備106的外部通信。例如，第二通信單元336可以允許第二設(shè)備106通過通信路徑106與第一設(shè)備104通信。第二通信單元336也可以用作通信集線器，所述通信集線器允許第二設(shè)備106用作通信路徑104的一部分，并且不局限于至通信路徑104的端點(diǎn)或者終端單元。第二通信單元336可以包括有源和無源部件，例如微電子器件或天線，用于與通信路徑104交互。第二通信單元336可以包括第二通信接口 350。第二通信接口 350可以用于在第二通信單元336與第二設(shè)備106中的其他功能單元之間的通信。第二通信接口 350可以從其他功能單元接收信息，或者可以向其他功能單元發(fā)送信息。第二通信接口 350依賴于與第二通信單元336接口的功能單元而可以包括不同的實(shí)現(xiàn)。第二通信接口 350可以利用與實(shí)現(xiàn)第二控制接口 344的技術(shù)類似的技術(shù)來實(shí)現(xiàn)。第一通信單兀316可以與通信路徑104 f禹合，以在第一設(shè)備傳輸308中向第二設(shè)備發(fā)送信息。第二設(shè)備106可以從通信路徑104的第一設(shè)備傳輸308中接收第二通信單元336中的信息。第二通信單元336可以與通信路徑104耦合，以在第二設(shè)備傳輸310中向第一設(shè)備102發(fā)送信息。第一設(shè)備102可以從通信路徑104的第二設(shè)備傳輸310中接收第一通信單元316中的信息。顯示系統(tǒng)100可以通過第一控制單元312、第二控制單元334或者其組合來執(zhí)行。為了說明性的目的，將第二設(shè)備106示出為是具有以下劃分:第二用戶接口 338、第二存儲(chǔ)單元346、第二控制單元334和第二通信單元336，然而應(yīng)該理解的是第二設(shè)備106可以具有不同的劃分。例如，可以不同地劃分第二軟件342，使得其功能的一些或全部可以在第二控制單元334和第二通信單元336中。此外為了清楚起見，第二設(shè)備106可以包括圖3中未示出的其他功能單元。第一設(shè)備102中的功能單元可以單獨(dú)地并與其他功能單元相獨(dú)立地工作。第一設(shè)備102可以單獨(dú)地并與第二設(shè)備106和通信路徑104相獨(dú)立地工作。第二設(shè)備106中的功能單元可以單獨(dú)地并與其他功能單元相獨(dú)立地工作。第二設(shè)備106可以單獨(dú)地并與第一設(shè)備102和通信路徑104相獨(dú)立地工作。為了說明性的目的，通過第一設(shè)備102和第二設(shè)備106的操作來描述顯示系統(tǒng)100。應(yīng)該理解的是第一設(shè)備102和第二設(shè)備106可以操作顯示系統(tǒng)100的任意模塊或功倉泛?，F(xiàn)在參考圖4，示出了顯示系統(tǒng)100的控制流程。顯示系統(tǒng)100包括輸入圖像424。將輸入圖像424定義為由第一設(shè)備102接收的圖像，用于在圖2的顯示接口 210上顯示。輸入圖像424可以包括輸入像素426，所述輸入像素定義為用于產(chǎn)生輸入圖像424的各個(gè)單獨(dú)像素，可以將輸入圖像424轉(zhuǎn)換為圖2的已處理圖像212。
輸入像素426可以具有像素值428。將像素值428定義為代表了對(duì)像素顏色加以描述的信息的值。例如，像素值428可以是代表顏色空間中的特定顏色的坐標(biāo)集合。將顏色空間定義為可以用于描述特定顏色的度量。顏色空間可以由YUV顏色空間來代表。Y分量可以確定圖像中顏色的光亮度或亮度，其中低的Y值與低亮度相對(duì)應(yīng)，高的Y值與高亮度相對(duì)應(yīng)。U和V分量可以確定圖像的色度或顏色。例如，U分量可以是圖像的藍(lán)色分量的量度，而V分量可以是圖像的紅色分量的量度。作為示例，可以沿顏色空間的X軸和y軸測量U和V色度。作為另一個(gè)示例，可以沿I軸測量V分量，而沿X軸測量U分量。像素值428可以基于輸入像素428在顏色空間中的坐標(biāo)來描述輸入像素428的顏色。例如，(xl,yl)的像素值428可以代表特定的綠色色調(diào)(shade of green),而(x2,y2)的像素值428可以代表特定的紅色色調(diào)(shade of red)。顯不系統(tǒng)100可以包括直方圖模塊430。直方圖模塊430用于產(chǎn)生與來自圖像的像素相關(guān)聯(lián)的值的分布圖表或曲線。直方圖模塊430可以根據(jù)輸入圖像424的像素值428產(chǎn)生輸入直方圖432。將輸入直方圖432定義為在圖像中表現(xiàn)的顏色的二維直方圖。輸入直方圖432可以表示輸入圖像424中具體顏色的頻率。例如，如果大量的輸入像素426具有代表綠色色調(diào)的像素值428，那么綠色色調(diào)可以具有高頻率?？梢酝ㄟ^根據(jù)像素值428將與YUV顏色空間中的顏色相對(duì)應(yīng)的輸入像素426的總個(gè)數(shù)求和來產(chǎn)生輸入直方圖432。顯示系統(tǒng)100可以包括語義分配模塊434。語義分配模塊434用于識(shí)別代表圖像的直方圖中的局部最大值、對(duì)局部最大值進(jìn)行分類、以及基于分類的局部最大值對(duì)圖像中的其余像素分類。下面將更加詳細(xì)地討論這些功能中的每一個(gè)。顯示系統(tǒng)100可以包括背景檢測模塊436。背景檢測模塊436用于基于特定像素的總個(gè)數(shù)和特定像素的密度來確定圖像中的像素是否構(gòu)成圖像中的背景。這些功能中的每一個(gè)將在下面詳細(xì)描述。顯示系統(tǒng)100可以包括前景檢測模塊438。前景檢測模塊438通過確定一組像素是否被像素背景包圍、或者一組像素是否相對(duì)于像素背景在數(shù)量上較小，來檢測圖像中背景上的對(duì)象。這些功能中的每一個(gè)將在下面詳細(xì)描述。顯示系統(tǒng)100可以包括深度圖模塊440。深度圖模塊440用于確定圖像是否提供特定視圖，如果檢測到特定視圖則產(chǎn)生圖像中背景和前景對(duì)象的圖(map)。這些功能中的每一個(gè)將在下面詳細(xì)描述。深度圖模塊440可以產(chǎn)生深度圖442。將深度圖442定義為代表針對(duì)圖像中的每一個(gè)像素的深度信息的映射。顯示系統(tǒng)100可以包括圖像顯示模塊444。將圖像顯示模塊444定義為向輸入圖像施加深度信息，以產(chǎn)生已處理圖像212，用于在設(shè)備上顯示。圖像顯示模塊444可以將輸入圖像424轉(zhuǎn)換為已處理圖像212。圖像顯示模塊444可以向輸入圖像424中的像素施加深度圖442，以產(chǎn)生已處理圖像212，用于在圖1的第一設(shè)備102上顯示。顯示系統(tǒng)100可以在圖1的第一設(shè)備102上、或第二設(shè)備上106實(shí)現(xiàn)，或者在第一設(shè)備102和第二設(shè)備106之間劃分。例如，第二設(shè)備106可以通過圖3的通信路徑104發(fā)送輸入圖像424，作為圖3的第二設(shè)備傳輸310。第一設(shè)備102可以利用圖3的第一通信單元316接收輸入圖像424。圖3的第一通信接口 328可以向圖3的第一存儲(chǔ)單元314或圖3的第一控制單元312發(fā)送輸入圖像424。圖3的第一軟件326或者第一控制單元312可以執(zhí)行直方圖模塊430、語義分配模塊434、背景檢測模塊436、前景檢測模塊438、深度圖模塊440和圖像顯示模塊444。第一控制接口 322或第一存儲(chǔ)接口 324可以向圖3的第一顯示接口 330發(fā)送已處理圖像212。第一顯示接口 330可以接收和顯示已處理圖像212。作為示例，顯示系統(tǒng)100描述了模塊功能或順序?？梢圆煌貏澐帜K。例如，第二軟件342可以包括直方圖模塊430。每一個(gè)模塊可以單獨(dú)地且與其他模塊相獨(dú)立地操作。另外，在一個(gè)模塊中產(chǎn)生的數(shù)據(jù)可以由另一個(gè)模塊使用，而模塊無需彼此直接相連。例如，語義分配模塊434可以接收像素值428?，F(xiàn)在參考圖5，其中示出了語義分配模塊434的視圖。語義分配模塊434可以包括峰值識(shí)別模塊550。峰值識(shí)別模塊550用于識(shí)別直方圖中的峰值。峰值識(shí)別模塊550可以識(shí)別輸入峰值552。將輸入峰值552定義為輸入直方圖432中的局部最大值。將局部最大值定義為在YUV顏色空間中以最高頻率出現(xiàn)的顏色。輸入峰值552可以與輸入圖像424中像素值428中的具體一個(gè)相對(duì)應(yīng)。峰值識(shí)別模塊550可以將輸入峰值552識(shí)別為輸入直方圖432中的局部最大值。作為特定示例，峰值識(shí)別模塊550可以識(shí)別高達(dá)8個(gè)局部最大值作為輸入峰值552。語義分配模塊434可以包括峰值分類模塊554。峰值分類模塊554用于對(duì)直方圖中的局部最大值進(jìn)行分類。峰值分類模塊554可以根據(jù)像素信息556對(duì)輸入峰值552進(jìn)行分類。將像素信息556定義為對(duì)圖像中輸入峰值552或輸入像素426所表示的對(duì)象的類型或特征進(jìn)行標(biāo)識(shí)的信息。輸入峰值552和輸入像素426可以包括像素信息556。像素信息556可以與語義類別558相關(guān)聯(lián)。將語義類別558定義為在圖像中表現(xiàn)的物理材料或?qū)ο蟮念悇e。可以針對(duì)預(yù)定個(gè)數(shù)的不同材料或?qū)ο髞碓O(shè)置語義類別558。例如，語義類別可以代表諸如草、水、土壤、木頭、混凝土或皮膚之類的對(duì)象或材料。作為另一個(gè)示例，語義類別558可以代表與輸入圖像424中的輸入背景560相關(guān)聯(lián)的對(duì)象。將輸入背景560定義為代表圖像的背景區(qū)域的一組像素。例如，輸入背景560可以代表輸入圖像中的已處理背景216，例如運(yùn)動(dòng)場上的草皮區(qū)域、海洋中的水或者天空。語義類別558可以具有語義值562。將語義值562定義為與圖像中表現(xiàn)的對(duì)象或材料相關(guān)聯(lián)的值。例如，語義值562可以基于與具體對(duì)象或材料相關(guān)聯(lián)的顏色。峰值分類模塊554可以通過將與輸入峰值552之一相對(duì)應(yīng)的像素值428與語義類別558的語義值562進(jìn)行比較，來對(duì)輸入峰值552進(jìn)行分類。峰值分類模塊554可以與語義類別558相對(duì)應(yīng)地為每一個(gè)輸入峰值552來分配像素信息556。如果輸入峰值552的像素值428與語義類別558之一的語義值562相匹配，可以將輸入峰值552的像素信息556分類為與語義值562相對(duì)應(yīng)的語義類別558。例如，具有與草的語義值562相對(duì)應(yīng)的像素值428的輸入峰值552可以具有草的像素信息556。相反，如果輸入峰值552之一的像素值428不與語義類別558之一的語義值562相匹配，像素分類模塊554可以將像素信息556分類為“其他”(misc)。misc的語義類別558意味著輸入像素426不與語義類別558的預(yù)先定義類別的任一個(gè)相匹配。語義分配模塊434可以包括像素分類模塊564。像素分類模塊564用于向圖像中的像素分配語義信息。像素分類模塊564可以通過將輸入像素426和輸入峰值552與分類閾值566相關(guān)聯(lián),來對(duì)輸入像素426進(jìn)行分類。將分類閾值566定義為用于確定一個(gè)值是否與另一個(gè)值相關(guān)聯(lián)或者是否與另一值在共同的組內(nèi)?？梢酝ㄟ^迭代或遞歸方法來啟發(fā)式地(heuristically)確定分類閾值566。作為基本示例，當(dāng)將輸入像素426之一與輸入峰值552之一比較時(shí)，如果差大于分類閾值566，這兩者彼此不相關(guān)或者不關(guān)聯(lián)。相反，如果輸入像素426之一和輸入峰值552之一之間的差小于分類閾值566，那么可以將這兩者看作是彼此相關(guān)或者相關(guān)聯(lián)。像素分類模塊564可以基于像素值428，使用分類閾值566對(duì)具有輸入峰值552的輸入像素426的一個(gè)或多個(gè)進(jìn)行分組。例如，像素分類模塊564可以計(jì)算輸入像素426之一的像素值428和每一個(gè)輸入峰值552的像素值428之間的歐式距離。像素分類模塊564可以將具有小于分類閾值566的最短歐式距離的輸入像素426和輸入峰值552相關(guān)聯(lián)。如果將輸入像素426與輸入峰值552之一相關(guān)聯(lián),那么將輸入像素426分類為具有與相關(guān)聯(lián)的輸入峰值552之一相同的像素信息556。相反,如果像素分類模塊564計(jì)算輸入像素426之一和輸入峰值552之間的歐式距離大于分類閾值566,那么像素分類模塊564可以將針對(duì)輸入像素426的像素信息556分類為“misc”。作為特定示例，在輸入峰值552具有“草”、“海洋”、“天空”和“皮膚”的像素信息556的情況下,像素分類模塊564可以將每一個(gè)輸入像素426與每一個(gè)輸入峰值552進(jìn)行比較。如果分類閾值566是20,并且像素分類模塊564計(jì)算輸入像素426之一與代表“草”、“海洋”、“天空”和“皮膚”的輸入峰值552之間的歐式距離分別為16、32、29和18，像素分類模塊564可以將像素信息556分類為“草”。這是因?yàn)榉诸惖妮斎胂袼?26和代表“草”的輸入峰值552之間的歐式距離小于分類閾值566,并且相比于代表“皮膚”(也小于分類閾值566)的輸入峰值552而言更小。為了說明性的目的，像素分類模塊564可以基于歐式距離執(zhí)行統(tǒng)計(jì)分析，然而應(yīng)該理解的是分類模塊可以使用其他方法。例如，像素分類模塊564可以利用馬哈拉諾比斯距離(Mahalanobis distance)或者聚類(clustering)算法。顯示系統(tǒng)100可以在圖1的第一設(shè)備102上、或圖1的第二設(shè)備106上實(shí)現(xiàn)，或者在第一設(shè)備102和第二設(shè)備106之間劃分。例如，圖3的第一存儲(chǔ)單元314或圖3的第一控制單元312可以存儲(chǔ)峰值識(shí)別模塊550、峰值分類模塊554或像素分類模塊564。作為示例，顯示系統(tǒng)100描述了模塊功能或順序?？梢圆煌貏澐帜K。例如，第一控制單元312可以存儲(chǔ)和執(zhí)行峰值識(shí)別模塊550，以及第一存儲(chǔ)單元314可以存儲(chǔ)峰值分類模塊554。每一個(gè)模塊可以單獨(dú)地或者與其他模塊相獨(dú)立地操作。另外，在一個(gè)模塊中產(chǎn)生的數(shù)據(jù)可以由另一個(gè)模塊使用，而模塊無需彼此直接耦合。例如，像素分類模塊564可以接收像素值428。現(xiàn)在參考圖6，其中示出了輸入圖像424的一部分的示例。輸入圖像424的這部分描述了輸入像素426的像素塊602。每一個(gè)像素內(nèi)部的詞代表針對(duì)每一個(gè)輸入像素426的像素信息556。沿像素塊602底部的數(shù)字代表像素列，沿像素塊602左側(cè)的數(shù)字代表像素行。圖4的語義分配模塊434可以向每一個(gè)輸入像素426分配像素信息556。為了說明性的目的，像素塊602示出了輸入像素426的大部分具有作為“草”的像素信息556,并且示出了列3-5和行3-6中的少量像素具有作為“其他”的像素信息556,然而應(yīng)該理解的是輸入像素426的分布和布置可以具有不同的像素信息556。例如，像素塊602中的輸入像素426的大部分可以具有作為“天空”或者“土壤”的像素信息556。現(xiàn)在參考圖7，示出了背景檢測模塊436的視圖。背景檢測模塊436可以利用像素信息556檢測輸入背景像素770。將輸入背景像素770定義為代表輸入背景560的像素。背景檢測模塊436可以利用背景比率模塊772和像素密度模塊774確定多個(gè)輸入像素426是否是輸入背景像素。背景比率模塊772用于確定具有相同或類似語義信息的像素的比率。背景比率模塊772可以基于像素信息556和比率閾值778來計(jì)算背景比率776。將背景比率772定義為代表背景的像素與圖像中總像素個(gè)數(shù)的比率。將比率閾值778定義為用于確定像素的比率是否足以構(gòu)成背景的值。背景比率模塊772可以通過將具有相同像素信息556的輸入像素426的個(gè)數(shù)求和并除以輸入圖像424中輸入像素426的總個(gè)數(shù)來計(jì)算背景比率776。背景比率模塊772可以針對(duì)輸入圖像424中的每一個(gè)像素信息556計(jì)算背景比率776。例如，對(duì)于具有特定像素信息的輸入像素426，如果背景比率776大于比率閾值778，那么背景比率模塊772可以確定存在足夠的輸入像素426來構(gòu)成輸入背景像素770。通常，具有比率閾值778以上的最高背景比率776的輸入像素426構(gòu)成輸入背景像素770。作為特定示例，背景比率776可以是788?？梢岳脠D6來說明背景比率模塊772的功能。例如，背景比率模塊772可以針對(duì)像素塊602中的49個(gè)輸入像素426來計(jì)算背景比率776。像素塊620包含具有像素信息556 “草”的輸入像素426和具有像素信息556 “其他”的輸入像素426。背景比率模塊772可以確定存在41個(gè)具有像素信息556 “草”的輸入像素426，從而背景比率776是41/49，或者近似0.84。類似地，背景比率模塊772將確定存在8個(gè)具有像素信息556 “其他”的輸入像素426，從而背景比率776是8/49，或者近似0.16。作為示例，如果比率閾值778是
0.80，那么背景比率模塊772可以確定具有像素信息556 “草”的輸入像素426構(gòu)成了作為輸入背景像素770的足夠的輸入像素426。像素密度模塊774用于確定與特定語義信息相關(guān)聯(lián)的像素是否具有足夠的密度來構(gòu)成圖像的背景。像素密度模塊774可以基于密度閾值780和像素密度782來確定具有特定像素信息556的輸入像素426是否構(gòu)成輸入背景像素770。將密度閾值780定義為用于確定一組像素的密度是否足以構(gòu)成背景的值?？梢酝ㄟ^迭代或遞歸方法啟發(fā)式地確定像素密度閾值780。將像素密度782定義為具有相同語義信息的像素的總個(gè)數(shù)與如下事件的個(gè)數(shù)之t匕，該事件是具有相同語義信息的像素與具有不同語義信息的像素相鄰。像素密度模塊774可以通過用具有相同像素信息556的輸入像素426的總個(gè)數(shù)除以語義緩沖器786來計(jì)算像素密度782。語義緩沖器786是如下事件的總個(gè)數(shù)，該事件是具有相同語義信息的像素與具有不同語義信息的像素相鄰。
像素密度模塊774可以包括緩沖求和模塊784。緩沖求和模塊784用于跟蹤從一個(gè)像素到另一個(gè)像素的屬性的變化。緩沖求和模塊784可以通過針對(duì)每一個(gè)輸入像素426，對(duì)語義變化788求和，來計(jì)算語義緩沖器786。將語義變化788定義為一個(gè)像素和另一個(gè)相鄰像素之間的語義信息的變化。例如，第一輸入信息426可以具有像素信息556“草”，而相鄰的第二輸入像素426可以具有與“土壤”相對(duì)應(yīng)的像素信息556。第一輸入像素426和第二輸入像素426之間的語義變化是
1在二維平面上，每一個(gè)輸入像素426可以具有高達(dá)4的語義變化788。具有方形形狀的輸入像素426可以與四個(gè)其他輸入像素426共享邊界或邊，例外的是沿輸入像素424的邊緣或位于角落處的輸入像素426。更具體地，輸入像素426之一可以與上、下、左和右的另一個(gè)輸入像素426共享邊。每一個(gè)輸入像素426可以與具有不同像素信息556的多達(dá)四個(gè)的輸入像素426相鄰。類似地，沿邊緣定位的輸入像素426可以具有高達(dá)3的語義變化788，并且位于輸入圖像424角落處的輸入像素426可以具有高達(dá)2的語義變化。緩沖求和模塊784可以針對(duì)輸入圖像424中展現(xiàn)的每一個(gè)像素信息556來計(jì)算語義緩沖器786。例如，如果圖5的峰值分類模塊554識(shí)別了具有“草”、“土壤”和“misc”的像素信息556的圖5的輸入峰值552，像素密度模塊774可以計(jì)算與“草”、“土壤”和“misc”相對(duì)應(yīng)的語義緩沖器768。緩沖求和模塊784可以檢查每一個(gè)輸入像素426，以確定針對(duì)每一個(gè)像素信息556的語義變化788。每當(dāng)緩沖求和模塊784檢測到針對(duì)具有特定像素信息556的輸入像素426之一的語義變化788時(shí)，緩沖求和模塊784可以增加語義緩沖器786的值。在緩沖求和模塊784計(jì)算了語義緩沖器786之后，像素密度模塊774可以通過將具有相同像素信息556的輸入像素426的總個(gè)數(shù)除以相應(yīng)的語義緩沖器786來確定像素密度782。如果像素密度782大于密度閾值780，那么像素密度模塊774可以確定特定像素信息556的輸入像素426足以構(gòu)成輸入背景像素770。通常，具有密度閾值780以上的最高像素密度782的輸入像素426構(gòu)成了輸入背景像素770。像素密度模塊774和緩沖求和模塊784的功能可以由圖6說明。例如，在像素塊602中，緩沖求和模塊784可以分別計(jì)算針對(duì)“草”和“misc”的像素信息556的語義緩沖器786。緩沖求和模塊784可以對(duì)每一行輸入像素426進(jìn)行掃描，以檢查語義變化788。例如，緩沖求和模塊784可以對(duì)第一行進(jìn)行掃描、并且針對(duì)草的像素信息556將語義緩沖器786增加到1，這是因?yàn)?3，1)處的輸入像素426相對(duì)于(3，2)處的上側(cè)輸入像素426具有語義變化788。類似地，緩沖求和模塊784可以對(duì)第二行進(jìn)行掃描，并且針對(duì)草的像素信息556將語義緩沖器786加3，總共為4。這是因?yàn)?2，2)處的輸入像素426相對(duì)于(3，2)處的右側(cè)輸入像素426具有語義變化，(4，2)處的輸入像素426相對(duì)于(3，2)和(4，3)處的左側(cè)和上側(cè)也具有語義變化788。緩沖求和模塊784可以重復(fù)對(duì)每一行的掃描，檢查像素塊602中的語義變化788，以計(jì)算針對(duì)“草”的像素信息556的語義緩沖器786為14。另外，像素密度計(jì)算模塊774可以將針對(duì)具有“草”的像素信息556的輸入像素426的像素密度782計(jì)算為近似2.9,或者41/14。作為示例,如果密度閾值780是2.5,那么像素密度模塊774可以確定具有“草”的像素信息556的輸入像素426足以構(gòu)成輸入背景像素 770。背景檢測模塊436可以確定具有與語義類別558之一匹配的像素信息556的輸入像素426是否是輸入背景圖像770。如果背景比率模塊772確定背景比率776大于比率閾值778，并且像素密度模塊774確定像素密度782大于密度閾值780，那么背景檢測模塊436可以確定與語義類別558之一相對(duì)應(yīng)的輸入像素426是輸入背景圖像770。通常，將具有最高背景比率776和最高像素密度782兩者的輸入像素426確定為輸入背景像素770。然而在一些情況下，輸入背景像素可以包括不同的分段或者部分，其中輸入像素426具有不同的像素信息556。例如，代表棒球球場的土壤以及內(nèi)野和外野的草的組合、或者足球場草地周圍的露天運(yùn)動(dòng)場座位可以由輸入背景圖像770來表示。替代地，當(dāng)針對(duì)輸入像素426的像素密度782在密度范圍750內(nèi)時(shí)，像素密度模塊774可以確定與特定像素信息556相關(guān)聯(lián)的信輸入像素426是否構(gòu)成輸入背景圖像。將密度范圍750定義為與語義可靠性752相對(duì)應(yīng)的像素密度782范圍。將語義可靠性752定義為基于語義信息的差別對(duì)圖像中像素進(jìn)行分割或分組的精確度的量度。語義可靠性可以是依據(jù)像素密度782的?！愣裕Z義可靠性752可以隨像素密度782的值的增大而增大，直至語義可靠性752達(dá)到可靠性最大值754為止，然后在可靠性最大值754之后隨著像素密度782值增大而減小。將可靠性最大值754定義為針對(duì)輸入圖像424的語義可靠性752的最大值?？梢栽诰哂锌煽啃郧€758的可靠性圖表756中示出語義可靠性752和像素密度782之間的關(guān)系?？煽啃詧D表756的X軸可以代表像素密度782的量度，而y軸可以代表語義可靠性752的量度?？煽啃郧€758可以從具有零值的語義可靠性752增加到可靠性最大值754?？煽啃宰畲笾?54可以是語義可靠性752的最大值,如可靠性曲線758的峰值所示。作為示例，可靠性最大值754可以與像素密度782的值相對(duì)應(yīng)，該像素密度782的值等同于輸入像素426的總個(gè)數(shù)在輸入圖像424的寬度中所占的分?jǐn)?shù)值(fraction)，如沿x軸的點(diǎn)Al所示。作為具體示例，該分?jǐn)?shù)值可以是已處理的前景對(duì)象214的像素或者與已處理前景對(duì)象214相關(guān)聯(lián)的像素的總個(gè)數(shù)除以輸入圖像424寬度中的輸入像素426的總個(gè)數(shù)?？煽啃郧€758可以在可靠性最大值754之后減小到具有零值的語義可靠性752。作為示例，可靠性曲線752可以是在像素密度782的值處具有零值的語義可靠性752，該像素密度782的值等同于輸入圖像426的總個(gè)數(shù)在輸入圖像424寬度中所占的分?jǐn)?shù)值的3倍，如沿X軸的點(diǎn)A2所示。作為具體示例，所述分?jǐn)?shù)值可以是已處理的前景對(duì)象214的像素或者與已處理的前景對(duì)象214相關(guān)聯(lián)的像素的總個(gè)數(shù)除以輸入圖像424的寬度中輸入圖像426的總個(gè)數(shù)。密度范圍750可以是像素密度782的值，該值等于沿可靠性曲線758與可靠性最大值754的半值相對(duì)應(yīng)的像素密度782或在這些像素密度782之間，如沿x軸的點(diǎn)“XI”和“X2”所示。將可靠性最大值754的半值在可靠性曲線756上由點(diǎn)“ ”和虛線表示。當(dāng)針對(duì)輸入像素426的像素密度782在密度范圍750內(nèi)時(shí)，像素密度模塊774可以確定具有特定像素信息556的輸入像素426作為輸入背景像素770。已經(jīng)發(fā)現(xiàn)本發(fā)明提出了一種具有改進(jìn)的輸入背景像素770檢測的顯示系統(tǒng)。背景檢測模塊436可以通過使用像素信息556在代表輸入背景560的輸入像素426和不代表輸入背景560的輸入像素之間進(jìn)行區(qū)分，來利用背景比率模塊772和像素密度模塊774更加精確地將確定作為輸入背景像素的輸入像素426，從而提供改進(jìn)的輸入背景像素770檢測。顯示系統(tǒng)100可以在圖1的第一設(shè)備102上、或圖1的第二設(shè)備106上實(shí)現(xiàn)，或者在第一設(shè)備102和第二設(shè)備106之間劃分。例如，圖3的第一軟件326或圖3的第一控制單元312可以執(zhí)行背景比率模塊772和像素密度模塊774。作為示例，顯示系統(tǒng)100描述了模塊功能或者順序。模塊可以被不同地劃分。每一個(gè)模塊可以單獨(dú)地或者與其他模塊相獨(dú)立地操作。另外，在一個(gè)模塊中產(chǎn)生的數(shù)據(jù)可以由另一個(gè)模塊使用，而模塊無需彼此直接耦合。現(xiàn)在參考圖8，示出了前景檢測模塊438的視圖。前景檢測模塊438可以使用背景框模塊804、前景比率模塊806或者其組合，來識(shí)別輸入圖像424的輸入背景560上的輸入前景像素802。將輸入前景像素802定義為代表圖像背景上的對(duì)象的一組像素。輸入前景像素802可以代表輸入前景對(duì)象814。輸入前景對(duì)象814可以代表在背景上移動(dòng)的對(duì)象，諸如足球運(yùn)動(dòng)員或棒球運(yùn)動(dòng)員之類的人、諸如汽車或摩托車之類的交通工具、或者諸如馬或狗之類的動(dòng)物。前景檢測模塊438可以將輸入前景像素802從具有輸入背景像素770的輸入圖像426中識(shí)別出來。輸入前景像素802可以是具有“misc”像素信息556的一組輸入像素426。通常，輸入前景像素802可以被圖7的輸入背景像素部分地或者完全地包圍。作為特定示例，輸入前景像素802可以是代表足球運(yùn)動(dòng)員圖像的一組輸入像素426，并且輸入背景像素可以代表運(yùn)動(dòng)場上的草。背景框模塊804用于確定對(duì)象是否被背景框住或包圍。背景框模塊804可以將輸入圖像424中的輸入背景像素770分割為背景框808。背景框是一組或一塊輸入背景像素770。背景框808可以是預(yù)定個(gè)數(shù)的具有特定框形狀的輸入背景像素，例如輸入背景像素770的方形塊，或者背景框808可以構(gòu)成輸入背景像素770的整個(gè)本體。背景框模塊804可以在背景框808中搜索輸入前景像素802。背景框模塊804可以在背景框808內(nèi)搜索具有“misc”像素信息556的輸入像素426或者一組輸入像素426。如果背景框模塊804確定與“misc”相對(duì)應(yīng)的輸入像素426被輸入背景像素770包圍,背景框模塊804可以將與“misc”相對(duì)應(yīng)的輸入像素426識(shí)別為輸入前景像素802。背景框模塊804的功能可以由圖6示出。例如，假設(shè)圖7的背景檢測模塊436確定輸入背景像素770為具有“草”像素信息556的輸入像素426。背景框模塊804可以根據(jù)像素塊602將輸入背景像素770塊分割。背景框模塊804可以在像素塊602內(nèi)搜索，可以識(shí)別具有“misc”像素信息556的所有輸入像素426，并且確定該組輸入像素426由輸入背景像素770包圍。因此，背景框模塊804可以確定該組輸入像素426是輸入前景對(duì)象814。替代地，前景檢測模塊438可以利用前景比率模塊806來識(shí)別輸入前景像素802。前景比率模塊806用于確定圖像背景內(nèi)的具體像素組相對(duì)于背景中像素的個(gè)數(shù)是否是較少的。前景比率模塊806可以基于前景比率810和前景閾值812來確定一組輸入像素426是否構(gòu)成輸入前景像素802。將前景比率810定義為具有相同語義信息的像素與背景中像素總個(gè)數(shù)之比?？梢詫⑶熬氨嚷?10計(jì)算為輸入背景像素770內(nèi)具有對(duì)應(yīng)于“misc”語義類別的像素信息556的輸入像素426的個(gè)數(shù)除以輸入背景像素770的總個(gè)數(shù)。將前景閾值812定義為用于確定一組像素是否相對(duì)于背景足夠小以構(gòu)成圖像前景中對(duì)象的值。如果前景比率810小于前景閾值812，那么前景比率模塊806可以將對(duì)應(yīng)于“misc”的輸入像素426識(shí)別為輸入前景像素802。例如，可以在高度和寬度維度上根據(jù)對(duì)應(yīng)于“misc”的輸入像素的個(gè)數(shù)來確定前景閾值812。前景比率模塊806的功能由圖6示出。例如，假設(shè)背景檢測模塊436確定輸入背景像素是具有“草”像素信息556的輸入像素426。前景比率模塊806可以在像素塊602內(nèi)搜索，并且對(duì)具有“misc”像素信息556的所有輸入像素426求和，總共8個(gè)輸入像素426。前景比率模塊806可以計(jì)算8/41的前景比率810，或者約0.195。如果前景閾值812是0.2，那么具有“misc”像素信息556的輸入像素426可以是輸入前景像素802。已經(jīng)發(fā)現(xiàn)了本發(fā)明提供了一種具有改進(jìn)的輸入前景像素802檢測的顯示系統(tǒng)100。前景檢測模塊438可以利用背景框模塊804和前景比率模塊806精確地確定作為輸入前景對(duì)象814的輸入像素426。像素信息556可以用于在代表輸入背景560的輸入像素426和代表輸入前景對(duì)象814的輸入像素之間進(jìn)行區(qū)分，從而提供改進(jìn)的輸入前景像素802檢測。顯示系統(tǒng)100可以在圖1的第一設(shè)備102上、或圖1的第二設(shè)備106上實(shí)現(xiàn)，或者在第一設(shè)備102和第二設(shè)備106之間劃分。例如，圖3的第一存儲(chǔ)單元314或者圖3的第一控制單元312可以存儲(chǔ)背景框模塊804或者前景比率模塊806。作為示例，顯示系統(tǒng)100描述了模塊功能或順序。可以不同地劃分模塊。例如，第一控制單元312可以存儲(chǔ)和執(zhí)行背景框模塊804，并且第一存儲(chǔ)單元314可以存儲(chǔ)前景比率模塊806。每一個(gè)模塊可以單獨(dú)地或者與其他模塊相獨(dú)立地操作。另外，在一個(gè)模塊中產(chǎn)生的數(shù)據(jù)可以由另一個(gè)模塊使用，而模塊無需彼此直接耦合。現(xiàn)在參考圖9，示出了深度圖模塊440的視圖。深度圖模塊440可以包括視圖檢測模塊919。視圖檢測模塊919用于確定圖像是否提供了特定的視點(diǎn)或者攝像機(jī)角度。視圖檢測模塊919可以確定輸入圖像424的圖像視點(diǎn)218?？梢酝ㄟ^對(duì)輸入圖像424的分析來確定圖像視點(diǎn)218。例如，視圖檢測模塊可以確定圖像視點(diǎn)218是否是透視圖。作為特定示例，如果大量的輸入背景像素770具有相同的像素信息556，或者如果輸入前景像素802的個(gè)數(shù)與輸入背景像素770相比較小，則視圖檢測模塊919可以確定圖像視點(diǎn)218是透視圖。替代地，可以由第二設(shè)備106提供圖像視點(diǎn)218。深度圖模塊440可以向輸入背景像素770和輸入前景像素802分配像素深度924。將像素深度924定義為對(duì)象或背景的感知距離或感知深度。例如，如果輸入像素426中的第一像素具有大于輸入像素426中第二像素的像素深度924，那么第一輸入像素426看起來比第二輸入像素426更靠近。深度圖模塊440可以基于圖像視點(diǎn)218向輸入像素426分配像素深度924。如果視圖檢測模塊919確定圖像視點(diǎn)218是透視圖，那么深度圖模塊440可以利用背景深度模塊920和對(duì)象深度模塊922產(chǎn)生針對(duì)輸入圖像424的深度圖442。深度圖模塊440可以包括背景深度模塊920。背景深度模塊920用于向圖像的背景分配深度。背景深度模塊920可以向同一行中的每一個(gè)輸入背景像素分配相同值的像素深度924，以產(chǎn)生已處理的背景像素926。將已處理的背景像素926定義為具有分配值的像素深度924的輸入背景像素。已處理的背景像素924可以具有感知深度。已處理的背景像素926可以代表圖2的已處理背景 216。背景深度模塊920可以按照恒定的速率來增加像素深度924的值。例如，背景深度模塊920可以從輸入圖像424的第一行或最下面一行的輸入像素426開始，對(duì)輸入像素426的行進(jìn)行掃描以查找輸入背景像素。作為特定示例，可以向檢測到具有輸入背景像素的第一行輸入像素426分配輸入圖像424的像素深度924的最低值?？梢园凑蘸愣ǖ乃俾试黾用恳粋€(gè)后續(xù)行的輸入像素426中的輸入背景像素的像素深度924的值。按照恒定的速率增加像素深度924的值可以產(chǎn)生具有均勻增加的感知深度的已處理背景216。深度圖模塊440可以包括對(duì)象深度模塊922。對(duì)象深度模塊922用于向背景上的每一個(gè)對(duì)象分配均勻的深度。對(duì)象深度模塊922可以通過向輸入前景對(duì)象814之一的每一個(gè)輸入前景像素802分配相同值的像素深度924，來產(chǎn)生具有均勻感知深度的已處理前景對(duì)象214。對(duì)象深度模塊922可以向每一個(gè)輸入前景像素802分配與輸入前景像素820相鄰的已處理背景像素926的像素深度924。更具體地，作為示例，對(duì)象深度模塊922可以基于具有最小值像素深度924的已處理背景像素926，來分配輸入前景像素802的像素深度924。例如，對(duì)象深度模塊922可以從輸入像素424的底部開始對(duì)已處理的背景像素926的每一行進(jìn)行掃描，以查找輸入前景像素802。如果對(duì)象深度模塊922檢測到與已處理的背景像素926之一相鄰的輸入前景像素802之一,可以向該輸入前景對(duì)象814之一的每一個(gè)輸入前景像素802分配相鄰的已處理背景像素926的像素深度924。通常，更靠近輸入像素424底部的已處理背景像素926具有更低值的像素深度924，因此輸入前景對(duì)象814之一中的每一個(gè)輸入前景像素820可以具有像素深度924的最低可能值。對(duì)象深度模塊922可以產(chǎn)生已處理的前景像素928。所述已處理的前景像素928是具有分配的像素深度924值的輸入前景像素802。深度圖模塊440可以利用輸入背景像素和輸入前景像素802產(chǎn)生深度圖442。深度圖442可以是輸入圖像424中具有分配的像素深度924值的各個(gè)輸入像素426的圖。從顯示已處理圖像212的物理轉(zhuǎn)換造成物理世界中的移動(dòng)，例如當(dāng)人們玩游戲或者觀看3d圖像時(shí)響應(yīng)于已處理的圖像212而移動(dòng)。第一顯示接口 330可以通過操縱第一設(shè)備102上的像素來顯示已處理的圖像212，從而造成物理世界中的移動(dòng)。顯示系統(tǒng)100可以在圖1的第一設(shè)備102上、或圖1的第二設(shè)備106上實(shí)現(xiàn)，或者在第一設(shè)備102和第二設(shè)備106之間劃分。例如，圖3的第一軟件326或者圖3的第一控制單元312可以存儲(chǔ)視圖檢測模塊919、背景深度模塊920和對(duì)象深度模塊922。作為示例，顯示系統(tǒng)描述了模塊功能或順序。模塊可以被不同地劃分。例如，視圖檢測模塊919可以由第二設(shè)備106提供。每一個(gè)模塊可以單獨(dú)地或者與其他模塊相獨(dú)立地操作。另外，在一個(gè)模塊中產(chǎn)生的數(shù)據(jù)可以由另一個(gè)模塊使用，而模塊無需彼此直接耦合?，F(xiàn)在參考圖10，示出了輸入圖像424的示例。輸入圖像424代表轉(zhuǎn)換為圖2的已處理圖像212之前的圖像。輸入圖像424可以具有輸入背景560。作為示例，輸入背景560可以代表靜止對(duì)象或材料，例如運(yùn)動(dòng)場上的草、砌接軌道(racking track)上的土壤、道路或操場上的混凝土、湖泊或海洋中的水、或者典型地作為背景的其他對(duì)象。輸入圖像424可以包括輸入前景對(duì)象814。輸入前景對(duì)象814可以位于輸入背景560上。用實(shí)線橢圓線表示的輸入前景對(duì)象814可以代表在背景上移動(dòng)的對(duì)象，諸如足球運(yùn)動(dòng)員或棒球運(yùn)動(dòng)員之類的人、諸如汽車或摩托車之類的交通工具或者諸如馬或狗之類的動(dòng)物?，F(xiàn)在參考圖11，示出了具有已處理背景216的輸入圖像424的示例。圖像顯示模塊444可以向圖10的輸入背景應(yīng)用深度圖442，以產(chǎn)生已處理的背景216。已處理的背景216可以具有感知深度，如由圖9的已處理背景像素926的像素深度924確定。感知深度由水平線表示。已處理背景216中具有較低線條密度的區(qū)域相比于具有較高線條密度的區(qū)域而言代表具有更靠近的感知深度的區(qū)域。例如，已處理背景216的底部處的部分(具有較低線條密度)與已處理的背景頂部處的部分(具有較高的線條密度)看起來可以更近，如輸入圖像424的底部部分所示?，F(xiàn)在參考圖12，示出了已處理圖像212的示例。已處理圖像212示出了已處理的背景216上的已處理前景對(duì)象214。圖4的圖像顯示模塊444可以向圖10的輸入前景對(duì)象814應(yīng)用圖4的深度圖442，以產(chǎn)生已處理的前景對(duì)象214。已處理圖像212中的每一個(gè)已處理前景對(duì)象214可以具有感知深度，所述感知的深度由已處理前景像素928的像素深度924確定。已處理前景對(duì)象214可以與處于對(duì)象基底(object base) 1230的那部分已處理背景具有相同的感知深度，對(duì)象基底1230是已處理前景對(duì)象214的最底部部分。感知深度可以由實(shí)線橢圓線內(nèi)的水平線描述。具有低線條密度的已處理前景對(duì)象214比高線條密度的那些具有更靠近的感知深度。現(xiàn)在參考圖13，示出了本發(fā)明另一實(shí)施例中顯示系統(tǒng)的操作方法1300的流程圖。所述方法1300包括:在塊1302，接收具有輸入像素的輸入圖像；在塊1304，向輸入像素分配與語義類別相對(duì)應(yīng)的像素信息；在塊1306，利用像素信息從輸入像素中檢測輸入背景像素；在塊1308，利用輸入背景像素從輸入像素中識(shí)別輸入前景像素；在塊1310，向輸入背景像素和輸入前景像素分配像素深度；在塊1312，利用輸入背景像素和輸入前景像素產(chǎn)生深度圖；在塊1314，利用深度圖根據(jù)輸入圖像產(chǎn)生已處理的圖像，以在設(shè)備上顯示。所得到的方法、過程、設(shè)備、裝置、產(chǎn)品和/或系統(tǒng)是直接明了的、成本有效的、不復(fù)雜的、高度通用的、精確的、靈敏的并且有效的，并且可以通過適配已知部件來用于容易、有效且經(jīng)濟(jì)的制造、應(yīng)用和使用而實(shí)現(xiàn)。本發(fā)明的另一個(gè)重要方面是其有益地支持和服務(wù)于減小成本、簡化系統(tǒng)和增加性能的歷史趨勢。本發(fā)明的這些和其他有益的方面從而將技術(shù)發(fā)展水平提升到至少下一個(gè)水平。盡管已經(jīng)結(jié)合特定的最佳模式描述了本發(fā)明，但是應(yīng)該理解的是對(duì)于本領(lǐng)域普通技術(shù)人員，根據(jù)前述描述，許多替代、修改和變化是清楚明白的。因此，本發(fā)明意欲包含落在所附權(quán)利要求范圍內(nèi)的所有這些替代、修改和變化。此處闡述和附圖所示的所有內(nèi)容應(yīng)該按照說明性而不是限制性理解進(jìn)行解釋。
權(quán)利要求
1.一種顯不系統(tǒng)的操作方法，包括: 接收具有輸入像素的輸入圖像； 向輸入像素分配與語義類別相對(duì)應(yīng)的像素信息； 利用像素信息從輸入像素中檢測輸入背景像素； 利用輸入背景像素從輸入像素中識(shí)別輸入前景像素； 向輸入背景像素和輸入前景像素分配像素深度； 利用輸入背景像素和輸入前景像素產(chǎn)生深度圖；以及 利用深度圖根據(jù)輸入圖像產(chǎn)生經(jīng)處理的圖像，以在設(shè)備上顯示。
2.根據(jù)權(quán)利要求1所述的方法，其中分配像素信息包括: 將輸入像素的像素值與語義類別的語義值進(jìn)行比較；以及 當(dāng)所述像素值與所述語義值相同時(shí)，將所述像素信息分類為所述語義類別。
3.根據(jù)權(quán)利要求1所述的方法，其中向所述輸入背景像素和所述輸入前景像素分配像素深度包括: 產(chǎn)生具有感知深度的經(jīng)處理的背景像素；以及 產(chǎn)生具有感知深度的經(jīng)處理的前景像素。
4.根據(jù)權(quán)利要求1 所述的方法，其中分配像素深度包括:基于輸入圖像的圖像視點(diǎn)來分配像素深度。
5.根據(jù)權(quán)利要求1所述的方法，還包括: 產(chǎn)生輸入像素的像素值的輸入直方圖； 基于所述語義類別，利用像素值對(duì)輸入直方圖的輸入峰值進(jìn)行分類；以及 其中分配輸入像素的像素信息包括將輸入像素與輸入峰值相關(guān)聯(lián)。
6.—種顯不系統(tǒng)的操作方法,包括: 接收具有輸入像素的輸入圖像； 根據(jù)輸入像素的像素值產(chǎn)生輸入直方圖； 對(duì)應(yīng)于語義類別對(duì)輸入直方圖的輸入峰值進(jìn)行分類； 基于與輸入峰值的比較，為輸入像素分配像素信息，所述像素信息與所述語義類別相對(duì)應(yīng)； 利用像素信息從輸入像素中檢測輸入背景像素； 利用輸入背景像素從輸入像素中識(shí)別輸入前景像素； 向所述輸入背景像素和所述輸入前景像素分配像素深度； 利用所述輸入背景像素和所述輸入前景像素產(chǎn)生深度圖；以及 利用所述深度圖根據(jù)輸入圖像產(chǎn)生經(jīng)處理的圖像，以在設(shè)備上顯示。
7.根據(jù)權(quán)利要求6所述的方法，其中檢測所述輸入背景像素包括: 將所述輸入像素的背景比率與比率閾值進(jìn)行比較；以及 當(dāng)所述背景比率大于所述比率閾值時(shí)，將所述輸入像素確定為輸入背景像素。
8.根據(jù)權(quán)利要求6所述的方法，其中檢測所述輸入背景像素包括: 將輸入像素的像素密度與密度閾值進(jìn)行比較；以及 當(dāng)所述像素密度大于所述密度閾值時(shí)，將所述輸入像素確定為輸入背景像素。
9.根據(jù)權(quán)利要求6所述的方法，其中檢測輸入前景像素包括:在輸入背景像素的背景框中搜索輸入前景像素。
10.根據(jù)權(quán)利要求6所述的方法，其中向輸入背景像素分配像素深度包括:按照恒定速率分配像素深度。
11.一種顯不系統(tǒng),包括: 通信單元，用于接收具有輸入像素的輸入圖像； 語義分配模塊，與所 述通信模塊相連，用于向輸入像素分配與語義類別相對(duì)應(yīng)的像素信息； 背景檢測模塊，與所述語義分配模塊相連，用于利用像素信息從輸入像素中檢測輸入背景像素； 前景檢測模塊，與所述背景檢測模塊相連，用于利用所述輸入背景像素從輸入像素中檢測輸入前景像素； 背景深度模塊，與語義分配模塊相連，用于向輸入背景像素分配像素深度； 對(duì)象深度模塊，與所述背景深度模塊相連，用于向輸入前景像素分配像素深度； 深度圖模塊，與所述語義分配模塊相連，用于利用輸入背景像素和輸入前景像素產(chǎn)生深度圖；以及 圖像顯示模塊，與所述深度圖模塊相連，用于利用深度圖根據(jù)輸入圖像產(chǎn)生經(jīng)處理的圖像，以在設(shè)備上顯示。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述語義分配模塊包括:峰值分類模塊，用于在輸入像素的峰值與語義類別的語義值相同時(shí)將所述像素信息分類為所述語義類別。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述背景深度模塊用于產(chǎn)生具有感知深度的經(jīng)處理的背景像素。
14.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述深度圖模塊包括:視圖檢測模塊，用于基于圖像視點(diǎn)分配像素深度。
15.根據(jù)權(quán)利要求11所述的系統(tǒng)，還包括: 直方圖模塊，與所述通信模塊相連，用于產(chǎn)生輸入像素的像素值的輸入直方圖；以及 其中所述語義分配模塊包括: 峰值分類模塊，與所述語義分配模塊相連，用于基于所述語義類別，利用像素值對(duì)輸入直方圖的輸入峰值進(jìn)行分類；以及 像素分類模塊，與所述峰值分類模塊相連，用于分配與輸入峰值相關(guān)聯(lián)的輸入像素的像素信息。
16.根據(jù)權(quán)利要求11所述的系統(tǒng)，還包括: 直方圖模塊，用于根據(jù)輸入圖像產(chǎn)生輸入直方圖，以及 其中所述語義分配模塊包括: 峰值分類模塊，與所述語義分配模塊相連，用于對(duì)應(yīng)于語義類別對(duì)輸入直方圖的輸入峰值進(jìn)行分類；以及 像素分類模塊，與所述峰值分類模塊相連，用于基于與輸入峰值的比較來分配輸入像素的像素信息，所述峰值信息與語義類別相對(duì)應(yīng)。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述背景檢測模塊包括:背景比率模塊，用于在輸入像素的背景比率大于比率閾值時(shí)，將所述輸入像素確定為輸入背景像素。
18.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述背景檢測模塊包括:像素密度模塊，用于在輸入像素的像素密度大于密度閾值時(shí)，將所述輸入像素確定為輸入背景像素。
19.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述前景檢測模塊包括:背景框模塊，用于在輸入背景像素的背景框中搜索輸入前景像素。
20.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述背景深度模塊用于按照恒定的速率向輸入背景像素分配像素深度 。
全文摘要
一種顯示系統(tǒng)的操作方法包括接收具有輸入像素的輸入圖像；向輸入像素分配與語義類別相對(duì)應(yīng)的像素信息；利用像素信息從輸入像素檢測輸入背景像素；利用背景像素從輸入像素識(shí)別輸入前景像素；向輸入背景像素和輸入前景像素分配像素深度；利用輸入背景像素和輸入前景像素產(chǎn)生深度圖；以及利用深度圖根據(jù)輸入圖像產(chǎn)生經(jīng)處理的圖像，以在設(shè)備上顯示。
文檔編號(hào)G09G5/00GK103208266SQ201210591158
公開日2013年7月17日 申請(qǐng)日期2012年12月31日 優(yōu)先權(quán)日2012年1月17日
發(fā)明者金永鐸, 金倫敬 申請(qǐng)人:三星電子株式會(huì)社