專利名稱：信息處理系統(tǒng)和信息處理方法
技術領域：
本發(fā)明涉及被配置為在顯示器上顯示圖像并通過耳機或頭戴式耳機輸出聲音的 信息處理系統(tǒng)，以及使用該信息處理系統(tǒng)的信息處理方法。
背景技術：
在觀看便攜式顯示裝置上的例如視頻等圖像的同時通過耳機或頭戴式耳機收聽 例如音樂等聲音，這在時下很流行。 日本專利申請公開公報No. 9-70094和日本專利申請公開公報No. 11-205892披露 了這樣的技術當收聽者通過耳機或頭戴式耳機收聽音樂時，檢測收聽者頭部的轉(zhuǎn)動，基于 檢測結(jié)果控制聲像(sound image)的定位，并且在收聽者頭部外的預定位置處對聲像進行 定位。 此外，日本專利申請公開公報No. 9-93700披露了一種當再現(xiàn)圖像和聲音時，在顯 示面板上的預定位置處對聲像進行定位的技術。

發(fā)明內(nèi)容
然而，對于上述現(xiàn)有聲像定位方法，因為其前提是顯示裝置是固定安裝而不能移
動的，因此，當收聽者在觀看諸如手機等便攜式顯示裝置上的圖像的同時通過耳機或頭戴
式耳機收聽聲音時，不管顯示狀態(tài)是否改變，聲像被固定定位在預定位置處。 具體地，即使當戴著耳機或頭戴式耳機的收聽者將諸如手機等顯示裝置移近、移
離或者斜對著自己時，聲音的聲像定位位置也不改變。因此，例如，當利用便攜式顯示裝置
收聽聲音時，不能提供那種如同在電影院中坐在前面座位、后面座位或銀幕側(cè)面座位上看
電影時所經(jīng)歷的真實感受。 因此期望對聲像定位進行控制，從而當收聽者通過耳機或頭戴式耳機收聽音樂并 觀看他或她手中的便攜式顯示裝置上的圖像，同時移動和轉(zhuǎn)動該顯示裝置時，就能夠經(jīng)歷 仿佛在電影院中看電影時從一個座位移到另一個座位時的真實感受。 本發(fā)明實施例的信息處理系統(tǒng)包括顯示器；顯示器用傳感器，其被配置為檢測 所述顯示器的移動或轉(zhuǎn)動；轉(zhuǎn)換器單元，其被配置為耳機單元或頭戴式耳機單元；聲音處 理部，其被配置為對音頻信號進行處理，以便在戴著所述轉(zhuǎn)換器單元并收聽聲音的收聽者 頭部外的位置處對聲像進行定位；以及運算控制器，其被配置為對來自所述顯示器用傳感 器的輸出進行計算，以獲得所述顯示器的移動方向和移動距離，或者轉(zhuǎn)動方向和轉(zhuǎn)動角度， 并且根據(jù)計算結(jié)果控制通過所述聲音處理部進行的聲音處理，以便使所述顯示器與收聽者 頭部之間的位置關系映射為虛擬視聽空間中的圖像顯示面與收聽者頭部之間的位置關系。
4
根據(jù)本發(fā)明另一個實施例的信息處理系統(tǒng)是根據(jù)上述實施例的信息處理系統(tǒng)，所述信息處理系統(tǒng)還包括轉(zhuǎn)換器用傳感器，所述轉(zhuǎn)換器用傳感器附著于所述轉(zhuǎn)換器單元上并且被配置為檢測收聽者頭部的移動或轉(zhuǎn)動。所述運算控制器被配置為對來自所述顯示器用傳感器的輸出和所述轉(zhuǎn)換器用傳感器的輸出進行計算，以獲得所述顯示器的移動方向和移動距離，或者轉(zhuǎn)動方向和轉(zhuǎn)動角度，以及所述收聽者頭部的移動方向和移動距離，或者轉(zhuǎn)動方向和轉(zhuǎn)動角度，并且根據(jù)計算結(jié)果控制通過所述聲音處理部進行的聲音處理，以便使所述顯示器與收聽者頭部之間的位置關系映射為虛擬視聽空間中的所述圖像顯示面與收聽者頭部之間的位置關系。 具有上述結(jié)構的本發(fā)明實施例的信息處理系統(tǒng)對聲像進行定位，從而當收聽者將
顯示器移近、移離或者斜對著自己時，在虛擬視聽空間中，收聽者靠近圖像顯示面、遠離圖
像顯示面或者移向相對于圖像顯示面傾斜的圖像顯示面的左側(cè)或右側(cè)的位置處。 因此，聲像定位提供了仿佛收聽者在電影院看電影時從一個座位移到另一個座位
時的真實感受。 由于多數(shù)音樂源采用前揚聲器作為主揚聲器，因而移近顯示器可增大音量，移開顯示器可減小音量，因此，不需諸如鍵和開關等操作構件，信息處理系統(tǒng)還能起到音量調(diào)節(jié)接口的作用。 如上所述，根據(jù)本發(fā)明實施例，當收聽者在通過耳機或頭戴式耳機收聽聲音，并且在觀看他或她手中的便攜式顯示裝置上的圖像的同時移動和轉(zhuǎn)動顯示裝置時，聲像定位能夠提供仿佛收聽者在電影院看電影時從一個座位移到另一個座位時的真實感受。


圖1是本發(fā)明實施例信息處理系統(tǒng)的外部結(jié)構的示例的示意圖； 圖2是本發(fā)明實施例信息處理單元的連接結(jié)構的框圖； 圖3是示出了虛擬視聽空間的示例的示意圖； 圖4是用于聲像定位的結(jié)構的示例的框圖； 圖5是示出了初始狀態(tài)的示例的示意圖； 圖6是示出了根據(jù)實施例移動顯示器時的示例的示意圖； 圖7是示出了在圖6所示的虛擬視聽空間中收聽者的位置和方向的示意圖； 圖8是示出了根據(jù)實施例轉(zhuǎn)動顯示器的示例的示意圖； 圖9是示出了在圖8所示的虛擬視聽空間中收聽者的位置和方向的示意圖； 圖10是示出了根據(jù)實施例移動和轉(zhuǎn)動顯示器的示例的示意圖； 圖11是示出了在圖IO所示的虛擬視聽空間中收聽者的位置和方向的示意圖； 圖12是通過實施例的信息處理單元中的運算控制器進行的一系列處理的示例的流程圖； 圖13示出了用于根據(jù)實施例計算移動距離和轉(zhuǎn)動角度的說明； 圖14是示出了本發(fā)明另一實施例的耳機單元的示例的示意圖； 圖15是另一實施例的信息處理單元的連接結(jié)構的框圖； 圖16是示出了根據(jù)另一實施例移動和轉(zhuǎn)動顯示器和收聽者頭部的示例的示意 圖17是示出了在圖16所示的虛擬視聽空間中收聽者的位置和方向的示意圖；
圖18是通過另一實施例的信息處理單元的運算控制器進行的一系列處理的示例 的流程圖； 圖19示出了用于根據(jù)另一實施例計算移動距離和轉(zhuǎn)動角度的說明；以及
圖20是本發(fā)明實施例的信息處理系統(tǒng)的示意圖。
具體實施例方式1、實施例圖1 圖13 本發(fā)明的實施例示出了收聽者不運動或轉(zhuǎn)動，而僅是顯示器移動和/或轉(zhuǎn)動的情 況。
l-l、系統(tǒng)結(jié)構圖1 圖4
l-l-l、系統(tǒng)的外部結(jié)構圖l 圖1示出了本實施例的信息處理系統(tǒng)的外部結(jié)構的示例。 圖1所示的信息處理系統(tǒng)100包括信息處理單元10和耳機單元50。 信息處理單元10能夠再現(xiàn)例如視頻等圖像和例如音樂等聲音，并且在外觀上包
括諸如液晶顯示器或有機電致發(fā)光(Electroluminescent, EL)顯示器等顯示器11以及另
外具有操作鍵和操作撥盤的操作部12。 耳機單元50包括左耳機部60和右耳機部70，并且從線55的端部分叉的支線56 和57分別與左耳機部60和右耳機部70連接。 雖然圖1中未示出，但線55另一端附有插頭，并且所述插頭插入設置在信息處理
單元10中的插座中，從而使耳機單元50與信息處理單元10有線連接。 l-l-2、系統(tǒng)的連接結(jié)構圖2 圖2示出了信息處理單元10的連接結(jié)構。 信息處理單元10包括總線14，不僅操作部12連接至該總線14，而且中央處理器 (central processing皿it， CPU)15、只讀存儲器(read onlymemory，匪)16、隨機存取存 儲器(random access memory, RAM) 17和非易失性存儲器19也連接至該總線14。
在只讀存儲器(ROM) 16中預先寫入有將要通過中央處理器(CPU) 15執(zhí)行的各種計 算機程序和必要的固定數(shù)據(jù)。隨機存取存儲器(RAM)17起中央處理器(CPU)15的工作區(qū)域 的作用。 中央處理器(CPU) 15、只讀存儲器(ROM) 16和隨機存取存儲器(RAM) 17形成運算控 制器21，該運算控制器21進行與顯示器11的移動和轉(zhuǎn)動有關的計算，并且根據(jù)下文所述的 計算結(jié)果控制聲像定位。 非易失性存儲器19被裝配在信息處理單元10中，或者附著于信息處理單元10 上，并且存儲例如視頻等圖像數(shù)據(jù)和例如音樂等聲音數(shù)據(jù)。 圖像處理部22和聲音處理部24與總線14連接，各個圖像處理部22和聲音處理 部24包括中央處理器(CPU) 15、只讀存儲器(ROM) 16和隨機存取存儲器(RAM) 17。
圖像處理部22將從非易失性存儲器19讀取的例如視頻等圖像數(shù)據(jù)轉(zhuǎn)換成模擬圖 像信號。如果圖像數(shù)據(jù)已被壓縮，則圖像處理部22首先對其解壓縮。 聲音處理部24對從非易失性存儲器19讀取的例如音樂等聲音數(shù)據(jù)進行下文所述的聲像定位。如果聲音數(shù)據(jù)已被壓縮，則聲音處理部24首先對其解壓縮。 來自圖像處理部22的圖像信號通過驅(qū)動電路部23轉(zhuǎn)換成顯示驅(qū)動信號并且被供
應給顯示器11。 來自聲音處理部24的左右的數(shù)字聲音數(shù)據(jù)通過數(shù)字模擬轉(zhuǎn)換器(digital toanalog converter, DAC) 25和26轉(zhuǎn)換成模擬音頻信號 轉(zhuǎn)換后的左右的音頻信號通過音頻放大電路27和28放大，并且被供應給耳機單元50左右側(cè)的轉(zhuǎn)換器61和71。 轉(zhuǎn)換器61和71將例如音樂等音頻信號轉(zhuǎn)換成聲音。 在該示例中，信息處理單元10還設置有加速度傳感器31和陀螺傳感器32，加速度傳感器31用于檢測顯示器11的移動，即信息處理單元10的移動，并且陀螺傳感器32用于檢測顯示器11的轉(zhuǎn)動，即信息處理單元10的轉(zhuǎn)動。 具體地，加速度傳感器31檢測在下文所述的基準面上兩個相互垂直的軸(X軸和Y軸)的方向上的移動的加速度，并且陀螺傳感器32檢測繞與所述基準面垂直的軸(Z軸)轉(zhuǎn)動的角速度。 來自加速度傳感器31和陀螺傳感器32的輸出信號分別通過模擬數(shù)字轉(zhuǎn)換器(analog to digital converter, ADC) 33和34采樣，被轉(zhuǎn)換成數(shù)字數(shù)據(jù)，并且傳送給總線14。 1-1-3、虛擬視聽苧間圖3 對于在顯示器11上顯示圖像并通過耳機單元50輸出聲音的信息處理單元10，假設存在例如虛擬電影院等虛擬視聽空間。圖3示出了虛擬視聽空間的示例。
該示例中的虛擬視聽空間1是基準面上的矩形空間(平行于圖3中的紙面的平面)，其中，在收聽者的前方布置有圖像顯示面2、中央揚聲器3、左揚聲器4和右揚聲器5，并且在較靠近前方的左側(cè)和右側(cè)分別布置有揚聲器6和7。 揚聲器的數(shù)量及其布置僅代表示例，并且任何數(shù)量的揚聲器可以布置在任意位置處。 圖像顯示面2是有圖像在其上顯示、作為投影屏幕或顯示器的面板。 位置Po是虛擬視聽空間1的中心位置，并且用實線表示的收聽者頭部9的狀態(tài)示
出了收聽者頭部9在位置Po處面對圖像顯示面2的狀態(tài)。 收聽者從位置Po移動到位置Pf相當于在真實的電影院里移到了前面的座位，并
且從位置Po移動到位置Pb相當于在真實的電影院里移到了后面的座位。 收聽者從位置Po移動到位置PI相當于在真實的電影院里移到了左側(cè)的座位，并
且從位置Po移動到位置Pr相當于在真實的電影院里移到了右側(cè)的座位。 X軸在虛擬視聽空間1中的橫向方向上延伸，Y軸在虛擬視聽空間1中的縱向方向
上延伸，并且Z軸在垂直于基準面(平行于圖3中的紙面的平面)的方向上延伸。 1-1-4、聲像定位圖4 圖4示出了當假設虛擬視聽空間1如圖3所示時，通過信息處理單元10中的聲音處理部24進行的聲像定位的結(jié)構的示例。 音頻信號SC、 SL、 SR、 SE和SF是分別從布置在圖3所示的虛擬視聽空間1中的虛擬揚聲器3、4、5、6和7輸出的各個聲道的數(shù)字聲音數(shù)據(jù)。如果數(shù)據(jù)已被壓縮，則輸出解壓縮的數(shù)字聲音數(shù)據(jù)。 音頻信號SC被供應給數(shù)字濾波器43L和43R，音頻信號SL被供應給數(shù)字濾波器 44L和44R，音頻信號SR被供應給數(shù)字濾波器45L和45R。 音頻信號SE被供應給數(shù)字濾波器46L和46R，音頻信號SF被供應給數(shù)字濾波器 47L和47R。 數(shù)字濾波器43L對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
數(shù)字濾波器43R對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
數(shù)字濾波器44L對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
數(shù)字濾波器44R對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
數(shù)字濾波器45L對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
數(shù)字濾波器45R對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
數(shù)字濾波器46L對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
數(shù)字濾波器46R對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
數(shù)字濾波器47L對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
數(shù)字濾波器47R對通過將從揚聲器 轉(zhuǎn)換成時域而產(chǎn)生的脈沖響應進行巻積。
從數(shù)字濾波器43L、44L、45L、46L和47L輸出的音頻信號通過加法電路41相加。從 數(shù)字濾波器43R、44R、45R、46R和47R輸出的音頻信號通過加法電路42相加。
從加法電路41輸出的音頻信號通過圖2所示的DAC 25轉(zhuǎn)換成模擬音頻信號。經(jīng) 過轉(zhuǎn)換的音頻信號通過音頻放大電路27放大為左音頻信號，然后被供應給轉(zhuǎn)換器61。
從加法電路42輸出的音頻信號通過圖2所示的DAC 26轉(zhuǎn)換成模擬音頻信號。經(jīng) 過轉(zhuǎn)換的音頻信號通過音頻放大電路28放大為右音頻信號，然后被供應給轉(zhuǎn)換器71。
l-2、信息處理方法圖5 圖13 根據(jù)所述實施例，對聲像定位進行控制，從而當顯示器11移動或轉(zhuǎn)動時，使移動 或轉(zhuǎn)動后的顯示器11與收聽者頭部9之間的位置關系映射為虛擬視聽空間1中的圖像顯 示面2與收聽者頭部9之間的位置關系。
1-2-1 、初始狀態(tài)圖5 為了以此方式對聲像定位進行控制，有必要設定初始狀態(tài)。
圖5示出了在實際視聽空間中設定的初始狀態(tài)的示例。 當收聽者使用信息處理系統(tǒng)100觀看圖像和收聽音樂時，收聽者操作操作部12，
3的位置到收聽者頭部 3的位置到收聽者頭部 4的位置到收聽者頭部 4的位置到收聽者頭部 5的位置到收聽者頭部 5的位置到收聽者頭部 6的位置到收聽者頭部 6的位置到收聽者頭部 7的位置到收聽者頭部 7的位置到收聽者頭部
9左耳的傳遞函數(shù)HCL 9右耳的傳遞函數(shù)HCR 9左耳的傳遞函數(shù)HLL 9右耳的傳遞函數(shù)HLR 9左耳的傳遞函數(shù)HRL 9右耳的傳遞函數(shù)HRR 9左耳的傳遞函數(shù)HEL 9右耳的傳遞函數(shù)HER 9左耳的傳遞函數(shù)HFL 9右耳的傳遞函數(shù)HFR
8將信息處理單元10設定為初始狀態(tài)，在該初始狀態(tài)中，顯示器11位于與收聽者呈一定距離和方向的位置處。 圖5示出了這樣的情況收聽者面對顯示器ll，利用他或她手中的信息處理單元10設定初始狀態(tài)，因此，顯示器11位于與正面方向上的收聽者頭部9的位置Ho相隔一定距離Lo的位置Do處。 在這種情況下，對于信息處理單元IO，在橫向方向上從顯示器11的面板延伸并以預定角度與顯示器ll的面板相交的面為基準面，X軸在基準面上的面板的橫向方向上延伸，Y軸在與X軸垂直的方向上延伸，而Z軸在與基準面垂直的方向上延伸。
圖2所示的加速度傳感器31檢測X軸方向和Y軸方向上的移動的加速度，并且陀螺傳感器32檢測Z軸方向上的轉(zhuǎn)動的角速度。 盡管顯示器11與收聽者頭部9之間的初始距離Lo是任選的，但當人觀看他或她手中的顯示面板時，距離一般約30cm。 初始狀態(tài)指這樣的狀態(tài)收聽者在如圖3所示的虛擬視聽空間1中的例如中心位置Po的預定位置處，觀看和收聽例如電影等圖像和聲音。 因此，當顯示器11與收聽者頭部9之間的位置關系處于預先設定的初始狀態(tài)時，對聲像定位進行控制，從而使收聽者在圖3所示的位置Po和方向能夠聽到來自虛擬揚聲器3 7的聲音。 1-2-2、顯示器移動時圖6和圖7 在本實施例的第一種方法中，收聽者使顯示器ll在X軸方向或Y軸方向上移動。
圖6示出了這樣的情況如附圖標記llm所表示的，收聽者將顯示器11從上述初始狀態(tài)沿X軸正方向移動距離Dx，并且沿Y軸負方向移動距離Dy。 X軸正方向是面板的右側(cè)方向，X軸負方向是面板的左側(cè)方向，Y軸正方向是離開
收聽者頭部9的方向，Y軸負方向是靠近收聽者頭部9的方向。 位置Do是顯示器11的初始位置，位置Dm是顯示器11移動后的位置。 距離Lm是作為移動后的顯示器11的顯示器11m與收聽者頭部9之間的距離。如
果將初始距離Lo設定為例如30cm，則距離Lm可用圖6所示的公式(1)算出。 信息處理單元10中的運算控制器21通過對從加速度傳感器31輸出的X軸方向
和Y軸方向上的各個加速度進行兩次積分，計算顯示器11在X軸上的移動距離Dx和在Y
軸上的移動距離Dy。 另外，信息處理單元10中的運算控制器21選擇并確定聲像定位的處理參數(shù)，從而使移動后的顯示器11m與收聽者頭部9之間的位置關系映射為虛擬視聽空間1中的圖像顯示面2與收聽者頭部9之間的位置關系。 —種用于映射轉(zhuǎn)換的方法包括計算Qx = K Dx， Qy = K Dy，其中，K是X軸方向上的變換系數(shù)，也是Y軸方向上的變換系數(shù)，Qx是在X軸上的移動距離，Qy是在Y軸上的移動距離。 因為與收聽者的手在實際視聽空間中能達到最遠的范圍和實際視聽空間中的距離Lo相比，虛擬視聽空間1的范圍和圖像顯示面2與中心位置Po之間的距離足夠大，所以變換系數(shù)K應該大于1。 顯示器11在實際視聽空間中沿X軸正方向移動距離Dx和沿Y軸負方向移動距離Dy的事實，相當于收聽者頭部9在虛擬視聽空間1中沿X軸負方向移動距離Qx和沿Y軸正方向移動距離Qy的事實。 因此，如圖7所示，計算從中心位置Po沿X軸負方向移動距離Qx并沿Y軸正方向移動距離Qy的位置，將該位置作為虛擬視聽空間1中收聽者頭部9的位置Pm。
從虛擬視聽空間1中的圖像顯示面2看，位置Pm位于相對于Y軸負方向沿順時針轉(zhuǎn)動圖6的公式(2)表示的角度a的方向上。 另一種方法包括采用距離Lm和角度a來計算虛擬視聽空間1中的收聽者頭部9的位置Pm。 也就是說，在這種情況下，對于在從圖像顯示面2看相對于Y軸負方向沿順時針轉(zhuǎn)動角度a的方向上的、從圖像顯示面2橫向方向的中心離開距離lm的點，將該點作為虛擬視聽空間1中的收聽者頭部9的位置Pm進行計算，所述距離lm是距離Lm和變換系數(shù)K的乘積。 可以通過考慮虛擬視聽空間1中的X軸方向上(橫向方向)的寬度Cx或Y軸方向上(縱向方向)的深度Cy來確定變換系數(shù)K。 例如，假設人的臂長是50cm，在實際視聽空間中顯示器11與收聽者頭部9之間的距離Lm最大是50cm。 假設距離Lm的最大值是Lmmax，當考慮深度Cy時
lm:Lm = Cy:Lmmax (5)
即， lm = Cy X Lm/L,x (6)
另外，當考慮寬度Cx時
lm:Lm = Cx/2:Lmmax (7)
即， lm = CxXLm/2XL,x (8)
1-2-3、轉(zhuǎn)動顯示器時圖8和圖9 當收聽者使顯示器11繞Z軸轉(zhuǎn)動時，采用本實施例的第二種方法。
圖8示出了這樣的情況如附圖標記llr所表示的，收聽者將顯示器11從圖5所示的初始狀態(tài)，以位置Do為轉(zhuǎn)動中心繞Z軸沿從上方(紙平面的近側(cè))看的逆時針方向轉(zhuǎn)動角度小。 信息處理單元10中的運算控制器21通過對從陀螺傳感器32輸出的、繞Z軸轉(zhuǎn)動的角速度積分來計算轉(zhuǎn)動角度小。 另外，信息處理單元10中的運算控制器21選擇并確定聲像定位處理參數(shù)，從而使轉(zhuǎn)動后的顯示器llr與收聽者頭部9之間的位置關系映射為虛擬視聽空間1中的圖像顯示面2與收聽者頭部9之間的位置關系。 具體地，顯示器11在實際視聽空間中沿逆時針方向轉(zhuǎn)動角度小的事實對應于收聽者頭部9在虛擬視聽空間1中沿順時針方向轉(zhuǎn)動角度小的事實。 因此，在這種情況下，如圖9所示，對于在從圖像顯示面2看相對于Y軸負方向沿順時針轉(zhuǎn)動角度小的方向上的、從圖像顯示面2橫向方向的中心離開距離lo的點，將該點作為虛擬視聽空間1中的收聽者頭部9的位置Pm進行計算，所述距離lo是距離Lo和變換系數(shù)K的乘積。 收聽者頭部9的朝向在面對圖像顯示面2的橫向方向的中心的方向上。
l-2-4、移動并轉(zhuǎn)動顯示器時圖10和圖11 當收聽者使顯示器11移動并轉(zhuǎn)動時，采用本實施例的第三種方法。
圖10示出了一個示例，在該示例中，如附圖標記llmr所示，收聽者使顯示器ll從 圖5所示的初始狀態(tài)在X軸正方向上移動距離Dx并在Y軸負方向上移動距離Dy，并且使在 顯示器11在逆時針方向上繞Z軸轉(zhuǎn)動角度小。 換言之，在這種情況下，顯示器11如圖6所示那樣移動并且如圖8所示那樣轉(zhuǎn)動。
在這種情況下，如圖11所示，對于在從圖像顯示面2看相對于Y軸負方向沿順時 針轉(zhuǎn)動角度P =(小+ a)的方向上的、從圖像顯示面2橫向方向的中心離開距離lm(= KXLm)的點，將該點作為虛擬視聽空間1中的收聽者頭部9的位置Pm進行計算。
l-2-5、運算控制的處理圖12和圖13 圖12示出了通過本實施例的信息處理單元10中的運算控制器21進行的一系列 處理的示例。 在該示例中，在步驟111中，根據(jù)上述收聽者的操作設定初始狀態(tài)。 接著，在步驟112中，對來自加速度傳感器31的兩軸的輸出信號和來自陀螺傳感
器32的輸出信號進行采樣，并且轉(zhuǎn)換成數(shù)字數(shù)據(jù)，從而得到表示顯示器11在X軸方向和Y
軸方向上移動的加速度的數(shù)據(jù)以及表示顯示器11繞Z軸轉(zhuǎn)動的角速度的數(shù)據(jù)。 在步驟113中，利用圖13所示的公式(11) 、(12)和(13)計算顯示器11在X軸方
向上的移動距離Dx、在Y軸方向上的移動距離Dy以及繞Z軸的轉(zhuǎn)動角度小。 在步驟114中，根據(jù)計算結(jié)果，確定圖4所示的數(shù)字濾波器43L、43R、44L、44R、45L、
45R、46L、46R、47L和47R的濾波器系數(shù)。 在步驟115中，根據(jù)確定的濾波器系數(shù)，聲音處理部24進行聲像定位。
在步驟116中，判斷上述一系列處理是否應當終止，并且除了當上述一系列處理 例如被收聽者的終止操作終止之外，處理從步驟116返回步驟112，重復步驟112到步驟 115的處理。 2、另一實施例圖14 圖19 本發(fā)明另一實施例示出了這樣的情況不僅使顯示器如上述實施例中那樣移動和 /或轉(zhuǎn)動，而且收聽者也移動和/或轉(zhuǎn)動。
2-l、系統(tǒng)結(jié)構圖14和圖15 根據(jù)另一實施例，例如圖1所示，信息處理系統(tǒng)100包括信息處理單元10和耳機 單元50。 該另一實施例與上述實施例類似之處還在于信息處理單元10從外面看包括顯示 器ll和操作部12。 另外，根據(jù)另一實施例，耳機單元50配置有能夠檢測收聽者頭部9的移動或轉(zhuǎn)動 的傳感器。圖14示出了示例。 左耳機部60附著有在內(nèi)框62 —端上的轉(zhuǎn)換器61和格柵63以及在另一端上的線 套(cord bushing)64。 加速度傳感器65、陀螺傳感器66和殼體67附著于耳朵外部的左耳機部60的部分上。聽筒69附著于耳朵內(nèi)部的左耳機部60的部分上。 與左耳機部60 —樣，右耳機部70附著有在內(nèi)框72 —端上的轉(zhuǎn)換器71和格柵73 以及在另一端上的線套74。 殼體77附著于耳朵外部的右耳機部70的部分上。聽筒79附著于耳朵內(nèi)部的右 耳機部70的部分上。 加速度傳感器65檢測在下文所述的基準面上相互垂直的兩個軸(X軸和Y軸)的 方向上移動的加速度，并且陀螺傳感器66檢測繞與所述基準面垂直的軸(Z軸)轉(zhuǎn)動的角 速度。 如圖15所示，在信息處理單元10中，除了圖2所示的實施例的結(jié)構之外，分別將 來自耳機單元50的加速度傳感器65和陀螺傳感器66的輸出信號轉(zhuǎn)換成數(shù)字數(shù)據(jù)的ADC 35和ADC 36也連接至總線14。 根據(jù)另一實施例，例如，假設有圖3所示的虛擬視聽空間l，并且信息處理單元10 中的聲音處理部24進行圖4所示的聲像定位。
2-2、信息處理方法圖16 圖19 根據(jù)另一實施例，信息處理單元10根據(jù)收聽者的操作設定初始狀態(tài)。例如，所述 初始狀態(tài)是圖5所示的狀態(tài)。 根據(jù)另一實施例，顯示器11和收聽者的移動和/或轉(zhuǎn)動的組合有如下情況 (a)收聽者移動顯示器11并移動他或她的頭部； (b)收聽者移動顯示器11并轉(zhuǎn)動他或她的頭部； (c)收聽者轉(zhuǎn)動顯示器11并移動他或她的頭部； (d)收聽者轉(zhuǎn)動顯示器11并轉(zhuǎn)動他或她的頭部； (e)收聽者移動和轉(zhuǎn)動顯示器11并且還移動和轉(zhuǎn)動他或她的頭部。 在任何情況下，都對聲像定位進行控制，從而使實際視聽空間中的顯示器11與收
聽者頭部9之間的位置關系映射為虛擬視聽空間1中的圖像顯示面2與收聽者頭部9之間
的位置關系。 圖16示出了情況(e)，其中，收聽者移動和轉(zhuǎn)動顯示器11并且還移動和轉(zhuǎn)動他或 她的頭部。 具體地，在這種情況下，顯示器11如圖10所示的那樣移動和轉(zhuǎn)動，并且收聽者頭 部9在X軸正方向上移動距離Hx，在Y軸負方向上移動距離Hy，并繞Z軸沿順時針方向轉(zhuǎn) 動角度9 ，收聽者頭部9的轉(zhuǎn)動方向與顯示器11的轉(zhuǎn)動方向相反。 位置Do、距離Lo、位置Dm、距離Dx、距離Dy和轉(zhuǎn)動角度小與圖5、圖6、圖8和圖 10所示的對應的位置、距離和轉(zhuǎn)動角度相同。 在這種情況下，位置Ho是收聽者頭部9的初始位置，位置Hm是收聽者頭部9移動 后的位置。 如上述實施例所述，顯示器11在X軸上的移動距離Dx和在Y軸上的移動距離Dy 通過對從加速度傳感器31輸出的X軸方向和Y軸方向上的各個加速度積分兩次來計算。
收聽者頭部9在X軸上的移動距離Hx和在Y軸上的移動距離Hy通過對從加速度 傳感器65輸出的X軸方向和Y軸方向上的各個加速度積分兩次來計算。
如上述實施例所述，顯示器11的轉(zhuǎn)動角度小通過對從陀螺傳感器32輸出的角速度積分來計算。 收聽者頭部9的轉(zhuǎn)動角度9通過對從陀螺傳感器66輸出的角速度積分來計算。
如果初始距離Lo被設定為例如30cm，則顯示器11和收聽者頭部9移動和轉(zhuǎn)動后， 顯示器llmr與收聽者頭部9之間的距離Lm可用圖16所示的公式(3)計算。圖16所示的 角度a用圖16所示的公式(4)表示。 信息處理單元10中的運算控制器21選擇并且確定聲像定位的處理參數(shù)，從而使 如上所述的移動和轉(zhuǎn)動后的顯示器llmr與收聽者頭部9之間的位置關系映射為虛擬視聽 空間1中的圖像顯示面2與收聽者頭部9之間的位置關系。 具體地，顯示器11在實際視聽空間中沿逆時針方向轉(zhuǎn)動角度小的事實對應于收 聽者頭部9在虛擬視聽空間1中沿順時針方向轉(zhuǎn)動角度小的事實。 收聽者頭部9在實際視聽空間中沿順時針方向轉(zhuǎn)動角度e的事實對應于收聽者 頭部9在虛擬視聽空間1中也沿順時針方向轉(zhuǎn)動角度e的事實。 因此，在這種情況下，如圖17所示，對于在從圖像顯示面2看相對于Y軸負方向
沿順時針轉(zhuǎn)動角度(小+9)的方向上的、從圖像顯示面2橫向方向的中心離開距離lm(=
KXLm)的點，將該點作為虛擬視聽空間1中的收聽者頭部9的位置Pm進行計算。 收聽者頭部9的朝向在面對圖像顯示面2的橫向方向的中心的方向上。 圖18示出了通過另一實施例的信息處理單元10中的運算控制器21進行的一系
列處理的示例。 在該示例中，在步驟121中，如上所述，根據(jù)收聽者的操作設定初始狀態(tài)。
接著，在步驟122中，對來自加速度傳感器31的兩軸的輸出信號、來自陀螺傳感器 32的輸出信號、來自加速度傳感器65的兩軸的輸出信號和來自陀螺傳感器66的輸出信號 進行采樣，并且轉(zhuǎn)換成數(shù)字數(shù)據(jù)，從而得到表示顯示器11在X軸方向和Y軸方向上移動的 加速度的數(shù)據(jù)、表示顯示器11繞Z軸轉(zhuǎn)動的角速度的數(shù)據(jù)、表示收聽者頭部9在X軸方向 和Y軸方向上移動的加速度的數(shù)據(jù)以及表示收聽者頭部9繞Z軸轉(zhuǎn)動的角速度的數(shù)據(jù)。
在步驟123中，利用圖19所示的公式(11)、(12)和(13)計算顯示器11在X軸方 向上的移動距離Dx、在Y軸方向上的移動距離Dy以及繞Z軸轉(zhuǎn)動的轉(zhuǎn)動角度(K并且利用 圖19所示的公式(21)、 (22)和(23)計算收聽者頭部9在X軸方向上的移動距離Hx、在Y 軸方向上的移動距離Hy以及繞Z軸轉(zhuǎn)動的轉(zhuǎn)動角度e。 在步驟124中，根據(jù)計算結(jié)果，確定圖4所示的數(shù)字濾波器43L、43R、44L、44R、45L、 45R、46L、46R、47L和47R的濾波器系數(shù)。 在步驟125中，根據(jù)確定的濾波器系數(shù)，聲音處理部24進行聲像定位。
在步驟126中，判斷上述一系列處理是否應當終止，并且除了當上述一系列處理 例如被收聽者的終止操作終止之外，處理從步驟126返回步驟122，重復步驟122到步驟 125的處理。 3、其它實施例圖20 如圖20所示，信息處理系統(tǒng)100可以包括顯示單元80、信息處理單元90和耳機單 元50。在這種情況下，期望通過例如藍牙(注冊商標Bluetooth⑧)等無線電通信使顯示單 元80與信息處理單元90連接，并且使信息處理單元90與耳機單元50連接。
信息處理單元90作為家用服務器將圖像數(shù)據(jù)和音樂數(shù)據(jù)存儲在硬盤等中，并且
13進行圖像處理以及包括上述聲像定位的聲音處理。 顯示單元80包括顯示器11、操作部12、用于檢測顯示器11的移動的加速度傳感 器和用于檢測顯示器11的轉(zhuǎn)動的陀螺傳感器等，并且將來自傳感器的輸出信號傳送給信 息處理單元90。 耳機單元50包括設有電池、無線電通信模塊和音量控制的電路部51，并且為了如 上述另一實施例中那樣處理收聽者頭部9的移動和/或轉(zhuǎn)動，在左耳機部60或右耳機部70 設置有加速度傳感器和陀螺傳感器。 即使當信息處理系統(tǒng)100如圖1所示那樣包括信息處理單元10和耳機單元50時， 信息處理單元10也可以通過無線電通信與耳機單元50連接。
轉(zhuǎn)換器單元不局限于耳機單元，也可以是頭戴耳機單元。 本領域技術人員應當理解，依據(jù)設計要求和其他因素，可以在本發(fā)明所附的權利 要求或其等同物的范圍內(nèi)進行各種修改、組合、次組合及改變。
權利要求
一種信息處理系統(tǒng)，所述信息處理系統(tǒng)包括顯示器；顯示器用傳感器，其被配置為檢測所述顯示器的移動或轉(zhuǎn)動；轉(zhuǎn)換器單元，其被配置為耳機單元或頭戴式耳機單元；聲音處理部，其被配置為對音頻信號進行處理，以便在戴著所述轉(zhuǎn)換器單元并收聽聲音的收聽者頭部外的位置處對聲像進行定位；以及運算控制器，其被配置為對來自所述顯示器用傳感器的輸出進行計算，以獲得所述顯示器的移動方向和移動距離，或者轉(zhuǎn)動方向和轉(zhuǎn)動角度，并且根據(jù)計算結(jié)果控制通過所述聲音處理部進行的聲音處理，以便使所述顯示器與收聽者頭部之間的位置關系映射為虛擬視聽空間中的圖像顯示面與收聽者頭部之間的位置關系。
2. 根據(jù)權利要求1所述的信息處理系統(tǒng)，所述信息處理系統(tǒng)還包括轉(zhuǎn)換器用傳感器， 所述轉(zhuǎn)換器用傳感器附著于所述轉(zhuǎn)換器單元上并且被配置為檢測收聽者頭部的移動或轉(zhuǎn) 動；其中，所述運算控制器被配置為對來自所述顯示器用傳感器的輸出和所述轉(zhuǎn)換器用傳 感器的輸出進行計算，以獲得所述顯示器的移動方向和移動距離，或者轉(zhuǎn)動方向和轉(zhuǎn)動角 度，以及所述收聽者頭部的移動方向和移動距離，或者轉(zhuǎn)動方向和轉(zhuǎn)動角度，并且根據(jù)計算 結(jié)果控制通過所述聲音處理部進行的聲音處理，以便使所述顯示器與收聽者頭部之間的位 置關系映射為虛擬視聽空間中的所述圖像顯示面與收聽者頭部之間的位置關系。
3. 根據(jù)權利要求1所述的信息處理系統(tǒng)，其中，所述信息處理系統(tǒng)包括信息處理單元 和所述轉(zhuǎn)換器單元，所述信息處理單元具有所述顯示器、所述顯示器用傳感器、所述聲音處 理部和所述運算控制器。
4. 根據(jù)權利要求1所述的信息處理系統(tǒng)，其中，所述信息處理系統(tǒng)包括具有所述顯示 器和所述顯示器用傳感器的顯示單元、具有所述聲音處理部和所述運算控制器的信息處理 單元以及所述轉(zhuǎn)換器單元。
5. —種通過信息處理系統(tǒng)進行的信息處理方法，所述信息處理系統(tǒng)包括顯示器；顯 示器用傳感器，其被配置為檢測所述顯示器的移動或轉(zhuǎn)動；轉(zhuǎn)換器單元，其被配置為耳機單 元或頭戴式耳機單元；以及聲音處理部，其被配置為對音頻信號進行處理，以便在戴著所述 轉(zhuǎn)換器單元并收聽聲音的收聽者頭部外的位置處對聲像進行定位，所述信息處理方法包括以下步驟對來自所述顯示器用傳感器的輸出進行計算，以獲得所述顯示器的移動方向和移動距 離，或者轉(zhuǎn)動方向和轉(zhuǎn)動角度；并且根據(jù)計算結(jié)果控制通過所述聲音處理部進行的聲音處理，以便使所述顯示器與收聽者 頭部之間的位置關系映射為虛擬視聽空間中的圖像顯示面與收聽者頭部之間的位置關系。
6. 根據(jù)權利要求5所述的信息處理方法，所述信息處理系統(tǒng)還包括轉(zhuǎn)換器用傳感器， 所述轉(zhuǎn)換器用傳感器附著于所述轉(zhuǎn)換器單元上并且被配置為檢測所述收聽者頭部的移動 或轉(zhuǎn)動，所述信息處理方法還包括以下步驟對來自所述轉(zhuǎn)換器用傳感器的輸出進行計算， 以獲得所述收聽者頭部的移動方向和移動距離，或者轉(zhuǎn)動方向和轉(zhuǎn)動角度；其中，所述控制步驟包括根據(jù)對來自所述顯示器用傳感器的輸出的計算結(jié)果和對來 自所述轉(zhuǎn)換器用傳感器的輸出的計算結(jié)果控制通過所述聲音處理部進行的聲音處理，以便使所述顯示器與收聽者頭部之間的位置關系映射為虛擬視聽空間中的所述圖像顯示面與收聽者頭部之間的位置關系。
全文摘要
一種信息處理系統(tǒng)和信息處理方法，所述信息處理系統(tǒng)包括顯示器；檢測顯示器的移動或轉(zhuǎn)動的顯示器用傳感器；作為耳機單元或頭戴式耳機單元的轉(zhuǎn)換器單元；聲音處理部，其對音頻信號進行處理，以便在戴著轉(zhuǎn)換器單元并收聽聲音的收聽者頭部外的位置處對聲像進行定位；以及運算控制器，其對來自顯示器用傳感器的輸出進行計算，以獲得顯示器的移動方向和移動距離，或者轉(zhuǎn)動方向和轉(zhuǎn)動角度，并且根據(jù)計算結(jié)果控制通過聲音處理部進行的聲音處理，以便使顯示器與收聽者頭部之間的位置關系映射為虛擬視聽空間中的圖像顯示面與收聽者頭部之間的位置關系。聲像定位能夠提供仿佛收聽者在電影院看電影時從一個座位移到另一個座位時的真實感受。
文檔編號H04S7/00GK101784004SQ200910259228
公開日2010年7月21日 申請日期2009年12月16日 優(yōu)先權日2008年12月16日
發(fā)明者今譽, 山田裕司 申請人:索尼株式會社