專利名稱：W m信號生成裝置、 w m信號生成方法、用于執(zhí)行 w m信號生成方法的計算機(jī)可執(zhí)行程序 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對內(nèi)容增加著作權(quán)等權(quán)利信息的電子水印，更詳細(xì)言之，本發(fā)明可對實時提供的內(nèi)容因電子水印計算產(chǎn)生的時間延遲所產(chǎn)生的缺點進(jìn)行改善，在提供更良好質(zhì)量的內(nèi)容的同時，可改善電子水印的檢測性的WM信號生成裝置、WM信號生成方法及執(zhí)行該方法的計算機(jī)可執(zhí)行程序、記錄該程序的計算機(jī)可讀記錄媒體、電子水印嵌入裝置以及包含該電子水印嵌入裝置的數(shù)字電視裝置。
背景技術(shù)：
迄今“水印”技術(shù)，在紙幣等之中用于進(jìn)行真?zhèn)闻袛?。另外，近年來，由于計算機(jī)技術(shù)的發(fā)達(dá)，音樂、圖像、動畫等根據(jù)著作權(quán)，作為內(nèi)容提供的場合增多。因此，為了判斷內(nèi)容的非法復(fù)制，必須使用上述的“水印”技術(shù)防止內(nèi)容的非法復(fù)制。對于內(nèi)容嵌入“水印”，原則上是以數(shù)字方式在原始內(nèi)容中嵌入“水印信號”(以下稱其為WM信號)進(jìn)行。
迄今為止已經(jīng)提出多種電子水印嵌入方法。比如，在同一申請人提出的“用于在頻域中嵌入數(shù)據(jù)的系統(tǒng)及方法”中，在對包含音樂等音頻信號的內(nèi)容嵌入電子水印時，通過計算在頻域中心理聽覺模型，研討電子水印嵌入。此方法，在檢測音頻信號的頻率之際，必須正確發(fā)現(xiàn)DFT(離散傅利葉變換)的幀，因此計算時間增加，具有不符合對實時提供的音頻信號無時間延遲嵌入WM信號的目的的缺點。
因此，在同一申請人提出的“不需要幀同步的水印嵌入系統(tǒng)及方法”中，也研討了不需要進(jìn)行幀同步的對音頻信號的WM信號嵌入技術(shù)。不需要幀同步的嵌入技術(shù)，具有對原始信號的伸縮及位置偏離的強健性大，時間延遲也不大，并且電子水印的檢測判斷可很好進(jìn)行的優(yōu)點。然而，上述的不需要幀同步的嵌入方法，因為WM信號和原始信號的相位必須同步，對只有WM信號發(fā)生時間延遲的實時提供的內(nèi)容嵌入WM信號的目的不適合，并且在只有WM信號發(fā)生時間延遲的場合，具有WM信號的檢測性顯著降低的強健性差的缺點。
另外，在Boney等的“Digital Watermark for Audio Signals”，(IEEE International Conference on Multimedia Computing andSystems，June 17-23th，Hiroshima，Japan，pp.473-480)中，通過預(yù)先設(shè)置模擬心理聽覺模型的濾波器，在時域中進(jìn)行偽隨機(jī)序列濾波而改善由于WM信號的時間延遲引起的上述強健性的劣化的缺點。然而，因為濾波系數(shù)必須對每一幀確定，與上述相同，不適合對實時提供的音頻信號嵌入WM信號。
此外，在Swanson等的“Robust Audio Watermaking UsingPerceptual masking”(Signal Processing vol.66，1999，337-355)中提出了用來計算頻率屏蔽的心理聽覺模型和用來計算時間屏蔽的心理聽覺模型兩者使用的方法。在時間屏蔽中，是通過音頻信號的包絡(luò)計算和屏蔽量預(yù)測進(jìn)行WM信號的嵌入，預(yù)測是使用時間屏蔽的輸出的屏蔽量預(yù)測，不是進(jìn)行直接使用原始內(nèi)容的實時WM信號的嵌入。
與此不同，提出了一種也對所謂的視頻信號的圖像數(shù)據(jù)嵌入電子水印的技術(shù)。比如，在Deguillaume等的“Robust 3D DFT VideoWatermarking”，Proc.SPIE vol.3657，pp.113-1224中提出了將DFT作為縱、橫和時間方向3維信息使用的WM信號嵌入方法。在此方法中，也因為以進(jìn)行DFT的時間寬度的程度發(fā)生時間延遲，可以說對于實時嵌入電子水印不適用。
另外，在日本專利特開平11-55638號公報中揭示了一種將圖像的一部分區(qū)域設(shè)定為信息附加區(qū)域，通過對此部分進(jìn)行擴(kuò)大或縮小，將信息嵌入到圖像中的方法。這種嵌入方法，由于不是將WM信號添加到視頻中，而是對視頻本身一部分進(jìn)行加工，所以會產(chǎn)生在嵌入前、嵌入后信號的差別很大的質(zhì)量問題。此外，在Hartun等的“Watermarking of Uncompressed and Compressed Video”中揭示了一種將視頻看作是靜止畫面的連續(xù)，將以偽隨機(jī)序列調(diào)制的消息加到各幀的方法。另外，關(guān)于壓縮的視頻序列，提出了不經(jīng)過譯碼根據(jù)嵌入消息隨時置換DFT計數(shù)的方法。然而，在Hartung等的方法中，也不是通過預(yù)測進(jìn)行控制，在這一點上，實時地對內(nèi)容進(jìn)行WM信號嵌入不能令人滿意。
上述電子水印的主要目的是在通過因特網(wǎng)散發(fā)多媒體數(shù)據(jù)時的著作權(quán)的保護(hù)及DVD-Video、DVD-Audio所謂的媒體流通的著作權(quán)保護(hù)。這些數(shù)字內(nèi)容，已經(jīng)保持在存儲媒體中。上述技術(shù)，是對這些已經(jīng)保持的數(shù)字內(nèi)容進(jìn)行WM信號嵌入處理，不是對實時提供的內(nèi)容進(jìn)行WM信號嵌入。
然而，隨著數(shù)字信息的應(yīng)用范圍的擴(kuò)大，對在古典音樂廳中演奏的音樂利用未授權(quán)帶入的帶式錄音機(jī)對演奏的音樂進(jìn)行錄音，之后記錄到CD上出售或通過因特網(wǎng)公開的這種行為也可認(rèn)為是不合法。另外，對于影片，使用未授權(quán)帶入的錄像機(jī)對屏幕進(jìn)行錄像，之后記錄到DVD或Video CD出售或通過因特網(wǎng)公開也可認(rèn)為是不合法。此外，在通過電視或廣播電臺直播音樂或體育節(jié)目時，將接收到的廣播記錄，記錄到DVD Video等記錄媒體上出售或通過因特網(wǎng)公開也可認(rèn)為是不合法。此外，除了著作權(quán)主張之外，在進(jìn)行復(fù)制控制的場合，也產(chǎn)生確定錄音者或錄像者或錄音錄像位置的場合。
在圖22中示出使用現(xiàn)有的WM嵌入處理技術(shù)用來對實時提供的內(nèi)容進(jìn)行電子水印嵌入的裝置。圖22所示的電子水印嵌入裝置200，可以對實時提供的現(xiàn)場演奏及直播(以下稱其為實時內(nèi)容)進(jìn)行電子水印嵌入。圖22所示的電子水印嵌入裝置200的構(gòu)成包括用來以數(shù)字方式采集實時內(nèi)容的采集單元202和用來使用采集的實時內(nèi)容生成電子水印的生成單元204。嵌入電子水印的內(nèi)容，經(jīng)網(wǎng)絡(luò)206向用戶提供。因為在內(nèi)容中嵌入電子水印，所以即使用戶進(jìn)行錄音或錄像，提供者的著作權(quán)也受到保護(hù)。
此處，在對圖22所示的現(xiàn)有的電子水印嵌入裝置進(jìn)行說明時，在現(xiàn)有的電子水印嵌入裝置的構(gòu)成包含生成單元204；輸入緩沖器208；電子水印計算單元210；以及輸出緩沖器212。輸入緩沖器208利用采集單元202將以數(shù)字方式采集的數(shù)據(jù)進(jìn)行緩存。電子水印計算單元210，使用采集的實時內(nèi)容，根據(jù)心理聽覺模式，進(jìn)行合適大小的電子水印信號。另外，輸出緩沖器212，在將嵌入電子水印的內(nèi)容通過網(wǎng)絡(luò)206提供之前，臨時保存嵌入電子水印的內(nèi)容。
因此，從實時內(nèi)容的采集起到將嵌入電子水印的內(nèi)容向網(wǎng)絡(luò)206送出為止，通常產(chǎn)生數(shù)百ms的時間延遲。另外，實時內(nèi)容，一定要通過生成單元204。因此，就存在在利用圖22所示的系統(tǒng)借助電子水印嵌入提供內(nèi)容的場合，構(gòu)成電子水印嵌入裝置200的要素之中即使有有一個發(fā)生故障，也不可能提供內(nèi)容的缺點。另外，即使是內(nèi)容提供未達(dá)到不能提供的程度，也會存在在內(nèi)容提供之際添加異常音、異常圖像，使內(nèi)容提供的質(zhì)量下降的缺點。
另外，在圖22中示出的現(xiàn)有的電子水印生成裝置還有一個缺點，就是如古典音樂廳，從演奏起一直到到達(dá)觀眾為止之間，一次也不能對未進(jìn)行錄音錄像的內(nèi)容進(jìn)行電子水印嵌入的缺點。此外，由于包含從實際演奏的模擬信號到數(shù)字信號變換的ADC，存在必然產(chǎn)生噪聲使實時內(nèi)容的質(zhì)量降低的缺點。
圖23示出改善利用圖22所示的電子水印嵌入裝置產(chǎn)生的缺點的代替裝置。圖23所示的電子水印嵌入裝置214，將用來以數(shù)字方式采集實時內(nèi)容的采集單元202的輸出并列輸入到生成單元216及時間延遲單元218。生成單元216，只輸出利用電子水印計算單元210算出的WM信號。時間延遲單元218的輸出和輸出緩沖器212的輸出，輸入到稱為混頻器的嵌入單元222，使對實時內(nèi)容嵌入WM信號變成可能。圖23所示的裝置214，也如上所述，對于在到達(dá)用戶之前一次也未進(jìn)行錄音錄像的內(nèi)容不能對應(yīng)。另外，雖然對計算出的WM信號的內(nèi)容可以改善時間延遲，但在內(nèi)容本身會產(chǎn)生時間延遲，并且由于時間延遲單元218的故障，會使內(nèi)容的提供中斷的缺點仍然存在。
為解決上述的缺點，考慮不提供圖23所示的時間延遲單元，而使將生成的WM信號和內(nèi)容的信息相加的電子水印嵌入裝置。但是，在不使用時間延遲單元的場合，雖然在實時內(nèi)容中不產(chǎn)生時間延遲，但在實時內(nèi)容和WM信號之間由于計算WM信號需要時間會產(chǎn)生時間差，結(jié)果會產(chǎn)生另外的問題。在圖24中，示出圖23所示的電子水印嵌入裝置的上述新生成的問題。
圖24為以使用圖23所示的系統(tǒng)214的場合為例示出以橫軸作為時間軸的實時內(nèi)容在時間上的變化和算出的WM信號的嵌入定時。如圖24所示，比如，在時刻t1實時內(nèi)容是由生成單元采集的內(nèi)容。實時內(nèi)容，根據(jù)演奏等的狀況，其振幅在時間上變動，在圖24時的實施方式中，在超過時間t4時振幅減小。另一方面，因為WM信號，在進(jìn)行輸入緩存和輸出緩存的處理之外，進(jìn)行使用心理聽覺模型的不可聽量或不可視量的計算等而生成，從在計算中使用的實時內(nèi)容的采樣幀(t1-t2)在時間上偏離用于計算WM信號的時間延遲(t4-t2)而嵌入。
此時，就存在在采用利用實時內(nèi)容生成WM信號的方法時，由于時間延遲后的實時內(nèi)容的強度電子水印不可能檢測出，即使是未達(dá)到不可能的程度，也會很困難的缺點。下面，在本發(fā)明中，將把上述的缺點看作是電子水印的檢測的可能性與強健性的關(guān)系。另外，在使用實時內(nèi)容的振幅，調(diào)整WM信號的振幅進(jìn)行嵌入的場合，在如圖24所示的現(xiàn)有例的場合也會產(chǎn)生可以聽到WM信號的缺點。下面，在本發(fā)明中，在上述WM信號和實時內(nèi)容之間的振幅的偏離將作為質(zhì)量的參考。

發(fā)明內(nèi)容
本發(fā)明系為提高上述現(xiàn)有技術(shù)的強健性及質(zhì)量，通過將使強健性降低的主要原因和質(zhì)量降低的主要原因分開處理，在認(rèn)識到可以解決現(xiàn)有的系統(tǒng)的缺點的情況下完成的發(fā)明。就是說，在本發(fā)明中，是在認(rèn)識到實時內(nèi)容和WM信號的嵌入定時之間的時間延遲是不可避免時，在WM信號嵌入之際，通過將實時內(nèi)容分割，使用分割后的實時內(nèi)容在時間上預(yù)測相位及音量、輝度的知覺刺激值的變化，算出WM信號的強度，在可以改善強健性和質(zhì)量的情況下完成的發(fā)明。另外，在預(yù)測處理中不使用的實時內(nèi)容，與WM信號生成獨立地對用戶提供。
就是說，對于實時內(nèi)容的音量及輝度這樣的知覺的刺激值，無論是音樂，還是動畫，在用于生成WM信號所需要的時間范圍內(nèi)，在某種程度可預(yù)測的關(guān)系中改變。本發(fā)明，是通過認(rèn)識到在注目于作為嵌入WM信號的對象的實時內(nèi)容的過去的時間上的變化，在使用過去的時間變化時，時間延遲程度之后的實時內(nèi)容的強度的將來預(yù)測，可以很好地進(jìn)行而完成的。
另外，本發(fā)明強健性，是通過在使用密鑰嵌入WM信號之際，使用一定的規(guī)則由密鑰生成嵌入值，使用所生成的嵌入值對WM信號的信號強度進(jìn)行控制，可以很好地提高強健性。WM信號的嵌入，是根據(jù)嵌入值的符號進(jìn)行的，比如，在嵌入值為負(fù)時，WM信號的強度為0，只在嵌入值為正時，進(jìn)行非零的WM信號的嵌入。另外，因為WM信號的嵌入的相位是以發(fā)生時間延遲為前提的，可以不依賴實時內(nèi)容信號的相位隨機(jī)進(jìn)行增加。根據(jù)本發(fā)明，通過進(jìn)行WM信號的嵌入，使用密鑰、消息的位和偽隨機(jī)數(shù)這樣的信息，可以獨立于時間延遲的生成提高強健性。
就是說，根據(jù)本發(fā)明，可提供WM信號生成裝置，作為用來生成嵌入到實時內(nèi)容作為電子水印的WM信號的裝置，其構(gòu)成包括輸入上述實時內(nèi)容的輸入單元；保持上述實時內(nèi)容的輸入緩沖器；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的生成單元；用來保持上述生成的輸出WM信號的輸出緩沖器；上述生成單元的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測單元；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的控制單元；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的單元。
在本發(fā)明中，上述知覺刺激值是音響或輝度，上述預(yù)測單元，可以使用保持于上述輸入緩沖器中的數(shù)據(jù)生成與上述規(guī)定時間后的實時內(nèi)容的強度相對應(yīng)的預(yù)測不可聽量或預(yù)測不可視量的WM信號。本發(fā)明的上述控制單元，可以包含使用密鑰、上述消息和偽隨機(jī)數(shù)生成正負(fù)的二值化后的嵌入值的單元。此外，本發(fā)明的上述WM信號生成裝置，可以還包含經(jīng)過嵌入上述生成的WM信號的時間后的實時內(nèi)容與上述生成的WM信號進(jìn)行比較，控制上述輸出緩沖器的輸出的輸出控制單元。本發(fā)明的上述輸入單元，包含將上述實時內(nèi)容分割進(jìn)行輸入的單元，上述生成單元可使用該分割的實時內(nèi)容生成WM信號。
根據(jù)本發(fā)明，可提供WM信號生成方法，作為用來生成嵌入到實時內(nèi)容作為電子水印的WM信號的方法，其構(gòu)成包括輸入上述實時內(nèi)容的輸入步驟；保持實時內(nèi)容的步驟；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的步驟；保持上述生成的輸出WM信號的步驟；上述生成步驟包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的步驟；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的控制步驟；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的步驟。
根據(jù)本發(fā)明，可提供用來執(zhí)行WM信號生成方法的程序，作為用來由計算機(jī)執(zhí)行的用來生成嵌入到實時內(nèi)容作為電子水印的WM信號的方法的計算機(jī)可執(zhí)行程序，其構(gòu)成包括使計算機(jī)執(zhí)行，保持輸入的上述實時內(nèi)容的步驟；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的步驟；用來保持上述生成的輸出WM信號的步驟；保持上述生成的輸出WM信號的步驟；上述生成步驟的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測步驟；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的步驟；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的步驟。
根據(jù)本發(fā)明，可提供存儲用來執(zhí)行WM信號生成方法的程序的計算機(jī)可讀記錄媒體，作為用來記錄由計算機(jī)執(zhí)行的用來生成嵌入到實時內(nèi)容作為電子水印的WM信號的方法的計算機(jī)可執(zhí)行程序的計算機(jī)可讀記錄媒體，該程序的構(gòu)成包括使計算機(jī)執(zhí)行，保持輸入的上述實時內(nèi)容的步驟；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的步驟；用來保持上述生成的輸出WM信號的步驟；保持上述生成的輸出WM信號的步驟；上述生成步驟的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測步驟；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的步驟；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的步驟。
根據(jù)本發(fā)明，可提供電子水印嵌入裝置，作為用來生成嵌入到實時內(nèi)容作為電子水印的裝置，其構(gòu)成包括輸入上述實時內(nèi)容的輸入單元；保持上述實時內(nèi)容的輸入緩沖器；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的生成單元；用來保持上述生成的輸出WM信號的輸出緩沖器；用來接收上述生成的WM信號，嵌入到上述實時內(nèi)容中的嵌入單元；上述生成單元的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測單元；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的控制單元；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的單元。
根據(jù)本發(fā)明，可提供數(shù)字電視裝置，作為包含用來對實時內(nèi)容嵌入電子水印的裝置的數(shù)字電視裝置，其構(gòu)成包括用來接收數(shù)字廣播，譯碼并生成實時內(nèi)容的單元；用來顯示生成的實時內(nèi)容的顯示單元；用來對上述經(jīng)過譯碼的實時內(nèi)容嵌入電子水印的電子水印嵌入裝置；上述電子水印嵌入裝置，其構(gòu)成包括輸入上述實時內(nèi)容的輸入單元；保持上述實時內(nèi)容的輸入緩沖器；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的生成單元；用來保持上述生成的輸出WM信號的輸出緩沖器；用來接收上述生成的WM信號，嵌入到上述實時內(nèi)容中的嵌入單元；上述生成單元的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測單元；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的控制單元；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的單元。
在本發(fā)明的數(shù)字電視裝置中，優(yōu)選是上述電子水印嵌入裝置是數(shù)字電視裝置的外掛裝置或包含于上述數(shù)字電視的內(nèi)部。本發(fā)明的上述輸入單元，優(yōu)選是包含將上述實時內(nèi)容分割進(jìn)行輸入的單元，并且優(yōu)選是上述控制單元使用上述消息和上述密鑰控制嵌入。


圖1為示出本發(fā)明的WM信號生成裝置的示圖。
圖2為示出本發(fā)明的WM生成處理的流程圖。
圖3為本發(fā)明的預(yù)測單元的詳細(xì)功能的框圖。
圖4為示出本發(fā)明的時間延遲后的強度預(yù)測的實施方式的示圖。
圖5為在本發(fā)明中預(yù)測視頻信號的時間延遲后的輝度的預(yù)測部的功能框圖。
圖6為示出本發(fā)明的條塊(tile)分割的實施方式的示圖。
圖7為示出本發(fā)明的輝度預(yù)測的實施方式的示圖。
圖8為本發(fā)明的用來處理視頻信號的判斷單元的功能框圖。
圖9為示出本發(fā)明的對音頻信號的輸出WM信號生成的處理的流程圖。
圖10為示出本發(fā)明的輸出WM信號生成的另一實施方式的示圖。
圖11為示出本發(fā)明的輸出WM信號生成的再一個實施方式的示圖。
圖12為示出本發(fā)明的對視頻信號的輸出WM信號生成的處理的流程圖。
圖13為示出本發(fā)明的WM信號生成裝置的另一實施方式的示圖。
圖14為示出圖13所示的WM信號生成裝置的處理的流程圖。
圖15為示出本發(fā)明的電子水印嵌入裝置的實施例的示圖。
圖16為示出本發(fā)明的電子水印嵌入裝置的另一實施例的示圖。
圖17為示出本發(fā)明的電子水印嵌入裝置的再一個實施例的示圖。
圖18為示出本發(fā)明的電子水印嵌入裝置的再一個實施例的示圖。
圖19為示出本發(fā)明的電子水印嵌入裝置的再一個實施例的示圖。
圖20為示出本發(fā)明的電子水印嵌入裝置的再一個實施例的示圖。
圖21為示出本發(fā)明的包含電子水印嵌入裝置的數(shù)字電視裝置的圖22為現(xiàn)有的電子水印嵌入裝置的概略框圖。
圖23為現(xiàn)有的電子水印嵌入裝置的概略框圖。
圖24為示出WM信號生成引起的時間延遲的關(guān)系的示圖。
具體實施例方式
下面根據(jù)附圖所示的本發(fā)明的實施方式對本發(fā)明予以詳細(xì)說明，但并不限定于后述的實施方式。
在圖1中示出本發(fā)明的WM信號生成裝置的功能框圖。圖1所示的本發(fā)明的WM信號生成裝置10的構(gòu)成包括用來輸入實時內(nèi)容的輸入單元12；用來將由輸入單元12得到的實時內(nèi)容進(jìn)行無縫處理的輸入緩沖器14；用來利用積累于輸入緩沖器14中的數(shù)據(jù)預(yù)測時間延遲后的WM信號的預(yù)測單元16；用來在輸出前積累所生成的強度的WM信號的輸出緩沖器18；生成嵌入值控制WM信號的值的控制單元20；以及使用嵌入值生成輸出WM信號的WM信號生成單元22。預(yù)測單元16、控制單元20和WM信號生成單元22構(gòu)成在本發(fā)明中具有用來生成最終嵌入的輸出WM信號的功能的生成單元。
在輸入單元12中輸入現(xiàn)場演奏、實況節(jié)目等數(shù)據(jù)作為實時內(nèi)容。此輸入單元12，用作實時內(nèi)容的分割單元，對實時內(nèi)容使用所謂的ADC方式進(jìn)行數(shù)字化和分割后輸入到輸入緩沖器14。輸入緩沖器14，將接收到的數(shù)據(jù)按每合適處理幀進(jìn)行存儲，傳送到預(yù)測單元16。輸入緩沖器14的構(gòu)成為在對實時內(nèi)容給予無縫WM信號的同時，可以保持至少大于等于一幀的實時內(nèi)容，以便對實時內(nèi)容進(jìn)行強度的時間上的預(yù)測。
預(yù)測單元16，在數(shù)據(jù)是音頻數(shù)據(jù)時，使用心理聽覺模型等，預(yù)測規(guī)定的時間延遲后的WM信號的強度。另外，預(yù)測單元，在實時內(nèi)容是圖像數(shù)據(jù)時，比如，通過將圖像數(shù)據(jù)分割為條塊狀的矩形區(qū)域，對每個條塊預(yù)測輝度，生成與輝度相應(yīng)的信號而預(yù)測WM信號。利用控制單元20生成的嵌入值，或者是將WM信號的預(yù)測值原樣不變相加到實時內(nèi)容，或者是通過控制使強度為0，在WM信號生成單元22中生成作為輸出WM信號。輸出WM信號，暫時保持于輸出緩沖器18中，之后，利用像混頻器、話筒、投影機(jī)這些嵌入單元24對實時內(nèi)容進(jìn)行嵌入。
在本發(fā)明中，對實時內(nèi)容的WM信號的嵌入，對于現(xiàn)場演奏等音頻內(nèi)容，可以利用放大器及揚聲器這樣的音響裝置生成與WM信號相對應(yīng)的音頻信號。另外，在實況節(jié)目、影片等場合，可以使用用于視頻信號的混頻器等。另外，對于音頻信號和視頻信號兩者也可以分別嵌入WM信號。
下面對輸入的實時內(nèi)容采集到輸入緩沖器14到從輸出緩沖器18作為WM信號輸出所需要的時間延遲予以詳細(xì)說明。在本發(fā)明中，以音頻數(shù)據(jù)為例進(jìn)行說明。在以CD音質(zhì)進(jìn)行再生時，使用44.1kHz的頻率，比如，1幀由1024取樣構(gòu)成時，在輸入緩沖器14中，為了積累音頻數(shù)據(jù)，至少需要23.2ms的時間。另外，使用后述的心理聽覺模型執(zhí)行DFT及屏蔽量的計算而生成WM信號所必需的時間，在典型情況下使用1024取樣的數(shù)據(jù)，需要大約3.7ms。對于輸出緩沖器18，與輸入緩沖器一樣，考慮到以CD音質(zhì)再生，產(chǎn)生的時間延遲與輸入緩沖器一樣約為23.2ms。
因此，可以預(yù)料，WM信號，一直到嵌入到實時內(nèi)容，至少有約50ms的時間延遲，并且在存在其他ADC等時間延遲的場合，為約100ms的時間延遲。所以，特別是考慮質(zhì)量時，必須預(yù)測約100ms后的信號強度。另外，在提供DVD音質(zhì)的內(nèi)容的場合，需要96kHz的輸入和輸出，此時預(yù)測約50ms～100ms之間的實時數(shù)據(jù)也足夠了。
本發(fā)明的預(yù)測單元16，預(yù)測實時內(nèi)容在時間上的發(fā)展，算出強度調(diào)整的WM信號。對實時內(nèi)容的時間上的發(fā)展預(yù)測，對為生成WM信號而使用的實時內(nèi)容的幀在時間上的變化，比如，可通過在幀的時間間隔中使用恰當(dāng)?shù)暮瘮?shù)進(jìn)行外插等而執(zhí)行，算出輸出WM信號被嵌入時間的權(quán)重。將此權(quán)重與使用心理聽覺模型得到的WM信號相乘，可在WM信號的強度上反映出原始內(nèi)容在時間上的發(fā)展。
在本發(fā)明中，預(yù)測，可使用指數(shù)函數(shù)、線性函數(shù)、三角函數(shù)等，并且這些以外的任何函數(shù)都可以使用。
另外，本發(fā)明的控制單元20，保持要嵌入作為密鑰及電子水印用的消息，使用用來生成密鑰及WM信號的消息的位，生成嵌入值。生成的嵌入值，用于對預(yù)測單元16所生成的信號的嵌入判斷。WM信號生成單元22，根據(jù)嵌入值生成輸出WM信號。輸出WM信號，在輸出緩沖器18中積累之后，發(fā)送到嵌入單元24。對嵌入單元24，輸入實時內(nèi)容，進(jìn)行生成的輸出WM信號的嵌入。嵌入WM信號的嵌入完成后的內(nèi)容，可通過適當(dāng)?shù)拿襟w提供給用戶，假如用戶通過非法復(fù)制或通過CD及因特網(wǎng)以營業(yè)為目的提供時，也可以證明共非法復(fù)制。
圖2為示出本發(fā)明的WM生成處理的流程圖。
本發(fā)明的WM信號生成處理，在步驟S10中，從輸入裝置對實時內(nèi)容進(jìn)行取樣，保持于輸入緩沖器中。在步驟S12中，使用預(yù)測單元預(yù)測知覺刺激值的時間延遲后的強度。在步驟S14中，使用控制單元生成用來使用密鑰及消息控制WM信號的嵌入的嵌入值。嵌入值S，在本發(fā)明中，取+1或-1正負(fù)兩個值。此嵌入值送往輸出WM信號生成單元，用于控制WM信號的輸出。具體言之，在步驟S16中，判斷由控制單元生成的嵌入值S是否大于0，在嵌入值S是大于0時(是)，在步驟S18中，使用預(yù)測值，生成輸出WM信號。另外，在嵌入值S是小于0時(否)，在步驟S20中，不使用預(yù)測值，生成0信號強度的輸出WM信號。之后將頻域的輸出WM信號變換為時域的輸出WM信號，比如，在輸出緩沖器中保持，在步驟S22中向嵌入單元輸出使其進(jìn)行嵌入。
下面對本發(fā)明特別在預(yù)測單元16、控制單元20、WM信號生成單元22中執(zhí)行的處理進(jìn)行說明。
A.預(yù)測單元的詳細(xì)構(gòu)成和處理(A-1)對音頻信號的WM信號的預(yù)測及其處理在預(yù)測單元16中，使用保持于輸入緩沖器14中的實時內(nèi)容的數(shù)據(jù)，執(zhí)行用來提高質(zhì)量的處理，包含(1)使用心理聽覺模型的WM信號生成；(2)預(yù)測原始內(nèi)容在時間上的發(fā)展的WM信號的權(quán)重計算。圖3為示出在本發(fā)明中為了對音頻信號生成WM信號可以使用的預(yù)測單元16的詳細(xì)構(gòu)成的示圖。圖3所示的預(yù)測單元16的構(gòu)成包含頻率分析單元30；能量分析單元32；強度和頻率預(yù)測單元34及不可聽量計算單元36。
頻率分析單元30，從輸入緩沖器14采集處理幀大小的數(shù)據(jù)，使用傅利葉變換、余弦變換、小波變換等執(zhí)行頻率分析。本發(fā)明的處理幀，與輸入緩沖器14的1幀的取樣數(shù)相等，比如，為1024取樣。另外，處理幀的取樣數(shù)，根據(jù)處理能力，可使用512取樣或2048取樣。
另外，能量分析單元32，使用由頻率分析單元30得到的頻率分析的結(jié)果，將處理幀作為一個單位計算各頻率分量ω的振幅Xf，ω的平方和，將其作為該頻率分量的ω的能量。其中，f是處理幀的序號，ω是頻率分量。如果將得到的幀f的頻帶b的能量表示為Ef，b，Ef，b可以表示如下式Ef,b=Σω∈Band(b)xf,ω2---(1)]]>在上述式(1)中，Band(b)是包含在頻帶b中的頻率分量的集合。在本發(fā)明中，每個頻帶的能量，不僅可以以上述的平方和計算，而且也可以只利用振幅的和算出。另外，利用此外的任何方法也可以得到能量。
強度和頻率預(yù)測單元34的構(gòu)成，比如，包含緩沖存儲器，可使用現(xiàn)在正在處理的幀f，執(zhí)行下一幀(f+1)的強度和頻率預(yù)測。在圖4中示出強度和頻率預(yù)測單元的幀間的關(guān)系。圖4中橫軸表示時間，縱軸表示音壓，示出處理幀和實時內(nèi)容的振幅的關(guān)系。圖4中，現(xiàn)在正在處理的幀是f幀，應(yīng)該預(yù)測的幀是(f+1)幀。如圖4所示，在本發(fā)明中，使用指數(shù)函數(shù)、線性函數(shù)或三角函數(shù)預(yù)測各個頻率的時間發(fā)展，可算出權(quán)重。在圖4中，從各個頻帶的能量可以得出的使用指數(shù)函數(shù)的擬合曲線以FC表示。另外，在本發(fā)明中，特別是，不從一個處理幀進(jìn)行預(yù)測，而是從兩個連續(xù)的處理幀以更高的精度的時間展開，也可以進(jìn)行預(yù)測。
在使用指數(shù)函數(shù)進(jìn)行預(yù)測的場合，權(quán)重因子可由下式(2)給出，在使用線性函數(shù)進(jìn)行預(yù)測的場合，權(quán)重因子可由下式(3)給出。
E^f+1,b=Ef,b2Ef-1,b---(2)]]>E^f+1,b=2Ef,b2-Ef-1,b---(3)]]>在上述式(3)中，在預(yù)測值是負(fù)時，使用零。另外，頻率分量的預(yù)測，可使用所得到的能量的預(yù)測值，利用下述式(4)，或更簡單些，利用下述式(5)給出。
x^f+1,ω=xf,ωE^f+1Ef---(4)]]>x^f+1,ω=E^f+1|Band(b)|---(5)]]>
在上述式中，ω是構(gòu)成頻帶Band(b)的頻率分量。另外，|Band(b)|是集合A的大小。
之后，使用生成的頻率分量的預(yù)測值，不可聽量計算單元36，對各頻率分量計算人耳不可聽程度的WM信號的大小aω。在本發(fā)明中，心理聽覺模型本身，因為不是本發(fā)明說明的對象，其詳細(xì)說明予以省略，作為用于心理聽覺模型的方法，比如，可以參照上述的現(xiàn)有技術(shù)。另外，在本發(fā)明的其他實施方式中，不僅振幅可以預(yù)測，相位也同樣可以預(yù)測。
(A-2)對視頻信號的WM信號預(yù)測及其處理在視頻的場合大概而言可以使用同樣的處理。在圖5中示出本發(fā)明中的對視頻信號的預(yù)測單元的詳細(xì)構(gòu)成。以下對在本發(fā)明中根據(jù)強度預(yù)測對視頻信號生成WM信號的處理進(jìn)行說明。從輸入緩沖器14輸入的視頻幀，像素縱橫配置，對各個像素，輝度作為對應(yīng)的3維數(shù)據(jù)輸入到條塊分割單元40。在圖6中，示出在本發(fā)明中進(jìn)行的條塊分割的實施方式的示圖。條塊分割單元40，如圖6所示，將視頻幀分割成為給定的尺寸的條塊，選擇包含在條塊中的像素，確定像素的坐標(biāo)及輝度(x，y，c)。
在確定包含于各個條塊中的像素之后，由輝度分析單元42，通過算出每個條塊內(nèi)的輝度平均值，生成各條塊的平均輝度Tav而執(zhí)行條塊內(nèi)的輝度分布的分析。
在輝度保持單元44中，保持已經(jīng)處理過的幀的同一條塊的平均輝度Tavf，使用恰當(dāng)?shù)暮瘮?shù)對各幀的預(yù)定的條塊T的平均輝度的變化進(jìn)行外插或擬合，可預(yù)測WM信號嵌入的時間延遲后的實時內(nèi)容的平均輝度的權(quán)重。對利用線形預(yù)測進(jìn)行的實施方式的該處理示于圖7。與音頻信號的場合一樣，在預(yù)測小于零的值的場合，使用零。
在不可視量計算單元46中，使用預(yù)測的權(quán)重值，算出不可視量at，進(jìn)行輸出。另外，對幀f及過去的幀的輝度的分步進(jìn)行分析，可以判定圖像是處于變焦拍攝中、處于全景拍攝中、還是處于靜止中。因此，在本發(fā)明中，可以使用運動矢量檢測方法。此時，在處于變焦拍攝中時，在該時點對于應(yīng)該處理的幀的調(diào)制量與變焦相對應(yīng)地增加或減小。另外，在全景拍攝中時，對調(diào)制量也進(jìn)行全景拍攝處理，而在靜止的場合，對調(diào)制量不特別進(jìn)行改變。此外，在本發(fā)明中，為了檢測出變焦或全景，不是利用每個條塊的輝度，而是利用每個像素的輝度時，雖然精度可以提高，但因為計算量也增加，考慮到用于WM信號的嵌入的時間延遲，可以根據(jù)系統(tǒng)能力進(jìn)行適當(dāng)?shù)卣{(diào)整。
B.控制單元的詳細(xì)構(gòu)成及其處理(B-1)音頻信號的WM信號生成的處理圖8為在本發(fā)明中采用的控制單元20的詳細(xì)的功能框圖。如圖8所示，在本發(fā)明中生成用來對音頻信號嵌入WM信號的嵌入值的控制單元20的構(gòu)成包含保持要嵌入的消息的消息保持單元50；密鑰保持單元52；以及嵌入值生成單元54。使用這些信息和偽隨機(jī)數(shù)(+1，-1)生成進(jìn)行嵌入的每個位的嵌入值S。生成的嵌入值S，發(fā)送到WM信號生成單元22，用于生成輸出WM信號。另外，在本發(fā)明中，在電子水印的秘密性不那么重要時，也可以不使用密鑰生成WM信號。此時后續(xù)的過程可同樣使用。
圖9為示出用于本發(fā)明的WM信號生成的處理的流程圖。如圖9所示，WM信號的生成，在步驟S30中，對各頻帶，讀出嵌入消息的符號(1或0)和與其相對應(yīng)的偽隨機(jī)數(shù)(-1或1)。在步驟S32中，使用讀出的嵌入位mb和偽隨機(jī)數(shù)pr，利用下式生成各個頻帶不同的嵌入值實時內(nèi)容。
s＝(2mb-1)pr (6)在上述式(6)中給出的嵌入值S的取值為+1或-1。
之后，在步驟S34中，使用生成的嵌入值S，進(jìn)行WM信號的控制。在步驟S34中的S為正的場合(是)，如下述式(7)所示，在步驟36中，生成具有預(yù)測的強度aω的隨機(jī)相位的WM信號，在S為負(fù)的場合(否)，在步驟S38中生成0的WM信號。
zω=aωexpθω(s>0)0(s≤0)---(7)]]>在上述式(7)中，θω是0～2π之中的隨機(jī)值。
在本發(fā)明中，使用嵌入消息的位和偽隨機(jī)數(shù)作為密鑰和電子水印，生成以S給出的各頻帶的嵌入規(guī)則，并且在生成的嵌入值為負(fù)時，WM信號(不嵌入WM信號)的大小置為0，即使是在WM信號和實時內(nèi)容之間產(chǎn)生時間延遲時，可以將WM信號的0的頻率分量用作標(biāo)記，可以提高強健性。
之后，WM信號生成單元22，使作為按照上述式(7)生成的集合(aωexpθω、0)構(gòu)成的輸出WM信號經(jīng)過逆傅利葉變換，使頻域的WM信號變換為時域的WM信號。之后，在步驟S40中，比如，向輸出緩沖器發(fā)送所生成的輸出WM信號，對實時提供的內(nèi)容進(jìn)行嵌入。上述的方法，雖然可以對各頻率分量進(jìn)行質(zhì)量調(diào)整，但因為必須進(jìn)行逆傅利葉變換，也有增加時間延遲的場合。因此，在本發(fā)明的其他實施方式中，如下所述，可以采用預(yù)先對頻域準(zhǔn)備WM信號的方法。
圖10為示出預(yù)先準(zhǔn)備本發(fā)明的頻域的WM信號的另一實施方式的嵌入方法的流程圖。如圖10所示，在步驟50中，預(yù)先生成頻域的WM信號，使保持于恰當(dāng)?shù)拇鎯ζ髦械牟豢梢暳康玫奖３值腤M信號，在頻域中，可由下式(8)給出。
nω＝Aexpθω(8)在上述式中，θω是0～2π之中的隨機(jī)值。之后，在步驟S52中，計算嵌入值，在步驟S54中，讀出保持于恰當(dāng)?shù)拇鎯ζ鞯戎械腤M信號的大小aω，在步驟S56中，使用下述式(9)生成頻域的WM信號。
zω=aωΛnω(s>0)0(s≤0)---(9)]]>之后，在步驟S58中，將頻域的WM信號變換為時域的輸出WM信號，進(jìn)行對實時內(nèi)容的嵌入。如上述式(9)所示，在本發(fā)明的另一實施方式中，因為對在任何幀中都使用共通的nω，可以達(dá)到高速化。另外，通過使用同一個nω，在WM信號中可產(chǎn)生規(guī)律的圖形時，可能產(chǎn)生質(zhì)量問題。在這種場合，在準(zhǔn)備下不同的nω時，可以對各幀使用不同的WM信號。
此外，在本發(fā)明的另一實施方式中，為了達(dá)到更高速化，預(yù)先生成時域的WM信號，可不執(zhí)行逆傅利葉變換作為WM信號進(jìn)行嵌入。在圖11中示出再一個實施方式的流程圖。如圖11所示，在步驟S60中，通過逆傅利葉變換預(yù)先生成時域的WM信號。之后，在步驟S62中，使用密鑰、消息的位及偽隨機(jī)數(shù)算出嵌入值sb。之后，在步驟S64中，讀出WM信號的振幅aω，使用算出的sb，在步驟S66中按照下述式(10)生成時域的輸出WM信號zt，進(jìn)行嵌入。
zt=Σb=1B(sb+12Ea,bEn,bnb,t)---(10)]]>在上述式中，Ea，b是頻帶b的非可聽能量，En，b是準(zhǔn)備的頻帶b的不可聽量的能量，由下述式(11)、(12)給出。
Ea,b=Σω∈Band(b)aω2---(11)]]>En,b=Σt=1Nnb,t2---(12)]]>根據(jù)圖11所示的方法，不需要從頻域的逆傅利葉變換，可以達(dá)到高速化。
(B-2)視頻信號的WM信號生成及其處理在對視頻信號應(yīng)用本發(fā)明時也可以使用與圖9所示的同樣的功能的WM信號生成處理。作為視頻信號，在本發(fā)明中，可以使用MPEG-2及更高級的格式的視頻信號，在對視頻信號應(yīng)用本發(fā)明時，比如，可以確定對每個條塊賦予的符號及偽隨機(jī)數(shù)，使用密鑰對每個條塊算出嵌入值S，通過對不可視量進(jìn)行加減嵌入電子水印。在圖12中示出將本發(fā)明應(yīng)用于視頻信號時的流程圖。
圖12示出的將本發(fā)明應(yīng)用于視頻信號的處理，在步驟S70中讀出密鑰及消息的嵌入位。在步驟S72中，對每個條塊使用偽隨機(jī)數(shù)、密鑰、消息的位以及位，算出嵌入數(shù)S，在步驟S74中判斷嵌入數(shù)是否大于0，在步驟S76及步驟S78中，與S相關(guān)聯(lián)生成包含0的WM信號，在步驟S80中將這些信號作為輸出WM信號生成。
圖13為示出本發(fā)明的WM信號生成裝置10的另一實施方式的示圖。圖10所示的WM信號生成裝置10的構(gòu)成包含用來將實時內(nèi)容分割輸入的輸入單元12；用來對利用輸入單元12得到的實時內(nèi)容進(jìn)行無縫切分處理的輸入緩沖器14；使用積累于輸入緩沖器14中的數(shù)據(jù)預(yù)測WM信號的將來的預(yù)測單元16；以及用來在輸出前積累生成的WM信號的輸出緩沖器18?？刂茊卧?0，包含密鑰及消息，與在圖1中所說明的一樣，算出嵌入值S，并向WM信號生成單元22發(fā)送嵌入值實時內(nèi)容。
利用WM信號生成單元22生成的WM信號，臨時發(fā)送到輸出緩沖器18保持。另外，圖13所示的WM信號生成裝置10的構(gòu)成包含輸出控制單元26。此輸出控制單元26，根據(jù)從實時內(nèi)容在時間上的發(fā)展生成的預(yù)測值和在該時點的實時內(nèi)容，生成預(yù)測值和實時內(nèi)容的強度的差分。
由輸出控制單元26生成的差分，與預(yù)先考慮不可聽量和不可視量設(shè)定的閾值進(jìn)行比較，輸入WM信號和在該時點的實時內(nèi)容，判斷預(yù)測值作為不可聽量和不可視量是否妥當(dāng)，在妥當(dāng)時，就將保持于輸出緩沖器18中的WM信號輸出，對實時內(nèi)容進(jìn)行嵌入作為電子水印。另外，其構(gòu)成是，在WM信號過大時，通過使向嵌入單元24的輸出中止，使WM信號的嵌入不進(jìn)行。另外，在本發(fā)明中，在乘以恰當(dāng)?shù)乃p因子成為恰當(dāng)?shù)牟豢陕犃恐螅M(jìn)行輸出。
在圖14中，在本發(fā)明的圖13中示出的實施方式的處理中示出添加處理的流程圖。如圖14所示，在步驟S90中，取得在該時點的實時內(nèi)容。在步驟S92中，算出預(yù)測值和在該時點的內(nèi)容的強度的差分。在步驟S94中，判斷差分是否在容許范圍內(nèi)，是在容許范圍內(nèi)時(yes)，在步驟S96中，是WM信號的嵌入進(jìn)行。另外，差分不在容許范圍內(nèi)時(no)，因為使WM信號的嵌入和實時內(nèi)容的質(zhì)量降低，不進(jìn)行輸出WM信號的嵌入。
通過使用在本發(fā)明的圖13及圖14中示出的實施方式，可消除大小不恰當(dāng)?shù)腤M信號的嵌入，可以使實時提供的內(nèi)容的質(zhì)量進(jìn)一步提高。另外，判斷圖14所示的預(yù)測值的妥當(dāng)性的處理，也可應(yīng)用于對視頻信號嵌入WM信號的場合。
下面，利用附圖所示的具體實施例對本發(fā)明的WM信號生成裝置、電子水印嵌入裝置及數(shù)字電視裝置進(jìn)行說明。
(實施例1)在圖15中，示出用來顯示通過電視及廣播進(jìn)行實況廣播的內(nèi)容的著作權(quán)所使用的電子水印嵌入裝置的實施例。在圖15所示的實施例中，在體育館等之中使用話筒70進(jìn)行實時內(nèi)容的錄音。使用作為對錄音內(nèi)容進(jìn)行分割的手段而使用的混頻器72進(jìn)行二分割，將一個話筒的輸出輸入到混頻器74。另一個話筒的輸出輸入到WM信號生成裝置76，生成輸出WM信號78。輸出WM信號78，在接受利用輸出控制單元26進(jìn)行大小的檢查之后，輸入到混頻器74。輸入的輸出WM信號，對在該時點的實時內(nèi)容進(jìn)行嵌入，生成嵌入完成的內(nèi)容80。嵌入完成的內(nèi)容80，經(jīng)過恰當(dāng)?shù)耐ㄐ啪W(wǎng)絡(luò)提供給用戶。作為圖15所示的實施方式的網(wǎng)絡(luò)，可以使用地上波通信、衛(wèi)星通信、有線網(wǎng)絡(luò)或因特網(wǎng)等。
在本發(fā)明的圖15所示的實施例中，在混頻器74可以調(diào)整WM信號的大小的場合，在WM信號生成裝置76中不需要采用在圖13及圖14中說明的判斷WM信號的大小的構(gòu)成。然而，在圖15所示的實施例中，作為WM信號生成裝置76，也可以采用圖13所示的構(gòu)成。根據(jù)圖15所示的實施例，可以對體育館等處的實況演奏、實況中繼附加電子水印向用戶提供。
圖16示出在音樂會會場應(yīng)用本發(fā)明的電子水印生成裝置的場合的實施例。在圖16所示的實施例中，如在音樂廳中演奏的古典音樂那樣，不經(jīng)過話筒等錄音設(shè)備直接對用戶提供。因此，在圖16所示的實施例中，電子水印嵌入裝置80的構(gòu)成包括話筒一類的輸入設(shè)備14、放大器、揚聲器一類音頻信號生成裝置82，對內(nèi)容直接進(jìn)行電子水印的嵌入。
另外，在本發(fā)明的再一個實施例中，音頻信號生成裝置82，也可能不是只配置一臺，而是對每個演奏者各配置一臺。在將多個音頻信號生成裝置靠近演奏者配置的實施例中，可以更可靠地保證實時內(nèi)容和輸出WM信號的整合性，可以進(jìn)一步提高質(zhì)量。此時，因為在將多個輸出WM信號在時間上錯開混合時，對強健性造成很壞的影響，所以優(yōu)選是多個音頻信號生成裝置82在定時上同步。
圖17是示出在本發(fā)明中可以確定進(jìn)行非法錄音者的實施方式的示圖。假設(shè)在圖17示出的實施例中，是提供古典音樂作為實時內(nèi)容。此處，假設(shè)在座位S0就座的聽眾是非法錄音者?？梢允歉髯籗0～S3帶有音樂廳固有的識別編號，比如，與識別編號相對應(yīng)的輸出WM信號，可作為音頻信號由小型話筒等靠近聽眾提供的這樣一種構(gòu)成。在本發(fā)明圖17所示的實施例中，利用與各個聽眾鄰接配置的電子水印嵌入裝置84生成輸出WM信號。
然而，在本發(fā)明的圖17所示的實施例的另一變更例中，如圖17所示，分開另外設(shè)置電子水印生成服務(wù)器86，與識別編號相對應(yīng)的WM信號，電子水印生成服務(wù)器86，可以利用分配給各個座位的密鑰或消息，對每個座位生成輸出WM信號。對每個座位生成的輸出WM信號，通過向配置于座位等處的小型話筒發(fā)送，可向聽眾提供不同的輸出WM信號。
圖17示出的實施例，通過在各座位嵌入不同的電子水印，即使是在進(jìn)行了非法錄音的人員記錄到CD及DVD并且進(jìn)行非法銷售的場合，也可達(dá)到易于追蹤非法錄音者的效果。
本發(fā)明的電子水印嵌入裝置，為了主張在電影院等之中放映的視頻之類的實時內(nèi)容的著作權(quán)，也可以為嵌入電子水印而使用。在以下的實施例中，對實時提供的圖像內(nèi)容嵌入電子水印的場合予以說明。與音頻信號一樣，可以以放映會場、主辦者、協(xié)辦者、放映內(nèi)容、放映時日、復(fù)制條件等等作為嵌入的消息。
在圖18中示出在本發(fā)明中在視頻中嵌入電子水印的場合的實施例。在圖18中示出的本發(fā)明的特定的實施例中，對從投影機(jī)88發(fā)出的原始圖像內(nèi)容進(jìn)行再生。同時，投影機(jī)88的視頻輸出，輸入到輸出WM信號生成裝置90中而生成輸出WM信號。生成的輸出WM信號，輸出到投影機(jī)88。嵌入了WM信號的視頻，從投影機(jī)88投影到屏幕92，可以將輸出WM信號實時地嵌入到圖像內(nèi)容中。
在圖19中示出雖然可以提取原始的圖像內(nèi)容的視頻輸出，但不能使用混頻器的場合的實施例。在圖19所示的實施例中，將原始的圖像內(nèi)容從投影機(jī)94投影到屏幕92，進(jìn)行對用戶的內(nèi)容提供。視頻輸出，輸入到本發(fā)明的WM信號生成裝置90，生成輸出WM信號。生成的輸出WM信號，發(fā)送到投影機(jī)100，通過從投影機(jī)100投影到屏幕92，可以將電子水印嵌入屏幕92上。
另外，在圖20中示出既不能提取原始的圖像內(nèi)容的視頻輸出，也不能使用混頻器的場合的實施例。在圖20所示的實施例中，將原始的圖像內(nèi)容從投影機(jī)94投影到屏幕92，進(jìn)行對用戶的內(nèi)容提供。投影到屏幕92的內(nèi)容，比如，利用攝像機(jī)102取得，輸入到本發(fā)明的WM信號生成裝置90。之后，生成利用本發(fā)明的方法延遲的輸出WM信號，通過將輸出WM信號從投影機(jī)100投影到屏幕92，可以在屏幕上進(jìn)行電子水印嵌入。如上所述，本發(fā)明的圖18～圖20所示的實施例，是對客座非法帶入攝像機(jī)進(jìn)行錄像視頻圖像也可以進(jìn)行電子水印嵌入。
圖21為示出利用數(shù)字電視裝置對用戶提供的內(nèi)容被用戶為了不正當(dāng)?shù)哪康倪M(jìn)行錄像的場合的實施方式的示圖。在圖21所示的實施例中，本發(fā)明的電子水印生成裝置是與數(shù)字電視裝置鄰接配置外掛裝置104的形式。經(jīng)數(shù)字通信網(wǎng)絡(luò)從天線接收的數(shù)據(jù)在調(diào)諧譯碼部106中進(jìn)行調(diào)諧及譯碼，糾錯及分用輸出到電視監(jiān)視器的內(nèi)容108。內(nèi)容108，在混頻器中進(jìn)行二分割，輸入到本發(fā)明的WM信號生成裝置112。圖18所示的本發(fā)明的WM信號生成裝置112，利用迄今為止所說明的方法，針對音頻信號及圖像信號生成輸出WM信號114，將生成的輸出WM信號114送往混頻器116，可對內(nèi)容108進(jìn)行電子水印嵌入。在圖21所示的實施例中，是一種通過對在數(shù)字電視廣播中發(fā)送的內(nèi)容進(jìn)行電子水印嵌入，可以對用戶的不當(dāng)錄像及錄音進(jìn)行識別的構(gòu)成。
另外，在本發(fā)明再另一個實施例中，特別是不僅是時間上變動大的實時內(nèi)容，而且也可以通過對美術(shù)館展覽的美術(shù)品使用投影機(jī)投影電子水印而用于防止對美術(shù)品的視頻圖像的非法取得。此外，本發(fā)明也可應(yīng)用于因特網(wǎng)散發(fā)的流實時地嵌入電子水印的場合。
在本發(fā)明中說明的各設(shè)備，可以是在包含中央處理裝置(CPU)；RAM、ROM等存儲器；硬盤一類的存儲設(shè)備的計算機(jī)或信息處理裝置中，以軟件形式構(gòu)成的軟件模塊構(gòu)成的。另外，上述軟件模塊，只要具有在本發(fā)明中說明的功能，不單包含與附圖所示的功能塊相對應(yīng)的構(gòu)成，也可以由作為不同的功能塊的構(gòu)成而構(gòu)成。此外，用來執(zhí)行本發(fā)明的電子水印生成方法的程序，可以使用各種編程語言，比如匯編語言、C語言、C++語言、Java(注冊商標(biāo))等描述，描述本發(fā)明的程序的代碼，可以使其作為RAM、ROM、閃存等固件包含，也可保持于磁帶、軟盤、硬盤、CD、磁光盤、DVD等這一類計算機(jī)可讀記錄媒體上。
以上是以附圖記述的具體實施方式
對本發(fā)明進(jìn)行說明，但本發(fā)明并不限定于上述特定的實施方式，即使是各種變更例及其他實施方式，只要是在本發(fā)明的效果的范圍內(nèi)，哪怕是迄今已知的任何構(gòu)成要素，都可以使用。
權(quán)利要求
1.一種WM信號生成裝置，是用來生成作為電子水印嵌入到實時內(nèi)容的WM信號的裝置，其構(gòu)成包括輸入上述實時內(nèi)容的輸入單元；保持上述實時內(nèi)容的輸入緩沖器；用來由上述實時內(nèi)容生成與實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的生成單元；用來保持上述生成的輸出WM信號的輸出緩沖器；上述生成單元的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測單元；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的控制單元；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的單元。
2.如權(quán)利要求1所述的WM信號生成裝置，其中上述知覺刺激值是音響或輝度，上述預(yù)測單元，使用保持于上述輸入緩沖器中的數(shù)據(jù)生成與上述規(guī)定時間后的實時內(nèi)容的強度相對應(yīng)的預(yù)測不可聽量或預(yù)測不可視量的WM信號。
3.如權(quán)利要求1或2所述的WM信號生成裝置，其中的上述控制單元，包含使用密鑰、上述消息和偽隨機(jī)數(shù)生成正負(fù)的二值化后的嵌入值的單元。
4.如權(quán)利要求1～3中任何一項所述的WM信號生成裝置，其中還包含將嵌入上述生成的WM信號的時間經(jīng)過后的實時內(nèi)容與上述生成的WM信號進(jìn)行比較，控制上述輸出緩沖器的輸出的輸出控制單元。
5.如權(quán)利要求1～4中任何一項所述的WM信號生成裝置，其中上述輸入單元，包含將上述實時內(nèi)容分割進(jìn)行輸入的單元，上述生成單元使用該分割后的實時內(nèi)容生成WM信號。
6.一種WM信號生成方法，是用來生成作為電子水印嵌入到實時內(nèi)容的WM信號的方法，其構(gòu)成包括輸入上述實時內(nèi)容的輸入步驟；保持實時內(nèi)容的步驟；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的步驟；保持上述生成的輸出WM信號的步驟；上述生成步驟包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的步驟；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的控制步驟；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的步驟。
7.如權(quán)利要求6所述的WM信號生成方法，其中上述知覺刺激值是音響或輝度，上述預(yù)測步驟，包含使用保持于上述輸入緩沖器中的數(shù)據(jù)生成與上述規(guī)定時間后的實時內(nèi)容的強度相對應(yīng)的預(yù)測不可聽量或預(yù)測不可視的WM信號的步驟。
8.如權(quán)利要求6或7所述的WM信號生成方法，其中的上述控制步驟，包含使用密鑰、上述消息和偽隨機(jī)數(shù)生成正負(fù)的二值化后的嵌入值的步驟。
9.如權(quán)利要求6～8中任何一項所述的WM信號生成方法，其中還包含將嵌入上述生成的WM信號的時間經(jīng)過后的實時內(nèi)容與上述生成的WM信號進(jìn)行比較，控制上述輸出緩沖器的輸出的步驟。
10.如權(quán)利要求6～9中任何一項所述的WM信號生成方法，其中上述輸入步驟，包含將上述實時內(nèi)容進(jìn)行分割的步驟，上述生成步驟使用該分割后的實時內(nèi)容生成WM信號。
11.一種用來執(zhí)行WM信號生成方法的程序，作為用來由計算機(jī)執(zhí)行的用來生成作為電子水印嵌入到實時內(nèi)容的WM信號的方法的計算機(jī)可執(zhí)行程序，其構(gòu)成包括使計算機(jī)執(zhí)行如下步驟，保持輸入的上述實時內(nèi)容的步驟；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的步驟；用來保持上述生成的輸出WM信號的步驟；執(zhí)行保持上述生成的輸出WM信號的步驟；上述生成步驟的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測步驟；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的步驟；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的步驟。
12.如權(quán)利要求11所述的程序，其中上述知覺刺激值是音響或輝度，上述預(yù)測步驟，包含使用保持于上述輸入緩沖器中的數(shù)據(jù)生成與上述規(guī)定時間后的實時內(nèi)容的強度相對應(yīng)的預(yù)測不可聽量或預(yù)測不可視量的WM信號的步驟。
13.如權(quán)利要求11或12所述的程序，其中在上述生成步驟中，使用分割輸入的實時內(nèi)容；上述控制步驟，包含使用密鑰、上述消息和偽隨機(jī)數(shù)生成正負(fù)的二值化后的嵌入值的步驟。
14.如權(quán)利要求11～13中任何一項所述的程序，其中還包含將嵌入上述生成的WM信號的時間經(jīng)過后的實時內(nèi)容與上述生成的WM信號進(jìn)行比較，控制上述輸出緩沖器的輸出的步驟。
15.一種存儲用來執(zhí)行WM信號生成方法的程序的計算機(jī)可讀記錄媒體，作為用來記錄由計算機(jī)執(zhí)行的用來生成作為電子水印嵌入到實時內(nèi)容的WM信號的方法的計算機(jī)可執(zhí)行程序的計算機(jī)可讀記錄媒體，該程序的構(gòu)成包括使計算機(jī)執(zhí)行，保持輸入的上述實時內(nèi)容的步驟；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的步驟；用來保持上述生成的輸出WM信號的步驟；保持上述生成的輸出WM信號的步驟；上述生成步驟的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測步驟；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的步驟；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的步驟。
16.如權(quán)利要求15所述的記錄媒體，其中上述知覺刺激值是音響或輝度，上述預(yù)測步驟，包含使用保持于上述輸入緩沖器中的數(shù)據(jù)生成與上述規(guī)定時間后的實時內(nèi)容的強度相對應(yīng)的預(yù)測不可聽量或預(yù)測不可視量的WM信號的步驟。
17.如權(quán)利要求15或16所述的記錄媒體，其中在上述生成步驟中，使用分割輸入的實時內(nèi)容；上述控制步驟，包含使用密鑰、上述消息和偽隨機(jī)數(shù)生成正負(fù)的二值化后的嵌入值的步驟。
18.如權(quán)利要求15～17中任何一項所述的記錄媒體，其中還包含將嵌入上述生成的WM信號的時間經(jīng)過后的實時內(nèi)容與上述生成的WM信號進(jìn)行比較，控制上述輸出緩沖器的輸出的步驟。
19.一種電子水印嵌入裝置，是用來生成嵌入到實時內(nèi)容作為電子水印的裝置，其構(gòu)成包括輸入上述實時內(nèi)容的輸入單元；保持上述實時內(nèi)容的輸入緩沖器；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的生成單元；用來保持上述生成的輸出WM信號的輸出緩沖器；用來接收上述生成的WM信號，嵌入到上述實時內(nèi)容中的嵌入單元；上述生成單元的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測單元；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的控制單元；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的單元。
20.如權(quán)利要求19所述的電子水印嵌入裝置，其中上述知覺刺激值是音響或輝度，上述預(yù)測單元，使用保持于上述輸入緩沖器中的數(shù)據(jù)生成與上述規(guī)定時間后的實時內(nèi)容的強度相對應(yīng)的預(yù)測不可聽量或預(yù)測不可視量的WM信號。
21.如權(quán)利要求19或20所述的電子水印嵌入裝置，其中的上述控制單元，包含使用密鑰、上述消息和偽隨機(jī)數(shù)生成正負(fù)的二值化后的嵌入值的單元。
22.如權(quán)利要求19～21中任何一項所述的電子水印嵌入裝置，其中還包含將嵌入上述生成的WM信號的時間經(jīng)過后的實時內(nèi)容與上述生成的WM信號進(jìn)行比較，控制上述輸出緩沖器的輸出的輸出控制單元。
23.如權(quán)利要求19～22中任何一項所述的電子水印嵌入裝置，其中上述輸入單元，包含將上述實時內(nèi)容分割進(jìn)行輸入的單元，上述生成單元使用該分割后的實時內(nèi)容生成WM信號。
24.如權(quán)利要求19～23中任何一項所述的電子水印嵌入裝置，其中上述實時內(nèi)容，是現(xiàn)場演奏的音樂。
25.如權(quán)利要求19～24中任何一項所述的電子水印嵌入裝置，其中上述實時內(nèi)容，是現(xiàn)場直播的廣播內(nèi)容。
26.如權(quán)利要求19～25中任何一項所述的電子水印嵌入裝置，其中上述電子水印嵌入裝置，是數(shù)字電視裝置的外掛裝置或包含于上述數(shù)字電視的內(nèi)部。
27.一種數(shù)字電視裝置，是包含用來對實時內(nèi)容嵌入電子水印的裝置的數(shù)字電視裝置，其構(gòu)成包括用來接收數(shù)字廣播，譯碼并生成實時內(nèi)容的單元；用來顯示生成的實時內(nèi)容的顯示單元；用來對上述經(jīng)過譯碼的實時內(nèi)容嵌入電子水印的電子水印嵌入裝置；上述電子水印嵌入裝置，其構(gòu)成包括輸入上述實時內(nèi)容的輸入單元；保持上述實時內(nèi)容的輸入緩沖器；用來由上述實時內(nèi)容生成與上述實時內(nèi)容的預(yù)測強度相對應(yīng)的輸出WM信號的生成單元；用來保持上述生成的輸出WM信號的輸出緩沖器；用來接收上述生成的WM信號，將其嵌入到上述實時內(nèi)容中的嵌入單元；上述生成單元的構(gòu)成包括用來從上述實時內(nèi)容的規(guī)定時間后的知覺刺激值的預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測單元；使用作為電子水印嵌入到上述實時內(nèi)容中的消息來控制嵌入的控制單元；以及使用上述預(yù)測單元的輸出和上述控制單元的輸出來生成輸出WM信號的單元。
28.如權(quán)利要求27所述的數(shù)字電視之中，其中上述電子水印嵌入裝置，是數(shù)字電視裝置的外掛裝置或包含于上述數(shù)字電視的內(nèi)部。
29.如權(quán)利要求27或28所述的數(shù)字電視裝置，其中的上述輸入單元，包含分割單元；上述控制單元，包含使用上述消息和密鑰控制嵌入。
全文摘要
提供生成強健性、質(zhì)量被改善的WM信號，用于電子水印嵌入的裝置、程序、存儲媒體及包含電子水印嵌入功能的數(shù)字電視裝置。包含用來生成對實時內(nèi)容作為電子水印嵌入WM信號的裝置(10)；輸入實時內(nèi)容的輸入單元(12)；保持實時內(nèi)容的輸入緩沖器(14)；用來由分割的實時內(nèi)容生成與實時內(nèi)容的預(yù)測強度相對應(yīng)的WM信號的生成單元；用來保持生成的WM信號的輸出緩沖器(18)。生成單元的構(gòu)成包括用來預(yù)測進(jìn)行上述WM信號的強度預(yù)測的預(yù)測單元(16)；使用作為電子水印嵌入到上述實時內(nèi)容中的消息控制嵌入的控制單元(20)；以及用來生成輸出WM信號的單元(22)。
文檔編號H04N1/32GK1672414SQ0381789
公開日2005年9月21日 申請日期2003年7月25日 優(yōu)先權(quán)日2002年7月29日
發(fā)明者立花隆輝, 杉原亮 申請人:國際商業(yè)機(jī)器公司