專(zhuān)利名稱(chēng)：應(yīng)用圖像傳感器的電子設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如數(shù)字照相機(jī)、拍攝機(jī)、PDA、便攜式電話(huà)、信息輸入裝置、機(jī)器人和產(chǎn)業(yè)設(shè)備等應(yīng)用照相機(jī)的電子設(shè)備。
關(guān)于現(xiàn)有的應(yīng)用照相機(jī)的電子設(shè)備，在日本專(zhuān)利JP-A-6-296206中，論述了關(guān)于便攜式信息設(shè)備的內(nèi)容。下面對(duì)該現(xiàn)有實(shí)例進(jìn)行說(shuō)明。
通過(guò)接口取入來(lái)自照相機(jī)的圖像數(shù)據(jù)，將取入的圖像數(shù)據(jù)輸出顯示在液晶顯示部，同時(shí)，在圖像壓縮——擴(kuò)展回路上壓縮該取入的圖像數(shù)據(jù)后將其存儲(chǔ)在數(shù)據(jù)RAM中。另外，在數(shù)據(jù)RAM中存儲(chǔ)由鍵輸入輸入的備忘錄數(shù)據(jù)和地址名簿數(shù)據(jù)等，檢索該存儲(chǔ)數(shù)據(jù)，在液晶顯示部顯示輸出。
另外，在日本專(zhuān)利JP-A-11-345079中公開(kāi)了一種應(yīng)用光學(xué)動(dòng)作傳感器IC的手持式定點(diǎn)裝置的現(xiàn)有實(shí)例。下面說(shuō)明該實(shí)例。
光學(xué)動(dòng)作傳感器IC的響應(yīng)被數(shù)字化，作為幀存儲(chǔ)在存儲(chǔ)器中。通過(guò)移動(dòng)頭部，生成由變換圖像信息后的圖形形成的連續(xù)的幀，通過(guò)與自身相關(guān)聯(lián)地比較移動(dòng)方向和移動(dòng)量而求得可靠。接觸檢測(cè)器檢測(cè)手持式定點(diǎn)裝置的頭部的指示器與工作面接觸的時(shí)間。在手持式定點(diǎn)裝置的機(jī)身上設(shè)置有代替計(jì)算機(jī)的鼠標(biāo)的功能的按鈕。
在所述第一個(gè)現(xiàn)有技術(shù)中，問(wèn)題在于雖然能夠在液晶顯示部顯示輸出照相機(jī)圖像，但另外，因?yàn)橐斎胧謱?xiě)的文字和圖形，所以需要鼠標(biāo)和輸入板等輸入裝置，從而導(dǎo)致所謂的裝置的體積變大或笨重。
另一方面，第二個(gè)現(xiàn)有技術(shù)的對(duì)象是手持式定點(diǎn)裝置，不能顯示和記錄輸入的圖像。
本發(fā)明的目的在于提供一種能夠顯示并記錄輸入的圖像、而且不用新增加鼠標(biāo)和輸入板就能夠輸入手寫(xiě)文字和圖形的電子設(shè)備。
為了實(shí)現(xiàn)所述目的，在本發(fā)明中，輸出由圖像傳感器拍攝的圖像后，對(duì)由該圖像傳感器拍攝的圖像進(jìn)行處理，計(jì)算圖像傳感器的移動(dòng)信息。
或者，輸出由圖像傳感器拍攝的圖像后，對(duì)由該圖像傳感器拍攝的圖像進(jìn)行處理，計(jì)算圖像傳感器的被攝物的移動(dòng)信息。
為了現(xiàn)鼠標(biāo)的功能，利用計(jì)算后的移動(dòng)信息進(jìn)行定點(diǎn)用光標(biāo)的控制。通過(guò)按鈕與聲音或拍攝的圖像狀態(tài)的聯(lián)動(dòng)，能夠進(jìn)行點(diǎn)擊、雙擊、拖動(dòng)的控制。
為了實(shí)現(xiàn)輸入板的功能，利用計(jì)算的移動(dòng)信息來(lái)控制圖形輸入用光標(biāo)。通過(guò)按鈕與聲音或拍攝的圖像狀態(tài)的聯(lián)動(dòng)，能夠進(jìn)行筆提起、筆落下的控制。
另外，還能利用輸入的圖形信息進(jìn)行文字的識(shí)別。
也可以利用計(jì)算的移動(dòng)信息進(jìn)行簽字鑒別。
關(guān)于機(jī)器人和產(chǎn)業(yè)設(shè)備的控制，通過(guò)利用計(jì)算的移動(dòng)信息，能夠進(jìn)行操縱器的控制(或伺服控制)。
移動(dòng)信息的計(jì)算方法包括預(yù)先拍攝對(duì)應(yīng)于絕對(duì)坐標(biāo)信息的對(duì)象物，求出該絕對(duì)坐標(biāo)信息；進(jìn)行連續(xù)拍攝的圖像的對(duì)應(yīng)點(diǎn)計(jì)算；從連續(xù)拍攝的圖像中抽出對(duì)象的被攝物，計(jì)算其對(duì)應(yīng)點(diǎn)。這里，也可以預(yù)先設(shè)定對(duì)象的被攝物的特征。
進(jìn)行連續(xù)拍攝的圖像的對(duì)應(yīng)點(diǎn)計(jì)算的方法包括通過(guò)在連續(xù)拍攝的圖像中，對(duì)其中一個(gè)圖像的中央附近的部分圖像從另一個(gè)圖像的較大部分圖像中進(jìn)行搜尋，來(lái)計(jì)算對(duì)應(yīng)點(diǎn)；通過(guò)在連續(xù)拍攝的圖像中，對(duì)其中一個(gè)圖像的特征多的部分圖像從另一個(gè)圖像的較大部分圖像中進(jìn)行搜尋，來(lái)計(jì)算對(duì)應(yīng)點(diǎn)。
另外，在對(duì)應(yīng)點(diǎn)計(jì)算中，通過(guò)進(jìn)行不受照明變動(dòng)影響的相關(guān)演算，例如標(biāo)準(zhǔn)化相互相關(guān)和高頻成分取出后一般化Hough變換，使在自然光和熒光燈等照明下的穩(wěn)定計(jì)算成為可能。
另外，求出來(lái)自連續(xù)圖像的轉(zhuǎn)動(dòng)信息，與此對(duì)應(yīng)來(lái)補(bǔ)正移動(dòng)信息，以正確反映圖像傳感器的移動(dòng)方向。
具有加速度的傳感器，對(duì)應(yīng)于加速度信息來(lái)補(bǔ)正移動(dòng)信息，從而能夠計(jì)算出補(bǔ)正移動(dòng)物體上的振動(dòng)后的圖像傳感器的移動(dòng)信息。
在輸出由圖像傳感器拍攝的圖像后，計(jì)算移動(dòng)信息時(shí)，變更掃描速度和掃描領(lǐng)域等圖像傳感器掃描條件。


圖1是本發(fā)明的基本構(gòu)成的一個(gè)例子；圖2是圖1的跟蹤處理部的實(shí)施例；圖3是圖1的接口的實(shí)施例；圖4是圖1的接口的另一實(shí)施例；圖5是圖1的跟蹤處理部的另一實(shí)施例；圖6是圖1的跟蹤處理部的另一實(shí)施例；圖7是圖1的跟蹤處理部的另一實(shí)施例；圖8是圖1的跟蹤處理部的另一實(shí)施例；圖9是表示本發(fā)明的另一實(shí)施例的框圖；圖10是表示本發(fā)明的另一實(shí)施例的框圖；圖11是表示本發(fā)明的另一實(shí)施例的框圖；圖12是表示本發(fā)明的另一實(shí)施例的框圖；圖13是表示本發(fā)明的另一實(shí)施例的框圖；圖14是說(shuō)明本發(fā)明的控制方法的圖；圖15是說(shuō)明從當(dāng)前位置向目標(biāo)位置的控制特性的圖；圖16是表示應(yīng)用畫(huà)面數(shù)據(jù)的反饋控制系統(tǒng)的構(gòu)成例子的圖；圖17是表示基于編目畫(huà)面數(shù)據(jù)進(jìn)行控制的裝置構(gòu)成例子的圖；圖18是表示配備多個(gè)照相機(jī)的裝置構(gòu)成例子的圖；圖19是表示配備多個(gè)照相機(jī)的反饋控制系統(tǒng)的構(gòu)成例子的圖；圖20是配備圖像傳感器的多軸機(jī)械手；圖21是表示擴(kuò)大了圖像傳感器的視野范圍的構(gòu)成例子的圖；圖22是表示本發(fā)明的一個(gè)使用形態(tài)的圖；圖23是表示本發(fā)明的一個(gè)使用形態(tài)的圖；圖24是表示本發(fā)明的一個(gè)使用形態(tài)的圖；圖25是表示本發(fā)明的一個(gè)使用形態(tài)的圖；圖26是表示本發(fā)明的一個(gè)使用形態(tài)的圖；圖27是表示本發(fā)明的一個(gè)使用形態(tài)的圖；圖28是表示將本發(fā)明應(yīng)用于拍攝機(jī)和數(shù)字照相機(jī)的形態(tài)的圖；圖29是表示本發(fā)明的電子設(shè)備的狀態(tài)遷移的一個(gè)形態(tài)的圖；圖30是表示本發(fā)明的電子設(shè)備的顯示畫(huà)面的一個(gè)形態(tài)的圖31是表示本發(fā)明的電子設(shè)備的顯示畫(huà)面的一個(gè)形態(tài)的圖。
下面，針對(duì)本發(fā)明的一個(gè)實(shí)施例進(jìn)行詳細(xì)說(shuō)明。如圖1所示的基本構(gòu)成由輸入圖像數(shù)據(jù)的圖像傳感器、顯示由所述圖像傳感器輸入的圖像數(shù)據(jù)的顯示裝置和從所述圖像傳感器輸入的圖像數(shù)據(jù)檢測(cè)對(duì)象物體的位置信息的裝置構(gòu)成。
本發(fā)明的特征在于在圖像顯示和位置信息檢測(cè)中共用一個(gè)(或一組)圖像傳感器。據(jù)此，通過(guò)把視覺(jué)把握的控制對(duì)象的位置與該控制對(duì)象的實(shí)際所處的位置信息進(jìn)行對(duì)應(yīng)，能夠基于視覺(jué)控制指示，進(jìn)行具體的控制對(duì)象的控制。作為圖像傳感器可利用CCD、CMOS和真空管型的攝象元件等。顯示裝置可利用液晶顯示器和CRT等。位置信息檢測(cè)裝置可利用例如CPU、個(gè)人計(jì)算機(jī)等。下面，將控制對(duì)象所處的場(chǎng)所稱(chēng)為環(huán)境。因此，圖像傳感器輸入的是關(guān)于環(huán)境的圖像數(shù)據(jù)，顯示的是環(huán)境的圖像數(shù)據(jù)，進(jìn)行在環(huán)境中的控制對(duì)象的位置的控制。
用圖13來(lái)詳細(xì)說(shuō)明本發(fā)明的另一個(gè)實(shí)施例。圖13所示的功能塊之間的連接表示邏輯上的連接。
由根據(jù)控制器1301讀出并實(shí)行存儲(chǔ)在ROM1307中的程序來(lái)進(jìn)行整個(gè)動(dòng)作。
根據(jù)圖中未示的方式切換，設(shè)定為圖像顯示方式時(shí)，首先，通過(guò)接口1305向顯示緩沖器1302傳送由圖像傳感器1306拍攝的圖像。也可以暫時(shí)存儲(chǔ)于RAM1308內(nèi)后再傳送。顯示緩沖器1302的圖像根據(jù)液晶驅(qū)動(dòng)器1303顯示在液晶顯示部1304上。
另一方面，當(dāng)設(shè)定為移動(dòng)方式時(shí)，通過(guò)接口1305在RAM1308中存儲(chǔ)由圖像傳感器1306拍攝的圖像。跟蹤處理部1309從存儲(chǔ)的連續(xù)圖像來(lái)計(jì)算移動(dòng)信息。
這里，跟蹤處理部1309的處理內(nèi)容用圖2表示并詳細(xì)說(shuō)明。將來(lái)自存儲(chǔ)在RAM1308中的第1幀圖像的中央的部分圖像作為參考圖像(201)。然后，為了求出該參考圖像處在存儲(chǔ)在RAM1308中的第二幀圖像中的哪一部分，將來(lái)自所述第二幀圖像的、比參考圖像大的中央部分圖像作為檢索圖像(202)。進(jìn)行從檢索圖像求得參考圖像的模式匹配處理(203)。
在模式匹配中，根據(jù)預(yù)先設(shè)定的相似度計(jì)算，求得參考圖像和與參考圖像相同尺寸的檢索圖像內(nèi)的各部分圖像的相似度，決定相似度最高的部分圖像的位置。作為該相似度的計(jì)算方法是求得對(duì)應(yīng)像素間的差的總和，除相互相關(guān)等外，還有標(biāo)準(zhǔn)化相互相關(guān)，和從參考圖像以及檢索圖像等中分別抽取高頻成分，通過(guò)一般化Hough變換等，量化該高頻成分的對(duì)應(yīng)等方法。
模式匹配處理后，確定的部分圖像的相似度比預(yù)先設(shè)定的極限值大時(shí)，將參考圖像與該部分圖像的位置不吻合作為移動(dòng)信息輸出，當(dāng)不比極限值大時(shí)，則將位置相吻合作為移動(dòng)信息輸出(204)。
之后，用相同的方法從所述第二幀的圖像來(lái)設(shè)定在下面的模式匹配處理中用的參考圖像及從存儲(chǔ)在RAM1308中的第三幀的圖像來(lái)設(shè)定檢索圖像(205)，重復(fù)進(jìn)行模式匹配處理。
利用所述計(jì)算的移動(dòng)信息，控制器1301計(jì)算在液晶顯示部1304中顯示的圖像輸入用光標(biāo)的移動(dòng)，向顯示緩沖器1302傳送光標(biāo)的位置。假定所述光標(biāo)被顯示在最初的特定位置上。另外，對(duì)應(yīng)于特定的按鈕按下等情況，恢復(fù)到初始位置。
也可以不控制圖像輸入用光標(biāo)，而控制定點(diǎn)用光標(biāo)。
在所述實(shí)施例中，雖然把跟蹤處理部的參考圖像作為第一幀的中央部分圖像，但也可以通過(guò)抽出高頻成分等來(lái)從第一幀求出特征信息，將特征量多的部分圖像作為參考圖像。
另外，使用圖中未示的按鈕來(lái)控制筆提起、筆落下，能夠輸入有效的圖形。在這種按下按鈕為筆落下，釋放按鈕為筆提起(或是相反情況)的設(shè)定以外，也可以是對(duì)應(yīng)于按鈕的按下、在觸發(fā)器中交替切換筆提起和筆落下的方法。還可不采用按下/釋放按鈕的方式，而是通過(guò)聲音的大小、振動(dòng)的大小和圖像模糊程度的大小等來(lái)控制。
在定點(diǎn)用光標(biāo)的場(chǎng)合，使用圖中未示的按鈕能夠?qū)崿F(xiàn)點(diǎn)擊，雙擊和拖動(dòng)。這種場(chǎng)合下，一次按下按鈕為點(diǎn)擊，連續(xù)兩次按下按鈕為雙擊，一邊按下一邊移動(dòng)光標(biāo)為拖動(dòng)。還可不采用按下/釋放按鈕的方式，而是通過(guò)聲音的大小、振動(dòng)的大小和圖像模糊程度的大小等來(lái)控制。
根據(jù)所述的圖像輸入用光標(biāo)移動(dòng)信息和筆提起、筆落下信息，能夠形成手寫(xiě)文字或圖形。該手寫(xiě)文字或圖形可以原樣顯示在液晶顯示部1304中，也可以在顯示后或不加以顯示的情況下進(jìn)行文字識(shí)別。作為對(duì)象文字，可以是日語(yǔ)(漢字、平假名、片假名)、外語(yǔ)(不僅僅字母表)、Graffiti等特殊字符、符號(hào)、暗號(hào)等。另外，可以在顯示后或不加以顯示的情況下用于簽字鑒別。在文字識(shí)別的場(chǎng)合中，沒(méi)有筆提起、筆落下信息也可以進(jìn)行文字識(shí)別。
可以用圖中未示的按鈕實(shí)施文字識(shí)別后的所希望的文字的選擇，也可以由所述圖形輸入用光標(biāo)(或定點(diǎn)用光標(biāo))以及筆落下(或點(diǎn)擊)信息來(lái)指定其選擇。
也可以由所述圖形輸入用光標(biāo)(或定點(diǎn)用光標(biāo))以及筆落下(或點(diǎn)擊)信息來(lái)指定顯示的文字或圖形的屬性。
接口1305的構(gòu)成例子如圖3所示。在這里，由A/D轉(zhuǎn)換器將圖像傳感器1306的模擬輸出信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，由信號(hào)處理電路302進(jìn)行特定的信號(hào)處理。雖然圖3中未記載，但也可以暫時(shí)存儲(chǔ)在幀存儲(chǔ)器中。
接口1306的其它構(gòu)成如圖4所示。在圖4中，除了A/D轉(zhuǎn)換器、信號(hào)處理電路外，還具有圖像傳感器設(shè)定部403。圖像傳感器設(shè)定部對(duì)應(yīng)于圖像顯示方式或移動(dòng)方式，能夠變更圖像傳感器的掃描條件(掃描速度、掃描尺寸等)。因此，例如在圖像顯示方式下，以30幀/秒來(lái)掃描圖像傳感器的全部，在移動(dòng)方式下，能夠以較高速度的幀速率來(lái)掃描圖像傳感器的一部分。
在以上的實(shí)施例中，能通過(guò)一只手的操作來(lái)輸入移動(dòng)信息。另外，不需要預(yù)先準(zhǔn)備作為被攝物的對(duì)象物。
在圖22中表示本發(fā)明的實(shí)施形態(tài)的一個(gè)例子。電子設(shè)備2201具有液晶顯示器2202、照相機(jī)2204和按鈕2203。一邊起動(dòng)所述電子設(shè)備2201，一邊按下和釋放按鈕2203，于是在液晶顯示器2202上顯示文字。另外，如圖23所示，用照相機(jī)2304取得圖像后，一邊起動(dòng)電子設(shè)備2301，一邊按下和釋放按鈕2303，則在取得的圖像上顯示文字。
另外，如圖24所示，設(shè)想一邊起動(dòng)電子設(shè)備2401，一邊按下和釋放按鈕2403，則也能在另一個(gè)電子設(shè)備2402的一個(gè)液晶顯示器2405上顯示文字。而按鈕2403可以不在電子設(shè)備2402中，而是在電子設(shè)備2401的一側(cè)上。電子設(shè)備之間可以如圖24所示那樣是有線(xiàn)的，也可以如圖25所示是無(wú)線(xiàn)的。
作為本發(fā)明的其它實(shí)施例，是使圖13的跟蹤處理部的處理按圖5所示的那樣來(lái)進(jìn)行。在這種場(chǎng)合下，由圖像傳感器拍攝的物體有必要是預(yù)先對(duì)應(yīng)地給定了絕對(duì)坐標(biāo)的物體。
設(shè)定為圖像顯示方式時(shí)的操作與前面的實(shí)施例相同。
關(guān)于設(shè)定為移動(dòng)方式時(shí)的由圖像傳感器1306拍攝的圖像通過(guò)接口1305存儲(chǔ)在RAM1308中也是相同的。另外，雖然在由跟蹤處理部計(jì)算移動(dòng)信息這一點(diǎn)上是相同的，但不同的是，其計(jì)算方法不是圖2的方法，而是圖5的方法。
在本實(shí)施例中，由拍攝的圖像取得絕對(duì)坐標(biāo)信息。
在這里，對(duì)應(yīng)于絕對(duì)坐標(biāo)，可以用(100，50)等數(shù)字來(lái)表示，也可以用一元或二元條形碼等符號(hào)來(lái)表示。
首先，根據(jù)OCR或BCR等方法，從最初圖像求得拍攝領(lǐng)域中心的絕對(duì)坐標(biāo)(501)。接著，用同樣的方法從下一個(gè)拍攝圖像求得中心的絕對(duì)坐標(biāo)(502)。從這兩個(gè)坐標(biāo)來(lái)計(jì)算移動(dòng)信息，并輸出(503)。之后，重復(fù)這些處理。
跟蹤處理部的處理也可以如圖6所示那樣，只求出拍攝的圖像的絕對(duì)坐標(biāo)。在這種場(chǎng)合下，控制器1301由連續(xù)圖像的絕對(duì)坐標(biāo)來(lái)計(jì)算移動(dòng)信息。
在該實(shí)施例中，也能夠用單手操作來(lái)輸入移動(dòng)信息。另外，由于能夠用一個(gè)幀來(lái)求得坐標(biāo)信息，所以不會(huì)有所謂的移動(dòng)信息的誤差的積累。
作為本發(fā)明的其它實(shí)施例，是使圖13的跟蹤處理部的處理按圖5所示的那樣來(lái)進(jìn)行。在圖7的跟蹤處理中，從圖像傳感器拍攝的圖像中檢測(cè)出較多地含有包含在預(yù)先指定的顏色范圍內(nèi)顏色的對(duì)象物(701、702)，輸出該對(duì)象物的重心位置。
控制器1301從連續(xù)圖像的重心位置來(lái)計(jì)算移動(dòng)信息。
該實(shí)施例用于固定圖像傳感器后識(shí)別用手指或筆在空中描寫(xiě)的文字或符號(hào)的場(chǎng)合。
作為對(duì)象物的特性，可以不必是顏色，而是形狀。另外，也可以不必是重心位置，而是外接圓(或矩形)或內(nèi)接圓(或矩形)的中心?；蛘撸鐖D8所示，從連續(xù)圖像中檢測(cè)出移動(dòng)量大的物體(802)，輸出該物體的重心位置。
在該實(shí)施例中，因?yàn)槟軌蛟谄浔旧硖幵陟o止的狀態(tài)下使用電子設(shè)備，利于方便地確認(rèn)顯示在畫(huà)面上的光標(biāo)等信息。另外，因?yàn)轭A(yù)先判定了對(duì)象物的特征，所以能夠期望減少移動(dòng)信息計(jì)算中的錯(cuò)誤。
如圖26所示的是本發(fā)明的實(shí)施例的一個(gè)例子。電子設(shè)備2601具有液晶顯示器2602、照相機(jī)2604和按鈕2603。例如用左手拿著所述電子設(shè)備2601，一邊移動(dòng)右手的手指2605，一邊按下和釋放按鈕2603，則在液晶顯示器2602上顯示文字。可以預(yù)先對(duì)右手的指頭施加特定的圖樣。不是手指時(shí)，也可以是具有特定的顏色、圖樣或形狀的對(duì)象物。
以下表示作成電子郵件的例子。圖29是輸入文字/圖形時(shí)的電子設(shè)備的狀態(tài)遷移圖。狀態(tài)2901是確定準(zhǔn)備用手寫(xiě)輸入文字/圖形的起點(diǎn)的狀態(tài)。狀態(tài)2902是輸入手寫(xiě)文字/圖形信息時(shí)的狀態(tài)。狀態(tài)2903是從手寫(xiě)文字中識(shí)別的文字/圖形的幾個(gè)候選中選擇合適的候選的等待狀態(tài)。
從狀態(tài)2901向狀態(tài)2902的遷移2904根據(jù)準(zhǔn)備輸入的文字/圖形的起點(diǎn)的確定而啟動(dòng)。起點(diǎn)的確定，可以通過(guò)例如判定筆已靜止(移動(dòng)量在一定時(shí)間、特定范圍以下)，或按下特定的按鈕等來(lái)進(jìn)行。
確定起點(diǎn)后，向狀態(tài)2902遷移，操作者手寫(xiě)所期望的文字/圖形。在這里，為向操作者通知起點(diǎn)的確定，雖然在狀態(tài)2901中不能描畫(huà)軌跡，但可在狀態(tài)2902中描畫(huà)軌跡，或變化顯示的光標(biāo)的顏色或形狀，或變化畫(huà)面的整體顏色，或變化液晶顯示器的特定位置的顯示。按下特定的按鈕，還可以刪除不想要的描畫(huà)信息。
另外，從狀態(tài)2902向狀態(tài)2903的遷移2905，根據(jù)檢測(cè)到期望的文字/圖形的手寫(xiě)輸入的終止來(lái)啟動(dòng)。作為手寫(xiě)輸入終止的檢測(cè)方法，可以通過(guò)例如判定筆已靜止(移動(dòng)量在一定時(shí)間、特定范圍以下)，或者光標(biāo)從在此前輸入的文字/圖形的重心移動(dòng)了規(guī)定距離以上的距離，或按下特定的按鈕等來(lái)進(jìn)行。在文字/圖形的輸入中，也可根據(jù)特定的情況來(lái)控制筆提起/筆落下。在這種場(chǎng)合中，可以將筆提起的時(shí)間超過(guò)了特定的時(shí)間，或筆提起中的動(dòng)作被識(shí)別為特定的姿勢(shì)等情況檢測(cè)為手寫(xiě)輸入的終止。
檢測(cè)出手寫(xiě)輸入的終止后，輸出手寫(xiě)輸入文字/圖形的識(shí)別結(jié)果。在一筆寫(xiě)成的文字/圖形的場(chǎng)合中，使用與之對(duì)應(yīng)的識(shí)別算法，在液晶顯示器上顯示一個(gè)或多個(gè)候選。
從狀態(tài)2903向狀態(tài)2901的遷移2906，通過(guò)根據(jù)期望的文字/圖形來(lái)選擇所述顯示為候選的任一個(gè)而啟動(dòng)。作為選擇手段，可以是按下對(duì)應(yīng)于候選所在位置的按鈕，還可以是用手寫(xiě)來(lái)表示對(duì)應(yīng)的候選的識(shí)別因子，等。選擇的文字/圖形插入在此前輸入的文字/圖形系列的特定位置中。
圖30表示本發(fā)明的電子設(shè)備的液晶顯示器的顯示例。在圖30中，領(lǐng)域3001是顯示郵件的文字/圖形系列的區(qū)域，區(qū)域3002是顯示手寫(xiě)文字/圖形用的區(qū)域，區(qū)域3003是顯示候選的區(qū)域。3004是光標(biāo)。
另外，在圖31中，表示本發(fā)明的電子設(shè)備的液晶顯示器的其它顯示例。在該例子中，區(qū)域3101是顯示郵件的文字/圖形系列的區(qū)域，區(qū)域3102是顯示手寫(xiě)文字/圖形或顯示候選的區(qū)域。手寫(xiě)文字/圖形的顯示和候選的顯示在時(shí)間上被分開(kāi)。也就是說(shuō)，在圖29中，在狀態(tài)2901和狀態(tài)2902中，在區(qū)域3102是顯示手寫(xiě)文字/圖形用的區(qū)域，在狀態(tài)2903時(shí)變?yōu)轱@示候選用的區(qū)域。3103是光標(biāo)。
另外，如圖27所示，由照相機(jī)2704取得圖像后，一邊移動(dòng)右手手指2705，一邊按下和釋放按鈕2703，一邊在取得的圖像上顯示文字。
另外，也可以不用左手把持電子設(shè)備，而是將其放置在適當(dāng)?shù)膱?chǎng)所來(lái)使用。
用圖9來(lái)說(shuō)明本發(fā)明的其它實(shí)施例。在圖9中，表示基于跟蹤處理部輸出的移動(dòng)信息來(lái)控制操縱器910的實(shí)施例。
該實(shí)施例能夠用于，例如，在操縱器的前面安裝圖像傳感器、從圖像傳感器拍攝的圖像來(lái)識(shí)別操縱器正在操作何處，等場(chǎng)合。
可用多關(guān)節(jié)機(jī)器人和伺服裝置來(lái)取代操縱器。
用圖10來(lái)說(shuō)明本發(fā)明的其它實(shí)施例。在圖10中，除了跟蹤處理部外，還增加了回轉(zhuǎn)角測(cè)量部1010，用于檢測(cè)圖像傳感器與初期位置(或前一幀)相比較，回轉(zhuǎn)了多少角度的信息。
因此，由于在由跟蹤處理部計(jì)算的移動(dòng)信息中，考慮了所述回轉(zhuǎn)信息，所以求出了真實(shí)的移動(dòng)信息(移動(dòng)方向)。
例如，當(dāng)計(jì)算出圖像傳感器與初期位置相比回轉(zhuǎn)了x度時(shí)，對(duì)于由跟蹤處理部計(jì)算的移動(dòng)方向，把補(bǔ)正x度后的移動(dòng)方向作為真實(shí)移動(dòng)方向來(lái)計(jì)算?？刂破?001使用該真實(shí)移動(dòng)方向來(lái)實(shí)施圖形輸入用光標(biāo)控制、定點(diǎn)用光標(biāo)控制、簽字鑒別或操縱器控制。也可以與回轉(zhuǎn)信息一起作用，進(jìn)行高度的識(shí)別或控制。
用圖11來(lái)說(shuō)明本發(fā)明的其它實(shí)施例。在圖11中，除了跟蹤處理部外，還增加了擴(kuò)大縮小測(cè)量部1110，用于檢測(cè)圖像傳感器與被攝物的距離與初期位置(或前一幀)相比，有多少增減的信息。即，與前一幀相比，被攝物如果被擴(kuò)大的話(huà)，則識(shí)別出圖像傳感器與被攝物的距離接近，反之，如果被攝物被縮小，則識(shí)別出圖像傳感器與被攝物的距離增大。關(guān)于距離的變化量，預(yù)先測(cè)定它與擴(kuò)大縮小測(cè)量部測(cè)量的倍率之間的對(duì)應(yīng)關(guān)系，再利用該對(duì)應(yīng)關(guān)系和擴(kuò)大縮小測(cè)量部求得的倍率來(lái)求得該變化量。
控制器1101利用由跟蹤處理部求出的移動(dòng)信息和所述圖像傳感器與被攝物的距離增減的信息，進(jìn)行圖形輸入用光標(biāo)控制、定點(diǎn)用光標(biāo)控制、簽字鑒別或操縱器控制。具體而言，在圖形輸入用光標(biāo)控制的場(chǎng)合中，根據(jù)所述移動(dòng)信息計(jì)算出光標(biāo)的位置，根據(jù)所述圖像傳感器與被攝物的距離來(lái)計(jì)算判定筆提起/筆落下等。在定點(diǎn)用光標(biāo)控制的場(chǎng)合中，對(duì)應(yīng)于所述圖像傳感器與被攝物的距離，也可以不用移動(dòng)光標(biāo)。在簽字鑒別中，也能夠利用圖像傳感器與被攝物的距離變動(dòng)信息作為鑒別信息。在操縱器控制中，能夠使用圖像傳感器與被攝物的距離的變動(dòng)信息，識(shí)別圖像傳感器(或被攝物)的較詳細(xì)的位置，反映到控制上。
追加如圖10中所示的實(shí)施例所述的追加回轉(zhuǎn)角測(cè)量部，也可進(jìn)行所述識(shí)別及/或控制。
用圖12來(lái)說(shuō)明本發(fā)明的其它實(shí)施例。在圖12中，除了跟蹤處理部外，還增加了加速度傳感器1210，不僅測(cè)量圖像傳感器與被攝物的相對(duì)移動(dòng)信息，還測(cè)量(相對(duì)于地球)絕對(duì)移動(dòng)信息。
在移動(dòng)物體上使用本實(shí)施例構(gòu)成的電子設(shè)備時(shí)，從跟蹤處理部求得的移動(dòng)信息和由加速度傳感器所得到的移動(dòng)信息求得由移動(dòng)物體引起的振動(dòng)影響，向由跟蹤處理部求得的移動(dòng)信息反映該影響，以消減由振動(dòng)引起的不期望的移動(dòng)信息。
圖14表示具有控制圖像傳感器與環(huán)境的相對(duì)位置的構(gòu)成的裝置的控制方法的一個(gè)例子。假設(shè)在當(dāng)前畫(huà)面的中央顯示的地方是圖像傳感器的位置所在。一邊看該畫(huà)面，一邊從圖像傳感器所處的當(dāng)前位置在畫(huà)面上指示目標(biāo)位置?；谠谖恢眯畔z測(cè)裝置檢測(cè)的信號(hào)，畫(huà)面上的指示內(nèi)容為作為移動(dòng)距離(距離和方向)算出當(dāng)前位置＝(x0，y0)與目標(biāo)位置(x1，y1)的差量＝(dx，dy)后，作為對(duì)于所述裝置的指示信號(hào)。作為其它的目標(biāo)設(shè)定，可以利用向目標(biāo)位置移動(dòng)的移動(dòng)矢量(方向，移動(dòng)速度等)。
本發(fā)明不限于具有圖像傳感器的裝置構(gòu)成，例如具有車(chē)輪的移動(dòng)裝置、控制圖像傳感器方向的拍攝裝置、具有圖像傳感器的機(jī)械手等等。通過(guò)向這些裝置的驅(qū)動(dòng)系統(tǒng)提供基于前述指示的控制信號(hào)，能夠控制圖像傳感器與拍攝環(huán)境的相對(duì)位置?；蛘呤强砂釀?dòng)型的照相機(jī)裝置，能夠利用手持的位置信息。
圖15表示這些裝置從當(dāng)前位置向目標(biāo)位置的控制特性。在實(shí)際的裝置構(gòu)成中，雖然多是需要多元系統(tǒng)的控制，但這里表示的不過(guò)是基本的一元位置控制。雖然從一個(gè)圖像傳感器只能得到二元的圖像數(shù)據(jù)，但為了進(jìn)行位置控制，需變換成供給多元驅(qū)動(dòng)系統(tǒng)的控制信號(hào)。這一點(diǎn)，在加強(qiáng)的裝置構(gòu)成中用多元方程式確定關(guān)系是不成問(wèn)題的。即使是非線(xiàn)性元素，也能夠根據(jù)某種近似處理進(jìn)行控制信號(hào)的變換。如所周知，為了實(shí)現(xiàn)響應(yīng)的即應(yīng)性和穩(wěn)定性，還可利用反饋控制系統(tǒng)。本發(fā)明在進(jìn)行所述的目標(biāo)位置的設(shè)定的同時(shí)，還在反饋信號(hào)的檢測(cè)中利用所述的圖像傳感器。
這里，目標(biāo)位置設(shè)定方法能夠進(jìn)行根據(jù)畫(huà)面上鼠標(biāo)等輸入裝置的指示?；蛘?，能夠把在預(yù)先記錄好的目標(biāo)位置上輸入的畫(huà)面數(shù)據(jù)作為目標(biāo)位置的指示信號(hào)加以利用。即，通過(guò)進(jìn)行從圖像傳感器輸入的圖像數(shù)據(jù)和記錄圖像數(shù)據(jù)的匹配處理，算出在畫(huà)面上的移動(dòng)距離。所述的記錄畫(huà)面數(shù)據(jù)，例如是作為一般癥狀例的特征畫(huà)面，能夠利用該記錄畫(huà)面，實(shí)行關(guān)于圖像傳感器所處環(huán)境中的存在位置的判定及有無(wú)存在的判定等。
圖16是表示使用畫(huà)面數(shù)據(jù)的反饋控制系統(tǒng)的構(gòu)成例子的圖。使用圖像傳感器輸入控制對(duì)象所處環(huán)境。所述該圖像傳感器拍攝的圖像數(shù)據(jù)被提供給向操作者提示用的顯示裝置和控制用的位置信息檢測(cè)裝置。
操作者的目的是控制具有圖像傳感器的控制對(duì)象的位置，實(shí)現(xiàn)容易的目標(biāo)位置的設(shè)定，提高即應(yīng)性和穩(wěn)定性。為此，本發(fā)明向操作者提供可一邊觀(guān)察畫(huà)面一邊進(jìn)行位置控制的接口，其特征在于還利用從圖像傳感器算出的位置信息作為反饋信號(hào)并進(jìn)行控制。當(dāng)前位置與目標(biāo)位置的差量作為控制信號(hào)被賦予控制對(duì)象，對(duì)驅(qū)動(dòng)系統(tǒng)進(jìn)行控制。對(duì)于控制系統(tǒng)，使用當(dāng)前位置與目標(biāo)位置進(jìn)行控制，由于能預(yù)先設(shè)定途中的軌跡，還能夠預(yù)先算出向驅(qū)動(dòng)系統(tǒng)的控制信號(hào)，所以具有提高即應(yīng)性及穩(wěn)定性的效果。
操作者的目標(biāo)位置的設(shè)定能夠利用一邊觀(guān)察畫(huà)面一邊操作用的鼠標(biāo)、輸入板、操縱桿等。這些輸入裝置設(shè)定的信號(hào)為畫(huà)面上的目標(biāo)位置或向目標(biāo)位置移動(dòng)用的矢量信息(移動(dòng)方向、移動(dòng)速度等)等。例如鼠標(biāo)、輸入板等適于位置設(shè)定，操縱桿等適于矢量的設(shè)定。此外，可以單獨(dú)或組合利用。另外，在進(jìn)行這些指示的輸入裝置中，通過(guò)組合生成對(duì)應(yīng)于驅(qū)動(dòng)系統(tǒng)所受的反作用力的信號(hào)的機(jī)構(gòu)，能夠向操作者反饋動(dòng)作。
本發(fā)明在反饋控制系統(tǒng)方面不限于反饋環(huán)的構(gòu)成?？梢允菍?duì)控制對(duì)象利用單一控制信號(hào)的單環(huán)路，也可以是利用多種控制信號(hào)的多環(huán)路。例如，操作者通過(guò)手動(dòng)加入指示信號(hào)，能夠構(gòu)成使所述圖像傳感器算出的位置信息多重歸還的反饋控制系統(tǒng)。在這種構(gòu)成中，操作者隨著時(shí)間的變化任意設(shè)定目標(biāo)位置，能夠盡早進(jìn)行穩(wěn)定跟蹤的控制。
圖17是基于預(yù)先記錄的畫(huà)面數(shù)據(jù)進(jìn)行控制的裝置構(gòu)成。進(jìn)行記錄畫(huà)面數(shù)據(jù)和從圖像傳感器輸入的畫(huà)面數(shù)據(jù)的相關(guān)演算，因而算出相關(guān)度最高的場(chǎng)所作為目標(biāo)位置。作為算出結(jié)果的目標(biāo)位置不僅能夠作為控制對(duì)象的控制信號(hào)利用，還能夠作為檢測(cè)結(jié)果向操作者進(jìn)行提示。
在圖像傳感器的視野范圍小時(shí)，可附加能使傳感器的視野角度在環(huán)境內(nèi)掃描的檢索程序。具體而言，通過(guò)使圖像傳感器的頭部擺動(dòng)，便可變?yōu)槿秶呐臄z。在相關(guān)的演算中，在檢測(cè)出成為匹配候選的相關(guān)性時(shí)，因具有向操作者提示該畫(huà)面位置為候選的手段而能夠提高操作性。例如顯示裝置方面，能夠在顯示畫(huà)面中用點(diǎn)、光標(biāo)、閃爍等簽字來(lái)顯示候選場(chǎng)所的位置。
當(dāng)然也可通過(guò)組合操作者的手動(dòng)操作來(lái)提高檢測(cè)的精度。
本發(fā)明不限定圖像傳感器的個(gè)數(shù)。例如圖18所示，可具有多個(gè)照相機(jī)。它具有擴(kuò)大圖像傳感器的視野范圍、檢測(cè)三元位置、縮短拍攝時(shí)間、縮短環(huán)境內(nèi)的掃描時(shí)間的優(yōu)點(diǎn)。具體而言，VGA(640×480像素)尺寸的圖像傳感器，一邊是數(shù)毫米大小，而且多數(shù)成本低，所以在構(gòu)成裝置方面不存在問(wèn)題，反而所述優(yōu)點(diǎn)更突出。
如圖19所示，來(lái)自多個(gè)圖像傳感器的輸入通過(guò)根據(jù)開(kāi)關(guān)回路的切換，能夠簡(jiǎn)單地構(gòu)成處理裝置。為了使用來(lái)自不同視點(diǎn)的多個(gè)圖像數(shù)據(jù)，在利用數(shù)字照相機(jī)等作為能夠控制空間上的位置設(shè)定的圖像傳感器時(shí)，因?yàn)榘l(fā)生了由透鏡系統(tǒng)等引起的圖像畸變，所以要對(duì)這些圖像畸變加以補(bǔ)正后再使用。在此，對(duì)此處的畸變的補(bǔ)正的方法和手段不加以限定。
如圖20所示的作為一個(gè)例子的具有圖像傳感器的多軸機(jī)械手，能夠在空間上以多個(gè)自由度移動(dòng)的場(chǎng)合內(nèi)，能夠控制向任意位置的移動(dòng)。雖然以往多利用旋轉(zhuǎn)編碼器等控制回轉(zhuǎn)角度，但根據(jù)本發(fā)明能夠利用由圖像傳感器輸入的位置信息，所以能夠利用圖像數(shù)據(jù)進(jìn)行直至達(dá)到目標(biāo)位置的控制。另外，在本發(fā)明中，使用來(lái)自圖像傳感器的圖像數(shù)據(jù)，能夠檢測(cè)出到達(dá)目標(biāo)位置的途中軌跡的障礙物，因此，通過(guò)配置回避該障礙物的控制裝置，能夠輔助多自由度系統(tǒng)的控制。
另外，作為擴(kuò)大圖像傳感器的視野范圍的辦法，可利用圖像傳感器的掃描。如圖21所示，對(duì)環(huán)境而言，如果圖像傳感器的視野范圍窄，可通過(guò)移動(dòng)拍攝方向輸入全部圖像數(shù)據(jù)。使用所述位置信息檢測(cè)裝置從該輸入圖像數(shù)據(jù)檢測(cè)視野位置，并通過(guò)在畫(huà)面再構(gòu)成裝置中合成輸入畫(huà)面，便能夠?qū)τ脝我坏膱D像傳感器無(wú)法輸入的視野范圍制成圖像數(shù)據(jù)。合成結(jié)果可在存儲(chǔ)器準(zhǔn)備的虛擬視野范圍(存儲(chǔ)器畫(huà)面)中寫(xiě)入。因此，操作者能夠從存儲(chǔ)器中讀出目標(biāo)位置的周?chē)膱D像數(shù)據(jù)，并在顯示裝置中顯示。
另外，可利用畫(huà)面的滾動(dòng)功能，一邊任意滾動(dòng)存儲(chǔ)器上的合成畫(huà)面，一邊設(shè)定目標(biāo)位置，生成對(duì)應(yīng)于該目標(biāo)位置的控制對(duì)象的控制信號(hào)。
圖像傳感器的掃描，可通過(guò)使用電機(jī)驅(qū)動(dòng)系統(tǒng)來(lái)使傳感器本身實(shí)現(xiàn)頭部擺動(dòng)的運(yùn)動(dòng)。或者通過(guò)所述的多個(gè)圖像傳感器的組合來(lái)實(shí)現(xiàn)和掃描等價(jià)的效果。另外，也能夠在所述存儲(chǔ)器畫(huà)面上進(jìn)行預(yù)先記錄的畫(huà)面數(shù)據(jù)的相關(guān)演算。能夠進(jìn)行全部畫(huà)面的候選點(diǎn)的檢測(cè)及顯示。
下面，使用圖28來(lái)表示應(yīng)用于拍攝機(jī)、數(shù)字照相機(jī)的本發(fā)明的一個(gè)例子。圖28表示整體構(gòu)成。用圖像傳感器906拍攝的圖像通過(guò)接口905顯示在由液晶驅(qū)動(dòng)器903、LCD904構(gòu)成的顯示部上。拍攝機(jī)和數(shù)字照相機(jī)的用戶(hù)根據(jù)顯示所取場(chǎng)景按下拍攝指示按鈕3005，來(lái)自圖像傳感器906的圖像就存儲(chǔ)在存儲(chǔ)部908中。這是與現(xiàn)有裝置相同的動(dòng)作。在這里，停止拍攝指示按鈕3005的按下時(shí)，跟蹤處理部909動(dòng)作，跟蹤來(lái)自圖像傳感器906的圖像，計(jì)算坐標(biāo)、在文字別部3001進(jìn)行文字識(shí)別。也就是就，用戶(hù)在想取的圖像處按下拍攝指示按鈕后，通過(guò)啟動(dòng)照相機(jī)，就能輸入作為對(duì)應(yīng)于所取圖像的特征的文字。該文字特征通過(guò)附加部3002附加于圖像中，并存儲(chǔ)在記憶部908中，之后，當(dāng)檢索所需的圖像時(shí)，能提高效率。該輸入文字通過(guò)使用美國(guó)3COM公司提倡的GRAFITY文字，能用一個(gè)筆畫(huà)輸入字母表，具有使識(shí)別處理簡(jiǎn)單的優(yōu)點(diǎn)。另外，作為文字輸入的時(shí)機(jī)，如果僅限定在圖像輸入之后，由于在輸入連續(xù)圖像時(shí)可能發(fā)生時(shí)間的損失，所以也可另外設(shè)置文字輸入按鈕，使圖像輸入指示與文字輸入的切換變?yōu)榭赡堋?br> 另外，這里所說(shuō)的環(huán)境不限于固定的四邊形的房屋，也可以是室外風(fēng)景畫(huà)面中的環(huán)境、洞窟等周?chē)忾]的環(huán)境，隨時(shí)間變化的不定形的環(huán)境等。
根據(jù)本發(fā)明，可以顯示和存儲(chǔ)輸入的圖像、不必新附加鼠標(biāo)和輸入板就能夠進(jìn)行手寫(xiě)文字和圖形的輸入。
另外，在操縱器的頭部安裝圖像傳感器的情況下，對(duì)應(yīng)于動(dòng)作指令，反饋從圖像傳感器求得的移動(dòng)信息，從而能夠改善對(duì)于操縱器的指令值的動(dòng)作的跟蹤性能。
權(quán)利要求
1.一種具有圖像傳感器的電子設(shè)備，其特征在于，具有輸出由所述圖像傳感器拍攝的圖像的裝置，和通過(guò)處理由所述圖像傳感器拍攝的圖像來(lái)計(jì)算圖像傳感器的移動(dòng)信息的裝置。
2.如權(quán)利要求1所述的電子設(shè)備，其特征在于利用計(jì)算的移動(dòng)信息進(jìn)行定點(diǎn)用光標(biāo)的控制。
3.如權(quán)利要求1所述的電子設(shè)備，其特征在于利用計(jì)算的移動(dòng)信息進(jìn)行圖形輸入用光標(biāo)的控制。
4.如權(quán)利要求1所述的電子設(shè)備，其特征在于利用計(jì)算的移動(dòng)信息進(jìn)行傳感器的鑒別。
5.如權(quán)利要求1所述的電子設(shè)備，其特征在于利用計(jì)算的移動(dòng)信息進(jìn)行操縱器的控制。
6.如權(quán)利要求2所述的電子設(shè)備，其特征在于根據(jù)與按鈕的聯(lián)動(dòng)，進(jìn)行點(diǎn)擊、雙擊、拖動(dòng)的控制。
7.如權(quán)利要求2所述的電子設(shè)備，其特征在于根據(jù)與聲音的聯(lián)動(dòng)，進(jìn)行點(diǎn)擊、雙擊、拖動(dòng)的控制。
8.如權(quán)利要求2所述的電子設(shè)備，其特征在于根據(jù)與拍攝圖像狀態(tài)的聯(lián)動(dòng)，進(jìn)行點(diǎn)擊、雙擊、拖動(dòng)的控制。
9.如權(quán)利要求3所述的電子設(shè)備，其特征在于根據(jù)與按鈕的聯(lián)動(dòng)，進(jìn)行筆提起、筆落下的控制。
10.如權(quán)利要求3所述的電子設(shè)備，其特征在于根據(jù)與聲音的聯(lián)動(dòng)，進(jìn)行筆提起、筆落下的控制。
11.如權(quán)利要求3所述的電子設(shè)備，其特征在于根據(jù)與拍攝的圖像的狀態(tài)的聯(lián)動(dòng)，進(jìn)行筆提起、筆落下的控制。
12.如權(quán)利要求3所述的電子設(shè)備，其特征在于利用輸入的圖形信息進(jìn)行文字識(shí)別。
13.如權(quán)利要求1所述的電子設(shè)備，其特征在于預(yù)先拍攝對(duì)應(yīng)于絕對(duì)坐標(biāo)信息的對(duì)象物，通過(guò)求出所述絕對(duì)坐標(biāo)信息來(lái)計(jì)算移動(dòng)信息。
14.如權(quán)利要求1所述的電子設(shè)備，其特征在于通過(guò)進(jìn)行連續(xù)拍攝的圖像的對(duì)應(yīng)點(diǎn)的計(jì)算來(lái)計(jì)算移動(dòng)信息。
15.如權(quán)利要求14所述的電子設(shè)備，其特征在于在連續(xù)拍攝的圖像內(nèi)，對(duì)一個(gè)圖像中央附近的部分圖像從另一個(gè)圖像的更大的部分圖像中進(jìn)行檢索，以此作對(duì)應(yīng)點(diǎn)計(jì)算。
16.如權(quán)利要求14所述的電子設(shè)備，其特征在于在連續(xù)拍攝的圖像內(nèi)，對(duì)一個(gè)圖像的特征多的部分圖像從另一個(gè)圖像的更大的部分圖像中進(jìn)行檢索，以此作對(duì)應(yīng)點(diǎn)計(jì)算。
17.如權(quán)利要求14所述的電子設(shè)備，其特征在于根據(jù)不受照明變動(dòng)影響的相關(guān)演算，進(jìn)行對(duì)應(yīng)點(diǎn)的計(jì)算。
18.如權(quán)利要求17所述的電子設(shè)備，其特征在于作為不受照明變動(dòng)影響的相關(guān)演算，進(jìn)行標(biāo)準(zhǔn)化的相互相關(guān)。
19.如權(quán)利要求17所述的電子設(shè)備，其特征在于作為不受照明變動(dòng)影響的相關(guān)演算，進(jìn)行抽出高頻成分后的一般化Hough變換。
20.如權(quán)利要求14所述的電子設(shè)備，其特征在于對(duì)應(yīng)于求得的圖像的回轉(zhuǎn)信息，補(bǔ)正移動(dòng)信息。
21.如權(quán)利要求1所述的電子設(shè)備，其特征在于還具有加速度傳感器，對(duì)應(yīng)于從所述加速度傳感器輸出的信息，補(bǔ)正移動(dòng)信息。
22.如權(quán)利要求1所述的電子設(shè)備，其特征在于在輸出由所述圖像傳感器拍攝的圖像時(shí)以及在計(jì)算移動(dòng)信息時(shí)，變更所述圖像傳感器的掃描條件。
23.如權(quán)利要求22所述的電子設(shè)備，其特征在于所述圖像傳感器的掃描條件為掃描速度。
24.如權(quán)利要求22所述的電子設(shè)備，其特征在于所述圖像傳感器的掃描條件為掃描區(qū)域。
25.如權(quán)利要求1所述的電子設(shè)備，其特征在于通過(guò)移動(dòng)電子設(shè)備機(jī)身，計(jì)算所述電子設(shè)備的移動(dòng)信息。
26.一種具有圖像傳感器的電子設(shè)備，其特征在于具有輸出由所述圖像傳感器拍攝的圖像的裝置，和通過(guò)處理由所述圖像傳感器拍攝的圖像，計(jì)算所述圖像傳感器的被攝物的移動(dòng)信息的裝置。
27.如權(quán)利要求26所述的電子設(shè)備，其特征在于利用計(jì)算的移動(dòng)信息進(jìn)行定點(diǎn)用光標(biāo)的控制。
28.如權(quán)利要求26所述的電子設(shè)備，其特征在于利用計(jì)算的移動(dòng)信息進(jìn)行圖形輸入用光標(biāo)的控制。
29.如權(quán)利要求26所述的電子設(shè)備，其特征在于利用計(jì)算的移動(dòng)信息進(jìn)行傳感器的鑒別。
30.如權(quán)利要求26所述的電子設(shè)備，其特征在于利用計(jì)算的移動(dòng)信息進(jìn)行操縱器的控制。
31.如權(quán)利要求27所述的電子設(shè)備，其特征在于根據(jù)與按鈕的聯(lián)動(dòng)，進(jìn)行點(diǎn)擊、雙擊、拖動(dòng)的控制。
32.如權(quán)利要求27所述的電子設(shè)備，其特征在于根據(jù)與聲音的聯(lián)動(dòng)，進(jìn)行點(diǎn)擊、雙擊、拖動(dòng)的控制。
33.如權(quán)利要求27所述的電子設(shè)備，其特征在于根據(jù)與拍攝圖像狀態(tài)的聯(lián)動(dòng)，進(jìn)行點(diǎn)擊、雙擊、拖動(dòng)的控制。
34.如權(quán)利要求28所述的電子設(shè)備，其特征在于根據(jù)與按鈕的聯(lián)動(dòng)，進(jìn)行筆提起、筆落下的控制。
35.如權(quán)利要求28所述的電子設(shè)備，其特征在于根據(jù)與聲音的聯(lián)動(dòng)，進(jìn)行筆提起、筆落下的控制。
36.如權(quán)利要求28所述的電子設(shè)備，其特征在于根據(jù)與拍攝的圖像的狀態(tài)的聯(lián)動(dòng)，進(jìn)行筆提起、筆落下的控制。
37.如權(quán)利要求28所述的電子設(shè)備，其特征在于利用輸入的圖形信息進(jìn)行文字識(shí)別。
38.如權(quán)利要求26所述的電子設(shè)備，其特征在于從連續(xù)拍攝的圖像中抽出作為對(duì)象的被攝物，通過(guò)對(duì)所述被抽出的被攝物作對(duì)應(yīng)點(diǎn)計(jì)算來(lái)計(jì)算移動(dòng)信息。
39.如權(quán)利要求26所述的電子設(shè)備，其特征在于預(yù)先設(shè)定作為對(duì)象的被攝物的特征。
40.如權(quán)利要求26所述的電子設(shè)備，其特征在于在輸出由所述圖像傳感器拍攝的圖像時(shí)以及在計(jì)算移動(dòng)信息時(shí)，變更所述圖像傳感器的掃描條件。
41.如權(quán)利要求40所述的電子設(shè)備，其特征在于所述圖像傳感器掃描條件為掃描速度。
42.如權(quán)利要求40所述的電子設(shè)備，其特征在于所述圖像傳感器掃描條件為掃描區(qū)域。
43.如權(quán)利要求26所述的電子設(shè)備，其特征在于通過(guò)在所述圖像傳感器的視野內(nèi)移動(dòng)第三物體，計(jì)算該第三物體的移動(dòng)信息。
44.一種電子設(shè)備，具有圖像傳感器、顯示由所述圖像傳感器拍攝的圖像的顯示部和存儲(chǔ)由所述顯示部顯示的信息的存儲(chǔ)部，其特征在于對(duì)由所述圖像傳感器拍攝的圖像的移動(dòng)信息進(jìn)行文字識(shí)別，將所述識(shí)別結(jié)果作為屬性附加到拍攝的圖像的手段。
45.如權(quán)利要求44所述的電子設(shè)備，其特征在于使用表達(dá)英文數(shù)字的符號(hào)作為屬性。
46.如權(quán)利要求45所述的電子設(shè)備，其特征在于將屬性作為表達(dá)1個(gè)字符的英文數(shù)字的符號(hào)而使用Grafity字符。
47.如權(quán)利要求44所述的一種電子設(shè)備，其特征在于具有切換拍攝圖像的方式和輸入記號(hào)的方式的按鈕。
48.如權(quán)利要求47所述的一種電子設(shè)備，其特征在于具有指示圖像拍攝的按鈕、和在解除所述指示圖像輸入的按鈕時(shí)，在預(yù)先設(shè)定的一定時(shí)間內(nèi)切換為輸入記號(hào)的方式的裝置。
全文摘要
一種能夠顯示并存儲(chǔ)輸入圖象的電子設(shè)備,輸出由圖像傳感器拍攝的圖像,使用能夠根據(jù)在位置信息檢測(cè)裝置處理的由圖像傳感器拍攝的圖像來(lái)計(jì)算圖像傳感器本身或圖像傳感器拍攝的被攝物的移動(dòng)信息的圖像傳感器、不必新增加鼠標(biāo)和輸入板,能夠輸入手寫(xiě)文字和圖形。
文檔編號(hào)G06F3/033GK1361466SQ01117048
公開(kāi)日2002年7月31日 申請(qǐng)日期2001年2月28日 優(yōu)先權(quán)日2000年12月25日
發(fā)明者池田光二, 犬塚達(dá)基, 葛貫壯四郎, 中島啟介, 藤井健二郎 申請(qǐng)人:株式會(huì)社日立制作所