專利名稱：用具，廚房和住宅的控制的制作方法
用具，廚房和住宅的控制
本申請要求2008年5月20日提交的美國臨時申請61/0 , 643，Meal Preparation and Appliance Control 的權(quán)益。
本申請是發(fā)明人的共同未決申請12/358404(申請日為2009年1月23日)； 11/980722(申請日 2007 年 10 月 31 日)；11/980721(申請日 2007 年 10 月 31 日)； 11/980710(申請日 2007 年 10 月 31 日)；11/8321；34(申請日 2007 年 8 月 1 日)； 11/272868(申請日2005年11月15日)；11/045131(申請日2005年1月31日)；和 10/934762(申請日2004年9月7日)的部分繼續(xù)申請，這些申請的公開內(nèi)容在此引為參考。
本申請還涉及發(fā)明人的共同未決申請11/980718(申請日2007年10月31 日)；11/980715(申請日2007年10月31日)；11/85洸90(申請日2007年9月10 日)；11/495666(申請日 2006 年 7 月 31 日)；11/439442(申請日 2006 年 5 月 M 日)；11/376158(申請日2006年3月16日)；11/3712M(申請日2006年3月9日)； 11/349350(申請日 2006 年 2 月 8 日)；11/319807(申請日 2005 年 12 月 29 日)； 11/272868(申請日2005年11月15日)；11/186898(申請日2005年7月22日)；和 10/893534(申請日2004年7月19日)，這些申請的公開內(nèi)容在此引為參考。技術(shù)領(lǐng)域
公開的本發(fā)明涉及住宅(home)中的用具的控制的領(lǐng)域，并且涉及用具還與音頻系統(tǒng)和因特網(wǎng)資源的聯(lián)網(wǎng)和連通性，以及這些元件以連接方式的集成。優(yōu)選的設(shè)備通常采用視頻投影系統(tǒng)和一部或多部TV攝像機(jī)。本發(fā)明的實施例可用于增強(qiáng)廚房中的人的社會互動和樂趣，并且減少食物準(zhǔn)備的工作量。本發(fā)明可以用在房屋中的多間房間中，并且有助于房屋中的老年人和其它人保持良好狀態(tài)。
背景技術(shù)：
文獻(xiàn)中已存在大量的家庭自動化、“數(shù)字家庭”和相關(guān)主題的討論、尤其是關(guān)于可以聯(lián)網(wǎng)在一起的娛樂系統(tǒng)(例如TV，游戲程序，音頻系統(tǒng))的討論，但是這些幾乎沒有商用。 在一些情況下，各個公司為了區(qū)別其產(chǎn)品而添加的特征實際上使得用具更難以使用。在本發(fā)明人的相關(guān)的共同未決的申請中尤其是在車輛環(huán)境的上下文中已經(jīng)討論了使用的困難性的問題，不過這里存在許多相似性。例如，需要能夠由各種用戶操作。另一個例子是有時在住宅中、尤其是在廚房中存在的既有壓力又分心的情形。
另外，許多家庭中父母雙方有一方工作，或者雙方都工作，從而需要以即時而無差錯的方式以及減小壓力的方式幫助廚房中的人烹調(diào)出新的健康的、但不熟悉的菜肴。于是， 存在相關(guān)聯(lián)的能夠容易地測量液體或粒狀材料的體積、重量、面積或尺寸和其它變量以在菜肴中加入所需的量的需要。
發(fā)明人相信需要提供廚房中的新方法和設(shè)備，所述新方法和設(shè)備可允許從發(fā)生大量的家庭活動的中央位置有效地控制住宅中的各項服務(wù)。還需要減少廚房中的不必要的重復(fù)勞動。另外，在廚房中需要最大限度地利用空間，在櫥柜空間有限的某些國家中尤其如此。
還需要可提高家用系統(tǒng)、尤其是烤箱和爐灶(range)的操作的安全性的設(shè)備。并且，需要確保家中的老年人和殘疾人通常保持狀態(tài)良好的新方法。對于視力受損或者承受壓力的人來說，還需要更易于看見、更易于操作和不易搞得心煩意亂的控制。發(fā)明內(nèi)容
本發(fā)明涉及發(fā)明人的若干共同未決的申請和在先專利，它們描述了一種新形式的 RTD控制表面，該RTD控制表面目的在于滿足上述需要，提供大量的能夠使廚房和房屋工作容易的新增功能，同時使用戶可以在做家務(wù)時進(jìn)行網(wǎng)絡(luò)購物，網(wǎng)絡(luò)社交等等。
本發(fā)明包括包含在眾多實施例中的許多新方法和設(shè)備。在一個優(yōu)選的背面投影實施例中，通常基于背面投影的并且通常是平的大屏幕位于柜臺(例如，廚柜)或用具的頂部。屏幕的各個部分可以是彎曲的，例如在工作臺面或爐灶的后擋板向上彎曲。類似于發(fā)明人的其它待審申請中的許多車輛實施例，屏幕的形狀可以為不規(guī)則形狀，以卷繞住宅中的固定物品，比如爐灶燃燒器，燃?xì)饪刂菩o，水龍頭，或者其他公共事業(yè)的產(chǎn)品。希望的是， 屏幕也可被取下以便清潔，這在屏幕表面包含會積留碎屑的作為觸摸基準(zhǔn)的壓痕或者浮凸元件或者其它形狀的情況下尤其有幫助。
本發(fā)明優(yōu)選地利用機(jī)器視覺來查看各種控制元件(諸如旋鈕或滑動器或開關(guān))的位置。照相機(jī)圖像或其它光電獲得的信號的這種機(jī)器視覺處理還能夠查看用戶的手和手指的動作，而且還能夠查看用戶在進(jìn)行各項作業(yè)(比如揉面，切割肉排之類)方面的動作。本發(fā)明還可以可選地采用機(jī)器視覺或其它光電技術(shù)來確定重量和度量，從而極大地幫助和簡化廚房中的工作。
如在發(fā)明人的引用的申請中公開的，與適當(dāng)?shù)挠嬎銠C(jī)軟件耦合的機(jī)器視覺感測還能夠確定人在空間中做出的手勢(gesture)命令，能夠確定人或者他們所處理的物體的各種特征，或者在一些情況下確定他們的移動和動作。在下面的實施例中也將公開本發(fā)明的許多其它的與機(jī)器視覺有關(guān)的特征。
在本發(fā)明的一個實施例中，照相機(jī)和機(jī)器視覺系統(tǒng)用于確保灶臺(range top)操作的安全，并且使得能夠安全地控制攪拌機(jī)器人或其它設(shè)備。尤其是背面投影形式的本發(fā)明考慮到了生動的風(fēng)格。任何形狀，以及任何圖案或顏色如你所愿地投影到工作表面屏幕上。也可以采用可互換的形狀和功能。所述屏幕和控制表面不僅能夠被結(jié)合到柜臺中，而且可被結(jié)合到洗衣機(jī)、干衣機(jī)和爐灶的頂部中。就工作表面/屏幕來說，可以彎曲所述工作表面/屏幕，以例如在側(cè)面或背面等將其打掃干凈。該表面可以位于水或熱附近，因為就基于投影的本發(fā)明來說，投影和感測電子組件通常位于較遠(yuǎn)的位置。如發(fā)明人在在先申請和這里所述，這使它們能夠被放置在浴室中，灶臺上等等。
這里進(jìn)一步公開的基本思想涉及位于廚房的設(shè)備，該設(shè)備充當(dāng)住宅及其用具的控制中心，本發(fā)明可以是位于工作臺面的顯示器，或者如另外公開的那樣，是投影到柜臺、用具的頂部或者諸如可在冰箱門上的垂直面上的顯示。它可以是多個用具和功能的控制中心和/或作為用于信息、家庭聯(lián)網(wǎng)/自動化、連通性和食物準(zhǔn)備的獨立單元。本發(fā)明允許進(jìn)行在別處不知曉存在的其他新功能和控制的重新配置，同時變得日益負(fù)擔(dān)得起。
關(guān)鍵特征(比如可重新配置的直觀而可觸摸的控件，或者虛擬模擬的真實控件 (諸如旋鈕或開關(guān)))可單獨地或組合地用于控制住宅中的所有用具，還包括HVAC，音響系統(tǒng)等。因而，學(xué)習(xí)曲線被縮短或消除，因為甚至能夠把現(xiàn)有的用具控件布局映射到屏幕上-針對單一用戶的情況經(jīng)濟(jì)并且有效地定制系統(tǒng)。另外，如果這樣的技術(shù)被用在車輛中， 如期望的那樣，存在住宅和汽車之間具有公共人機(jī)控制系統(tǒng)的可能性。
本發(fā)明的可選的并且獨特的食物準(zhǔn)備中心方面可以可選地包含供水服務(wù)或烹飪服務(wù)。食物準(zhǔn)備工作面還充當(dāng)投影屏幕，在所述投影屏幕上能夠感測多個物品，比如放在上面的人的雙手和手指。諸如液面，面積，體積，切割指令和重量，也可獲得獨特的測量和指導(dǎo)能力。結(jié)合例如從網(wǎng)絡(luò)下載的菜譜，這些測量可以自動進(jìn)行并且利用任何語言用任何單位記錄。
該設(shè)備可補(bǔ)充/替換常規(guī)的爐臺和/或水槽。在一種形式中，可以說是“在屏幕上烹飪”。供水服務(wù)方面允許把設(shè)備的影響范圍延伸到例如水槽、浴室和洗衣盆。并且，該單元還可充當(dāng)書寫或者留下便條、排列照片等的計算機(jī)化桌面。本發(fā)明能夠充當(dāng)娛樂系統(tǒng)， 結(jié)果TV圖像和聲音能夠在島狀案臺(island)、柜臺或其它位置上顯示，也能夠在因特網(wǎng)網(wǎng)站，相冊和其它東西上顯示。
利用本發(fā)明，工作中的母親例如可在爐灶上攪拌某些東西的同時進(jìn)行通常的因特網(wǎng)事務(wù)(比如購物)，該操作也可使用本發(fā)明自動操作。屏幕和爐臺實際上可以共存。另外，她不必尋找量杯和勺子，因為在一種可選的配置中這都由該設(shè)備完成。她也不必轉(zhuǎn)換單位?？傊?，在目的是烹調(diào)美味、健康的膳食的情況下，提供了一個真正的省時設(shè)備。
本發(fā)明還是家中的用具、HVAC和電子系統(tǒng)的控制系統(tǒng)，并且當(dāng)被適當(dāng)配置時可以是其它地方(比如工廠，小型商店等)中的用具、HVAC和電子系統(tǒng)的控制系統(tǒng)。對優(yōu)選實施例來說基本的是約150流明的投影儀/傳感器模塊，它把文本或圖形投影到致冷器(這里也稱為冰箱)、洗碗機(jī)、爐灶、洗衣機(jī)或干衣機(jī)的頂面或正面上，并且可選地利用傳感能力感測該頂面或正面上的活動。根據(jù)需要，該投影儀/傳感器模塊將附帶該表面和光學(xué)組件一起出售。在另一種形式下，對書桌或餐桌同樣如此。一些應(yīng)用能夠利用預(yù)定用于蜂窩電話機(jī)的低功率/低成本投影儀(例如，15-35流明)。甚至可以利用基于計算機(jī)的智能蜂窩電話機(jī)(帶或不帶這樣的投影儀)來控制用具或系統(tǒng)本身。
如希望的，投影儀/傳感器模塊結(jié)合驅(qū)動圖形、判讀輸入并且連接到I/O的計算機(jī)一起使用。投影儀/傳感器模塊還可用于利用機(jī)器視覺進(jìn)行食物的測量，并且與因特網(wǎng)及其它數(shù)據(jù)和通信實用工具連接。
本發(fā)明的一個實施例采用典型地被正面投影的實物大小的屏幕投影以節(jié)省空間， 并且還可提供用于與顯示的投影圖像互動的基于機(jī)器視覺的裝置。可以采用2D攝像機(jī)(比如網(wǎng)絡(luò)攝像機(jī))和/或3D攝像機(jī)(例如Canesta Corporation的3D攝像機(jī))可被用作這種機(jī)器視覺處理的輸入。用于互動的裝置可以利用人的雙手的前端或者其它身體部位，或者可以借助在廚房中進(jìn)行活動時人所處理的事物。在一個實施例中，機(jī)器視覺可用于進(jìn)一步確定廚房中的一個或多個人的移動、動作、身份或其它特性。雖然這也可適當(dāng)?shù)赜迷谄渌块g中，不過廚房被認(rèn)為是可能希望這種交互性的主要場所。
本發(fā)明的一些形式利用背面投影，而其它則利用正面投影來顯示圖像。在一些情況下，如另外在共同未決申請中教導(dǎo)的那樣，也可利用更常規(guī)的平板顯示器(諸如LCD或OLEO顯示器)。
本發(fā)明的一個目的是測量、幫助和通知，例如向用戶提供飲食建議，包括在組合的屏幕和工作表面上的所測量的材料的卡路里含量的計算。另外，本發(fā)明的一個目的是從數(shù)據(jù)存儲器(本地的或者因特網(wǎng)上的)提供烹飪或其它準(zhǔn)備建議，包括在哪里可行的對于烹飪操作(例如，烘焙)的這種信息的自動傳送。
本發(fā)明的另一個目的是根據(jù)確定的材料廣度(material extent)來提供成形或切割建議，該材料廣度可用于計算近似的度量。
本發(fā)明的又一個目的是提供一種從公共控制面板控制家中或者其它場所中的多個用具的方法和設(shè)備，在該公共控制面板中設(shè)置了模擬各個設(shè)備的實際控件的虛擬控件。
本發(fā)明的又一個目的是提供一種新型系統(tǒng)，除了主要關(guān)注的廚房中的活動之外， 該新型系統(tǒng)還幫助在家中的老年人，部分失明的人和其它殘疾人。
本發(fā)明的一個目的是提供易于清潔的顯示器和工作表面。
本發(fā)明的又一個目的是公開了用于降低用具成本并且改進(jìn)用戶的人機(jī)界面 (human interface)的方法和設(shè)備。
本發(fā)明的一個目的是提高廚房設(shè)備和家中的其它設(shè)備的操作安全性。
本發(fā)明的一個目的是增強(qiáng)烹飪和廚房活動以及其它活動的社會性。本發(fā)明將食物準(zhǔn)備空間與顯示、測量和互動空間相組合，并且還提供各種控制功能，這些都以使用有趣并且有益的方式實行。
本發(fā)明的又一個目的是提供一種用于圖像的控制和其它功能的自由空間手勢方法。
本發(fā)明的一個目的是安全地提供某些食物準(zhǔn)備家務(wù)的機(jī)器人操作。
本發(fā)明的其它特征和優(yōu)點將在下面的本發(fā)明的優(yōu)選實施例的詳細(xì)說明中陳述，或者根據(jù)該詳細(xì)說明是清晰的。


圖Ia用側(cè)視圖示出本發(fā)明的位于島狀或半島狀案臺的臺面的實施例，包括和控制系統(tǒng)一起工作的可洗、可更換和可互換的工作板和顯示表面。
圖Ib示出具有添加的部件(feature)(諸如一體化水槽和爐灶燃燒器)的一種形式的島狀案臺的透視圖。
圖Ic示出工作板，該工作板具有部分彎曲的表面、投影的鍵盤、在一個或多個期望位置的浮凸部件、以及因特網(wǎng)顯示器，以允許在烹飪或進(jìn)行其它活動的同時在線購物。
圖Id示出工作板作為砧板的使用。
圖加示出采用普通的、直觀的物理控制零件的本發(fā)明的可重新配置的控制和顯示部件。
圖2b示出其操作利用旋轉(zhuǎn)、開合和其它觸摸命令的外部音頻系統(tǒng)的虛擬映射控制面板。
圖2c示出用于加熱和空調(diào)服務(wù)的虛擬控制面板。
圖3示出具有形成工作面的保護(hù)蓋的IXD感測顯示器。
圖如示出從工作面上方的信息投影和感測。
圖4b是附加的天花板實施例。
圖fe示出用具控制面板實施例。
圖5b示出可替換的顯示和控制面。
圖6a示出低成本控制實施例。
圖6b示出向圖6a的設(shè)備提供被照明的控制標(biāo)志的一種方法。
圖6c示出采用在傾斜角度處的小型投影儀的組合洗衣機(jī)和干衣機(jī)顯示器和控件的重新配置。
圖7a示出本發(fā)明的可用于測量容器中的液面和指導(dǎo)用戶的一個實施例。
圖7b示出本發(fā)明的可用于測量容器中的液面的可替代的實施例。
圖8示出利用具有傾斜側(cè)壁的特殊容器的從屏幕和工作面上方或下方的液面測量。
圖9a，9b示出具有直接稱重能力的工作板。
圖10示出本發(fā)明的浴室水槽。
圖11示出本發(fā)明的向下翻轉(zhuǎn)書房書桌實施例，還示出類似于圖2的壁裝式控制
圖12a示出和本發(fā)明一起使用的手指手勢輸入。
圖12b示出住宅平面圖和狀態(tài)的顯示。
圖12c表示利用其右手食指觸摸烤箱的虛擬圖形的人。
圖13示出通過監(jiān)測移動、位置和藥物攝取來幫助在家中安全生活的實施例。
圖14示出本發(fā)明的在抽油煙機(jī)中使用一部或多部攝像機(jī)用于爐灶控制功能和機(jī)器人控制的實施例。
圖15示出圖加的一種形式，其中蜂窩電話機(jī)的屏幕圖像被直接映射到工作面上， 并且通過觸摸工作面或操作控件來直接控制該電話機(jī)及其功能。
圖16進(jìn)一步示出與圖14的設(shè)備相關(guān)的感測技術(shù)。
圖17a示出用于爐子控制和因特網(wǎng)連接的背面投影實施例。
圖18a是包括廚房中的一個或多個人的特性或動作的感測的正面投影實施例。
圖18b是面向冰箱的正視圖。
圖18c是另一個冰箱實施例，其中屏幕在冷凍室下置型冰箱的主要冰箱門上，從而允許在冰箱門上顯示類似完全長度的基本逼真的圖像。
圖19示出在廚房、浴室、洗衣房或人可能在該處工作的其它場所中的水槽之后的采用正面投影顯示的實施例。
圖20示出對于在爐灶后面的屏幕的微波安裝投影，其在底部具有彎曲下部。
圖21是聯(lián)網(wǎng)的用具和其它外圍接口的示圖，其中主控件(這種情況下，位于廚房廚柜中)中的軟件不僅與所述用具接口連接，而且控制該用具的操作細(xì)節(jié)。
圖22示出通過動態(tài)灌注的監(jiān)測的液體或材料交換的確定。
圖23示出本發(fā)明的具有常規(guī)旋鈕和開關(guān)的基于投影儀的汽車中控面板(center stack)或用具控制面板。
圖M是圖23中所示汽車中控面板的可替代的汽車中控面板。
具體實施方式
圖Ia示出本發(fā)明的位于島狀案臺的臺面的實施例，包括可洗的工作板和顯示面， 其中除了傳感之外，放置在該表面上的人的雙手或手指或者加工物體還被光電感測。另外， 還示出了還出于控制或其它目的所希望的物理控制零件(諸如旋鈕和開關(guān))的感測。
圖Ia利用側(cè)視圖示出本發(fā)明的廚房廚柜100，在此情況下該廚柜100在廚房的島狀案臺101中具有獨特的幫助食物準(zhǔn)備的能力。本發(fā)明利用在發(fā)明人的許多共同未決申請和專利中所示的RTD設(shè)備，并利用TV攝像機(jī)或其它光電傳感器和投影儀組合105(由計算機(jī)106控制)，在形成廚柜的一部分的諸如102的屏幕上投影，并且感測屏幕表面102上的例如人的雙手或手指或加工物體或食物或其它材料，如后所述，該屏幕表面102還可形成在其上可進(jìn)行廚房作業(yè)的工作板?？梢允褂迷诎l(fā)明人的在先申請中公開的關(guān)于攝像機(jī)， LED，投影儀等的所有布置。空間110用于示出在廚柜中可以可選地放置抽屜或洗碗機(jī)或烤箱的地方。
為了使靠近廚柜站立的人看到的圖像最大化，可以使用菲涅耳(Fresnel)透鏡或棱鏡屏幕來幫助把光導(dǎo)引到這些人。如果人只站立在廚柜的一側(cè)(如果廚柜貼著墻壁，那么情況通常就是這樣)，那么可以導(dǎo)引更多的光。
另外示出的是還出于控制或其它目的所希望的(例如，用于控制附近爐灶的溫度或時間的)諸如旋鈕120之類的物理控制零件的感測，所述爐灶通過網(wǎng)絡(luò)與計算機(jī)106互連，計算機(jī)106處理攝像機(jī)圖像或者來自屏幕和工作面的其它光學(xué)感測數(shù)據(jù)。
計算機(jī)106還驅(qū)動包含在105或其它視頻圖像顯示設(shè)備中的投影儀，以在工作板表面上顯示圖像(在這種情況下從背面)。如果希望的話，所述工作板可以位于洗碗機(jī)的頂部中，該洗碗機(jī)是獨立的或者嵌入廚柜中，并且工作板表面典型地但非必須地與臺面齊平。 還設(shè)置麥克風(fēng)121和揚(yáng)聲器122，以使能夠進(jìn)行來自和去往計算機(jī)的通信。與家中的其它用具和服務(wù)的和/或與因特網(wǎng)的無線或有線連接常常是所希望的(參見圖21)。
如在共同未決的申請中公開的那樣，本發(fā)明的攝像機(jī)或其它光電傳感器可感測用戶的手指(諸如手指118)或者其它身體部位(諸如其它手指或手)。這樣，輸入命令和動作也可被輸入計算機(jī)106。
另外，如在在先申請中所述，工作面可用相對于投影儀圖像和攝像機(jī)(或者利用的其它光電感測裝置)透射的材料構(gòu)成，使得手指位置、手的位置，和諸如一堆餅干或比薩面團(tuán)或其它物體(包括旋鈕120或其它物理控制零件)之類的物體可被感測并且在希望時被照明。作為本發(fā)明的一個主要特征，工作面可以被取下以便清潔。另外，在因在工作面上進(jìn)行切割等而損壞工作面的情況下，可以更換工作面。由于所有的光學(xué)感測和計算設(shè)備都在下面，因此它們能夠被諸如111之類的適當(dāng)窗口保護(hù)。當(dāng)不用于烹飪時，工作面可以用作顯示流行節(jié)目的TV圖像、或者從因特網(wǎng)下載的關(guān)于感興趣的食譜的數(shù)據(jù)或者其它所希望的信息的屏幕。
計算機(jī)典型地利用包括無線方法的已知手段連接到因特網(wǎng)，并且可用于把網(wǎng)絡(luò)上的信息顯示在工作板上，在所示情況下該工作板適當(dāng)?shù)厥峭该鞯模栽试S用戶和也在廚房中的其他人看見這樣的信息。計算機(jī)還可傳送利用攝像機(jī)獲得的或者借助麥克風(fēng)輸入的視頻或感測信息。這種因特網(wǎng)連接也有助于把本發(fā)明用作對于家庭成員、朋友和其它信息源的網(wǎng)絡(luò)社交的手段，該網(wǎng)絡(luò)社交可能是某人的食物準(zhǔn)備體驗的一部分。
利用包括在105中的傳感器(諸如TV攝像機(jī))和駐留在計算機(jī)106中的適當(dāng)機(jī)器視覺程序(諸如Matrox成像庫)，可測量在工作板上的物體(比如面團(tuán)115)在工作板的平面中的廣度X和Y。某些材料的此數(shù)據(jù)可用于近似體積，因為當(dāng)在水平方向達(dá)到一定廣度時材料一般地以典型的堆高放置。在一個例子中，通過把期望的堆廣度和形狀的圖像投影到工作面的屏幕上，計算機(jī)106中的程序指導(dǎo)用戶如何制成堆。
本發(fā)明的光電傳感器還可查看用于在工作板上加工材料的一些工具。例如，可以監(jiān)測用于輾軋面團(tuán)115的搟面杖移動(滾動)多遠(yuǎn)以及重復(fù)多少次。同一設(shè)備可查看其它加工物體，比如松肉錘。當(dāng)達(dá)到多次重復(fù)時能夠生成信號，或者其它這樣的信息。
作為上面所示設(shè)備的可替代方案，投影儀和/或攝像機(jī)可被安裝在天花板上。這是最靈活的布置，因為幾乎不需要廚柜中的深度。在一個例子中，可將LCD或其它平面顯示器用于工作板(優(yōu)選地具有保護(hù)性蓋玻璃)，并使用具有頂置攝像機(jī)的設(shè)備130，以從工作板區(qū)域獲得信息。在另一個例子中，組合的傳感器/投影模塊130可以與考慮到對于投射的視頻圖像信息的良好漫反射系數(shù)特性而選擇的普通材料的工作板一起使用(與發(fā)明人在諸如11/980,722的共同未決的申請中所示的類似)。設(shè)備130可以不顯眼地例如位于連接到天花板的燈軌上，從燈軌獲得電力，并且例如無線地向遠(yuǎn)程計算機(jī)傳送數(shù)據(jù)以及傳送來自遠(yuǎn)程計算機(jī)的數(shù)據(jù)。這種形式將在下面討論，因為存在可用的不同測量方法，以及諸如礙事的雙手或其它身體部分的要解決的問題。不過，另一種可能性是利用空間中的手勢來控制整個或部分系統(tǒng)。例如，這樣的手勢可以是把手停留在將在顯示的食譜表示中描述的物品上方，這種情況下，例如在比薩面團(tuán)115上方揮手。應(yīng)注意，用戶的蜂窩電話機(jī)126 也可用于把數(shù)據(jù)輸入計算機(jī)106中，從而也允許蜂窩電話機(jī)中的信息被如圖15中所示地顯示，或者用于其它用途。屏幕表面也可用于例如從顯示的電話號碼的列表中把呼叫指令輸入蜂窩電話機(jī)中。在連接到家庭電網(wǎng)的時候，蜂窩電話機(jī)能夠方便地被充電。
圖Ib示出與圖Ia的島狀案臺相關(guān)的島狀案臺或其它柜臺131，其添加有部件(諸如一體化水槽132)，并且還包括利用投影儀激光束133的如圖7中所討論的置于測量圓MC 上的容器中的液面檢測，該投影儀激光束133與如上所述的背面投影單元140所照明的投影工作面134 —起使用。另一方面，還示出了具有帶有三個燃燒器的爐灶單元136 (可以選擇燃燒器的數(shù)目以適應(yīng)應(yīng)用)的工作面135。工作面可以由陶瓷玻璃，耐熱玻璃或者其它適當(dāng)?shù)哪蜔岵牧现瞥?，并且這種加熱元件的設(shè)置不會影響間隔開的攝像機(jī)和投影儀單元138。 從而，這使工作面可以用作砧板，TV顯示器，因特網(wǎng)顯示器和灶臺。屏幕和工作面能夠在燃燒器附近提供接下來做什么的指令，否則在某人在所有燃燒器上為聚會等準(zhǔn)備食物的情況下會造成混亂?？刂葡到y(tǒng)計算機(jī)(諸如106)可對平底鍋在燃燒器上的時間計時，或者確定何時發(fā)生沸騰，甚至還能夠從因特網(wǎng)或其它下載的食譜數(shù)字地獲得指令，從而自動指示何時調(diào)低加熱。這可通過利用步進(jìn)馬達(dá)調(diào)小爐灶燃燒器，或者電氣地改變電流(如果是感應(yīng)式電燃燒器的話)來實現(xiàn)。
具有背面投影顯示器的灶臺135不但可用作顯示器，還可用作鍵盤或其它控件。 從而，能夠在照料燃燒器上的東西的同時進(jìn)行某些因特網(wǎng)活動。希望地的是使背面投影顯示器的電子組件的位置盡可能地遠(yuǎn)離燃燒器，以使熱問題降至最小。另一方面，可以利用正面投影顯示器，如在下面的附圖中所述。
可在計算機(jī)106中對被投影的爐灶顯示器編程，以當(dāng)燃燒器上的某物超時時使指示發(fā)亮或者發(fā)出警報，或者如果希望的話，可在其附近作為顏色表示熱水平。所有類型的其他顯示的或可聽的數(shù)據(jù)組合是可能的?？梢燥@示來自下載的食譜的圖形圖示，所述圖形圖示向人顯示要做什么。通過投影顯示(和機(jī)器視覺感測)，容易改變大小以適應(yīng)廚房和廚柜的設(shè)計。顯示可以剛好直到各個部分的邊緣。如在上文及共同未決的申請中所公開的，可以感測諸如143的控制旋鈕，以操作爐灶或水面或所希望的其它功能。
此附圖還示出用于增強(qiáng)設(shè)備的一般控制和連通性的因特網(wǎng)連接142(如果希望的話，它可以是無線連接)，在希望時還允許與準(zhǔn)備食物的人的被感測的活動相結(jié)合的因特網(wǎng)連接食譜功能。本發(fā)明的一個極好的方面在于允許使用內(nèi)置于系統(tǒng)內(nèi)的TV連接經(jīng)由因特網(wǎng)進(jìn)行與朋友和家人的社交烹飪活動，并且還示出使用本發(fā)明的與家人和朋友的社交網(wǎng)絡(luò)烹飪的例子。這可用于成立烹飪俱樂部，便于著名廚師遠(yuǎn)程指導(dǎo)，等等。例如，著名的巴黎廚師可在美國的5個家庭的有限班級中進(jìn)行烹飪課程。在廚師一方，他不僅能夠監(jiān)測他們的活動，而且能夠監(jiān)測尺寸、面積、形狀、大小，甚至顏色的度量以及重量的量(例如，利用諸如130的頂置式攝像機(jī))，從而幫助學(xué)生完成作業(yè)。
在這個例子中，人在工作板上的活動可以連同可被感測攝像機(jī)或其它光電傳感器 (頂置式或在工作板之后)查看并拾取的手的位置或其它數(shù)據(jù)一起被傳送到另一人的工作板。通常也將傳送話音，整個廚房的活動的單獨的視頻圖像(類似于在桿148上的網(wǎng)絡(luò)攝像機(jī)147的視頻圖像)也將如此。這樣，一個人能夠向一個或多個其他人展示例如如何把諸如一塊面團(tuán)之類的材料成形。并且，面團(tuán)尺寸和其它參數(shù)也可被感測和傳送，比描述的目前的近似努力更精確。本發(fā)明不僅領(lǐng)會你將拍攝廚房環(huán)境的視頻，而且可拾取從一人給另一人的并且還傳送給可以說在線的社交網(wǎng)絡(luò)上的其它成員的玩笑話和指令。
可替代地，可以具有帶有分離的水龍頭和排水管而沒有爐灶的系統(tǒng)。它可以是半島狀的或常規(guī)的與墻壁相鄰的廚柜，而不是在廚房中的島狀案臺上。另一方面，也可將本發(fā)明用于內(nèi)嵌式洗碗機(jī)，在該洗碗機(jī)中洗碗機(jī)的頂部可以是本發(fā)明的工作板。
圖Ic示出由投影儀/傳感器模塊151照明和感測的工作板150的表面。假定該投影儀/傳感器的形式具有足夠的景深，工作板的表面在后擋板區(qū)域152中向上彎曲，從而也可在更垂直的表面區(qū)域152上進(jìn)行投影和/或感測。例如，發(fā)明人已發(fā)現(xiàn)廣角式投影儀 /傳感器(諸如Samsung LED TV中使用的投影儀/傳感器)具有這樣的特性，具有非常廣角的透鏡的攝像機(jī)同樣如此(應(yīng)注意此外，出于感測的目的，很少需要完美的聚焦)。攝像機(jī)(或者其它傳感器)典型地被帶通濾波以消除頂置的室內(nèi)燈的影響，如果吸頂燈是熒光燈的話，會被透射近頂?shù)暮谏芰献钃酢Ｈ缤_的那樣，這假定攝像機(jī)具有用于感測控件、物體、手指等的相關(guān)聯(lián)的近頂光源。
可以在沒有攝像機(jī)的情況下使用投影儀部分，或者顯示器可以是另一種顯示器， 諸如可以如圖所示彎曲的OLEO顯示器。另外示范了某些種類的柔性IXD型顯示器。在一個例子中，向上彎曲的后擋板區(qū)域可作為易于閱讀的告示或留言板，并且類似于其它屏幕可以顯示圖片等。通常，后擋板是垂直的，位于墻壁附近。
另外，示出投影的虛擬鍵盤155，當(dāng)需要時，該虛擬鍵盤可例如在按壓按鈕156(根據(jù)需要為真實的物理開關(guān)或觸摸圖標(biāo))、在按鍵位置處的浮凸部件上使用。利用旋鈕157 可選擇其它投影信息(諸如允許在烹飪或進(jìn)行其它活動的同時進(jìn)行在線購物的因特網(wǎng)顯示)，可除了剛剛提及的鍵盤之外還提供這樣的信息和觸摸感測能力，或者作為該鍵盤的替代提供這樣的信息和觸摸感測能力(從而允許更大的字母)。如果希望的話，利用本發(fā)明的觸摸能力實現(xiàn)數(shù)據(jù)的導(dǎo)航。
虛擬鍵盤155沒有物理移動的按鍵，從而避免碎屑由于例如在工作板上進(jìn)行的作業(yè)而進(jìn)入按鍵中。如在共同未決的申請中所指出的，如果希望的話，可以使用實際上小的浮凸部件以便可觸摸地定位按鍵或者其它位置。根據(jù)需要，可以設(shè)置諸如微小凸紋160之類的浮凸部件，以指示一個或多個字母位于虛擬投影鍵盤上的位置。本申請的一個重大優(yōu)點在于能夠在進(jìn)行其它事情(比如烹飪家務(wù))時，從眼角瞥見按鍵然后觸摸所述按鍵。
可以呈現(xiàn)的信息可以是例如根據(jù)測量的材料的飲食建議、烹飪建議或者對于烹飪操作的信息的自動傳送、或者根據(jù)確定的材料廣度的切割建議。在工作板上的食物的近似體積、面積和廣度都可利用本發(fā)明的攝像機(jī)或其它光電傳感器被確定。由于數(shù)據(jù)被投影，因此工作面也可被令人滿意地取下以便清潔，在屏幕表面包含可能積留碎屑的壓痕或浮凸元件或者其它形狀作為觸摸基準(zhǔn)的情況下這是特別有益的。如果足夠小的話，那么一些工作面可在洗碗機(jī)中被清洗。
關(guān)于一種具有諸如157的旋鈕選擇器的使用簡單的形式，除“因特網(wǎng)”(它會顯示諸如IE之類的瀏覽器頁面)外的其它旋鈕位置可包括
1.嬰兒房。這會使嬰兒房和嬰兒床的TV監(jiān)控圖像顯示在屏幕和工作板150的至少一部分的上，或者觀察例如在其它房間中玩耍的兒童。
2.安全。從安全攝像機(jī)獲得的圖像可以例如通過指示在附近已發(fā)生運(yùn)動的紅外傳感器信號被顯示，可選地被自動提示。
3.食譜(利用其它手段進(jìn)一步選擇所需的頁等等)。例如，可以具有食譜編號觸摸圖標(biāo)。
雖然利用本發(fā)明可使用觸摸圖標(biāo)或其它觸摸屏功能來選擇各種功能，但是旋鈕 157(和或許其它的也在屏幕上的物理旋鈕)代表一種熟悉并且觸覺的選擇功能的方式，這能夠幫助人們操作設(shè)備。并且，通常使得在分心的時候更快速和更容易使用。
本發(fā)明的另一種應(yīng)用是記錄和顯示家人便條。不僅可利用觸摸屏進(jìn)行輸入，而且也可通過將諸如170的書寫頁面朝下地放在工作板上來輸入(可替代地，如果利用頂置的攝像機(jī)或其它光電傳感器130獲得數(shù)據(jù)，則書寫頁可以面朝上)。透明區(qū)或者甚至散射區(qū) (尤其是散射位于頂面或頂面附近時)中的背面投影或其它背面感測工作板可被用于讀取放在工作站上的手寫便條或其它便條，根據(jù)需要，讀取的內(nèi)容可被保存在計算機(jī)存儲器中以便稍后顯示，或者顯示在其它監(jiān)視器上，或者放置在文件位置(諸如食譜或其它文件的文件位置)中。如果是從上方感測的話，那么可從例如攝像機(jī)130拍攝的攝像機(jī)圖像中直接感測書寫頁。應(yīng)注意，也可按照這種方式記錄食譜的各頁，從而可僅通過從計算機(jī)存儲器調(diào)出所需頁面的jpeg(或其它)圖像來使用珍視的書籍，而不會在書上灑落各種東西。注意，這種功能能夠讀入照片、手寫便條，還可用于確定筆跡。另外，如在共同未決的申請中所公開的，如果希望的話，可以讀取手勢簽名，以例如核實操作者(例如，父母)是否有資格操作特定的設(shè)備，或者改變計算機(jī)功能。
另外應(yīng)注意，在屏幕下面的攝像機(jī)或其它光電傳感器也可用于讀取編碼的程序指令，頂置式攝像機(jī)130也可同樣如此。在引為參考的Peter Smith和發(fā)明人的若干共同未決的申請中已充分論述了這種編碼程序指令讀取活動。這些申請公開了利用計算機(jī)作為輔助來進(jìn)行常見任務(wù)的基于紙張的簡單方法，并且尤其適合于不通曉計算機(jī)的那些人，或者適合于具有便條、收據(jù)或者其它書寫形式的信息并且只希望快速地對它們進(jìn)行某些操作(諸如把其歸檔到數(shù)據(jù)庫中或者用電子郵件發(fā)送)的那些人。
圖Id示出工作板作為切蔬菜、肉或其它物體的砧板的應(yīng)用。應(yīng)注意，工作板可由能夠經(jīng)受要在其上進(jìn)行的工作的玻璃或硬塑料或其它材料構(gòu)成。例如在砧板模式下，這些材料中的一些能夠經(jīng)受在它們之上使用的刀具。
在一個典型的、但絕非詳盡無遺的例子中，這種情況下，工作面175被用于切割一塊肉。這種情況下，放在工作板175上的一塊肉180將被切成兩份。計算機(jī)呈現(xiàn)投影輪廓 181，該投影輪廓181展示肉的當(dāng)前形狀(已用系統(tǒng)的攝像機(jī)或其它光電傳感器測量肉的輪廓)，并且隨后向操作者展示附加步驟。比如沿線a_b切割這塊肉。一旦完成切割，照相機(jī)就可被用于確定現(xiàn)在存在大小適當(dāng)?shù)膬蓧K肉，并指令操作者接下來做什么。這種系統(tǒng)的優(yōu)點在于所述指令可以采用操作人感到舒適的任何語言。計算機(jī)可以提供象形圖或其它指令信息，并且計算機(jī)也可根據(jù)需要在揚(yáng)聲器上提供不同語言的話音文件。計算機(jī)可以由用戶編程，或者直接根據(jù)從網(wǎng)絡(luò)或其它地方下載的食譜指南被編程，以根據(jù)正在切割的肉的種類(諸如肉排)顯示給定的大小和形狀。這樣，如果已知肉類型的粗略厚度，那么就知道近似的重量和烹飪時間。可在切割前輸入包裝上的重量，隨后能夠根據(jù)切割數(shù)據(jù)估計后續(xù)各部分。
如果所希望的形狀和大小的投影來自頭頂(例如參見圖4)，那么剛剛提及的切割過程更容易。在如這里所述投影來自下方的情況下，該大小應(yīng)被投影得比實際期望的大小稍大，從而在切割到投影的內(nèi)部時，你能夠看到該投影。
雖說明了肉的切割，不過該技術(shù)也可用于切魚、面團(tuán)、椰菜或者其它物品。投影圖像也可用于指示用戶切割什么，比如可以說是“看起來像”的一塊肉排。
圖加示出本發(fā)明的臺面與家中的其它用具或數(shù)據(jù)設(shè)備的互連，還示出對用具控制面板的應(yīng)用。這用于任何家庭控制系統(tǒng)，不過合乎邏輯的地方是廚房。廚房中的承擔(dān)家務(wù)的人從而會傾向于使用所述控制系統(tǒng)，而不是直接使用越來越難以理解的洗衣機(jī)上的控制。他或她會從廚房中的控制面板跟蹤進(jìn)展，而不必下樓到例如洗衣房中。另外，可削減洗衣機(jī)和干衣機(jī)的一些費(fèi)用，并且歸因于人對所提供功能的理解的大幅提升，功能性得到改善。在圖6中指出了另外的控制成本節(jié)約方法。
在一種互動模式下，如圖加中所示，如在發(fā)明人的許多共同未決申請中所述，可重新配置在工作板205(頂視圖)的屏幕和控制面上的諸如旋鈕201和202的旋鈕(或者諸如開關(guān)之類的其它控制零件)的功能，該許多共同未決申請還舉例說明了在家中的墻壁上的這種控制面。如圖所示，在所示模式下，旋鈕201選擇設(shè)備或功能，并且旋鈕202選擇設(shè)備的工作模式。標(biāo)志可在旋鈕202上變化，以適應(yīng)正在控制的設(shè)備。如圖所示，詞語PERM PRESS用于洗衣周期(washer cycle)。在一種工作模式下其它未選擇的特征(例如，Normal Wash(正常洗衣))標(biāo)志變得更暗。工作板的屏幕表面，或者在工作板內(nèi)的屏幕表面(如果不包含整體)隨后可圖示設(shè)備(這種情況下，洗衣機(jī))的操作的圖形和其它幫助。如果希望的話，可在工作板的觸摸屏上操作表示洗衣機(jī)的狀態(tài)功能的圖形圖像。對于目前通過洗衣機(jī)的按鈕等控制的洗衣周期的特殊設(shè)定可作為替代(或者可選地作為附加地)被從廚房控制以節(jié)約一定費(fèi)用。文字可被顯示在旋鈕上和/或旋鈕附近或者同時顯示在旋鈕上和旋鈕附近，以指示功能，所述標(biāo)志也可改變大小或顏色，或者以另一種方式變化，以指示選擇。 如果希望的話，也可顯示受控設(shè)備的圖片210 (包括其功能)。
應(yīng)注意，例如圖加的旋鈕201和202可以是例如通過兩根手指的扭轉(zhuǎn)動作來旋轉(zhuǎn)的虛擬顯示旋鈕，如在發(fā)明人的共同未決申請11/27觀68中所示。這種概念可被擴(kuò)展成按照這種方式控制所有系統(tǒng)，不過實際上顯示在設(shè)備的實際表面上的控件的虛擬圖，并使用控制面板上的虛擬面板來映射它們，指令諸如106之類的計算機(jī)向它們傳送信號，以執(zhí)行期望的功能。根據(jù)需要，這種信號傳輸可以是無線傳輸或有線傳輸。
例如，考慮圖2b，圖2b在工作板屏幕表面上圖示外部音響系統(tǒng)(例如，現(xiàn)在擁有的 SONY音響系統(tǒng)，不過該音響系統(tǒng)具有要被遠(yuǎn)程控制的必要的輸入連接)的虛擬映射控制面板的投影(或者其它顯示)，所述外部音響系統(tǒng)的操作是利用音量旋鈕220的虛擬旋轉(zhuǎn)和虛擬按鈕電臺選擇按鈕221-224的操作實現(xiàn)的。如果希望的話，顯示在屏幕230上的SONY 控制面板的背景圖像可以僅僅是利用數(shù)字?jǐn)z像機(jī)拍攝的實際物品的JPEG圖像(或者從因特網(wǎng)下載的照片)，在該背景圖像中覆蓋該虛擬控制功能。通過兩根手指(通常拇指和食指)的扭轉(zhuǎn)運(yùn)動來轉(zhuǎn)動旋鈕220會調(diào)高或調(diào)低音量，就如同轉(zhuǎn)動位于比如說起居室中的真實SONY音響系統(tǒng)的物理旋鈕一樣。可以顯示所選電臺的呼號(例如WXYZ)，就像它們在實際設(shè)備上那樣?；蛘?，如果你希望的話，那么可以對于希望的任何控件布局或顯示配置來對系統(tǒng)進(jìn)行重新編程。一般來說，主張使控件保持相同，以在家中產(chǎn)生較少的混亂。
在這個例子中，相同的真實旋鈕201被示出，選擇音響系統(tǒng)控制面板，不過，這也可以是虛擬圖標(biāo)顯示的選擇按鈕或者其它虛擬控件。或者它可以是物理開關(guān)或者任何東西。先前所示的另一個真實按鈕202如果希望的話可在這種情況下處于運(yùn)行狀態(tài)，或者可被用于獨立地控制可超馳(override)該系統(tǒng)的其它功能。例如，如果選擇了旋鈕202上的位置A，那么顯示的所有條目會與灶臺或砧板作業(yè)相關(guān)，或者顯示嬰兒房視頻監(jiān)視畫面，或者因特網(wǎng)，或者分配給A的任何功能。所有這些選擇和更多的選擇如果希望的話可在旋鈕 202上被提供，或者借助觸摸圖標(biāo)被提供，或者借助它們的任意組合被提供。
圖2c示出用于加熱和空調(diào)服務(wù)的虛擬顯示的控制面板225，包含觸摸圖標(biāo)溫度升高和降低開關(guān)261和沈2、溫度設(shè)置顯示沈5，及加熱空氣和風(fēng)扇開啟開關(guān)組270。例如，工作板屏幕上的空閑空間用于示出將從因特網(wǎng)下載的天氣預(yù)報顯示期望的時間段的顯示區(qū) 260,以幫助設(shè)置各個控件。如果希望，旋鈕202可被用于輔助如在選擇的加熱爐模式下可實行的這些功能中的任一功能，例如，以向下滾動并且選擇呈現(xiàn)其天氣的各個日子的更多信息。本發(fā)明的優(yōu)點在于可按照非常易于閱讀的形式、正好在控件附近、并且在家中最經(jīng)常使用的地方提供這樣的相關(guān)信息。
圖加中另外示出了本發(fā)明的這樣的應(yīng)用，即控制系統(tǒng)或用具的用戶把其蜂窩電話機(jī)280插入設(shè)備中的插槽觀1，在此這種情況下插入工作板205中。這樣，蜂窩電話機(jī)可被連接并且這樣一來被充電，并且連接到系統(tǒng)計算機(jī)106，以致系統(tǒng)計算機(jī)106播放保存在蜂窩電話機(jī)中的歌曲，或者利用蜂窩電話機(jī)通過蜂窩網(wǎng)絡(luò)與其他人合作。歌曲的播放列表或電話號碼可被顯示在工作板的屏幕上，以幫助快速選擇要進(jìn)行的任務(wù)。如果蜂窩電話機(jī)中可利用足夠的處理能力，那么作為計算機(jī)106的可替代方案，蜂窩電話機(jī)的計算機(jī)可被用于操作部分或者整個系統(tǒng)。這也允許用攜帶在你口袋中的你的信息來操作其它這樣的控制面板。
另一種顯示的控制面板可以是外部干衣機(jī)的虛擬映射面板。應(yīng)認(rèn)識到，這也可以是外部洗衣機(jī)的面板，并且這樣的兩個設(shè)備通常位于遠(yuǎn)離廚房的地方，能夠從此面板控制這樣的兩個設(shè)備，這能夠節(jié)約在實際設(shè)備處的費(fèi)用。在不必下樓的情況下，也能夠了解洗衣機(jī)的狀態(tài)。
作為圖1的投影儀顯示器的可替代方案，圖3中所示的是與IXD像素、諸如Siarp 公司生產(chǎn)的感測檢測器的矩陣(但是，目前的尺寸比這里描繪的尺寸小)結(jié)合的工作面LCD 顯示器375。為了避免損害在顯示器之上設(shè)置熱塑聚碳酸酯(Iexan)塑料保護(hù)罩377。類似于發(fā)明人已公開的基于背面投影的系統(tǒng)的攝像機(jī)圖像，利用該顯示器獲得的從顯示器或房間照射到顯示器中的檢測器的光的圖像由計算機(jī)380(它也用于驅(qū)動顯示器)處理。這種方案也可用在所公開發(fā)明的其它工作板中，并且具有比背面投影設(shè)備薄的優(yōu)點。不過，目前開發(fā)較少，并且表面、尺寸、配置和活動的選擇更受限。另外，修理費(fèi)用也高得多，因為LCD 部分會因重的平底鍋掉在設(shè)備上而破裂，除非保護(hù)罩厚得以致于當(dāng)透過保護(hù)罩觀察圖像時提供的圖像不太理想。設(shè)備能夠看到手指觸摸的位置383，并且利用來自顯示器的光394， 配置在顯示器中的檢測器能夠看到在安裝到保護(hù)罩377的滾道392中旋轉(zhuǎn)的旋鈕391背面的數(shù)據(jù)395。
圖如進(jìn)一步示出在圖1中討論的情況，其中沿著首先關(guān)于圖Ia中的攝像機(jī)130提及的線路，從頭頂上進(jìn)行信息的投影和感測。在Peter Smith和發(fā)明人的若干共同未決的申請(例如11/184076，11/832134，11/980，722)中以及在引用申請中的相關(guān)上下文中也描述了這種布置。如圖所示，工作板401上的工作面400由投影儀405在其上投影，并用攝像機(jī)406觀察，投影儀405和攝像機(jī)406都由計算機(jī)410驅(qū)動和處理。用戶412查看工作面上的圖像。根據(jù)需要，攝像機(jī)406也可感測用戶的一根或多根手指(諸如415)或者用戶的手的位置。在這個例子中，感測到指尖416觸摸到餅干面團(tuán)417。如本領(lǐng)域中已知的可以設(shè)置結(jié)構(gòu)化光線投影儀，當(dāng)用戶的手指在工作面上推動面團(tuán)417時，結(jié)構(gòu)化光線投影儀可以結(jié)合攝像機(jī)406獲得的圖像被用于勾畫面團(tuán)417的形狀的輪廓?？商娲夭⑶腋鼫?zhǔn)確地， 例如，通過用馬達(dá)移動工作板本身，或者利用旋轉(zhuǎn)鏡沿著水平方向掃描激光光束，可以使激光線自動掃描工作面。如果不需要機(jī)械移動的話，那么可以投影網(wǎng)格，而不是線條。獲得的數(shù)據(jù)可由計算機(jī)410處理，并且在投影圖像或者其它顯示畫面上以形狀或者計算的體積的形式呈現(xiàn)給用戶。如果合理地已知面團(tuán)密度(例如可以下載自食譜)，那么可以呈現(xiàn)從該計算的體積推斷的重量。這使得還可以計算估計的面團(tuán)的卡路里含量，并通過適當(dāng)?shù)挠嬎悖嬎阕罱K烘焙好的餅干的卡路里含量?？防锏念A(yù)測使得可以削減面團(tuán)大小，如果期望較輕的餡料較少的餅干的話。從上方的光截面數(shù)據(jù)也可以與利用基于背面投影的攝像機(jī)系統(tǒng)從下方獲得的面積和形狀數(shù)據(jù)結(jié)合使用。
圖4b是由投影儀405在其上投影并用攝像機(jī)406觀察的工作面440的透視圖，投影儀405和攝像機(jī)406都由計算機(jī)410驅(qū)動和處理。投影儀和傳感器安裝到廚房天花板中的軌道燈具430上，不過，也可以是任何其它適當(dāng)?shù)牡鬃?。另外示出的是利用表?45上的圓點標(biāo)記或者指示器450的旋鈕441的感測。光線460/461被示出為通過線投影儀420被投影，其中照相機(jī)406上的圖像在460和461之間的偏移表示餅干(這種情況下，扁平的餅干)的高度。在發(fā)明人的美國專利5940302中，示出了利用這種系統(tǒng)的體積和形狀計算。在扁平餅干的情況下，可通過確定餅干的直徑(通過觀察攝像機(jī)圖像獲得)，把所述直徑乘以JI再乘以在所有點確定的高度(這種情況下，所述高度是相同的數(shù)值h)，可以計算體積。
攝像機(jī)不必直接在頭頂上，可以安裝在從廚柜豎起的桿上(比如圖Ib的桿423上的網(wǎng)絡(luò)攝像機(jī)42 ，并成一定角度地觀察工作板上的物體。應(yīng)注意，攝像機(jī)或其它光電傳感器用于感測在灶臺附近或灶臺上的小孩，發(fā)出警報，并關(guān)閉燃燒器。注意，對于諸如此應(yīng)用的一些應(yīng)用，可以使用也連接到計算機(jī)410的超聲波傳感器或雷達(dá)傳感器。攝像機(jī)也可用于確定爐子上的水是否在沸騰，和可被通告或用于自動提示控制(比如降低加熱)的所關(guān)心的其它條件。
與背面投影形式相比，頂置形式具有幾個優(yōu)點。例如，它為抽屜，微波爐或其它東西節(jié)省了廚柜下面的空間。這種情況下，投影儀和攝像機(jī)“投射”距離僅僅由小于自由空間中天花板到廚柜距離的距離構(gòu)成。工作板可以是期望的任何工作板，只要能夠在該工作板上看到圖像即可，并且該工作板不必透射光。主要的缺陷在于雙手，頭或其它身體部位會阻擋投影的圖像，臺面上的物體通常也會阻擋投影的圖像。不過，通過適當(dāng)注意，并且明智地選擇什么內(nèi)容投影在何處，能夠大大減輕該缺陷。例如，詳細(xì)信息最好投影在遠(yuǎn)離直接工作區(qū)的區(qū)域中。事實上，本發(fā)明包含利用攝像機(jī)和運(yùn)動、手識別軟件或其它手段感測作業(yè)在何處進(jìn)行(例如，切割肉排)，并用信號通知計算機(jī)以控制投影儀，把食譜或其它信息投影到另一個區(qū)域。
圖如示出對于用具控制面板(這種情況下，洗衣機(jī)503或干衣機(jī)504)的應(yīng)用。 注意，一個面板可以服務(wù)于這兩者，因為它能夠被重新配置。例如，通過利用在許多共同未決的申請中討論的RTD發(fā)明，洗衣機(jī)503上的控制面板502的旋鈕501可從控制洗衣程序被重新配置成控制干衣機(jī)程序。這種情況下，因為一個面板可服務(wù)于洗衣機(jī)和干衣機(jī)兩者， 因此能夠節(jié)約成本，同時仍可分別為洗衣機(jī)和干衣機(jī)提供清楚的、大的并且易于使用的控件。可以使用可替代的常規(guī)設(shè)計的手動旋轉(zhuǎn)開關(guān)旋鈕(而不是固態(tài)設(shè)備)，它可被機(jī)動化 (motorize)以用于遠(yuǎn)程計算機(jī)控制。
如在發(fā)明人的待審申請11/832134中所述，可通過低成本的投影儀/傳感器模塊照明顯示和控制面510，所述低成本的投影儀/傳感器模塊可以基于被認(rèn)為即將到來的大量蜂窩電話機(jī)應(yīng)用。這允許利用與現(xiàn)有洗衣機(jī)類似的、但完全是電子的和可重新配置的可觸摸旋鈕實現(xiàn)系統(tǒng)的最大靈活性和功能的完全重新配置。
剛剛描述的本發(fā)明利用固態(tài)繼電器或其它器件來根據(jù)需要切換功能。這通常比老式的基于機(jī)械的旋鈕旋轉(zhuǎn)開關(guān)更昂貴。在成本極為重要的情況下，可以使用常規(guī)設(shè)計的手動旋鈕，該旋鈕可(例如通過步進(jìn)馬達(dá))被機(jī)動化，以允許利用諸如圖1的單元實現(xiàn)遠(yuǎn)程計算機(jī)控制。不過，歸因于投影或其它顯示系統(tǒng)，標(biāo)志可以重新配置。由于顯示在屏幕510上的信息可以是任何信息，而不僅僅是控制功能標(biāo)記或者指示燈(tell tale light)，因此可把它無線連接到比如說兒童房中的TV監(jiān)視器，以致當(dāng)在洗衣時可監(jiān)視在兒童房中或者在外部院子中發(fā)生的事?？蛇x地，還可提供上面提及的其它功能。注意，控制面板能夠卷繞滾筒的有趣特征增大了虛線530中所示的可用于觸摸功能，TV觀看或其它功能的屏幕大小。
圖恥示出相同的布置，不過具有不同形狀的控制面板和更大的滾筒。另外示出物理“熱鍵”開關(guān)M0，該開關(guān)根據(jù)需要把屏幕和控制面從洗衣機(jī)變成干衣機(jī)以及從干衣機(jī)變成洗衣機(jī)。對于具有組合的洗衣機(jī)和干衣機(jī)功能的那些機(jī)器(諸如在空間受限的地區(qū)比如意大利銷售的機(jī)器)，洗衣機(jī)和干衣機(jī)的雙重控制有價值。這種情況下，控制面板可以可選地提供這兩種功能的信息，并且當(dāng)按一種模式或另一種模式操作機(jī)器時，能夠簡單地在它們之間被切換。另外參見圖6c。
同一控制面板思想可用于控制爐灶和烤箱組合、或者爐灶和微波爐、或者要被控制的用具或其它設(shè)備的任何其它分組。此外，受控設(shè)備不必被并置。例如，除了洗衣機(jī)和干衣機(jī)之外，面板502還可控制語音系統(tǒng)，或者設(shè)備的TV功能。或者甚至因特網(wǎng)。沿著上面的工作板公開的各條線路。
圖6示出本發(fā)明的低成本控制布置，在最簡單的情況下，該布置只被用于控制，而具有很少的或者不具有復(fù)雜顯示能力。它對于不需要復(fù)雜顯示互動的用具、卡車、汽車和其它許多應(yīng)用是理想的。另外在發(fā)明人的共同未決的申請(例如11/980710)中公開的主要前提是用于蜂窩電話機(jī)或自動化應(yīng)用的單一低成本攝像機(jī)600連同LED 605 一起可用于照明和感測控制面630上的各種各樣的多個物理控制零件(如旋鈕620和滑動開關(guān)62 的位置。攝像機(jī)收集的圖像數(shù)據(jù)由簡單的計算機(jī)裝置610(諸如與攝像機(jī)一體化的DSP)處理， 并且提供給I/O的輸出用于實現(xiàn)由用戶與旋鈕和開關(guān)(以及需要的其它控件，諸如轉(zhuǎn)盤滑動器等)互動所進(jìn)行的控制選擇。
這種系統(tǒng)非常廉價，因為已預(yù)測到如果批量大的話，那么攝像機(jī)和計算機(jī)部分可以低到幾美元，并且如果在控制零件上使用回射器或者其它高對比度目標(biāo)以致幾乎不需要光的話，LED僅僅為10美分。這里，控件不暴露在環(huán)境光之下，從而不需要更高的功率或者復(fù)雜的計算機(jī)處理。也不需要近頂操作或者帶通濾光片，如果環(huán)境光問題持續(xù)存在的話， 那么需要該近頂操作或者帶通濾光片。
本發(fā)明的這一方面不僅廉價(對于具有10個控件的面板來說，每個受控變量或器件(不包括塑料物品)為30美分的量級)，而且易于設(shè)計和定制。例如不需要產(chǎn)生專用的電路板。這在許多領(lǐng)域具有數(shù)不清的益處。它允許非常經(jīng)濟(jì)的小的控制面板體積。計算機(jī)還可以可選地從其它傳感器獲得輸入并進(jìn)行控制，從而使系統(tǒng)更加通用。攝像機(jī)還能夠感測覆蓋的構(gòu)件(諸如所示的塑料構(gòu)件640)的縮進(jìn)位置。這使該構(gòu)件可以用作觸控板(諸如膝上型計算機(jī)上的觸控板)，或者和例如許多用具目前所具有的觸摸開關(guān)位置一起使用。 在發(fā)明人的共同未決的申請中示出了合適的感測方法的例子。各個控件是用側(cè)視圖表示的，諸如旋鈕開關(guān)之類的其它控件可以位于延伸到紙面之外的表面上。
還可以使用如在發(fā)明人的申請11/980710中公開的適合于圖5的應(yīng)用的一種形式，包括兩個固定的投影儀650 (在該附圖中的紙面之外隔開)。例如，一個用于干衣機(jī)控制面圖像，另一個用于洗衣機(jī)。這種情況下，如在共同未決的申請中公開的，圖像數(shù)據(jù)將被投影到其上的控制面630的區(qū)域需要是透射性和散射性的，以便形成背面投影屏幕。增加的成本極低(比如5美元)，不過不具有提供視頻或?qū)崟r信息的能力，除非使用分離的顯示器 (諸如LCD面板，例如條狀LCD或者LED類型的或者其它平面顯示器670)，在這種情況下， 需要與控制面630的電連接。在能夠負(fù)擔(dān)成本的情況下，可以使用LCD面板或者其它常規(guī)顯示器，或者可替代地使用例如可用在蜂窩電話機(jī)中的低成本LCOS、MEMS或者其它視頻投影儀，同樣記得視頻顯示器的驅(qū)動電路也有成本。用具中的這種投影儀也可用于向用戶提供TV圖像或因特網(wǎng)連接。應(yīng)注意，控制面630可以彎曲的或者不規(guī)則的，而通常不影響攝像機(jī)查看希望的控制信息(諸如旋鈕位置、手指觸摸位置等)的能力。
圖6b示出利用圖6a的設(shè)備在車輛中提供用于夜間駕駛的照明標(biāo)志的方法。圖6b示出利用圖6a的設(shè)備提供照明標(biāo)志的一種方法。如圖所示，旋鈕651安裝在控制面652上， 并由攝像機(jī)665利用來自LED6M(這種情況下，IR LED)的具有穿透在攝像機(jī)之前的帶通濾光片665的波長的光(從而其它波長的光不能有意義地影響攝像機(jī)圖像)感測，以確定旋轉(zhuǎn)位置。在夜間，白色LED(可替代地，可以是有色的)被開啟，并透過在已用激光刻出詞語VOL (或者對收音機(jī)旋鈕來說，Volume (音量))的構(gòu)件652中被切出的狹縫。可根據(jù)需要控制LED 660明亮或暗淡，并且對于其它標(biāo)記可合理地切割出許多其它這樣的刻槽。如果希望的，并且如果使用白色LED，那么可在一些刻槽上放置有色濾光片，以使它們表現(xiàn)出不同的顏色。如果需要的話，使用濾光片除去從客艙透過狹縫的環(huán)境光中的絕大部分。
圖6c示出采用諸如在發(fā)明人的共同未決的申請中公開的小型傳感器/投影儀的用于單個用具的組合洗衣機(jī)和干衣機(jī)系統(tǒng)。例如，這種投影儀和傳感器組合可以基于用于蜂窩電話機(jī)應(yīng)用的Microvision品牌“微微投影儀(pico projector)”。投影儀685由計算機(jī)690控制，該計算機(jī)690從系統(tǒng)的旋鈕、開關(guān)和觸摸屏命令獲得輸入。視頻圖像被傾斜地投影到屏幕和控制面675的背面，該背面上已放置有3MTRAF轉(zhuǎn)向膜以使圖像轉(zhuǎn)向用戶。 在屏幕上過掃描投影圖像，從而期望的整個屏幕表面可被照明。
圖中表示了兩種狀態(tài)，每一種狀態(tài)根據(jù)需要由電源和控制按鈕671或672啟動，以操作機(jī)器的洗衣機(jī)或干衣機(jī)部分或者一對機(jī)器。如在發(fā)明人的待審申請11/045131以及其它申請中公開的那樣，主控制和選擇旋鈕676可以可選地在其中心具有時髦的信息屏幕。 旋鈕可以采取徑向厚度為t的環(huán)形物的形式，并且如果希望的話(并如共同未決的申請中公開的那樣)，可被按如下方式設(shè)計，即如當(dāng)前的許多常規(guī)旋鈕那樣能夠被壓入或者拉出以啟動或停止循環(huán)。旋鈕指示器可以是物理指針，或者可如682那樣只是被投影到屏幕表面上，或者可替代地，可被投影到該旋鈕表面或其它旋鈕表面上。在這個例子中設(shè)置了兩個其它旋鈕678和679。如共同未決的申請中所示，可以設(shè)置更多的旋鈕或開關(guān)或滑動器或其它控件。這些控件可被光學(xué)感測，不過可替代地或者附加地，也可利用本領(lǐng)域中已知的電子方式感測這些控件。后者的若干種希望形式之一是電容式觸摸開關(guān)。
如在共同未決的申請中公開的可以可選地設(shè)置的虛擬觸摸輸入的區(qū)域被對于洗衣機(jī)模式示出為682并且在干衣機(jī)模式中示出為683。根據(jù)需要，對不同模式來說這些功能或指示符可不同。應(yīng)注意，當(dāng)期望連接到除洗衣機(jī)或干衣機(jī)外的其他服務(wù)(諸如用于收聽觀看TV的外部節(jié)目源)時，可以按下可選按鈕674，按鈕674把旋鈕676變成輔助選擇旋鈕，并且呈現(xiàn)其它圖像，而整個標(biāo)記和其它洗衣機(jī)功能指示可被刪除，或者使得它們的字母或指示變小或否則變得不那么可見。根據(jù)需要，洗衣或干衣動作如果被預(yù)訂則可繼續(xù)進(jìn)行。
如在發(fā)明人的共同未決的申請中所指出的，TV的圖像可被投影以正好在旋鈕(或者開關(guān)或其它控件)上的屏幕上顯現(xiàn)。已發(fā)現(xiàn)，實際上，尤其在環(huán)形旋鈕的徑向厚度小以致不會明顯使圖像模糊不清的情況下，這通常不會過度破壞對圖像的整體理解。
如圖所示，如在發(fā)明人的共同未決的'868申請(與美國專利7084859相關(guān))以及在其它幾件共同未決的申請中所示的，投影儀685(由接收來自旋鈕，開關(guān)和觸摸屏幕命令的輸入的計算機(jī)690控制)可以成角度從而以一定角度傾斜地投影到屏幕和控制面的背面上。在通?？扇〉乩镁仃囀綀D像芯片所示的情況下，所述芯片可被傾斜，以致投影的像面從一端到另一端在屏幕上聚焦。如果使用這種技術(shù)，那么可在計算機(jī)中校正圖像以致在整個屏幕上呈現(xiàn)均勻的倍率。在離投影儀的遠(yuǎn)端，過掃描屏幕，以致近端能夠被充分照明。
這種系統(tǒng)允許用戶利用投影的或者以其它方式顯示的圖形來區(qū)分用具，并且如在前面的情況下指出的那樣，用戶也可容易地改變控制面板和屏幕形狀，包括彎曲形狀和切割周邊的使用。用戶能夠容易地改變語言以適應(yīng)不同的市場或購買者。另外，如在發(fā)明人的申請11/045131和其它地方指出的那樣，還可在旋鈕或其它控制元件面上顯示圖案、顏色等。
就最簡單的形式來說，本發(fā)明可以利用攝像機(jī)或其它光電傳感器來僅僅感測屏幕和控制面上的控制位置?；蛘?，可以如同公開的那樣利用投影儀，或者利用如在圖23中示出的常規(guī)控制感測技術(shù)。重要的是如上文關(guān)于洗衣機(jī)和干衣機(jī)所指出的，設(shè)備的功能可被用于控制多個用具。例如，另一個例子將如圖14中所示，其中同一計算機(jī)1410和控制系統(tǒng)可控制爐灶，烤箱和微波爐任意之一或者全部。與圖14的控制面板不同的控制面板可以位于爐子的正面或背面，正如目前的常規(guī)設(shè)備中那樣。
也可利用類似的方式控制相同設(shè)備的不同功能。例如，干衣機(jī)中的如圖6c中的控制面板可從干衣程序特定控制面板切換成全部干衣機(jī)控制面板，切換成顯示TV節(jié)目或因特網(wǎng)饋送內(nèi)容的娛樂面板。如果希望的話，它也可包含更復(fù)雜的觸摸屏功能，如發(fā)明人的'868申請和美國專利7084859的多點觸摸屏。
圖7a示出本發(fā)明的可用于測量容器中的液面的實施例，該實施例還采用顯示在工作板表面上的指令。對某些人來說，主要的困難是通常放入量杯中的材料尤其是液體以及粒狀材料的測量。預(yù)期本發(fā)明可通過如下操作幫助解決這個問題，即從食譜獲得事實上剛好所需的數(shù)據(jù)。隨后向用戶顯示所述數(shù)據(jù)，或者另外監(jiān)測用戶正在倒入容器頂部的材料的量，并且通過稍微提前向用戶發(fā)出報警來告知用戶何時可能倒入足夠的量，使得用戶能夠降低傾倒的速度。注意，可以正好在放置容器的地方附近顯示液體和信息。
可如圖3中所示，在表面(示出為背面投影，不過也可以是正面投影的)上顯示在該處應(yīng)放置容器的投影的測量圓Me，以致攝像機(jī)能夠確定容器中的液體的高度，并比較該高度與該容器或容器類型(例如，一組8個相同的威士忌酒杯之一)的預(yù)先校準(zhǔn)值。
通過觀察透過液體(在這種情況下，所述液體必須適當(dāng)?shù)赝该?，投影到諸如飲水杯21之類容器的底部的激光束光斑720的位置，由計算機(jī)745分析的攝像機(jī)730可感測液面746。由于液體的折射率，光斑的位置將與容器中的液體的高度成比例。不過，如果液體或粒狀材料不透明，那么可以使用不同的激光三角測量法，其中現(xiàn)在由在液體上方的攝像機(jī)觀察激光光斑，并且仍歸因于激光束與攝像機(jī)光軸成一定角度，當(dāng)容器中的液體(或粒狀材料)升高時，所述激光光斑在攝像機(jī)的像面中移動。根據(jù)需要，關(guān)于液體體積的信息 747被顯示在屏幕上或者通過揚(yáng)聲器通知。
應(yīng)注意，假定容器是透明的并且具有相當(dāng)簡單的設(shè)計，如圖所示通過利用其圖像由計算機(jī)745處理的攝像機(jī)750，也可從側(cè)面觀察液面。對于這種應(yīng)用，最希望的是用背光模式照亮玻璃容器和液體，不過也可采用例如來自側(cè)面工作的照相機(jī)的頂LED 751的正面光，但是應(yīng)注意將攝像機(jī)和光源定位成避免來自容器的側(cè)壁的直接且明亮的背反射。在許多情況下，正常的室內(nèi)光線也可起作用。與在液體的彎液面之上或之下的空氣或液體相比， 所述彎液面形成圖像的較暗部分。
側(cè)面觀察技術(shù)也允許確定容器中的粒狀材料高度，因為這種材料的頂部產(chǎn)生與在其上方的空氣形成對比的圖像。側(cè)面觀察系統(tǒng)還可感測牛奶和其它不透明液體，另外，還應(yīng)注意，側(cè)面觀察系統(tǒng)通常更快地對注入材料作出反應(yīng)，另外，所述注入不會妨礙攝像機(jī)視場。
一種可替代的頂部感測方法是如圖7b中所示把攝像機(jī)770定位成與容器765的軸線764和工作面法線成一定角度，并且查看容器的優(yōu)選地淺色并且漫反射的側(cè)壁。在多數(shù)照明條件下，能夠辨別液體(或粒狀材料)和側(cè)壁之間的分界766。當(dāng)期望時，可以使用通常與攝像機(jī)并置的專用光源771諸如頂LED(以便不可見)。如圖所示，與攝像機(jī)圖像傳感器784有關(guān)的處理之后的分界線的圖像是針對兩個不同的液體高度(容器中的較低高度 785和較高高度786)的插入物(虛線)。
如果容器765如飲水杯、梅森食品瓶等那樣具有透明側(cè)壁，那么可利用背光(諸如來自在工作面屏幕之下的投影儀781的背光780)確定液面，可以使投影儀781對準(zhǔn)位置 780以便照明分界。在一個例子中，圖7的設(shè)備中的液體測量的校準(zhǔn)步驟是
首先，把選擇的容器放在工作板上指示的位置處?？蛇x地，利用攝像機(jī)730或投影儀傳感器模塊，測量容器的直徑D或容器的性質(zhì)的另一變量，從而稍后可利用攝像機(jī)和計算機(jī)系統(tǒng)來識別該容器。
其次，用第一已知量(比如說100ml)的液體填充容器。確定從容器的底部到液體的范圍R的變化。
第三，倒入另一已知量的液體并確定該距離。如果未倒入標(biāo)準(zhǔn)的校準(zhǔn)量，那么利用鍵盤輸入倒入的量。傳感器是成比例的，這是獲得整個距離中的體積所需的全部-只要玻璃容器本身具有恒定的橫截面，并且角度校正因子已知，它們可以是用于任何給定的設(shè)置的。如果不是這樣，比如茶壺，那么可以利用常見量(諸如半杯，四分之一杯等)簡單地校準(zhǔn)，并利用它測量那些點以創(chuàng)建例如查尋表。
該過程可對于想要使用的每種容器進(jìn)行一次。由于所有測量和計算一般都是數(shù)字化的，因此不必再次進(jìn)行該過程。利用更多數(shù)據(jù)點的更復(fù)雜的校準(zhǔn)也是可能的。
另一方面，設(shè)備的制造商或第三方可提供具有關(guān)于高度變化對體積的已知校準(zhǔn)值的專用容器。這些值可利用例如CD或閃速驅(qū)動器輸入計算機(jī)中、下載自網(wǎng)站或者任何適合的。這種情況下，不需要在家中校準(zhǔn)；假定范圍傳感器本身是線性的。例如，校準(zhǔn)值可從無液體的容器底部的初始測量的測量開始。
圖8示出采用容器800的液面測量，容器800例如具有帶有已知斜度的錐形內(nèi)部區(qū)域801，該錐形內(nèi)部區(qū)域801容納其光學(xué)性質(zhì)隨著存在于容器中的液體或者其它物質(zhì)810 的水平面變化的待測材料。攝像機(jī)815在工作面820之下，其中從下方觀察分界環(huán)A，液體高度沿著特殊的塑料或玻璃容器的錐形內(nèi)壁在分界環(huán)處終止，該容器被放置在工作面上來自上方的照明825使分界環(huán)更清晰的位置處。計算機(jī)860中的機(jī)器視覺軟件分析來自攝像機(jī)815或可替代的攝像機(jī)850的圖像(為清楚起見，未示出連接線)，并利用已知的斜度值， 或者提供的保存在查尋表中的容器對于填充各種體積的響應(yīng)，來確定容器中的體積。適當(dāng)?shù)恼彰骺捎芍T如851和852之類的LED、頂置式投影儀(在用于信息呈現(xiàn)或其它用途的情況下)、或者其它光源提供。錐角越小，液體高度的清晰度越大，因為對于任何給定的倒入量液體向進(jìn)一步側(cè)面移動。這種檢測是幾何學(xué)的，不過對較少量的液體最靈敏。不過，通過僅使通常圓形的容器的一側(cè)傾斜，也可獲得更線性的響應(yīng)。在測量位置處的工作面不應(yīng)過度漫射，因為否則分界環(huán)圖像變得不清楚。也可以具有幾乎完全透明的而具有很小的漫射或者沒有漫射的工作面的部分(諸如部分821)。通常，從下方投射很少的光或者不投射光到該區(qū)域，因為它會直接沖擊用戶眼睛。該區(qū)域一般較小，因為可使用的容器的直徑通常小于等于6英寸。
在另一種變型中，可以利用背面的投影儀通過容器的底部照明分界。這種情況下， 使光投射透過容器的底部，并且錐體的側(cè)壁和液體的頂部之間的接口處立即可見。注意，如果希望地話工作面的透明部分可由漫射部分替換，或者當(dāng)不需要測量時可在其上面覆蓋漫射構(gòu)件。
如果期望不依賴于在工作面之下的任何光學(xué)元件，那么可以使用來自上方的照明和攝像機(jī)感測，比如攝像機(jī)850觀察容器800中的液體或材料的頂部。這種情況下，通過利用來自緊鄰側(cè)壁的反射的差異，可確定在錐體頂部的材料的寬度或直徑W。
如果獲得材料體積數(shù)據(jù)，并且材料種類已知，那么對于已知的材料密度可計算重量。而且，在一些情況下，通過知曉材料的特性，可根據(jù)從工作面之上或之下感測到的材料的測量面積來推斷出可靠的重量，通過攝像機(jī)可容易地確定材料在工作面的笛卡爾軸上的面積(諸如比薩面團(tuán)的面積)。如果通常知道正在形成這樣的面積，那么你幾乎能夠假定可靠的高度、分布，從而近似體積。不過這不是特別準(zhǔn)確。一些食譜不要求精確性，而一些則要求精確性。就要求更加準(zhǔn)確的食譜來說，可以利用充當(dāng)例如計量器(scale)的反射工作
例如考慮示出具有直接稱重能力的工作板的圖9a，其中整個屏幕和工作面900或其一部分也被用作重量計量器。在這種情況下，表面900由在其背面具有3M vikuiti分散材料901的耐沖擊玻璃制成，并用4個支承件定位，圖中表示了其中的兩個支承件905和 906。支承件包含對力起反應(yīng)的壓電傳感器，其信號調(diào)節(jié)輸出由計算機(jī)920進(jìn)行分析。提供這樣的輸出信號，該輸出信號指示與當(dāng)工作面上沒有任何東西的情形(皮重情形)相比，由擱在工作面上的物體構(gòu)成的力的變化。此皮重情形可由本發(fā)明的傳感器感測，并且每當(dāng)存在時，取零讀數(shù)。當(dāng)屏幕的尺寸增大從而增大皮重時，系統(tǒng)也起作用，不過變得不太精確。歸因于在工作面上進(jìn)行的作業(yè)，換能器不斷被運(yùn)用。因此，出于此原因，工作面上的一小部分是更希望的，即使在這種情況下，某些區(qū)域中的投影被該部分的支承件阻擋。另外為了避免碎屑，圍繞周邊使用密封。
圖9b中表示了一種可替代的方法。在這種情況下，在整個屏幕和工作面960內(nèi)兩個撓曲部950和951支持上述類型的剛性透明但是漫射的稱重盤955，一個撓曲部951靠近屏幕側(cè)，以最少地破壞投影圖像。稱重盤因物體負(fù)荷而偏斜，所述偏斜被測量，可以利用在共同未決的申請中公開的傳感器或者利用其它裝置進(jìn)行該測量。撓曲部是鋼鐵或其它彈性材料，并且可針對期望的重量范圍而容易地選擇。這里的問題是落入縫隙中的碎屑(從而在多數(shù)情況下，需要密封環(huán))，以及在工作面要承受來自所進(jìn)行的作業(yè)的負(fù)荷的情況下與前一方法相比稍微有些脆弱的結(jié)構(gòu)。因此，這部分應(yīng)主要用于顯示(如果不是完全用于顯示的話)，或者用于擱置物體，而不施加重壓。
另一種可替代方案是使用薄橫截面的屏幕的一部分，從而放在其上的物體將使其像受負(fù)荷作用的薄膜那樣偏斜。如在其它共同未決的申請中所示，用攝像機(jī)測量該偏斜，并且在假定所述偏斜與作用力成比例并且已被預(yù)先校準(zhǔn)的情況下，根據(jù)測量結(jié)果確定重量。 這種方法的問題在于典型的屏幕材料不是特別有彈性。
本發(fā)明包含低成本的可更換工作板，在該工作板獲得過多的諸如在其上切菜而導(dǎo)致的磨損可更換。當(dāng)過度磨損時，通過利用已知的裝置(諸如螺釘、維可牢尼龍搭扣 (Velcro)等)能夠容易地把工作板從廚柜上取下，并換上新的或者重新磨光的工作板。另一個優(yōu)點在于工作面和屏幕包括其上面的任何旋鈕或其它控件可被容易地清潔，對于基于 LCD或其它平面顯示器的控制系統(tǒng)不存在此任務(wù)。此外，借助不會損壞工作面的材料的任何手段(諸如熱水、抗菌浴、放射性輻射等)，工作面可被消毒。這對于商業(yè)用途(諸如醫(yī)院廚房或者需要無菌設(shè)備的其它地方來說也是重要的。
為了延長工作面壽命并且和提供其它益處，可以使用抗刮擦材料(諸如尼龍或特氟龍(Teflon))。如果用于背面投影，那么屏幕需要是透光和漫射的。在一些情況下，構(gòu)件 150的材料可以形成用于投影應(yīng)用的體漫射體。例如，通過在諸如有機(jī)玻璃(Lucite)之類的透明塑料元件上涂覆或?qū)盈B薄薄的特氟龍或尼龍噴涂層，可以形成漫射但是耐用的屏眷ο
就背面投影來說，通過利用結(jié)合到屏幕表面中的微形狀，通常能夠優(yōu)先地沿著一個方向?qū)б饩€。一個例子是3M生產(chǎn)的TRAF微復(fù)制棱鏡膜(micro-implicated prismatic film)，它能夠把光以一定角度導(dǎo)引到島狀廚柜的一側(cè)，或者如圖1中所示，導(dǎo)引到島狀廚柜的兩側(cè)。當(dāng)靠近廚柜站立的人與工作面的表面法線成一定角度時，這是有益的?？梢晕⑿纬烧婊虮趁?，以使光優(yōu)先地射向與站立在廚柜(在島狀案臺中)周圍的人對應(yīng)的側(cè)面。 可以提供合乎情理的任意形狀的工作板(圓形，正方形，矩形，不規(guī)則形狀，菱形等)，可按要求投影任意圖案或顏色，并且如果希望的話，該顏色和圖案可以每天變化。
發(fā)明人的美國專利7084859和共同未決的申請'868已舉例說明了發(fā)明人的RTD 發(fā)明在浴室沐浴器以及存在水并且可對常規(guī)電子器件造成危害的其它地方的使用。圖10 示出在這種情況下對于浴室盆或廚房水槽固定件1000的另一種應(yīng)用，具有小型投影儀傳感器單元1010及觸摸和控制面1015，觸摸和控制面1015包括彎曲的顯示面并且具有物理控制輸入，在后者的情況下，所述物理控制輸入是借助旋鈕1020和在紙面內(nèi)的另一個旋鈕 (為清楚起見，未示出)實現(xiàn)的。如果需要，也可以提供單旋鈕系統(tǒng)來混合熱水和冷水。由于水是通過在計算機(jī)1030控制下啟動的閥門被控制的，計算機(jī)1030還控制表面1015(通常，由正面具有漫射表面或者背面具有3M vikuiti或者其它珠狀背面投影屏幕材料的有機(jī)玻璃或玻璃構(gòu)成)的感測和投影，因此當(dāng)傳感器/投影儀1010組合發(fā)覺液面過高時能夠自動關(guān)水，或者當(dāng)液面逼近設(shè)定點時能夠緩慢地使水減少。可以結(jié)合常規(guī)的熱敏電阻或其它溫度傳感器以感測水溫，并且自動控制(和顯示)用戶利用觸摸面1015設(shè)定的溫度。可替代地，如果需要，控制旋鈕1020可以把功能改變成溫度旋鈕。投影屏幕能夠顯示不同的語言，顏色等等。例如，它可顯示英語1021或意大利語1022。使用的攝像機(jī)或其它傳感器也可依據(jù)返回的圖像的變化確定液面，確定結(jié)果可被用于在液面超過限度時把水關(guān)掉。如在共同未決的申請中公開的那樣，可以設(shè)置屏幕上的可選觸摸輸入。例如，這樣的輸入可用在菜單中，以改變語言功能，改變最高溫度設(shè)定，要顯示的信息和其它特征。
圖11示出本發(fā)明的向下翻轉(zhuǎn)書房書桌實施例，還示出類似于圖2的壁裝式控制面。如圖所示，用戶的手指1100正在通過觸摸投影面1105來作出觸摸感應(yīng)命令，該觸摸投影面1105在連接到計算機(jī)1120的投影/感測模塊1110前面向下翻轉(zhuǎn)以便工作。如果希望的話，這繼而可結(jié)合壁裝式大屏幕設(shè)備1130 —起工作，壁裝式大屏幕設(shè)備1130能夠利用虛擬或真實控件，來操作受控物品(諸如可位于辦公桌附近的工廠設(shè)備)。這種下翻屏幕 (可替代地，可以從桌面向上翻)可用于多點觸控或其它應(yīng)用，以及啟動物理控件(如果存在的話)。如果蜂窩電話機(jī)投影儀變得普及的話，那么投影/感測模塊可便宜。該設(shè)備可以和普通鼠標(biāo)或其它輸入一起使用，能夠替代膝上型或桌面計算機(jī)。或者它可被看作膝上型計算機(jī)的輔助，用于特殊的觸摸或控制操作。
圖12進(jìn)一步示出在圖加中提出的一點，并示出在本發(fā)明的屏幕和工作面上使用的手指手勢和其它屏幕輸入。例如，圖1 示出工作面1200，在該工作面上利用用戶的左手(或其手指)把衣物的圖像1210移動到洗衣機(jī)的圖像1215上，以便開始也被拖動到洗衣機(jī)圖像1215中的“洗衣循環(huán)“e””。通過把右手的手指放在指示洗衣機(jī)(WASHER)的圖標(biāo)上，啟動洗衣機(jī)圖形控制圖像。由于感測允許多點觸摸，因此如果需要，左手和右手手指都能夠同時在屏幕上操作。如果需要，通常顯示觸摸圖標(biāo)的諸如洗衣機(jī)，干衣機(jī)等的各個位置可具有微小的浮凸部件，以幫助找到它們，如在圖Ic和共同未決的申請中所示。
圖12b示出屏幕上有住宅平面圖的控制面板1200。如果被適當(dāng)接口的話，那么每個房間中的燈和其它服務(wù)可被示出，并且可通過利用該面板的觸摸感應(yīng)能力被從該面板控制。通過觸摸條目或在其附近的控制圖標(biāo)，能夠改變狀態(tài)。
圖12c示出用戶利用其右手食指1242觸摸烤箱的虛擬圖形，而同時用其左手把餅干的圖形表示(或者這種情況下，真實的制餅干面團(tuán)1238)移動到烤箱圖形之上。這種情況下，用戶可先前已認(rèn)識到餅干要被烘焙，從而關(guān)于該溫度循環(huán)啟動烤箱。如果希望的話， 也可顯示來自因特網(wǎng)的食譜，從所述食譜可推導(dǎo)出烤箱溫度。手指1242對圖形1236的觸摸可被用于啟動烤箱，或者可替代地，把與餅干相關(guān)的圖形或者真實物體1238移動到烤箱圖形例如可被用于啟動烤箱。
存在當(dāng)廚房中的人不在控制面附近而想要進(jìn)行控制輸入時以他們的手勢作為輔助的潛在需要。攝像機(jī)能夠感測手勢，并利用相同的計算機(jī)和視覺程序來確定輸入?？臻g中的手勢或手指姿勢也可以和本發(fā)明一起使用。頂置式攝像機(jī)或傳感器/投影儀模塊(諸如130)、或者側(cè)裝式攝像機(jī)(諸如圖Ib中所示的攝像機(jī))可用于通過利用諸如手指頭之類的身體部位或者利用拿在手中的物體(比如平勺)來觀察人的手勢。在這里引為參考的共同未決的申請(包括11/186898和發(fā)明人的美國專利6750848)中已經(jīng)描述了各種計算機(jī)設(shè)施的這種基于手勢的控制。
在本申請中，存在幾種特殊情形。首先，頂置式攝像機(jī)能夠看到在工作面前面或者在工作面之上的手的移動，尤其是在顯示器照亮工作面的情況下。這種簡單的感測是兩維的，即攝像機(jī)的xy視場。從而從左到右移動手經(jīng)過該視場例如可構(gòu)成命令，比如關(guān)閉燃燒器，或者把屏幕的控制功能切換到洗衣房，或者顯示嬰兒房圖像等。也可這樣利用手指姿勢，并且?guī)缀醮嬖跓o限種可能性。不過要真正有用，手勢應(yīng)直觀。
如在共同未決的申請中教導(dǎo)的那樣，也可以利用攝像機(jī)來在多于兩維的維度中進(jìn)行查看，在用戶周圍的某物或者拿著的物體已知的情況下尤其如此。這可以是可用于求解單攝像機(jī)攝影測量方程式的特征位置，并且可以是例如一件衣服上或者諸如平底鍋，勺子之類的器具的人為特征。
如果屏幕僅僅適度漫射(例如，高增益背面投影屏幕)，也可從背面查看接近于屏幕的手勢。類似于在頭頂上，這也可包括觀察你何時把某物放在例如燃燒器上，和如果需要的話在該時刻啟動定時功能。
本發(fā)明的工作板也可用作或多或少平行于臺面的并且如在前文申請和專利中已提及的所示平面形式的書桌。用戶可以例如用以多點觸控法以操作由投影儀投影到其表面上的家庭照片，或者在另一個例子中，用戶可以實際利用該設(shè)備讀取用戶會放到屏幕上的文檔或其它數(shù)據(jù)。這是因為攝像機(jī)能夠?qū)崿F(xiàn)該功能，只要放置攝像機(jī)的部分有助于這種讀取即可。由于工作面可互換以及可洗，因而為此可以把平的或者在某個區(qū)域中平的漫射工作服務(wù)設(shè)施用于這些類型的計算機(jī)互動和文檔讀取。這從而允許使用該設(shè)備讀入可從食品雜貨店得到的收據(jù)，或者電話賬單，或者希望讀入計算機(jī)中的任何其它文檔。
工作板可以充當(dāng)在廚房中使用、或者如果該設(shè)備位于別處的話例如在書房中使用的桌子。該特定工作板可以與用作例如砧板的工作板互換，從而構(gòu)成更好的書寫或繪畫用表面，如前在共同未決的申請中所述，繪畫和書寫可由計算機(jī)確定，并被保存或傳送?？梢韵蛏蟽A斜工作面，直到使其更具有書桌的性質(zhì)。它可被平齊地嵌入廚柜或其它表面中，不過隨后當(dāng)希望以這種模式使用時被彈出，投影感測的景深可允許這種情況。
圖13示出本發(fā)明的可用于家中的老年人，殘疾者和需要某些幫助來監(jiān)測他們?nèi)粘Ｉ畹钠渌说牧硪环矫?。例如，通過尤其對于過去一直未做過飯的老年人使做飯變得不太困難，本發(fā)明的上述廚房工作面將在這方面有所幫助。它還提高了安全度，因為能夠用攝像機(jī)監(jiān)控廚房中的活動，并對危險的情形(比如水沸騰過長時間、爐子開著等)發(fā)出報警。事實上，如果需要，系統(tǒng)可以包括燃燒器和烤箱的自動關(guān)閉。
在這一點上，將詳述通常監(jiān)測家中的活動以幫助老年人和監(jiān)測他們保持良好狀態(tài)的思想。在現(xiàn)在舉例說明的例子中，本發(fā)明的攝像機(jī)系統(tǒng)被以與如上所述方式幾乎相同的方式使用，不過用于監(jiān)測在房中之人身上的簡單的近頂反射目標(biāo)的位置。(可替代地，在一些情況下，也可可靠地使用具有高對比度的著色目標(biāo))。在一定程度上，至少所述系統(tǒng)不會侵犯隱私，因為攝像機(jī)裝有紅外濾光片，從而由于除了來自目標(biāo)的紅外反射之外的亮度級低，因此不會拍攝人物本身的圖片。這具有許多優(yōu)點，主要在于它提供了常見的家居問題的低成本解決方案。例如，考慮具有4個房間的小型公寓1300。中央計算機(jī)1302，或者在遠(yuǎn)程服務(wù)器上的計算機(jī)不斷監(jiān)視在這4個房間中的4部(或者更多的)攝像機(jī)1305-1308，該攝像機(jī)被安置成查看房間，至少安置在使用區(qū)中。在本例中，攝像機(jī)與計算機(jī)1302無線連接，但是攝像機(jī)可以是便宜的易于與計算機(jī)連接的菊鏈?zhǔn)綆щ娋€攝像機(jī)。
目的是精確地跟蹤人上的一個或多個特征(典型地但非必需的，高對比度人造目標(biāo))，以便注意到摔倒；偏離正常路線(比如到浴室的路徑)，一天的頻次；異常動作(比如走路不穩(wěn)、點頭過多)。攝像機(jī)也可用于安全用途。本發(fā)明不僅能夠注意到人的移動，而且能夠注意到空間中的物體的移動，比如門的打開，馬桶座圈的升降，廚房器具的使用等等。
如在前面引用的申請中指出的那樣，個人可具有環(huán)繞或貼附在個人身體的各個部位或者與個人相關(guān)的物體上的反光材料或高對比度著色材料。這些包括環(huán)繞腳踝和手腕的套圈、頭飾帶，或者也可使諸如&0切1! light 7615之類的目標(biāo)材料成為衣服的一部分，例如顯示某些區(qū)域的外形輪廓，簡單地充當(dāng)裝飾等等。
一種簡單的應(yīng)用是房屋中的人1301戴著具有單一反光目標(biāo)1303的帽子或者某種其它東西(比如假發(fā))。在該人未睡覺時，位于公寓的各個房間的各個上方角落中的攝像機(jī)1305，1306，1307和1308可看見該目標(biāo)。攝像機(jī)一般也采用近IR光源(例如，880nm，為清楚起見未示出)。目標(biāo)物保留在人頭部，和在他們?nèi)ネ姆课镏懈魈帟r在房屋中的各處。 如果人突然摔倒，那么能夠看到該目標(biāo)物。看到的目標(biāo)物會被看到在視場中掉落，然后或者可能根本不可見，或者肯定會固定不動一會兒或者保持固定不動。這種識別標(biāo)志可用于預(yù)測可能的摔倒，從而發(fā)出提醒看護(hù)者可能發(fā)生某事的聲音報警。這種情況下，為了避免錯誤報警和必須使某人立即到達(dá)現(xiàn)場，TV攝像機(jī)從紅外照明模式變成可見光照明模式，并產(chǎn)生該房間的常規(guī)圖像，第一圖像是發(fā)生的事件的數(shù)據(jù)?？醋o(hù)者隨后能夠查看該圖像，了解是否發(fā)生了不好的事情，或關(guān)于那一點確保人實際上在所述房間中。如果該人不在所述房間中， 那么也可按照這種方式查看其它房間。
對紅外照明的需要是為了使整個系統(tǒng)對房屋中的人來說不觸目。紅外照明還允許系統(tǒng)在不希望點亮任何可見光的夜間工作。如果攝像機(jī)也要被用于拍攝視像，假定需要彩色圖像，那么必須移開用在攝像機(jī)上的任何紅外帶通濾光片。如果頂圖像就夠了，那么可以僅僅提高頂能量，直到產(chǎn)生令人滿意的足以識別問題的頂曝光。這方面對于確定 Alzheimer患者和其它癡呆癥患者是否在正確地方同樣重要。
反光材料還可用于衣服上的棱紋或其它裝飾。對許多老年人來說，上面具有呼叫按鈕的吊掛項鏈?zhǔn)窍Ｍ?。項鏈本身可由反光的繩狀或帶狀材料制成，可在人的脖子周圍以及從正面以及背面看到所述項鏈，假定衣領(lǐng)不會阻擋視線。
這樣，可精確地看見和記錄作為移動結(jié)果的各種光學(xué)識別標(biāo)志。例如，可以記錄比方說起床和夜晚上盥洗室之類日?；顒拥淖R別標(biāo)志。這具有在床鋪之外的移動的正常識別標(biāo)志，假定適當(dāng)?shù)哪繕?biāo)或清楚可見的自然特征位于人身上，而在床上例如作為睡衣的一部分?？梢愿櫟筋孪词业囊苿?，包括門的打開，門本身也可作為目標(biāo)，諸如具有也能夠被攝像機(jī)1307看到的目標(biāo)1321的門1320。能夠被作為目標(biāo)的其它東西可以是任何事物，尤其是日常生活依賴于的那些物品。例如，廁所構(gòu)件，水龍頭，廚房中的各種器具，爐灶等等。簡而言之，可能與人的行為或安全有關(guān)并且在導(dǎo)致某類問題的行為的潛在異常的意義上需要被監(jiān)視的任何事物。電冰箱門1340是具有能夠被廚房中的攝像機(jī)1306觀察到的目標(biāo)1341 的另一個事物。
目標(biāo)都不必是特別突出的，因為它們不必清楚地反射可見光。即使它們將與可見光攝像機(jī)一起使用，它們也可是小的和/或是裝飾性的。
這樣，本發(fā)明成本非常低，因為攝像機(jī)和光源或廉價的中控計算機(jī)1302也可用于家中的其它用途，和通過因特網(wǎng)與看護(hù)者的PC通信，事實上在1302中用于分析目標(biāo)或其它圖像的機(jī)器視覺處理中的一些也可用于其它任務(wù)。這些任務(wù)之一是在Peter Smith和發(fā)明人的專利申請“PERSONAL INTERFACES FOR INDEPENDENT LIVINGAND HEALTH”中所示的“郵箱(postbox)”或活頁夾方法。實質(zhì)上相同的設(shè)備的另一種可能應(yīng)用是用于上面的基于鍛煉的游戲，其中傳感器能夠監(jiān)視在鍛煉時的人的活動。
在上面的申請中，我們給出了在人頭頂上的單一目標(biāo)的例子。對于該位置的要點在于其能夠被在房間角落的頂置式攝像機(jī)看到。不過，存在許多其它可能的目標(biāo)位置。事實上，在人身上可能存在不止一個目標(biāo)。在受到一些遮蔽或者目標(biāo)之一有問題時，這也允許從不同有利位置查看以及查看不同的活動。
例如，存在某些種類的能夠指示可通過按照這種方式使用本發(fā)明看出的某些醫(yī)療問題的活動，比如從坐下到站起之后的步行。由于房間中的床可被作為目標(biāo)，因此也能夠看見該人是否在床上或其附近，而不必獲得完整的房間圖像。也可查看人的不穩(wěn)定動作，尤其是如果人身上的多個目標(biāo)點被作為目標(biāo)的情況。應(yīng)注意，微小的閃光LEO也能夠構(gòu)成目標(biāo)， 不過需要電池供電并且更引人注意。
藥物分配單元。對于身體不靈巧或者受損的人以及進(jìn)行多個醫(yī)療療程或復(fù)雜醫(yī)療療程的人來說，還存在利用攝像機(jī)傳感器觀察服藥的應(yīng)用，服藥對家中的許多老年人(尤其是輕度或中度癡呆的老年人)來說也是問題。這也歸因于他們在一天的不同時間服用的藥物的數(shù)目和種類，因為計算機(jī)注意到該時間，并且連接到計算機(jī)的攝像機(jī)能夠看到藥箱， 比如包括帶有易于看見的目標(biāo)的門(例如，帶有目標(biāo)1365的門1361)的藥箱1360。能夠確定人在什么時候走到藥箱面前以及哪些門被打開。如果打開了錯誤的門，并且攝像機(jī)未被遮擋以致看不到該門，那么可以發(fā)生某種聲音，所述聲音可向該人指出他拿的是對于該時間來說是錯誤的藥。這絕不是小問題，因為可能在一天的不同時間有15種不同的藥丸。本發(fā)明可能不能做你希望的任何事，比如當(dāng)人把藥丸放入嘴中時，實際計數(shù)藥丸的數(shù)目。不過本發(fā)明至少開始著手解決該問題。并且通過使門每次只分發(fā)一顆藥丸，在一定程度上能夠解決該問題。因此，然后必須記錄人是否將在一天中的門必須被開關(guān)3次的時間服下3顆某種類型的350mg藥丸。攝像機(jī)和計算機(jī)能夠容易地看見和進(jìn)行該任務(wù)。應(yīng)注意，與常規(guī)類型的自動藥物分配器相比，認(rèn)為本系統(tǒng)被認(rèn)為花費(fèi)不大。
一種更復(fù)雜的機(jī)器視覺形式的攝像機(jī)可看到人的手指或其它數(shù)據(jù)，比如在人的衣袖上的目標(biāo)或其它部件，并且注意到在伸入藥箱之后，人把手指抬起至少放到其嘴邊，指示藥物已被服下。甚至更準(zhǔn)確的是，如果第一部攝像機(jī)不能進(jìn)行觀察的話，如同未被定位成觀察從藥箱1360取藥的人的臉部的攝像機(jī)1305的情況，利用設(shè)置成查看人的手指和面部的可選的第二部攝像機(jī)，直接觀察該人。
雖然本發(fā)明的基于機(jī)器視覺的攝像機(jī)系統(tǒng)不能容易地測量人的生命特征，不過可用于提醒人去往公寓中能夠測量體溫或脈搏或其它變量的地方。而且，能夠觀察到人實際把其手臂放入血壓計或者其它機(jī)器中，從而量取例如脈搏。同樣，如果人與反光目標(biāo)或其它高對比度部件合作，那么能夠容易地完成該任務(wù)。甚至這些應(yīng)用中的一些應(yīng)用的人的普通特征可原樣利用機(jī)器視覺被經(jīng)濟(jì)地處理。不過，反光體有助于監(jiān)視夜間的紅外運(yùn)動，以及使系統(tǒng)簡單有效。
安全運(yùn)行。應(yīng)注意，這種形式的系統(tǒng)是安全的。即，如果不能看到預(yù)期在人身上的目標(biāo)，那么基本上可聽到警報(例如，通過因特網(wǎng)向看護(hù)者警報)，以再次人工檢查圖像，從而確保事情正常。換句話說，如果目標(biāo)看不到，那么系統(tǒng)不能報告令人滿意的信息?？醋o(hù)者可通過簡單地遠(yuǎn)程查看圖像來超馳該系統(tǒng)，并且或許還可檢查紅外圖像以及了解目標(biāo)不見了的原因。例如，可能是人例如在帽子上插上花，而花蓋住所述目標(biāo)的某種意外事件。
除了在某類報警的情況下使攝像機(jī)切換到圖像之外，計算機(jī)還可開啟麥克風(fēng)，以及記錄正在發(fā)生的事。這也可用于監(jiān)聽心音或肺音，如果麥克風(fēng)能夠辨別它們的話，使得或許可聽出典型肺炎或充血問題。本發(fā)明中的攝像機(jī)系統(tǒng)允許在現(xiàn)場的護(hù)士傳送高清晰度的傷口圖像。
獲得的數(shù)據(jù)的分析可完全由自動化裝置進(jìn)行，并且在一些情況下，能夠提供人體機(jī)能的評估。例如，一種評估可以是從扶椅站起來所用的時間，如果感測系統(tǒng)能夠看到指示該機(jī)能的關(guān)于人向上移動的數(shù)據(jù)，那么能夠確定該時間。過慢、躊躇，軀干的異常動作，或者上肢搖晃蹣跚-所有這些事情可被加入到評估程序中以便將來確定該患者可能的情況，以及只是監(jiān)測到未發(fā)生任何不當(dāng)之事。也可利用本發(fā)明監(jiān)視家務(wù)雜事或者每天重復(fù)進(jìn)行的另一活動的熟練和反應(yīng)時間。
關(guān)于家庭應(yīng)用已經(jīng)描述了本發(fā)明的食物準(zhǔn)備方面。不過，本發(fā)明的許多方面也可用在飯店廚房和其它商業(yè)設(shè)施中。另外，雖然已經(jīng)主要討論了大的用具，不過，工作板代表的控制中心也可控制較小的用具，如果這樣的較小用具適合于通信的話。例子可以是攪拌器，微波爐，華夫烙餅?zāi)５?。它們也可以是廚房外的電氣服務(wù)設(shè)施，比如車庫門，在住宅的任何部分處的燈或攝像機(jī)，等等。
另外注意，在圖12的例子中，還可以在工作面上玩游戲。如在發(fā)明人的共同未決的申請和引用發(fā)明(例如10/934762和11/980722)中公開的那樣，通過把棋盤投影到工作面上，并感測紅色或黑色的跳棋棋子或者白色或黑色的國際象棋棋子，也能夠用真實的棋子玩經(jīng)典游戲。甚至能夠感測常見的廚房物品，并把它們保存為棋子。例如，你可告訴系統(tǒng)鹽瓶(其圖像由包括在光學(xué)投影儀和傳感器模塊105中的攝像機(jī)獲得和保存，并利用諸如 Matrox MIL之類的計算機(jī)算法視覺程序被識別)是國際象棋中的象。當(dāng)攝像機(jī)隨后獲得鹽瓶圖像時，它被識別為一個人的象，諸如此類?；蛘吣憧梢耘c計算機(jī)對弈，計算機(jī)會為其走棋而在屏幕上生成虛擬圖形。也可玩所有虛擬生成的游戲。這種游戲活動能力允許廚柜在飯后起到作為游戲桌的雙重用途，從而玩虛擬圖形呈現(xiàn)的游戲，或者另一方面，利用諸如光電感測的或以其它方式感測的推盤游戲撞球之類的真實物體玩游戲，如在發(fā)明人的共同未決的申請中所示。
下面的實施例討論對于家庭和用具的其它應(yīng)用。應(yīng)注意，存在通過在本申請和發(fā)明人的共同未決的申請以及在先專利中的公開可實現(xiàn)的各種信息顯示和控制互動可能性
例如，通過利用在數(shù)百流明或以上的范圍中的基于LED的顯示器，現(xiàn)在能夠經(jīng)濟(jì)地(例如，1000美元以下)以低成本正面投影信息。在多數(shù)家庭條件下，這足以觀看大的圖像。成本取決于總流明數(shù)和對廣角透鏡(如果需要的話)的要求。與投射比(throw ratio) 大于0. 6的廣角透鏡相比，投射比小于0. 6的廣角透鏡通常生產(chǎn)費(fèi)用更高，并且為了處理失真和作為結(jié)果的其它因素，還需要更多的計算機(jī)圖像校正。
可以在臺面上的或者構(gòu)成用具的一部分諸如冰箱門或者洗衣機(jī)頂面的屏幕上進(jìn)行正面投影。另一方面，可以正面投影到能夠被機(jī)動化以便從爐灶或水槽垂直升起的屏幕上。應(yīng)用這種投影的基本要求是被投影的表面應(yīng)是足以適應(yīng)這種應(yīng)用的漫射和反射表面， 并且所述表面通常沒有會妨礙投影的圖像的物體。不過，在一些情況下，這樣的物體(包括手和手指)具有發(fā)信號或控制用途。除了投影用于信息娛樂和控制用途的信息之外，本發(fā)明中采用的設(shè)備能夠通過利用攝像機(jī)(或者其他光電傳感器)感測屏幕上的旋鈕或開關(guān)或其它控制特征件。所述攝像機(jī)可以位于投影儀殼體中(如果需要的話)，或者位于別處，例如在側(cè)面，以沿著投影方向而不是垂直于投影方向提供視圖。下面將在幾個附圖中表示這種正面投影的例子。
除了提供有用的信息和控制特征之外，還需要減少廚房中的不必要的重復(fù)勞動， 尤其是浪費(fèi)時間的攪拌和混合作業(yè)有關(guān)的重復(fù)勞動，該時間可以更好地花費(fèi)在其它活動上。在一些情況下，攪拌還產(chǎn)生潛在的安全危險。另外，在灶臺上可存在許多其它與安全有關(guān)的狀況，通過應(yīng)用機(jī)器視覺技術(shù)能夠幫助該狀況。
圖14示出本發(fā)明的一個實施例，所述實施例利用(通過配線或無線地)連接到諸如計算機(jī)1410之類的計算機(jī)的抽油煙機(jī)1405中的一部或多部攝像機(jī)(諸如1401)，該計算機(jī)可以是獨立的，或者內(nèi)置于諸如爐灶1415之類的用具中。攝像機(jī)和計算機(jī)系統(tǒng)可用于監(jiān)視在爐灶頂部的活動，還可用于控制可用于攪拌在爐灶頂部上的鍋(諸如1425)中的物體的機(jī)器人(比如1420)?；旌蠙C(jī)器人還可沿著另一方向被轉(zhuǎn)到相鄰的廚柜和抽屜單元1416， 并且例如通過將其降低到壺1417中用作飲料或其它東西的混合器。可通過利用室內(nèi)光線或者利用專用光源(比如以820nm的波長工作的頂LED光源403)提供照明。如果使用這樣的光源，那么攝像機(jī)可包含只使該波長通過的帶通濾光片，使系統(tǒng)相對而言不受室內(nèi)光線變化的影響。當(dāng)使用例如特殊的反光物體時這是有益的(例如，參見發(fā)明人的共同未決的申請)，該反光物體例如可以在諸如機(jī)械臂1420之類的物體上。如果需要，可以使用3D 攝像機(jī)(比如Canesta公司生產(chǎn)的飛行時間Iidar式3D攝像機(jī))，或者利用在爐灶兩側(cè)的立體攝像機(jī)對(比如1407和1408)以獲取爐灶。
具有相關(guān)計算機(jī)1410的這種攝像機(jī)系統(tǒng)可用于確定在平底鍋中存在沸水，并且向用戶提醒這種情形(或者不存在沸水，或者不同的沸騰程度)。通過利用在PC計算機(jī) 1410上運(yùn)行的Matrox MIL視覺庫中的已知機(jī)器視覺算法(或者其它適當(dāng)?shù)膶Ｓ脵C(jī)器視覺系統(tǒng)諸如Cognex公司的機(jī)器視覺系統(tǒng))，所述攝像機(jī)系統(tǒng)能夠看見爐灶上的鍋柄位置，以及不應(yīng)在該處的物體的存在，比如兒童的手臂，并且諸如利用與計算機(jī)1410連接的揚(yáng)聲器 1412發(fā)出聲音報警。當(dāng)鍋柄1431被檢測到在爐灶邊界之外并且因而可能被經(jīng)過的人撞到， 或者被小孩抓到時，也可發(fā)生這種聲音報警。揚(yáng)聲器也可用于娛樂或者與用于向爐灶的適當(dāng)漫射表面投影的投影儀1452或者可替代的或可選的投影儀(為清楚起見，沒有示出)相關(guān)的信息，該可替代的或可選的投影儀用于向屏幕1460(虛線)上投影，屏幕1460可以被下拉，被機(jī)動化從而響應(yīng)命令而降下來，或者內(nèi)置于抽油煙機(jī)中。如在發(fā)明人的共同未決申請11/980722的圖10及其它圖中所示，例如，可通過在投影儀殼體中或者別處的攝像機(jī)或其它光電傳感器來關(guān)于指示點1465的位置感測旋鈕1461 (虛線)。
基于攝像機(jī)和計算機(jī)的機(jī)器視覺系統(tǒng)也可用于控制可用于攪拌的機(jī)器人1420。 該機(jī)器人可以位于爐灶本身中，可被拉起和降低到其內(nèi)容將被攪拌的鍋1425中?？蛇x地， 如虛線所示，該機(jī)器人也可沿著另一方向被轉(zhuǎn)到相鄰的廚柜并且用作混合器。雖然這里顯示有圍繞馬達(dá)(為清楚起見而未示出)驅(qū)動的軸1423旋轉(zhuǎn)的混合槳葉1421。不過可希望地是，能夠以負(fù)擔(dān)得起的費(fèi)用機(jī)械實現(xiàn)槳葉或其它混合元件被驅(qū)動進(jìn)行偏心運(yùn)動、或者圖8 的運(yùn)動、或者其它運(yùn)動。
還需要可提高家庭系統(tǒng)、尤其是烤箱/爐灶的操作的安全性的設(shè)備。當(dāng)鼓勵更多的老年人和殘疾人在家中生活時尤其如此。對視力受損或者承受壓力的人來說，還需要更容易查看的、更容易操作的并且不易搞得心煩意亂的控制。
圖15示出圖加的一種形式，其中iPhone(蘋果手機(jī))1510或其它智能電話與如圖 1教導(dǎo)的本發(fā)明相連接，其屏幕圖像1500被直接映射到工作面上(可選地，處于橫向模式 1505)，并且通過觸摸工作面，直接控制電話及其功能。在這種情況下，不僅能夠控制iPhone 的各種功能本身，而且能夠控制當(dāng)該設(shè)備插入諸如插槽280中或者用其它手段(諸如藍(lán)牙、 USB、WIFI等)被連接時激活的任何特殊功能。這種情況下，iWione被示出成插入廚柜中的插槽中。
圖15的一種變形是以圖Ic的開關(guān)156或旋鈕157的方式，利用工作面上的物理控件，可實現(xiàn)諸如播放列表滾動的控制的控制特征。
圖16進(jìn)一步示出與圖14的設(shè)備相關(guān)的感測技術(shù)?？紤]通過攝像機(jī)1401(諸如 Logitech公司生產(chǎn)的具有1. 3百萬像素的CMOS網(wǎng)絡(luò)攝像機(jī))拍攝的爐灶頂部及其周圍環(huán)境的圖像1600。在照明充分的情況下，該攝像機(jī)能夠至少一秒30次獲得該圖像，如果室內(nèi)照明不足，如所述那樣，所述照明可用諸如1403之類的LED提供。
在第一應(yīng)用例子中，攝像機(jī)被用于在一個或多個爐灶燃燒器上的平底鍋中的沸騰狀態(tài)，所述爐灶燃燒器的圖像是1620,1625和用虛線表示的1630(當(dāng)被平底鍋1635遮住時)。如果爐子控件和攝像機(jī)由公共計算機(jī)系統(tǒng)(比如1410)控制，那么當(dāng)燃燒器開啟時， 攝像機(jī)可用于查看燃燒器的圖像區(qū)域。檢測在其上的平底鍋圖像，這指示需要關(guān)于沸騰狀況監(jiān)視平底鍋。另外感測的(并且與諸如通過揚(yáng)聲器1412可聽到的報警功能連接)是燃燒器開啟、而平底鍋未放在其上的狀況。這通常是不希望的，尤其是如果已過去過多的時間。
感測的第二件事是平底鍋中的水或其它液體及其沸騰狀態(tài)。這可通過查看放置所有平底鍋的燃燒器的中央?yún)^(qū)域(例如，1650)中的圖像區(qū)1637，并分析水中的氣泡對圖像的影響來確定。圖像中的空間頻率變化越高，氣泡越多，從而沸騰狀態(tài)越高。例如，橫跨燃燒器1630上的攝像機(jī)視場關(guān)注區(qū)域(ROI)的中央?yún)^(qū)域(平底鍋圖像1635存在于該區(qū)域)的圖像的線AA的圖像軌跡1640在其上具有指示沸騰的高頻率噪聲1650，而圖像跡1645則不。可替代地或者附加地，可通過連續(xù)地減去該區(qū)域中的平底鍋液體的圖像以基于時間的方式分析這種變化。
沸騰水監(jiān)視器中的最簡單動作是發(fā)出水正沸騰的音頻或可視報警。不過，當(dāng)自動連接到爐灶時，實際上能夠以各種方式降低加熱，例如減小到低沸騰狀態(tài)，或者甚至完全關(guān)閉燃燒器。相反，如果水被認(rèn)為沸騰而實際上沒有沸騰，那么也可用信號發(fā)生報警。
另外還注意，攝像機(jī)可具有與之相關(guān)的它自己的微計算機(jī)，以便獨立于爐灶控制來處理圖像和聲音報警。這種情況下，持續(xù)地關(guān)注三個燃燒器區(qū)域，并確定平底鍋圖像(如果有的話)。平底鍋圖像通常是反射背景上的暗環(huán)。作為一個處理例子，如果存在平底鍋圖像，那么感測該平底鍋中的沸騰狀況。
攝像機(jī)系統(tǒng)的另一個主要應(yīng)用是安全性。這里的主要問題是感測爐子上的異常情況，諸如人進(jìn)入爐子范圍，燃燒器開啟但是未放置平底鍋，以及平底鍋(諸如1635)的鍋柄危險地伸出爐灶邊緣從而可能被小孩碰到。
捕獲爐子頂部的關(guān)注區(qū)域及剛好在它外側(cè)的區(qū)域的圖像。如圖像1600中所示，通過分析該圖像可確定鍋柄伸出邊緣，其中鍋柄圖像1627明顯與爐灶邊緣的圖像16 相交。
持續(xù)一分鐘的若干分之一或更長時間的靜態(tài)情形諸如鍋柄易于確定，并且通常可與食物準(zhǔn)備活動中在爐子周圍的正常動作區(qū)分開。在不誤報警的情況下更難以確定的是是否有不應(yīng)出現(xiàn)在那里的某物進(jìn)入或離開該空間。簡單地處理這種情況的一種方法是當(dāng)廚師離開爐灶的范圍時，設(shè)定警報。從而，進(jìn)入爐灶1600圖像的周邊的任何物體都會被視作報警的理由。
也比較簡單的第二種方法是認(rèn)為大于一定值的物體不能在爐灶的范圍中存在任何相當(dāng)長的時間。這還可排除通常圓形的物體，比如平底鍋。例如本質(zhì)上非圓的大于手臂的物體可導(dǎo)致報警。第三種方法是尋找某些運(yùn)動比如攪拌，并把這些排除在報警之外。第四種方法是利用攝像機(jī)的顏色感測能力，尋找顏色尤其是肉色?？山⑦@種報警的精確方式通常取決于在活動的正常過程中預(yù)期有什么，家中的孩子的年齡，和廚師的習(xí)慣。如果所有平底鍋和爐灶頂部都不是肉色，那么更易于辨別人在爐灶和燃燒器附近的存在。
圖17示出用于爐灶控制和各種娛樂的背面投影實施例。在這個例子中，關(guān)于爐灶1720的控制和使用，舉例說明了幾種新特征。如在共同未決的申請中教導(dǎo)的包含帶有廣角透鏡的LED投影儀和相關(guān)聯(lián)的感測攝像機(jī)和顯示器和設(shè)備控制計算機(jī)的背面投影引擎 1700在陰涼區(qū)域中向上在抽油煙機(jī)1701(或者可替代的，微波爐)中或附近(如發(fā)明人在共同未決的申請中關(guān)于其它用途教導(dǎo)的那樣)。在背面投影屏幕部分1710上存在控件，這種情況下為常見的旋鈕和開關(guān)(諸如旋鈕1711)?？丶梢允俏锢砜丶?也由耐熱材料制成，如果不需要透過它們投影的話，所述材料甚至可以不透明)。屏幕是耐熱玻璃或者能夠經(jīng)受來自燃燒器和烤箱的熱的其它透明材料。如在別處和在共同未決的申請中教導(dǎo)的那樣，也可借助觸摸或手勢實現(xiàn)控制。因特網(wǎng)或其它數(shù)據(jù)連接1715通過著名廚師、影星或任何其它希望的場景的實際大小圖像，視頻或靜止圖像，允許進(jìn)行食譜、指令和社交互動。也可包括如下所述的確定人的動作的可選攝像機(jī)1740。
圖18a是正面投影實施例，包括廚房中的一個或多個人的特性或動作的感測，其中人1800正在島狀案臺式廚柜1805前工作，并且優(yōu)選地顯示實際大小的圖像的屏幕設(shè)置在冰箱1815的上部冷凍室部分上。
如在本申請中的其它地方描述的，頂置式視頻投影儀1820可用于投影TV圖像、來自因特網(wǎng)的食譜和其它信息。這種情況下附接到投影儀(或者與投影儀并置)的攝像機(jī) 1822和控制投影儀的計算機(jī)(為清楚起見而未示出)感測在冰箱1801的正面上的控件，比如旋鈕1812。旋鈕和其它物理控件，以及觸摸例如參見共同未決的申請諸如11/980722的圖10和其它附圖。
另外示出的是向外注視廚房中的一個或多個人的攝像機(jī)1830。該攝像機(jī)能夠感測人1800所做出的頭部，手或面部姿態(tài)，在其圖像被處理以確定所述姿態(tài)之后，該姿態(tài)可被用于控制頂置式投影儀1820的TV圖像。還示出了可替代的下翻式屏幕1811 (在不希望在冰箱門上具有屏幕的情況下)。該屏幕可在冰箱上方，或者可以是覆蓋冰箱及上面的碗柜的大屏幕。
在本實施例中，姿態(tài)和話音識別被用于與位于抽油煙機(jī)或另一位置的攝像機(jī)通信。另外，廚房中的一個或多個人的其它特性也可被感測，并用作控制顯示器、揚(yáng)聲器、用具或其它設(shè)備的程序的輸入。這樣的特性可以是人臉上的微笑的存在、人的身份、人手中拿著的器具(比如平勺或攪拌碗)等等。也可使用專門的易于檢測的物體，比如上面具有特殊圖形或顏色的閃光卡。這能夠產(chǎn)生魯棒的信號化和控制系統(tǒng)，而不需要大量的計算機(jī)處理。 不過應(yīng)注意，當(dāng)從攝像機(jī)1822觀察時，背景典型地是恒定的，或者當(dāng)從攝像機(jī)1830觀察時， 背景不那么恒定。從而，具有和不具有信號化條目的圖像的減法應(yīng)使得其更容易辨別。
圖18b是面對冰箱的正視圖，示出在冰箱1815上部的具備屏幕1810的冷凍室部分1840。該屏幕可以是永久的或者臨時的，并且可根據(jù)需要取下。
圖18c是用正視圖和側(cè)視圖表示的另一個冰箱實施例。這種情況下，它采用在冷凍室下置式冰箱的門1876上的屏幕1890，從而允許利用座架1881中的投影儀1880(如果希望的話，帶有可選的光電傳感器單元)，在冰箱門上顯示準(zhǔn)全長的基本逼真的圖像1875。雖然投影儀可被安裝在天花板上，不過這種情況下，投影儀被安裝在冰箱的頂部，傾斜地投影到在冰箱門的正面上的屏幕表面上。在一些可替代情況中，這樣的投影儀可以安裝在側(cè)面或者安裝在墻上，并且傾斜地側(cè)向投影到屏幕上。
圖19進(jìn)一步示出采用在廚房、浴室、洗衣房或人可能在該處工作的其它地方的水槽之后的正面投影顯示的實施例中的人機(jī)互動。如圖所示，人1900在廚柜1911中的廚房水槽1910前工作。在頭上可以有或者可以沒有碗柜1915，不過通常在上方且靠一邊或者另一邊存在至少有一個碗柜。如在上面的圖18的實施例中那樣，投影儀1920把信息投影到屏幕1925上，并且如果需要的化，一體化攝像機(jī)或其它感測能力可感測屏幕上的控制位置，以控制附近的相關(guān)設(shè)備，比如洗碗機(jī)，垃圾處理器或垃圾壓實機(jī)。類似地，數(shù)據(jù)可被操作或顯示，受監(jiān)視或控制的家中的其它活動也如上所述。
還示出的是添加的控制模式，和本發(fā)明的獨特社會交互方面。對于這種控制，攝像機(jī)1940被設(shè)置成附接在碗柜上，如圖所示?？商娲鼗蛘吒郊拥?，攝像機(jī)1945可如提及的那樣與投影儀相關(guān)聯(lián)，該攝像機(jī)也可觀察人以及在屏幕上的物體。攝像機(jī)和投影儀通過配線(未示出)或者無線地連接到控制計算機(jī)1950。一個或多個攝像機(jī)可以是2D或3D類型的攝像機(jī)?；蛘邇烧叩慕M合?？筛鶕?jù)需要提供諸如頂LED之類的輔助光源，以幫助可以采用的攝像機(jī)中的任一個或兩者的信號檢測。
如前所述的優(yōu)點在于本發(fā)明的屏幕能夠在這種環(huán)境中成功工作，而沒有電氣危險。所述屏幕可被濺水而不會受損，甚至能夠抵擋鍋柄，銀器等的適當(dāng)碰撞。
如上所述，本發(fā)明的一個目的是增強(qiáng)烹飪和廚房活動的社會特征。獲得實物大小的圖像增強(qiáng)了與其圖像被顯示的人物的互動感，該圖像被顯示的人物可以是家庭成員，影星，著名廚師或者甚至寵物。如上所述，所述互動可以是借助手勢或話音(借助麥克風(fēng)I960 和話音識別軟件)，其圖像被顯示的人物繼而可通過諸如1965的揚(yáng)聲器與用戶談話。顯示的圖像可以是經(jīng)由例如Skype TV到驅(qū)動投影儀1920，并根據(jù)需要與揚(yáng)聲器、因特網(wǎng)和麥克風(fēng)接口的計算機(jī)1950的直播圖像。
除了物理控件位置諸如旋鈕旋轉(zhuǎn)位置的感測之外，本實施例的攝像機(jī)還有兩種主要的附加用途。第一附加用途是查看人的手勢或控制物體，以便導(dǎo)致某些動作，例如改變投影儀的TV頻道，或者控制爐灶以關(guān)閉燃燒器。例如，一種簡單情況是如果人1900想要指示屏幕1925上的投影圖標(biāo)框1960(用虛線表示)。在這個例子中，他們僅僅抬起他們的手 1955，直到手擋住對該圖標(biāo)框的投影，攝像機(jī)1945感測該阻擋情況，該攝像機(jī)1945感測到投影圖標(biāo)框的不存在。只要選擇項相對少以致不會模糊，那么這就會運(yùn)行良好。應(yīng)注意，如果手1955高度可見，那么能夠感測到手本身或手中的物體。不過該人對這意味著什么沒有任何參考，除非它是空間的運(yùn)動手勢，比方說以S形運(yùn)動擺手。例如，攝像機(jī)1940或攝像機(jī) 1945能夠感測到這種運(yùn)動。假定問題是從用戶互動的觀點看，看起來更好的是僅僅阻擋屏幕上的事物。標(biāo)準(zhǔn)會是在附圖的垂直方向上的被阻擋的最上部投影圖像圖形為答案。這假設(shè)該人正在從屏幕的底部逼近，這種情況下歸因于投影的角度，人實際上(并且有益的是) 在進(jìn)出紙面的方向或者說ζ方向上。如果類似于圖18，投影儀高度傾斜地投影，那么會不太像這樣。
也可利用攝像機(jī)1945或1940來觀察人可能舉起以指示控制功能的物體。這可以是人體的部位，比如頭，手或手指，或者可以是拿在手中的某物。例如，如果計算機(jī)識別到人正在晃動勺子，這可以是開啟TV投影的編程指示。
除了控制活動之外，攝像機(jī)和計算機(jī)1950中的相關(guān)機(jī)器視覺程序也可用于感測其它事情，例如，在廚房(或者其它房間，如果在那里采用本發(fā)明的話)中的一個或多個人的狀態(tài)。感測到的這種狀態(tài)可以是人是否在微笑或皺眉等等。如果人在進(jìn)行某種動作，比如點頭，轉(zhuǎn)頭或者飛吻，那么此動作能夠被感測。能夠感測服裝類物體諸如外衣上的圖案， 或者服裝的種類諸如橡膠手套或圍裙。
對社交互動，系統(tǒng)能夠這樣地觀察人，并且或許實時來自因特網(wǎng)來源的程序可評論他們的服裝或他們的服飾，以了解某位朋友是否出現(xiàn)在他們面前，并通過經(jīng)揚(yáng)聲器談話以及借助麥克風(fēng)及話音識別程序排除除來自他們之外的信息，使系統(tǒng)可以是交互的。計算機(jī)也可以在能夠通過因特網(wǎng)連接到在別處的某物的地點。這種能力允許某人在洗碗時進(jìn)行交互式視頻會話，與真實的某人(比如其圖像被投影到屏幕上的家庭成員)或者某個錄音或動畫視頻體驗或游戲中的某人談話。
某些水槽在它們之上具有窗戶。如果存在為向外觀看而需要的窗戶(或者在浴室的情況下，鏡子)，那么通過甚至借助電動裝置向上折起屏幕，或者向下把屏幕滑入廚柜中， 可把屏幕移開。也可設(shè)置可設(shè)計成漫射光的窗戶或鏡子。如果位于浴室水槽上方，那么設(shè)備不僅可用于顯示信息，而且可用于提供用戶的從后面和側(cè)面看來的攝像機(jī)圖像，以幫助各種活動。由于多數(shù)人在其水槽上方?jīng)]有窗戶，因此顯示的虛擬圖像可以是模擬戶外景色的戶外景色圖像。這種圖像可由LCD或其它顯示器提供，而不僅僅由投影儀提供。不過需要防水，并且對目前的多數(shù)平板顯示器來說，有水的環(huán)境是非常危險的。
圖20示出用于爐子和/或微波爐，多種娛樂和其它用途的正面投影布置。投影儀和一體化計算機(jī)和顯示器驅(qū)動器2005被安裝在微波爐2010的底部，并投射到在爐灶2020 的后方的屏幕2015上。如上所述，該設(shè)備可以接口到因特網(wǎng)或者家中的其它用具和服務(wù)。 本例中的屏幕具有在底部的彎曲下部2016。利用如在共同未決的申請中公開的一體的或者分離的感測攝像機(jī)或感測式投影儀，能夠感測諸如旋鈕2025的位置之類的信息。在這個例子中，投影儀成為微波爐的組成部分，不過如果不使用微波爐的話也可單獨設(shè)置投影儀，或者需要的話，該投影儀可以從側(cè)面或者從天花板或者碗柜下面投影。如果受熱是問題，那么可以把投影儀設(shè)置在微波爐的側(cè)面或上面，圖像被光學(xué)地傳送到投影窗的位置。注意微波爐也可按照圖14的方式配備攝像機(jī)，以控制機(jī)器人，和提供操作安全及其它特征。
屏幕的投影面可以由可易于清潔以致能夠快速除去飛濺物等的耐熱材料制成。該材料還應(yīng)充分散射光以充當(dāng)觀看屏幕。令人滿意的表面是具有耐高溫漆的噴砂反射玻璃或者鋼制品。如果烹飪時要操作旋鈕和控件的話，旋鈕和控件的位置應(yīng)高于預(yù)計的平底鍋水平面(虛線2040)之上，并且遠(yuǎn)離爐灶表面2020。
圖21是聯(lián)網(wǎng)用具和其它外圍接口的示圖，其中主控制器(這種情況下，位于廚房廚柜中)中的軟件不僅與各個用具接口，而且控制各個用具的操作細(xì)節(jié)，可通過利用來自各個來源的下載內(nèi)容在產(chǎn)品壽命期內(nèi)在軟件中改變所述細(xì)節(jié)和其它個人特征。
例如，可以把洗衣機(jī)的控件看作如圖21中圖解所示的中央控制面的外圍設(shè)備。另一個這樣的外圍接口是在發(fā)明人的申請11/85沈90中描述的“緩沖”裝置，所述緩沖裝置可按照類似的方式內(nèi)加入這里說明的許多實施例中，不過較小。這樣的外圍接口可以起TV遙控器的作用，和遙控例如所有的用具。
投影屏幕的特征之一在于它能夠移開。另外，就廚柜空間來說，投影屏幕的存在并不造成妨礙，它被安裝到天花板上或者在微波爐或者任何東西前面，投影儀在天花板上，你不必把任何東西向下置于地面上。地面是首要的不動產(chǎn)(real estate) 0
借助本發(fā)明，你不必像目前那樣觀察微波爐的內(nèi)部以監(jiān)視烹飪進(jìn)展。投影儀本身 (或者可以使用的其它顯示器，比如LED監(jiān)視器)可借助置于微波爐內(nèi)以查看其中的材料的攝像機(jī)，來投影圖像以向你顯示什么在微波爐中。該攝像機(jī)圖像也可遠(yuǎn)程傳給其它位置，比如主控制面板，或者另一個房間。這使你可具有按照與圖18的冰箱門上的屏幕類似的方式可以充當(dāng)投影屏幕的空白門。在一些人的眼中，這具有安全性方面的優(yōu)點。另外，可以進(jìn)行在該位置在微波爐的正面的手指和控件位置的感測，以便控制微波爐或其它設(shè)備。
應(yīng)注意屏幕可下拉到微波爐前面或者在廚柜上，或者它可以向下擺動。另外，它還可帶著攝像機(jī)。從而，例如只有當(dāng)投影儀屏幕降下時，該攝像機(jī)才被開啟。
對于一些應(yīng)用來說，希望地是食物或人物被近似實物大小地顯示，面向上身，以產(chǎn)生真實感。屏幕可以實現(xiàn)這一點，而不使用過多的空間。一個重要特征在于如果使用投影儀，或者放在冰箱或微波爐正面上的話，屏幕不形成妨礙。正面投影屏幕能夠容易地移開， 你不必在櫥柜(首要的不動產(chǎn))上放置任何東西。投影儀目前正好可以用作HDTV。本發(fā)明可以用于交互式食譜互動，可以利用設(shè)計使用戶加入廚師社團(tuán)，發(fā)言，通過講述或者顯示如何做某些飯菜等來幫助用戶烹飪。用戶可以介紹他們的朋友加入該系統(tǒng)，計算機(jī)中的面部跟蹤程序能夠區(qū)分誰是誰(如果這有助于該交互性設(shè)計)。這種設(shè)計可以利用保存的響應(yīng)(比如影星對廚房中的某人的動作，服裝，或者所說的話的響應(yīng))的視頻剪輯，產(chǎn)生投影圖像?；蛘呷绻聊伙@示畫面上的人物是虛擬和3D圖形生成的，那么交互性更好，不過不太真實。
公開的本發(fā)明可用于如下這樣的視力受損者，即希望在其廚房中工作或者利用其浴室，但是不具有允許利用諸如設(shè)備上的標(biāo)記之類的普通信息源的視覺。本發(fā)明允許例如對于給定的控制功能使信息變得更大或者更亮。
圖22示出通過監(jiān)視動態(tài)灌注的液體或材料交換確定。圖22示出確定從容器2203 倒入杯子2205中的液體或粒狀材料2200的系統(tǒng)。作為灌注的替代，例如液體或其它材料可以從龍頭流注到杯子中。灌注材料(這種情況下，水)由連接到計算機(jī)2227的攝像機(jī) 2210 (置于工作面2215上，比如圖Ib中的攝像機(jī)147)監(jiān)視。為了獲得最好的結(jié)果，容器被置于標(biāo)記成在攝像機(jī)像場的中央?yún)^(qū)域中的區(qū)域之中。在計算機(jī)中運(yùn)行的機(jī)器視覺程序例程 (比如Matrox MIL)通過動態(tài)監(jiān)視灌注的材料的有效橫截面尺寸d，確定到灌注期間(或之后)的特定時刻的平均橫截面面積，并乘以到所述時刻的灌注時間，能夠進(jìn)行確定。這允許計算灌注的體積，假定橫截面合理地為已知形狀(比如圓形)，這種情況下，橫截面面積為 π X (0. 5d)2。如果在灌注期間橫截面尺寸d變化，那么使用所有d值的總積分值。
在這個簡單的例子中，通過獲得攝像機(jī)2210獲得的圖像2240中的邊緣位置2230 和2231的信息，攝像機(jī)2210只在一個視圖中確定d。這種圖像處理可用現(xiàn)代PC計算機(jī)在普通的室內(nèi)照明條件下完成。不過為了確保良好的圖像，當(dāng)和反光體(例如在灌注位置2251 之后的2250)和軸上LED照明2255 —起使用時，能夠使邊緣位置圖像非常清楚。為了更準(zhǔn)確，可以相互成直角地使用兩部攝像機(jī)來獲得兩個平面中的橫截面尺寸，兩組數(shù)據(jù)被用于計算平均橫截面，例如所述橫截面可以是橢圓形。應(yīng)注意，通過簡單地進(jìn)行已知量的灌注，并把灌注的材料輸入計算機(jī)中，系統(tǒng)能夠了解典型的橫截面。這假定在距工作面的高度和其它變量方面，所述灌注是比較穩(wěn)定的。也可利用給定材料的數(shù)值的通用表格在計算機(jī)內(nèi)形成查尋表。當(dāng)灌注操作已灌注了足以匹配預(yù)置限度的材料時，可以給出停止灌注的指令。 這可以分為兩個階段，減慢階段和停止階段。所述指令可是以聽覺或視覺指令。如果向計算機(jī)說明了所述材料是什么材料，據(jù)此能夠查出其密度，并將該密度乘以灌注的體積，能夠計算灌注的材料的大致重量。這種情況下，可以發(fā)生重量停止警報。
圖23示出本發(fā)明的基于投影儀的控制面板2300，它包含類似于發(fā)明人的共同未決申請的一些實施例(諸如11/045131中的圖6)被布置的適合于汽車中控臺或用具或具有常規(guī)旋鈕和開關(guān)的其它應(yīng)用的漫射屏幕部分2301。屏幕和控制面2300被成形為包封所示的兩個旋鈕2310和2315以及按鈕開關(guān)組2322的相當(dāng)大部分。這樣，可以相對于所述旋鈕和開關(guān)編程地改變標(biāo)志和其它信息，盡管所述旋鈕和開關(guān)的設(shè)計是常規(guī)設(shè)計。注意，使用了遮罩元件，以阻擋一些投影光，和在旋鈕周圍形成均勻的環(huán)形區(qū)。如在其它地方和在共同未決的申請中指出的那樣，表面2300在其至少一部分表面上也可以是曲線的。
旋鈕2315轉(zhuǎn)動旋轉(zhuǎn)編碼器2360的軸2358。用粘合劑2365把該編碼器粘附在元件2300和/或備選的支承件2370(虛線)上?？梢园凑詹蛔钃豕鈴?305到屏幕2301的投影的任何方式，提供到編碼器的讀出和信號調(diào)節(jié)連接。
旋鈕的指示器部分可以印刷在旋鈕表面上，比如圓點2350，或者它可以像虛線 2355似地延伸，從而如圖所示重疊在顯示器正面上，以在形成投影到屏幕上的任何數(shù)據(jù) (比如標(biāo)志或圖形)的指針。另一方面，可在屏幕上虛擬投影該指針，以對應(yīng)于檢測到的旋鈕圓周位置。作為另一種備選方案，對于其中旋鈕具有顯示元件(比如在其表面上的投影屏幕)的那些實施例，該指針可被投影到旋鈕表面本身上。通常希望利用作為可實行為不遮蔽屏幕上的數(shù)據(jù)的淺部的旋鈕電位計或編碼器讀出裝置，尤其是如果旋鈕或開關(guān)沒有位于如截面AA的側(cè)視圖中所示的投影儀角度的極值時。在一些情況下，希望的是具有遮罩 2380，以致雜散的投影光或漫射效應(yīng)不會在旋鈕周圍產(chǎn)生令人不快的圖像?？商娲鼗蛘吒郊拥?，可以使用如在共同未決的申請中所示的Fresnel透鏡來基本準(zhǔn)直投影儀圖像，以便越過旋鈕和開關(guān)(或者其它物理控件)投影到屏幕上。這將與兩種其它的旋鈕安裝方法一起被示出。
圖M中表示了備選的汽車中控臺布置，這種情況下，兩個旋鈕基本上完全在控制面元件的界限內(nèi)，所述控制面元件已被簡單切割，以使兩個旋鈕能夠就位。用計算機(jī)M14 控制的投影儀MlO對具備漫射體M05的控制面元件MOO投影，投影儀MlO的發(fā)散輸出由Fresnel透鏡M12準(zhǔn)直?？刂泼嬖﨧OO上面安裝有兩個旋鈕M20和M50。在一種情況下，在控制面元件MOO中形成孔，所述孔使得通過利用螺紋螺母M21能夠固定旋鈕 2420,螺紋螺母M21螺紋連接到軸箱MM上，軸箱MM附接到旋轉(zhuǎn)編碼器M30。在另一種情況下，旋鈕M50在安裝到控制面元件MOO的正面的編碼元件M51上旋轉(zhuǎn)，從而不需要在其中形成開孔。不過這通常要求連接到編碼器的配線要么是透明導(dǎo)線，要么以某種方式被隱藏在內(nèi)飾條等下面?？蛇x的不透明遮罩可被用于阻止投影光被看見。為了清楚起見， 未示出旋鈕旋轉(zhuǎn)位置傳感器M30和M51與計算機(jī)M14的電連接。
在圖M的例子中，設(shè)置了感測手指接近度的三個開關(guān)，這種情況下為非接觸式開關(guān)，比如電容式開關(guān)2483，M85和2486，以便在計算機(jī)M14的控制下，把控制面板的功能從一種用具切換成另一種用具。利用電子電路連接，例如通過在控制面元件MOO上的透明導(dǎo)體，操作這些開關(guān)。正如旋鈕的功能能夠被改變那樣，電容式(或者種類的)開關(guān)的功能能夠被改變。例如，考慮輔助開關(guān)M90的使用，輔助開關(guān)M90被用于把三個開關(guān)的功能從用具選擇狀態(tài)改變成用于其它功能(諸如TV，音響系統(tǒng)和因特網(wǎng)攝像機(jī)互動的選擇設(shè)備。在這些新的狀態(tài)下，一個或兩個旋鈕的功能也能夠被改變。例如，旋鈕M50可變成用于電視臺選擇的調(diào)諧器旋鈕，而在本例中，旋鈕M20允許進(jìn)行遠(yuǎn)程保存的音頻文件的播放列表選擇滾動。在這兩種情況下，假定設(shè)置有適當(dāng)?shù)慕涌诤屯ㄐ旁O(shè)施。
如果使用離軸Fresnel透鏡，那么來自投影儀的光可以傾斜地接近控制面，從而減小設(shè)備的深度。還參見發(fā)明人的共同未決的申請。注意，可以在計算機(jī)M14的命令下使諸如螺線管M94之類的脈動元件脈動，從而把力信號F送入元件MOO中，以指示所示的開關(guān)或旋鈕的各種動作或狀態(tài)，如在共同未決的申請中公開的那樣。雖然，旋鈕、開關(guān)或其它單元通?？杀话惭b到控制面上，不過它們也不是必須被安裝到控制面上。
應(yīng)注意本發(fā)明的屏幕，尤其是如圖18中所示的垂直平面中的屏幕可用于幫助鍛煉和康復(fù)，如在發(fā)明人的共同未決的申請12/358404中公開的那樣。在這種情況下，其中公開的利用網(wǎng)絡(luò)攝像機(jī)或其它單獨的攝像機(jī)輸入視頻游戲命令的簡單并且低成本的感測技術(shù)可用于輸入控制各種家庭功能的命令。
盡管已結(jié)合眾多的實施例說明了本發(fā)明，不過應(yīng)理解，已經(jīng)描述的具體機(jī)制和技術(shù)只有舉例說明本發(fā)明的原理，并且可對所描述的方法和設(shè)備做出各種修改，而不脫離本發(fā)明的精神和范圍。
權(quán)利要求
1.用于至少一個家庭設(shè)備的控制系統(tǒng)，包括 視頻圖像投影儀；具有圖像被投影到其上的表面的部件；以及用于感測與所述表面上的所投影的圖像相關(guān)的控制信號的計算機(jī)裝置。
2.按照權(quán)利要求1所述的設(shè)備，其中所述設(shè)備是家用用具。
3.按照權(quán)利要求1所述的設(shè)備，其中在所述部件表面上進(jìn)行作業(yè)。
4.按照權(quán)利要求1所述的設(shè)備，其中所述表面的至少一部分是曲線的。
5.按照權(quán)利要求1所述的設(shè)備，還包括用于產(chǎn)生所述控制信號的TV攝像機(jī)。
6.按照權(quán)利要求1所述的設(shè)備，還包括附接于所述表面的物理控制部件。
7.按照權(quán)利要求1所述的設(shè)備，還包括用于從一個設(shè)備到另一個設(shè)備改變所述控制系統(tǒng)的功能的裝置。
8.按照權(quán)利要求1所述的設(shè)備，其中所述控制信號是通過觸摸所述表面產(chǎn)生的。
9.按照權(quán)利要求1所述的設(shè)備，其中所述部件能夠被取下以便清潔。
10.按照權(quán)利要求1所述的設(shè)備，其中所述顯示的圖像與具有不同的控件布局的多個設(shè)備的控制面板相關(guān)。
11.按照權(quán)利要求1所述的設(shè)備，其中所述投影的圖像與連接到所述計算機(jī)的設(shè)備的顯不相關(guān)。
12.一種提供交互式廚房活動的方法，包括下述步驟 提供投影屏幕表面；利用計算機(jī)控制的視頻圖像投影儀把信息投影到所述表面上； 提供用于觀察在所述廚房中工作的至少一個人的攝像機(jī)或其它光電傳感器； 利用所述計算機(jī)，確定與所述人相關(guān)的信息；以及利用所述信息，向所述人投影感興趣的圖像。
13.一種食物準(zhǔn)備方法，包括下述步驟 提供計算機(jī)；提供由所述計算機(jī)控制的圖像顯示設(shè)備；以及利用所述顯示設(shè)備，在工作面上顯示與食物相關(guān)的信息，其中所述食物在所述工作面上被切割、成形或以其它方式加工。
14.一種材料測量方法，包括下述步驟 提供計算機(jī)；提供與所述計算機(jī)接口并被布置成觀察流入容器中的材料的攝像機(jī)； 在所述材料流入時確定所述材料的至少一個尺寸； 對于流動時間間隔將所述材料的尺寸積分；以及利用所述積分，確定蓄積在所述容器中的材料的量。
15.一種控制面板，包括具有曲線表面的部件，在所述曲線表面的至少一部分上顯示圖像；能夠由所述控制面板的用戶操作的多個控制裝置，所述裝置設(shè)置在所述表面上；計算機(jī)，用于確定所述控制裝置的位置或狀態(tài)并且控制所述圖像的顯示。
16.按照權(quán)利要求15所述的設(shè)備，還包括用于感測手指觸摸位置的裝置。
17.按照權(quán)利要求15所述的設(shè)備，其中所述控制裝置中的至少一個是旋鈕。
18.按照權(quán)利要求17所述的設(shè)備，其中所述顯示的圖像指示所述旋鈕的圓周位置。
19.按照權(quán)利要求17所述的設(shè)備，其中控制裝置是開關(guān)。
20.按照權(quán)利要求19所述的設(shè)備，其中所述開關(guān)在不接觸用戶手指的情況下工作。
21.按照權(quán)利要求15所述的設(shè)備，包括能夠編程的觸覺反饋裝置。
22.按照權(quán)利要求15所述的設(shè)備，其中顯示的與所述控制裝置中的至少一個相關(guān)的標(biāo)志被改變，以便從控制一個設(shè)備變成控制另一個設(shè)備。
全文摘要
本發(fā)明涉及家用用具的控制、它們還與音響系統(tǒng)和因特網(wǎng)資源的聯(lián)網(wǎng)和連通性、以及這些元件的連接集成的領(lǐng)域。優(yōu)選的設(shè)備通常采用視頻投影系統(tǒng)和一部或多部TV攝像機(jī)。本發(fā)明的實施例可用于增強(qiáng)廚房中的人的社會互動和樂趣，減少食物準(zhǔn)備工作。本發(fā)明可以用在住宅中的多間房間中，有助于使房中的老年人和其他人保持良好狀態(tài)。
文檔編號G05B19/042GK102498442SQ201080028358
公開日2012年6月13日 申請日期2010年5月19日 優(yōu)先權(quán)日2009年5月19日
發(fā)明者T·R·普賴爾 申請人:蘋果公司