專利名稱：構(gòu)造用戶界面的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種構(gòu)造多模態(tài)(multimodal)用戶界面(多模態(tài)UI)的方法。
背景技術(shù)：
多模態(tài)UI使用戶能夠通過多個(gè)模態(tài)中用戶所期望的模態(tài)輸入信息，例如GUI輸入和語音輸入，這樣對用戶來說非常方便。因此，需要一種輕松構(gòu)造這種多模態(tài)UI的工具。特別是，當(dāng)構(gòu)造與GUI輸入和語音輸入相兼容的UI時(shí)，可能經(jīng)常執(zhí)行多余的操作，例如對每個(gè)GUI和語音UI執(zhí)行相同的操作。例如，假定設(shè)計(jì)者構(gòu)造這樣一個(gè)UI，其中將具有項(xiàng)“A”、“B”、和“C”的下拉式菜單置于屏幕上，并且也可以以語音輸入這些項(xiàng)“A”、“B”、和“C”。在這種情況下，設(shè)計(jì)者生成具有項(xiàng)“A”、“B”、和“C”的下拉式菜單，并將輸入結(jié)果綁定(bind)到結(jié)果存儲區(qū)。此外，設(shè)計(jì)者生成語音識別語法，以通過語音輸入項(xiàng)“A”、“B”、和“C”，從而生成語音輸入組件(component)，并將輸入結(jié)果綁定到結(jié)果存儲區(qū)。這樣，對于項(xiàng)“A”、“B”、和“C”設(shè)計(jì)者必須重復(fù)相同的操作。在這種情況下，需要有一種用于減少多余操作并輕松構(gòu)造多模態(tài)UI的技術(shù)。
關(guān)于UI的構(gòu)造，已經(jīng)公開一種通過使用GUI操作來輕松設(shè)計(jì)UI的方法(例如，日本特開平09-114623號和09-062469號公報(bào))。然而，這些已知的技術(shù)沒有考慮到模態(tài)。
另一方面，日本特開2003-167598號公報(bào)公開了一種通過解釋GUI的邏輯，在不構(gòu)造語音UI的情況下來實(shí)現(xiàn)多模態(tài)UI的技術(shù)。然而，在該已知技術(shù)中，作為多模態(tài)UI的操作依賴于解釋技術(shù)，因此經(jīng)常不能實(shí)現(xiàn)設(shè)計(jì)者所期望的多模態(tài)UI。

發(fā)明內(nèi)容
本發(fā)明是考慮到這些情況而做出的，并用于輕松構(gòu)造多模態(tài)UI。特別是，當(dāng)設(shè)計(jì)者構(gòu)造與GUI輸入和語音輸入相兼容的UI時(shí)，本發(fā)明用于簡化由設(shè)計(jì)者所執(zhí)行的多余操作。
根據(jù)本發(fā)明的一個(gè)方面，用于構(gòu)造用戶界面的方法包括選擇步驟，用于選擇一個(gè)或多個(gè)第一組件；接收步驟，用于接收將該第一組件轉(zhuǎn)換成第二組件的指令，該第二組件的類型與該第一組件的類型不同；轉(zhuǎn)換步驟，用于將對應(yīng)于該第一組件的數(shù)據(jù)轉(zhuǎn)換成對應(yīng)于該第二組件的數(shù)據(jù)；以及顯示控制步驟，用于控制顯示與在轉(zhuǎn)換步驟中所轉(zhuǎn)換的數(shù)據(jù)相關(guān)的該第二組件。
根據(jù)本發(fā)明的另一方面，提供一種構(gòu)造用戶界面的裝置，包括選擇裝置，用于選擇一個(gè)或多個(gè)第一組件；接收裝置，用于接收將該第一組件轉(zhuǎn)換成第二組件的指令，該第二組件的類型與該第一組件的類型不同；轉(zhuǎn)換裝置，用于將對應(yīng)于該第一組件的數(shù)據(jù)轉(zhuǎn)換成對應(yīng)于該第二組件的數(shù)據(jù)；以及顯示控制裝置，用于控制顯示與通過轉(zhuǎn)換裝置所轉(zhuǎn)換的數(shù)據(jù)相關(guān)的該第二組件。
通過以下參考附圖對典型實(shí)施例的說明，本發(fā)明的其它特征是顯而易見的。


圖1是示出根據(jù)本發(fā)明的第一實(shí)施例用于構(gòu)造多模態(tài)UI的方法的模塊結(jié)構(gòu)的框圖；圖2示出在根據(jù)第一實(shí)施例的方法中組件未被轉(zhuǎn)換的例子；圖3示出根據(jù)第一實(shí)施例的方法的例子；圖4示出根據(jù)本發(fā)明的第二實(shí)施例用于構(gòu)造多模態(tài)UI的方法的例子；圖5示出根據(jù)第二實(shí)施例的方法的另一例子；圖6示出根據(jù)第二實(shí)施例的方法的另一例子；圖7示出根據(jù)第二實(shí)施例的方法的另一例子；圖8示出根據(jù)第二實(shí)施例的方法的另一例子；圖9示出根據(jù)第二實(shí)施例的方法的另一例子；圖10示出根據(jù)第二實(shí)施例的方法的另一例子；圖11示出在根據(jù)第二實(shí)施例的方法中設(shè)置數(shù)據(jù)模型的例子；圖12示出在根據(jù)本發(fā)明的第三實(shí)施例用于構(gòu)造多模態(tài)UI的方法中向組件添加項(xiàng)的例子；圖13示出在根據(jù)本發(fā)明的第四實(shí)施例用于構(gòu)造多模態(tài)UI的方法中使用同義詞列表的例子；圖14示出在根據(jù)第四實(shí)施例的方法中使用同義詞列表的另一例子；圖15是示出根據(jù)第一實(shí)施例用于構(gòu)造多模態(tài)UI的方法的流程圖；圖16是示出根據(jù)第二實(shí)施例用于構(gòu)造多模態(tài)UI的方法的流程圖；圖17是示出在根據(jù)第一實(shí)施例的方法中的轉(zhuǎn)換處理的流程圖；圖18包括在根據(jù)第二實(shí)施例的方法中定義轉(zhuǎn)換前后的組件之間的對應(yīng)性的表格。
具體實(shí)施例方式
下面參考附圖來說明根據(jù)本發(fā)明的實(shí)施例用于構(gòu)造多模態(tài)用戶界面(UI)的方法。
第一實(shí)施例圖1是示出根據(jù)第一實(shí)施例用于構(gòu)造多模態(tài)UI的方法的模塊結(jié)構(gòu)的框圖。在圖1中，該模塊結(jié)構(gòu)包括輸入單元101、存儲單元102、控制單元103、組件轉(zhuǎn)換單元104、顯示單元105、語音識別語法分析單元106、以及語音識別語法生成單元107。
該輸入單元101包括輸入裝置，例如按鈕、鍵盤、鼠標(biāo)、觸摸面板、輸入筆、或輸入板，并起例如輸入界面的功能，以向裝置輸入各種指令。
該存儲單元102包括硬盤驅(qū)動(dòng)器，以存儲各種信息；以及存儲介質(zhì)，例如只讀光盤(CD-ROM)、或者只讀存儲器數(shù)字通用光盤(DVD-ROM)，以向信息處理系統(tǒng)提供各種信息。此外，硬盤驅(qū)動(dòng)器和存儲介質(zhì)存儲各種應(yīng)用程序、用戶界面控制程序、以及執(zhí)行各程序所需的各種數(shù)據(jù)。在隨后的階段，在控制單元103的控制下，將這些程序和數(shù)據(jù)讀入該系統(tǒng)。
該控制單元103包括工作存儲器、中央處理單元(CPU)、或者微處理單元(MPU)，并通過讀取存儲在存儲單元102中的程序和數(shù)據(jù)來執(zhí)行各種處理。
在控制單元103的控制下，該組件轉(zhuǎn)換單元104轉(zhuǎn)換輸入/輸出組件。
該顯示單元105包括顯示裝置，例如液晶顯示器，并顯示由圖像和字符所組成的各種信息。觸摸面板顯示裝置也可被用作顯示單元105。在這種情況下，顯示單元105具有GUI輸入單元的功能(向系統(tǒng)輸入各種指令的功能)。
該語音識別語法分析單元106分析語音識別語法，并提取識別詞匯。該語音識別語法生成單元107生成語音識別語法，以識別給定的詞匯。
在下面的說明中，以用于構(gòu)造多模態(tài)UI的設(shè)計(jì)工具為例來說明。
參考圖2，在編輯屏幕201上編輯多模態(tài)UI。被置于編輯屏幕201上的組件203是具有如附圖標(biāo)記204所表示的項(xiàng)“打印”、“復(fù)制”、和“傳真”的下拉式組件。
通過選擇和復(fù)制組件203，并將其粘貼在編輯屏幕上(從點(diǎn)擊鼠標(biāo)右鍵的菜單205中選擇“粘貼”)，獲得編輯屏幕202。在這種情況下，如同已知的設(shè)計(jì)工具那樣，放置與組件203具有相同項(xiàng)(204)的下拉式組件206。
另一方面，如圖3所示，如果以語音輸入組件的形式選擇、復(fù)制、和粘貼組件203(從點(diǎn)擊鼠標(biāo)右鍵的菜單205中選擇“粘貼語音輸入組件”)，則獲得編輯屏幕301。在這種情況下，與已知的設(shè)計(jì)工具不同，在屏幕上放置將組件203的項(xiàng)作為其識別詞匯的語音輸入組件302。這時(shí)，生成語音輸入組件302的語音識別語法303。該語音識別語法303接受語音“打印”、“復(fù)制”、和“傳真”。這樣，將對應(yīng)于組件203的數(shù)據(jù)轉(zhuǎn)換成對應(yīng)于語音輸入組件302的數(shù)據(jù)?；赪3C(萬維網(wǎng)聯(lián)盟)的SRGS規(guī)范(http//www.w3.org/TR/speech-grammar/)，來說明語音識別語法303。然而，描述方法不局限于SRGS。
下面，參考圖15所示的流程圖，來說明用于將輸入/輸出組件轉(zhuǎn)換成不同類型的輸入/輸出組件(圖3所示的例子)的方法。用于運(yùn)行該流程圖的程序被存儲在存儲單元102中，并由控制單元103來執(zhí)行。
在圖15中，在步驟S1501，還沒有選擇輸入/輸出組件。在已選擇輸入/輸出組件之后(步驟S1501中的是)，處理等待，直到提供轉(zhuǎn)換組件類型的指令(步驟S1502)。當(dāng)如圖2中選擇“粘貼”時(shí)，不轉(zhuǎn)換組件的類型。因此，如同已知的技術(shù)那樣，粘貼相同類型的組件。
另一方面，如圖3中當(dāng)組件的類型在轉(zhuǎn)換前后不同時(shí)，提供轉(zhuǎn)換組件類型的指令。在已經(jīng)提供轉(zhuǎn)換組件類型的指令之后(步驟S1502中的是)，處理等待，直到指定轉(zhuǎn)換后的組件類型(步驟S1503)。
在已指定組件類型之后(步驟S1503中的是)，組件轉(zhuǎn)換單元104轉(zhuǎn)換組件(步驟S1504)。下面參考圖17所示的流程圖，來說明通過組件轉(zhuǎn)換單元104所執(zhí)行的轉(zhuǎn)換組件的處理。運(yùn)行該流程圖的程序被存儲在存儲單元102中，并由控制單元103來執(zhí)行。
首先，在步驟S1701，對待轉(zhuǎn)換的組件進(jìn)行分析。例如，當(dāng)組件是由圖2中的附圖標(biāo)記204所表示的下拉式組件時(shí)，提取項(xiàng)“打印”、“復(fù)制”、和“傳真”。當(dāng)待轉(zhuǎn)換的組件是語音輸入組件時(shí)，語音識別語法分析單元106提取可通過使用語音輸入組件的語音識別語法輸出的識別結(jié)果(解釋結(jié)果)的列表。該識別結(jié)果的列表是基于語音識別語法的規(guī)范，通過分析語音識別語法來提取的。通過使用已知的技術(shù)來分析語音識別語法。在圖3所示的語音識別語法303的例子中，提取“打印”、“復(fù)制”、和“傳真”。當(dāng)有多個(gè)組件需要轉(zhuǎn)換時(shí)，針對每個(gè)組件進(jìn)行提取。當(dāng)提取兩個(gè)或更多個(gè)相同項(xiàng)時(shí)，這些項(xiàng)被合為一個(gè)。
當(dāng)將組件轉(zhuǎn)換成語音輸入組件時(shí)(步驟S1702中的是)，語音識別語法生成單元107生成語音識別語法(步驟S1703)。在已經(jīng)指定識別詞匯之后，可以通過使用已知的技術(shù)來生成語音識別語法。這里，通過使用在步驟S1701中所提取的項(xiàng)作為識別詞匯來生成語音識別語法。
然后，轉(zhuǎn)換組件(步驟S1704)。例如，當(dāng)將組件轉(zhuǎn)換成下拉式組件時(shí)，生成具有在步驟S1701中所提取的項(xiàng)(在上述例子中為“打印”、“復(fù)制”、和“傳真”)的下拉式組件。當(dāng)將組件轉(zhuǎn)換成語音輸入組件時(shí)，使用在步驟S1703中所生成的語音識別語法。
當(dāng)轉(zhuǎn)換前的組件具有數(shù)據(jù)模型設(shè)置時(shí)(步驟S1705中的是)，在轉(zhuǎn)換后的組件中設(shè)置該數(shù)據(jù)模型(步驟S1706)。特別地，在轉(zhuǎn)換前的項(xiàng)中所設(shè)置的數(shù)據(jù)模型被設(shè)置在轉(zhuǎn)換后的對應(yīng)項(xiàng)中(通過使用圖11，在下面的第二實(shí)施例中來說明特定的例子)。
在圖3所示的上述例子中，組件被復(fù)制和粘貼。可選地，組件可被剪切和粘貼，或可被拖放在另一屏幕上。此外，還可以從菜單中選擇“轉(zhuǎn)換”。
如果在轉(zhuǎn)換后更新轉(zhuǎn)換前的組件的信息，則可以詢問設(shè)計(jì)者是否更新轉(zhuǎn)換后的組件的信息。
如上所述，根據(jù)第一實(shí)施例，設(shè)計(jì)者可以移動(dòng)或復(fù)制現(xiàn)有的組件，而不管組件的類型。因此，可以減少多余的操作。
第二實(shí)施例下面說明根據(jù)本發(fā)明的第二實(shí)施例用于構(gòu)造多模態(tài)UI的方法。在本實(shí)施例中，說明指定轉(zhuǎn)換后的組件的模態(tài)的情況。在下面的說明中，以用于構(gòu)造多模態(tài)UI的設(shè)計(jì)工具為例。
參考圖4，在編輯屏幕401中編輯多模態(tài)UI。該編輯屏幕401具有GUI編輯屏幕，用于編輯GUI組件；以及語音UI編輯屏幕，用于編輯語音組件。被置于編輯屏幕401的GUI編輯屏幕上的組件403為下拉式組件，并具有如圖2中的附圖標(biāo)記204所表示的項(xiàng)“打印”、“復(fù)制”、和“傳真”。
通過選擇和復(fù)制組件403，并將其粘貼在語音UI編輯屏幕上，獲得編輯屏幕402。在這種情況下，將組件403的項(xiàng)作為其識別詞匯的語音輸入組件405被置于編輯屏幕402的語音UI編輯屏幕上。該下拉式菜單可以僅包括如圖2所示的菜單204中的選項(xiàng)?？蛇x地，該下拉式菜單還可以包括除該選項(xiàng)外的項(xiàng)，例如如圖5所示的菜單504中位于頂端的“選擇功能”。該頂端項(xiàng)“選擇功能”不是一個(gè)選項(xiàng)，因此不以語音輸入。可以詢問設(shè)計(jì)者是否以語音輸入頂端項(xiàng)。在圖4所示的例子中，詢問設(shè)計(jì)者是否以語音輸入頂端項(xiàng)“打印”(404)。當(dāng)選擇“是”時(shí)，將項(xiàng)“打印”包括在識別詞匯中。這時(shí)生成的語音輸入組件405的語音識別語法與圖3所示的語音識別語法303相同，并接受語音“打印”、“復(fù)制”、和“傳真”。
下面參考圖16所示的流程圖，來說明當(dāng)指定轉(zhuǎn)換后的組件的模態(tài)時(shí)(圖4所示的例子)所使用的轉(zhuǎn)換方法。用于運(yùn)行該流程圖的程序被存儲在存儲單元102中，并由控制單元103來執(zhí)行。在圖16中，步驟S1501、S1502、和S1504與圖15中的相同。
在已提供轉(zhuǎn)換輸入/輸出組件的指令后(步驟S1501中的是和步驟S1502中的是)，處理等待，直到指定轉(zhuǎn)換后的組件的模態(tài)(步驟S1601)。在圖4所示的例子中，復(fù)制組件403，并將其粘貼在語音UI編輯屏幕上。因此，可將其理解為轉(zhuǎn)換后的組件的模態(tài)是語音。
在已經(jīng)指定轉(zhuǎn)換后的組件的模態(tài)之后(步驟S1601)，列出轉(zhuǎn)換后的組件的備選類型。如圖18所示，在存儲單元102中提前定義輸入/輸出組件(表1801)和與轉(zhuǎn)換前的組件相對應(yīng)的轉(zhuǎn)換后的輸入/輸出組件的備選類型(表1802)。然后，參考表1802列出備選類型。當(dāng)僅有一個(gè)備選類型時(shí)(步驟S1602中的是)，以與第一實(shí)施例中相同的方式轉(zhuǎn)換組件(步驟S1504)。在圖4所示的例子中，圖18中所示的表1802指出與轉(zhuǎn)換前的下拉式組件相對應(yīng)的轉(zhuǎn)換后的備選類型只有一種，即語音輸入組件。因此，將組件轉(zhuǎn)換成語音輸入組件。這時(shí)，可以詢問設(shè)計(jì)者是否以語音輸入頂端項(xiàng)“打印”(圖4中的404)。另一方面，當(dāng)有多個(gè)備選類型時(shí)(步驟S1602中的否)，呈現(xiàn)該多個(gè)備選類型，以便設(shè)計(jì)者可以選擇其中之一(步驟S1603)。在設(shè)計(jì)者已選擇類型之后(步驟S1604中的是)，以與第一實(shí)施例中相同的方式轉(zhuǎn)換組件(步驟S1504)。
接著來說明根據(jù)該實(shí)施例的另一操作例子。圖5示出當(dāng)轉(zhuǎn)換下拉式組件時(shí)，在識別詞匯中不包括頂端項(xiàng)的例子。
參考圖5，在如同圖4中所示的編輯屏幕401那樣的編輯屏幕501中編輯多模態(tài)UI。被置于編輯屏幕501的GUI編輯屏幕上的組件503是下拉式組件，并具有如菜單504中所示的項(xiàng)“選擇功能”、“打印”、“復(fù)制”、和“傳真”。通過選擇和復(fù)制組件503，并將其粘貼在語音UI編輯屏幕上，獲得編輯屏幕502。由于該組件被粘貼在語音UI編輯屏幕上，因此轉(zhuǎn)換后的組件的模態(tài)是語音(步驟S 1601中的是)。根據(jù)圖18中所示的表1802，判定轉(zhuǎn)換后的組件為語音輸入組件(步驟S1602中的是)，因此，將組件503的項(xiàng)作為其識別詞匯的語音輸入組件506被置于編輯屏幕502的語音UI編輯屏幕上。然而，在該例子中，當(dāng)在問題505是否以語音輸入頂端項(xiàng)(“選擇功能”)中選擇“否”時(shí)，在識別詞匯中不包括項(xiàng)“選擇功能”。這時(shí)所生成的語音輸入組件506的語音識別語法與圖3所示的語音識別語法303相同，并接受語音“打印”、“復(fù)制”、和“傳真”。
圖6示出轉(zhuǎn)換多個(gè)組件的例子。在圖6中，按鈕“打印”、“復(fù)制”、和“傳真”被置于編輯屏幕601的GUI編輯屏幕上。通過選擇和復(fù)制這三個(gè)組件(603)，并將它們粘貼在語音UI編輯屏幕上，獲得編輯屏幕602。由于組件被粘貼在語音UI編輯屏幕上，因此轉(zhuǎn)換后的組件的模態(tài)是語音(步驟S1601中的是)。根據(jù)圖18中所示的表1802，判定轉(zhuǎn)換后的組件為語音輸入組件(步驟S1602中的是)，因此，將這三個(gè)組件(603)的項(xiàng)作為其識別詞匯的語音輸入組件604被置于語音UI編輯屏幕上。這時(shí)所生成的語音輸入組件604的語音識別語法與圖3所示的語音輸入語法303相同，并接受語音“打印”、“復(fù)制”、和“傳真”。
圖7示出轉(zhuǎn)換多個(gè)組件的另一例子。在圖7中，標(biāo)簽(文本)“功能”和按鈕“打印”、“復(fù)制”、和“傳真”被置于編輯屏幕701的GUI編輯屏幕上。通過選擇和復(fù)制這四個(gè)組件(703)，并將它們粘貼在語音UI編輯屏幕上，獲得編輯屏幕702。由于這些組件被粘貼在語音UI編輯屏幕上，因此轉(zhuǎn)換后的組件的模態(tài)是語音(步驟S 1601中的是)。根據(jù)圖18中所示的表1802，判定轉(zhuǎn)換后的組件為語音輸入組件(步驟S1602中的是)，因此，將這四個(gè)組件(703)的項(xiàng)作為其識別詞匯的語音輸入組件704被置于語音UI編輯屏幕上。這時(shí)所生成的語音輸入組件704的語音識別語法可以接受語音“功能”、“打印”、“復(fù)制”、和“傳真”?？蛇x地，用于提取識別詞匯的方法可以根據(jù)組件的類型而改變。例如，從標(biāo)簽中所提取的項(xiàng)可以被添加在從另一組件中所提取的詞匯的前面。當(dāng)執(zhí)行該提取時(shí)，如語音識別語法705中所示，接受語音“打印”、“復(fù)制”、“傳真”、“功能打印”、“功能復(fù)制”、和“功能傳真”。
圖8示出轉(zhuǎn)換后的組件具有多個(gè)備選類型的例子。在圖8中，具有圖3所示的語音識別語法303的語音輸入組件803被置于編輯屏幕801的語音UI編輯屏幕上。通過選擇和復(fù)制組件803，并將其粘貼在GUI編輯屏幕上，獲得編輯屏幕802。由于組件被粘貼在GUI編輯屏幕上，因此轉(zhuǎn)換后的組件的模態(tài)是GUI(步驟S1601中的是)。根據(jù)圖18中所示的表1802，轉(zhuǎn)換后的組件的備選類型有下拉式、列表框、單選按鈕、復(fù)選框、文本框和多個(gè)GUI組件(按鈕、標(biāo)簽)。因此，如列表804和805所示來呈現(xiàn)組件的備選類型(S1603)。在該例子中，選擇“按鈕”(步驟S1604中的是)，以便將與語音輸入組件803的識別詞匯“打印”、“復(fù)制”、和“傳真”相對應(yīng)的三個(gè)按鈕(806)置于編輯屏幕802的GUI編輯屏幕上。如上所述，采用已知的技術(shù)，通過分析語音識別語法，列出識別詞匯。
圖9示出轉(zhuǎn)換后的組件具有多個(gè)備選類型的另一例子。在圖9中，具有圖3所示的語音識別語法303的語音輸入組件904被置于編輯屏幕901的語音UI編輯屏幕上。通過選擇和復(fù)制組件904，并將其粘貼在GUI編輯屏幕上，獲得編輯屏幕902。如同上述例子那樣，將語音輸入組件904的識別詞匯作為其項(xiàng)的下拉式組件906被置于GUI編輯屏幕902上。這里，當(dāng)列出識別詞匯時(shí)，可以標(biāo)簽(文本)的形式輸出解釋識別詞匯的解釋名稱。例如，在圖3所示的語音識別語法303中，與解釋名稱“功能”一起輸出結(jié)果“打印”、“復(fù)制”、和“傳真”。屏幕903是解釋名稱“功能”(907)作為標(biāo)簽被輸出的例子。
圖10示出轉(zhuǎn)換后的組件具有多個(gè)備選類型的另一例子。在圖10中，具有語音識別語法1004的語音輸入組件1003被置于編輯屏幕1001的語音UI編輯屏幕上。通過選擇和復(fù)制組件1003，并將其粘貼在GUI編輯屏幕上，獲得編輯屏幕1002。由于組件被粘貼在GUI編輯屏幕上，因此轉(zhuǎn)換后的組件的模態(tài)是GUI(步驟S1601中的是)。根據(jù)圖18中所示的表1802，轉(zhuǎn)換后的組件的備選類型有下拉式、列表框、單選按鈕、復(fù)選框、文本框、和多個(gè)GUI組件(按鈕、標(biāo)簽)。因此，在列表1005中呈現(xiàn)了組件的備選類型(步驟S1603)。在該例子中，選擇文本框(步驟S1604)，因此，與語音輸入組件1003的識別詞匯相對應(yīng)的標(biāo)簽和文本框(1006)被置于GUI編輯屏幕1002上。這里，語音識別語法1004接受語音“從東京、橫濱、大阪和神戶中的任一個(gè)到東京、橫濱、大阪和神戶中的任一個(gè)”的語音。這時(shí)，“從”后的詞匯，即“東京、橫濱、大阪和神戶中的任一個(gè)”，與解釋名稱“從”相聯(lián)系。同樣地，“到”后的詞匯，即“東京、橫濱、大阪和神戶中的任一個(gè)”，與解釋名稱“到”相聯(lián)系。將這些解釋名稱作為解釋結(jié)果輸出。這樣，由于輸出了兩個(gè)解釋結(jié)果(從和到)，因此放置兩個(gè)文本框。如圖10所示的例子中，文本框左邊的標(biāo)簽表示解釋名稱。
圖11示出待轉(zhuǎn)換的組件具有對數(shù)據(jù)模型的綁定設(shè)置的例子。圖11所示的例子基本上與圖10所示的例子相同，其不同之處在于語音輸入組件1103具有對數(shù)據(jù)模型1104的綁定設(shè)置1105。該數(shù)據(jù)模型是通過UI從用戶獲得的數(shù)據(jù)的定義。在數(shù)據(jù)模型1104中，通過表示離開地方的<appDeparture>標(biāo)簽和表示目的地的<appDestination>標(biāo)簽，來定義兩個(gè)字符串?dāng)?shù)據(jù)。
綁定設(shè)置是定義哪個(gè)值被綁定到哪個(gè)數(shù)據(jù)模型。在綁定設(shè)置1105中，將值ID＝從(被解釋為解釋名稱“從”的值)綁定到由上述<appDeparture>標(biāo)簽所定義的數(shù)據(jù)。此外，將值ID＝到(被解釋為解釋名稱“到”的值)綁定到由上述<appDestination>標(biāo)簽所定義的數(shù)據(jù)。例如，假定輸入語音“從東京到橫濱”，并且假定通過語音識別輸出解釋結(jié)果“從＝東京”和“到＝橫濱”。在這種情況下，將“東京”設(shè)置到由<appDeparture>標(biāo)簽所定義的數(shù)據(jù)模型，而將“橫濱”設(shè)置到由<appDestination>標(biāo)簽所定義的數(shù)據(jù)模型。
參考圖11如上所述，通過選擇和復(fù)制語音輸入組件1103，并將其粘貼在GUI編輯屏幕上，來放置文本框和標(biāo)簽1106。換句話說，放置標(biāo)簽“從”和“到”、與解釋結(jié)果“從”相對應(yīng)的文本框(在轉(zhuǎn)換時(shí)設(shè)置ID＝texbox_from)、以及與解釋結(jié)果“到”相對應(yīng)的文本框(在轉(zhuǎn)換時(shí)設(shè)置ID＝texbox_to)。
因此，由于解釋結(jié)果“從”被綁定到數(shù)據(jù)模型，因此當(dāng)轉(zhuǎn)換組件時(shí)，處理從步驟S1705(是)進(jìn)入步驟S1706(參見圖17)。然后，將相應(yīng)的文本框(ID＝texbox_from)綁定到<appDeparture>(步驟S1706)。同樣，在解釋結(jié)果“到”中，將相應(yīng)的文本框(ID＝texbox_to)綁定到<appDestination>(步驟S1706)。因此，獲得綁定設(shè)置1107。
如上所述，根據(jù)第二實(shí)施例，如同在第一實(shí)施例中那樣，設(shè)計(jì)者可以移動(dòng)或復(fù)制現(xiàn)有的組件，而不管組件的類型。因此，可以減少多余的操作。
第三實(shí)施例下面說明根據(jù)本發(fā)明的第三實(shí)施例用于構(gòu)造多模態(tài)UI的方法。在該實(shí)施例中，當(dāng)提供將輸入/輸出組件添加到另一輸入/輸出組件的指令時(shí)，執(zhí)行轉(zhuǎn)換。下面，以用于構(gòu)造多模態(tài)UI的設(shè)計(jì)工具為例。
參考圖12，按鈕“打印”、“復(fù)制”、和“傳真”(603)被置于GUI編輯屏幕1201上。另一方面，通過選擇、復(fù)制、和粘貼這三個(gè)組件(603)所生成的語音輸入組件604被置于語音UI編輯屏幕1202上(同樣參見第二實(shí)施例中的圖6)。
在這種情況下，如果在GUI編輯屏幕1201上新生成按鈕“郵寄”1203，并將其拖放到語音輸入屏幕1202上的語音輸入組件604中，則執(zhí)行以下處理。
由于按鈕1203表示“郵寄”(步驟S1701)，因此將識別詞匯“郵寄”添加到通過轉(zhuǎn)換所生成的語音輸入組件604的語音識別語法303中，以生成語音識別語法1205(步驟S1702中的是，并進(jìn)入步驟S1703)。因此，語音識別語法1205接受語音“打印”、“復(fù)制”、“傳真”、和“郵寄”。
然后，在步驟S1704，將語音輸入組件的語音識別語法改變?yōu)檎Z音識別語法1205。當(dāng)按鈕1203具有數(shù)據(jù)模型設(shè)置時(shí)(步驟S1705中的是)，如以上第二實(shí)施例中所述執(zhí)行設(shè)置(步驟S1706)。
在上述例子中，所添加組件的模態(tài)與現(xiàn)有組件的模態(tài)不同。然而，這兩個(gè)模態(tài)也可以是相同的，例如，可以將按鈕的項(xiàng)添加到下拉式組件的項(xiàng)中。
如上所述，根據(jù)第三實(shí)施例，設(shè)計(jì)者可以通過使用現(xiàn)有的組件來添加組件的項(xiàng)。因此，可以減少多余的操作。
第四實(shí)施例下面說明根據(jù)本發(fā)明的第四實(shí)施例用于構(gòu)造多模態(tài)UI的方法。在該實(shí)施例中，考慮同義詞，對組件進(jìn)行轉(zhuǎn)換。在下面的說明中，以用于構(gòu)造多模態(tài)UI的設(shè)計(jì)工具為例。
參考圖13，按鈕“語音”1303被置于GUI編輯屏幕1301上。通過選擇和復(fù)制按鈕1303，并將其粘貼在語音UI編輯屏幕1302上，如以上第二實(shí)施例中所述，生成語音輸入組件1304。然而，該實(shí)施例的不同之處在于當(dāng)對待轉(zhuǎn)換的組件進(jìn)行分析時(shí)(步驟S1701)，參考存儲在存儲單元102中的同義詞列表1305。當(dāng)同義詞存在時(shí)，該同義詞被添加到識別詞匯。例如，“語音”的同義詞，例如“聲音”和“聲學(xué)”，被添加到識別詞匯(1306)。因此，語音輸入組件1304不僅可以接受“語音”，而且也可以接受其同義詞“聲音”和“聲學(xué)”。
在圖14中，語音輸入組件1403被置于語音UI編輯屏幕1401上。語音輸入組件1403具有語音識別語法1306。當(dāng)選擇、復(fù)制語音輸入組件1403，并將其粘貼在GUI編輯屏幕1402上時(shí)，如上述例子中，在分析待轉(zhuǎn)換的組件期間，參考同義詞列表1305(步驟S1701)。在這種情況下，語音識別語法1306的識別詞匯包括同義詞(“語音”、“聲音”、和“聲學(xué)”)，以便選擇位于同義詞樹的頂端的術(shù)語，并將同義詞合在一起。換句話說，只提取“語音”作為分析語音輸入組件的結(jié)果，并將按鈕“語音”1404置于GUI編輯屏幕1402上。
如上所述，根據(jù)第四實(shí)施例，在考慮同義詞的同時(shí)來轉(zhuǎn)換組件。因此，設(shè)計(jì)者在轉(zhuǎn)換后無需添加同義詞，從而可以減少多余的操作。而且，除同義詞外，也可應(yīng)用相關(guān)的術(shù)語例如近義詞。
在第一到第四實(shí)施例中，已經(jīng)說明了與GUI編輯和語音UI編輯相關(guān)的組件的轉(zhuǎn)換。然而，本發(fā)明也可適用于使用手寫字符識別的UI和使用姿態(tài)識別的UI。
本發(fā)明也可以這樣來實(shí)現(xiàn)向系統(tǒng)和裝置提供存儲實(shí)現(xiàn)上述實(shí)施例的功能的軟件的程序代碼的存儲介質(zhì)，并允許該系統(tǒng)或裝置的計(jì)算機(jī)(或CPU或MPU)來讀取并執(zhí)行該程序代碼。
在這種情況下，從存儲介質(zhì)讀取的程序代碼實(shí)現(xiàn)上述實(shí)施例的功能，因此，存儲程序代碼的存儲介質(zhì)構(gòu)成了本發(fā)明的實(shí)施例。
用于提供程序代碼的存儲介質(zhì)的例子包括軟盤、硬盤、光盤、磁光盤、CD-ROM、CD-R、磁帶、非易失性存儲卡、和ROM。
通過允許計(jì)算機(jī)執(zhí)行所讀取的程序代碼，可以實(shí)現(xiàn)上述實(shí)施例的功能。同樣，通過允許在計(jì)算機(jī)中運(yùn)行的操作系統(tǒng)(OS)等，基于程序代碼的指令，執(zhí)行部分或全部的實(shí)際處理，也可以實(shí)現(xiàn)上述實(shí)施例的功能。
此外，在將從存儲介質(zhì)讀取的程序代碼寫入插入到計(jì)算機(jī)中的功能擴(kuò)展板或與計(jì)算機(jī)相連接的功能擴(kuò)展單元的存儲器中之后，功能擴(kuò)展板或功能擴(kuò)展單元上所提供的CPU等，基于程序代碼的指令，可以執(zhí)行部分或全部的實(shí)際處理。通過該處理，可以實(shí)現(xiàn)上述實(shí)施例的功能。
盡管參考典型實(shí)施例說明了本發(fā)明，但應(yīng)當(dāng)理解，本發(fā)明不局限于所公開的典型實(shí)施例。以下權(quán)利要求書的范圍符合最寬的解釋，以包含所有修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種構(gòu)造用戶界面的方法，包括選擇步驟，用于選擇一個(gè)或多個(gè)第一組件；接收步驟，用于接收將該第一組件轉(zhuǎn)換成第二組件的指令，該第二組件的類型與該第一組件的類型不同；轉(zhuǎn)換步驟，用于將對應(yīng)于該第一組件的數(shù)據(jù)轉(zhuǎn)換成對應(yīng)于該第二組件的數(shù)據(jù)；以及顯示控制步驟，用于控制顯示與在轉(zhuǎn)換步驟中所轉(zhuǎn)換的數(shù)據(jù)相關(guān)的該第二組件。
2.根據(jù)權(quán)利要求1所述的構(gòu)造用戶界面的方法，其特征在于，還包括模態(tài)指定步驟，用于指定通過轉(zhuǎn)換生成的組件的模態(tài)；以及判定步驟，用于根據(jù)在模態(tài)指定步驟中所指定的模態(tài)來判定該第二組件的類型。
3.根據(jù)權(quán)利要求2所述的構(gòu)造用戶界面的方法，其特征在于，在根據(jù)模態(tài)指定步驟中所指定的模態(tài)來判定類型之前，如果有多個(gè)備選類型的話，判定步驟呈現(xiàn)多個(gè)備選類型，然后選擇所呈現(xiàn)的備選類型中的一個(gè)。
4.根據(jù)權(quán)利要求2所述的構(gòu)造用戶界面的方法，其特征在于，還包括生成步驟，用于當(dāng)在判定步驟中所判定的類型是語音輸入組件時(shí)，基于對應(yīng)于第一組件的數(shù)據(jù)，生成語音識別語法。
5.根據(jù)權(quán)利要求1所述的構(gòu)造用戶界面的方法，其特征在于，當(dāng)在選擇步驟中所選擇的第一組件是語音輸入組件時(shí)，轉(zhuǎn)換步驟對語音輸入組件的語音識別語法進(jìn)行轉(zhuǎn)換。
6.根據(jù)權(quán)利要求1所述的構(gòu)造用戶界面的方法，其特征在于，還包括組件指定步驟，用于指定將與另一組件一起添加的組件，其中，當(dāng)在組件指定步驟中指定將與另一組件一起添加的組件時(shí)，與在選擇步驟中所選擇的第一組件相對應(yīng)的數(shù)據(jù)被添加到與所指定的組件相對應(yīng)的數(shù)據(jù)中。
7.根據(jù)權(quán)利要求4所述的構(gòu)造用戶界面的方法，其特征在于，將識別相關(guān)詞匯的描述添加到語音識別語法中，該詞匯是例如與在選擇步驟中所選擇的第一組件相對應(yīng)的數(shù)據(jù)的同義詞和近義詞。
8.根據(jù)權(quán)利要求5所述的構(gòu)造用戶界面的方法，其特征在于，當(dāng)分析結(jié)果包括一個(gè)或多個(gè)同義詞時(shí)，將同義詞合為一個(gè)。
9.根據(jù)權(quán)利要求5所述的構(gòu)造用戶界面的方法，其特征在于，當(dāng)轉(zhuǎn)換前的組件的信息在轉(zhuǎn)換后被改變時(shí)，判定是否更新轉(zhuǎn)換后的組件的信息。
10.一種構(gòu)造用戶界面的裝置，包括選擇裝置，用于選擇一個(gè)或多個(gè)第一組件；接收裝置，用于接收將該第一組件轉(zhuǎn)換成第二組件的指令，該第二組件的類型與該第一組件的類型不同；轉(zhuǎn)換裝置，用于將對應(yīng)于該第一組件的數(shù)據(jù)轉(zhuǎn)換成對應(yīng)于該第二組件的數(shù)據(jù)；以及顯示控制裝置，用于控制顯示與通過轉(zhuǎn)換裝置所轉(zhuǎn)換的數(shù)據(jù)相關(guān)的該第二組件。
全文摘要
一種構(gòu)造用戶界面的方法，該方法選擇一個(gè)或多個(gè)第一組件，提供將該第一組件轉(zhuǎn)換成第二組件的指令，該第二組件的類型與該第一組件的類型不同，將對應(yīng)于該第一組件的數(shù)據(jù)轉(zhuǎn)換成對應(yīng)于該第二組件的數(shù)據(jù)，并顯示與所轉(zhuǎn)換的數(shù)據(jù)相關(guān)的該第二組件。因此，可以減輕施加給操作設(shè)計(jì)工具的設(shè)計(jì)者的操作負(fù)擔(dān)。
文檔編號G06F9/44GK1782994SQ20051012416
公開日2006年6月7日 申請日期2005年11月25日 優(yōu)先權(quán)日2004年11月26日
發(fā)明者近江裕美, 山田雅章, 廣田誠 申請人:佳能株式會社