跟蹤用戶以支持在復雜系統(tǒng)組件上執(zhí)行的任務的制作方法
【專利摘要】本發(fā)明涉及跟蹤用戶以支持在復雜系統(tǒng)組件上執(zhí)行的任務。本發(fā)明提供一種系統(tǒng)，其包括被配置為在執(zhí)行任務以運行復雜系統(tǒng)組件期間提供包括用戶的運動和/或取向的測量值的感測到的輸入的傳感器（106)。該系統(tǒng)包括iu端系統(tǒng)（102)，其被配置為處理包括測量值的所述感測到的輸入，從其中辨識表示感測到的輸入的意義的已知模式，從而辯識電子資源（602)的操作。前端系統(tǒng)(102)被配置為形成并傳送輸入，以使電子資源執(zhí)行操作（602)并產生輸出。操作（602)包括在任務的執(zhí)行期間用戶的動作的確定，或任務的執(zhí)行相關的工藝變量的計算。并且前端系統(tǒng)（102)被配置為從所述電子資源接收輸出，并且將輸出傳送到顯示裝置（110)、音頻輸出裝置或觸覺傳感器。
【專利說明】跟蹤用戶以支持在復雜系統(tǒng)組件上執(zhí)行的任務

【技術領域】
[0001] 本公開總體涉及任務的執(zhí)行，具體地，涉及跟蹤用戶以支持在復雜系統(tǒng)的組件上 的任務的執(zhí)行。

【背景技術】
[0002] 許多現(xiàn)代的復雜系統(tǒng)如飛機通常由組件、子系統(tǒng)等組成。每個子系統(tǒng)由各自的部 件組成，并且每個部件包括各自的特征。復雜系統(tǒng)的部件可被組裝成數(shù)個子系統(tǒng)，其進而可 以被組裝成復雜的系統(tǒng)。其中在飛機的情況下，一個或更多個部件或子系統(tǒng)可以被設計為 通常稱作現(xiàn)場可更換單元（LRU)的飛機的模塊化組件，其中的單個飛機可以包括數(shù)個LRU 和其他部件或子系統(tǒng)。
[0003] 復雜系統(tǒng)上的工作通常包括由數(shù)名工作人員包括技師、技工等執(zhí)行的生產前、生 產中和生產后活動。在復雜系統(tǒng)的生產中或生產后期間，例如，工作人員可執(zhí)行數(shù)種活動， 如建造、修理和/或維護活動。在各種示例中，可以根據形式化指令用于建造、創(chuàng)建或以其 他方式完成飛機或飛機組件的工程設計的要求或意圖的工作計劃來執(zhí)行這些以及類似的 活動。該工程設計可包括指明飛機的規(guī)格、容差、用途、材料或其他方面的一組要求。工作 計劃可包括一系列的工作指令，它們一起構成由工作人員來完成的一組指示，并且每個工 作指令可以包括一個或更多個工作任務，其中的一些可以有自己的工藝要求。
[0004] 許多復雜的系統(tǒng)需要精確的環(huán)境以滿足工程設計的要求，其多年來要求工作人員 使用其中某些相當專業(yè)并且某些需要昂貴的反復校準的全套的工具。這通常會導致工作環(huán) 境堆滿昂貴的工具和各自的校準文件，并且會降低必須通過任務調度的隊列移動的工具的 吞吐量。
[0005] 因此，可能期望具有考慮到上面討論的問題以及可能存在的其他問題中的至少一 些的系統(tǒng)和方法。


【發(fā)明內容】

[0006] 本發(fā)明的示例實施方式總體涉及用于跟蹤用戶如工作人員以支持在復雜系統(tǒng)的 組件上執(zhí)行的任務的系統(tǒng)和方法。示例實施方式的系統(tǒng)和方法使工作人員和他們的環(huán)境共 同完成任務。在一些示例中，該系統(tǒng)和方法使工作人員使用不太昂貴的、更常用的工具和儀 器來完成任務目標。
[0007] 根據示例實施方式，工作人員可以在其環(huán)境中執(zhí)行復雜系統(tǒng)部件上的任務。示例 實施方式的系統(tǒng)和方法集成傳感器系統(tǒng)、移動計算和聯(lián)網系統(tǒng)來感測工作人員、其環(huán)境和/ 或他們與其環(huán)境的交互。然后該系統(tǒng)和方法可以基于用戶、環(huán)境或交互與一個或更多個電 子資源交互，以支持同一個或另一個工作人員執(zhí)行同一個或另一個任務。
[0008] 在一些示例中，該系統(tǒng)和方法可進一步提供利用直觀和自然的交互模型與交互模 式的新的用戶界面，并且其有時可在本文中稱為一種泛在自然用戶（UNU)系統(tǒng)。示例實 施方式中的UNU系統(tǒng)可以形成增強現(xiàn)實系統(tǒng)的一部分，其包括個人顯示系統(tǒng)，如增強現(xiàn)實 (AR)的眼鏡，包括顯示裝置，其可以使能免提交互和協(xié)作的信息共享。在一些示例中，UNU 系統(tǒng)可以采用其他有源或無源的個人顯示系統(tǒng)。
[0009] 根據示例實施方式的一個方面，用戶可以分派任務來執(zhí)行操作復雜系統(tǒng)的組件如 飛機的組件的任務。UNU系統(tǒng)包括一個或更多個傳感器，其被配置為在任務的執(zhí)行過程中提 供包括用戶的運動和/或取向的至少一個的測量值的感測到的輸入。UNU系統(tǒng)還包括前端 系統(tǒng)，其耦合到所述傳感器，并且被配置為接收和處理包括測量值的所述感測到的輸入，以 確定表示所感測的輸入的意義的已知模式，從中確定要執(zhí)行的電子資源的操作。
[0010] 前端系統(tǒng)被配置為形成并傳送輸入，以使電子資源執(zhí)行操作并產生輸出。操作包 括在任務的執(zhí)行過程中用戶的動作的確定，或從包括測量值的感測到的輸入中與任務的執(zhí) 行相關的工藝變量的計算。并且前端系統(tǒng)被配置為從所述電子資源接收輸出，并且將輸出 傳送到顯示裝置、音頻輸出裝置或觸覺傳感器。
[0011] 在一個示例中，所述任務具有包含或暗示已定義的用戶的動作的任務定義。在這 個示例中，所述的前端系統(tǒng)被配置為形成并傳送輸入，以使電子資源執(zhí)行操作，這些操作包 括用戶的動作的確定，并且進一步包括已確定的動作和已定義的動作的比較，以及基于比 較利用任務定義確定任務的執(zhí)行的順從性。也是在這個示例中，前端系統(tǒng)可以被配置為接 收和傳送順從性的指示。
[0012] 在一個示例中，前端系統(tǒng)可以被配置為形成并傳送輸入或另一個輸入，以使所述 電子資源或另一個電子資源基于所感測到的輸入來執(zhí)行或促進人體工程學的風險評估的 執(zhí)行。
[0013] 在一個示例中，任務具有任務定義，其指定針對工藝變量指定工藝要求，工藝變量 包括在任務的執(zhí)行期間施加到緊固件的扭矩、搖擺力和預加負荷，該任務包括在復雜系統(tǒng) 的組件上的緊固件的安裝。在這個示例中，前端系統(tǒng)被配置為形成并傳送輸入以使電子資 源執(zhí)行操作，這些操作包括工藝變量的計算，并且進一步包括已計算的工藝變量和已指定 的工藝要求的比較，以及基于所述比較利用已指定的工藝要求確定已計算的工藝變量的順 從性。也是在這個示例中，前端系統(tǒng)可以被配置為接收和傳送順從性的指示。
[0014] 在進一步的示例中，（多個）傳感器可以包括被配置為在任務的執(zhí)行期間提供用 戶的肌肉活動的測量值的肌肉活動傳感器。在此進一步的示例中，前端系統(tǒng)可以被配置為 形成并傳送輸入以使電子資源來執(zhí)行包括從肌肉活動的測量值中計算工藝變量的操作。
[0015] 在進一步的示例中，前端系統(tǒng)可以被配置為接收和傳送視覺線索、聽覺反饋或觸 覺反饋，以提醒用戶已計算的工藝變量符合指定的工藝要求。
[0016] 在一個示例中，前端系統(tǒng)可以被配置為傳送輸出用于由包括顯示裝置的個人顯示 系統(tǒng)來顯示。在這個示例中，個人顯示系統(tǒng)可以被配置為產生或使能由顯示裝置顯示的輸 出的增強的環(huán)境的即時顯示或直接顯示。
[0017] 在示例實施方式中的其他方面，提供一種改進的方法和計算機可讀存儲介質用于 跟蹤用戶以支持在復雜系統(tǒng)的組件上執(zhí)行的任務。該計算機可讀存儲介質包括計算機可讀 程序代碼，其響應于處理器的執(zhí)行，使得設備至少進行以下：在由用戶運行復雜系統(tǒng)組件的 任務的執(zhí)行期間接收來自一個或更多個傳感器的包括用戶的運動和/或取向中的至少一 個的測量值的感測到的輸入；并且處理包括測量值的感測到的輸入，以從其中辨識表示感 測到的輸入的意義的已知模式，從而辨識電子資源的操作。計算機可讀程序代碼進一步使 設備形成并傳送輸入，以使電子資源執(zhí)行操作并產生輸出，操作包括：在任務的執(zhí)行期間用 戶的動作的確定；或從測量值中計算與任務的執(zhí)行相關的工藝變量；以及接收來自電子資 源的輸出；以及將輸出傳送到顯示裝置、音頻輸出裝置或觸覺傳感器。本文所討論的特征、 功能和優(yōu)點可在不同的示例實施方式中被獨立地實現(xiàn)，或結合參考下面的描述和附圖可見 的進一步細節(jié)的其他示例實施方式中的而實現(xiàn)。

【專利附圖】

【附圖說明】
[0018] 因此，已經概括地描述本公開的示例實施方式，現(xiàn)在將參考并非按比例繪制的附 圖，并且其中：
[0019] 圖1是根據示例實施方式的泛在自然用戶（UNU)系統(tǒng)的示意圖；
[0020] 圖2是以增強現(xiàn)實系統(tǒng)的形式的UNU系統(tǒng)的一種示例實施方式的示意圖；
[0021] 圖3是根據示例實施方式的前端系統(tǒng)的示意圖；
[0022] 圖4、圖5、圖6和圖7根據示例實施方式分別示出傳感器系統(tǒng)、分析系統(tǒng)、執(zhí)行系 統(tǒng)和評估系統(tǒng)；
[0023] 圖8是根據一種示例實施方式的飛機生產和服務方法的流程圖的示意圖；以及
[0024] 圖9是根據一種示例實施方式的飛機的框圖的示意圖。

【具體實施方式】
[0025] 現(xiàn)在將參考附圖在下文中更充分地描述本公開的一些實施方式，其中本公開的一 些實施方式并非所有實施方式被示出。事實上，本公開的各種實施方式可以按照許多不同 的形式來實施，并且不應被解釋為限于本文所闡述的實施方式；相反，提供這些示例實施方 式使得本公開徹底并且完整，并且充分地向本領域技術人員傳達本公開的范圍。例如，除非 另有說明，標記某物為第一、第二等不應該被解釋為暗示特定的順序。并且，被描述為在其 他物品上方的某物（除非另有說明）可以替代地在其他物品的下方，反之亦然；并且同樣 地，描述為在其他物品的左邊的某物可替代地在其他物品的右邊，反之亦然。相同的標號自 始至終指代相同的元件。
[0026] 本發(fā)明的示例實施方式總體涉及用于與一個或更多個電子資源交互的泛在自然 用戶（UNU)系統(tǒng)。一些示例實施方式可總體涉及用于跟蹤用戶（例如，工作人員）以支持 在復雜的系統(tǒng)的組件上執(zhí)行任務的系統(tǒng)和方法，并且這些示例實施方式可以與UNU系統(tǒng)進 一步集成。UNU系統(tǒng)通?？梢员慌渲脼楦袦y用戶、用戶的環(huán)境和/或用戶與其環(huán)境的交互。 用戶、環(huán)境或交互的信息特性可以被分析以辯別可能引起一個或更多個電子資源執(zhí)行的一 個或更多個操作，從而該一個或更多個操作與各自的資源交互。（多個）操作可以被執(zhí)行， 并且可以被反饋到之前的分析用于進一步地評估以便改進未來的結果，并提供任何需要的 或其他期望的操作變化的及時信息。
[0027] 圖1根據本公開的示例實施方式示出UNU系統(tǒng)100。UNU系統(tǒng)可以包括，例如，連 接到或以其他方式耦合到的一個或更多個接口的用于發(fā)送、接收和/或輸出信息的前端系 統(tǒng)102。接口可以包括一個或更多個通信接口 104、傳感器106和/或用戶界面。通信接口 可以被配置為發(fā)送和/或接收信息，例如，發(fā)送到和/或接收自UNU系統(tǒng)的其他元件、一個 或更多個資源主機系統(tǒng)108等。
[0028] 通信接口 104可以被配置為通過物理（有線）和/或無線通信鏈路傳送和/或 接收信息。這些無線通信鏈路具體地可以被配置為實現(xiàn)任何多個不同的無線接入技術，例 如，3GPP或4GPP無線接入技術、UMTSUTRA、GSM無線接入技術、CDMA2000無線接入技術、 WLAN(例如，ΙΕΕΕ802·χχ，例如，802. lla、802. llb、802. llg、802. lln)、WiMAX、IEEE802. 16， 無線 PAN(WPAN)(例如，IEEE802. 15、Bluetooth?、Bluetooth?的低功率版本、IrDA、UWB、 Wibree、 Zigbee'? )、近場通信技術等。
[0029] 前端系統(tǒng)102還可以被耦合到被配置為提供所感測的輸入到UNU系統(tǒng)100的一個 或更多個傳感器106。在一些示例中，傳感器和通信接口 104通?？梢詾榍岸讼到y(tǒng)提供必 要的輸入以便檢測、識別和驅動自然用戶界面的顯示用于與各種電子資源交互。自然用戶 界面可以去除無關的設備和輸入模態(tài)，并且可在地理時間上允許并且分派針對用戶的角色 (或許可級別）和權限定制的顯著（salient)的交互。
[0030] 傳感器106可包括機載傳感器、非機載傳感器、傳感器集中器、傳感器聚合器等。 傳感器的合適類型的示例包括用戶生理狀況傳感器、用戶動作跟蹤傳感器、用戶認知跟蹤 傳感器、環(huán)境狀況傳感器、環(huán)境跟蹤傳感器等。
[0031] 合適的用戶的生理狀況傳感器的示例包括溫度傳感器（例如，溫度計、熱電偶）、 心率傳感器、呼吸傳感器、排汗傳感器、肌肉活動（例如，EMG-肌電圖、MMG-肌動圖）傳感 器、應變傳感器、血壓傳感器等。合適的生理狀況傳感器的其他示例包括圖像傳感器，例如 攝像機（例如，數(shù)碼相機、紅外線攝像機、熱感攝像機、深度感知或范圍攝像機、立體攝像 機）、音頻傳感器（例如，麥克風）等。合適的用戶動作跟蹤傳感器的示例包括位置傳感器 (例如，GPS、慣性導航、基于Wi-Fi的定位、基于RFID的定位）、運動傳感器（例如，加速度 計）、方位傳感器（例如，陀螺儀、羅盤、磁強計）、慣性測量單元（MU)、壓力傳感器、肌肉活 動傳感器等。合適的用戶動作跟蹤傳感器的其他示例包括圖像傳感器（例如，攝像機）、音 頻傳感器等。合適的用戶認知跟蹤傳感器的示例包括關注傳感器、焦點傳感器等，其中的至 少一些可包括一個或更多個傳感器，其用于可根據適當?shù)乃惴ǎɡ?，微表情、手勢、相?于任務的相對運動）處理的一組用戶動作。
[0032] 合適的環(huán)境狀況傳感器的示例包括圖像傳感器（例如，攝像機）、音頻傳感器、位 置傳感器、時鐘、日歷、溫度傳感器、濕度傳感器、光傳感器、距離/深度傳感器、三維（3D)掃 描儀、激光測量傳感器等。合適的環(huán)境跟蹤傳感器的示例包括圖像傳感器、音頻傳感器、日 歷、時鐘、光傳感器等。特別地，由于不同的傳感器可以用于不同的目的，傳感器106的一種 類型的示例可以同樣是傳感器的另一種類型的示例。合適的傳感器的其他示例包括傾斜傳 感器、地標系統(tǒng)、測力計、遙測傳感器、光纖傳感器等。更進一步地，在一些示例中，通信接口 104可以充當用于從一個或更多個電子資源（例如本地高速緩存或后端信息系統(tǒng)）中提供 信息的傳感器。
[0033] 前端系統(tǒng)102還可以耦合到一個或更多個用戶接口用于輸出和/或輸入信息，例 如，顯示裝置110、（多個）音頻輸出裝置（例如，（多個）揚聲器、耳機等）、被配置為提供 如力、振動或運動的觸覺反饋的（多個）觸摸傳感器。顯示裝置可以被配置為向用戶呈現(xiàn) 或以其他方式顯示信息，并且在一些示例中可包括可佩戴式（例如，頭戴式）或手持式個人 顯示系統(tǒng)的顯示裝置。合適的個人顯示系統(tǒng)的示例可以包括如那些以以下形式提供的私 人、（私有鏈接的）私人共享或公開的個人顯示系統(tǒng)：以眼鏡、安全護目鏡、隱形眼鏡等、圖 像投影儀、視頻投影儀、任何多個其他主動或被動的顯示系統(tǒng)、激光指示器等形式。在其他 示例中，顯示裝置可以包括更傳統(tǒng)的顯示裝置（例如，液晶顯示器（LCD)、發(fā)光二極管顯示 器（LED)、等離子顯示面板（PDP)等），其可以或可以不采取個人顯示系統(tǒng)（例如，智能手 機、平板電腦）的形式。
[0034] 用戶接口還可以包括一個或更多個用戶輸入接口。這些用戶輸入接口可以是有線 的或無線的，并且可以被配置為接收（例如用于處理、存儲和/或顯示的）從用戶到UNU系 統(tǒng)100的輸入。用戶輸入界面的合適的示例包括麥克風、圖像或視頻捕獲設備、鍵盤或小鍵 盤，操縱桿、（與觸摸屏分離或集成到觸摸屏的）觸敏表面、生物傳感器等。類似于通信接 口，在一些示例中，用戶輸入接口可以充當用于提供直接來自用戶的信息的傳感器。
[0035] 如上面所建議的，示例實施方式的UNU系統(tǒng)100可以被配置為與一個或更多個資 源主機系統(tǒng)108通信，其可以被配置為托管（host)電子資源。主機系統(tǒng)的一些示例可以遠 離UNU系統(tǒng)，例如跨過一個或更多個網絡，而主機系統(tǒng)的其他示例可以在UNU系統(tǒng)本地。雖 然合適的電子資源的示例一般可包括基于軟件的系統(tǒng)，但是電子資源可以根據UNU系統(tǒng)的 應用而變化。在一些示例中，資源主機系統(tǒng)可包括由電子資源可訪問的適當?shù)拇鎯Γ缥?件存儲、數(shù)據庫存儲、云存儲等。
[0036] 合適的基于軟件的系統(tǒng)（電子資源）的示例包括信息系統(tǒng)、建筑管理系統(tǒng)、計算機 輔助設計（CAD)系統(tǒng)等。合適的信息系統(tǒng)的示例可包括事務處理系統(tǒng)、辦公系統(tǒng)、決策支持 系統(tǒng)、知識管理系統(tǒng)、數(shù)據庫管理系統(tǒng)、辦公信息系統(tǒng)。合適的信息系統(tǒng)的其他示例可以包 括數(shù)據倉庫、資源規(guī)劃系統(tǒng)、企業(yè)系統(tǒng)、專家系統(tǒng)、搜索引擎、地理信息系統(tǒng)、全球信息系統(tǒng)、 辦公自動化系統(tǒng)等。
[0037] 資源主機系統(tǒng)108被示為與UNU系統(tǒng)100分離，但是在各個示例中，UNU系統(tǒng)可以 包括一個或更多個資源主機系統(tǒng)。同樣地，盡管傳感器106和顯示裝置110被示為UNU系 統(tǒng)的一部分，但是一個或更多個傳感器和/或顯示裝置可以與UNU系統(tǒng)分離，而只是與UNU 系統(tǒng)通信（例如在一個或更多個非機載傳感器的情況下）。
[0038] 圖2是增強現(xiàn)實系統(tǒng)的形式的UNU系統(tǒng)200的一種示例實施方式的圖示。如所 示，UNU系統(tǒng)可包括計算機系統(tǒng)202,其在一些示例中計算機系統(tǒng)202可被配置為實現(xiàn)圖1 中UNU系統(tǒng)100的前端系統(tǒng)102和通信接口 104。在一些示例中，計算機系統(tǒng)可以包含、包 括便攜式、基于硬件的電子裝置（例如，智能電話、平板電腦等）或體現(xiàn)在該電子裝置中。 計算機系統(tǒng)可以（有線或無線地）耦合到一個或更多個可佩戴式（例如，頭戴式）或手持 式個人顯示系統(tǒng)。在一些示例中，個人顯示系統(tǒng)可以采取增強現(xiàn)實（AR)眼鏡、安全護目鏡、 隱形眼鏡等形式（通常為AR眼鏡204)，其可以是由環(huán)境中的用戶佩戴的。在一些示例中， UNU系統(tǒng)可被集成到AR眼鏡。
[0039] 計算機系統(tǒng)202和/或AR眼鏡204 (或其他個人顯示系統(tǒng)）可配備有或（有線或 無線地）耦合到一個或更多個傳感器（例如，傳感器106)，該一個或更多個傳感器被配置為 向計算機系統(tǒng)提供感測到的輸入。如上面所建議的，例如，這些傳感器可以包括環(huán)境狀況傳 感器，例如3D掃描儀206,該環(huán)境狀況傳感器被配置為掃描用戶的環(huán)境，并且提供環(huán)境中的 對象表面上的點的測量值。這些測量值可被用于數(shù)種不同的目的，例如，用于產生用戶環(huán)境 的點云或其他3D模型。
[0040] 這些傳感器還可以包括一個或更多個攝像機208,其可被配置為用戶動作跟蹤傳 感器和/或環(huán)境狀況傳感器。（多個）攝像機可被配置為捕獲用戶和/或其物理的、真實 世界環(huán)境的圖像或視頻；以及在一些情況下，（多個）攝像機可以由此捕獲用戶的手勢。在 一些示例中，傳感器可以包括其他用戶動作跟蹤傳感器，用戶動作跟蹤傳感器在一些情況 下可被配置為根據任何多個合適的手勢識別技術捕獲用戶的手勢。合適的傳感器的示例包 括一個或更多個加速度計210 (運動傳感器）、陀螺儀212 (方位傳感器）、IMU214、光纖傳感 器216、肌肉活動（例如，EMG)傳感器218等。另外或替代地，例如，傳感器可包括例如麥 克風220的音頻傳感器，其被配置為捕獲來自用戶的音頻（例如語音命令）。傳感器可以 采取數(shù)種不同的形式，并且在一些示例中可以是用戶可佩戴的，例如在用戶的手指、腕、臂、 踝、腿、腰或軀干上。在一些示例中，AR眼鏡204可以配備有3D掃描儀206和（多個）攝 像機208,其可以使得3D掃描儀和（多個）攝像機能夠提供自用戶的視點的測量值和圖像 /視頻。在一些示例中，AR眼鏡和/或計算機系統(tǒng)202可以配備有（多個）各種加速度計 210、（多個）陀螺儀212、（多個）IMU214和/或麥克風220。在一些示例中，計算機系統(tǒng)可 以耦合到配備有（多個）各種加速度計、（多個）陀螺儀、（多個）IMU、（多個）光纖傳感器 216和/或（多個）肌肉活動（例如，EMG)的傳感器218的有線手套、臂章或其他用戶可穿 戴裝置或系統(tǒng)。合適的有線手套的一個示例是Fifth Dimension Technologies的5DT Data Glove Ultra。并且合適的臂章的一個示例是Thalmic Labs公司的ΜΥ0手勢控制臂章。
[0041] 在一些示例中，攝像機208和/或麥克風220可以被配置為生理狀況傳感器，其被 配置為提供用戶的圖像/視頻和/或音頻?；蛘哂嬎銠C系統(tǒng)202和/或AR眼鏡204可配 備有或（有線或無線地）耦合到被配置為提供所感測的用戶的輸入特征的一個或更多個其 他生理狀況傳感器。此感測的輸入在各個實施例中可以允許用戶的識別。
[0042] 在一些示例中，計算機系統(tǒng)202和/或AR眼鏡204可配備有或耦合（通過有線或 無線）到被配置為提供用戶位置的測量值的一個或更多個位置傳感器222。如上面所指出 的，適合的位置傳感器的示例包括支持GPS、慣性導航、基于Wi-Fi的定位、基于RFID的定位 等的那些傳感器。
[0043] AR眼鏡204(或其他個人顯示系統(tǒng)）可以產生或以其他方式使能用戶的環(huán)境的即 時顯示或直接顯示。AR眼鏡還可以包括顯示裝置224(例如，顯示裝置110)用于顯示來自 (例如，實現(xiàn)UNU系統(tǒng)100的）計算機系統(tǒng)202的信息（例如由電子資源輸出的信息）。在 這方面，環(huán)境的即時顯示或直接顯示可以通過來自計算機系統(tǒng)的信息來增強。在一些示例 中，計算機系統(tǒng)或AR眼鏡可進一步包括或以其他方式被配置為與一個或更多個音頻輸出 裝置、用于提供聽覺和/或觸覺反饋的觸覺傳感器進行通信。顯示裝置除了提供的某些視 覺反饋或信息，或者替代提供某些視覺反饋或信息，可以提供這種反饋。
[0044] 如上面所建議的以及在下面解釋的，來自計算機系統(tǒng)202的信息可取決于從一個 或更多個傳感器206-220所感測的輸入，這些傳感器中的一些可以由AR眼鏡204和/或計 算機系統(tǒng)配備并且其中的另一些可以耦合到AR眼鏡204和/或計算機系統(tǒng)。在一個具體 示例中，來自計算機系統(tǒng)的信息可以根據用戶的視點而變化，其可以由從傳感器例如攝像 機208感測的輸入來反射。在一些其他示例中，計算機系統(tǒng)可以耦合到多個AR眼鏡；并且 在這些示例中，根據AR眼鏡各自的用戶的視點，來自計算機系統(tǒng)的信息可以針對AR眼鏡中 的每個而變化。
[0045] 圖3根據一種示例實施方式示出前端系統(tǒng)300。圖3的前端系統(tǒng)300可以是圖1 的UNU系統(tǒng)100的前端系統(tǒng)102的一個示例，并且前端系統(tǒng)300在一些示例中可以由圖2的 UNU系統(tǒng)200的計算機系統(tǒng)202實現(xiàn)。前端系統(tǒng)可以包括用于執(zhí)行一個或更多個功能或操 作以執(zhí)行與一個或更多個電子資源進行用戶交互的任何多個不同的子系統(tǒng)（每個為單獨 的系統(tǒng)）。如所示，例如，前端系統(tǒng)可包括傳感器系統(tǒng)302、分析系統(tǒng)304、執(zhí)行系統(tǒng)306和/ 或評估系統(tǒng)308。應當理解，雖然傳感器系統(tǒng)、分析系統(tǒng)、執(zhí)行系統(tǒng)和評估系統(tǒng)被示為前端系 統(tǒng)的一部分，這些相應的系統(tǒng)中的一個或多個可以替代地與前端系統(tǒng)或者甚至是UNU系統(tǒng) 分離，而是與前端系統(tǒng)或者甚至是UNU系統(tǒng)通信。進一步地，應當理解，這些子系統(tǒng)中的一 個或更多個子系統(tǒng)可以充當或工作為單獨的系統(tǒng)，而不考慮這些子系統(tǒng)中的其他子系統(tǒng)。 并且應當理解，UNU系統(tǒng)可包括比圖3中所示的那些子系統(tǒng)更多的一個或更多個附加的或 可替換的子系統(tǒng)。
[0046] 如下面更詳細的解釋，傳感器系統(tǒng)302通常可被配置為接收來自一個或更多個傳 感器（例如，傳感器106)的所感測的輸入，該輸入可以包括用戶的信息特性、用戶的環(huán)境和 /或用戶與其環(huán)境的交互。分析系統(tǒng)304可以處理此特征信息并將其與現(xiàn)有知識相關聯(lián)，以 便辨別特征信息的意圖、目的或者意義，并從它的意義，辨別執(zhí)行系統(tǒng)306可以使得一個或 更多個電子資源進行執(zhí)行的一個或更多個操作。評估系統(tǒng)308可以執(zhí)行必要的分析并且返 回反饋以改進未來的操作?，F(xiàn)在將參考圖4、圖5、圖6和圖7,其根據本公開的示例實施方 式分別示出合適的傳感器系統(tǒng)、分析系統(tǒng)、執(zhí)行系統(tǒng)和評估系統(tǒng)的更具體的示例。
[0047] 圖4根據一種示例實施方式示出傳感器系統(tǒng)400。如上面所指出的，傳感器系統(tǒng) 400可以是圖3的前端系統(tǒng)300的傳感器系統(tǒng)302的一個不例。傳感器系統(tǒng)可以被配置為 從一個或更多個傳感器（例如，傳感器106)接收和收集所感測的輸入。傳感器通常可以被 配置為感測用戶、用戶的環(huán)境和/或用戶與其環(huán)境的交互；并且其感測到的輸入可以是用 戶、用戶的環(huán)境或用戶與其環(huán)境交互的特性。在一些示例中，傳感器系統(tǒng)可以使用各種感測 到的輸入以導出用戶、用戶的環(huán)境或用戶與其環(huán)境交互的信息特征。如所示，然后，傳感器 系統(tǒng)可以包括一個或更多個檢測器402,其被配置為（單獨地或作為復合）根據相應的檢測 算法來處理各種感測到的輸入，以形成經導出的感測到的輸入?；蛘咴谝恍┦纠?，感測到 的輸入可以解析成一個或更多個經導出的感測到的輸入。
[0048] 檢測器402可以接收原始感測到的輸入；辨識顯著的信息和信息集；并且提供適 當?shù)挠嬎恪⒆儞Q和組合。UNU系統(tǒng)100可以提供可擴展的方式來更新檢測器，例如通過自舉 (bootstrap)啟動；通過基于需求的動態(tài)重新配置過程（基于若干因素（例如用于跟蹤關 注的項目的裝置的功率、電位）和背景（context));和/或通過操作員直接選擇。在一些 示例中，來自不只一個傳感器的感測到的輸入可被用于實現(xiàn)檢測器或用于改進檢測器的性 能。后者的示例可以是在飛機電氣設備（EE)艙中檢測對象（LRU)并且檢索背景相關的信 息時，針對背景相關的飛機使用飛機準備列表（ARL)，以及針對現(xiàn)場可更換單元（LRU)使用 感測到的射頻識別（RFID)和對象字符識別（OCR)。
[0049] 如圖4所示，合適的檢測器402的示例可以包括顏色檢測器、形狀檢測器、對象檢 測器、語音檢測器（例如，語言/方言檢測、情緒檢測、應力檢測、接觸檢測）、人臉檢測（例 如，表情檢測、情緒檢測、應力檢測、接觸檢測）。合適的檢測器的示例還可以包括運動檢測 器、身份檢測器、和/或一個或更多個其他的檢測器如特征檢測器、人表征器等。在這方面， 人的特征可包括，例如，角色特征、地理和/或時間定位、語言/方言特征、應力水平（例如， 與可測量的因素、歷史信息相關）、接觸檢測（例如，與可測量的因素、歷史信息相關）等。
[0050] 感測到的輸入包括由該傳感器系統(tǒng)400接收的（原始感測到的輸入）以及任何導 出的（經處理的感測到的輸入），其可以包括用戶、用戶的環(huán)境或用戶與其環(huán)境交互的信息 特性。并且傳感器系統(tǒng)可將該特征信息傳遞給前端系統(tǒng)的其他子系統(tǒng)例如用于分析、評估 等。
[0051] 圖5根據一種示例實施方式示出分析系統(tǒng)500,并且分析系統(tǒng)500可以是圖3的前 端系統(tǒng)300的分析系統(tǒng)304的一個示例。該分析系統(tǒng)通?？杀慌渲脼榻邮仗卣餍畔ⅲɡ纾?原始感測到的輸入，經處理的感測到的輸入）并且連續(xù)跟蹤以及關聯(lián)各自的信息來辨識其 意義（意圖），并從它的意義中，辨識（多個）電子資源的（多個）操作。例如，該分析系 統(tǒng)可以采用對象識別和跟蹤以便確定飛機上的組件，然后其可以被用來提供允許用戶與3D 空間（加上時間）內的組件進行交互的動態(tài)產生的用戶界面，或者用來在用戶的任務相關 的視野中辨識關注的項目。
[0052] 如所示，分析系統(tǒng)500可以包括耦合到信息模型和/或歷史的意圖操作關聯(lián)的持 久性存儲504的數(shù)個識別器502。這些識別器可以被配置為接收并根據各自的意圖算法處 理特征信息以辨識一個或更多個已知模式，已知模式可表明特征信息的意義（意圖）。在 一些示例中，一個或更多個識別器可以使用來自持久性存儲的適當?shù)男畔⒛Ｐ吞幚硖卣餍?肩、。
[0053] 由分析系統(tǒng)500辨識的模式可包括那些普遍應用的（例如，人類手持對象、車載對 象、停止手勢）、領域依賴的（例如，替換737NG起落裝置燈、停止特殊操作力手勢、停止飛機 滑行手勢）和/或用戶特定的（例如，定期中斷、機會性電子數(shù)據傳輸、殘疾人需要的特殊 工具、用戶的任務表）模式。在一些示例中，各個識別器502可以是相互依賴的。在這些示 例中，識別器之間的相互依賴性可以是背景敏感的，例如舉例來說，其中地理和/或時間約 束連同一個或更多個識別器影響結果。如所示，合適的識別器的示例包括背景管理、手勢識 另IJ、語音識別（例如，文本到語音）、對象識別、情緒識別和/或行為識別。合適的識別器的 其他示例包括點云識別、疲勞識別、焦點識別、用戶取向、工具取向、對象跟蹤、施加的力跟 蹤、任務跟蹤和/或各種標識符（例如，聲紋、指紋、熱信號、面部識別）的識別器。
[0054] 作為更具體的示例，考慮用于手勢識別的識別器502 (手勢識別器）。手勢識別器 可以被配置為在用戶的物理環(huán)境中的已定義的3D幾何區(qū)域（例如，寬度，長度，高度）內識 別對象（例如，手）動作。長方體區(qū)域可被定義為實現(xiàn)桌上的虛擬鍵盤，在空間上位于長方 體區(qū)域之上的正方體區(qū)域可被定義為接受其他手勢，并且在空間上位于該長方體的右側的 球體可被定義為更直接地與建筑管理系統(tǒng)接合來控制建筑照明。每個區(qū)域可以以數(shù)種不同 的方式定義，例如，通過可以以典型的坐標（例如，x、y、z)表示的寬度、長度和高度，但區(qū)域 還可以包括另外的參數(shù)，例如日期、時間、地理坐標等，如此以便創(chuàng)建情境的或背景敏感的 用戶界面（UI)的定制。
[0055] 持久性存儲504可以包括處理特征信息所依據的一個或更多個信息模型、過去的 意圖操作配對、和/或其他信息的存儲。持久性存儲可以提供方法和成功標準的歷史記錄， 以及由個人和/或角色并且或許通過相關因素（例如，設備的地點、時間、可用性等）歸類 的加權性能指標。在一個示例中，由持久性存儲進行存儲的信息可以由評估系統(tǒng)來維持，例 如圖3的評估系統(tǒng)308。持久性存儲結合識別器502可以提供跟蹤、測定（gauge)和改進前 端系統(tǒng)的性能的手段，該手段從而可以跟蹤、測定和改進UNU系統(tǒng)的性能。
[0056] 在更具體的示例中，通過識別器502處理的特征信息（例如，原始感測的輸入、經 處理的感測到的輸入）和從該特征信息辨識的意義可以以二進制形式精簡（condense)成 特征意圖配對（CIP)。CIP可以與（多個）電子資源的（多個）操作相關聯(lián)，以形成相關 的操作CIP配對（0CIP)，它在一個示例中可以對應于由持久性存儲504存儲的意圖操作配 對。根據示例實施方式，一個或更多個0CIP形成獨特指紋用于從檢測到識別到操作等范圍 的系列功能。并且在一些示例中，該指紋和/或其（多個）〇CIP的一個或更多個基于由個 人和/或角色并且或許通過相關因素（例如，設備的地點、時間、可用性等）歸類的一個或 更多個性能指標可以被加權。
[0057] 識別器502可以基于一個或更多個意圖操作配對（例如，形成獨特指紋的一個或 更多個0CIP)將辨識的意義與歷史意義和相關操作的持久性存儲504進行比較。在一個示 例中，每個識別器可以被配置為基于辨識、操作建議以及或許其他權重（例如，用戶、角色） 比較這些操作并且產生加權評估。然后分析系統(tǒng)500可以將包括分析、選項、結果和/或其 他的用戶反饋（例如，聽覺、視覺、觸覺）傳遞到前端系統(tǒng)例如用于由一個或更多個電子資 源執(zhí)行一個或更多個操作，并且呈現(xiàn)來自電子資源的任何相應的輸出。
[0058] 圖6根據一種不例實施方式不出執(zhí)行系統(tǒng)600,并且執(zhí)行系統(tǒng)600可以是圖3的前 端系統(tǒng)300的執(zhí)行系統(tǒng)306的一個示例。執(zhí)行系統(tǒng)通?？梢员慌渲脼榻邮詹僮餍畔ⅲ⑶?使得一個或更多個電子資源基于其執(zhí)行一個或更多個操作。在各種實施例中，執(zhí)行系統(tǒng)可 基于特征信息（原始感測到的輸入、經處理的感測到的輸入）、之前成功的模式、算法操作 等使操作被執(zhí)行。操作可以取決于多種因素，例如，背景、需求、緊急性、計算能力、電池壽命 等。
[0059] 執(zhí)行系統(tǒng)可包括數(shù)個操作引擎602,其中的每個可被配置為根據各自的算法處理 操作信息，以便形成到一個或更多個電子資源的輸入，從而使各自的（多個）資源執(zhí)行一個 或更多個操作。在各種示例中，雖然在各種情況下，系統(tǒng)導出的操作可以替代為用戶請求的 操作，或者用戶請求的操作可以替代為系統(tǒng)產生的操作，但是操作引擎可以包括用于多個 系統(tǒng)導出的操作602a和/或多個用戶請求的操作602b的那些操作信息。
[0060] 系統(tǒng)導出的操作引擎602a通?？梢员慌渲脼閷е屡c例如由分析系統(tǒng)304從特征 信息中辨識的意義（意圖）相關的操作的執(zhí)行。另一方面，用戶請求的操作引擎602b通常 可以被配置為導致特別是由用戶請求的操作的執(zhí)行。如所示，合適的系統(tǒng)導出的操作的示 例包括基于角色的訪問控制（RBAC)、定制Π 、定制信息檢索、定制信息傳遞等。系統(tǒng)導出的 操作的示例還包括基于角色的質量保證監(jiān)控/審核、音頻輸入處理（例如，語音命令）、視頻 輸入處理（例如，手勢、3D時空處理）、動作（或運動）輸入處理（例如，手勢）、傳感器請求 等。系統(tǒng)導出的操作的其他示例包括自動錄音（例如，質量控制、系統(tǒng)記錄）、系統(tǒng)校準、虛 擬音頻/視覺輔助、質量保證（QA)記錄，背景跟蹤細化等。
[0061] 用戶請求的操作的示例包括用于通知、處理、顯示、通信、記載等的請求。用戶請求 的操作的示例還可以包括用于UI操作的請求、跟蹤/監(jiān)視對象的請求、用于通知/警告的 請求等。用戶請求的操作的其他示例包括執(zhí)行器校準、記錄音頻/視頻、記錄靜止圖像、建 立虛擬音頻/視頻連接、記錄應用的緊固件扭矩、重放錄音等。
[0062] 由操作引擎602形成的輸入可傳送到由各自的本地或遠程資源主機系統(tǒng)108托管 的適當?shù)碾娮淤Y源，以便導致特定的操作的執(zhí)行。電子資源可進而產生來自操作的執(zhí)行的 輸出，并將輸出返回到操作引擎用于通過UNU系統(tǒng)100的輸出，例如通過其顯示裝置110、揚 聲器耳機等。
[0063] 圖7根據一種示例實施方式示出評估系統(tǒng)700,并且其可以是圖3的前端系統(tǒng)300 的評估系統(tǒng)308的一個示例。該評估系統(tǒng)通?？杀慌渲脼閷Ρ扰c操作以及或許由分析系統(tǒng) 的導出相關的成功標準來評估執(zhí)行的操作，這可以改進未來結果的執(zhí)行和效率。如所示，評 估系統(tǒng)可包括耦合到信息模型和/或歷史的意圖操作關聯(lián)的持久性存儲704的數(shù)個管理/ 評估引擎702。在一些示例中，持久性存儲704可對應或以其他方式維持由分析系統(tǒng)500的 持久性存儲504存儲的信息。類似于分析系統(tǒng)的持久性存儲504,然后，評估系統(tǒng)的持久性 存儲704可以包括針對過去的意圖操作配對的存儲，和/或可以根據其處理特征信息的其 他信息。持久性存儲可以提供方法和成功標準的歷史記錄，以及由個人和/或角色并且或 許也由相關因素（例如，設備的地點、時間、可用性等）歸類的加權執(zhí)行指標。
[0064] 管理/評估引擎702可以包括管理引擎，如被配置為管理由持久性存儲704存儲 的信息模型和意圖操作配對的模型管理和關聯(lián)管理引擎。管理/評估引擎702還可以包括 被配置為跟蹤特征信息（例如，由分析系統(tǒng)500確定的特征信息）的意義（意圖）的評估 引擎。并且管理/評估引擎可以包括被配置為評估意義和（多個）操作（例如，系統(tǒng)導出 的、用戶請求的）之間的相關性的評估引擎，（例如由執(zhí)行系統(tǒng)600)基于其使電子資源執(zhí) 行該（多個）操作。
[0065] 如所示，管理/評估引擎702的合適的評估引擎的示例包括用于跟蹤情緒、行為等 的那些評估引擎，以及用于評估情緒、行為等與（多個）電子資源的（多個）操作之間的相 關性的那些評估引擎。合適的評估引擎的其他示例包括用于跟蹤和/或評估背景、手勢、語 音、對象、點云、疲勞、焦點、用戶取向、工具取向、作用力、任務等的相關性的那些評估引擎。 在各種實施例中，由管理/評估引擎所執(zhí)行的評估可以包括基于上述（多個）執(zhí)行指標的 權重的生產，并且其可以在不同的情況下被應用到由持久性存儲704存儲的一個或更多個 意圖操作配對（例如，0CIP)，從而改進未來結果的執(zhí)行和效率。
[0066] 示例實施方式的UNU系統(tǒng)100和方法可以用在各種潛在的應用中，如在復雜的系 統(tǒng)（如飛機或任何數(shù)個其他結構）的背景中。復雜的系統(tǒng)通?？梢杂上到y(tǒng)、子系統(tǒng)、配件、 子配件、組件等（每個通常為"子系統(tǒng)"）組成。每個子系統(tǒng)可以由各自的部件組成，并且每 個部件可以包括各自的特征。復雜系統(tǒng)的部件可被裝配成多個子系統(tǒng)，其進而可以被裝配 成復雜的系統(tǒng)。在飛機的背景下，一個或更多個部件或子系統(tǒng)可以被設計為經常稱為LRU 的飛機的模塊化組件，其中單個飛機可以包括數(shù)個LRU和其他部件或子系統(tǒng)。任何復雜的 系統(tǒng)本身或任何其子系統(tǒng)、（子系統(tǒng)的）部件、（部件的）特征等有時可以統(tǒng)稱為復雜系統(tǒng) 的"組件"或"部件"。
[0067] 合適的應用的一個示例是工程活動的支持，如在復雜的系統(tǒng)如飛機的生產前、生 產中或生產后的過程中執(zhí)行的那些活動。合適的應用的另一個示例是任務（如在復雜系統(tǒng) 的組件上執(zhí)行的生產前、生產中或生產后的任務）的支持。因此，現(xiàn)在參考圖8和圖9,示例 實施方式可被使用在如圖8所示的飛機制造和維護方法800以及圖9所示的飛機900的背 景中。在生產前，示例方法可以包括飛機的規(guī)格和設計802、生產順序和處理規(guī)劃以及材料 采購804。在生產過程中，飛機的子系統(tǒng)和組件制造806以及系統(tǒng)集成808發(fā)生。此后，在 生產后，飛機900可以通過認證和交付810以便投入使用812。當由客戶使用時（也為生產 后），飛機可定期進行日常維修和維護814 (其還可以包括修改、重新配置、翻新等）。
[0068] 示例方法800的每個過程可以由系統(tǒng)集成商、第三方和/或操作員（例如，客戶） 執(zhí)行或者進行。為了說明目的，系統(tǒng)集成商可包括例如任何數(shù)量的飛機制造商和主系統(tǒng)分 包商；第三方可包括例如任何數(shù)量的銷售商、分包商和供應商；并且操作員可以包括例如 航空公司、租賃公司、軍事實體、服務組織等。
[0069] 如圖9所示，通過示例方法800生產的示例飛機900可包括具有多個系統(tǒng)904 (每 個具有子系統(tǒng)或更多通常的組件）的機身902和內部906(包括各自的組件）。高級別系統(tǒng) 904的示例包括推進系統(tǒng)908、電氣系統(tǒng)910、液壓系統(tǒng)912、環(huán)境系統(tǒng)914等中的一個或多 個?？梢园ㄈ魏螖?shù)量的其他系統(tǒng)。雖然示出航空航天的示例，但是本公開的原理可以應 用到其他工業(yè)，如海洋和汽車工業(yè)。
[0070] 本文所公開的UNU系統(tǒng)100和方法可被專用于示例生產和維護方法800的任何一 個或更多個階段（包括生產前、生產中和/或生產后的中任何一個或更多個）期間。以下參 考圖2示出和描述的UNU系統(tǒng)的實施方式的背景說明示例，即以UNU系統(tǒng)200的形式。然 而，應當理解，該方案同樣適用于UNU系統(tǒng)的其他更廣泛或更具體的實現(xiàn)方式，包括具有其 他類型的個人顯示系統(tǒng)的那些實現(xiàn)方式。
[0071] 在生產前或生產中，例如，UNU系統(tǒng)200可用于在現(xiàn)實生活的環(huán)境中使用手勢實時 使能對實體模型的虛擬的、即時的設計和工程改造。它的使用從而可以簡化、簡單化并提高 設計工作的質量；加強客戶協(xié)作并且購買他們的產品；并降低成本。在一個方案中，例如， 配備UNU系統(tǒng)的用戶（例如，工程師）可戴著AR眼鏡204步行穿過飛機內部的實體模型， AR眼鏡204可配備有或耦合到（多個）傳感器，如3D掃描儀206、攝像機208等。攝像機可 以被配置為捕獲用戶的手勢?；蛘咴谝恍┦纠校琔NU系統(tǒng)可包括被配置為捕獲用戶的手勢 的一個或更多個附加的或替換的傳感器，例如一個或更多個加速度計210 (運動傳感器）、 陀螺儀212(取向傳感器）、IMU214、光纖傳感器216、肌肉活動（例如，EMG)傳感器218等。
[0072] 在步行穿過實體模型內部的過程中，用戶可以指示計算機系統(tǒng)202(例如，通過語 音指令、手勢等）以使3D掃描儀208來掃描和提供在內部的對象的表面上的點的測量值 (或測量）。更具體地，可以使3D掃描儀提供在用戶環(huán)境中的對象的表面上的點的測量值， 或者稍微更具體地，提供復雜系統(tǒng)的組件的實體模型的表面上的點的測量值。
[0073] 計算機系統(tǒng)202可以接收和處理包括來自3D掃描儀206的測量值的感測到的輸 入，從其中辨識表示所感測的輸入的意義的已知模式，從而辨識適當?shù)碾娮淤Y源的操作。該 計算機系統(tǒng)可以形成并傳送輸入，以使電子資源執(zhí)行操作。該輸入可以包括測量值，并且操 作可以包括從測量值中產生點云，以及將點云變換為內部（或更具體地，在用戶的環(huán)境中 的對象）的適當?shù)?D模型（例如，3D CAD模型）。更具體地，例如，測量值可被輸入到可產 生點云的適當?shù)碾娮淤Y源，并且同一或另一電子資源然后可以將點云變換到實體模型內部 的適當?shù)?D模型，其可以被存儲以便將來使用。在各種示例中，實體模型內部并且進而其 3D模型可以例如通過線框、立體圖、照片寫實視圖等反映特定類型的座椅配置，也可以反映 實體模型內部的其他品質，例如座椅、地毯等的類型。
[0074] 進一步在上述示例方案中，配備UNU系統(tǒng)200的同一或另一用戶可戴著包括顯示 裝置224的AR眼鏡204步行穿過飛機的空的機身。在另一個示例中，除了或代替AR眼鏡 的顯示裝置，計算機系統(tǒng)可以被配置為與投影儀通信。在此步行穿過過程中，用戶可以（例 如，通過語音指令、手勢等）指示計算機系統(tǒng)202輸出實體模型內部的3D模型用于以生活 中的尺寸大小來顯示。更具體地，UNU系統(tǒng)可以被配置為接收包括來自（多個）電子資源 的3D模型的輸出，并且傳送該輸出用于通過顯示裝置進行顯示，其中該3D模型可以是復雜 系統(tǒng)的組件。
[0075] AR眼鏡204可以產生或以其他方式使空機身即時顯示或直接顯示，其可由來自 UNU系統(tǒng)200的計算機系統(tǒng)202中的實體模型內部的三維模型來增強。更普遍地，在該用戶 的環(huán)境包括設計用于組件的放置的復雜系統(tǒng)的空的空間的示例中，通過空的空間的即時顯 示或直接顯示由3D模型增強，UNU系統(tǒng)可以被配置為傳送輸出用于顯示。在一個示例中， UNU系統(tǒng)可以包括或耦合到多個AR眼鏡，其包括各自的顯示裝置224并且由步行穿過空機 身的各自的用戶（在相同環(huán)境的用戶）佩戴。在這個示例中，可指示UNU系統(tǒng)輸出3D模型 到每對AR眼鏡的顯示裝置。由各自的顯示裝置所顯示的3D模型可以被錨合到空的機身 (用戶的環(huán)境），但3D模型取決于機身（環(huán)境）內的各自的用戶的視點針對每對AR眼鏡而 不同。
[0076] UNU系統(tǒng)200可以進一步使得用戶能夠實時地對實體模型內部的3D模型做出工程 改變，這可以更好地確保滿足用戶的要求。在一個示例中，配備UNU系統(tǒng)的用戶可以使用手 勢改變所顯示的3D模型，例如通過猛擊他們的手、捏、縮放等來改變由3D模型所表示的實 體模型內部的一個或更多個對象的配置、形狀、姿勢、取向、顏色組合等。用戶可以使用手勢 來捏座椅，并向外拉以將其展開，或猛擊移除它。該手勢可以由一個或更多個適當?shù)膫鞲衅?208-218捕獲，并（作為感測到的輸入）被提供到計算機系統(tǒng)202。更普遍地，適當?shù)膫鞲?器可以被配置為捕獲指示改變3D模型的一部分的用戶的手勢，并且感測到的輸入可以包 括從傳感器所捕獲的手勢。
[0077] 計算機系統(tǒng)202可以處理包括所捕獲的手勢的感測到的輸入，并且形成并傳送輸 入，使適當?shù)碾娮淤Y源來實施由手勢所指示的改變。電子資源可以將改變的3D模型或3D 模型的改變的對象（例如，座椅）輸出返回到計算機系統(tǒng)。也就是說，該輸出至少可以包括 3D模型的改變的部分，其進而可以被輸出到AR眼鏡204的顯示裝置224用于顯示包括該改 變部分的3D模型。該改變可以在3D模型制造時實時示出，并且可以由電子資源存儲為3D 模型的迭代或版本例如用于比較目的。
[0078] 在一個示例中，反映飛機或其組件中的一個或更多個的操作的一個或更多個信息 模型可以被進一步拖動（draw)入適當?shù)碾娮淤Y源，其可以模擬飛機/組件的操作。在模擬 期間或模擬之后，電子資源可將模擬的結果輸出到計算機系統(tǒng)202,其進而可以通過AR眼 鏡204的顯示裝置224將結果輸出給用戶。更普遍地，UNU系統(tǒng)可以被配置為從該復雜系 統(tǒng)的操作的電子資源模擬接收輸出，并傳送該輸出用于由顯示裝置進行顯示。
[0079] 除了或代替顯示模擬的輸出，該輸出可被提供到其他用戶接口，例如（多個）音頻 輸出裝置、（多個）觸摸傳感器等。（多個）音頻輸出裝置可以向用戶提供聲音反饋，并且 (多個）觸摸傳感器可以向用戶提供觸覺反饋，例如在模擬期間或作為模擬的結果用于警 告用戶必然事件，并且除了或代替來自AR眼鏡204的顯示裝置224視覺反饋或其他信息， 模擬可以被提供。合適的事件的示例可包括碰撞或其他沖突或組件之間的干擾，并且可能 便于解決這些問題。
[0080] 在一些示例中，UNU系統(tǒng)200可以基于用戶的角色定制顯示給用戶的3D模型和/ 或其他信息。也就是說，計算機系統(tǒng)202可以被配置為傳送輸出用于由各自的用戶佩戴的 相應的多個AR眼鏡204的多個顯示裝置224顯示，顯示裝置中的每一個的輸出根據各自的 用戶的角色而改變。在飛機制造商和客戶的代表均佩戴AR眼鏡的示例中，計算機系統(tǒng)可使 該代表的AR眼鏡不僅顯示3D模型，而且也顯示可用數(shù)據，提醒客戶的過去的參數(shù)選擇等， 而客戶的AR眼鏡僅可以顯示3D模型。
[0081] 在飛機的生產過程中或生產后，例如，UNU系統(tǒng)200可以被用于支持多種活動，例 如建造、修理和/或維修活動。在各種示例中，這些或類似的活動可以根據工作計劃而被執(zhí) 行，工作計劃形式化用于建造、創(chuàng)建或以其他方式完成飛機或飛機組件的工程設計的要求 或意圖的指令。工程設計可包括表明飛機的規(guī)格、公差、目的、材料或其他方面的一組要求。 該工作計劃包括一系列工作指令，其共同由一組由工作人員來完成的指令組成的，并且每 個工作指令可以包括一項或更多項任務。任務可以指由工作人員執(zhí)行的動作或一組動作， 其代表工作人員的特定的和可重復的目的、運動或動作。
[0082] 在一些示例中，任務可以被定義為包括或暗示用戶的一個或更多個已定義的動作 用于操作復雜系統(tǒng)組件；并且對于某些任務，用戶可以使用一個或更多個工具（例如，手持 工具、電動工具）來執(zhí)行各自的動作。例如，可以向用戶分派放置、排列或組裝組件、安裝或 卸載組件、在組件中鉆孔、在組件上安裝緊固件、切斷或將組件的一部分按路線伸出（route out)等任務。
[0083] 在一些示例中，任務可以有任務定義，其包括或暗示可使工作人員遭受人體工程 學風險的一個或更多個類型的已定義的動作，如舉起、夾持、高空作業(yè)、推/拉、彎曲、跪坐 等。舉起可包括工作人員在一定次數(shù)舉起一定重量。夾持可包括工作人員使用把手（如握 式把手、捏式把手、手指/大拇指按壓）施加一定次數(shù)一定量的力。高空作業(yè)可以包括工作 人員將其手舉過頭部上方一定次數(shù)，其中每次達一定量的時間。推/拉可包括工作人員在 一定次數(shù)用一定量的力推/拉（例如，單手/雙手平推/拉、單臂/雙臂垂直推/拉）。彎 曲可以包括工作人員將其軀干彎曲向前（例如，大于45° ) -定次數(shù)，其中每次達一定量的 時間。并且類似地，跪坐可包括工作人員跪坐一定次數(shù)，其中每次達一定量的時間。
[0084] 在一些示例中，任務定義可以為用戶操作復雜系統(tǒng)的組件指定一個或更多個工藝 要求，其在一些情況下可涉及適當?shù)墓ぞ撸ɡ纾殖止ぞ?、電動工具）的使用。如上面?建議的，這些可包括例如，放置、排列或組裝（多個）組件、安裝或卸載（多個）組件、在組 件中鉆孔、在組件上安裝緊固件、切斷或將組件的一部分按路線伸出等要求。在更具體的示 例中，安裝緊固件的工作任務可以包括針對任務的執(zhí)行相關的工藝變量要求，如扭矩、搖擺 力和/或施加到所述緊固件的預加負荷。
[0085] 在一個方案中，例如，配備UNU系統(tǒng)200和佩戴眼鏡的AR204的用戶（例如，工作 人員）可以進入工作站點執(zhí)行工作計劃的已定義的（多個）任務。計算機系統(tǒng)202和/或 AR眼鏡可配備或耦合到一個或更多個傳感器，其可以提供從其中計算機系統(tǒng)可以識別用戶 的感測到的輸入。在一些示例中，計算機系統(tǒng)可使攝像機208來捕獲用戶的面部的圖像，和 /或可使麥克風220捕獲用戶的音頻，其可以被提供給計算機系統(tǒng)作為感測到的輸入?；蛘?計算機系統(tǒng)可使其他生理狀況傳感器提供用戶的感測到的輸入特性。在這些示例中，計算 機系統(tǒng)可以被配置為接收和處理感測到的輸入以基于面部識別、聲紋（voice print)等識 別用戶。計算機系統(tǒng)可以進一步基于所識別的用戶與一個或更多個適當?shù)碾娮淤Y源通信， 例如鬧鈴提示用戶進入工作，和/或提供包括例如日常安全消息、小心過去有問題的事情 的提醒等的工作日的日程。
[0086] 當用戶準備執(zhí)行已定義的任務時，該傳感器可以提供從其中計算機系統(tǒng)202可以 與適當?shù)模ǘ鄠€）電子資源通信的感測到的輸入，以將用戶引導到其中用戶可以定位用于 執(zhí)行該任務的所需的項目的位置。計算機系統(tǒng)可進一步向用戶提供用于執(zhí)行任務的已知工 作區(qū)域的指示，并且可以將到各自區(qū)域的路線輸出到AR眼鏡204的顯示裝置224。在一個 示例中，所述計算機系統(tǒng)可使位置傳感器222提供用戶的位置的測量值，其可以被提供到 計算機系統(tǒng)作為感測到的輸入值。計算機系統(tǒng)可接收和處理所感測的輸入來計算從用戶的 位置到相應的區(qū)域的路線。如之前，除了或代替顯示裝置，計算機系統(tǒng)可以與輸出（在增強 用戶的環(huán)境的直接顯示或實時顯示的任一示例中的輸出）可以顯示在其中的投影儀通信。
[0087] 計算機系統(tǒng)202可以使位置傳感器222提供當用戶移動時跟蹤用戶位置的測量 值，其可被（作為感測到的輸入）提供到計算機系統(tǒng)并且由計算機系統(tǒng)進行處理，以確定用 戶何時接近工作區(qū)域。計算機系統(tǒng)202可以與適當?shù)模ǘ鄠€）電子資源通信，以提供給定 任務相關的參考材料或其他信息。當用戶到達工作區(qū)或在工作區(qū)附近時，計算機系統(tǒng)然后 可以例如以連續(xù)的背景敏感的方式向AR眼鏡204的顯示裝置224輸出參考材料和其他相 關信息。
[0088] 當用戶是在工作區(qū)或在工作區(qū)附近，計算機系統(tǒng)202可以使攝像機208例如從用 戶的視點自動捕獲用戶和/或其環(huán)境的圖像或視頻。當用戶的視點變成對象的區(qū)域時，用 戶必須與對象進行交互來執(zhí)行任務，計算機系統(tǒng)可接收并處理感測到的輸入來識別對象； 與適當?shù)模ǘ鄠€）電子資源通信；并且輸出增強用戶直接顯示的視覺線索用于突出各自的 對象。在一些示例中，視覺線索可以具有可以被定制以反映物體的狀態(tài)的特性（例如，顏 色、陰影、模式、強度、方向）。計算機系統(tǒng)可以進一步（視覺和/或聽覺）輸出步進式的任 務/動作，并可以在不同的情況下輸出進一步的視覺輔助。這種視覺/聽覺輔助可包括，例 如，示出任務/動作的性能的輔助性視頻、或組件組裝的動畫視圖、或許具有描述正在執(zhí)行 的任務/動作的旁白、輔助筆記、任務/動作背后的基本原理等。
[0089] 用戶可以指示計算機系統(tǒng)202(例如，通過語音指令、手勢等）與適當?shù)模ǘ鄠€） 電子資源通信，以提供關于關注物體的信息，計算機系統(tǒng)然后可以將該信息輸出到AR眼鏡 204的顯示裝置224。例如，用戶可以說出語音指令，例如"找到襟翼縫翼電子單元"，其可由 麥克風220捕獲并且由其處理以使得計算機系統(tǒng)與適當?shù)模ǘ鄠€）電子資源通信，并輸出 增強用戶的直接顯示的視覺線索用于突出各自的襟翼縫翼電子單元（LRU)。自動地或響應 于用戶指令，可以使計算機系統(tǒng)定制視覺線索的特性以反映 LRU的狀態(tài)，或提供關于LRU的 信息。
[0090] 當用戶執(zhí)行任務時，計算機系統(tǒng)202可以使各種傳感器提供感測到的輸入，計算 機系統(tǒng)可以從感測到的輸入中跟蹤任務的執(zhí)行。例如，計算機系統(tǒng)可使攝像機208在用 戶執(zhí)行任務時自動捕獲視頻。另外或替代地，例如，該計算機系統(tǒng)可使加速計210、陀螺儀 212、IMU214、光纖傳感器216、肌肉活動（例如，EMG)傳感器218或其他適當?shù)膫鞲衅魈峁?用戶的運動和/或方向的測量值，其可以是用戶的一個或更多個動作的特性。這可包括用 戶舉起、夾持、高空作業(yè)、推/拉、彎曲跪坐等測量特性。在一些示例中，肌肉活動傳感器可 提供用戶的肌肉活動的測量值，可以從其中計算出來舉起重量、夾持力和/或推/拉力。
[0091] 在計算機系統(tǒng)202跟蹤任務的執(zhí)行的時候或之后，該計算機系統(tǒng)可以例如用于許 多不同的目的向適當?shù)碾娮淤Y源輸出視頻和/或其他感測到的輸入，以便用于存儲和調 用。例如，為了性能評估目的，計算機系統(tǒng)可以輸出視頻和/或其他感測到的輸入到電子資 源。如上面所指出的，可以定義任務以包括或暗示用戶的已定義的動作。還如上面指出的， 所感測的輸入可包括用戶的運動和/或方向的測量值，其可以是用戶的一個或更多個動作 的特性。在一些示例中，計算機系統(tǒng)然后可以輸出視頻和/或其他感測到的輸入，從其中該 電子資源可以在該任務的執(zhí)行期間確定用戶的一個或更多個動作，并且將所確定的動作與 任務定義的相應的已定義的動作進行比較。電子資源可基于該比較用其定義確定用戶的任 務的執(zhí)行的順從性（compliance)，其從而可以使得用戶的執(zhí)行能夠進行評估。
[0092] 在一些示例中，為了人體工程學的評估，計算機系統(tǒng)202可以輸出視頻和/或其他 感測到的輸入到電子資源。如上面所建議的，用戶的運動和/或方向可以是不同類型的動 作的特性，其中一些可使工作人員遭受人體工學風險。因此，該計算機系統(tǒng)可以提供視頻和 /或其他感測到的輸入到電子資源，其可以被配置為基于視頻和/或其他感測到的輸入執(zhí) 行或促進人體工程學的風險評估的執(zhí)行。
[0093] 在一些示例中，計算機系統(tǒng)202可以輸出視頻和/或其他感測到的輸入到電子資 源以用于檢查目的。如上面所建議的，任務定義可以為用戶操作復雜系統(tǒng)組件指定（多個） 工藝要求。例如，緊固件的安裝的任務可以包括針對工藝變量例如轉矩、搖擺力和/或施加 到緊固件的預加負荷的要求。在一些示例中，然后，計算機系統(tǒng)可輸出肌肉活動的測量值， (除了或代替視頻和/或其他感測到的輸入），電子資源從其中可以從測量值（包括轉矩、 搖擺力和/或由用戶（直接地或使用工具）施加到所述緊固件的預加負荷）來計算許多不 同的工藝變量。電子資源可以將計算的工藝變量與任務定義的各自指定的工藝要求進行比 較。電子資源可基于該比較用各自指定的工藝要求確定所計算的工藝變量的順從性，其從 而可以使任務對比其工藝要求進行檢查。
[0094] 當用戶執(zhí)行任務時或執(zhí)行任務之后，電子資源可產生并輸出其評估或檢查的結 果。舉例來說，其中當用戶執(zhí)行任務時，結果被輸出，該結果可以例如根據任務的定義和指 定的工藝要求促進用戶任務的適當?shù)膱?zhí)行。在任一情況下，然而，可能取決于各自的任務， 結果可促進同一個或另一個用戶的同一個或另一個任務的適當?shù)膱?zhí)行。在一些示例中，任 務完成的自動識別可推動調搏器板、儀表盤進度、完成度量軟件等，這可以有助于改進實時 生產狀態(tài)。
[0095] 電子資源可以產生評估或檢查的任何數(shù)個不同的結果。例如，電子資源可產生用 戶的已確定動作、任務定義的相應的動作、和/或用戶的任務的執(zhí)行與其定義基于它們的 比較的順從性的一個或更多個的指示。在一個示例中，電子資源可產生所計算的工藝變量 (例如，扭矩、搖擺力、預加負荷）、由任務定義指定的相應的工藝要求、和/或所計算的工藝 變量和相應的工藝要求基于它們的比較的順從性的一個或更多個的指示。在一些示例中， 順從任務定義或工藝要求的指示可以以多種相對程度反映，其可以通過順從性的相應的范 圍區(qū)分，如完全順從、部分順從或不順從。
[0096] 在一些示例中，電子資源可以向計算機系統(tǒng)202輸出評估或檢查的結果，其可以 進而通過AR眼鏡204的顯示裝置224和/或通過其他用戶界面（例如，音頻輸出裝置、觸 覺傳感器）將結果輸出給用戶。該結果可作為數(shù)字或文本反饋輸出。另外或替代地，結果 可以是作為在一些情況下可以反映對于任務定義或過程要求的順從性程度的視覺、聽覺和 /或觸摸提示輸出。在緊固件安裝的情況下，例如，計算機系統(tǒng)可以將視覺線索、聽覺反饋 和/或觸覺反饋輸出給用戶，例如，以便提醒用戶所計算的工藝變量（例如，扭矩、搖擺力、 預加負荷）順從規(guī)定的工藝要求。
[0097] 按照示例實施方式中的方式執(zhí)行的評估、檢查和其他類似的（多個）操作也可以 使得用戶能夠保持專注于他們的任務，而不是等待評估、檢查或其他過程，這可能導致非常 多的時間節(jié)省、更好建造質量和/或減少用戶的認知混亂。另外，當發(fā)生用戶休息或以其他 方式中斷（例如，UNU系統(tǒng)200出現(xiàn)故障）的事件時，用戶的環(huán)境可被捕獲。當返回任務時， 可調出視頻以協(xié)助用戶利用背景完整無缺地程序地返回到其中斷的點。
[0098] 除了或代替上文所述的那些工藝，包括視頻和其他信息的任務的記錄的存儲還可 以確保數(shù)種其他工藝。利用數(shù)據分析的電子資源可以例如掃描這些記錄以查找偏差、以及 可被自動包含在未來的工藝改進活動中的改進?？梢杂涗泩?zhí)行任務的每個示例的時間并將 其輸出用于顯示在復合的、生動的"價值流圖"，其可突出新的機會區(qū)域用于在各種任務中 進行改進。
[0099] UNU系統(tǒng)200可以進一步使得用戶通過適當?shù)碾娮淤Y源能夠即時訪問其他用戶 (例如，工程師、規(guī)劃師）。用戶可以由此與他人協(xié)作或以其他方式從他人接收輔助以解決 任務或任務的問題。在這次協(xié)作中，用戶可指示計算機系統(tǒng)202提供給其他用戶可以有助 于他們相互作用的背景或其他支持信息。甚至在飛機投入使用期間，這可以使得工作人員 之間能夠協(xié)作。例如，一名配備UNU系統(tǒng)的乘務員會發(fā)出語音指令，例如"我需要更多的咖 啡"，以使計算機系統(tǒng)與適當?shù)模ǘ鄠€）電子資源進行通信，來找到離咖啡最近的另一名乘 務員或航空工作人員，并輸出乘務員對咖啡的需求的提醒或其他指示。增強現(xiàn)實系統(tǒng)在這 種情況下也可受益于在前述的'753申請中公開的系統(tǒng)的各個方面。此外，如上述建議的， UNU系統(tǒng)200可指導用戶他們可將執(zhí)行任務所需的物品放在哪里。這可以包括已列清單的 物品，并且計算機系統(tǒng)202可以與適當?shù)碾娮淤Y源進行通信，以執(zhí)行針對已列清單的物品 的各種活動。合適的活動的示例包括清單控制和自動對賬消費活動、置位/復位最小/最 大清單水平、訂貨點等，支付消費清單等。這可將供應鏈同步到消費的要貨（pull)信號，這 可以有利于及時供應。
[0100] UNU系統(tǒng)100 (和其示例UNU系統(tǒng)200)和示例實施方式的方法也可用在在各種各 樣的其他潛在應用中。UNU系統(tǒng)可在信息編織中具有應用程序，其中虛擬的和物理的可組 合，如通過在使用的時間和點用虛擬的信息元素增加用戶的物理環(huán)境，并以背景有關的方 式。
[0101] 在另一個示例中，示例實施方式中的UNU系統(tǒng)100可具有在事故調查中的應用程 序。在這方面，點云可以從殘骸區(qū)記錄和產生用于分析，可以模擬不同的算法以告知關于無 數(shù)的潛在事件實際上即將到來的調查。
[0102] 在又一示例中，UNU系統(tǒng)100可具有情感、用戶意圖/行為中的應用程序。手勢、 口頭情緒提示、微表情等可以是用于背景的元素。此信息可并入到背景信息來告知需要的 預測能力?？梢耘袛嘟雍?，信息和/或用戶界面可以被更新（提供更多的幫助/信息），和 /或可向可用的（調用上次工作過的）專家進行聯(lián)系。
[0103] 在其他示例中，UNU系統(tǒng)100可以具有應在虛擬指導協(xié)助中的用程序；和/或移動 的、網狀網絡，用于借用計算資源。在又一個示例中，UNU系統(tǒng)可具有人體路線跟蹤中的應 用程序，例如，如果指定的工作區(qū)沒有輸入，或者如果停留時間沒有達到用于特定操作預期 的閾值，以產生提醒。
[0104] 根據本公開的示例實施方式，UNU系統(tǒng)100、資源主機系統(tǒng)108、以及其各自的子系 統(tǒng)可以由各種構件來實現(xiàn)。同樣地，UNU系統(tǒng)200、以及前端系統(tǒng)300、傳感器系統(tǒng)400、分析 系統(tǒng)500、執(zhí)行系統(tǒng)600和評估系統(tǒng)700的示例包括其各自的子系統(tǒng)、元件等（例如，計算機 系統(tǒng)202)中的每個，其可以根據示例實施方式由各種構件來實現(xiàn)。用于實現(xiàn)系統(tǒng)、子系統(tǒng) 和其各自元件的構件可包括計算機硬件，該計算機硬件是獨立的或在來自計算機可讀存儲 介質的一個或更多個計算機程序代碼指令、程序指令或可執(zhí)行的計算機可讀程序代碼指令 的指導下。
[0105] 在一個示例中，可以提供一個或更多個設備，其被配置為用作或以其他方式實現(xiàn) 本文示出和描述的系統(tǒng)、子系統(tǒng)和相應的元件。在涉及多于一個設備的示例中，相應的設備 可以被連接到其他設備或以其他方式以數(shù)種不同的方式（例如經由有線或無線網絡等直 接或間接地）彼此通信。
[0106] 通常，本公開的示例性實施方式的設備可以包含、包括或體現(xiàn)在一個或更多個固 定的或可移動的、基于硬件的電子裝置。合適的電子裝置的示例包括智能電話、平板電腦、 膝上型計算機、臺式計算機、工作站計算機、服務器計算機等。所述設備可以包括多個的許 多組件的每一個中的一個或更多個，例如，連接到存儲器（例如，存儲裝置）的處理器。
[0107] 處理器通常是能夠處理信息如，例如，數(shù)據、計算機可讀程序代碼、指令等（一般 為，"計算機程序"，例如，軟件、固件等）和/或其他合適的電子信息的任何計算機硬件。更 具體地，例如，所述處理器可被配置為執(zhí)行計算機程序，其可以在處理器上存儲或者以其他 方式存儲在的存儲器（同一或另一設備）中。所述處理器可以是數(shù)個處理器、多處理器核處 理器或一些其他類型的處理器，這取決于特定的實施方式。進一步地，所述處理器可以使用 多種異構處理器系統(tǒng)實現(xiàn)，其中主處理器在單個芯片上存在有一個或更多個輔助處理器。 作為另一個說明性示例，所述處理器可以是包含多種相同類型的處理器的對稱多處理器系 統(tǒng)。在又一示例中，所述處理器可以體現(xiàn)為或包括一個或更多個應用專用集成電路（ASIC)、 現(xiàn)場可編程門陣列（FPGA)等。因此，雖然該處理器可以能夠執(zhí)行計算機程序來執(zhí)行一個或 更多個功能，各種示例的處理器不在計算機程序的輔助下能夠執(zhí)行一個或更多個功能。
[0108] 存儲器通常是能夠在臨時基礎上和/或永久基礎上存儲信息如，例如，數(shù)據、計 算機程序和/或其他合適的信息的任何計算機硬件。所述存儲器可包括易失性和/或非 易失性存儲器，并且可以是固定的或可移動的。合適的存儲器的示例包括隨機存取存儲器 (RAM)、只讀存儲器（ROM)、硬盤驅動器、閃存、拇指驅動器、可移動計算機磁盤、光盤、磁帶或 以上的一些組合。光盤可包括壓縮盤-只讀存儲器（⑶-ROM)、光盤-讀/寫（⑶-R/W)、DVD 等。在各種情況下，該存儲器可稱為計算機可讀存儲介質，其作為能夠存儲信息的非臨時性 裝置，可以從計算機可讀傳輸介質中區(qū)分，例如能夠將信息從一個位置攜帶到另一個位置 的電子短暫信號。如本文所述的計算機可讀介質通?？芍赣嬎銠C可讀存儲介質或計算機可 讀傳輸介質。
[0109] 除所述存儲器，所述處理器還可以連接到一個或更多個接口，用于發(fā)送、接收和 /或輸出信息。所述接口可以包括一個或更多個通信接口 104、傳感器106(例如，傳感器 206-220)和/或用戶接口，其示例在以上參考通信接口 104、傳感器106和/或用戶界面 (包括顯示裝置108,例如，顯示裝置224)進行描述。
[0110] 如上所示，程序代碼指令可以存儲在存儲器中并由處理器執(zhí)行以實現(xiàn)系統(tǒng)、子系 統(tǒng)和本文中所描述的其相應元件的功能。如將理解的，任何合適的程序代碼指令可以被加 載到來自計算機可讀存儲介質的計算機或其他可編程設備，以產生特定的機器，使得特定 的機器成為用于實現(xiàn)本文中指定的功能的構件。這些程序代碼指令還可以被存儲在計算機 可讀存儲介質，其可以引導計算機、處理器或其他可編程設備以特定的方式起作用，從而產 生特定的機器或特定的制品。存儲在計算機可讀存儲介質中的指令可產生一種制品，其中 所述制品成為用于實現(xiàn)本文中所描述的功能的構件。程序代碼指令可以從計算機可讀存儲 介質中獲取并加載到計算機、處理器或其他可編程設備以配置計算機、處理器或其他可編 程設備，從而執(zhí)行在計算機、處理器或其他可編程設備上或由計算機、處理器或其他可編程 設備上執(zhí)行的操作。
[0111] 程序代碼指令的獲取、加載和執(zhí)行可以按順序執(zhí)行，使得在每次獲取、加載并執(zhí)行 一個指令。在一些示例實施例中，獲取、加載和/或執(zhí)行可以并行執(zhí)行，使得多個指令一起 被獲取、加載和/或執(zhí)行。程序代碼指令的執(zhí)行可產生計算機實現(xiàn)的過程，使得由計算機、 處理器或其他可編程設備執(zhí)行的指令提供用于實現(xiàn)本文所描述的功能的操作。
[0112] 由計算機可讀存儲介質中的處理器、指令的存儲器執(zhí)行指令支持操作的組合用于 執(zhí)行指定功能。還應當理解，一個或更多個功能以及功能的組合，可通過執(zhí)行特定的功能或 者專用硬件和程序代碼指令的組合的專用的基于硬件的計算機系統(tǒng)和/或處理器來實現(xiàn)。
[0113] 本文所述的本公開的許多修改和其它實施方式會由本公開涉及領域技術人員想 至IJ，其具有前述說明和相關附圖中呈現(xiàn)的教導中的利益。因此，應該理解，本公開不限于公 開的特定的實施方案，并且修改和其他實施方式旨在包括在所附權利要求的范圍之內。而 且，盡管前述說明和相關附圖在特定示例組合的元件和/或功能的背景中描述示例實現(xiàn)， 應該理解的是，不同組合的元件和/或功能由不脫離本附加權利要求的替代體現(xiàn)來提供。 在這方面，例如，除上文明確描述的，不同組合的元件和/或功能也認為在一些所附權利要 求中陳述。盡管在本文中采用了特定術語，其僅在通用的和描述性的意義中使用，而不是為 了限制的目的。
【權利要求】
1. 一種泛在自然用戶系統(tǒng)（100)，其包括： 一個或更多個傳感器（106)，其被配置為在由用戶運行復雜系統(tǒng)組件的任務的執(zhí)行期 間提供包括所述用戶的運動或取向中的至少一個的測量值的感測到的輸入；以及 前端系統(tǒng)（102)，其耦合到所述一個或更多個傳感器（106)，并且被配置為接收并處理 包括所述測量值的所述感測到的輸入，從其中辨識表示所述感測到的輸入的意義的已知模 式，從而辨識要執(zhí)行的電子資源的操作（602)， 其中所述前端系統(tǒng)（102)被配置為形成并傳送輸入，以使所述電子資源執(zhí)行所述操作 (602)并產生輸出，所述操作（602)包括在所述任務的執(zhí)行期間所述用戶的動作的確定，或 者從包括所述測量值的所述感測到的輸入中計算與所述任務的執(zhí)行相關的工藝變量，以及 其中所述前端系統(tǒng)（102)被配置為從所述電子資源接收所述輸出，并且將所述輸出傳 送到顯示裝置（110)、音頻輸出裝置或觸覺傳感器，從而使得所述用戶在執(zhí)行所述任務時能 夠訪問或使用電子資源。
2. 根據權利要求1所述的泛在自然用戶系統(tǒng)（100)，其中所述任務具有包含或暗示所 述用戶的已定義的動作的任務定義， 其中所述前端系統(tǒng)（102)被配置為形成并傳送所述輸入包括被配置為形成并傳送所 述輸入以使所述電子資源執(zhí)行所述操作（602)，所述操作（602)包括所述用戶的所述動作 的確定，并且進一步包括所述已確定的動作和所述已定義的動作的比較，以及基于所述比 較的具有所述任務定義的所述任務的執(zhí)行的順從性的確定，并且 其中所述前端系統(tǒng)（102)被配置為接收和傳送所述輸出包括被配置為接收和傳送所 述順從性的指示。
3. 根據權利要求1所述的泛在自然用戶系統(tǒng)（100)，其中所述前端系統(tǒng)（102)被配置 為形成并傳送所述輸入包括被配置為形成并傳送所述輸入或另一個輸入，以使所述電子資 源或另一個電子資源基于所述感測到的輸入來執(zhí)行或促進人體工程學的風險評估的執(zhí)行。
4. 根據權利要求1所述的泛在自然用戶系統(tǒng)（100)，其中所述任務具有任務定義，其針 對所述工藝變量指定工藝要求，所述工藝變量包括在所述任務執(zhí)行期間施加到緊固件的扭 矩、搖擺力或預加負荷，所述任務包括在所述復雜系統(tǒng)組件上的所述緊固件的安裝， 其中所述前端系統(tǒng)（102)被配置為形成并傳送所述輸入包括被配置為形成并傳送所 述輸入以使所述電子資源執(zhí)行所述操作（602)，所述操作（602)包括所述工藝變量的計算， 并且進一步包括已計算的工藝變量和已指定的工藝要求的比較，以及基于所述比較的具有 所述已指定的工藝要求的所述已計算的執(zhí)行變量的順從性的確定，并且 其中所述前端系統(tǒng)（102)被配置為接收和傳送所述輸出包括被配置為接收和傳送所 述順從性的指示。
5. 根據權利要求4所述的泛在自然用戶系統(tǒng)（100)，其中所述一個或更多個傳感器 (106)包括被配置為在所述任務的執(zhí)行期間提供所述用戶的肌肉活動的測量值的肌肉活動 傳感器，并且 其中所述前端系統(tǒng)（102)被配置為形成并傳送所述輸入包括被配置為形成并傳送所 述輸入，以使所述電子資源來執(zhí)行包括從肌肉活動的所述測量值中計算所述工藝變量的操 作（602)。
6. 根據權利要求1所述的泛在自然用戶系統(tǒng)（100)，其中前端系統(tǒng)（102)被配置為傳 送所述輸出包括被配置為傳送所述輸出用于由包括所述顯示裝置（110)的個人顯示系統(tǒng) (110)顯示，所述個人顯示系統(tǒng)被配置為產生或使能由所述顯示裝置（110)顯示的所述輸 出的增強的所述環(huán)境的即時顯示或直接顯示。
7. -種方法，其包括： 通過一個或更多個傳感器（106)，在由用戶運行復雜系統(tǒng)組件的任務的執(zhí)行期間提供 包括所述用戶的運動或取向中的至少一個的測量值的感測到的輸入； 接收和處理包括所述測量值的所述感測到的輸入，從其中辨識表示所述感測到的輸入 的意義的已知模式，從而辨識要執(zhí)行的電子資源的操作（602); 形成并傳送輸入，以使所述電子資源執(zhí)行所述操作并產生輸出，所述操作（602)包括 在任務的執(zhí)行過程中用戶的動作的確定，或從包括所述測量值的所述感測到的輸入計算與 所述任務的執(zhí)行相關的工藝變量；以及 從所述電子資源接收所述輸出，并且將所述輸出傳送到顯示裝置（110)、音頻輸出裝置 或觸覺傳感器，從而使所述用戶在執(zhí)行所述任務中能夠訪問或使用電子資源。
8. 根據權利要求7所述的方法，其中所述任務具有包含或暗示所述用戶的已定義的動 作的任務定義， 其中形成并傳送所述輸入包括形成并傳送所述輸入以使所述電子資源執(zhí)行所述操作 (602)包括所述用戶的動作的確定，并且進一步包括所述已確定的動作和所述已定義的動 作的比較，以及基于所述比較利用所述任務定義的所述任務的執(zhí)行的順從性的確定，并且 其中接收并傳送所述輸出包括被配置為接收和傳送所述順從性的指示。
9. 根據權利要求7所述的方法，其中所述任務具有任務定義，其針對所述工藝變量指 定工藝要求，所述工藝變量包括在所述任務執(zhí)行期間施加到緊固件的扭矩、搖擺力或預加 負荷，所述任務包括在所述復雜系統(tǒng)組件上的所述緊固件的安裝， 其中形成并傳送所述輸入包括形成并傳送所述輸入以使所述電子資源執(zhí)行所述操作 (602)，所述操作（602)包括所述工藝變量的計算，并且進一步包括所述已計算的工藝變量 和所述已指定的工藝要求的比較，以及基于所述比較利用所述已指定的工藝要求確定所述 已計算的執(zhí)行變量的順從性，并且 其中接收和傳送所述輸出包括接收和傳送所述順從性的指示。
10. 根據權利要求9所述的方法，其中提供測量值包括由肌肉活動傳感器在所述任務 的執(zhí)行期間提供所述用戶的肌肉活動的測量值，并且 其中形成并傳送所述輸入包括形成并傳送所述輸入，以使所述電子資源執(zhí)行包括從肌 肉活動的測量值中計算所述工藝變量的所述操作￠02)。
【文檔編號】G06F9/46GK104216762SQ201410232518
【公開日】2014年12月17日 申請日期:2014年5月28日 優(yōu)先權日:2013年5月28日
【發(fā)明者】B·D·勞克林, R·N·布萊爾, W·D·凱爾西 申請人:波音公司