專利名稱：交通信號的映射和檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體上涉及構(gòu)建交通信號的地圖。特別地，這些地圖可以用于執(zhí)行實時交通信號檢測。
背景技術(shù)：
機器人車輛的關(guān)鍵部件是使車輛在駕駛時感知和了解它的周圍事物的感知系統(tǒng)。人們已經(jīng)處理了駕駛問題以使感知更容易，例如，由涂在道路上的線界定的車道，在十字路口用于指示優(yōu)先級的交通燈，剎車燈和轉(zhuǎn)彎信號，都被意欲用于簡化感知任務(wù)。機器人可以使用這些駕駛輔助物，但是在很多情況下，它們能夠使用替代的傳感方式(例如雷達或者激光雷達)取代視覺。除了這些其他的傳感方式，機器人通常還可以改變(leverage)現(xiàn)有的地圖以簡化在線感知。使用現(xiàn)有的包括停止標志、速度限制、車道等的地圖，機器人車輛可以大大簡化其對估計其相對于地圖的位置(定位)及處理動力障礙物(例如其他車輛)(感知)的問題的車載感知需求。交通信號是對機器人車輛的主要挑戰(zhàn)。做出過努力以通過廣播播放交通燈狀態(tài)，但是這需要對基礎(chǔ)設(shè)施的重大投資。雖然機器人通常可以使用主動傳感器，例如雷達或者激光雷達，以感知它們的周圍事物，交通信號的狀態(tài)只能被視覺地感知。盡管由于戶外條件的變化，任何視覺任務(wù)都可以是具有挑戰(zhàn)性的，但是已經(jīng)將交通燈設(shè)計得高度可見。

發(fā)明內(nèi)容
本發(fā)明大體上涉及構(gòu)建交通信號的地圖。特別地，這些地圖可以用于進行交通信號的狀態(tài)的實時檢測。本發(fā)明的一個方面提供一種用于確定交通信號的三維位置的方法。該方法包括接收多個圖像，多個圖像中的每個圖像與地理位置和方向信息相關(guān)聯(lián)；通過計算機選擇多個圖像中的與接近交通十字路口的地理位置相關(guān)聯(lián)的一個或多個圖像；對每個所選擇的圖像，通過計算機識別所選擇的圖像中的紅色、黃色和綠色物體；基于兩個或更多個所選擇的圖像的地理位置和方向信息，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體；基于(I)所識別的兩個或更多個所選擇的圖像之間的關(guān)聯(lián)和(2)兩個或更多個所選擇的圖像的地理位置和方向信息，確定交通信號的三維位置；和將交通信號的三維位置存儲在計算機可訪問的存儲器中。如此處所論述的，不同的特征可以在任何實施例中以任何組合使用。例如，該方法包括生成包括交通信號的三維位置的地圖。
在另一個示例中，通過一個或多個照相機采集多個圖像中的每個，每個照相機與車輛相關(guān)聯(lián)。可選地，一個或多個照相機中的每一個安裝在車輛上。可選地，基于通過地理方位(position)設(shè)備確定的照相機的地理位置和方向信息，生成與每個圖像相關(guān)聯(lián)的地理位置和方向信息。在另一個示例中，通過激光定位設(shè)備確定與每個圖像相關(guān)聯(lián)的地理位置和方向信
肩、O在另一個示例中，通過GPS定位設(shè)備確定與每個圖像相關(guān)聯(lián)的地理位置和方向信
肩、O在另一個示例中，通過慣性定位設(shè)備確定與每個圖像相關(guān)聯(lián)的地理位置和方向信
肩、O在另一個示例中，地理位置信息是GPS緯度和經(jīng)度坐標。在另一個示例中，在多個圖像中的每個圖像由一個或多個照相機采集并且每個照相機與車輛相關(guān)聯(lián)的情況下，一個或多個照相機中的每個照相機與被設(shè)置以避免交通信號燈的飽和的增益和快門速度相關(guān)聯(lián)。在另一個示例中，在多個圖像中的每個圖像由一個或多個照相機采集并且每個照相機與車輛關(guān)聯(lián)的情況下，多個圖像中的每個圖像通過網(wǎng)絡(luò)從一個或多個照相機中的每一個上傳至計算機。在另一個示例中，在多個圖像中的每個圖像由一個或多個照相機采集并且每個照相機與車輛關(guān)聯(lián)的情況下，一個或多個照相機中的每個照相機被定位以最低程度地阻礙車輛的駕駛者的視線。在另一個示例中，所識別的紅色、黃色和綠色物體具有與交通信號對應(yīng)的合適尺寸和寬高比。在再進一步的示例中，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于兩個或更多個所選擇的圖像的被識別的物體之間的關(guān)聯(lián)距離的。在另一個示例中，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于交通信號的物理維度的。在另一個示例中，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于所選擇的圖像之間的直接運動補償?shù)?，其中，每個所選擇的圖像由安裝在移動車輛上的照相機拍攝。在另一個示例中，該方法包括基于直接運動補償，將所選擇的圖像中的被識別的紅色、黃色和綠色物體識別作為物體而不是作為交通信號燈。在另一個示例中，該方法包括基于已確定的特定的交通信號的三維位置和通過十字路口的車道的地圖的比較，確定與特定的交通信號相關(guān)聯(lián)的車道。在另一個示例中，在該方法包括生成包括交通信號的三維位置的地圖的情況下，該方法包括將該地圖下載至車輛的第二個計算機。在另一個示例中，在該方法包括生成包括交通信號的 三維位置的地圖的情況下，該方法包括將該地圖下載至客戶端設(shè)備。在另一個示例中，在該方法包括生成包括交通信號的三維位置的地圖的情況下，該方法包括從客戶端設(shè)備接收地理位置，并且基于所接收的地理位置，將地圖的一部分傳輸至客戶端設(shè)備。
本發(fā)明的另一個方面提供一種用于確定交通信號的三維位置的設(shè)備。該設(shè)備包括處理器和存儲器。處理器配置用于接收多個圖像，多個圖像中的每個圖像與地理位置和方向信息相關(guān)聯(lián)；選擇多個圖像中的與接近交通十字路口的地理位置相關(guān)聯(lián)的一個或多個圖像；對每個所選擇的圖像，識別所選擇的圖像中的紅色、黃色和綠色物體；基于兩個或更多個所選擇的圖像的地理位置和方向信息，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體；基于(I)所識別的兩個或更多個所選擇的圖像之間的關(guān)聯(lián)和(2)兩個或更多個所選擇的圖像的地理位置和方向信息，確定交通信號的三維位置；和將交通信號的三維位置存儲在設(shè)備可訪問的存儲器中。如此處所論述的，不同的特征可以在任何實施例中以任何組合使用。例如，處理器配置用于生成包括交通信號的三維位置的地圖。在另一個示例中，多個圖像中的每個由一個或多個照相機采集，每個照相機與車輛相關(guān)聯(lián)。可選地，一個或多個照相機中的每一個安裝在車輛上?？蛇x地，基于通過地理方位設(shè)備確定的照相機的地理位置和方向，生成與每個圖像相關(guān)聯(lián)的地理位置和方向信息。 在另一個示例中，通過激光定位設(shè)備確定與每個圖像相關(guān)聯(lián)的地理位置和方向信
肩、O在另一個示例中，通過GPS定位設(shè)備確定與每個圖像相關(guān)聯(lián)的地理位置和方向信
肩、O在另一個示例中，通過慣性定位設(shè)備確定與每個圖像相關(guān)聯(lián)的地理位置和方向信
肩、O 在另一個示例中，地理位置信息是GPS緯度和經(jīng)度坐標。在另一個示例中，在多個圖像中的每一個由一個或多個照相機采集的情況下，一個或多個照相機中的每一個與被設(shè)置以避免交通信號燈的飽和的增益和快門速度相關(guān)聯(lián)。在另一個示例中，在多個圖像中的每一個由一個或多個照相機采集的情況下，多個圖像中的每個圖像通過網(wǎng)絡(luò)從一個或多個照相機中的每一個上傳至設(shè)備。在另一個示例中，在多個圖像中的每一個由一個或多個照相機采集的情況下，一個或多個照相機中的每一個被定位以最低程度地阻礙車輛的駕駛者的視線。在另一個示例中，所識別的紅色、黃色和綠色物體具有與交通信號對應(yīng)的合適尺寸和寬高比。在另一個示例中，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于兩個或更多個所選擇的圖像的被識別的物體之間的關(guān)聯(lián)距離的。在另一個示例中，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于交通信號的物理維度的。在另一個示例中，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于所選擇的圖像之間的直接運動補償?shù)?，其中，每個所選擇的圖像由安裝在移動車輛上的照相機拍攝。在另一個示例中，處理器進一步配置用于基于直接運動補償，將所選擇的圖像中的被識別的紅色、黃色和綠色物體識別作為物體而不是作為交通信號燈。在另一個示例中，處理器進一步配置用于基于已確定的特定的交通信號的三維位置和通過十字路口的車道的地圖的比較，確定與特定的交通信號相關(guān)聯(lián)的車道。
在另一個示例中，處理器進一步配置用于將地圖下載至與車輛相關(guān)聯(lián)的第二個設(shè)備。在另一個示例中，處理器進一步配置用于將地圖下載至客戶端設(shè)備。在另一個示例中，在處理器配置用于生成包括交通信號的三維位置的地圖的情況下，處理器進一步配置用于從客戶端設(shè)備接收地理位置，并且基于所接收的地理位置，將地圖的一部分傳輸至客戶端設(shè)備。本發(fā)明的另一個方面提供一種用于確定交通信號的狀態(tài)的方法，該方法包括重復(fù)確定客戶端設(shè)備的當前位置；基于客戶端設(shè)備的當前位置和交通信號的三維位置的地圖的比較，確定交通信號的邊界的估算位置；采集估算位置的圖像；對每個所 采集的圖像，通過客戶端設(shè)備識別在交通信號的估算位置的邊界內(nèi)的紅色、黃色和綠色物體；以及基于所識別的物體的顏色確定交通信號的狀態(tài)。如此處所論述的，不同的特征可以在任何實施例中以任何組合使用。例如，圖像由客戶端設(shè)備的照相機采集。在另一個示例中，通過基于激光的定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，通過激光定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，通過GPS定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，通過慣性定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，在圖像由客戶端設(shè)備的照相機采集的情況下，照相機與被設(shè)置以避免交通信號燈的飽和的增益和快門速度相關(guān)聯(lián)。在另一個示例中，在圖像由客戶端設(shè)備的照相機采集的情況下，該方法包括從客戶端設(shè)備的存儲器訪問交通信號的三維位置的地圖。在另一個示例中，所識別的紅色、黃色和綠色物體具有與交通信號對應(yīng)的合適尺寸和寬高比。在另一個示例中，確定交通信號的狀態(tài)是基于在估算位置的邊界內(nèi)的所識別的物體的位置的。在另一個示例中，估算位置的邊界與維度相關(guān)，并且該維度大于交通信號的維度。在另一個示例中，該方法包括基于客戶端設(shè)備的當前位置和通過十字路口的交通車道的地圖的比較，確定與客戶端設(shè)備相關(guān)聯(lián)的交通車道?？蛇x地，確定交通信號的邊界的估算位置是基于與客戶端設(shè)備相關(guān)聯(lián)的交通車道的。在另一個示例中，該方法包括通過網(wǎng)絡(luò)從計算機請求交通信號的三維位置的地圖，該請求包括客戶端設(shè)備的當前位置。在另一個示例中，該方法包括通過網(wǎng)絡(luò)從計算機接收交通信號的三維位置的地圖。在另一個示例中，該方法包括確定交通信號的狀態(tài)是否已經(jīng)從默認狀態(tài)改變?？蛇x地，如果在交通信號的估算位置的邊界內(nèi)沒有被識別的物體，該方法包括確定交通信號的狀態(tài)為默認狀態(tài)?？蛇x地，默認狀態(tài)為黃色燈?？蛇x地，默認狀態(tài)為紅色燈。在另一個示例中，該方法包括將交通信號的狀態(tài)傳輸至與車輛相關(guān)聯(lián)的計算機。在另一個示例中，該方法包括如果燈的狀態(tài)是紅色或黃色，則使車輛減速。在另一個示例中，該方法包括可聽地識別交通信號的狀態(tài)。在另一個示例中，該方法包括基于交通信號的狀態(tài)提供駕駛指令。在另一個示例中，客戶端設(shè)備包括電子顯示器，且該方法進一步包括識別電子顯示器上的交通信號的狀態(tài)。本發(fā)明的另一個方面提供一種用于確定交通信號的三維位置的設(shè)備。該設(shè)備包括處理器和存儲器，存儲器包括用于存儲次級資源文件的第一部分。處理器配置用于重復(fù)確定客戶端設(shè)備的當前位置；基于客戶端設(shè)備的當前位置和交通信號的三維位置的地圖的比較，確定交通信號的邊界的估算位置；采集估算位置的圖像；對每個所采集的圖像，通過客戶端設(shè)備識別在交通信號的估算位置的邊界內(nèi)的紅色、黃色和綠色物體；以及基于所識別的物體的顏色確定交通信號的狀態(tài)。如此處所論述的，不同的特征可以在任何實施例中以任何組合使用。例如，該設(shè)備包括用于采集估算位置的圖像的照相機。 在另一個示例中，通過激光定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，該設(shè)備包括基于激光的定位設(shè)備，且通過激光定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，該設(shè)備包括基于GPS的定位設(shè)備，且通過GPS定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，該設(shè)備包括基于慣性的定位設(shè)備，且通過慣性定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，照相機與被設(shè)置以避免交通信號燈的飽和的增益和快門速度相關(guān)聯(lián)。在另一個示例中，處理器配置用于從客戶端設(shè)備的存儲器訪問交通信號的三維位置的地圖。在另一個示例中，所識別的紅色、黃色和綠色物體具有與交通信號對應(yīng)的合適尺寸和寬高比。在另一個示例中，處理器基于在估算位置的邊界內(nèi)的所識別的物體的位置，確定交通信號的狀態(tài)。在另一個示例中，估算位置的邊界與維度相關(guān)，該維度大于交通信號的維度。在另一個示例中，處理器進一步配置用于基于客戶端設(shè)備的當前位置和通過十字路口的交通車道的地圖的比較，確定與客戶端設(shè)備相關(guān)聯(lián)的交通車道。在另一個示例中，處理器基于與客戶端設(shè)備相關(guān)聯(lián)的交通車道，確定交通信號的邊界的估算位置。在另一個示例中，處理器進一步配置用于通過網(wǎng)絡(luò)從計算機請求交通信號的三維位置的地圖，該請求包括客戶端設(shè)備的當前位置。在另一個示例中，處理器確定交通信號的邊界的估算位置，且處理器進一步配置用于通過網(wǎng)絡(luò)從計算機接收交通信號的三維位置的地圖。在另一個示例中，處理器進一步配置用于確定交通信號的狀態(tài)是否已經(jīng)從默認狀態(tài)改變?？蛇x地，處理器進一步配置用于如果在交通信號的估算位置的邊界內(nèi)沒有被識別的物體，確定交通信號的狀態(tài)為默認狀態(tài)?？蛇x地，默認狀態(tài)為黃色燈?？蛇x地，默認狀態(tài)為紅色燈。在另一個示例中，處理器進一步配置用于將交通信號的狀態(tài)傳輸至與車輛相關(guān)聯(lián)的計算機。在另一個示例中，處理器進一步配置用于如果燈的狀態(tài)是紅色或黃色，則使車輛減速。在另一個示例中，處理器進一步配置用于可聽地識別交通信號的狀態(tài)。在另一個示例中，處理器進一步配置用于基于交通信號的狀態(tài)提供駕駛指令。在另一個示例中，該設(shè)備安裝在車輛上。在另一個示例中，該設(shè)備為便攜式設(shè)備。在另一個示例中，該設(shè)備包括電子顯示器，且處理器進一步配置用于識別電子顯示器上的交通信號的狀態(tài)。
·
本發(fā)明的另一個方面提供一種用于確定交通信號的狀態(tài)的方法。該方法包括重復(fù)確定客戶端設(shè)備的當前位置；基于客戶端設(shè)備的當前位置和交通信號的三維位置的地圖的比較，確定交通信號的邊界的估算位置；采集估算位置的圖像；對每個所采集的圖像，通過客戶端設(shè)備識別在交通信號的估算位置的邊界內(nèi)的紅色、黃色和綠色物體；以及基于所識別的物體的顏色確定交通信號的狀態(tài)。如此處所論述的，不同的特征可以在任何實施例中以任何組合使用。例如，定位設(shè)備是激光定位設(shè)備。在另一個示例中，定位設(shè)備是GPS定位設(shè)備。在另一個示例中，定位設(shè)備是慣性定位設(shè)備。在另一個示例中，該方法包括將照相機定位在車輛上以直接面對車輛前方。在另一個示例中，該方法包括將照相機定位在后視鏡的右方。在另一個示例中，該方法包括定位照相機以限制駕駛者的視場的障礙。在另一個示例中，存儲器是照相機的本地存儲器。在另一個示例中，地理位置被定義為GPS緯度和經(jīng)度坐標。在另一個示例中，該方法進一步包括接收多個圖像和相關(guān)聯(lián)的地理位置和方向信息；選擇多個圖像中的與接近交通十字路口的地理位置相關(guān)聯(lián)的一個或多個圖像；對每個所選擇的圖像，識別所選擇的圖像中的紅色、黃色和綠色物體；基于兩個或更多個所選擇的圖像的地理位置和方向信息識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體；基于(I)所識別的兩個或更多個所選擇的圖像之間的關(guān)聯(lián)和(2)兩個或更多個所選擇的圖像的地理位置和方向信息，確定交通信號的三維位置；和將交通信號的三維位置存儲在計算機可訪問的存儲器中。可選地，該方法包括生成包括交通信號的三維位置的地圖。在另一個示例中，在該方法包括識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體的情況下，所識別的紅色、黃色和綠色物體具有與交通信號對應(yīng)的合適尺寸和寬高比。在另一個示例中，在該方法包括識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體的情況下，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于兩個或更多個所選擇的圖像的被識別的物體之間的關(guān)聯(lián)距離的。在另一個示例中，在該方法包括識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體的情況下，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于交通信號的物理維度的。在另一個示例中，在該方法包括識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體的情況下，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于所選擇的圖像之間的直接運動補償?shù)?。在另一個示例中，在該方法包括識別所選擇的圖像中的紅色、黃色和綠色物體的情況下，該方法包括基于直接運動補償，將所選擇的圖像中的被識別的紅色、黃色和綠色物體識別作為物體而不是作為交通信號燈。在另一個示例中，在該方法包括識別所選擇的圖像中的紅色、黃色和綠色物體的情況下，該方法包括基于已確定的特定的交通信號的三維位置和通過十字路口的車道的地圖的比較，確定與特定的交通信號相關(guān)聯(lián)的車道。本發(fā)明的又另一個方面提供一種用于采集交通信號的圖像的設(shè)備。該設(shè)備包括車輛；具有為避免交通信號燈的飽和而設(shè)置的增益和快門速度的照相機，照相機安裝至車 輛；定位設(shè)備；與車輛耦合的處理器；和包括用于存儲圖像的第一部分的存儲器。處理器配置用于從照相機接收圖像；確定與所接收的圖像中的每個圖像相關(guān)聯(lián)的地理位置；將圖像、地理位置和關(guān)聯(lián)存儲在存儲器中；和通過網(wǎng)絡(luò)將圖像、地理位置和關(guān)聯(lián)傳輸至計算機。
如此處所論述的，不同的特征可以在任何實施例中以任何組合使用。例如，照相機被定位在車輛上以直接面對車輛前方。在另一個示例中，照相機被定位在后視鏡的右方。在另一個示例中，照相機被定位以限制駕駛者的視場的障礙。在另一個示例中，存儲器是照相機的本地存儲器。本發(fā)明的再另一個方面提供一種客戶端設(shè)備，該客戶端設(shè)備包括處理器和計算機。計算機包括存儲器和處理器。處理器配置用于接收多個圖像，多個圖像中的每個圖像與地理位置和方向信息相關(guān)聯(lián)；選擇多個圖像中的與接近交通十字路口的地理位置相關(guān)聯(lián)的一個或多個圖像；對每個所選擇的圖像，識別所選擇的圖像中的紅色、黃色和綠色物體；基于兩個或更多個所選擇的圖像的地理位置和方向信息，識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體；基于(I)所識別的兩個或更多個所選擇的圖像之間的關(guān)聯(lián)和(2)兩個或更多個所選擇的圖像的地理位置和方向信息，確定交通信號的三維位置；生成交通信號的三維位置的地圖；從客戶端設(shè)備接收對地圖的一部分的請求，該請求識別地理位置；基于所識別的地理位置，識別地圖的相關(guān)部分；和將地圖的相關(guān)部分傳輸至客戶端設(shè)備。第二設(shè)備的處理器配置用于重復(fù)確定客戶端設(shè)備的當前位置；傳輸包括客戶端設(shè)備的當前位置的請求；接收地圖的相關(guān)部分；基于客戶端設(shè)備的當前位置和所接收的地圖的相關(guān)部分的比較，確定交通信號的邊界的估算位置；采集估算位置的圖像；對每個所采集的圖像，識別在交通信號的估算位置的邊界內(nèi)的紅色、黃色和綠色物體；以及基于在交通信號的估算位置的邊界內(nèi)的所識別的物體的顏色確定交通信號的狀態(tài)。如此處所論述的，不同的特征可以在任何實施例中以任何組合使用。例如，多個圖像中的每一個由一個或多個照相機采集，每個照相機與車輛相關(guān)聯(lián)。在另一個示例中，基于通過與相關(guān)聯(lián)的車輛相關(guān)聯(lián)的地理方位設(shè)備確定的照相機的地理位置和方向，生成與多個圖像中的每個圖像相關(guān)聯(lián)的地理位置和方向信息。在另一個示例中，通過激光定位設(shè)備確定與每個圖像相關(guān)聯(lián)的地理位置和方向信肩、O
在另一個示例中，通過GPS定位設(shè)備確定與每個圖像相關(guān)聯(lián)的地理位置和方向信息。
在另一個示例中，通過慣性定位設(shè)備確定與每個圖像相關(guān)聯(lián)的地理位置和方向信息。
在另一個示例中，地理位置信息是GPS緯度和經(jīng)度坐標。在另一個示例中，在多個圖像中的每一個由一個或多個照相機采集的情況下，一個或多個照相機中的每一個與被設(shè)置以避免交通信號燈的飽和的增益和快門速度相關(guān)聯(lián)。在另一個示例中，在多個圖像中的每一個由一個或多個照相機采集的情況下，多個圖像中的每個圖像通過網(wǎng)絡(luò)從一個或多個照相機中的每一個上傳至計算機。在另一個示例中，在多個圖像中的每一個由一個或多個照相機采集的情況下，每個照相機被定位以最低程度地阻礙車輛的駕駛者的視線。在另一個示例中，通過計算機的處理器識別的紅色、黃色和綠色物體具有與交通信號對應(yīng)的合適尺寸和寬高比。在另一個示例中，通過計算機的處理器識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于兩個或更多個所選擇的圖像的被識別的物體之間的關(guān)聯(lián)距離的。在另一個示例中，通過計算機的處理器識別兩個或更多個所選擇的圖像中的相關(guān) 聯(lián)的紅色、黃色和綠色物體是基于交通信號的物理維度的。在另一個示例中，通過計算機的處理器識別兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的紅色、黃色和綠色物體是基于所選擇的圖像之間的直接運動補償?shù)?。在另一個示例中，第一計算機的處理器進一步配置用于基于直接運動補償，將所選擇的圖像中的被識別的紅色、黃色和綠色物體識別作為物體而不是作為交通信號燈。在另一個示例中，第一計算機的處理器進一步配置用于基于已確定的特定的交通信號的三維位置和通過十字路口的車道的地圖的比較，確定與特定的交通信號相關(guān)聯(lián)的車道。在另一個示例中，客戶端設(shè)備包括電子顯示器，且客戶端設(shè)備的處理器進一步配置用于識別電子顯示器上的交通信號的狀態(tài)。在另一個示例中，通過激光定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，通過GPS定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，通過慣性定位設(shè)備確定客戶端設(shè)備的當前位置。在另一個示例中，通過客戶端設(shè)備的客戶端照相機采集所采集的圖像。在另一個示例中，客戶端照相機與被設(shè)置以避免交通信號燈的飽和的增益和快門速度相關(guān)聯(lián)。在另一個示例中，客戶端設(shè)備的處理器進一步配置用于將所接收的地圖的部分存儲在客戶端設(shè)備存儲器中，且從存儲器訪問所接收的部分。在另一個示例中，通過客戶端設(shè)備的處理器識別的紅色、黃色和綠色物體具有與交通信號對應(yīng)的合適尺寸和寬高比。在另一個示例中，確定交通信號的狀態(tài)是基于在估算位置的邊界內(nèi)的所識別的物體的位置的。
在另一個示例中，估算位置的邊界與維度相關(guān)，且該維度大于交通信號的維度。在另一個示例中，客戶端設(shè)備進一步配置用于基于客戶端設(shè)備的當前位置和通過十字路口的交通車道的地圖的比較，確定與客戶端設(shè)備相關(guān)聯(lián)的交通車道?？蛇x地，客戶端設(shè)備的處理器進一步配置用于基于與客戶端設(shè)備相關(guān)聯(lián)的交通車道，確定交通信號的邊界的估算位置。在另一個示例中，客戶端設(shè)備的處理器進一步配置用于確定交通信號的狀態(tài)是否已經(jīng)從默認狀態(tài)改變。在另一個示例中，客戶端設(shè)備的處理器進一步配置用于如果在交通信號的估算位置的邊界內(nèi)沒有被識別的物體，確定交通信號的狀態(tài)為默認狀態(tài)?？蛇x地，默認狀態(tài)為黃色燈。可選地，默認狀態(tài)為紅色燈。在另一個示例中，客戶端設(shè)備進一步配置用于將交通信號的狀態(tài)傳輸至與車輛相關(guān)聯(lián)的計算機。在另一個示例中，客戶端設(shè)備的處理器進一步配置用于如果燈的狀態(tài)是紅色或黃色，發(fā)送指令以使車輛減速。在另一個示例中，客戶端設(shè)備包括一個或多個揚聲器，且客戶端設(shè)備的處理器進一步配置用于可聽地識別交通信號的狀態(tài)。在另一個示例中，客戶端設(shè)備的處理器進一步配置用于基于交通信號的狀態(tài)提供駕駛指令。


圖IA為根據(jù)本發(fā)明的一個方面的系統(tǒng)的功能圖。圖IB為根據(jù)本發(fā)明的一個方面的系統(tǒng)的示意圖。圖2為根據(jù)本發(fā)明的一個方面的流程圖。圖3為根據(jù)本發(fā)明的一個方面的交通信號和燈的示例性圖像。圖4為根據(jù)本發(fā)明的一個方面的流程圖。圖5為根據(jù)本發(fā)明的一個方面的交通十字路口的示意圖。圖6為根據(jù)本發(fā)明的一個方面的實驗數(shù)據(jù)的示例性柱狀圖。圖7為根據(jù)本發(fā)明的一個方面的實驗數(shù)據(jù)的示例性混淆矩陣。
具體實施例方式本發(fā)明的方面、特征和優(yōu)點將在通過參考以下示例性實施例的描述和附圖考慮時被理解。不同附圖中的相同標號可以標識相同或類似的元件。而且，以下描述不是限制性的，本發(fā)明的范圍由所附權(quán)利要求及其等同物限定。具有固定曝光和光圈的照相機可以被直接校準以采集交通燈彩色信號電平的圖像。交通燈的方位、位置和方向可以從這樣的圖像中的兩個或更多個自動推斷。這種信息接著用于生成識別交通燈的三維位置的地圖。這些交通燈的三維地圖可以允許客戶端設(shè)備預(yù)料和預(yù)測交通燈。如圖IA和圖IB所示，根據(jù)本發(fā)明的一個方面的系統(tǒng)100包括計算機110，計算機110包括處理器120、存儲器130和其他典型地存在于通用計算機中的部件。、
存儲器130存儲處理器120可訪問的信息，包括可以被處理器120執(zhí)行或者以其他方式被處理器120使用的指令132和數(shù)據(jù)134。存儲器130可以是能夠存儲處理器可訪問的信息的任何類型，包括計算機可讀介質(zhì)，或者存儲可以在電子設(shè)備的幫助下可以被讀取的數(shù)據(jù)的其他介質(zhì)，例如硬盤驅(qū)動器、車載存儲器、R0M、RAM、DVD或者其他光盤，以及其他可寫和只讀存儲器。系統(tǒng)和方法可以包括上述的不同的組合，從而指令和數(shù)據(jù)的不同部分存儲在不同類型的介質(zhì)上。指令132可以是將由處理器直接地(例如機器代碼)或間接地(例如腳本)執(zhí)行的任何指令集。例如，指令可以作為計算機代碼存儲在計算機可讀介質(zhì)上。就此而言，在此處可以互換地使用術(shù)語“指令”和“程序”。指令可以以目標代碼形式存儲以被處理器直接處理，或者以包括根據(jù)需要被解釋或預(yù)先被編譯的腳本或獨立源代碼模塊的集合的任何其他計算機語言的形式存儲。下面更詳細地說明指令的功能、方法和例程?？梢愿鶕?jù)指令132通過處理器120檢索、存儲或者修改數(shù)據(jù)134。例如，盡管系統(tǒng)和方法不受任何特定的數(shù)據(jù)結(jié)構(gòu)限制，數(shù)據(jù)可以作為具有多個不同字段和記錄、XML文檔或者平面文件的表格存儲在計算機寄存器中的關(guān)系數(shù)據(jù)庫中。數(shù)據(jù)也可以任何計算機可讀格 式被格式化。僅作為進一步舉例，圖像數(shù)據(jù)可以作為包括像素網(wǎng)格的位圖以及用于繪制圖形的計算機指令存儲，該像素網(wǎng)格按照壓縮的或未壓縮的無損的(例如BMP)或有損的(例如JPEG)、和基于位圖的或基于矢量的(例如SVG)格式存儲。數(shù)據(jù)可以包括足以識別相關(guān)信息的任何信息，例如，數(shù)字、描述性文本、私有代碼、對存儲在相同存儲器或不同存儲器(包括其他網(wǎng)絡(luò)位置)的其他區(qū)域中的數(shù)據(jù)的引用，或者通過函數(shù)用于計算相關(guān)數(shù)據(jù)的信息。處理器120可以是任何常規(guī)的處理器,例如來自Intel Corporation或AdvancedMicro Device的處理器，可選地，處理器可以是專用設(shè)備例如ASIC。盡管圖I功能性地說明了在相同塊內(nèi)的處理器和存儲器，本領(lǐng)域普通技術(shù)人員應(yīng)該理解處理器和存儲器可以實際包括可以或不可以存儲在相同的物理外殼內(nèi)的多個處理器和存儲器。例如，存儲器可以是硬盤驅(qū)動器或者位于數(shù)據(jù)中心的服務(wù)器群的其他存儲介質(zhì)。相應(yīng)地，對處理器或計算機的引用可以理解為包括對可以或不可以平行操作的處理器或計算機或存儲器的集合的引用。計算機110可以位于網(wǎng)絡(luò)150的一個節(jié)點，且能夠直接地和間接地與網(wǎng)絡(luò)的其他節(jié)點通信。例如，計算機Iio可以包括萬維網(wǎng)服務(wù)器，萬維網(wǎng)服務(wù)器能夠通過網(wǎng)絡(luò)150與客戶端設(shè)備170-72通信，以使服務(wù)器110使用網(wǎng)絡(luò)150傳輸和顯示信息給用戶或者以其他方式提供信息給用戶，例如圖IB中的人191或192。服務(wù)器110還可以包括多個計算機，多個計算機為了接收、處理和傳輸數(shù)據(jù)至客戶端設(shè)備的目的與網(wǎng)絡(luò)中不同節(jié)點交換信息。在這種情況下，客戶端設(shè)備典型地仍位于網(wǎng)絡(luò)中與包括服務(wù)器110的計算機不同的節(jié)點。網(wǎng)絡(luò)150以及服務(wù)器110與客戶端設(shè)備之間的中間節(jié)點可以包括各種配置和使用各種協(xié)議，各種協(xié)議包括互聯(lián)網(wǎng)、萬維網(wǎng)、內(nèi)聯(lián)網(wǎng)、虛擬專用網(wǎng)絡(luò)、局域以太網(wǎng)、使用一個或多個公司私有通信協(xié)議的私有網(wǎng)絡(luò)、蜂窩和無線網(wǎng)絡(luò)(例如WiFi)、即時消息、HTTP和SMTP、以及上述的各種組合。盡管圖1-2中僅顯示出幾個計算機，應(yīng)當理解，典型的系統(tǒng)可以包括大量被連接的計算機。每個客戶端設(shè)備可以與服務(wù)器110類似地配置，具有處理器120、存儲器和指令132。每個客戶端設(shè)備170-172可以是意欲被人191-192使用的設(shè)備，且具有所有通常使用的與計算機有關(guān)的部件，例如中央處理器(CPU)、存儲例如網(wǎng)頁瀏覽器的數(shù)據(jù)162和指令的存儲器(例如RAM和內(nèi)部硬盤驅(qū)動器)、電子顯示器164 (例如具有屏幕的監(jiān)視器、小型LCD觸摸屏、投影儀、電視機、計算機打印機或者任何其他可操作以顯示信息的電子設(shè)備)、以及用戶輸入166 (例如鼠標、鍵盤、觸摸屏和/或麥克風)。客戶端設(shè)備還可以包括照相機176、地理方位部件178、一個或多個揚聲器174、網(wǎng)絡(luò)接口設(shè)備、以及所有用于將這些元件彼此連接的部件。盡管每個客戶端設(shè)備170-172可以包括全尺寸的個人計算機，它們可選地包括能夠或不能夠通過諸如互聯(lián)網(wǎng)的網(wǎng)絡(luò)與服務(wù)器無線交換數(shù)據(jù)的移動設(shè)備。僅作為舉例，客戶端設(shè)備172可以是安裝在車輛上的設(shè)備或者與車輛連接，以使客戶端設(shè)備172可以與車輛的計算機交換信息。在另一個示例中，客戶端設(shè)備171可以是可無線使能的PDA或者能夠通過互聯(lián)網(wǎng)獲取信息的蜂窩式電話。用戶可以使用小鍵盤(在黑莓電話的情況下)、袖珍鍵盤(在典型的手機的情況下)或者觸摸屏(在PDA的情況下)輸入信息。的確，根據(jù)在此處描述的系統(tǒng)和方法的客戶端設(shè)備可以包括能夠處理指令和將數(shù)據(jù)傳輸至人和其他計算 機和從人和其他計算機傳輸數(shù)據(jù)的任何設(shè)備，其他計算機包括通用設(shè)備、無本地存儲能力的網(wǎng)絡(luò)計算機等。客戶端設(shè)備還可以包括地理方位部件以確定設(shè)備的地理位置和方向。例如，客戶端設(shè)備170可以包括GPS接收器以確定設(shè)備的緯度、經(jīng)度和/或高度方位。也可以使用其他的位置系統(tǒng)例如基于激光的定位系統(tǒng)，慣性輔助的GPS或者基于照相機的定位系統(tǒng)。另夕卜，地理方位部件也可以包括用于基于客戶端設(shè)備171處接收的其他信號確定設(shè)備位置的軟件，其他信號是例如如果客戶端設(shè)備是手機，在手機的天線處從一個或多個蜂窩塔接收的信號。客戶端設(shè)備171還可以包括其他特征，例如加速計、陀螺儀或者其他加速設(shè)備168以確定設(shè)備朝向的方向。僅作為舉例，加速設(shè)備可以確定其相對于重力方向或者與其垂直的平面的俯仰角、偏航角或者坡角(或者其改變)。就此而言，可以理解客戶端設(shè)備提供的在此列出的位置和方向數(shù)據(jù)可以自動地提供給用戶、服務(wù)器或者兩者。返回至圖1A，數(shù)據(jù)134可以包括圖像數(shù)據(jù)例如交通信號的圖像。圖像可以與包括拍攝圖像時的車輛或者照相機的方位、位置和方向的各種信息相關(guān)聯(lián)。圖像信息還可以與指示圖像中的交通信號的方位和位置的標記相關(guān)聯(lián)。這些標記可以通過各種方法生成。例如，用于生成標記圖像的一個方法是使用一組人工貼標。但是，當需要對典型的城市環(huán)境中的高密度燈工作時，人工貼標可能顯得相對較慢。而且，即使是最好的人工貼標也不總是能夠進行精確貼標。在以下更詳細地描述的另一個示例中，通過使用交通信號分類器140自動生成標記。圖像數(shù)據(jù)134還可以包括與其他圖像的關(guān)聯(lián)。例如，在兩個不同圖像中的兩個標記識別相同的交通信號的情況下，這些標記(或者圖像)可以彼此相關(guān)聯(lián)。如以下更詳細地描述的，圖像之間的這些標記和關(guān)聯(lián)可以用于生成識別交通信號的估算的三維位置的交通信號地圖138。例如，可以通過手動駕駛裝備有照相機和諸如GPS、慣性和/或激光系統(tǒng)的導航系統(tǒng)的車輛通過十字路口，并且精確采集打有時間戳的激光測距和照相機圖像而采集這些圖像。車輛(例如車輛180-181)可以使用各種類型的以各種配置安裝的照相機182以采集交通信號燈圖像。例如，將Point Grey Grasshopper 5MP照相機定位以直接面對前方,且安裝在后視鏡的右方，以最低程度地阻礙駕駛者的視場?？梢詾檎障鄼C選擇特定的興趣區(qū)，例如具有帶有30度視場的固定透鏡的照相機的2040X 1080區(qū)域。例如，照相機可以被校準以能夠當以55MPH的速度行駛時在150m處檢測交通信號，以確保合理的制動距離。車輛180-181或者照相機182還可以包括如上所述的地理方位部件178。地理方位部件可以用于識別拍攝特定圖像時照相機或車輛的地理位置、方向和方位。車輛180-181可以記錄被服務(wù)器110使用的圖像。圖像和相關(guān)聯(lián)的信息可以通過網(wǎng)絡(luò)150從車輛上傳至服務(wù)器110或者直接載入服務(wù)器110。為了在夜晚采集交通信號燈的圖像，可以設(shè)置增益和快門速度以避免交通燈(特別是明亮的基于LED的綠色燈)的飽和。即使在白天也可以使用這些設(shè)置生成相對暗的圖像。以下將詳細描述圖2所描述的實施例200。應(yīng)當理解不需要以下述的精確順序進行操作。相反，各步驟可以不同的順序或者同時操作。如圖2的框210所示，通過服務(wù)器110接收圖像數(shù)據(jù)。接著，在框220，服務(wù)器篩選圖像獲得最相關(guān)的圖像，即可能包括交通燈的圖像。通常地，將交通信號定位在十字路口，從而可以使用地理空間查詢以摒棄當沒有十字路口有可能可見時拍攝的圖像。辨別當車輛接近十字路口時拍攝圖像與這組圖像之后，圖像被分類和標記，如框230和240所示。服務(wù)器110可以使用尋找鮮明地著色的紅色、黃色和綠色的具有合適的尺寸和寬高比的斑點的交通信號分類器，并且接著將這些斑點用作用于位置估算過程的暫時的交通信號標記。盡管結(jié)合具有一組紅色、黃色和綠色燈的典型的垂直交通信號描述本發(fā)明，應(yīng)當理解該特定的結(jié)構(gòu)僅僅用作舉例。交通信號可以具有變化的幾何結(jié)構(gòu)(geometry)和有時甚至復(fù)雜的幾何結(jié)構(gòu)，并且本發(fā)明可以任何數(shù)量的這些另外的幾何結(jié)構(gòu)操作。圖3描述了交通信號的人工標記的示例。對于每個正例，可以生成八個另外的反例。如果新生成的例子與正例重疊，例如，在兩個交通信號非?？拷谝黄鸬那闆r下，可以摒棄新生成的示例。標記步驟的輸出可以是大量標記，但是沒有關(guān)于哪個標記屬于哪個交通信號的信息。估算物體的三維位置需要不同圖像中的至少兩個標記，并且如果有更多的圖像可用，通常將會改善位置估算。然而，為了識別包括相同主題(例如特定的交通信號)的兩個或更多個圖像，圖像的標記必須彼此相關(guān)聯(lián)。如果與那些圖像相關(guān)聯(lián)的標記落入彼此的關(guān)聯(lián)距離之內(nèi)，則兩個圖像可以是相關(guān)聯(lián)的。例如，每個標記可以具有直徑d。如果兩個標記的中心在彼此的相對小的距離(例如d或者IOd)內(nèi)，這些標記可以彼此相關(guān)聯(lián)。在另一個示例中，如果兩個標記重疊，這些標記可以是相關(guān)聯(lián)的?？梢栽趫D像序列中的標記之間確定關(guān)聯(lián)，一旦已經(jīng)進行位置估算在三維物體之間確定關(guān)聯(lián)，或者通過使用結(jié)合二種類型的關(guān)聯(lián)的迭代法確定關(guān)聯(lián)。為了識別關(guān)聯(lián)，服務(wù)器可以做出一些關(guān)于圖示的交通信號的類型的推斷。例如，通過假設(shè)信號具有標準的垂直的紅色-黃色-綠色結(jié)構(gòu)(到目前為止最常見的配置)來推斷交通信號的全尺寸。這些全尺寸的交通信號標記可以使產(chǎn)生來自具有改變的顏色的交通信號的相關(guān)聯(lián)標記變得更簡單。圖像之間的標記關(guān)聯(lián)可以通過各種方式進行。例如，在近仿射運動和/或高幀速率的情況下，可以使用模板跟蹤器將一個圖像中的標記與下一個圖像中的標記相關(guān)聯(lián)。在另一個示例中，在照相機幀速率是低的，例如4fps，并且物體運動可以充分投影的情況下，可以使用直接運動補償。如上所述，對于每個圖像而言，精確的照相機位姿或者方位/位置/方向是已知的。如果照相機安裝在移動車輛上，在幾秒鐘的時間期間在該位姿上的累計誤差可以是相對低的，例如行駛距離的I % ο在一些示例中，可以通過離線優(yōu)化方法改進車輛的位置估算，以產(chǎn)生O. 15m以內(nèi)位置精度。返回至圖2的框250，服務(wù)器110可以使用直接運動補償以識別不同圖像中的標記之間的關(guān)聯(lián)。由于坡角、俯仰角和偏航角的變化產(chǎn)生的物體的視運動可以是一直向前的，以使用本征照相機模式校正，但是物體位置的有些估算是必要的，以校正由于車輛的向前運動產(chǎn)生的物體的視運動。物體在圖像中的視位置將它的位置限制在沿著光線的某處，通過假設(shè)物體是具有特定維度的交通信號能夠?qū)ξ矬w的距離作粗略的估算。在由焦距為fu的照相機拍攝的圖像中到具有實際寬度W和視寬度的物體的距離d為
d訪
_ " 2tan(-^)
2fu方向矢量X = [u，v]T可以通過使用照相機模式校正徑向畸變進行計算，并且物體的粗略的三維位置為y = sin (arctan (-U)) d，z = sin (arctan (_v)) d，X = Jd2 _y2—Z2。如果Tl和T2是兩次不同的從車輛的幀到本地平滑的坐標幀的4X4的變換矩陣，并且C是從車輛幀到照相機幀的變換，則從一個圖像到另一個圖像的物體的相對運動可以校正為X2 = CT2T;lC 1X1畸變圖像坐標可以通過使用照相機的本征模式進行計算。如上所述，如果標記落在彼此的關(guān)聯(lián)距離內(nèi)，則兩個圖像中的交通信號的兩個標記可以是相關(guān)聯(lián)的。因此，標記的長序列可以是相關(guān)聯(lián)的，表明它們?nèi)颗c特定交通信號的圖像相關(guān)聯(lián)。在一些示例中，標記可以與其他類型的物體(例如另一個車輛的尾燈)相對應(yīng)。在這些情況下，粗略的距離估算和隨后的運動補償將是不正確的，被不正確地分類為交通信號的物體之間的標記關(guān)聯(lián)的可能性會降低。這還可以允許服務(wù)器篩選出偽標記。如果運動校正過的標記與另一個標記重疊，很有可能是這些標記與相同的物體相對應(yīng)。可以從對應(yīng)標記的序列估算物體的三維位置。如框260所示，服務(wù)器110可以使用關(guān)聯(lián)以確定交通信號的三維位置。具體地，基于兩個或更多個圖像中關(guān)聯(lián)的標記可以估算三維物體的位姿。例如，可以使用最優(yōu)的三角測量方法，但是，該方法可以應(yīng)用于最多三個標記，當相同的交通信號有很多個標記時該方法可能不太有用。在另一個示例中，可以通過使用線性三角測量和直接線性轉(zhuǎn)換、最小二乘法估算位姿。使用最小二乘法，每個被臨時分類的圖像標記可以與圖像坐標S湘關(guān)聯(lián)。使用照相機的本征模式校正徑向畸變等，可以將這些圖像坐標轉(zhuǎn)換為方向矢量X。
估算三維點X以使對每個標記方向矢量Xi和照相機投影矩陣Pi,Xi = PiX可以將這些方程式合并入以下形式AX = O
這是X的線性方程式。為了消除投影幾何學中固有的同質(zhì)比例因子，對于特定的物體，可以從圖像標記{X1，X2，...}的每一個的交叉乘積組合3nx4的矩陣A:A= [x2]xHP2其中，交叉乘積矩陣為
權(quán)利要求
1.一種用于確定交通信號的三維位置的方法，所述方法包括 接收多個圖像，所述多個圖像中的每個圖像與地理位置和方向信息相關(guān)聯(lián)； 通過計算機選擇所述多個圖像中的與接近交通十字路口的地理位置相關(guān)聯(lián)的一個或多個圖像； 對每個所選擇的圖像，通過所述計算機識別所選擇的圖像中的紅色、黃色和綠色物體； 基于兩個或更多個所選擇的圖像的所述地理位置和方向信息，識別所述兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的所述紅色、黃色和綠色物體； 基于(I)所識別的所述兩個或更多個所選擇的圖像之間的關(guān)聯(lián)和(2)所述兩個或更多·個所選擇的圖像的所述地理位置和方向信息，確定交通信號的三維位置；和將所述交通信號的三維位置存儲在所述計算機可訪問的存儲器中。
2.如權(quán)利要求I所述的方法，進一步包括生成包含所述交通信號的三維位置的地圖。
3.如權(quán)利要求2所述的方法，其中，通過一個或多個照相機采集所述多個圖像中的每個圖像，每個照相機與車輛相關(guān)聯(lián)。
4.如權(quán)利要求3所述的方法，其中，所述一個或多個照相機中的每一個安裝在所述車輛上。
5.如權(quán)利要求3所述的方法，其中，基于通過地理方位設(shè)備確定的所述照相機的地理位置和方向信息，生成與每個圖像相關(guān)聯(lián)的所述地理位置和方向信息。
6.如權(quán)利要求I所述的方法，其中，通過激光定位設(shè)備確定與每個圖像相關(guān)聯(lián)的所述地理位置和方向信息。
7.如權(quán)利要求I所述的方法，其中，通過GPS定位設(shè)備確定與每個圖像相關(guān)聯(lián)的所述地理位置和方向信息。
8.如權(quán)利要求I所述的方法，其中，通過慣性定位設(shè)備確定與每個圖像相關(guān)聯(lián)的所述地理位置和方向信息。
9.如權(quán)利要求I所述的方法，其中，所述地理位置信息是GPS緯度和經(jīng)度坐標。
10.一種用于確定交通信號的三維位置的設(shè)備，所述設(shè)備包括 處理器；和 存儲器；且 所述處理器配置用于 接收多個圖像，所述多個圖像中的每個圖像與地理位置和方向信息相關(guān)聯(lián)； 選擇所述多個圖像中的與接近交通十字路口的地理位置相關(guān)聯(lián)的一個或多個圖像； 對每個所選擇的圖像，識別所選擇的圖像中的紅色、黃色和綠色物體； 基于兩個或更多個所選擇的圖像的所述地理位置和方向信息，識別所述兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的所述紅色、黃色和綠色物體； 基于(I)所識別的所述兩個或更多個所選擇的圖像之間的關(guān)聯(lián)和(2)所述兩個或更多個所選擇的圖像的所述地理位置和方向信息，確定交通信號的三維位置；和將所述交通信號的三維位置存儲在所述設(shè)備可訪問的存儲器中。
11.如權(quán)利要求10所述的設(shè)備，其中，所述多個圖像中的每一個由一個或多個照相機采集，每個照相機與車輛相關(guān)聯(lián)，并且每個照相機具有各自的被設(shè)置以避免交通信號燈的飽和的增益和快門速度。
12.如權(quán)利要求10所述的設(shè)備，其中，所述多個圖像中的每一個由一個或多個照相機采集，每個照相機與車輛關(guān)聯(lián)，并且所述多個圖像中的每個圖像通過網(wǎng)絡(luò)從所述一個或多個照相機中的每一個上傳至所述設(shè)備。
13.如權(quán)利要求10所述的設(shè)備，其中，所述多個圖像中的每一個由一個或多個照相機采集，每個照相機與車輛關(guān)聯(lián)，并且每個所述照相機被定位以最低程度地阻礙所述車輛的駕駛者的視線。
14.如權(quán)利要求10所述的設(shè)備，其中，所識別的紅色、黃色和綠色物體具有與交通信號對應(yīng)的合適尺寸和寬高比。
15.如權(quán)利要求10所述的設(shè)備，其中，識別所述兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的所述紅色、黃色和綠色物體是基于所述兩個或更多個所選擇的圖像的被識別的物體之間的關(guān)聯(lián)距離的。
16.如權(quán)利要求10所述的設(shè)備，其中，識別所述兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的所述紅色、黃色和綠色物體是基于交通信號的物理維度的。
17.如權(quán)利要求10所述的設(shè)備，其中，識別所述兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的所述紅色、黃色和綠色物體是基于所選擇的圖像之間的直接運動補償?shù)?，其中，每個所選擇的圖像由安裝在移動車輛上的照相機拍攝。
18.如權(quán)利要求10所述的設(shè)備，所述處理器進一步配置用于基于所述直接運動補償，將所選擇的圖像中的所述被識別的紅色、黃色和綠色物體識別作為物體而不是作為交通信號燈。
19.如權(quán)利要求10所述的設(shè)備，其中，所述處理器進一步配置用于基于已確定的特定的交通信號的三維位置和通過十字路口的車道的地圖的比較，確定與所述特定的交通信號相關(guān)聯(lián)的車道。
20.一種用于確定交通信號的狀態(tài)的方法，所述方法包括 重復(fù)確定客戶端設(shè)備的當前位置； 基于所述客戶端設(shè)備的當前位置和交通信號的三維位置的地圖的比較，確定所述交通信號的邊界的估算位置； 采集所述估算位置的圖像； 對每個所采集的圖像，通過所述客戶端設(shè)備識別在所述交通信號的估算位置的邊界內(nèi)的紅色、黃色和綠色物體；以及 基于所識別的物體的顏色確定所述交通信號的狀態(tài)。
21.如權(quán)利要求20所述的方法，進一步包括確定所述交通信號的狀態(tài)是否已經(jīng)從默認狀態(tài)改變。
22.如權(quán)利要求20所述的方法，其中，如果在所述交通信號的估算位置的邊界內(nèi)沒有被識別的物體，確定所述交通信號的狀態(tài)為默認狀態(tài)。
23.如權(quán)利要求21所述的方法，其中，所述默認狀態(tài)為黃色燈。
24.如權(quán)利要求22所述的方法，其中，所述默認狀態(tài)為紅色燈。
25.如權(quán)利要求20所述的方法，進一步包括將所述交通信號的狀態(tài)傳輸至與車輛相關(guān)聯(lián)的計算機。
26.如權(quán)利要求20所述的方法，進一步包括可聽地識別所述交通信號的狀態(tài)。
27.如權(quán)利要求20所述的方法，進一步包括基于所述交通信號的狀態(tài)提供駕駛指令。
28.一種用于確定交通信號的三維位置的設(shè)備，所述設(shè)備包括 處理器；和 存儲器，所述存儲器包括用于存儲次級資源文件的第一部分；且 所述處理器配置用于 重復(fù)確定客戶端設(shè)備的當前位置； 基于所述客戶端設(shè)備的當前位置和交通信號的三維位置的地圖的比較，確定所述交通信號的邊界的估算位置； 采集所述估算位置的圖像； 對每個所采集的圖像，通過所述客戶端設(shè)備識別在所述交通信號的估算位置的邊界內(nèi)的紅色、黃色和綠色物體；以及 基于所識別的物體的顏色確定所述交通信號的狀態(tài)。
29.如權(quán)利要求28所述的設(shè)備，其中，所述設(shè)備包括顯示設(shè)備，且所述處理器進一步配置用于識別所述顯示設(shè)備上的所述交通信號的狀態(tài)。
30.一種用于采集交通信號的圖像的方法，所述方法包括 設(shè)置照相機的增益和快門速度以避免交通信號燈的飽和； 將所述照相機安裝在車輛上； 操作所述車輛通過交通十字路口； 采集所述交通十字路口的多個圖像； 基于定位設(shè)備將地理位置和方向信息與所述多個圖像的每個相關(guān)聯(lián)； 將所述多個圖像和相關(guān)聯(lián)的地理位置存儲在存儲器中；和 通過網(wǎng)絡(luò)將所述多個圖像和相關(guān)聯(lián)的地理位置傳輸至計算機。
31.如權(quán)利要求30所述的方法，進一步包括 接收所述多個圖像和相關(guān)聯(lián)的地理位置和方向信息； 選擇所述多個圖像中的一個或多個圖像，所述一個或多個圖像與接近交通十字路口的地理位置相關(guān)聯(lián)； 對每個所選擇的圖像，識別所選擇的圖像中的紅色、黃色和綠色物體； 基于兩個或更多個所選擇的圖像的所述地理位置和方向信息，識別所述兩個或更多個所選擇的圖像中的相關(guān)聯(lián)的所述紅色、黃色和綠色物體； 基于(I)所識別的所述兩個或更多個所選擇的圖像之間的關(guān)聯(lián)和(2)所述兩個或更多個所選擇的圖像的所述地理位置和方向信息，確定交通信號的三維位置；和將所述交通信號的三維位置存儲在所述計算機可訪問的存儲器中。
32.如權(quán)利要求30所述的方法，進一步包括基于已確定的特定的交通信號的三維位置和通過十字路口的車道的地圖的比較，確定與所述特定的交通信號相關(guān)聯(lián)的車道。
全文摘要
系統(tǒng)和方法提供識別交通燈的三維位置的地圖。可以從兩個或更多個圖像自動推斷交通燈的方位、位置和方向。該地圖接著可以用于幫助機器人車輛或者人工駕駛者識別交通信號(540)的位置和狀態(tài)。
文檔編號G06K9/00GK102792316SQ201180009746
公開日2012年11月21日 申請日期2011年1月20日 優(yōu)先權(quán)日2010年1月22日
發(fā)明者克里斯托弗·厄姆森, 納撒尼爾·費爾菲爾德, 賽巴斯蒂安·特龍 申請人:谷歌公司