專利名稱：圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置以及計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用了從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置的圖像處理方法、應(yīng)用了該圖像處理方法的圖像處理系統(tǒng)、在該圖像處理系統(tǒng)中使用的圖像處理裝置、以及用于實(shí)現(xiàn)該圖像處理裝置的計(jì)算機(jī)程序，尤其涉及使對檢測對象進(jìn)行檢測的精度提高的圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置以及計(jì)算機(jī)程序。

背景技術(shù)：
作為支持汽車等車輛的駕駛的裝置，已經(jīng)提出了這樣的圖像處理裝置利用配置在能夠?qū)︸{駛者臉部進(jìn)行攝像的位置的車載照相機(jī)，對駕駛者臉部進(jìn)行攝像，并進(jìn)行從所得到的圖像對駕駛者臉部的輪廓、以及眼睛和鼻孔的位置進(jìn)行檢測的圖像處理(例如，參照專利文獻(xiàn)1)。通過使用這樣的裝置，還可以構(gòu)成這樣的系統(tǒng)測知駕駛者的狀況，從而進(jìn)行對應(yīng)于溜號駕駛、瞌睡駕駛等駕駛者的狀況的警告等的駕駛支持。
專利文獻(xiàn)1日本特開2004-234367號公報(bào) 但是，由于伴隨著車輛的移動，太陽光等光線的照度和角度一直變化，并且光線對駕駛者臉部的照射狀況也不均一，因此尋求用各種方法對駕駛者臉部進(jìn)行檢測，來綜合性地測知駕駛者的狀況。另外，現(xiàn)有的系統(tǒng)存在這樣的問題在駕駛者臉部傾斜的情況下，檢測產(chǎn)生誤差的可能性高。


發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況而完成的，其主要目的在于提供圖像處理方法，從通過攝像等處理而得到的圖像，進(jìn)行成為檢測對象的區(qū)域的候補(bǔ)的候補(bǔ)區(qū)域的適用的區(qū)域檢測，通過該區(qū)域的檢測，能夠?qū)z測對象的位置作為二維的區(qū)域進(jìn)行捕捉，因此能夠提高檢測精度；應(yīng)用了該圖像處理方法的圖像處理系統(tǒng)；在該圖像處理系統(tǒng)中使用的圖像處理裝置；以及用于實(shí)現(xiàn)該圖像處理裝置的計(jì)算機(jī)程序。
另外，本發(fā)明的另一目的在于提供圖像處理方法，通過對檢測對象的傾斜度進(jìn)行檢測，能夠提高檢測精度；應(yīng)用了該圖像處理方法的圖像處理系統(tǒng)；在該圖像處理系統(tǒng)中使用的圖像處理裝置；以及用于實(shí)現(xiàn)該圖像處理裝置的計(jì)算機(jī)程序。
本發(fā)明的第一方面的圖像處理方法，該圖像處理方法使用了從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，對圖像內(nèi)的檢測對象的區(qū)域以及圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測。
在本發(fā)明中，通過對檢測對象的區(qū)域以及傾斜度進(jìn)行檢測這種多面的檢測方法，能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第二方面的圖像處理方法，該圖像處理方法使用了從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，在圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的候補(bǔ)區(qū)域，對于所設(shè)定的各候補(bǔ)區(qū)域，將候補(bǔ)區(qū)域內(nèi)的象素的特性值與候補(bǔ)區(qū)域外的象素的特性值進(jìn)行比較，根據(jù)比較的結(jié)果，從設(shè)定的多個(gè)候補(bǔ)區(qū)域中檢測適合檢測對象的區(qū)域。
在本發(fā)明中，通過根據(jù)象素的特性值對設(shè)定的多個(gè)候補(bǔ)區(qū)域進(jìn)行驗(yàn)證，能夠?qū)z測到與檢測對象一致的可能性高的區(qū)域，因此能夠?qū)z測對象不是作為一維的寬度而是作為二維的區(qū)域進(jìn)行捕捉，能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第三方面的圖像處理方法，該圖像處理方法使用了從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，對包含在檢測對象中的特定的兩點(diǎn)進(jìn)行檢測，對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測。
在本發(fā)明中，對駕駛者的眼睛等包含在檢測對象中的特定的兩點(diǎn)進(jìn)行檢測，并根據(jù)檢測到的兩點(diǎn)的位置關(guān)系，對檢測對象的傾斜度進(jìn)行檢測，由此能夠進(jìn)行對駕駛者臉部傾斜的狀況進(jìn)行捕捉的多面的檢測，因此能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第四方面的圖像處理系統(tǒng)，該圖像處理系統(tǒng)具有從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，上述圖像處理系統(tǒng)包括在圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的候補(bǔ)區(qū)域的設(shè)定單元；對于所設(shè)定的各候補(bǔ)區(qū)域，將候補(bǔ)區(qū)域內(nèi)的象素的特性值與候補(bǔ)區(qū)域外的象素的特性值進(jìn)行比較的比較單元；以及根據(jù)比較的結(jié)果，從設(shè)定的多個(gè)候補(bǔ)區(qū)域中檢測適合檢測對象的區(qū)域的檢測單元。
在本發(fā)明中，通過根據(jù)象素的特性值對所設(shè)定的多個(gè)候補(bǔ)區(qū)域進(jìn)行驗(yàn)證，能夠檢測到與檢測對象一致的可能性高的區(qū)域，因此能夠?qū)z測對象不是作為一維的寬度而是作為二維的區(qū)域進(jìn)行捕捉，能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第五方面的圖像處理系統(tǒng)在本發(fā)明的第四方面中，其特征在于，上述比較單元構(gòu)成為作為象素的特性值對平均亮度進(jìn)行比較。
在本發(fā)明中，通過對候補(bǔ)區(qū)域內(nèi)外的平均亮度進(jìn)行比較，能夠判別亮度高的檢測對象和亮度低的背景，能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第六方面的圖像處理系統(tǒng)在本發(fā)明的第四或第五方面中，其特征在于，上述檢測單元構(gòu)成為將判定為特性值的差最大的候補(bǔ)區(qū)域作為檢測對象的區(qū)域檢測出來。
在本發(fā)明中，由于在整個(gè)圖像中將例如亮度高的象素等奇異點(diǎn)集中的區(qū)域判別為與背景不同的檢測對象的區(qū)域，因此能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第七方面的圖像處理系統(tǒng)，在本發(fā)明的第四至第六方面的任一方面中，其特征在于，上述設(shè)定單元構(gòu)成為將使用中心、以及正交的第一方向和第二方向的長度表示的橢圓區(qū)域設(shè)定為候補(bǔ)區(qū)域。
在本發(fā)明中，通過將認(rèn)為容易與駕駛者臉部的形狀一致的橢圓形狀作為候補(bǔ)區(qū)域，作為檢測對象能夠高精度地對駕駛者臉部進(jìn)行檢測。
本發(fā)明的第八方面的圖像處理系統(tǒng)，在本發(fā)明的第四至第七方面的任一方面中，其特征在于，上述檢測對象具有基準(zhǔn)點(diǎn)和基準(zhǔn)方向，上述圖像處理系統(tǒng)還包括根據(jù)與上述檢測單元檢測到的檢測對象相關(guān)的象素的亮度的分布，來算出繞基準(zhǔn)點(diǎn)的中心力矩的單元；以及根據(jù)算出的中心力矩，對圖像內(nèi)的檢測對象的基準(zhǔn)方向的傾斜度進(jìn)行檢測的單元。
在本發(fā)明中，根據(jù)中心力矩對檢測對象的傾斜度進(jìn)行檢測，由此能夠進(jìn)行例如對作為檢測對象的駕駛者臉部傾斜的狀況進(jìn)行捕捉這種多面的檢測，因此能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第九方面的圖像處理系統(tǒng)，在本發(fā)明的第七方面中，其特征在于，上述圖像處理系統(tǒng)還包括將與適合上述檢測單元所檢測到的檢測對象的區(qū)域外接、一邊與上述第一方向平行的長方形設(shè)定為外接長方形的單元；根據(jù)包含在設(shè)定的外接長方形內(nèi)的象素的亮度的分布對基準(zhǔn)亮度進(jìn)行設(shè)定的單元；在外接長方形內(nèi)根據(jù)亮度比基準(zhǔn)亮度高的象素的分布算出繞中心的中心力矩的單元；以及根據(jù)算出的中心力矩，對圖像內(nèi)的檢測對象的第一方向的傾斜度進(jìn)行檢測的單元。
在本發(fā)明中，根據(jù)中心力矩對檢測對象的傾斜度進(jìn)行檢測，由此能夠進(jìn)行例如對作為檢測對象的駕駛者臉部傾斜的狀況進(jìn)行捕捉這種多面的檢測，因此能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第十方面的圖像處理系統(tǒng)，在本發(fā)明的第四至第九方面的任一方面中，其特征在于，上述圖像處理系統(tǒng)還包括生成上述圖像的攝像裝置，上述檢測對象是通過上述攝像裝置拍攝到的人物的臉部。
在本發(fā)明中，由于能夠多面地高精度地對駕駛者等人物的臉部的區(qū)域進(jìn)行檢測，因此即使是在太陽光等光線的照度和角度一直變化的狀況下進(jìn)行駕駛的情況，也能夠構(gòu)造錯(cuò)誤檢測少的值得信賴的系統(tǒng)。
本發(fā)明的第十一方面的圖像處理系統(tǒng)，該圖像處理系統(tǒng)使用了從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，上述圖像處理系統(tǒng)包括對包含在上述檢測對象內(nèi)的特定的兩點(diǎn)進(jìn)行檢測的檢測單元；以及對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測的單元。
在本發(fā)明中，對駕駛者的眼睛等檢測對象所包含的特定的兩點(diǎn)進(jìn)行檢測，并根據(jù)檢測到的兩點(diǎn)的位置關(guān)系，對檢測對象的傾斜度進(jìn)行檢測，由此能夠進(jìn)行對駕駛者臉部傾斜的狀況進(jìn)行捕捉的這種多面的檢測，因此能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第十二方面的圖像處理系統(tǒng)，在本發(fā)明的第十一方面中，其特征在于，上述圖像處理系統(tǒng)還包括生成上述圖像的攝像裝置，上述檢測對象是通過上述攝像裝置拍攝到的人物的臉部，上述檢測單元構(gòu)成為作為特定的兩點(diǎn)對人物的雙眼進(jìn)行檢測。
在本發(fā)明中，通過對駕駛者等人物的臉部的傾斜度進(jìn)行檢測，能夠多面地高精度地對人物進(jìn)行檢測，因此即使是在太陽光等光線的照度和角度一直變化的狀況下進(jìn)行駕駛的情況下，也能夠構(gòu)造錯(cuò)誤檢測少的值得信賴的系統(tǒng)。
本發(fā)明的第十三方面的圖像處理系統(tǒng)，在本發(fā)明的第四至第十二方面的任一方面中，其特征在于，上述圖像處理系統(tǒng)還包括對原圖像進(jìn)行縮小以生成檢測對象檢測用的圖像的單元。
在本發(fā)明中，通過對已縮小的圖像進(jìn)行檢測處理，能夠減輕處理負(fù)荷。
本發(fā)明的第十四方面的圖像處理裝置，其從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測，其特征在于，上述圖像處理裝置包括在圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的候補(bǔ)區(qū)域的單元； 對于設(shè)定的各候補(bǔ)區(qū)域，將候補(bǔ)區(qū)域內(nèi)的象素的特性值與候補(bǔ)區(qū)域外的象素的特性值進(jìn)行比較的單元；以及根據(jù)比較的結(jié)果，從設(shè)定的多個(gè)候補(bǔ)區(qū)域中檢測適合檢測對象的區(qū)域的單元。
在本發(fā)明中，根據(jù)象素的特性值對所設(shè)定的多個(gè)候補(bǔ)區(qū)域進(jìn)行驗(yàn)證，由此能夠檢測與檢測對象一致的可能性高的區(qū)域，因此能夠?qū)z測對象不是作為一維的寬度而是作為二維的區(qū)域進(jìn)行捕捉，能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第十五方面的圖像處理裝置，其從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測，其特征在于，上述圖像處理裝置包括對包含在檢測對象中的特定的兩點(diǎn)進(jìn)行檢測的單元；以及對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測的單元。
在本發(fā)明中，對駕駛者的眼睛等包含在檢測對象中的特定的兩點(diǎn)進(jìn)行檢測，并根據(jù)檢測到的兩點(diǎn)的位置關(guān)系對檢測對象的傾斜度進(jìn)行檢測，由此能夠進(jìn)行對駕駛者臉部傾斜的狀況進(jìn)行捕捉這種多面的檢測，因此能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第十六方面的計(jì)算機(jī)程序，其使計(jì)算機(jī)從表示包含二維排列的多個(gè)象素的圖像的圖像數(shù)據(jù)對特定的檢測對象進(jìn)行檢測，其特征在于，上述計(jì)算機(jī)程序執(zhí)行以下步驟使計(jì)算機(jī)在由圖像數(shù)據(jù)表示的圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的候補(bǔ)區(qū)域的步驟；使計(jì)算機(jī)對于所設(shè)定的各候補(bǔ)區(qū)域，將候補(bǔ)區(qū)域內(nèi)的象素的特性值與候補(bǔ)區(qū)域外的象素的特性值進(jìn)行比較的步驟；以及使計(jì)算機(jī)根據(jù)比較的結(jié)果從所設(shè)定的多個(gè)候補(bǔ)區(qū)域中檢測適合檢測對象的區(qū)域的步驟。
在本發(fā)明中，在連接有車載照相機(jī)等攝像裝置的車載計(jì)算機(jī)等計(jì)算機(jī)中執(zhí)行程序，計(jì)算機(jī)作為圖像處理裝置進(jìn)行動作，根據(jù)象素的特性值對所設(shè)定的多個(gè)候補(bǔ)區(qū)域進(jìn)行驗(yàn)證，由此能夠檢測與檢測對象一致的可能性高的區(qū)域，因此能夠?qū)z測對象不是作為一維的寬度而是作為二維的區(qū)域進(jìn)行捕捉，能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的第十七方面的計(jì)算機(jī)程序，其使計(jì)算機(jī)從表示包含二維排列的多個(gè)象素的圖像的圖像數(shù)據(jù)對特定的檢測對象進(jìn)行檢測，其特征在于，上述計(jì)算機(jī)程序執(zhí)行以下步驟使計(jì)算機(jī)對包含在上述檢測對象中的特定的兩點(diǎn)進(jìn)行檢測的步驟；以及使計(jì)算機(jī)對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測的步驟。
在本發(fā)明中，通過在連接有車載照相機(jī)等攝像裝置的車載計(jì)算機(jī)等計(jì)算機(jī)中執(zhí)行程序，計(jì)算機(jī)作為圖像處理裝置進(jìn)行動作，對駕駛者的眼睛等包含在檢測對象中的特定的兩點(diǎn)進(jìn)行檢測，并根據(jù)檢測到的兩點(diǎn)的位置關(guān)系對檢測對象的傾斜度進(jìn)行檢測，由此能夠進(jìn)行對駕駛者臉部傾斜的狀況進(jìn)行捕捉這種多面的檢測，因此能夠提高對檢測對象進(jìn)行檢測的精度。
本發(fā)明的圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置以及計(jì)算機(jī)程序，適用于這樣的系統(tǒng)從例如由安裝于車輛的車載照相機(jī)等攝像裝置對駕駛者臉部進(jìn)行攝像而得到的圖像中，將駕駛者臉部作為檢測對象進(jìn)行檢測，在圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的例如橢圓形的候補(bǔ)區(qū)域，比較所設(shè)定的候補(bǔ)區(qū)域內(nèi)外的象素的亮度的平均值等特性值，并將判定為其差為最大的候補(bǔ)區(qū)域作為檢測對象的區(qū)域檢測出來。
通過該結(jié)構(gòu)，由于能夠檢測與檢測對象一致的可能性高的區(qū)域，因此達(dá)到這樣優(yōu)良的效果能夠?qū)z測對象不是作為一維的寬度而是作為二維的區(qū)域進(jìn)行捕捉，能夠提高對檢測對象進(jìn)行檢測的精度等。另外，通過將認(rèn)為容易與駕駛者臉部的形狀一致的橢圓形狀作為候補(bǔ)區(qū)域，從而達(dá)到如下優(yōu)良的效果作為檢測對象能夠高精度地對駕駛者臉部進(jìn)行檢測等。另外，由于將亮度高的象素集中的區(qū)域判別為與背景不同的檢測對象的區(qū)域，因此達(dá)到了能夠提高對檢測對象進(jìn)行檢測的精度等優(yōu)良的效果。此外，在適用于通過使檢測對象的檢測精度提高，來測知駕駛者的狀況，從而進(jìn)行對溜號駕駛的警告等駕駛支持的系統(tǒng)的情況下，達(dá)到了這樣優(yōu)良的效果即使在外界光的狀況一直變化的環(huán)境下進(jìn)行駕駛的情況下，也能夠構(gòu)造錯(cuò)誤檢測少的值得信賴的駕駛支持系統(tǒng)等。
而且，本發(fā)明的圖像處理系統(tǒng)等根據(jù)在與橢圓形狀的檢測對象外接的外接長方形內(nèi)包含的象素的亮度分布設(shè)定基準(zhǔn)亮度，在外接長方形內(nèi)根據(jù)亮度比基準(zhǔn)亮度高的象素的分布，算出繞中心的中心力矩，并根據(jù)算出的中心力矩對圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測。
通過該結(jié)構(gòu)，例如能夠進(jìn)行對作為檢測對象的駕駛者臉部傾斜的狀況進(jìn)行捕捉這種多面的檢測，因此達(dá)到這樣優(yōu)良的效果能夠提高對檢測對象進(jìn)行檢測的精度等。并且通過提高檢測對象的檢測精度，達(dá)到能夠構(gòu)造錯(cuò)誤檢測少的值得信賴的駕駛支持系統(tǒng)等優(yōu)良的效果。
并且本發(fā)明的圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置以及計(jì)算機(jī)程序，適用于這樣的系統(tǒng)從例如由安裝于車輛的車載照相機(jī)等攝像裝置對駕駛者臉部進(jìn)行攝像而得到的圖像中，將駕駛者臉部作為檢測對象進(jìn)行檢測，對駕駛者的眼睛等包含在檢測對象中的特定的兩點(diǎn)進(jìn)行檢測，并對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測。
通過該結(jié)構(gòu)，由于能夠多面地高精度地對駕駛者等人物的臉部的區(qū)域進(jìn)行檢測，因此具有這樣優(yōu)良的效果即使在太陽光等光線的照度和角度一直變化的環(huán)境下進(jìn)行駕駛的情況下，也能夠構(gòu)造錯(cuò)誤檢測少的值得信賴的駕駛支持系統(tǒng)等。
另外，作為前處理，通過在縮小拍攝到的圖像之后對檢測對象進(jìn)行檢測，從而能夠減少處理負(fù)荷大的檢測處理的處理量，能夠減輕處理負(fù)荷，因此在應(yīng)用于進(jìn)行駕駛支持的系統(tǒng)的情況下，起到了這樣優(yōu)良的效果能夠?qū)崿F(xiàn)高速的處理，能夠構(gòu)造即使在糟糕的情況下也能夠反應(yīng)的駕駛支持系統(tǒng)等。



圖1是表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的結(jié)構(gòu)例的框圖。
圖2是表示在本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)中使用的圖像處理裝置的主處理的流程圖。
圖3是示意性地表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的檢測范圍的設(shè)定的例子的說明圖。
圖4是示意性地表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的檢測對象的傾斜度的檢測以及投影處理后的檢測對象的檢測的例子的說明圖。
圖5是示意性地表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的檢測對象的檢測的例子的說明圖。
圖6是表示在本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)中使用的圖像處理裝置的區(qū)域檢測處理的流程圖。
圖7是示意性地表示通過本發(fā)明的實(shí)施方式1中的圖像處理裝置系統(tǒng)設(shè)定的候補(bǔ)區(qū)域和外接長方形的例子的說明圖。
圖8是表示在本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)中使用的圖像處理裝置的檢測對象的傾斜度的檢測處理的流程圖。
圖9是表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的投影范圍的例子的說明圖。
圖10是表示本發(fā)明的實(shí)施方式2中的圖像處理系統(tǒng)的結(jié)構(gòu)例的框圖。
標(biāo)號說明 1攝像裝置；2圖像處理裝置；3計(jì)算機(jī)程序；4記錄介質(zhì)。

具體實(shí)施例方式 以下，根據(jù)表示其實(shí)施方式的附圖詳細(xì)說明本發(fā)明。
實(shí)施方式1 圖1是表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的結(jié)構(gòu)例的框圖。在圖1中，1是安裝在車輛上的車載照相機(jī)等攝像裝置，攝像裝置1通過專用電纜等通信線、或者構(gòu)成為有線或無線構(gòu)成的車內(nèi)局域網(wǎng)(LocalArea Network)等通信網(wǎng)與進(jìn)行圖像處理的圖像處理裝置2連接。攝像裝置1配設(shè)在車輛內(nèi)的方向盤、儀表板等駕駛者的前方，將攝像裝置調(diào)整為可以攝像的狀態(tài)，使在將駕駛者臉部作為攝像對象并且駕駛者端正地坐在駕駛座上的情況下，駕駛者臉部的橫向和縱向成為圖像的水平方向和垂直方向。
攝像裝置1具有控制整個(gè)裝置的MPU(Micro Processor Unit微處理機(jī)單元)11；記錄根據(jù)MPU11的控制而執(zhí)行的各種計(jì)算機(jī)程序和數(shù)據(jù)的ROM(Read Only Memory只讀存儲器)12；對ROM12上記錄的計(jì)算機(jī)程序執(zhí)行時(shí)臨時(shí)產(chǎn)生的各種數(shù)據(jù)進(jìn)行記錄的RAM(Random AccessMemory隨機(jī)存儲器)13；使用CCD(Charge Coupled Device電荷耦合器件)等攝像元件構(gòu)成的攝像部14；將通過攝像部14的攝像得到的模擬圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)的A/D轉(zhuǎn)換器15；對通過A/D轉(zhuǎn)換器15轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)臨時(shí)進(jìn)行記錄的幀存儲器16；以及用于與圖像處理裝置2之間的通信的通信接口17。
在攝像裝置1中，通過攝像部14連續(xù)地或者斷續(xù)地進(jìn)行攝像處理，根據(jù)攝像處理生成例如每秒30幀的圖像數(shù)據(jù)(圖像幀)，并向A/D轉(zhuǎn)換器15輸出，在A/D轉(zhuǎn)換器15中，將構(gòu)成圖像的各象素轉(zhuǎn)換為以256灰度(1字節(jié))等灰度表示的數(shù)字圖像數(shù)據(jù)，并記錄于幀存儲器16中。記錄于幀存儲器16中的圖像數(shù)據(jù)在預(yù)定的定時(shí)從通信接口17向圖像處理裝置2輸出。構(gòu)成圖像的各象素呈二維排列，圖像數(shù)據(jù)包括在平面直角坐標(biāo)系、即所謂的xy坐標(biāo)系中表示的各象素的位置、以及表示以灰度值表示的各象素的亮度的數(shù)據(jù)。另外，分別相對于各象素，也可以不通過xy坐標(biāo)系來表示坐標(biāo)，而是利用在數(shù)據(jù)內(nèi)排列的順序來表示坐標(biāo)。并且圖像的水平方向與圖像數(shù)據(jù)的x軸方向?qū)?yīng)，圖像的垂直方向與圖像數(shù)據(jù)的y軸方向?qū)?yīng)。
圖像處理裝置2具有控制整個(gè)裝置的CPU(Central Processing Unit中央處理器)21；CD-ROM驅(qū)動器等輔助記錄部22，其從記錄了本發(fā)明的計(jì)算機(jī)程序3以及數(shù)據(jù)等各種信息的CD-ROM等記錄介質(zhì)4中讀取信息；對通過輔助記錄部22讀取到的各種信息進(jìn)行記錄的硬盤(以下稱為HD)23；對執(zhí)行HD23上所記錄的計(jì)算機(jī)程序3時(shí)臨時(shí)產(chǎn)生的各種數(shù)據(jù)進(jìn)行記錄的RAM24；由揮發(fā)性存儲器構(gòu)成的幀存儲器25；以及用于與攝像裝置1之間的通信的通信接口26。另外，從HD23讀取本發(fā)明的計(jì)算機(jī)程序3和數(shù)據(jù)等各種信息，將其記錄于RAM24，并由CPU21執(zhí)行計(jì)算機(jī)程序3所包含的各種步驟，由此，車載用計(jì)算機(jī)作為本發(fā)明的圖像處理裝置2進(jìn)行動作。作為記錄在HD23中的數(shù)據(jù)，有與計(jì)算機(jī)程序3的執(zhí)行有關(guān)的數(shù)據(jù)，例如后述的用于設(shè)定檢測范圍的數(shù)值、各種常數(shù)、參數(shù)等各種數(shù)據(jù)。另外，所檢測到的結(jié)果等信息也記錄在HD23中。
在圖像處理裝置2中，通過通信接口26接收從攝像裝置1輸出的圖像數(shù)據(jù)，并將接收到的圖像數(shù)據(jù)記錄到幀存儲器25中，讀出記錄于幀存儲器25中的圖像數(shù)據(jù)，以進(jìn)行各種圖像處理。對接收到的圖像數(shù)據(jù)執(zhí)行的各種圖像處理，是從圖像數(shù)據(jù)中對作為檢測對象(攝像時(shí)的攝像對象)的駕駛者臉部輪廓的檢測以及與眼睛和鼻子的位置的特定等的檢測對象的檢測相關(guān)的檢測處理。作為具體的處理的例子，可以列舉利用模式匹配對眼睛的位置進(jìn)行檢測的眼睛位置檢測處理。另外作為其他的處理例子，能夠列舉這樣的輪廓寬度檢測處理對排列在圖像的垂直方向的亮度進(jìn)行累計(jì)，通過將累計(jì)的值與預(yù)定的閾值進(jìn)行比較，來對由比背景的亮度高的象素構(gòu)成的臉部的輪廓在水平方向的范圍進(jìn)行檢測。此外在該處理中，能夠列舉這樣的輪廓寬度檢測處理對累計(jì)值的水平方向的變化進(jìn)行微分，確定變化大的位置，對亮度變化大的背景與臉部輪廓的界限進(jìn)行檢測。詳細(xì)的處理內(nèi)容記載于例如在由本申請的申請人申請的日本特開2000-163564號公報(bào)、日本特開2004-234494號公報(bào)和日本特開2004-234367號公報(bào)等文獻(xiàn)中。另外，這些圖像處理不限定于日本特開2000-163564號公報(bào)、日本特開2004-234494號公報(bào)和日本特開2004-234367號公報(bào)中記載的處理，可以根據(jù)其用途、硬件結(jié)構(gòu)、與其他應(yīng)用程序聯(lián)合等條件進(jìn)行適當(dāng)選擇。
下面對在本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)中使用的各種裝置的處理進(jìn)行說明。圖2是表示在本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)中使用的圖像處理裝置2的主處理的流程圖。在圖像處理裝置2中，通過執(zhí)行記錄在RAM24中的計(jì)算機(jī)程序3的CPU21的控制，從幀存儲器25中提取通過攝像裝置1的攝像得到的、經(jīng)由通信接口26接收到的圖像數(shù)據(jù)(S101)，以例如在垂直方向上1/8、在水平方向上1/8的比例縮小由提取出的圖像數(shù)據(jù)表示的圖像(S102)，在由縮小了的圖像數(shù)據(jù)表示的圖像內(nèi)設(shè)定檢測范圍(S103)。在步驟S103中設(shè)定的檢測范圍是長方形的區(qū)域，其是為了對檢測對象進(jìn)行檢測而在圖像內(nèi)設(shè)定的，其檢測到檢測對象的可能性高的一邊與圖像的水平方向平行，不是從整個(gè)圖像中對檢測對象進(jìn)行檢測，而是縮小了范圍，由此能夠減輕檢測處理的負(fù)荷。
在圖像處理裝置2中，通過CPU21的控制，對是否檢測到了作為檢測對象的駕駛者臉部的中間的雙眼的位置進(jìn)行判定(S104)。在步驟S104中，例如執(zhí)行在表示上述的眼睛位置檢測處理等的處理的日本特開2000-163564號公報(bào)、日本特開2004-234494號公報(bào)和日本特開2004-234367號公報(bào)等文獻(xiàn)中記載的方法，對是否檢測到雙眼的位置進(jìn)行判定。
在步驟S104中，在判定為檢測到了雙眼的位置的情況下(S104YES)，在圖像處理裝置2中，通過CPU21的控制，對由檢測到的雙眼確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測(S105)。在駕駛者端正地坐在駕駛座上的情況下，連接作為駕駛者的雙眼的兩點(diǎn)的直線是水平的，在連接兩點(diǎn)的直線從水平傾斜的情況下，在駕駛者傾斜這一前提之上，將連接雙眼的直線相對于圖像的水平方向(x軸)的傾斜度作為檢測對象的傾斜度進(jìn)行檢測。
在步驟S104中，在判定為沒有檢測到雙眼的位置的情況下(S104NO)，在圖像處理裝置2中，通過CPU21的控制，進(jìn)行對與作為檢測對象的駕駛者臉部相適合的橢圓形狀的區(qū)域進(jìn)行檢測的區(qū)域檢測處理(S106)，進(jìn)行對檢測到的區(qū)域有關(guān)的檢測對象在圖像內(nèi)的傾斜度進(jìn)行檢測的檢測對象的傾斜度的檢測處理(S107)。對于步驟S106的區(qū)域檢測處理和步驟S107的檢測對象的傾斜度的檢測處理的具體情況在后面說明。
在通過步驟S105或者步驟S107對檢測對象的圖像內(nèi)的傾斜度進(jìn)行檢測后，圖像處理裝置2通過CPU21的控制，為了根據(jù)傾斜度進(jìn)行檢測對象的檢測，設(shè)定包含檢測對象的長方形的投影范圍(S108)，在與傾斜垂直的投影方向上，對所設(shè)定的投影范圍內(nèi)的圖像進(jìn)行累計(jì)亮度的投影處理(S109)。步驟S109的投影處理，是在與檢測對象的傾斜度對應(yīng)的方向上對亮度進(jìn)行累計(jì)的處理。
圖像處理裝置2通過CPU21的控制，根據(jù)投影處理的結(jié)果，對檢測對象進(jìn)行檢測(S110)，將檢測到的檢測對象變換為投影處理之前的坐標(biāo)(S111)，將關(guān)于檢測對象的位置、寬度以及傾斜度等信息作為檢測結(jié)果記錄在HD23和/或者RAM24中(S112)。在步驟S110中的檢測對象的檢測，是對作為檢測對象的駕駛者臉部的輪廓的位置和寬度、以及眼睛和鼻子的位置等的檢測。
并且，在圖像處理裝置2中，根據(jù)在步驟S112中記錄在HD23和/或者RAM24中的檢測結(jié)果，進(jìn)行進(jìn)一步的檢測等各種圖像處理，并進(jìn)行基于該結(jié)果的駕駛支持處理。
對使用圖2的流程圖說明過的處理更具體地進(jìn)行說明。圖3是示意性地表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的檢測范圍的設(shè)定的例子的說明圖。在圖3中，實(shí)線所示的外側(cè)的框是通過步驟S102縮小了的圖像的整體，其包含有作為檢測對象的駕駛者臉部的圖像。單點(diǎn)劃線所示的內(nèi)側(cè)的框是通過步驟S103設(shè)定的檢測范圍。
圖4是示意性地表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的檢測對象的傾斜度的檢測以及投影處理后的檢測對象的檢測的例子的說明圖。圖4(a)示意性地表示從圖3所示的圖像中對雙眼的位置進(jìn)行檢測、并檢測到了檢測對象的傾斜度的狀態(tài)。在圖4(a)中，用十字表示的兩點(diǎn)表示從作為檢測對象的駕駛者臉部的圖像所檢測到的雙眼的位置。步驟S105中所示的檢測對象的傾斜度的檢測，是根據(jù)如圖4(a)所示那樣連接檢測到的兩點(diǎn)的線段的傾斜度，來進(jìn)行檢測的。圖4(a)中的單點(diǎn)劃線所示的長方形表示在步驟S108中設(shè)定的投影范圍。在檢測對象中檢測到的雙眼之間的距離為L的情況下，設(shè)定的投影范圍的寬確定為以雙眼的中點(diǎn)為中心、與連接兩眼的方向平行的3L長的線段。另外，設(shè)定的投影范圍的高為，從檢測到的雙眼的中點(diǎn)在上側(cè)(駕駛者的頭的方向)向與連接雙眼的線段成直角的方向3/4L的位置開始，到在下側(cè)(駕駛者的下巴的方向)向與連接雙眼的線段成直角的方向3/2L的位置。另外用于累計(jì)象素的亮度的投影方向是如圖4(a)中的箭頭所示與連接雙眼的方向成直角的方向。
圖4(b)表示根據(jù)步驟S110中的投影處理的結(jié)果對檢測對象進(jìn)行檢測的處理。圖4(b)表示在投影范圍內(nèi)，象素的亮度在檢測對象的寬度方向的分布。如圖4(b)所示，在駕駛者臉部的中心附近，即對應(yīng)鼻子的位置的亮度高，越向外側(cè)亮度越低。像這樣越接近攝像裝置1越高的亮度分布通過在攝像裝置1附近設(shè)置LED(Light Emitting Diode發(fā)光二極管)等照明裝置而變得顯著。
圖5是示意性地表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的檢測圖像的檢測的例子的說明圖。圖5是表示根據(jù)如圖4(b)所示的亮度的累計(jì)值的分布，檢測出傾斜著的檢測對象的寬度的狀況，虛線的兩個(gè)箭頭所示的范圍表示檢測到的寬度。通過執(zhí)行例如日本特開2000-163564號公報(bào)、日本特開2004-234494號公報(bào)和日本特開2004-234367號公報(bào)等文獻(xiàn)中記載的處理，來進(jìn)行基于圖4(b)所示的亮度的分布的各種檢測處理。另外，表示檢測對象的寬度等所檢測到的結(jié)果的信息被記錄在HD23和/或者RAM24中。
圖6是表示在本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)中使用的圖像處理裝置2的區(qū)域檢測處理的流程圖。區(qū)域檢測處理與用圖2進(jìn)行說明過的主處理中的步驟S106對應(yīng)。圖像處理裝置2通過執(zhí)行記錄在RAM24中的計(jì)算機(jī)程序3的CPU21的控制，在圖像內(nèi)設(shè)定成為檢測對象的區(qū)域的候補(bǔ)的橢圓形狀的候補(bǔ)區(qū)域，該橢圓形狀的短軸方向和長軸方向分別與水平方向(x軸方向)和垂直方向(y軸方向)平行(S201)，將與所設(shè)定的候補(bǔ)區(qū)域外接，且短邊方向和長邊方向分別與短軸方向和長軸方向平行的長方形設(shè)定為外接長方形(S202)，在所設(shè)定的外接長方形內(nèi)，將所設(shè)定的候補(bǔ)區(qū)域內(nèi)的象素的平均亮度與候補(bǔ)區(qū)域外的象素的平均亮度進(jìn)行比較(S203)。在圖像處理裝置2中，通過CPU21的控制，多次反復(fù)進(jìn)行步驟S201～S203的處理，即設(shè)定多個(gè)候補(bǔ)區(qū)域，將設(shè)定的候補(bǔ)區(qū)域內(nèi)的象素的平均亮度與候補(bǔ)區(qū)域外的平均亮度進(jìn)行比較，根據(jù)其結(jié)果，將判斷為象素的平均亮度的差最大的候補(bǔ)區(qū)域作為適合檢測對象的區(qū)域檢測出來(S204)。
對使用圖6的流程圖說明過的處理更具體地進(jìn)行說明。圖7是示意性地表示通過本發(fā)明的實(shí)施方式1中的圖像處理裝置系統(tǒng)設(shè)定的候補(bǔ)區(qū)域和外接長方形的例子的說明圖。在圖7中，實(shí)線表示的橢圓是在步驟S201中設(shè)定的候補(bǔ)區(qū)域，設(shè)定為候補(bǔ)區(qū)域的橢圓使用參數(shù)設(shè)定，所述參數(shù)包括中心坐標(biāo)(x，y)、與圖像的水平方向(x軸方向)平行的短半徑(cx)和與垂直方向(y軸方向)平行的長半徑(cy)。另外為了方便起見，將與x軸方向平行的半徑作為短半徑、與y軸方向平行的半徑作為長半徑進(jìn)行了說明，但是也可以使與x軸方向平行的半徑比與y軸方向平行的半徑長，或者也可以長度相同。在圖7中，與作為候補(bǔ)區(qū)域的橢圓外接的長方形是在步驟S202設(shè)定的外接長方形。
另外，在步驟S203中的平均亮度的比較通過算出橢圓劃線(楕円スコア)來進(jìn)行，所述橢圓劃線通過下述公式(1)定義，其是用圖7的從右上向左下的斜線所示的候補(bǔ)區(qū)域內(nèi)的區(qū)域所包含的象素的平均亮度、與用從左上向右下的斜線所示的候補(bǔ)區(qū)域外的區(qū)域所包含的象素的平均亮度的差。
S(x，y，cx，cy) ＝F(E(x，y，cx，cy))-F(N(x，y，cx，cy))…公式1 其中，x橢圓中心的x坐標(biāo) y橢圓中心的y坐標(biāo) cx與x軸方向平行的短半徑 cy與y軸方向平行的長半徑 S(x，y，cx，cy)橢圓劃線 F(P)象素的平均亮度 E(x，y，cx，cy)候補(bǔ)區(qū)域內(nèi)的區(qū)域 N(x，y，cx，cy)候補(bǔ)區(qū)域外的區(qū)域 但是由于不管候補(bǔ)區(qū)域內(nèi)外都包含表示亮度異常高的象素，所以在計(jì)算正確的象素的平均亮度的情況下，需要預(yù)先將表示異常值的象素去除。因此，預(yù)先對象素的亮度的上限值進(jìn)行設(shè)定，將亮度比上限值高的象素看作是表示異常值，將亮度在上限值以下的象素定義為有效象素，使用下述的公式2僅對有效象素計(jì)算象素的亮度的平均值。
F(P)＝∑A(P)/C(P)··公式2 其中，P有效象素 A(P)象素P的亮度值 C(P)象素P的數(shù)量 式1中定義的橢圓劃線的值越大，候補(bǔ)區(qū)域內(nèi)的象素的平均亮度與候補(bǔ)區(qū)域外的象素的平均亮度的差越大，即候補(bǔ)區(qū)域內(nèi)的區(qū)域中表示的圖像由于與候補(bǔ)區(qū)域外的圖像不同，所以能夠看作為候補(bǔ)區(qū)域適合檢測對象。另外，用于設(shè)定候補(bǔ)區(qū)域的中心(x，y)、短半徑(cx)以及長半徑(cy)等參數(shù)，為了防止錯(cuò)誤檢測、減輕處理負(fù)荷以及提高處理速度，根據(jù)基于HD23和/或RAM24中記錄的上次的檢測結(jié)果的范圍中進(jìn)行設(shè)定。具體而言，在下述的公式3所示的范圍進(jìn)行設(shè)定。
S(x’-m1，y’-n1，cx’-m2，cy’-n2) ～S(x’+m1，y’+n1，cx’+m2，cy’+n2)…公式3 其中，x′上次的橢圓中心的x坐標(biāo) y′上次的橢圓中心的y坐標(biāo) cx′與上次的x軸平行的短半徑 cy′與上次的y軸平行的長半徑 m1中心的x坐標(biāo)的范圍 n1中心的y坐標(biāo)的范圍 m2短半徑的范圍 n2長半徑的范圍 在公式3所示的范圍內(nèi)，對公式1所示的橢圓劃線為最大的候補(bǔ)區(qū)域進(jìn)行檢測，但是首先在下述公式4所示的范圍內(nèi)求出橢圓劃線為最大的橢圓中心的坐標(biāo)(x，y)。
S(x’-m1，y’-n1，cx’，cy’) ～S(x’+m1，y’+n1，cx’，cy’)…公式4 使用在公式4的范圍內(nèi)求出的橢圓中心的坐標(biāo)(x，y)，在下述的公式5所示的范圍內(nèi)求出橢圓劃線成為最大的短半徑(cx)和長半徑(cy)。
S(x，y，cx’-m2，cy’-n2) ～S(x，y，cx’+m2，cy’+n2)…公式5 在步驟S204中，將由在公式4的范圍內(nèi)求出的橢圓中心的坐標(biāo)(x，y)以及在公式5的范圍內(nèi)求出的短半徑(cx)和長半徑(cy)所示的橢圓形狀的候補(bǔ)區(qū)域作為適合檢測對象的區(qū)域檢測出來。
圖8是表示在本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)中使用的圖像處理裝置2的檢測對象的傾斜度的檢測處理的流程圖。檢測對象的傾斜度的檢測處理與在用圖2說明過的主處理中的步驟S107對應(yīng)。圖像處理裝置2通過執(zhí)行在RAM24中記錄的計(jì)算機(jī)程序3的CPU21的控制，將這樣的長方形設(shè)定為外接長方形與適合在用圖6的流程圖表示的區(qū)域檢測處理中檢測到的橢圓形狀的檢測對象的區(qū)域外接，且短邊方向和長邊方向分別與短軸方向和長軸方向平行(S301)。在圖像處理裝置2中，通過CPU21的控制，根據(jù)所設(shè)定的外接長方形中包含的象素的亮度的分布，將例如從分布求的亮度的中央值設(shè)定為外接長方形內(nèi)的基準(zhǔn)亮度(S302)，根據(jù)設(shè)定的基準(zhǔn)亮度將外接長方形內(nèi)的亮度二值化(S303)。并且在圖像處理裝置2中，通過CPU21的控制，根據(jù)在外接長方形內(nèi)亮度比基準(zhǔn)亮度高的象素的分布，將橢圓的中心作為基準(zhǔn)點(diǎn)，算出繞基準(zhǔn)點(diǎn)的中心力矩(S304)，根據(jù)所算出的中心力矩，對圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測(S305)。
對使用圖8的流程圖說明過的處理更具體地進(jìn)行說明。由于相當(dāng)于駕駛者臉部的區(qū)域的象素比相當(dāng)于背景的區(qū)域的象素的亮度高，因此通過步驟S303所示的二值化，若將基準(zhǔn)亮度以上的亮度的象素的值設(shè)為“1”，將不到基準(zhǔn)亮度的亮度的象素的值設(shè)為“0”，則能夠作為值為“1”的象素提取相當(dāng)于駕駛者臉部的檢測對象的區(qū)域。并且使用象素的坐標(biāo)將提取出的區(qū)域表示為f(x，y)，將作為橢圓的中心的基準(zhǔn)點(diǎn)的坐標(biāo)設(shè)為(xo，yo)時(shí)，步驟S304所示的中心力矩能夠由下述的公式6算出。
數(shù)學(xué)式1 公式6 其中，Mpq中心力矩 f(x，y)坐標(biāo)(x，y)所示的檢測對象的區(qū)域 (x0，y0)基準(zhǔn)點(diǎn)的坐標(biāo) p，q滿足p+q＝2的0以上的整數(shù) 并且當(dāng)檢測對象即駕駛者臉部構(gòu)成為橢圓形狀，臉部的縱方向相當(dāng)于橢圓的長軸的方向時(shí)，步驟S305中的檢測對象的傾斜度，即檢測對象的短軸相對于x軸的傾斜度θ能夠通過下述公式7算出。
θ＝(1/2)tan-1{2M11/(M20-M02)}…公式7 其中，θ檢測對象的傾斜度 另外，作為檢測對象的傾斜度的檢測處理，在用中心力矩對檢測對象的傾斜度進(jìn)行檢測的情況下，在用圖2表示的主處理的步驟S108中設(shè)定的長方形的投影范圍，根據(jù)適合檢測對象的橢圓形狀的區(qū)域和中心力矩設(shè)定。圖9是表示本發(fā)明的實(shí)施方式1中的圖像處理系統(tǒng)的投影范圍的例子的說明圖。在圖9中，由實(shí)線表示的橢圓表示在步驟S204中作為適合檢測對象的區(qū)域檢測到的區(qū)域，另外，通過作為駕駛者臉部的檢測對象的中心的線段的傾斜度表示所算出的檢測對象的短軸相對于x軸的傾斜度θ。另外由與表示傾斜度的線段平行的箭頭表示投影方向。當(dāng)作為適合檢測對象的區(qū)域檢測到的橢圓的中心坐標(biāo)為(x，y)，與x軸方向平行的短半徑為cx，與y軸方向平行的長半徑為cy時(shí)，設(shè)定的投影范圍的寬，即坐標(biāo)系變換后的x軸方向的范圍是以坐標(biāo)(x，y)為中心，與表示傾斜度的線段正交的方向的長度為9/8cx的范圍。另外，設(shè)定的投影范圍的高，即坐標(biāo)系變換后的y軸方向的范圍是以坐標(biāo)(x，y)為中心，與表示傾斜度的線段平行的方向的長度為7/8cy的范圍。
上述實(shí)施方式1所示的候補(bǔ)區(qū)域的形狀、設(shè)定步驟、從候補(bǔ)區(qū)域?qū)z測對象的檢測、傾斜度的檢測等處理以及該處理所需的各種條件等只是一個(gè)例子，根據(jù)系統(tǒng)結(jié)構(gòu)、目的等能夠適當(dāng)?shù)卦O(shè)定。
實(shí)施方式2 實(shí)施方式2是在實(shí)施方式1中利用攝像裝置1進(jìn)行縮小圖像的處理的結(jié)構(gòu)。圖10是表示本發(fā)明的實(shí)施方式2中的圖像處理系統(tǒng)的結(jié)構(gòu)例的框圖。在圖10中，1是攝像裝置，攝像裝置1具有MPU11、ROM12、RAM13、攝像部14、A/D轉(zhuǎn)換器15、幀存儲器16、通信接口17以及進(jìn)行圖像的縮小處理的縮小電路18。
并且在攝像裝置1中，通過攝像部14進(jìn)行攝像處理，在縮小電路18中將通過A/D轉(zhuǎn)換器15轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)的圖像縮小，并記錄于幀存儲器16中。并且記錄于幀存儲器16中的縮小了的圖像的圖像數(shù)據(jù)在預(yù)定的定時(shí)從通信接口17向圖像處理裝置2輸出。
圖像處理裝置2具有CPU21；輔助記錄部22，其從對本發(fā)明的計(jì)算機(jī)程序3和數(shù)據(jù)等各種信息進(jìn)行記錄的記錄介質(zhì)4中讀取信息；HD23；RAM24；幀存儲器25；以及通信接口26。
在本發(fā)明的實(shí)施方式2中的圖像處理系統(tǒng)中，通過攝像裝置1的縮小電路18進(jìn)行與實(shí)施方式1的步驟S102的縮小處理對應(yīng)的處理，并向圖像處理裝置2輸出表示進(jìn)行了縮小處理的圖像的圖像數(shù)據(jù)。在圖像處理裝置2中的處理與實(shí)施方式1相同，因此以實(shí)施方式1為參照，并省略其說明。但是，在實(shí)施方式1的步驟S102中的縮小處理已在攝像裝置1中進(jìn)行，所以當(dāng)然不再執(zhí)行。
在上述實(shí)施方式2中，表示了通過攝像裝置1進(jìn)行縮小處理的方式，但通過用攝像裝置1進(jìn)行實(shí)施方式1的處理一部分或者全部，能夠進(jìn)一步展開成無數(shù)種方式。
另外，在上述實(shí)施方式1和2中，已表示了將車輛的駕駛者作為檢測對象的方式，但本發(fā)明不限定于此，也可以是將各種的人物，還有人物以外的生物或者非生物作為檢測對象的方式。
此外，在上述實(shí)施方式1和2中，已表示了從通過使用車載照相機(jī)的攝像裝置的攝像而生成的圖像對檢測對象進(jìn)行檢測的方式，但本發(fā)明不限定于此，能夠適用于將使用各種裝置通過各種方法生成的圖像記錄在HD中，并從所記錄的圖像對特定的檢測對象進(jìn)行檢測的各種圖像處理。
權(quán)利要求
1.一種圖像處理方法，該圖像處理方法使用了從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，
對圖像內(nèi)的檢測對象的區(qū)域以及圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測。
2.一種圖像處理方法，該圖像處理方法使用了從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，
在圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的候補(bǔ)區(qū)域，
對于所設(shè)定的各候補(bǔ)區(qū)域，將候補(bǔ)區(qū)域內(nèi)的象素的特性值與候補(bǔ)區(qū)域外的象素的特性值進(jìn)行比較，
根據(jù)比較的結(jié)果，從設(shè)定的多個(gè)候補(bǔ)區(qū)域中檢測適合檢測對象的區(qū)域。
3.一種圖像處理方法，該圖像處理方法使用了從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，
對包含在檢測對象中的特定的兩點(diǎn)進(jìn)行檢測，
對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測。
4.一種圖像處理系統(tǒng)，該圖像處理系統(tǒng)具有從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，
上述圖像處理系統(tǒng)包括
在圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的候補(bǔ)區(qū)域的設(shè)定單元；
對于所設(shè)定的各候補(bǔ)區(qū)域，將候補(bǔ)區(qū)域內(nèi)的象素的特性值與候補(bǔ)區(qū)域外的象素的特性值進(jìn)行比較的比較單元；以及
根據(jù)比較的結(jié)果，從設(shè)定的多個(gè)候補(bǔ)區(qū)域中檢測適合檢測對象的區(qū)域的檢測單元。
5.根據(jù)權(quán)利要求4所述的圖像處理系統(tǒng)，其特征在于，
上述比較單元構(gòu)成為作為象素的特性值對平均亮度進(jìn)行比較。
6.根據(jù)權(quán)利要求4或5所述的圖像處理系統(tǒng)，其特征在于，
上述檢測單元構(gòu)成為將判定為特性值的差最大的候補(bǔ)區(qū)域作為檢測對象的區(qū)域檢測出來。
7.根據(jù)權(quán)利要求4至6中的任一項(xiàng)所述的圖像處理系統(tǒng)，其特征在于，
上述設(shè)定單元構(gòu)成為將使用中心、以及正交的第一方向和第二方向的長度表示的橢圓區(qū)域設(shè)定為候補(bǔ)區(qū)域。
8.根據(jù)權(quán)利要求4至7中的任一項(xiàng)所述的圖像處理系統(tǒng)，其特征在于，
上述檢測對象具有基準(zhǔn)點(diǎn)和基準(zhǔn)方向，
上述圖像處理系統(tǒng)還包括
根據(jù)與上述檢測單元檢測到的檢測對象相關(guān)的象素的亮度的分布，來算出繞基準(zhǔn)點(diǎn)的中心力矩的單元；以及
根據(jù)算出的中心力矩，對圖像內(nèi)的檢測對象的基準(zhǔn)方向的傾斜度進(jìn)行檢測的單元。
9.根據(jù)權(quán)利要求7所述的圖像處理系統(tǒng)，其特征在于，上述圖像處理系統(tǒng)還包括
將與適合上述檢測單元所檢測到的檢測對象的區(qū)域外接、一邊與上述第一方向平行的長方形設(shè)定為外接長方形的單元；
根據(jù)包含在設(shè)定的外接長方形內(nèi)的象素的亮度的分布對基準(zhǔn)亮度進(jìn)行設(shè)定的單元；
在外接長方形內(nèi)根據(jù)亮度比基準(zhǔn)亮度高的象素的分布算出繞中心的中心力矩的單元；以及
根據(jù)算出的中心力矩，對圖像內(nèi)的檢測對象的第一方向的傾斜度進(jìn)行檢測的單元。
10.根據(jù)權(quán)利要求4至9中的任一項(xiàng)所述的圖像處理系統(tǒng)，其特征在于，
上述圖像處理系統(tǒng)還包括生成上述圖像的攝像裝置，
上述檢測對象是通過上述攝像裝置拍攝到的人物的臉部。
11.一種圖像處理系統(tǒng)，該圖像處理系統(tǒng)使用了從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測的圖像處理裝置，其特征在于，上述圖像處理系統(tǒng)包括
對包含在上述檢測對象內(nèi)的特定的兩點(diǎn)進(jìn)行檢測的檢測單元；以及
對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測的單元。
12.根據(jù)權(quán)利要求11所述的圖像處理系統(tǒng)，其特征在于，
上述圖像處理系統(tǒng)還包括生成上述圖像的攝像裝置，
上述檢測對象是通過上述攝像裝置拍攝到的人物的臉部，
上述檢測單元構(gòu)成為作為特定的兩點(diǎn)對人物的雙眼進(jìn)行檢測。
13.根據(jù)權(quán)利要求4至12中的任一項(xiàng)所述的圖像處理系統(tǒng)，其特征在于，
上述圖像處理系統(tǒng)還包括對原圖像進(jìn)行縮小以生成檢測對象檢測用的圖像的單元。
14.一種圖像處理裝置，其從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測，其特征在于，上述圖像處理裝置包括
在圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的候補(bǔ)區(qū)域的單元；
對于設(shè)定的各候補(bǔ)區(qū)域，將候補(bǔ)區(qū)域內(nèi)的象素的特性值與候補(bǔ)區(qū)域外的象素的特性值進(jìn)行比較的單元；以及
根據(jù)比較的結(jié)果，從設(shè)定的多個(gè)候補(bǔ)區(qū)域中檢測適合檢測對象的區(qū)域的檢測單元。
15.一種圖像處理裝置，其從包含二維排列的多個(gè)象素的圖像對特定的檢測對象進(jìn)行檢測，其特征在于，上述圖像處理裝置包括
對包含在檢測對象中的特定的兩點(diǎn)進(jìn)行檢測的單元；以及
對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測的單元。
16.一種計(jì)算機(jī)程序，其使計(jì)算機(jī)從表示包含二維排列的多個(gè)象素的圖像的圖像數(shù)據(jù)對特定的檢測對象進(jìn)行檢測，其特征在于，上述計(jì)算機(jī)程序執(zhí)行以下步驟
使計(jì)算機(jī)在由圖像數(shù)據(jù)表示的圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的候補(bǔ)區(qū)域的步驟；
使計(jì)算機(jī)對于所設(shè)定的各候補(bǔ)區(qū)域，將候補(bǔ)區(qū)域內(nèi)的象素的特性值與候補(bǔ)區(qū)域外的象素的特性值進(jìn)行比較的步驟；以及
使計(jì)算機(jī)根據(jù)比較的結(jié)果從所設(shè)定的多個(gè)候補(bǔ)區(qū)域中檢測適合檢測對象的區(qū)域的步驟。
17.一種計(jì)算機(jī)程序，其使計(jì)算機(jī)從表示包含二維排列的多個(gè)象素的圖像的圖像數(shù)據(jù)對特定的檢測對象進(jìn)行檢測，其特征在于，上述計(jì)算機(jī)程序執(zhí)行以下步驟
使計(jì)算機(jī)對包含在上述檢測對象中的特定的兩點(diǎn)進(jìn)行檢測的步驟；以及
使計(jì)算機(jī)對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測的步驟。
全文摘要
本發(fā)明提供一種圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置以及計(jì)算機(jī)程序，例如在使用安裝于車輛并對駕駛者臉部進(jìn)行攝像的車載照相機(jī)的系統(tǒng)中，利用各種方法捕捉駕駛者臉部的區(qū)域等檢測對象，并對駕駛者臉部的傾斜度進(jìn)行檢測，從而能夠提高對檢測對象進(jìn)行檢測的精度。在圖像內(nèi)設(shè)定多個(gè)成為檢測對象的區(qū)域的候補(bǔ)的例如橢圓形的候補(bǔ)區(qū)域，將所設(shè)定的候補(bǔ)區(qū)域內(nèi)外的象素的亮度的平均值等特性值進(jìn)行比較，將判定為其差最大的候補(bǔ)區(qū)域作為檢測對象的區(qū)域進(jìn)行檢測。并且算出與檢測對象有關(guān)的中心力矩，根據(jù)所算出的中心力矩對圖像內(nèi)的檢測對象的傾斜度檢測。此外，對駕駛者的雙眼等包含在檢測對象內(nèi)的特定的兩點(diǎn)進(jìn)行檢測，并對由檢測到的兩點(diǎn)確定的圖像內(nèi)的檢測對象的傾斜度進(jìn)行檢測。
文檔編號G06T7/60GK101120379SQ20058004819
公開日2008年2月6日 申請日期2005年2月17日 優(yōu)先權(quán)日2005年2月17日
發(fā)明者馬場幸三, 伊藤壽雄, 田福明義, 東野全壽, 片桐卓 申請人:富士通株式會社