一種教育玩具套件及其數(shù)字識(shí)別方法
【專(zhuān)利摘要】本發(fā)明涉及計(jì)算機(jī)視覺(jué)檢測(cè)處理技術(shù)領(lǐng)域，提供了一種教育玩具套件及其數(shù)字識(shí)別方法，包括支架、頭盔探測(cè)器和底墊，底墊上方具有2個(gè)控制凹槽，用于放置控制按鍵，下方具有數(shù)字凹槽，用于放置多種顏色的1?9數(shù)字卡片；頭盔探測(cè)器安裝于支架上；頭盔探測(cè)器還包括本體、第三凹槽、2個(gè)扇形塊和凸面鏡，并且第三凹槽位于本體內(nèi)，在第三凹槽夾持平板電腦屏幕的端點(diǎn)處設(shè)置有凸面鏡，凸面鏡的另一端安裝于頭盔探測(cè)器邊緣上，凸面鏡與水平面夾角成銳角，2個(gè)扇形塊位于凸面鏡的2個(gè)邊緣上。本發(fā)明能基于底墊輪廓信息，快速校正底墊位置，判定底墊下方的凹槽內(nèi)放置的數(shù)字卡片擺放是否正確，增強(qiáng)趣味性、互動(dòng)性，以及圖像采集、分析結(jié)果的準(zhǔn)確率。
【專(zhuān)利說(shuō)明】
一種教育玩具套件及其數(shù)字識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)檢測(cè)處理技術(shù)領(lǐng)域，特別涉及一種教育玩具套件及其數(shù)字 識(shí)別方法。
【背景技術(shù)】
[0002] 現(xiàn)在平板電腦上有許多有趣的幼教游戲應(yīng)用程序或者兒童游戲，但往往只是讓小 朋友在屏幕上指指畫(huà)畫(huà)，互動(dòng)性欠缺，長(zhǎng)時(shí)間看著屏幕容易對(duì)眼睛造成傷害;而當(dāng)下一些互 動(dòng)性強(qiáng)的傳統(tǒng)性游戲玩具已經(jīng)脫離了時(shí)代的發(fā)展，形式上無(wú)法滿(mǎn)足孩子學(xué)習(xí)、玩耍的需求， 也不便于孩子和家長(zhǎng)的互動(dòng)溝通。
[0003] 為了解決上述問(wèn)題，計(jì)算機(jī)視覺(jué)與圖像處理技術(shù)領(lǐng)域成功地開(kāi)發(fā)了一種教育玩具 套件，包括:支架、頭盔探測(cè)器，底墊，在平板電腦內(nèi)安裝游戲程序，通過(guò)平板電腦的攝像頭 采集放置于平面上的底墊的圖像。上述的教育玩具套件雖然解決了平板電腦中游戲的互動(dòng) 性欠缺的問(wèn)題，但是底墊的擺放位置會(huì)出現(xiàn)偏差，導(dǎo)致攝像頭不能采集到完整的圖像，圖像 容易采集出錯(cuò)，分析結(jié)果不準(zhǔn)確等問(wèn)題的出現(xiàn)。
[0004] 因此，計(jì)算機(jī)視覺(jué)與圖像處理技術(shù)領(lǐng)域急需一種教育玩具套件及其數(shù)字的識(shí)別方 法，能夠基于底墊輪廓信息，快速校正底墊位置，利用相關(guān)性信息識(shí)別數(shù)字卡片的數(shù)字，顏 色和位置信息，增強(qiáng)游戲的趣味性、以及互動(dòng)性，提高圖像采集以及分析結(jié)果的準(zhǔn)確率。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明為了解決上述問(wèn)題，提供了一種教育玩具套件及其數(shù)字識(shí)別方法，技術(shù)方 案如下：
[0006] -種教育玩具套件，包括：支架、頭盔探測(cè)器，底墊，并且頭盔探測(cè)器安裝于支架 上，底墊，上方具有第一控制凹槽和第二控制凹槽，第一控制凹槽和第二控制凹槽用于放置 控制按鍵，下方具有9個(gè)數(shù)字凹槽，數(shù)字凹槽內(nèi)用于放置具有多種顏色的1-9數(shù)字卡片;支架 底部具有凸起，頂部具有第一凹槽和第二凹槽，第一凹槽用于放置平板電腦，平板電腦采集 底墊信息;頭盔探測(cè)器安裝于第二凹槽內(nèi)；
[0007] 頭盔探測(cè)器，還包括本體、第三凹槽、2個(gè)扇形塊和凸面鏡，并且第三凹槽位于本體 內(nèi)，用于夾持不同型號(hào)的平板電腦，在第三凹槽夾持平板電腦屏幕的端點(diǎn)處設(shè)置有凸面鏡， 凸面鏡的另一端安裝于頭盔探測(cè)器邊緣上，凸面鏡與水平面夾角成銳角，第三凹槽夾持平 板電腦屏幕的端點(diǎn)高于平板電腦的攝像頭位置，2個(gè)扇形塊位于凸面鏡的2個(gè)邊緣上，用于 固定凸面鏡和夾持平板電腦。
[0008] 優(yōu)選的，一種教育玩具套件，控制按鍵的顏色為紫色，數(shù)字卡片的顏色為紅色、綠 色和藍(lán)色。
[0009] -種教育玩具套件的數(shù)字識(shí)別方法，包括如下步驟：
[0010] 步驟一，在平板電腦中安裝游戲程序，再將底墊放置于平面上，平板電腦的底端安 裝于第一凹槽內(nèi)，通過(guò)第二凹槽將頭盔探測(cè)器安裝于平板電腦的頂端，再將數(shù)字卡片放置 于數(shù)字凹槽內(nèi)；
[0011] 步驟二，固定安裝好后，通過(guò)平板電腦的前置攝像頭實(shí)時(shí)采集彩色圖像；
[0012] 步驟三，檢測(cè)圖像中數(shù)字卡片的數(shù)字、顏色和位置。
[0013] 優(yōu)選的，在上述的一種教育玩具套件的數(shù)字識(shí)別方法中，步驟二中前置攝像頭采 集的彩色圖像為1^1# =汽1，7) = (1^瓜^^)，其中，（^7)表示彩色圖像像素點(diǎn)的位置 坐標(biāo)，f(x，y)表示圖像在像素點(diǎn)坐標(biāo)位置處的像素值，R Xy表示圖像像素點(diǎn)在紅色通道的色 彩值，Gxy表示圖像像素點(diǎn)在綠色通道的色彩值，B xy表示圖像像素點(diǎn)在藍(lán)色通道的色彩值。
[0014] 優(yōu)選的，在上述的一種教育玩具套件的數(shù)字識(shí)別方法中，步驟三的具體步驟為：
[0015] 步驟1)，針對(duì)步驟二中的彩色圖像Ixy，檢測(cè)底墊的位置和角度，從彩色圖像Ixy* 提取底墊區(qū)域圖像；
[0016] 步驟2)，對(duì)步驟1)中得到的底墊圖像進(jìn)行再次提取，提取出數(shù)字凹槽區(qū)域做數(shù)字 識(shí)別，提取出控制凹槽區(qū)域做控制凹槽狀態(tài)識(shí)別。
[0017]優(yōu)選的，在上述的一種教育玩具套件的數(shù)字識(shí)別方法中，步驟1)中從彩色圖像Ixy 中提取底墊區(qū)域圖像的具體步驟為：
[0018] a)采用透視變換原理，將彩色圖像Ixy轉(zhuǎn)換成由上而下俯視的正視角圖像；
[0019] b)根據(jù)先驗(yàn)知識(shí)，在正視角圖像中提取出底墊感興趣區(qū)域圖像，即數(shù)字卡片放置 的有效識(shí)別區(qū)域；
[0020] c)將步驟b)中的底墊感興趣區(qū)域圖像轉(zhuǎn)換為灰度圖像：
[0021 ] Gray (x, y) = 0.2989 X Rxy+0.5870 X Gxy+0.1140 X Bxy [0022]其中，Gray(x,y)表示灰度圖像；
[0023] d)采用邊緣檢測(cè)算法檢測(cè)圖像中的強(qiáng)邊緣；
[0024] 圖像的邊緣是指灰度圖像中灰度變化比較劇烈的部分，灰度值的變化程度采用相 鄰像素間的梯度變化來(lái)定量表示，梯度是一階二維導(dǎo)數(shù)的二維等效式，具體計(jì)算過(guò)程為：
[0025] 首先，計(jì)算相鄰像素的差分，具體公式為：
[0026] Gx=f[i, j+l]-f[i, j]
[0027] Gy = f[i，j]_f[i+l，j]
[0028] 其中，Gx表示相鄰像素在x方向上的差分，Gy表示相鄰像素在y方向上的差分，f[i，j +1]表示圖像在第i行第j+1列的像素值，f[i，j]表示圖像在第i行第j列的像素值;f[i+i，j] 表示圖像在第i+1行第j列的像素值，
[0029] 進(jìn)一步地，計(jì)算相鄰像素間的梯度，具體公式為：
[0031] 其中，G(x，y)表示圖像在(x，y)點(diǎn)上梯度值
1表示像素值在x方向上求導(dǎo)表示 像素值在y方向上求導(dǎo)；
[0032] 進(jìn)一步地，計(jì)算邊緣點(diǎn)的梯度幅值，所有邊緣點(diǎn)的梯度幅值集合即為提取的邊緣 輪廓；
[0033] 由于待檢測(cè)的底墊目標(biāo)，在轉(zhuǎn)換為灰度圖后，底墊與平面背景存在色差，而不同顏 色反差較大，因此可以將反差很大的底墊的輪廓視為當(dāng)前圖像的邊緣，進(jìn)而采用邊緣檢測(cè) 算法提取出邊緣點(diǎn)的梯度幅值集合，即為底墊的邊緣輪廓;邊緣提取算法包括Sobel算子、 Roberts算子、Prewitt算子和Canny算子等，具體公式為：
[0035]其中，|G(x，y)|表示邊緣點(diǎn)的梯度幅值；
[0036] e)對(duì)步驟d)中得出的底墊邊緣輪廓進(jìn)行膨脹處理，即從底墊邊緣輪廓中提取出長(zhǎng) 方形的大塊類(lèi)矩形輪廓；
[0037] f)針對(duì)步驟e)中找到的矩形輪廓計(jì)算出底墊的位置區(qū)域和旋轉(zhuǎn)角度，依據(jù)計(jì)算出 的位置區(qū)域從步驟a)正視角圖像中提取出彩色底墊區(qū)域位置。
[0038] 優(yōu)選的，在上述的一種教育玩具套件的數(shù)字識(shí)別方法中，步驟2)中提取出數(shù)字凹 槽區(qū)域做數(shù)字識(shí)別，提取出控制凹槽區(qū)域做控制凹槽狀態(tài)識(shí)別的具體步驟為：
[0039] 步驟g)依據(jù)底墊上第一控制凹槽、第二控制凹槽和數(shù)字凹槽位置的先驗(yàn)知識(shí)提取 出控制凹槽和數(shù)字凹槽內(nèi)字符；
[0040] 步驟h)根據(jù)控制凹槽內(nèi)紫色像素的多少進(jìn)行判斷控制凹槽內(nèi)是否放置了控制按 鍵，根據(jù)數(shù)字凹槽里面紅色、綠色、藍(lán)色像素值的多少進(jìn)行判斷數(shù)字卡片上字符的顏色，如 果數(shù)字凹槽里面的紅、綠、藍(lán)三種外的其它顏色像素值最多，則表明數(shù)字凹槽內(nèi)沒(méi)有放置任 何數(shù)字卡片；
[0041] 步驟i)將提取出來(lái)的字符轉(zhuǎn)換成灰度圖像，然后再采用0TSU大津算法進(jìn)行閾值分 割得到字符的二值化圖像；
[0042] 步驟j)從步驟i)的二值化圖像中提取出字符的顯著性輪廓；
[0043]步驟k)根據(jù)面積、中心點(diǎn)信息，過(guò)濾掉步驟j)的顯著性輪廓中的干擾輪廓，得到字 符的有效輪廓；
[0044] 步驟1)根據(jù)步驟k)中字符的有效輪廓，計(jì)算有效輪廓的最小外接四邊形，然后根 據(jù)該四邊形的位置從步驟i)字符的二值化字符圖像內(nèi)提取出相對(duì)應(yīng)的二值圖區(qū)域；
[0045] 步驟m)將步驟1)中得到的二值圖區(qū)域劃分為四宮格，計(jì)算出該二值圖區(qū)域內(nèi)的白 色像素比例，串聯(lián)成一個(gè)1行4列的特征向量；
[0046] 步驟〇)分別計(jì)算步驟m)中特征向量與標(biāo)準(zhǔn)印刷體數(shù)字1-9特征向量的皮爾遜相關(guān) 系數(shù)Pearson Correlation Coefficient，如果任一皮爾遜相關(guān)系數(shù)大于0·85，則認(rèn)為二值 圖區(qū)域?yàn)樵摂?shù)字，具體的皮爾遜相關(guān)系數(shù)計(jì)算公式為：
[0048] 其中，r表示皮爾遜相關(guān)系數(shù)，X變量表示印刷體標(biāo)準(zhǔn)像素比例，Y變量表示檢測(cè)到 的數(shù)字的像素比例，E表示數(shù)學(xué)期望值。
[0049] 本發(fā)明的有益效果：
[0050] 1、本發(fā)明游戲交互設(shè)計(jì)巧妙;美觀(guān)簡(jiǎn)單，判斷更加快速，同時(shí)增強(qiáng)了趣味性和直觀(guān) 性。
[0051 ] 2、本發(fā)明檢測(cè)算法更加科學(xué)、成熟，將圖像的透視變換、透視變換、色彩轉(zhuǎn)換、皮爾 遜相關(guān)系數(shù)等圖像算法相結(jié)合使用，能夠快速的判斷出擺放的數(shù)字。
[0052] 3、本發(fā)明計(jì)算速度快;每次定位檢測(cè)耗時(shí)在90ms左右，為玩家提供流暢的使用體 驗(yàn)。
[0053] 4、本發(fā)明性能穩(wěn)定，在對(duì)不同平板電腦安裝于教育玩具套件內(nèi)的情況下，針對(duì)3千 幅圖片進(jìn)行了采集測(cè)試，誤識(shí)別率和漏檢率在0.2%以下。
【附圖說(shuō)明】
[0054]下面結(jié)合附圖和【具體實(shí)施方式】來(lái)詳細(xì)說(shuō)明本發(fā)明：
[0055] 圖1是本發(fā)明一種教育玩具套件的結(jié)構(gòu)示意圖。
[0056] 圖2是本發(fā)明一種教育玩具套件中頭盔探測(cè)器的結(jié)構(gòu)示意圖。
[0057]圖3是本發(fā)明一種教育玩具套件的數(shù)字識(shí)別方法的流程圖。
[0058]其中，圖1-3中的附圖標(biāo)記與部件名稱(chēng)之間的對(duì)應(yīng)關(guān)系為：
[0059] 支架1，第一凹槽102，第二凹槽103，頭盔探測(cè)器2，本體201，第三凹槽202，2個(gè)扇形 塊203，反光鏡204，底墊3，第一控制凹槽301，第二控制凹槽302，數(shù)字凹槽303。
【具體實(shí)施方式】
[0060]為了使本發(fā)明技術(shù)實(shí)現(xiàn)的措施、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面將 結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然， 所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施 例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于 本發(fā)明保護(hù)的范圍。
[0061 ] 實(shí)施例1:
[0062] 圖1是本發(fā)明一種教育玩具套件的結(jié)構(gòu)示意圖。
[0063] 圖2是本發(fā)明一種教育玩具套件中頭盔探測(cè)器的結(jié)構(gòu)示意圖。
[0064] 如圖1-2所示，一種教育玩具套件的數(shù)字識(shí)別方法，包括支架1、頭盔探測(cè)器2和底 墊3,并且頭盔探測(cè)器2安裝于支架1上;底墊3,上方具有第一控制凹槽301和第二控制凹槽 302,第一控制凹槽301和第二控制凹槽302用于放置控制按鍵，下方具有9個(gè)數(shù)字凹槽303， 數(shù)字凹槽303內(nèi)用于放置具有多種顏色的1-9數(shù)字卡片;支架1，頂部具有第一凹槽102和第 二凹槽103,第一凹槽102用于放置平板電腦，平板電腦采集底墊信息;頭盔探測(cè)器2,安裝于 第二凹槽103內(nèi)；頭盔探測(cè)器2還包括:本體201、第三凹槽202、2個(gè)扇形塊203和凸面鏡204， 并且第三凹槽202位于本體201內(nèi)，用于夾持不同型號(hào)的平板電腦，在第三凹槽202夾持平板 電腦屏幕的端點(diǎn)處設(shè)置有凸面鏡204,凸面鏡204的另一端安裝于頭盔探測(cè)器2邊緣上，凸面 鏡204與水平面夾角成銳角，第三凹槽202夾持平板電腦屏幕的端點(diǎn)高于平板電腦的攝像頭 位置，2個(gè)扇形塊203位于凸面鏡204的2個(gè)邊緣上，用于固定凸面鏡204和夾持平板電腦。
[0065] 本實(shí)施例中，控制按鍵的顏色為紫色，數(shù)字卡片的顏色為紅色、綠色和藍(lán)色。
[0066] 圖3是本發(fā)明一種教育玩具套件的數(shù)字識(shí)別方法的流程圖。
[0067] 如圖3所示，一種教育玩具套件的數(shù)字識(shí)別方法，包括如下步驟：
[0068] 步驟一，在平板電腦中安裝游戲程序，再將底墊放置于平面上，平板電腦的底端安 裝于第一凹槽內(nèi)，通過(guò)第二凹槽將頭盔探測(cè)器安裝于平板電腦的頂端，再將數(shù)字卡片放置 于數(shù)字凹槽內(nèi)；
[0069]步驟二，固定安裝好后，通過(guò)平板電腦的前置攝像頭實(shí)時(shí)采集彩色圖像；
[0070]前置攝像頭采集的彩色圖像為IXy，IXy = f (x，y) = (RXy，GXy，BXy)，其中，（x，y)表示 彩色圖像像素點(diǎn)的位置坐標(biāo)，f (X，y)表示圖像在像素點(diǎn)坐標(biāo)位置處的像素值，Rxy表示圖像 像素點(diǎn)在紅色通道的色彩值，Gxy表示圖像像素點(diǎn)在綠色通道的色彩值，B xy表示圖像像素點(diǎn) 在藍(lán)色通道的色彩值；
[0071] 步驟三，檢測(cè)圖像中數(shù)字卡片的數(shù)字、顏色和位置。
[0072] 步驟1)，針對(duì)步驟二中的彩色圖像Ixy，檢測(cè)底墊的位置和角度，從彩色圖像Ixy* 提取底墊區(qū)域圖像，具體步驟為：
[0073] a)采用透視變換原理，將彩色圖像1#轉(zhuǎn)換成由上而下俯視的正視角圖像；
[0074] b)根據(jù)先驗(yàn)知識(shí)，在正視角圖像中提取出底墊感興趣區(qū)域圖像，即數(shù)字卡片放置 的有效識(shí)別區(qū)域；
[0075] c)將步驟b)中的底墊感興趣區(qū)域圖像轉(zhuǎn)換為灰度圖像：
[0076] Gray (x, y) = 0.2989 X Rxy+0.5870 X Gxy+0.1140 X Bxy
[0077] 其中，Gray(x,y)表示灰度圖像；
[0078] d)采用邊緣檢測(cè)算法檢測(cè)圖像中的強(qiáng)邊緣；
[0079] 圖像的邊緣是指灰度圖像中灰度變化比較劇烈的部分，灰度值的變化程度采用相 鄰像素間的梯度變化來(lái)定量表示，梯度是一階二維導(dǎo)數(shù)的二維等效式，具體計(jì)算過(guò)程為：
[0080] 首先，計(jì)算相鄰像素的差分，具體公式為：
[0081] Gx=f[i，j+l]_f[i，j]
[0082] Gy = f[i, j]-f[i+l, j]
[0083] 其中，Gx表示相鄰像素在x方向上的差分，Gy表示相鄰像素在y方向上的差分，f[i，j +1]表示圖像在第i行第j+1列的像素值，f[i，j]表示圖像在第i行第j列的像素值;f[i+i，j] 表示圖像在第i+1行第j列的像素值，
[0084] 進(jìn)一步地，計(jì)算相鄰像素間的梯度，具體公式為：
[0086] 其中，G (X，y)表示圖像在(X，y)點(diǎn)上梯度值，g表示像素值在X方向上求導(dǎo)，g表示 像素值在y方向上求導(dǎo)；
[0087] 進(jìn)一步地，計(jì)算邊緣點(diǎn)的梯度幅值，所有邊緣點(diǎn)的梯度幅值集合即為提取的邊緣 輪廓；
[0088] 由于待檢測(cè)的底墊目標(biāo)，在轉(zhuǎn)換為灰度圖后，底墊與平面背景存在色差，而不同顏 色反差較大，因此可以將反差很大的底墊的輪廓視為當(dāng)前圖像的邊緣，進(jìn)而采用邊緣檢測(cè) 算法提取出邊緣點(diǎn)的梯度幅值集合，即為底墊的邊緣輪廓;邊緣提取算法包括Sobel算子、 Roberts算子、Prewitt算子和Canny算子等，具體公式為：
[0090]其中，|G(x，y)|表示邊緣點(diǎn)的梯度幅值；
[0091] e)對(duì)步驟d)中得出的底墊邊緣輪廓進(jìn)行膨脹處理，即從底墊邊緣輪廓中提取出長(zhǎng) 方形的大塊類(lèi)矩形輪廓；
[0092] 如果沒(méi)有檢測(cè)出來(lái)矩形長(zhǎng)方形，則卡片擺放不正確;如果檢測(cè)出了大塊矩形輪廓， 則計(jì)算矩形輪廓長(zhǎng)邊與圖像底邊(寬軸）的角度是不是在預(yù)定義范圍內(nèi)（比如正負(fù)10度），也 認(rèn)為卡片擺放不正確，反饋UI游戲界面來(lái)進(jìn)行相應(yīng)提醒。
[0093] f)針對(duì)步驟e)中找到的矩形輪廓計(jì)算出底墊的位置區(qū)域和旋轉(zhuǎn)角度，依據(jù)計(jì)算出 的位置區(qū)域從步驟a)正視角圖像中提取出彩色底墊區(qū)域位置；
[0094] 步驟2)，對(duì)步驟1)中得到的底墊圖像進(jìn)行再次提取，提取出數(shù)字凹槽區(qū)域做數(shù)字 識(shí)別，提取出控制凹槽區(qū)域做控制凹槽狀態(tài)識(shí)別，具體步驟為：
[0095] 步驟g)依據(jù)底墊上第一控制凹槽、第二控制凹槽和數(shù)字凹槽位置的先驗(yàn)知識(shí)提取 出控制凹槽和數(shù)字凹槽內(nèi)字符；
[0096]步驟h)根據(jù)控制凹槽內(nèi)紫色像素的多少進(jìn)行判斷控制凹槽內(nèi)是否放置了控制按 鍵，根據(jù)數(shù)字凹槽里面紅色、綠色、藍(lán)色像素值的多少進(jìn)行判斷數(shù)字卡片上字符的顏色，如 果數(shù)字凹槽里面的紅、綠、藍(lán)三種外的其它顏色像素值最多，則表明數(shù)字凹槽內(nèi)沒(méi)有放置任 何數(shù)字卡片；
[0097]步驟i)將提取出來(lái)的字符轉(zhuǎn)換成灰度圖像，然后再采用0TSU大津算法進(jìn)行閾值分 割得到字符的二值化圖像；
[0098]步驟j)從步驟i)的二值化圖像中提取出字符的顯著性輪廓；
[0099]步驟k)根據(jù)面積、中心點(diǎn)信息，過(guò)濾掉步驟j)的顯著性輪廓中的干擾輪廓，得到字 符的有效輪廓；
[0100] 步驟1)根據(jù)步驟k)中字符的有效輪廓，計(jì)算有效輪廓的最小外接四邊形，然后根 據(jù)該四邊形的位置從步驟i)字符的二值化字符圖像內(nèi)提取出相對(duì)應(yīng)的二值圖區(qū)域；
[0101] 步驟m)將步驟1)中得到的二值圖區(qū)域劃分為四宮格，計(jì)算出該二值圖區(qū)域內(nèi)的白 色像素比例，串聯(lián)成一個(gè)1行4列的特征向量；
[0102] 步驟〇)分別計(jì)算步驟m)中特征向量與標(biāo)準(zhǔn)印刷體數(shù)字1-9特征向量的皮爾遜相關(guān) 系數(shù)Pearson Correlation Coefficient，如果任一皮爾遜相關(guān)系數(shù)大于0·85，則認(rèn)為二值 圖區(qū)域?yàn)樵摂?shù)字，具體的皮爾遜相關(guān)系數(shù)計(jì)算公式為：
[0104] 其中，r表示皮爾遜相關(guān)系數(shù)，X變量表示印刷體標(biāo)準(zhǔn)像素比例，Y變量表示檢測(cè)到 的數(shù)字的像素比例，E表示數(shù)學(xué)期望值。
[0105] 印刷體字符的標(biāo)準(zhǔn)像比例X如下表所示：
[0108] 此表格是0~9印刷字體的標(biāo)準(zhǔn)系數(shù)，應(yīng)該與我們檢測(cè)出來(lái)的當(dāng)前圖像的四宮格系 數(shù)聯(lián)系起來(lái)一起計(jì)算，它們之間的皮爾遜相關(guān)系數(shù)，從而判斷它們的相關(guān)性是不是夠大。例 如:檢測(cè)出的四個(gè)像素值Υ分別為左上白色像素比例0.801，右上白色像素比例0.723，左下 白色像素比例0.512，右下白色像素比例0.540;利用皮爾遜相關(guān)系數(shù)計(jì)算所得r5~0.92，明 顯大于0.85，而其余數(shù)字都小于0.85的皮爾遜相關(guān)系數(shù)，則表現(xiàn)為與其余數(shù)字不相關(guān)，所以 認(rèn)為檢測(cè)出來(lái)的數(shù)字為5。
[0109] 本發(fā)明游戲交互設(shè)計(jì)巧妙；美觀(guān)簡(jiǎn)單，判斷更加快速，同時(shí)增強(qiáng)了趣味性和直觀(guān) 性。
[0110] 本發(fā)明檢測(cè)算法更加科學(xué)、成熟，將圖像的透視變換、透視變換、色彩轉(zhuǎn)換、皮爾遜 相關(guān)系數(shù)等圖像算法相結(jié)合使用，能夠快速的判斷出擺放的數(shù)字。
[0111] 本發(fā)明計(jì)算速度快;每次定位檢測(cè)耗時(shí)在90ms左右，為玩家提供流暢的使用體驗(yàn)。
[0112] 本發(fā)明性能穩(wěn)定，在對(duì)不同平板電腦安裝于教育玩具套件內(nèi)的情況下，針對(duì)3千幅 圖片進(jìn)行了采集測(cè)試，誤識(shí)別率和漏檢率在0.2%以下。
[0113] 以上顯示和描述了本發(fā)明的基本原理、主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù) 人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說(shuō)明書(shū)中描述的只是說(shuō)明本 發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變 化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書(shū)及其 等同物界定。
【主權(quán)項(xiàng)】
1. 一種教育玩具套件，其特征在于，包括:支架、頭盎探測(cè)器和底墊，并且所述頭盎探測(cè) 器安裝于支架上，所述底墊上方具有第一控制凹槽和第二控制凹槽，所述第一控制凹槽和 第二控制凹槽用于放置控制按鍵，下方具有9個(gè)數(shù)字凹槽，所述數(shù)字凹槽內(nèi)用于放置具有多 種顏色的1-9數(shù)字卡片;所述支架底部具有凸起，頂部具有第一凹槽和第二凹槽，第一凹槽 用于放置平板電腦，平板電腦采集底墊信息;頭盎探測(cè)器安裝于第二凹槽內(nèi)； 所述頭盎探測(cè)器還包括:本體、第Ξ凹槽、2個(gè)扇形塊和凸面鏡，并且所述第Ξ凹槽位于 本體內(nèi)，用于夾持不同型號(hào)的平板電腦，在所述第Ξ凹槽夾持平板電腦屏幕的端點(diǎn)處設(shè)置 有凸面鏡，所述凸面鏡的另一端安裝于頭盎探測(cè)器邊緣上，所述凸面鏡與水平面夾角成銳 角，所述第Ξ凹槽夾持平板電腦屏幕的端點(diǎn)高于平板電腦的攝像頭位置，2個(gè)所述扇形塊位 于凸面鏡的2個(gè)邊緣上，用于固定所述凸面鏡和夾持平板電腦。2. 根據(jù)權(quán)利要求1所述的一種教育玩具套件，其特征在于，所述控制按鍵的顏色為紫 色，數(shù)字卡片的顏色為紅色、綠色和藍(lán)色。3. -種教育玩具套件的數(shù)字識(shí)別方法，其特征在于，包括如下步驟： 步驟一，在平板電腦中安裝游戲程序，再將底墊放置于平面上，平板電腦的底端安裝于 第一凹槽內(nèi)，通過(guò)第二凹槽將頭盎探測(cè)器安裝于平板電腦的頂端，再將數(shù)字卡片放置于數(shù) 字凹槽內(nèi) 步驟二，固定安裝好后，通過(guò)平板電腦的前置攝像頭實(shí)時(shí)采集彩色圖像 步驟Ξ，檢測(cè)圖像中數(shù)字卡片的數(shù)字、顏色和位置。4. 根據(jù)權(quán)利要求3所述的一種教育玩具套件的數(shù)字識(shí)別方法，其特征在于，所述步驟二 中自U置攝像頭義集的彩色圖像為Ixy，Ixy二f(X,y)二（Rxy,Gxy,Bxy)，其中，（X,y)表不彩色圖 像像素點(diǎn)的位置坐標(biāo)，f ( X，y )表示圖像在像素點(diǎn)坐標(biāo)位置處的像素值，Rxy表示圖像像素點(diǎn) 在紅色通道的色彩值，Gxy表示圖像像素點(diǎn)在綠色通道的色彩值，Bxy表示圖像像素點(diǎn)在藍(lán)色 通道的色彩值。5. 根據(jù)權(quán)利要求3所述的一種教育玩具套件的數(shù)字識(shí)別方法，其特征在于，所述步驟Ξ 的具體步驟為： 步驟1)，針對(duì)所述步驟二中的彩色圖像Ixy，檢測(cè)底墊的位置和角度，從彩色圖像Ixy中提 取底墊區(qū)域圖像； 步驟2)，對(duì)所述步驟1)中得到的底墊圖像進(jìn)行再次提取，提取出數(shù)字凹槽區(qū)域做數(shù)字 識(shí)別，提取出控制凹槽區(qū)域做控制凹槽狀態(tài)識(shí)別。6. 根據(jù)權(quán)利要求6所述的一種教育玩具套件的數(shù)字識(shí)別方法，其特征在于，所述步驟1) 中從彩色圖像Ixy中提取底墊區(qū)域圖像的具體步驟為： a) 采用透視變換原理，將彩色圖像Ixy轉(zhuǎn)換成由上而下俯視的正視角圖像； b) 根據(jù)先驗(yàn)知識(shí)，在正視角圖像中提取出底墊感興趣區(qū)域圖像，即數(shù)字卡片放置的有 效識(shí)別區(qū)域； C)將所述步驟b)中的底墊感興趣區(qū)域圖像轉(zhuǎn)換為灰度圖像： Gray (X，y) = 0.2989 X Rxy+0.5870 X Gxy+0.1140 X Bxy 其中，Gray(x，y)表示灰度圖像； d)采用邊緣檢測(cè)算法檢測(cè)圖像中的強(qiáng)邊緣； 圖像的邊緣是指灰度圖像中灰度變化比較劇烈的部分，灰度值的變化程度采用相鄰像 素間的梯度變化來(lái)定量表示，梯度是一階二維導(dǎo)數(shù)的二維等效式，具體計(jì)算過(guò)程為： 首先，計(jì)算相鄰像素的差分，具體公式為： Gx = f[i, j] Gy = f[i，j]-f[i+l，j] 其中，表示相鄰像素在X方向上的差分，Gy表示相鄰像素在y方向上的差分，f[i，j+l] 表示圖像在第i行第j+1列的像素值，f[i，j]表示圖像在第i行第j列的像素值;f[i+l，j]表 示圖像在第i+1行第j列的像素值， 進(jìn)一步地，計(jì)算相鄰像素間的梯度，具體公式為：其中，G(x，y)表示圖像在(x，y)點(diǎn)上梯度值，I表示像素值在X方向上求導(dǎo)，I:表示像素 值在y方向上求導(dǎo)； 進(jìn)一步地，計(jì)算邊緣點(diǎn)的梯度幅值，所有邊緣點(diǎn)的梯度幅值集合即為提取的邊緣輪廓； 由于待檢測(cè)的底墊目標(biāo)，在轉(zhuǎn)換為灰度圖后，底墊與平面背景存在色差，而不同顏色反 差較大，因此可W將反差很大的底墊的輪廓視為當(dāng)前圖像的邊緣，進(jìn)而采用邊緣檢測(cè)算法 提取出邊緣點(diǎn)的梯度幅值集合，即為底墊的邊緣輪廓；邊緣提取算法包括Sobel算子、 Roberts算子、Prewitt算子和化nny算子等，具體公式為：其中，|G(x，y) I表示邊緣點(diǎn)的梯度幅值； e) 對(duì)所述步驟d)中得出的底墊邊緣輪廓進(jìn)行膨脹處理，即從底墊邊緣輪廓中提取出長(zhǎng) 方形的大塊類(lèi)矩形輪廓； f) 針對(duì)所述步驟e)中找到的矩形輪廓計(jì)算出底墊的位置區(qū)域和旋轉(zhuǎn)角度，依據(jù)計(jì)算出 的位置區(qū)域從步驟a)正視角圖像中提取出彩色底墊區(qū)域位置。7.根據(jù)權(quán)利要求6所述的一種教育玩具套件的數(shù)字識(shí)別方法，其特征在于，所述步驟2) 中提取出數(shù)字凹槽區(qū)域做數(shù)字識(shí)別，提取出控制凹槽區(qū)域做控制凹槽狀態(tài)識(shí)別的具體步驟 為： 步驟g)依據(jù)底墊上第一控制凹槽、第二控制凹槽和數(shù)字凹槽位置的先驗(yàn)知識(shí)提取出控 制凹槽和數(shù)字凹槽內(nèi)字符； 步驟h)根據(jù)控制凹槽內(nèi)紫色像素的多少進(jìn)行判斷控制凹槽內(nèi)是否放置了控制按鍵，根 據(jù)數(shù)字凹槽里面紅色、綠色、藍(lán)色像素值的多少進(jìn)行判斷數(shù)字卡片上字符的顏色，如果數(shù)字 凹槽里面的紅、綠、藍(lán)Ξ種外的其它顏色像素值最多，則表明數(shù)字凹槽內(nèi)沒(méi)有放置任何數(shù)字 卡片； 步驟i)將提取出來(lái)的字符轉(zhuǎn)換成灰度圖像，然后再采用0TSU大津算法進(jìn)行闊值分割得 到字符的二值化圖像； 步驟j)從所述步驟i)的二值化圖像中提取出字符的顯著性輪廓； 步驟k)根據(jù)面積、中屯、點(diǎn)信息，過(guò)濾掉所述步驟j)的顯著性輪廓中的干擾輪廓，得到字 符的有效輪廓； 步驟1)根據(jù)所述步驟k)中字符的有效輪廓，計(jì)算有效輪廓的最小外接四邊形，然后根 據(jù)該四邊形的位置從步驟i)字符的二值化字符圖像內(nèi)提取出相對(duì)應(yīng)的二值圖區(qū)域； 步驟m)將所述步驟1)中得到的二值圖區(qū)域劃分為四宮格，計(jì)算出該二值圖區(qū)域內(nèi)的白 色像素比例，串聯(lián)成一個(gè)1行4列的特征向量； 步驟0)分別計(jì)算所述步驟m)中特征向量與標(biāo)準(zhǔn)印刷體數(shù)字1-9特征向量的皮爾遜相關(guān) 系數(shù)化arson Correlation Coefficient，如果任一皮爾遜相關(guān)系數(shù)大于0.85,則認(rèn)為二值 圖區(qū)域?yàn)樵摂?shù)字，具體的皮爾遜相關(guān)系數(shù)計(jì)算公式為：其中，r表示皮爾遜相關(guān)系數(shù)，X變量表示印刷體標(biāo)準(zhǔn)像素比例，Y變量表示檢測(cè)到的數(shù) 字的像素比例，E表示數(shù)學(xué)期望值。
【文檔編號(hào)】G09B19/22GK106097833SQ201610695816
【公開(kāi)日】2016年11月9日
【申請(qǐng)日】2016年8月19日 公開(kāi)號(hào)201610695816.X, CN 106097833 A, CN 106097833A, CN 201610695816, CN-A-106097833, CN106097833 A, CN106097833A, CN201610695816, CN201610695816.X
【發(fā)明人】杜鵬, 范旭, 孫賢軍, 程瀟, 巢建樹(shù), 暴滿(mǎn)粟
【申請(qǐng)人】上海葡萄緯度科技有限公司