本發(fā)明涉及圖像處理，特別是一種通過劃線的教室就座分布計(jì)算方法及系統(tǒng)。

背景技術(shù)：

1、在大學(xué)課堂中，教室區(qū)域的就座分布在一定程度上能夠體現(xiàn)教師上課的質(zhì)量和學(xué)生學(xué)習(xí)的積極程度。使用圖像處理方法可以自動(dòng)化地對(duì)教室區(qū)域就座分布進(jìn)行計(jì)算，能夠極大地節(jié)省人力，從而方便我們了解課堂學(xué)習(xí)狀況。

2、現(xiàn)有的自動(dòng)化教室區(qū)域就座分布計(jì)算方法，通過是分為教室區(qū)域劃分、人頭檢測(cè)和就座分布計(jì)算這三步；如申請(qǐng)?zhí)枮?02210055888.3的申請(qǐng)，便通過求教室桌椅區(qū)域的最小外接矩形，并對(duì)最小外接矩形進(jìn)行處理來(lái)劃分教室的前排區(qū)域，最終通過處理后的矩形劃出的教室前排區(qū)域來(lái)計(jì)算前排就座率；不過這種方法還存在一些問題。

3、首先，這種方法需要教室圖像中能夠包括完整的教室區(qū)域，當(dāng)圖像中不能完全展示教室桌椅區(qū)域時(shí)，最小外接矩形的繪制會(huì)有問題；然而，教室內(nèi)安裝的攝像頭通常沒法完整采集到教室區(qū)域圖像，從而導(dǎo)致最小外接矩形繪制失敗。

4、此外，在某些視角，特別是教室桌椅區(qū)域第一排與最后一排角度相差較大的視角，對(duì)教室桌椅區(qū)域求最小外接矩形不能很好地描繪教室桌椅區(qū)域的情況；且教室桌椅橫向劃分的各個(gè)區(qū)域的前邊界與后邊界通常不會(huì)平行，僅用矩形不能很好地繪制劃分的桌椅區(qū)域；

5、最后，這種方法僅局限于計(jì)算教室前排的就座率，而忽略了其他區(qū)域的就座率計(jì)算。

6、因此，迫切需要一種通過劃線的教室就座分布計(jì)算方法及系統(tǒng)，來(lái)解決當(dāng)前自動(dòng)化教室區(qū)域就座分布計(jì)算方法存在的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)，提供一種通過劃線的教室就座分布計(jì)算方法及系統(tǒng)，主要解決現(xiàn)有技術(shù)需要教室圖像中能夠包括完整的教室區(qū)域，僅用矩形不能很好地繪制劃分的桌椅區(qū)域和忽略了其他區(qū)域的就座率計(jì)算的問題。

2、本發(fā)明的目的通過以下技術(shù)方案來(lái)實(shí)現(xiàn)：

3、第一方面，提供一種通過劃線的教室就座分布計(jì)算方法，通過如下步驟計(jì)算教室就座分布情況：

4、步驟1：教室桌椅可見區(qū)域劃分；通過語(yǔ)義分割模型劃分出教室監(jiān)控圖像中可見且未被除人以外的物體遮擋的教室桌椅可見區(qū)域，并將教室桌椅可見區(qū)域近似處理為一個(gè)基于多邊形的教室桌椅區(qū)域；

5、步驟2：教室桌椅區(qū)域前后邊界線匹配；對(duì)基于多邊形的教室桌椅區(qū)域進(jìn)行前后邊界線匹配，找到教室第一排桌面前和最后一排座椅后所連成的邊線分別作為前邊界線和后邊界線；

6、步驟3：教室桌椅區(qū)域分割線生成；基于消失點(diǎn)原理，在由前邊界線和后邊界線組成的中間區(qū)域內(nèi)畫出若干條分割線，并通過分割線將教室桌椅區(qū)域劃分為若干個(gè)就座子區(qū)域；

7、步驟4：教室區(qū)域就座分布計(jì)算；通過教室監(jiān)控圖像獲取學(xué)生就座位置，并基于分割線的就座子區(qū)域，并分別計(jì)算各就座子區(qū)域的就座率。

8、作為更進(jìn)一步的解決方案，在步驟1中，通過如下子步驟進(jìn)行教室桌椅可見區(qū)域劃分：

9、步驟11：語(yǔ)義分割模型訓(xùn)練；采集教室監(jiān)控圖像歷史數(shù)據(jù)，并對(duì)教室監(jiān)控圖像中可見且沒有被嚴(yán)重遮擋的教室桌椅可見區(qū)域進(jìn)行標(biāo)注，使用標(biāo)注后的教室監(jiān)控圖像訓(xùn)練語(yǔ)義分割模型，通過訓(xùn)練的語(yǔ)義分割模型能夠畫出圖像中可見的教室區(qū)域；

10、步驟12：可見區(qū)域圖像提取；使用步驟11訓(xùn)練的語(yǔ)義分割模型對(duì)教室監(jiān)控圖像進(jìn)行處理，得到教室桌椅可見區(qū)域的掩碼圖像，其中，掩碼圖像通過掩碼值表示對(duì)應(yīng)像素位置是否為教室桌椅可見區(qū)域；

11、步驟13：教室桌椅區(qū)域近似；從教室桌椅可見區(qū)域的掩碼圖像中選出面積最大區(qū)域，對(duì)面積最大區(qū)域做凸包操作和多邊形近似操作，得到基于多邊形的教室桌椅區(qū)域和多邊形的各個(gè)角點(diǎn)。

12、作為更進(jìn)一步的解決方案，在步驟11中，通過如下子步驟進(jìn)行語(yǔ)義分割模型訓(xùn)練：

13、步驟111：訓(xùn)練數(shù)據(jù)獲??；從教室監(jiān)控視頻中抽取若干張教室監(jiān)控圖像作為訓(xùn)練數(shù)據(jù)；

14、步驟112：訓(xùn)練數(shù)據(jù)標(biāo)注；標(biāo)注位置為教室第一排桌面前邊緣、最后一排座椅后和教室桌椅區(qū)域左右邊緣，通過各標(biāo)注位置所連成的近似直線圍成多邊形，得到基于多邊形的教室桌椅區(qū)域；其中，若最后一排座椅存在人員圖像，則將人員圖像超出最后一排座椅后的部分進(jìn)行忽略；

15、步驟113：語(yǔ)義模型訓(xùn)練；選擇設(shè)置語(yǔ)義分割模型，并以預(yù)訓(xùn)練權(quán)重作為初始權(quán)重，使用標(biāo)注的數(shù)據(jù)對(duì)語(yǔ)義分割模型進(jìn)行訓(xùn)練。

16、作為更進(jìn)一步的解決方案，在步驟2中，通過如下子步驟進(jìn)行教室桌椅區(qū)域前后邊界線匹配：

17、步驟21：前后邊界劃分；基于教室桌椅區(qū)域的多邊形輪廓邊位置，將多邊形輪廓邊劃分到前邊界集和后邊界集中；

18、步驟22：前后邊界確認(rèn)；將前邊界集和后邊界集中的邊線兩兩匹配，并計(jì)算每種匹配組合的得分情況，并取得分最高的匹配組合作為教室桌椅區(qū)域的前邊界線和后邊界線。

19、作為更進(jìn)一步的解決方案，在步驟21中，通過如下步驟進(jìn)行前后邊界劃分：

20、步驟211：獲取基于多邊形的教室桌椅區(qū)域和多邊形的各個(gè)角點(diǎn)；

21、步驟212：獲取基于多邊形的教室桌椅區(qū)域的所有邊線；

22、步驟213：過濾掉與上下水平分割線夾角大于45°的邊線和長(zhǎng)度小于所有邊線平均長(zhǎng)度四分之一的邊線；

23、步驟214：通過對(duì)各個(gè)角點(diǎn)的角點(diǎn)坐標(biāo)求平均，得到教室桌椅區(qū)域內(nèi)一點(diǎn)，記為 pcenter點(diǎn)；

24、步驟215：遍歷過濾之后的多邊形邊線，若點(diǎn)位于邊線下方，則將邊線加入至后邊界集；若點(diǎn)位于邊線上方，則將邊線加入至前邊界集。

25、作為更進(jìn)一步的解決方案，在步驟22中，通過如下公式計(jì)算每種匹配組合的得分情況：

26、

27、其中，表示一組邊組合的得分值，為邊線和邊線所圍成四邊形的面積，為邊線和邊線所形成銳角夾角的余弦值，和分別為面積權(quán)重和角度權(quán)重，和分別為方向和角度的分?jǐn)?shù)懲罰。

28、作為更進(jìn)一步的解決方案，在步驟3中，通過前邊界線和后邊界線是否平行，判斷是否存在消失點(diǎn)；若平行，則不存在消失點(diǎn)，在前邊界線上取一點(diǎn)，從點(diǎn)作后邊界線的垂線，取垂線與后邊界線的交點(diǎn)為點(diǎn)，在點(diǎn)和點(diǎn)所連成的線段上按照預(yù)設(shè)比例取個(gè)分割點(diǎn)，并從分割點(diǎn)作前邊界線的平行線，以得到m條分割線。

29、作為更進(jìn)一步的解決方案，在步驟3中，通過前邊界線和后邊界線是否平行，判斷是否存在消失點(diǎn)；若不平行，則存在消失點(diǎn)，消失點(diǎn)為前邊界線和后邊界線在可見區(qū)域外的交點(diǎn)；分別在前邊界線和后邊界線取一個(gè)點(diǎn)和點(diǎn)，并與交點(diǎn)構(gòu)成一個(gè)等腰三角形，在點(diǎn)和點(diǎn)所連成的線段上按照預(yù)設(shè)比例取個(gè)分割點(diǎn)，并從交點(diǎn)向各分割點(diǎn)分別畫m條射線，以得到m條分割線。

30、作為更進(jìn)一步的解決方案，在步驟4中，通過如下子步驟計(jì)算各就座子區(qū)域的就座率：

31、步驟41：將教室圖像輸入到學(xué)生人頭檢測(cè)模型，輸出學(xué)生人頭檢測(cè)框的位置信息，并以和的形式進(jìn)行表示；其中，為檢測(cè)框左上角坐標(biāo)，為檢測(cè)框右下角坐標(biāo)；

32、步驟42：以前邊界線左端點(diǎn)為原點(diǎn)，水平線作為x軸，建立二維直角坐標(biāo)；

33、步驟43：獲取判定點(diǎn)；其中，

34、若前邊界線右端點(diǎn)處于二維直角坐標(biāo)的第一象限，則取檢測(cè)框右下角坐標(biāo)作為判定點(diǎn)；

35、若前邊界線的右端點(diǎn)處于二維直角坐標(biāo)的第四象限或在x軸上，則檢測(cè)框左下角坐標(biāo)作為判定點(diǎn)；

36、步驟44：從下至上遍歷前邊界線和分割線，記線集合為；其中，為前邊界線，為第條分割線；

37、步驟45：當(dāng)判定點(diǎn)在線集合的元素和之間時(shí)，則將判定點(diǎn)對(duì)應(yīng)的學(xué)生就座位置劃分到第個(gè)就座子區(qū)域；若判定點(diǎn)在的上側(cè)，則將學(xué)生就座位置劃分到第個(gè)區(qū)域。

38、另一方面，一種通過劃線的教室就座分布計(jì)算系統(tǒng)，運(yùn)用如上任一項(xiàng)所述的一種通過劃線的教室就座分布計(jì)算方法。

39、與相關(guān)技術(shù)相比較，本發(fā)明提供的一種通過劃線的教室就座分布計(jì)算方法及系統(tǒng)具有以下優(yōu)點(diǎn)：

40、本發(fā)明通過教室桌椅區(qū)域前后邊界線，解決不完整教室桌椅區(qū)域處理的問題，基于消失點(diǎn)的原理，通過劃線對(duì)教室桌椅區(qū)域進(jìn)行劃分，解決矩形對(duì)教室桌椅區(qū)域描繪缺陷的問題和現(xiàn)有方法對(duì)其他區(qū)域就座率計(jì)算的忽略問題。其中，通過劃線對(duì)教室桌椅區(qū)域進(jìn)行劃分，簡(jiǎn)化了劃分的邏輯，易于理解，并且能夠根據(jù)需求劃分更多的區(qū)域。