本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,特別涉及一種照片智能裁剪方法及裝置。
背景技術(shù):
隨著智能終端設(shè)備拍照性能的不斷增強(qiáng),人們熱衷于隨手記錄下生活中的美麗瞬間,并分享至社交網(wǎng)絡(luò)中。但是通常我們拍攝完的照片并不適合直接上傳至互聯(lián)網(wǎng),需要進(jìn)行一些后期處理。例如,拍照時(shí)手指不小心遮擋了鏡頭邊緣或鏡頭邊緣有人誤入;只想截取照片中的部分畫(huà)面用作突出顯示;有一張很美的矩形自拍照,而微信頭像卻要求是正方形。上述這些情況下通常需要進(jìn)行照片裁剪,目前主流拍照/修圖類(lèi)應(yīng)用已提供的照片裁剪功能是通過(guò)自由/固定比例手動(dòng)編輯截圖,但由于普通用戶(hù)通常并不具備構(gòu)圖等專(zhuān)業(yè)的攝影知識(shí),因此手動(dòng)裁剪出的照片美學(xué)質(zhì)量不能保證,另外,手動(dòng)裁剪出照片的比例可能也不符合應(yīng)用要求。申請(qǐng)?zhí)枮閏n201410681308.7的發(fā)明對(duì)拍攝的圖像進(jìn)行人臉檢測(cè)獲得人臉檢測(cè)框;以人臉檢測(cè)框中心點(diǎn)為原點(diǎn),按照面積與人臉檢測(cè)框的面積比例10:7生成長(zhǎng)寬比為4:3的矩形裁剪框;將圖像中所述矩形裁剪框以外的部分裁剪掉。該發(fā)明從人臉檢測(cè)的角度對(duì)證件照等人臉為主照片的裁剪具有較好效果,但對(duì)于大量的普通照片卻無(wú)法實(shí)現(xiàn)智能裁剪。
技術(shù)實(shí)現(xiàn)要素:
鑒于上述問(wèn)題,本發(fā)明提供了一種照片智能裁剪方法及裝置。
本發(fā)明提供的照片智能裁剪方法,包括以下步驟:
獲取智能設(shè)備照片圖像;
在所述照片圖像中生成若干子區(qū)域,計(jì)算所述若干子區(qū)域的美學(xué)評(píng)分,根據(jù)所述美學(xué)評(píng)分得到最佳美感裁剪區(qū)域;
根據(jù)所述最佳美感裁剪區(qū)域的坐標(biāo)裁剪所述照片圖像。
本發(fā)明還提供了一種照片智能裁剪裝置,包括:圖像獲取模塊、計(jì)算模塊、裁剪模塊:
所述圖像獲取模塊,用于獲取智能設(shè)備照片圖像;
所述計(jì)算模塊,用于在所述照片圖像中生成若干子區(qū)域,計(jì)算所述若干子區(qū)域的美學(xué)評(píng)分,根據(jù)所述美學(xué)評(píng)分得到最佳美感裁剪區(qū)域;
所述裁剪模塊,用于根據(jù)所述最佳美感裁剪區(qū)域的坐標(biāo)裁剪所述照片圖像。
本發(fā)明有益效果如下:
本發(fā)明實(shí)施例的照片智能裁剪方法及裝置通過(guò)圖像美學(xué)評(píng)價(jià)技術(shù)實(shí)現(xiàn)照片的智能裁剪,使得從美學(xué)角度裁剪出更加符合應(yīng)用場(chǎng)景的照片;本發(fā)明適用的照片類(lèi)型更加普遍,且操作方便、效率高。所以,本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點(diǎn)而具高度產(chǎn)業(yè)利用價(jià)值。
附圖說(shuō)明
圖1是本發(fā)明方法實(shí)施例的照片智能裁剪方法的流程圖;
圖2是本發(fā)明裝置實(shí)施例的照片智能裁剪裝置的結(jié)構(gòu)示意圖;
圖3是本發(fā)明實(shí)例1的照片智能裁剪方法的流程圖;
圖4是本發(fā)明實(shí)例2的照片智能裁剪方法的流程圖。
具體實(shí)施方式
下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例,然而應(yīng)當(dāng)理解,可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反,提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi),并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
為了解決現(xiàn)有技術(shù)剪出的照片美學(xué)質(zhì)量不能保證、或除人臉為主的照片外大量的普通照片卻無(wú)法實(shí)現(xiàn)智能裁剪的問(wèn)題,本發(fā)明提供了一種照片智能裁剪方法及裝置,以下結(jié)合附圖以及實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不限定本發(fā)明。
根據(jù)本發(fā)明的方法實(shí)施例,提供了一種照片智能裁剪方法,圖1是本發(fā)明方法實(shí)施例的照片智能裁剪方法的流程圖,如圖1所示,根據(jù)本發(fā)明方法實(shí)施例的照片智能裁剪方法包括如下處理:
步驟101,獲取智能設(shè)備照片圖像。
具體的,智能設(shè)備包括個(gè)人電腦、智能手機(jī)、平板電腦、智能眼鏡,以及其他具有攝像頭及數(shù)據(jù)處理功能的設(shè)備。
步驟102,在所述照片圖像中生成若干子區(qū)域,計(jì)算所述若干子區(qū)域的美學(xué)評(píng)分,根據(jù)所述美學(xué)評(píng)分得到最佳美感裁剪區(qū)域。具體的,在照片圖像中生成若干子區(qū)域包括用預(yù)設(shè)的滑動(dòng)窗口遍歷所述照片圖像,得到若干個(gè)子區(qū)域。
其中,步驟102包括以下兩種技術(shù)方案。第一種技術(shù)方案包括以下步驟:使用第一滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述第一滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分,選取最高美學(xué)評(píng)分,以最高美學(xué)評(píng)分對(duì)應(yīng)的位置作為最佳美感裁剪區(qū)域;其中,第一滑動(dòng)窗口選取以下中的一種或幾種:原始比例滑動(dòng)窗口、標(biāo)準(zhǔn)比例滑動(dòng)窗口、預(yù)設(shè)比例滑動(dòng)窗口。
更加具體的,當(dāng)所述第一滑動(dòng)窗口中包括所述預(yù)設(shè)比例滑動(dòng)窗口時(shí),所述使用第一滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述第一滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分,包括以下步驟:
使用預(yù)設(shè)比例滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述第一滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分。
更加具體的,當(dāng)所述第一滑動(dòng)窗口包括原始比例滑動(dòng)窗口和標(biāo)準(zhǔn)比例滑動(dòng)窗口時(shí),使用第一滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述第一滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分,選取最高美學(xué)評(píng)分,包括以下方案a和方案b。
具體的,方案a包括以下步驟:
使用原始比例滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述原始比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分;
使用標(biāo)準(zhǔn)比例滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述標(biāo)準(zhǔn)比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分;
在所述原始比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分、及所述標(biāo)準(zhǔn)比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分中選取最高美學(xué)評(píng)分。
具體的,方案b包括以下步驟:
使用原始比例滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述原始比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分;
選取原始比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分中最高的美學(xué)評(píng)分,根據(jù)最高的美學(xué)評(píng)分對(duì)應(yīng)的原始比例滑動(dòng)窗口的坐標(biāo)得到原始比例下的最佳美感裁剪區(qū)域;
計(jì)算所述標(biāo)準(zhǔn)比例滑動(dòng)窗口與所述原始比例下的最佳美感裁剪區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域;
按照指令選擇原始比例下的最佳美感裁剪區(qū)域或標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域中的一個(gè)作為圖像最佳美感裁剪區(qū)域。
更加具體的,在方案a和方案b中,原始比例滑動(dòng)窗口和標(biāo)準(zhǔn)比例滑動(dòng)窗口可選用為幾個(gè)尺度。例如當(dāng)原始比例滑動(dòng)窗口選用3個(gè)尺度,各尺度的縮放比為1.2,最小尺度滑動(dòng)窗口的水平方向邊長(zhǎng)為原始圖像水平方向長(zhǎng)邊的1/4時(shí),即表示選用以下三種尺度的原始比例圖像:大小為原始圖像大小的0.25倍、大小為原始圖像大小的0.25×1.2倍、大小為原始圖像大小的0.25×1.2×1.2倍。
步驟102的第二種技術(shù)方案包括以下步驟:使用第二滑動(dòng)窗口遍歷所述照片圖像,得到在遍歷的過(guò)程中所述第二滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分,以所述若干個(gè)美學(xué)評(píng)分作為遍歷過(guò)程中若干個(gè)第二滑動(dòng)窗口中心點(diǎn)坐標(biāo)的美學(xué)質(zhì)量值,根據(jù)若干個(gè)美學(xué)質(zhì)量值生成美學(xué)質(zhì)量圖譜;其中,所述第二滑動(dòng)窗口為照片圖像原始比例,且第二滑動(dòng)窗口小于或等于第一滑動(dòng)窗口,第二滑動(dòng)窗口步長(zhǎng)小于或等于第一滑動(dòng)窗口;
使用預(yù)設(shè)的聚類(lèi)算法得到所述美學(xué)質(zhì)量圖譜中的能量最高區(qū)域,以所述能量最高區(qū)域的最小外接矩形作為圖像最佳美感區(qū)域;
計(jì)算所需裁剪比例的窗口與所述圖像最佳美感區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為最佳美感裁剪區(qū)域。
具體的,當(dāng)所述第一滑動(dòng)窗口包括原始比例滑動(dòng)窗口和標(biāo)準(zhǔn)比例滑動(dòng)窗口時(shí),計(jì)算第一滑動(dòng)窗口與所述圖像最佳美感區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為最佳美感裁剪區(qū)域,包括以下步驟:
計(jì)算原始比例滑動(dòng)窗口與所述圖像最佳美感區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為原始比例下的最佳美感裁剪區(qū)域;
計(jì)算標(biāo)準(zhǔn)比例滑動(dòng)窗口與所述圖像最佳美感區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域;
在所述原始比例下的最佳美感裁剪區(qū)域、及標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域中選取中心與所述圖像最佳美感區(qū)域中心最近的一個(gè)作為圖像最佳美感裁剪區(qū)域。
作為本發(fā)明方法實(shí)施例的另一實(shí)施例,還包括以下步驟:獲取指定的目標(biāo)裁剪區(qū)域種子點(diǎn);進(jìn)一步的,所述使用預(yù)設(shè)的滑動(dòng)窗口遍歷所述照片圖像,得到在遍歷的過(guò)程中所述預(yù)設(shè)的滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分,包括以下步驟:
使用預(yù)設(shè)的滑動(dòng)窗口遍歷所述目標(biāo)裁剪區(qū)域種子點(diǎn)鄰域,得到在遍歷的過(guò)程中所述預(yù)設(shè)的滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分。
步驟103,根據(jù)所述最佳美感裁剪區(qū)域的坐標(biāo)裁剪所述照片圖像,得到所述照片圖像的最佳裁剪區(qū)域。
本發(fā)明實(shí)施例的照片智能裁剪方法通過(guò)圖像美學(xué)評(píng)價(jià)技術(shù)實(shí)現(xiàn)照片的智能裁剪,使得從美學(xué)角度裁剪出更加符合應(yīng)用場(chǎng)景的照片;本發(fā)明適用的照片類(lèi)型更加普遍,且操作方便、效率高。所以,本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點(diǎn)而具高度產(chǎn)業(yè)利用價(jià)值。
與本發(fā)明的方法實(shí)施例相對(duì)應(yīng),本發(fā)明還提供了一種照片智能裁剪裝置,圖2是本發(fā)明裝置實(shí)施例的照片智能裁剪裝置的結(jié)構(gòu)示意圖,如圖2所示,根據(jù)本發(fā)明裝置實(shí)施例的照片智能裁剪裝置包括:圖像獲取模塊20、計(jì)算模塊22、裁剪模塊24,以下對(duì)本發(fā)明實(shí)施例的各個(gè)模塊進(jìn)行詳細(xì)的說(shuō)明。
具體的,所述圖像獲取模塊20,用于獲取智能設(shè)備照片圖像。
所述計(jì)算模塊22,用于在所述照片圖像中生成若干子區(qū)域,計(jì)算所述若干子區(qū)域的美學(xué)評(píng)分,根據(jù)所述美學(xué)評(píng)分得到最佳美感裁剪區(qū)域。
具體的,在照片圖像中生成若干子區(qū)域包括用預(yù)設(shè)的滑動(dòng)窗口遍歷所述照片圖像,得到若干個(gè)子區(qū)域。
所述計(jì)算模塊具體用于:使用第一滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述第一滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分,選取最高美學(xué)評(píng)分,以最高美學(xué)評(píng)分對(duì)應(yīng)的位置作為最佳美感裁剪區(qū)域;其中,第一滑動(dòng)窗口選取以下中的一種或幾種:原始比例滑動(dòng)窗口、標(biāo)準(zhǔn)比例滑動(dòng)窗口、預(yù)設(shè)比例滑動(dòng)窗口;
或者,用于使用第二滑動(dòng)窗口遍歷所述照片圖像,得到在遍歷的過(guò)程中所述第二滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分,以所述若干個(gè)美學(xué)評(píng)分作為遍歷過(guò)程中若干個(gè)第二滑動(dòng)窗口中心點(diǎn)坐標(biāo)的美學(xué)質(zhì)量值,根據(jù)若干個(gè)美學(xué)質(zhì)量值生成美學(xué)質(zhì)量圖譜;其中,所述第二滑動(dòng)窗口為照片圖像原始比例,且第二滑動(dòng)窗口小于或等于第一滑動(dòng)窗口,第二滑動(dòng)窗口步長(zhǎng)小于或等于第一滑動(dòng)窗口;
使用預(yù)設(shè)的聚類(lèi)算法得到所述美學(xué)質(zhì)量圖譜中的能量最高區(qū)域,以所述能量最高區(qū)域的最小外接矩形作為圖像最佳美感區(qū)域;
計(jì)算所需裁剪比例的窗口與所述圖像最佳美感區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為最佳美感裁剪區(qū)域。
更加具體的,當(dāng)所述第一滑動(dòng)窗口包括原始比例滑動(dòng)窗口和標(biāo)準(zhǔn)比例滑動(dòng)窗口時(shí),所述計(jì)算模塊具體用于:
使用原始比例滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述原始比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分;
使用標(biāo)準(zhǔn)比例滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述標(biāo)準(zhǔn)比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分;
在所述原始比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分、及所述標(biāo)準(zhǔn)比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分中選取最高美學(xué)評(píng)分;
或者使用原始比例滑動(dòng)窗口遍歷所述照片圖像,利用預(yù)設(shè)的美學(xué)評(píng)價(jià)模型得到在遍歷的過(guò)程中所述原始比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分;
選取原始比例滑動(dòng)窗口對(duì)應(yīng)的若干個(gè)美學(xué)評(píng)分中最高的美學(xué)評(píng)分,根據(jù)最高的美學(xué)評(píng)分對(duì)應(yīng)的原始比例滑動(dòng)窗口的坐標(biāo)得到原始比例下的最佳美感裁剪區(qū)域;
計(jì)算所述標(biāo)準(zhǔn)比例滑動(dòng)窗口與所述原始比例下的最佳美感裁剪區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域;
按照指令選擇原始比例下的最佳美感裁剪區(qū)域或標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域中的一個(gè)作為圖像最佳美感裁剪區(qū)域;
或者計(jì)算第一滑動(dòng)窗口與所述圖像最佳美感區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為最佳美感裁剪區(qū)域,包括以下步驟:
計(jì)算原始比例滑動(dòng)窗口與所述圖像最佳美感區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為原始比例下的最佳美感裁剪區(qū)域;
計(jì)算標(biāo)準(zhǔn)比例滑動(dòng)窗口與所述圖像最佳美感區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域;
在所述原始比例下的最佳美感裁剪區(qū)域、及標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域中選取中心與所述圖像最佳美感區(qū)域中心最近的一個(gè)作為圖像最佳美感裁剪區(qū)域。
所述裁剪模塊24,用于根據(jù)所述最佳美感裁剪區(qū)域的坐標(biāo)裁剪所述照片圖像,得到所述照片圖像的最佳裁剪區(qū)域。
所述預(yù)設(shè)的美學(xué)評(píng)價(jià)模型通過(guò)訓(xùn)練得到,使用的機(jī)器學(xué)習(xí)方法包括卷積神經(jīng)網(wǎng)絡(luò)、受限玻爾茲曼機(jī)、深度置信網(wǎng)絡(luò)等。更進(jìn)一步的,本發(fā)明裝置實(shí)施例還包括模型訓(xùn)練模塊,所述模型訓(xùn)練模塊用于:
獲取已知美學(xué)評(píng)分的若干個(gè)圖像;
利用已知美學(xué)評(píng)分的若干個(gè)圖像對(duì)預(yù)設(shè)的美學(xué)評(píng)價(jià)模型進(jìn)行訓(xùn)練,得到訓(xùn)練后的美學(xué)評(píng)價(jià)模型。
本發(fā)明的照片智能裁剪方法及系統(tǒng),具有以下有益效果:
1、本發(fā)明可以從最佳美學(xué)的角度智能地裁剪出標(biāo)準(zhǔn)比例的照片,解決了人工手動(dòng)裁剪照片可能出現(xiàn)低美感以及裁剪出的照片比例非標(biāo)準(zhǔn)的情況,以符合實(shí)際應(yīng)用需求。
2、支持交互功能,可以在人工指定點(diǎn)的鄰域范圍內(nèi)裁剪出最佳美學(xué)的照片,以更好地滿(mǎn)足用戶(hù)的定制化裁剪需求。
為了更加詳細(xì)的說(shuō)明本發(fā)明的實(shí)施例,給出實(shí)例1和實(shí)例2。
如圖3所示,實(shí)例1包括以下步驟:
步驟s1:從智能設(shè)備相冊(cè)中獲取照片圖像。
步驟s2:系統(tǒng)判斷是否人工指定有圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn)。
步驟s3:若沒(méi)有人工指定的目標(biāo)裁剪區(qū)域種子點(diǎn),使用多尺度的原始比例及標(biāo)準(zhǔn)比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑動(dòng)窗口遍歷圖像,并使用卷積神經(jīng)網(wǎng)絡(luò)美學(xué)評(píng)價(jià)模型計(jì)算得到各窗口內(nèi)的美學(xué)評(píng)分。選取原始比例及標(biāo)準(zhǔn)比例窗口的最高美學(xué)評(píng)分對(duì)應(yīng)的位置,作為原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域;
若存在人工指定的目標(biāo)裁剪區(qū)域種子點(diǎn),使用多尺度原始比例及標(biāo)準(zhǔn)比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑動(dòng)窗口遍歷種子點(diǎn)鄰域,確保各滑動(dòng)窗口包含種子點(diǎn),并使用卷積神經(jīng)網(wǎng)絡(luò)美學(xué)評(píng)價(jià)模型計(jì)算得到各窗口內(nèi)的美學(xué)評(píng)分。選取原始比例及標(biāo)準(zhǔn)比例窗口的最高美學(xué)評(píng)分對(duì)應(yīng)的位置,作為原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域。
步驟s4:智能設(shè)備分別根據(jù)原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域的坐標(biāo)裁剪原始圖像,得到原始比例及標(biāo)準(zhǔn)比例下圖像最佳裁剪區(qū)域。多比例圖像裁剪結(jié)果供用戶(hù)選擇。若最佳美感裁剪區(qū)域坐標(biāo)即為原始圖像坐標(biāo),則無(wú)需裁剪。
在步驟s1中,從智能設(shè)備相冊(cè)中獲取照片圖像。
在步驟s2中,系統(tǒng)判斷是否人工指定有圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn)。
在步驟s3中,若沒(méi)有人工指定圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn),使用多尺度的原始比例及標(biāo)準(zhǔn)比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑動(dòng)窗口以一定步長(zhǎng)遍歷圖像,并使用卷積神經(jīng)網(wǎng)絡(luò)美學(xué)評(píng)價(jià)模型計(jì)算得到各窗口內(nèi)的美學(xué)評(píng)分(1-10分)。選取原始比例及標(biāo)準(zhǔn)比例窗口的最高美學(xué)評(píng)分對(duì)應(yīng)的位置,作為原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域。
需要說(shuō)明的是,美學(xué)評(píng)價(jià)模型通過(guò)訓(xùn)練得到,避免了人工規(guī)則模型的主觀性和片面性。檢測(cè)原始比例與多種標(biāo)準(zhǔn)比例(1:1、5:3、4:3、16:9、16:9、3:2、7:5)下最佳美感裁剪區(qū)域時(shí),除去使用所有比例下的滑動(dòng)窗口遍歷圖像外,亦可只用原始比例窗口遍歷一次圖像得到原始比例下最佳美感裁剪區(qū)域,隨后計(jì)算多種標(biāo)準(zhǔn)比例窗口與原始比例下最佳美感裁剪區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域。
優(yōu)選地,滑動(dòng)窗口共7個(gè)尺度,各尺度縮放比為1.2,最小尺度滑動(dòng)窗口的水平方向邊長(zhǎng)設(shè)為原始圖像水平方向長(zhǎng)邊的1/4,滑動(dòng)窗口的水平方向步長(zhǎng)設(shè)為原始圖像水平方向邊長(zhǎng)的1/16,滑動(dòng)窗口的豎直方向步長(zhǎng)設(shè)為原始圖像豎直方向邊長(zhǎng)的1/16。
在所述步驟s3中,若人工指定圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn),使用多尺度原始比例及標(biāo)準(zhǔn)比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑動(dòng)窗口遍歷種子點(diǎn)鄰域,并確保各滑動(dòng)窗口包含種子點(diǎn)。使用卷積神經(jīng)網(wǎng)絡(luò)美學(xué)評(píng)價(jià)模型計(jì)算得到各窗口內(nèi)的美學(xué)評(píng)分(1-10分),選取原始比例及標(biāo)準(zhǔn)比例窗口的最高美學(xué)評(píng)分對(duì)應(yīng)的位置,作為原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域。
需要說(shuō)明的是,美學(xué)評(píng)價(jià)模型通過(guò)訓(xùn)練得到,避免了人工規(guī)則模型的主觀性和片面性。檢測(cè)原始比例與多種標(biāo)準(zhǔn)比例(1:1、5:3、4:3、16:9、16:9、3:2、7:5)下最佳美感裁剪區(qū)域時(shí),除去使用所有比例下的滑動(dòng)窗口遍歷圖像外,亦可只用原始比例窗口遍歷一次圖像得到原始比例下最佳美感裁剪區(qū)域,隨后計(jì)算多種標(biāo)準(zhǔn)比例窗口與原始比例下最佳美感裁剪區(qū)域的最大交并比,將產(chǎn)生最大交并比的位置作為標(biāo)準(zhǔn)比例下的最佳美感裁剪區(qū)域。
優(yōu)選地,滑動(dòng)窗口共7個(gè)尺度,各尺度縮放比為1.2,最小尺度滑動(dòng)窗口的水平方向邊長(zhǎng)設(shè)為原始圖像水平方向長(zhǎng)邊的1/4,滑動(dòng)窗口的水平方向步長(zhǎng)設(shè)為原始圖像水平方向邊長(zhǎng)的1/16,滑動(dòng)窗口的豎直方向步長(zhǎng)設(shè)為原始圖像豎直方向邊長(zhǎng)的1/16。優(yōu)選地,在種子點(diǎn)鄰域內(nèi)使用物體識(shí)別算法,確保種子點(diǎn)鄰域包含種子點(diǎn)物體的輪廓?,F(xiàn)有技術(shù)中已經(jīng)有很多成熟的物體識(shí)別算法,故在此不再贅述。
在所述步驟s4中,智能設(shè)備分別根據(jù)原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域的坐標(biāo)裁剪原始圖像,得到原始比例及標(biāo)準(zhǔn)比例下圖像最佳裁剪區(qū)域。多比例圖像裁剪結(jié)果供用戶(hù)選擇。若最佳美感裁剪區(qū)域坐標(biāo)即為原始圖像坐標(biāo),則無(wú)需裁剪。
需要說(shuō)明的是,亦可由用戶(hù)指定所需裁剪比例,本方法及系統(tǒng)將根據(jù)用戶(hù)指定裁剪比例裁剪出最佳圖像區(qū)域。
如圖4所示,實(shí)例2包括以下步驟:
步驟s1:從智能設(shè)備相冊(cè)中獲取照片圖像。
步驟s2:使用卷積神經(jīng)網(wǎng)絡(luò)美學(xué)評(píng)價(jià)模型生成照片圖像的美學(xué)質(zhì)量圖譜。
步驟s3:系統(tǒng)判斷是否人工指定有圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn)。
步驟s4:若沒(méi)有人工指定圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn),使用聚類(lèi)算法得到美學(xué)質(zhì)量圖譜中能量最高區(qū)域,得到能量最高區(qū)域的最小外接矩形的坐標(biāo),其對(duì)應(yīng)圖像最佳美感區(qū)域坐標(biāo)。分別計(jì)算得到多尺度原始比例及標(biāo)準(zhǔn)比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口與圖像最佳美感區(qū)域的最大交并比的坐標(biāo)位置,作為原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域。
若人工指定圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn),使用聚類(lèi)算法得到種子點(diǎn)鄰域內(nèi)美學(xué)質(zhì)量圖譜中能量最高區(qū)域,并確保能量最高區(qū)域范圍包含種子點(diǎn),得到能量最高區(qū)域的最小外接矩形的坐標(biāo),其對(duì)應(yīng)圖像最佳美感區(qū)域坐標(biāo)。分別計(jì)算得到多尺度原始比例及標(biāo)準(zhǔn)比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口與圖像最佳美感區(qū)域的最大交并比的坐標(biāo)位置,作為原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域。
步驟s5:智能設(shè)備分別根據(jù)原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域的坐標(biāo)裁剪原始圖像,得到原始比例及標(biāo)準(zhǔn)比例下圖像最佳裁剪區(qū)域。多比例圖像裁剪結(jié)果供用戶(hù)選擇。若最佳美感裁剪區(qū)域坐標(biāo)即為原始圖像坐標(biāo),則無(wú)需裁剪。
在步驟s1中,從智能設(shè)備相冊(cè)中獲取照片圖像。
在步驟s2中,使用卷積神經(jīng)網(wǎng)絡(luò)美學(xué)評(píng)價(jià)模型生成照片圖像的美學(xué)質(zhì)量圖譜。以一定大小和步長(zhǎng)的滑動(dòng)窗口遍歷圖像,使用卷積神經(jīng)網(wǎng)絡(luò)美學(xué)評(píng)價(jià)模型計(jì)算每個(gè)滑動(dòng)窗口的美學(xué)評(píng)分(1-10分)作為滑動(dòng)窗中心點(diǎn)坐標(biāo)的美學(xué)質(zhì)量值,隨著滑動(dòng)窗口遍歷完成,即生成美學(xué)質(zhì)量圖譜。
需要說(shuō)明的是,美學(xué)評(píng)價(jià)模型通過(guò)訓(xùn)練得到,避免了人工規(guī)則模型的主觀性和片面性。
優(yōu)選地,滑動(dòng)窗口的長(zhǎng)寬比與原始圖像相同,滑動(dòng)窗口的水平方向邊長(zhǎng)設(shè)為原始圖像水平方向長(zhǎng)邊的1/4,滑動(dòng)窗口的豎直方向邊長(zhǎng)設(shè)為原始圖像豎直方向長(zhǎng)邊的1/4,滑動(dòng)窗口的水平方向步長(zhǎng)設(shè)為原始圖像水平方向邊長(zhǎng)的1/32,滑動(dòng)窗口的豎直方向步長(zhǎng)設(shè)為原始圖像豎直方向邊長(zhǎng)的1/32。
在步驟s3中,系統(tǒng)判斷是否人工指定有圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn)。
在步驟s4中,若沒(méi)有人工指定圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn),使用聚類(lèi)算法得到美學(xué)質(zhì)量圖譜中能量最高區(qū)域,得到能量最高區(qū)域的最小外接矩形的坐標(biāo),其對(duì)應(yīng)圖像最佳美感區(qū)域坐標(biāo)。分別計(jì)算得到多尺度原始比例及標(biāo)準(zhǔn)比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口與圖像最佳美感區(qū)域的最大交并比的坐標(biāo)位置,作為原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域。
需要說(shuō)明的是,當(dāng)多尺度原始比例及標(biāo)準(zhǔn)比例窗口與圖像最佳美感區(qū)域產(chǎn)生的最大交并比的坐標(biāo)位置不唯一時(shí),選取窗口中心與圖像最佳美感區(qū)域中心最近的窗口作為最佳美感裁剪區(qū)域。
在步驟s4中,若人工指定圖像中的某一坐標(biāo)作為目標(biāo)裁剪區(qū)域種子點(diǎn),使用聚類(lèi)算法得到種子點(diǎn)鄰域內(nèi)美學(xué)質(zhì)量圖譜中能量最高區(qū)域,并確保能量最高區(qū)域范圍包含種子點(diǎn),得到能量最高區(qū)域的最小外接矩形的坐標(biāo),其對(duì)應(yīng)圖像最佳美感區(qū)域坐標(biāo)。分別計(jì)算得到多尺度原始比例及標(biāo)準(zhǔn)比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口與圖像最佳美感區(qū)域的最大交并比的坐標(biāo)位置,作為原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域。
需要說(shuō)明的是,當(dāng)多尺度原始比例及標(biāo)準(zhǔn)比例窗口與圖像最佳美感區(qū)域產(chǎn)生的最大交并比的坐標(biāo)位置不唯一時(shí),選取窗口中心與圖像最佳美感區(qū)域中心最近的窗口作為最佳美感裁剪區(qū)域。優(yōu)選地,在種子點(diǎn)鄰域內(nèi)使用物體識(shí)別算法,確保種子點(diǎn)鄰域包含種子點(diǎn)物體的輪廓?,F(xiàn)有技術(shù)中已經(jīng)有很多成熟的物體識(shí)別算法,故在此不再贅述。
在所述步驟s5中,智能設(shè)備分別根據(jù)原始比例及標(biāo)準(zhǔn)比例下最佳美感裁剪區(qū)域的坐標(biāo)裁剪原始圖像,得到原始比例及標(biāo)準(zhǔn)比例下圖像最佳裁剪區(qū)域。多比例圖像裁剪結(jié)果供用戶(hù)選擇。若最佳美感裁剪區(qū)域坐標(biāo)即為原始圖像坐標(biāo),則無(wú)需裁剪。
需要說(shuō)明的是,亦可由用戶(hù)指定所需裁剪比例,本方法及系統(tǒng)將根據(jù)用戶(hù)指定裁剪比例裁剪出最佳圖像區(qū)域。
本發(fā)明可自動(dòng)裁剪出照片中最美區(qū)域,而且提供用戶(hù)交互的操作方式,可裁剪出用戶(hù)指定位置附近最美照片,同時(shí)預(yù)先對(duì)相冊(cè)照片進(jìn)行場(chǎng)景分類(lèi),提升美學(xué)評(píng)價(jià)準(zhǔn)確性,采用卷積神經(jīng)網(wǎng)絡(luò)美學(xué)評(píng)價(jià)模型,避免人工規(guī)則特征的主觀性和片面性。本方法及系統(tǒng)可以適用的范圍廣,可在智能設(shè)備中廣泛適用。
以上所述僅為本發(fā)明的實(shí)施例而已,并不用于限制本發(fā)明,對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō),本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的權(quán)利要求范圍之內(nèi)。