一種基于手繪草圖部件分割的三維模型檢索系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于手繪草圖部件分割的三 維模型檢索系統(tǒng)及方法。
【背景技術(shù)】
[0002] 近年來，伴隨著計(jì)算機(jī)輔助設(shè)計(jì)、計(jì)算機(jī)輔助制造、虛擬現(xiàn)實(shí)、三維動(dòng)畫和三維游 戲等領(lǐng)域的快速發(fā)展，互聯(lián)網(wǎng)上的三維模型數(shù)量急劇增長。然而，三維模型不同于傳統(tǒng)的圖 片、音頻或視頻等多媒體信息，它本身包含了許多細(xì)節(jié)信息難以用文字表達(dá)出來。
[0003] 然而，目前的三維模型檢索方法在應(yīng)用上仍不盡如人意。一方面，當(dāng)用戶需要某種 三維模型資源時(shí)，往往手邊并沒有現(xiàn)成的模型文件；另一方面，隨著觸摸屏和電子筆的快速 普及，用戶能輕松地通過手繪草圖的方式勾勒出模型的輪廓。三維模型的手繪草圖，可以視 為是從某個(gè)視角投影視圖的輪廓線。手繪草圖可以是簡單的外輪廓線，也可以包含內(nèi)輪廓 線的細(xì)節(jié)信息。由于手繪草圖的用戶美術(shù)基礎(chǔ)不同，輸入設(shè)備不同，描繪模型的詳細(xì)程度自 然也不盡相同。而三維模型的手繪草圖通常包含重疊的、分離的或不閉合的部件輪廓線，現(xiàn) 有的相關(guān)研宄通常基于對(duì)手繪草圖進(jìn)行的手工分割或標(biāo)記，雖然這些手工指定的信息有助 于計(jì)算機(jī)對(duì)手繪草圖進(jìn)行分析，但是它通常要求用戶手繪草圖時(shí)遵循一定的規(guī)則約束，這 在某種程度上限制了用戶手繪的自由程度，或者說對(duì)用戶的繪畫基礎(chǔ)提出了要求。
[0004] 按照檢索方式分類，目前的三維模型的檢索主要分為兩大類，分別是傳統(tǒng)的基于 文本的檢索（Text-basedRetrieval)方法和基于內(nèi)容的檢索（Content-basedRetrieval) 方法。
[0005] (1)基于文本的三維模型檢索方法
[0006] 基于文本的三維模型檢索方法是基于關(guān)鍵詞的，是目前最為普遍的檢索方式。這 需要對(duì)數(shù)據(jù)庫中的三維模型人為地添加用以描述它的關(guān)鍵詞，比如SketchUp的3D模型 庫（3DWarehouse)、TurboSquid的專業(yè)模型庫和中國臺(tái)灣大學(xué)的3D蛋白質(zhì)檢索系統(tǒng)（3D ProteinRetrievalSystem)等，現(xiàn)在能夠在網(wǎng)上找到一些大型的商用的模型檢索平臺(tái)，它 們大多是這類基于關(guān)鍵詞的三維模型檢索方式。
[0007] (2)基于內(nèi)容的三維模型檢索方法
[0008] 基于內(nèi)容的檢索方法是三維模型檢索的研宄熱點(diǎn)。如圖1所示為基于內(nèi)容的三維 模型檢索的基本框架，框架整體分為離線部分和在線部分。對(duì)于離線部分，每個(gè)3D模型都 需要用形狀描述符標(biāo)示。為了提升檢索效率，通常對(duì)數(shù)據(jù)庫中各模型特征描述符建立索引。 對(duì)于在線部分，進(jìn)行查詢表達(dá)的輸入主要可分為兩種方式：一種是提供一個(gè)與目標(biāo)模型同 類的三維模型；另一種是手繪目標(biāo)模型的草圖。在計(jì)算特征描述符后，將用戶檢索輸入數(shù)據(jù) 的描述符與數(shù)據(jù)庫中模型特征描述符進(jìn)行相似度比較，然后按照相似度大小遞減的順序?qū)?結(jié)果返回，并可視化地呈現(xiàn)給用戶。
[0009] 現(xiàn)有技術(shù)中存在的缺點(diǎn)：
[0010] (1)基于文本的三維模型檢索方法
[0011] 傳統(tǒng)的基于文本關(guān)鍵詞的方式并不能很好地適用在三維模型檢索的場(chǎng)景里，其主 要原因有三點(diǎn)：第一，三維模型具有復(fù)雜的拓?fù)浣Y(jié)構(gòu)、形狀特征，且種類繁多，其本身蘊(yùn)含很 多細(xì)節(jié)信息難以用幾個(gè)關(guān)鍵詞來表達(dá)清楚。第二，給三維模型添加文本關(guān)鍵詞的加標(biāo)簽過 程需要手工完成，而互聯(lián)網(wǎng)上三維模型數(shù)量快速增長，手工添加的方式較為繁瑣，工作量也 很大。第三，由于不同人對(duì)種類繁多的三維模型的理解不同，所想到的描述它的關(guān)鍵詞也有 較大差異，容易導(dǎo)致檢索關(guān)鍵詞與目標(biāo)模型的標(biāo)簽不一致，且手工加關(guān)鍵詞標(biāo)簽的方式受 限于標(biāo)簽語言種類，也不便于進(jìn)行國際化推廣。正是基于這些原因，僅采用簡單的關(guān)鍵詞進(jìn) 行檢索，成功率會(huì)很低，許多時(shí)候得不到想要的結(jié)果。比如，用戶想要檢索某種特定外形和 圖案的轎車，那么僅僅依靠關(guān)鍵詞難以搜索到準(zhǔn)確的、滿意的結(jié)果。
[0012] (2)基于內(nèi)容的三維模型檢索方法
[0013] 對(duì)于基于三維模型實(shí)例的模型檢索，其缺點(diǎn)是用戶在發(fā)起檢索時(shí)，通常很難找到 一個(gè)非常合適的模型實(shí)例作為輸入，因?yàn)榧偃缬脩羰诸^有非常合適的目標(biāo)模型的話，那么 也就沒必要進(jìn)行檢索了。
[0014] 對(duì)于基于手繪草圖的三維模型檢索，其缺點(diǎn)在于它通常沒有考慮草圖整體的結(jié) 構(gòu)，它只是基于區(qū)域局部來考慮的；它的另一個(gè)缺點(diǎn)就是對(duì)用戶草圖的風(fēng)格比較敏感，如果 用戶在局部的輪廓線繪制風(fēng)格差異較大，那么它提取的結(jié)果差異就會(huì)放大，這勢(shì)必會(huì)影響 最終的檢索結(jié)果。

【發(fā)明內(nèi)容】

[0015] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于手繪草圖部件分 割的三維模型檢索系統(tǒng)及方法，可以使得基于手繪草圖的三維模型檢索更加精準(zhǔn)有效。
[0016] 為了解決上述問題，本發(fā)明提出了一種基于手繪草圖部件分割的三維模型檢索系 統(tǒng)，所述系統(tǒng)包括：
[0017] 預(yù)處理模塊，用于接收手繪查詢草圖，對(duì)所述手繪查詢草圖進(jìn)行去噪處理獲得灰 度圖，并對(duì)所述灰度圖進(jìn)行二值化處理、邊界擴(kuò)展處理、圖像孔洞填充處理，獲得處理后的 圖像；
[0018] 部件標(biāo)記模塊，用于對(duì)所述處理后的圖像進(jìn)行等間隔采樣，獲得采樣點(diǎn)，并對(duì)所述 采樣點(diǎn)添加部件標(biāo)簽；
[0019] 采樣點(diǎn)特征提取模塊，用于提取所述采樣點(diǎn)的各種特征向量；
[0020] 部件分割模塊，用于根據(jù)添加部件標(biāo)簽后的采樣點(diǎn)的各種特征向量進(jìn)行分割模型 訓(xùn)練；
[0021] 相似度計(jì)算與總評(píng)分排序模塊，用于基于分割模型進(jìn)行部件局部特征提取以及部 件局部相似度計(jì)算，并對(duì)所述處理后的圖像進(jìn)行視圖全局特征提取及視圖全局相似度計(jì) 算，按照總評(píng)分進(jìn)行排序，并將排序結(jié)果返回給客戶端。
[0022] 優(yōu)選地，所述預(yù)處理模塊包括：
[0023] 草圖去噪處理單元，用于對(duì)所述手繪查詢草圖進(jìn)行去噪處理獲得灰度圖；
[0024] 二值化處理單元，用于對(duì)所述灰度圖進(jìn)行二值化處理；
[0025] 邊界擴(kuò)展處理單元，用于對(duì)二值化處理后的圖像四周進(jìn)行空白填充處理；
[0026] 圖像孔洞填充處理單元，用于對(duì)空白填充處理后的圖像進(jìn)行圖像孔洞填充處理。
[0027] 優(yōu)選地，所述部件標(biāo)記模塊包括：
[0028] 輪廓線提取單元，用于對(duì)所述處理后的圖像進(jìn)行輪廓線提??；
[0029] 采樣單元，用于對(duì)提取輪廓線后的圖像進(jìn)行等間隔采樣，獲得采樣點(diǎn)；
[0030] 部件標(biāo)記單元，用于對(duì)所述采樣點(diǎn)添加部件標(biāo)簽。
[0031] 優(yōu)選地，所述采樣點(diǎn)特征提取模塊包括：
[0032] -元特征提取單元，用于對(duì)添加部件標(biāo)簽后的采樣點(diǎn)進(jìn)行一元特征提??；
[0033] 二元特征提取單元，用于對(duì)添加部件標(biāo)簽后的采樣點(diǎn)進(jìn)行二元特征提取。
[0034] 優(yōu)選地，所述部件分割模塊包括：
[0035] 分割模型訓(xùn)練單元，用于根據(jù)添加部件標(biāo)簽后的采樣點(diǎn)的各種特征向量進(jìn)行分割 豐吳型訓(xùn)練；
[0036] 部件分割單元，用于根據(jù)分割模型對(duì)添加部件標(biāo)簽后的采樣點(diǎn)進(jìn)行部件分割。
[0037] 相應(yīng)地，本發(fā)明還提供一種基于手繪草圖部件分割的三維模型檢索方法，所述方 法包括：
[0038] 接收手繪查詢草圖，對(duì)所述手繪查詢草圖進(jìn)行去噪處理獲得灰度圖，并對(duì)所述灰 度圖進(jìn)行二值化處理、邊界擴(kuò)展處理、圖像孔洞填充處理，獲得處理后的圖像；
[0039] 對(duì)所述處理后的圖像進(jìn)行等間隔采樣，獲得采樣點(diǎn)，并對(duì)所述采樣點(diǎn)添加部件標(biāo) 簽；
[0040] 提取所述采樣點(diǎn)的各種特征向量；
[0041] 根據(jù)添加部件標(biāo)簽后的采樣點(diǎn)的各種特征向量進(jìn)行分割模型訓(xùn)練；
[0042] 基于分割模型進(jìn)行部件局部特征提取以及部件局部相似度計(jì)算，并對(duì)所述處理后 的圖像進(jìn)行視圖全局特征提取及視圖全局相似度計(jì)算，按照總評(píng)分進(jìn)行排序，并將排序結(jié) 果返回給客戶端。
[0043] 優(yōu)選地，所述對(duì)所述手繪查詢草圖進(jìn)行去噪處理獲得灰度圖，并對(duì)所述灰度圖進(jìn) 行二值化處理、邊界擴(kuò)展處理、圖像孔洞填充處理，獲得處理后的圖像的步驟，包括：
[0044] 對(duì)所述手繪查詢草圖進(jìn)行去噪處理獲得灰度圖；
[0045] 對(duì)所述灰度圖進(jìn)行二值化處理；
[0046] 對(duì)二值化處理后的圖像四周進(jìn)行空白填充處理；
[0047] 對(duì)空白填充處理后的圖像進(jìn)行圖像孔洞填充處理。
[0048] 優(yōu)選地，所述對(duì)所述處理后的圖像進(jìn)行等間隔采樣，獲得采樣點(diǎn)，并對(duì)所述采樣點(diǎn) 添加部件標(biāo)簽的步驟，包括：
[0049] 對(duì)所述處理后的圖像進(jìn)行輪廓線提取；
[0050] 對(duì)提取輪廓線后的圖像進(jìn)行等間隔采樣，獲得采樣點(diǎn)；
[0051] 對(duì)所述采樣點(diǎn)添加部件標(biāo)簽。
[0052] 優(yōu)選地，所述提取所述采樣點(diǎn)的各種特征向量的步驟，包括：
[0053] 對(duì)添加部件標(biāo)簽后的采樣點(diǎn)進(jìn)行一元特征提??；
[0054] 對(duì)添加部件標(biāo)簽后的采樣點(diǎn)進(jìn)行二元特征提取。