室內(nèi)場景掃描重建的方法及裝置的制造方法
【技術領域】
[0001] 本發(fā)明涉及三維掃描重建技術領域，特別涉及一種室內(nèi)場景掃描重建的方法及裝 置。
【背景技術】
[0002] 目前，三維重建技術一直是計算機視覺和計算機圖形學領域研究的重點。從最初 的對三維空間中一個點的三維重建到對某個特定物體的三維重建，再到對整個室內(nèi)場景乃 至整個城市的三維重建，三維重建的研究取得了長足的發(fā)展和進步，且已經(jīng)應用到了人類 日常生活的方方面面，例如：3D打印、數(shù)字博物館、視覺跟蹤、地形導航等。對于三維場景建 模來說，數(shù)字化再現(xiàn)技術可以方便的處理和分析周圍的環(huán)境信息，使得現(xiàn)實場景能在每個 角度看清細節(jié)，最終使得不論是人類還是機器人，都可以解讀所在的周邊環(huán)境?，F(xiàn)如今，隨 著科技的迅速發(fā)展各種3D測量設備隨之出現(xiàn)，3D各場景的重建有了更多方法和途徑。場景 從一開始的簡單的小型物體到復雜的大型室內(nèi)外場景，使得人們生活愈加享受到3D重建 帶來的優(yōu)越。
[0003] 近年來，對大范圍室內(nèi)場景進行數(shù)字化的研究受到了越來越多的關注。真實場景 的數(shù)字化，可以讓我們可以在不同視角下充分觀察欣賞場景的各個部分。近年來，多種三維 測量設備的迅速發(fā)展也為三維場景重構(gòu)提供了更多的實現(xiàn)手段。但是由于室內(nèi)場景中各種 物體間的互相遮擋，或數(shù)據(jù)獲取裝置自身的物理限制等原因，利用傳統(tǒng)的室內(nèi)場景三維重 建及分割方法很難得到一個完整、較高精度的環(huán)境模型，且重建得到三維模型往往功能意 義不明確，用戶也無法與之交互。要想得到有明確意義的室內(nèi)場景模型，我們需要對掃描重 建得到地結(jié)果進行分割，但由于室內(nèi)場景情況復雜、遮擋嚴重，使得完全使用軟件算法的分 割方法極具挑戰(zhàn)性。如果在后續(xù)工作中想將此重建模型用到虛擬漫游、室內(nèi)設計等應用中， 很多時候都需要人為進行一些分割、識別、添加語義、實現(xiàn)動畫等一系列工作。
[0004] 在現(xiàn)有典型的室內(nèi)場景獲取工作中，通常是一個操作員手持深度攝像機在室內(nèi)場 景中移動來掃描捕捉場景數(shù)據(jù)。但是對于人類來說，精細化的場景掃描是一個枯燥無聊的 活，特別是對于大尺度、包含很多物體的室內(nèi)場景。要解決這一問題，利用移動機器人對室 內(nèi)場景進行全自動掃描就成了一個十分吸引人的方案。
[0005] 從單個物體的點云數(shù)據(jù)中進行表面重建的研究已經(jīng)趨近成熟，現(xiàn)今關于三維掃描 和重建的研發(fā)重點越來越多地轉(zhuǎn)向了室內(nèi)場景。特別是隨著低成本深度傳感器（如微軟公 司的Kinect深度傳感器，華碩公司的XtionLive深度傳感器，Intel公司的Realsense傳 感器）的快速發(fā)展和SLAM相關技術的成熟，實時場景掃描和重建得到了學術界和產(chǎn)業(yè)界的 一致重視。這些方法的共同之處是，最終都是用一個三維模型來表示整個重建的場景。然 而，室內(nèi)場景是由它其中的物體及物體之間的空間關系所表征的。如果不能有效地表示室 內(nèi)場景中有意義的、具體的物品，那么重建得到的場景三維模型的作用是有很大限制的。如 之前所述的工作，因為最后得到的是單個三維模型，所以無法用于場景中的物體檢索、編輯 與合成。因此，更有意義、更具使用價值的室內(nèi)場景重建應該要能夠提取重建場景中的各種 物品并由此能推斷各物品之間的相關關系。
[0006] 要想提取場景中的各個物品，就得對重建場景進行分割分析。傳統(tǒng)的方法主要是 利用3D模型數(shù)據(jù)要輔助進行物體提取和識別。有些工作利用室內(nèi)場景中物體重復出現(xiàn)作 為線索進行場景理解，還有一些工作利用人類在室內(nèi)場景的活動數(shù)據(jù)來幫助進行場景語義 分析。但是，這些工作都是使用掃描好的場景數(shù)據(jù)作為輸入，這種線下的分析方法缺少關于 場景結(jié)構(gòu)的第一手信息，必須依靠先驗知識（由人或另外的數(shù)據(jù)庫提供）或者掃描時記錄 的額外信息才完成分析。
[0007]利用機器人對單個物體進行掃描重建在之前已經(jīng)有不少工作，但是從全局重建， 特別是物體級別的場景重建的角度來評價，現(xiàn)在只有很少的工作研究了如何進行全自動 場景掃描重建。此外，目前也有一些通過機器人交互從場景中提取物體的技術方案，最接 近并且最新的解決方案是一種基于機器人推動的場景中物體分割方法，該方法的核心思 想是利用RGB圖像和三維點云作為輸入來計算推動點和推動方向，并在推動過程中提取 Shi-Tomasi特征利用光流跟蹤法對物體進行跟蹤，最后對特征的運動軌跡進行聚類以分割 物體。
[0008] 綜上所述，現(xiàn)有技術的缺點主要包括以下幾點：
[0009] (1)處理場景有限：現(xiàn)有技術只能對桌面上的若干個物體進行分析，不能對大范 圍雜亂的整個室內(nèi)場景進行處理。
[0010] (2)分割準確率不高：在相同交互次數(shù)（10次左右）、相同場景（桌面上的日常物 品）的情況下，現(xiàn)有方法的分割準確率只有70%~80%。
[0011] (3)交互效率不高：現(xiàn)有技術對只有5-6個物體的小場景就需要推動10-12次才 能得到令人滿意的分割結(jié)果。
[0012] (4)不能有效地重建場景中的物體：現(xiàn)有工作都沒有考慮如何重建分割出來的物 體。

【發(fā)明內(nèi)容】

[0013] 本發(fā)明實施例提供了一種室內(nèi)場景掃描重建的方法，用以對大范圍雜亂的整個室 內(nèi)場景進行處理，有效地重建場景中的物體，提高室內(nèi)場景重建的效率和精度，該方法包 括：
[0014] 獲得位于室內(nèi)空間的機器人捕獲的所述室內(nèi)空間的掃描圖像信息，根據(jù)所述掃描 圖像信息重建所述室內(nèi)空間的三維場景模型圖；
[0015]將所述三維場景模型圖分割為多個興趣區(qū)域；對于每個興趣區(qū)域，均執(zhí)行以下操 作：將興趣區(qū)域分割為多個小區(qū)域；控制所述機器人對每個小區(qū)域?qū)矬w施加推力，獲 得施加推力后的所述多個小區(qū)域的圖像；將施加推力后的小區(qū)域圖像與施加推力前的小區(qū) 域圖像進行比較，根據(jù)比較結(jié)果，分割圖像中的物體，以及控制機器人對施加推力后分離的 物體中沒有掃描完全的部分進行掃描，獲取物體完整的三維數(shù)據(jù)；
[0016]根據(jù)分割出的物體和物體的完整三維數(shù)據(jù)，對室內(nèi)場景進行重建。
[0017] 本發(fā)明還提供了一種室內(nèi)場景掃描重建的裝置，用以對大范圍雜亂的整個室內(nèi)場 景進行處理，有效地重建場景中的物體，提高室內(nèi)場景重建的效率和精度，該裝置包括：
[0018]初步掃描重建模塊，用于獲得位于室內(nèi)空間的機器人捕獲的所述室內(nèi)空間的掃描 圖像信息，根據(jù)所述掃描圖像信息重建所述室內(nèi)空間的三維場景模型圖；
[0019] 分割掃描處理模塊，用于將所述三維場景模型圖分割為多個興趣區(qū)域；對于每個 興趣區(qū)域，均執(zhí)行以下操作：將興趣區(qū)域分割為多個小區(qū)域；控制所述機器人對每個小區(qū) 域?qū)矬w施加推力，獲得施加推力后的所述多個小區(qū)域的圖像；將施加推力后的小區(qū)域 圖像與施加推力前的小區(qū)域圖像進行比較，根據(jù)比較結(jié)果，分割圖像中的物體，以及控制機 器人對施加推力后分離的物體中沒有掃描完全的部分進行掃描，獲取物體完整的三維數(shù) 據(jù)；
[0020] 重建模塊，根據(jù)分割出的物體和物體的完整三維數(shù)據(jù)，對室內(nèi)場景進行重建。
[0021] 與現(xiàn)有技術相比較，本發(fā)明實施例提供的技術方案，首先，利用機器人對整個室內(nèi) 場景進行粗略地全局掃描重建，獲得位于室內(nèi)空間的機器人捕獲的所述室內(nèi)空間的掃描圖 像信息，根據(jù)所述掃描圖像信息重建所述室內(nèi)空間的三維場景模型圖；然后，將所述三維場 景模型圖分割為多個興趣區(qū)域；對于每個興趣區(qū)域，均執(zhí)行以下操作：將興趣區(qū)域分割為 多個小區(qū)域；控制所述機器人對每個小區(qū)域?qū)矬w施加推力，獲得施加推力后的所述多 個小區(qū)域的圖像；將施加推力后的小區(qū)域圖像與施加推力前的小區(qū)域圖像進行比較，根據(jù) 比較結(jié)果，分割圖像中的物體，以及控制機器人對施加推力后分離的物體中沒有掃描完全 的部分進行掃描，獲取物體完整的三維數(shù)據(jù)；最后，根據(jù)分割出的物體和物體的完整三維數(shù) 據(jù)，對室內(nèi)場景進行重建，通過該技術方案，本發(fā)明實施例至少具有以下有益技術效果：
[0022] (1)現(xiàn)有技術只能對桌面上的若干個物體進行分析，本發(fā)明通過上述技術方案，可 以對大范圍雜亂的整個室內(nèi)場景進行處理。
[0023] (2)在相同交互次數(shù)（10次左右）、相同場景（桌面上的日常物品）的情況下，現(xiàn) 有方法的分割準確率只有70%~80%，而本發(fā)明通過上述技術方案能達到90%左右，提高 了分割的準確率。
[0024] (3)現(xiàn)有技術對只有5-6個物體的小場景就需要推動10-12次才能得到令人滿意 的分割結(jié)果。而本發(fā)明通過上述技術方案，對于含有20-30個物體的大場景進行12左右 的交互就能得到90%左右的分割準確率，使得在機器人掃描場景的時候可以進行物體的分 析，并通過物理上的輕推交互來驗證分割準確性，從而大大提高了傳統(tǒng)三維重建對于物體 分析的能力，提高了交互的效率。
[0025] (4)現(xiàn)有技術的實際工作都沒有考慮如何重建分割出來的物體，不能有效地重建 場景中的物體。而本發(fā)明提出了一個物體層面的場景重建和物體級別的場景分析框架，使 得重建和分析都是針對場景中的物體，進而使得本發(fā)明提出的框架能更好地為下一步的識 另IJ、語義理解等工作所用。同時，由于輕推之后往往可以使得掃描更加充分，提高了物體重 建的置信度。
[0026] 通過上述可知，本發(fā)明實施例提供的室內(nèi)場景掃描重建的方法，可以對大范圍雜 亂的整個室內(nèi)場景進行處理，有效地重建場景中的物體，提高了分割效率和交互效率，提高 了室內(nèi)場景重建的效率和精度，通過該方法可以得到一個帶有分割信息的、可以與用戶交 互的、重建完整的三維室內(nèi)場景模型。
【附圖說明】
[0027] 此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，并不 構(gòu)成對本發(fā)明的限定。在附圖中：
[0028] 圖1是本發(fā)明實施例中室內(nèi)場景掃描重建的方法的流程示意圖；
[0029] 圖2是本發(fā)明實施例中在過分割和欠分割的情況下區(qū)別一些錯誤分割的示意圖；
[0030]