ASSO估計(jì)值的支集上的LASSO估計(jì)和最 小二乘：
[0225] A； (V - 4-v,) = - sgn(i·,) (15)
[0222]
[0223]
[0224] 其中/ =觀撕(辦。LASSO的最優(yōu)性條件得出：
[0226] 其中sgn(v)是擴(kuò)展到矢量的符號函數(shù)。標(biāo)準(zhǔn)方程式讀作
[0227] AjAjV^Ajy
[0228] 因此：
[0229]
[0230]其中(a)是由方程式(15)和標(biāo)準(zhǔn)方程式推斷，（b)從以下各者推斷
[0231]
[0232]
[0233] 惟斷。
[0234] 如果假設(shè)噪聲與支集檢測不相關(guān)，即，
[0235] i矣j其中Ai指示支集檢測在第i窗口中成功的事件，
[0236]
[0237] 以下定理給出對所提出的兩步算法的重建構(gòu)誤差方差的上限。
[0238] 根據(jù)關(guān)于用于所提出算法的誤差方差的定理，在上文結(jié)合支集檢測所討論的條件 下并且在假設(shè)噪聲與用于固定k和η的支集檢測不相關(guān)的情況下，以下條件是有效的：
[0239]
[0240] 其中
[0242] ; = 。[0243] 為了證明上文所述的定理的有效性，需要滿足以下三個條件：[0244] 第一個條件為：[0245] 給定m及k，其中k < m，對于mxk矩陣A(其中Ai, j~N(0, Ι/m))，奇異值[0246] S1(A)2 …2sk(A)滿足條件：[0247][0248] 第二個條件為：
[0241] 以及
[0249]
[0250] 通過一致界限，
[0251]
[0252] 定義為Lasso估計(jì)值。其是通過應(yīng)用在Lasso的支集上的最小二乘獲得。
[0253] 定義LASSO估計(jì)值9? ,并且如下通過應(yīng)用在LASSO支集上的最小二乘獲得估計(jì) 值：
[0254]
[0255]
[0256]
[0257] 在所有η個相連窗口中的支集經(jīng)正確檢測的事件中，
[0258] Aifl…ΠΑη，普通最小二乘估計(jì)值是
[0259] ^=(4"4<'-Γ4'>'</)〇
[0260] 矩陣?是可逆的，這是因?yàn)榈钠娈愔凳欠橇愕母怕矢摺?br>[0261 ]根據(jù)標(biāo)準(zhǔn)LSE，4產(chǎn) 1= 和 Cov[^.)]= V
[0262] 對于是信號中的η次估計(jì)的第一項(xiàng)的任何固定項(xiàng)，例如νη-ι = χη-ι，給定 為：為 U '.為4;
[0263]
[0264] m~k log(n/k)
[0265] m的此值幾乎以1/n減小，因此重建構(gòu)方差在支集檢測在η個相連窗口中成功的情 況下達(dá)到零。 / ? \c
[0266] 在第三次中，重要的是了解對先前情況的補(bǔ)充，f|4 。
[0267] 對于爐5和？(?)，以上輔助定理得出：
[0268]
[0269]
[0270]
[0271] 使用三角不等式，得到對支集集合的LSE估計(jì)值與實(shí)際信號之間的差異的'2范數(shù) 的上限：
[0272]
(16, 17)
[0273] 通過組合這些結(jié)果獲得：
[0274]
[0275] 通過代入不等式17、使用4；和的概率并注意V、獲和?可分別與x、f和支互換 來獲得以上方程式。
[0276] 在下文中將分析遞歸壓縮感測算法的計(jì)算復(fù)雜度。
[0277] 如果i是窗口指數(shù)，A(1)eR?是取樣矩陣，并且τ指示滑動步驟，那么在第i窗口n+ (i-1) τ項(xiàng)結(jié)束時已恢復(fù)逐次窗口之間的滑動槽的數(shù)目。
[0278] 通過Α(())χ(())取樣第一窗口。這需要0(mn)基本操作，例如相加和相乘。在初始窗口 之后，窗口
[0279] Χ(?) = [χ?τΧ?τ+1···Χ?τ+η-?]
[0280] 的取樣通過復(fù)雜度為O(mi)的具有排組τ更新的遞歸取樣來實(shí)現(xiàn)。因此在第i窗口 結(jié)束時，取樣的總復(fù)雜度是0(mn)+0(mt)i，其中遞歸取樣的平均復(fù)雜度為ΟΟιιτ)。
[0281] 對計(jì)算復(fù)雜度的其它貢獻(xiàn)源于迭代求解器。預(yù)期復(fù)雜度歸功于可被計(jì)算為每一迭 代中的操作數(shù)目乘以用于收斂的迭代的預(yù)期數(shù)目的迭代求解器。雖然前者取決于特定算 法，但后者為起始點(diǎn)與最優(yōu)解的距離的函數(shù)，其受限于如下使用遞歸估計(jì)的情況：
[0282] 使用：
[0283] 4；j
[0284] 作為起始點(diǎn)，獲得：
[0285]
[0286] 如卜論證以上作出的陳述的有效性：

[0287]
[0288]
[0289]
[0290]獲取范數(shù)并使用三角不等式得出：
[0291]
[0292] 在查看提供Lasso誤差的定理的情況下，獲得：
[0293]
(18)
[0294] 每一迭代的準(zhǔn)確計(jì)算復(fù)雜度取決于所述算法。最低限度地，用于LASSO的迭代求解 器需要在需要〇(mn)操作的所述迭代處將取樣矩陣與估計(jì)值相乘。在代價(jià)函數(shù)亞線性地衰 減(例如，Ι/t 2)的算法中，如在FISTA中，獲得支以使得所需的迭代數(shù)目
[0295] (X*是最優(yōu)解），與成比例，其中x[0]是所述算法的起始點(diǎn)。根據(jù)此限定， 可見迭代的平均數(shù)與算法的起始點(diǎn)與最優(yōu)點(diǎn)的歐幾里得距離成比例。
[0296] 對于序列{xl}i = 0，l···，其中對于所有i而言|x1。^和C (其中〇0) 是常數(shù)，用于其中代價(jià)函數(shù)亞線性地衰減的算法的收斂的迭代的預(yù)期數(shù)目是用于無噪聲的 測量的和用于i . i . d.測量噪聲的。
[0297] 以上陳述真實(shí)，這是因?yàn)椋河捎讦?1)是k稀疏的，所以所述項(xiàng)
[0298] p-ΙχΓ?和If-根據(jù)方程式18下降。
[0299]通過 |xi|^C，獲得 _0] |[[x? ...x^|<C^0
[0301 ]對于有噪聲的測量，項(xiàng)與噪聲水平有關(guān)。由于噪聲以高概率 泛2 = cr2<m + 具有分布N(0，σ21)，因此由所述定理提出的條件限制的(?〇( ^)關(guān)注 LASSO的誤差。使用方程式（18)的次結(jié)果，發(fā)現(xiàn)迭代的預(yù)期數(shù)目在有噪聲的情況下為 〇{sfr)+ 〇{\fm )..-
[0302]在以上分析中，平均復(fù)雜度對于遞歸取樣是0(mT)，且對于優(yōu)化算法(最低限度地） 是〇(mn)。為了恢復(fù)輸入流的每一分量而不遺漏元素，τ^η，因此發(fā)現(xiàn)迭代優(yōu)化的復(fù)雜度優(yōu) 于平均復(fù)雜度。
[0303]通過使用用于從單位球面取樣的隨機(jī)矢量的條件m 2 Ck log(n/k)，隨機(jī)高斯矩陣 和隨機(jī)Bernoulli矩陣滿足條下表1展示k的各種稀疏性類別的平均計(jì)算復(fù) 雜度。
[0304]
[0305]實(shí)驗(yàn)結(jié)果
[0306] 根據(jù)隨機(jī)模型產(chǎn)生用于模擬中的數(shù)據(jù)： ,γ 11 - p\S (X) 4---if X g[-1" 11
[0307] ,/v(x)= i K 1 ' f 2p L J (19) 0
[0308] 其中除非另有陳述，否則p = 0.05。
[0309] 測量模型為
[0310] y⑴=A⑴X⑴+w⑴
[0311] 其中 w ⑴~Ν(0，σ2Ι)
[0312] 其中 σ>〇
[0313] 并且取樣矩陣為
[0314] A(0)eRmxn
[0315]其中m是一個窗口中的非零項(xiàng)的預(yù)期數(shù)目的6倍，即，m = 6pn，并且其中η等于窗口 長度。
[0316]已在實(shí)驗(yàn)上展示由RCS通過比較在使用FISTA、用于求解LASSO的加速接近梯度方 法時估計(jì)給定窗口所需的平均時間來實(shí)現(xiàn)的速度增益。比較RCS與所謂的'樸素法'，其中通 過每一窗口中的矩陣相乘進(jìn)行取樣，并且從全零矢量開始FISTA。在圖2中展示在不同情況 下恢復(fù)一個窗口所需的平均時間。如可在圖2中觀察到的，用于RCS的平均處理時間低于其 它方法所需的處理時間。
[0317]再次討論使用LASSO對支集估計(jì)進(jìn)行的實(shí)驗(yàn)結(jié)果。在測量XER_中，| |x| |〇 = 60，A eRmx_o由具有Ai,」~N(〇，1/m)的高斯分布產(chǎn)生，并且 w具有σ = 〇.丨。如LASS〇S理中所建議， 對于這些參數(shù)，用2 = 4c々2 log?求解LASSO
[0318] 并且通過從U([-3. 34 ,-4:34 ]U[ 3. 34,4.34])取樣，x的非零幅度滿足 巧n J傘3.34。
[0319]在模擬中，所獲取的樣本數(shù)目隨信號m變化，并且通過使用檢測率等于|所檢測支 集η實(shí)際支集比較| /1實(shí)際支集|和誤肯定率=|所檢測支集\實(shí)際支集| /1實(shí)際支集|來研 究支集估計(jì)的準(zhǔn)確度，其中1.1指示集合的基數(shù)并且\是集合差異算子。應(yīng)注意，對于此定 義，誤肯定率可大于一。
[0320] 比較用于支集檢測的兩個方法。第一方法是通過求解LASSO并獲取非零位置作為 支集，而第二方法是通過獲取估計(jì)值的絕對量值大于閾值的位置。圖3展示兩個方法的所得 曲線，其通過隨機(jī)地針對m的每一值20次地產(chǎn)生輸入信號并對所得檢測率和誤肯定求平均 值而獲得。如從所述圖式可見，盡管檢測率在兩個方法中的性質(zhì)相似，但可通過適當(dāng)?shù)卣{(diào)整 所得LASSO估計(jì)值的閾值來明顯地降低誤肯定。
[0321] 圖3中具體說明使用1^30的支集集合估計(jì)：其中11 = 6000,〇 = 0.1，1^11|以|2 3.34,閾值1: = 0.01、0.10和1.00。圓形標(biāo)記描繪檢測率，并且正方形標(biāo)記描繪誤肯定率。
[0322] 如上文呢詳細(xì)討論，LASS0方法可與表決策略和最小二乘估計(jì)一起使用從而產(chǎn)生 未偏置估計(jì)器。圖4展示a)單一 LASS0估計(jì)值、b)平均估計(jì)值、c)表決策略和d)去偏與求平均 值的執(zhí)行的比較。
[0323] 通過使用固定XeRn并在具有不相關(guān)噪聲的情況下進(jìn)行測量來獲得所述圖式。可 見平均估計(jì)值的誤差并未降低到零，這歸因于LASS0為偏壓估計(jì)器，如先前在本文檔中所解 釋。具體來說，圖4是a)平均估計(jì)值、b)去偏與平均估計(jì)值以及c)通過表決和求平均值獲得 的估計(jì)值的誤差曲線圖的表示。
[0324] 現(xiàn)在參考圖5,所述圖式說明平均LASS0估計(jì)值和對流式傳輸數(shù)據(jù)的'表決與求平 均值'的誤差曲線圖。
[0325] 圖5展示使用平均LASS0估計(jì)值和對流式傳輸數(shù)據(jù)的'表決與求平均值'算法所獲 得的窗口重建構(gòu)誤差之間的比較。隨機(jī)地產(chǎn)生數(shù)據(jù)，其中選擇一個項(xiàng)作為支集，P = 〇.05,并 且其振幅獨(dú)立地經(jīng)繪制并且與均一分布相同地分布
[0326] U([-l.3847,-2.3847]U[1.3847,2.3847])
[0327]以滿足支集檢測定理的條件，其中η = 400，m = 5np = 100,并且取樣矩陣為高斯矩 陣。測量受w(i)~N(0,〇2Im)影響，
[0328] 其中σ = 0.05,并且表決算法使用〖: = 0.5和ξ2 = 20。如可見，表決給出展示歸因于 等待搜集ξ2選票的跳躍的重建構(gòu)誤差，以在LSE中使用項(xiàng)。然而，還可見，在可接受所述位置 作為支集的部分之后，誤差即刻下降到比僅對LASS0估計(jì)值求平均值低的值。
[0329] 因此，根據(jù)一個實(shí)施例提出一種用于關(guān)于對流式傳輸數(shù)據(jù)壓縮感測的遞歸取樣和 迭代恢復(fù)的高效方法。所述方法利用逐次處理窗口之間的信號重疊獲得信號的估計(jì)值的更 快收斂速度，同時在噪聲的存在下實(shí)現(xiàn)估計(jì)方差降低。
[0330] 此外，根據(jù)另一實(shí)施例提出兩步估計(jì)程序來基于LASSO使信號的未偏置估計(jì)器近 似，其中a)通過求解LASSO執(zhí)行支集檢測，并且b)通過對估計(jì)支集集合求解普通最小二乘獲 得信號估計(jì)。算法的計(jì)算復(fù)雜度為〇(mn)，其中m是所獲取樣本的數(shù)目并且η是窗口長度。通 過適合于在流式傳輸數(shù)據(jù)上聯(lián)機(jī)實(shí)施的實(shí)驗(yàn)展示收斂時間。
[0331] 因此，總而言之