模型估計(jì)設(shè)備、模型估計(jì)方法和模型估計(jì)程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種用于在多變量數(shù)據(jù)上估計(jì)受約束隱藏變量模型的模型估計(jì)設(shè)備、 一種模型估計(jì)方法和一種模型估計(jì)程序。具體而言，本發(fā)明設(shè)及一種用于通過近似模型后 驗(yàn)概率并且最大化它的下界來在多變量數(shù)據(jù)上估計(jì)受約束隱藏變量模型的模型估計(jì)設(shè)備、 一種模型估計(jì)方法和一種模型估計(jì)程序。
【背景技術(shù)】
[0002] 數(shù)據(jù)、諸如從車輛獲取的傳感器數(shù)據(jù)、經(jīng)銷商的銷售業(yè)績W及電力需求歷史被累 計(jì)作為由不止一個(gè)因素而是各種因素生成的觀測值的數(shù)據(jù)。例如，車輛傳感器數(shù)據(jù)根據(jù)行 駛模式而改變。分析引起運(yùn)樣的數(shù)據(jù)的因素，從而分析結(jié)果的用戶可W分析車輛故障原因 W由此實(shí)現(xiàn)快速修理、可W分析在銷售與天氣/時(shí)間之間的相關(guān)性W由此減少缺貨或者圍 積、可W知道電力需求模式W由此消除過量或者不足、或者可W實(shí)現(xiàn)工業(yè)上重要的被應(yīng)用 的技術(shù)。附加地，如果可W分析如何切換多個(gè)因素，用戶可W與按因素獲取的發(fā)現(xiàn)相組合地 做出預(yù)測、或者可W使用切換規(guī)則作為營銷的知識(shí)，由此實(shí)現(xiàn)更復(fù)雜的被應(yīng)用的技術(shù)。
[0003] 通常在建模時(shí)使用混合式隱藏變量模型、W便按因素分離由多個(gè)因素引起的數(shù) 據(jù)，并且提出了分層隱藏變量模型(例如參見非專利文獻(xiàn)1)作為包括切換規(guī)則的模型。需要 確定隱藏狀態(tài)的數(shù)目、觀測概率分布類型和分布參數(shù)W便利用該模型。作為用于估計(jì)它們 的方法，提出了 EM算法(例如參見非專利文獻(xiàn)2)、變分貝葉斯法(例如參見非專利文獻(xiàn)3)、因 式分解的漸進(jìn)貝葉斯法(例如參見非專利文獻(xiàn)4)等。
[0004] 引用列表
[0005] 非專利文獻(xiàn)
[0006] 非專利文南犬 1 ;C. Bishop. ,Svenskn !.,''Bayesian hierarchical mixtures of experts''，Proceedings of the Nineteenth conference on Uncertainty in Artificial Intelligence,2002,p57-64
[0007] 非專利文獻(xiàn)2:化al ,Ra壯ord M. ,and Geoffrey E.Hinton. , "A view of the EM algorithm that justifies incremental, sparse,and other variants，Learning in graphical models. Springer Netherlands,1998,p355-368
[000引 非專利文獻(xiàn) 3 : Beal ,M . J . , "Variational Algori thms for Approximate Bayesian Inference"，PhD thesis,University College London,2003,p44-81 [0009] 非專利文南犬4:Ryohei Fujimaki ,Satoshi Morinaga:Factorized Asymptotic Bayesian Inference for Mixture Modeling.Proceedings of the fifteenth international conference on Artificial Intelligence and Statistics(AISTATS), 2012.

【發(fā)明內(nèi)容】
[001日]技術(shù)問題
[0011] 在對(duì)隱藏變量假設(shè)任何結(jié)構(gòu)的模型、諸如分層隱藏變量模型中的問題是：如果不 能良好地估計(jì)該結(jié)構(gòu)，則不能良好地應(yīng)用多個(gè)被估計(jì)的模式并且明顯地降低惡化整個(gè)模型 的準(zhǔn)確性。
[0012] 因此本發(fā)明的目的是提供一種能夠準(zhǔn)確估計(jì)隱藏變量模型的模型估計(jì)設(shè)備、一種 模型估計(jì)方法和一種模型估計(jì)程序。
[OOU]對(duì)問題的解決方案
[0014] 本發(fā)明的一種模型估計(jì)設(shè)備包括:隱藏變量變分概率計(jì)算處理單元，用于獲取隱 藏變量模型的參數(shù)并且通過參數(shù)的使用來計(jì)算受約束隱藏變量變分概率作為與先前給定 的分布接近的隱藏變量后驗(yàn)概率;模型參數(shù)優(yōu)化處理單元，用于通過受約束隱藏變量變分 概率的使用來優(yōu)化隱藏變量模型的參數(shù)；W及最優(yōu)性確定處理單元，用于確定使用被優(yōu)化 的參數(shù)的邊際化對(duì)數(shù)似然函數(shù)是否被收斂，其中在確定邊際化對(duì)數(shù)似然函數(shù)未被收斂時(shí)， 隱藏變量變分概率計(jì)算處理單元通過被優(yōu)化的參數(shù)的使用來重新計(jì)算受約束隱藏變量變 分概率，模型參數(shù)優(yōu)化處理單元通過計(jì)算出的受約束隱藏變量變分概率的使用來重新優(yōu)化 隱藏變量模型的參數(shù)，W及在確定邊際化對(duì)數(shù)似然函數(shù)被收斂時(shí)，用于邊際化對(duì)數(shù)似然函 數(shù)的受約束隱藏變量變分概率和參數(shù)被輸出。
[0015] 本發(fā)明的一種模型估計(jì)方法包括W下步驟:獲取隱藏變量模型的參數(shù)并且通過參 數(shù)的使用來計(jì)算受約束隱藏變量變分概率作為與先前給定的分布接近的隱藏變量后驗(yàn)概 率;通過受約束隱藏變量變分概率的使用來優(yōu)化隱藏變量模型的參數(shù);確定使用被優(yōu)化的 參數(shù)的邊際化對(duì)數(shù)似然函數(shù)是否被收斂，在確定邊際化對(duì)數(shù)似然函數(shù)未被收斂時(shí)，通過被 優(yōu)化的參數(shù)的使用來重新計(jì)算受約束隱藏變量變分概率，通過計(jì)算出的受約束隱藏變量變 分概率的使用來重新優(yōu)化隱藏變量模型的參數(shù)，W及在確定邊際化對(duì)數(shù)似然函數(shù)被收斂 時(shí)，輸出用于邊際化對(duì)數(shù)似然函數(shù)的受約束隱藏變量變分概率和參數(shù)。
[0016] 本發(fā)明的一種模型估計(jì)程序，用于使得計(jì)算機(jī)執(zhí)行:隱藏變量變分概率計(jì)算處理， 所述隱藏變量變分概率計(jì)算處理獲取隱藏變量模型的參數(shù)并且通過參數(shù)的使用來計(jì)算受 約束隱藏變量變分概率作為與先前給定的分布接近的隱藏變量后驗(yàn)概率;通過受約束隱藏 變量變分概率的使用來優(yōu)化隱藏變量模型的參數(shù);確定使用被優(yōu)化的參數(shù)的邊際化對(duì)數(shù)似 然函數(shù)是否被收斂，在確定邊際化對(duì)數(shù)似然函數(shù)未被收斂時(shí)，隱藏變量變分概率計(jì)算處理 通過被優(yōu)化的參數(shù)的使用來重新計(jì)算受約束隱藏變量變分概率，模型參數(shù)優(yōu)化處理通過計(jì) 算出的受約束隱藏變量變分概率的使用來重新優(yōu)化隱藏變量模型的參數(shù)，W及在確定邊際 化對(duì)數(shù)似然函數(shù)被收斂時(shí)，輸出用于邊際化對(duì)數(shù)似然函數(shù)的受約束隱藏變量變分概率和參 數(shù)。
[0017] 本發(fā)明的有利效果
[0018] 根據(jù)本發(fā)明，可W準(zhǔn)確估計(jì)隱藏變量模型。
【附圖說明】
[0019] [圖1]它描繪了圖示根據(jù)本發(fā)明的第一示例性實(shí)施例的模型估計(jì)設(shè)備的示例性結(jié) 構(gòu)的框圖。
[0020] [圖2]它描繪了圖示隱藏變量變分概率計(jì)算處理單元的示例性結(jié)構(gòu)的框圖。
[0021] [圖3]它描繪了圖示根據(jù)本發(fā)明的第一示例性實(shí)施例的模型估計(jì)設(shè)備的示例性操 作的流程圖。
[0022] [圖4]它描繪了圖示根據(jù)第一示例性實(shí)施例的隱藏變量變分概率計(jì)算處理單元的 示例性操作的流程圖。
[0023] [圖引它描繪了圖示根據(jù)本發(fā)明的第二示例性實(shí)施例的模型估計(jì)設(shè)備的示例性結(jié) 構(gòu)的框圖。
[0024] [圖6]它描繪了圖示根據(jù)第二示例性實(shí)施例的示例性隱藏變量變分概率計(jì)算處理 單元的框圖。
[0025] [圖7]它描繪了圖示示例性口函數(shù)優(yōu)化處理單元的框圖。
[0026] [圖引它描繪了圖示根據(jù)本發(fā)明的第二示例性實(shí)施例的模型估計(jì)設(shè)備的示例性操 作的流程圖。
[0027] [圖9]它描繪了圖示隱藏變量變分概率計(jì)算處理單元的示例性操作的流程圖。
[0028] [圖10]它描繪了圖示口函數(shù)優(yōu)化處理單元的示例性操作的流程圖。
[0029] [圖11]它描繪了圖示根據(jù)本發(fā)明的模型估計(jì)設(shè)備中的主要部件的結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0030] W下將描述一種用于估計(jì)受約束隱藏變量模型的模型估計(jì)設(shè)備。在下文中，所有 觀測變量和所有隱藏變量將分別統(tǒng)一地被表示為X和Z。假設(shè)觀測樣本的數(shù)目為N，觀測變量 被假設(shè)為X=Ul, - ?，，xN)。假設(shè)隱藏狀態(tài)的數(shù)目為C，與觀測變量xn對(duì)應(yīng)的隱藏變量被 假設(shè)為zn=(znl, ? ?，znC)或者Z=(zl? ? ?，zC)。與隱藏狀態(tài)C對(duì)應(yīng)的觀測變量的概率 分布被假設(shè)為PeUI 0c)"0是用于確定概率分布的參數(shù)，并且在確定概率變量的類型和參數(shù) 0時(shí)，確定該參數(shù)的分布形狀。如在方程式(1)中那樣表示隱藏變量先驗(yàn)分布。
[00川[數(shù)學(xué)公式U
[0033] 假設(shè)X的邊際分布為p(X| 0，〇)，并且假設(shè)X和Z的聯(lián)合分布為p(X，Z| 0，〇)。運(yùn)里 假設(shè)0 = (01，…，0C)并且O是隱藏變量先驗(yàn)分布的參數(shù)。隱藏變量變分概率被假設(shè)為q (Z)。
[0034] 根據(jù)在本說明書中的第一示例性實(shí)施例，假設(shè)如下來描述過程:模型估計(jì)設(shè)備通 過EM算法的使用來估計(jì)典型受約束隱藏變量模型，但是即使模型估計(jì)設(shè)備采用另一種估計(jì) 方法、諸如變分貝葉斯方法或者因式分解的漸進(jìn)貝葉斯方法，也可W容易地實(shí)現(xiàn)相似的函 數(shù)。根據(jù)第二示例性實(shí)施例，假設(shè)如下來描述過程:模型估計(jì)設(shè)備具體地通過因式分解的漸 進(jìn)貝葉斯方法的使用來估計(jì)深度為2的分層隱藏變量模型。在本說明書中描述了目標(biāo)變量X 的分布，但是該分布在觀測分布是回歸的或者判別的時(shí)可W被應(yīng)用于條件模型P(Y|X)(Y是 目標(biāo)概率變量)。
[0035] 第一示例性實(shí)施例
[0036] 在假設(shè)用于隱藏變量的任何結(jié)構(gòu)的模型、諸如隱藏變量模型中，考慮被假設(shè)的用 于隱藏變量的結(jié)構(gòu)被認(rèn)為是明顯地重要的，但是利用在非專利文獻(xiàn)1至非專利文獻(xiàn)4中描述 的技術(shù)，隱藏變量后驗(yàn)概率的結(jié)構(gòu)在被估計(jì)時(shí)沒有被認(rèn)為是約束。因此，可能計(jì)算出與該結(jié) 構(gòu)可W被表達(dá)的概率相偏離的后驗(yàn)概率。因而，問題在于不能良好地估計(jì)隱藏變量結(jié)構(gòu)并 且降低估計(jì)整個(gè)模型的準(zhǔn)確性。根據(jù)本示例性實(shí)施例，考慮如下約束:隱藏變量后驗(yàn)概率與 在被估計(jì)時(shí)的分布接近。由此，可W計(jì)算出針對(duì)其可W容易地表達(dá)隱藏變量結(jié)構(gòu)的后驗(yàn)概 率、因而由此增強(qiáng)估計(jì)整個(gè)模型的準(zhǔn)確性。
[0037] 圖1是圖示根據(jù)本示例性實(shí)施例的模型估計(jì)設(shè)備的示例性結(jié)構(gòu)的框圖。如圖1中所 示，根據(jù)本示例性實(shí)施例的模型估計(jì)設(shè)備100包括數(shù)據(jù)輸入設(shè)備101、隱藏狀態(tài)數(shù)目設(shè)置單 元102、初始化處理單元103、隱藏變量變分概率計(jì)算處理單元104、模型參數(shù)優(yōu)化處理單元 105、最優(yōu)性確定處理單元106、最優(yōu)模型選擇處理單元107和模型估計(jì)結(jié)果輸出設(shè)備108。模 型估計(jì)設(shè)備100獲取輸入數(shù)據(jù)111、優(yōu)化輸入數(shù)據(jù)111中的隱藏狀態(tài)W及對(duì)應(yīng)的模型參數(shù)、并 且輸出模型估計(jì)結(jié)果112。
[0038] 圖1中所示結(jié)構(gòu)中的每個(gè)部件由信息處理設(shè)備、諸如設(shè)計(jì)為執(zhí)行一系列具體計(jì)算 處理的硬件或者根據(jù)程序操作的中央處理單元(CPU)實(shí)現(xiàn)。程序被存儲(chǔ)在計(jì)算機(jī)可讀非瞬 態(tài)信息存儲(chǔ)介質(zhì)中。
[0039] 輸入設(shè)備101用于獲取輸入數(shù)據(jù)111、并且同時(shí)獲取為了在此時(shí)估計(jì)模型需要的參 數(shù)。輸入數(shù)據(jù)111包括隱藏狀態(tài)的數(shù)目的候選、觀測概率類型（諸如正態(tài)分布或者泊松分 布）、分量的數(shù)目的候選等。
[0040] 隱藏狀態(tài)數(shù)目設(shè)置單元102從隱藏狀態(tài)的數(shù)目的被獲取的候選值之中選擇和設(shè)置 非優(yōu)化的隱藏狀態(tài)的數(shù)目。
[0041] 初始化處理單元103執(zhí)行用于估計(jì)的初始化處理?？蒞用任何方式執(zhí)行初始化。舉 例而言，隨機(jī)地設(shè)置模型參數(shù)或者隨機(jī)地設(shè)置受約束隱藏變量變分概率。
[0042] 隱藏變量變分概率計(jì)算處理單元104通過被獲取的模型參數(shù)的使用來計(jì)算受約束 隱藏變量變分概率。受約束隱藏變量變分概率是具有受