專利名稱：認知聯(lián)想記憶模型的制作方法
技術領域：
本發(fā)明屬于人工智能領域，涉及一類人工神經(jīng)網(wǎng)絡聯(lián)想記憶模型。本發(fā)明給出一種 新的聯(lián)想記憶模型——基于認知理論的聯(lián)想記憶模型。
背景技術：
聯(lián)想記憶是神經(jīng)網(wǎng)絡的重要應用之一。聯(lián)想記憶神經(jīng)網(wǎng)絡具有良好的對含噪聲樣本 的信息處理能力，因此在優(yōu)化計算、糾錯編碼、數(shù)據(jù)壓縮、模式識別以及智能控制等方 面得到廣泛的應用。
目前的聯(lián)想記憶網(wǎng)絡主要是基于Hebb規(guī)則的Hopfidd聯(lián)想記憶網(wǎng)絡。但目前基于 Hebb規(guī)則的聯(lián)想記憶網(wǎng)絡具有一些不足，如對于關聯(lián)信息較強的相似模式的記憶效果不 理想；并且該方法僅能對二值模式實現(xiàn)聯(lián)想記憶，而對于多值模式無法實現(xiàn)聯(lián)想記憶， 這些缺點限制了該方法的應用。
認知心理學是以信息加工觀點為核心的心理學。所謂信息加工觀點就是將人腦與計 算機進行類比，將人腦看作類似于計算機的信息加工系統(tǒng)。人工智能是在大量心理學家 研究成果的基礎上誕生的。人工智能要研究如何利用機器來模擬人的思維，從根本上講 離不開認知心理學的模型支持。例如，王守覺院士所提出的仿生模式識別方法的性能就 優(yōu)于傳統(tǒng)模式識別方法。其原因在于該方法中融入了人類的認知功能。因此基于認知理 論建立新型的聯(lián)想記憶網(wǎng)絡是目前人工智能領域研究的熱點之一。
對于聯(lián)想記憶這樣簡單的問題，人類自身的認知處理能力顯然比傳統(tǒng)的Hopfield神 經(jīng)網(wǎng)絡強得多。其原因在于人類的認知過程與傳統(tǒng)Hopfidd網(wǎng)絡不同。
第一，記憶內容不同。對于給定的樣本模式，人只能記住每個模式的大致信息，而 不是每個細節(jié)，而H叩fidd網(wǎng)絡則試圖記住每一個細節(jié)。例如，如果將樣本模式看作是 圖片，則樣本模式的每一個分量可對應一個像素的灰度值。如果利用Hopfield網(wǎng)絡實現(xiàn) 圖像的聯(lián)想記憶，則網(wǎng)絡輸出的是每一個像素點的灰度值。而當人看到幾幅不同的樣本 模式圖像時，通?？梢院芸齑笾碌赜涀∵@幾幅圖像的內容和區(qū)別，但并不能很準確地記 住每一個像素的灰度和細節(jié)，當再現(xiàn)其中一幅圖像(或者含噪聲的圖像)時，可以迅速 地完成辨識任務，但很難說清所有像素的具體灰度值。
第二，聯(lián)想過程不同。利用神經(jīng)網(wǎng)絡進行聯(lián)想記憶時，網(wǎng)絡通常不能一次得到最終 的聯(lián)想結果，而是經(jīng)過幾次迭代計算，逐漸去掉噪聲污染，當網(wǎng)絡穩(wěn)定時，才能得出聯(lián) 想結果。而人只要看到一幅圖像，就可以立刻完成聯(lián)想，馬上得出結果，并不存在逐步 去除噪聲的量變過程。
第三，存儲能力不同。神經(jīng)網(wǎng)絡僅能存儲很少的樣本模式，并且對于相似模式很難存儲，或者需要專門設計特殊的學習方法。而一個人通?？梢酝瑫r記住很多個模式，并 且對于相似模式，人可以很快找到關鍵的區(qū)別點，并加以記憶。
第四，結果表達不同。由于噪聲會使得樣本模式產(chǎn)生畸變，因此神經(jīng)網(wǎng)絡可能產(chǎn)生 介于兩種樣本模式之間的非存儲的錯誤模式。而人可以給出具有模糊表達的認知結果， 而不是非存儲的樣本模式。
因此基于認知特點設計一種聯(lián)想記憶網(wǎng)絡將會大大改善現(xiàn)有聯(lián)想記憶網(wǎng)絡的性能。

發(fā)明內容
本發(fā)明所要解決的技術問題是，設計一種基于認知理論的聯(lián)想記憶網(wǎng)絡模型，能夠 實現(xiàn)對相似模式和多值模式的存儲記憶。
本發(fā)明所采用的技術方案是 一種認知聯(lián)想記憶模型，網(wǎng)絡存儲M個存儲模式，每 個存儲模式有"個分量，包括兩層神經(jīng)元。第一層為輸入層，取輸入元W個，對應輸入 模式的"個分量，記為X,，X2， ...，X ;第二層為輸出層，取M個神經(jīng)元，記為力，》，...， yw，輸出層第7'個神經(jīng)元的輸出范圍為
，表示輸入待聯(lián)想模式向量的聯(lián)想結果隸屬于
第y'個存儲模式的程度。
輸入層與輸出層之間的連接權值根據(jù)待聯(lián)想模式的不同設計為動態(tài)權值,輸出層單元 采用線性輸出的方式。
本發(fā)明的目的在于提出一種基于認知理論的聯(lián)想記憶模型，該模型克服已有基于
Hebb規(guī)則的聯(lián)想記憶模型的缺點?？梢詫崿F(xiàn)對相似模式和多值模式的聯(lián)想記憶。


圖1為聯(lián)想記憶網(wǎng)絡結構示意圖。
圖2為三值相似模式聯(lián)想記憶實例的存儲模式和待聯(lián)想模式示意圖，其中前三個圖為存 儲模式，第四個圖為待聯(lián)想輸入模式。
具體實施例方式
下面結合實施例和附圖對本發(fā)明作進一歩詳細說明。 本發(fā)明是如圖1所示的兩層聯(lián)想記憶網(wǎng)絡。
記憶網(wǎng)絡的樣本模式集為{^,產(chǎn)1,2,…，M)，第/個存儲模式^的第/個分量用"/表 示，即力廣[o/，a/,……，a/]。輸入模式為X-[x'/，…y]，輸出為^bi,力,…J^]，第/
個輸入單元與第/個輸出單元之間的連接權值為Wy，表示輸入向量的第/個分量對聯(lián)想
結果為第y個存儲模式的貢獻值。當輸入向量的第/個分量與第y個存儲模式的第/個分 量相同時，則表示該分量對聯(lián)想結果為第y個存儲模式有i/n的貢獻，否則無貢獻，權值 按下式設計<formula>formula see original document page 5</formula>與Hebb規(guī)則相比，上式定義的權值矩陣不但考慮到存儲模式的信息，而且利用了輸 入模式的信息，權值矩陣根據(jù)輸入模式的變化而變化，也就是說，當網(wǎng)絡的輸入模式X 不同時，所得到的權值矩陣也不相同。輸出層單元采用線性輸出的方式，即(2)乃的結果表示輸入向量各分量對聯(lián)想結果為第y'個存儲模式的總貢獻值，即聯(lián)想結果 為第y個存儲模式的隸屬度。當力-max(乂,",...，;^}，結合模糊理論解模糊的最大隸屬 度法，則最終的聯(lián)想結果為第々個存儲模式。與Hebb規(guī)則相比，上述聯(lián)想記憶過程又利用了輸入模式的信息，且網(wǎng)絡權值不是固 定不變的，當輸入模式不同時，網(wǎng)絡權值可自適應地進行調整，從而可大大增強網(wǎng)絡的 適應性，提高聯(lián)想效率。輸出結果結合模糊推理方法給出了一種新的表示方法，即不再 直接輸出存儲的模式向量，而是給出屬于不同存儲模式的隸屬度，這更符合人類的認知 特點。另外，利用Hebb規(guī)則設計的網(wǎng)絡只能處理二值模式的聯(lián)想記憶，而采用本文方法所 設計的網(wǎng)絡可以完成任意多值模式的聯(lián)想記憶，同時對相似模式也可得到較好的聯(lián)想結 果。同時，該聯(lián)想記憶網(wǎng)絡具有如下性質性質l:網(wǎng)絡可以存儲任意多的兩兩互不相同的模式。證明己知樣本集為W，戶1,2,…，M)，若對于任意的的'，則當輸入模式％=4時， 權值w『l/"，其中/=1,2,...，"。所以網(wǎng)絡輸出單元"=1。而因為A^4"所以乂<1，利用最大隸屬度法進行解模糊，則網(wǎng)絡聯(lián)想結果為第./個模式。性質2:網(wǎng)絡的聯(lián)想結果是與輸入模式海明距離最小的樣本集中的模式。證明設H,(Z，^;)=min{ HXI，，戶1,2,...,M) ， H為海明距離。則輸出單元乂>乃，/= 1,2，…,M， 且y弁。利用最大隸屬度法進行解模糊，則網(wǎng)絡聯(lián)想結果為第/個模式。性質3:網(wǎng)絡不存在偽模式，但可出現(xiàn)聯(lián)想結果不唯一而導致聯(lián)想失敗。證明由于聯(lián)想結果利用網(wǎng)絡輸出的隸屬程度進行表示，因此不存在偽模式。如果H,(義，A)=H4(X, J4)=min{ H乂X， <)， y'=l，2,...，7l^。貝廿乂=》>乃，/=1，2，...,M，且_/#/， 乂>^。 利用最大隸屬度法進行解模糊，無法得到唯一確定的聯(lián)想結果，因此聯(lián)想失敗。由此可見，本發(fā)明提出的聯(lián)想記憶網(wǎng)絡模型更符合認知特點，即網(wǎng)絡的聯(lián)想記憶過 程可一次完成；網(wǎng)絡具有較大的存儲能力，并且能夠根據(jù)關鍵特征進行相似模式的區(qū)分； 網(wǎng)絡的輸出為模糊量，且能夠實現(xiàn)多值模式和相似模式的聯(lián)想記憶。實施例5如圖2所示，其中前三個圖為三個相似的三值(白、黑、灰)模式("己，己，巳")， 每個模式由10x10點陣組成，采用三個分別含有100個元素的存儲模式向量A， ^， & 表示該三個模式，第/'個存儲模式4的第/個分量用o/表示，其中戶1,2，3; /=1，2，....，100, 則"2 =黑，/ = 12,13,14，15,16，17，18，28，38，52，62,72，78，82，83,84，85，86,87,88 灰，/ = 42,43,44,45,46,47,48白，其他黑，i = 12,13,14,15,16,17,18，28,32,38，52，62,72,78，82,83,84，85,86,87,88 灰，/ = 42，43,44，45,46,47,48白，其他(3)(4)'黑,/ = 12，13,14,15,16,17,18，22，28,32，38，52,62,72,78,82，83,84，85,86，87，88 a;一灰，,'=42，43,44，45,46,47，48 (5)白，其他圖2中的第4個圖為一含噪聲的待聯(lián)想輸入模式，用輸入向量J^[x^L.乂加]表示，其中x =.黑，/ =-灰，/ = 42,43，44,45'46,47,48,66白，其他根據(jù)此時輸入向量，可得連接權值為 f0， ，/ = 32,65,66 ^1/w ，其他j0, "' = 65,66 丄l/"，其他「0， ，/ = 22,65,66(6)W,2W,3 =1/",其他(7)(8)(9)網(wǎng)絡輸出為97/100，./ = 1 98/100,/= 2 '='[97/〗00，./= 3力=max{>^,y = l，2，3}該輸入模式與第二個存儲模式最相似，聯(lián)想結果為第:(10)(11)'水存儲模式。權利要求
1、一種認知聯(lián)想記憶模型，其特征在于，包括2層神經(jīng)元；第一層為輸入層，取輸入元n個，對應輸入模式的n個分量，記為x1，x2，...，xn；第二層為輸出層，由M個神經(jīng)元組成，記為y1，y2，...，yM，輸出層第j個神經(jīng)元yj的輸出范圍為
，表示輸入待聯(lián)想模式向量的聯(lián)想結果隸屬于第j個存儲模式的程度；
2、 根據(jù)權利要求1所述的認知聯(lián)想記憶模型，其特征在于，輸入層與輸出層之間的連接權值根據(jù)待聯(lián)想模式的不同設計為動態(tài)權值，設輸入模式為X呵xW.j"]，輸出為!^[vb》，…,j^]，第y個存儲模式4的第/個分量用"/表示，則第/個輸入單元與第_/個輸出單元之間的連接權值W"為
3、根據(jù)權利要求1所述的認知聯(lián)想記憶模型，其特征在于，輸出層單元采用線性輸出的方式，即當h =111狀化，",...,>^}，則最終的聯(lián)想結果為第A個存儲模式。
全文摘要
本發(fā)明屬于人工智能領域，具體為一種認知聯(lián)想記憶網(wǎng)絡，網(wǎng)絡包含輸入層和輸出層兩層神經(jīng)元，樣本模式信息存儲在動態(tài)權值矩陣中，網(wǎng)絡根據(jù)不同的輸入向量可自適應地調節(jié)當前權值矩陣。輸入向量的信息不僅提供了聯(lián)想記憶的初值，而且在聯(lián)想記憶過程中起到了啟發(fā)式搜索的作用，因此網(wǎng)絡的存儲能力和聯(lián)想成功率得到較好的改善。尤其可以有效地實現(xiàn)相似模式以及多值模式的聯(lián)想記憶功能。本發(fā)明主要用于基于聯(lián)想記憶的模式識別領域中。
文檔編號G06N3/00GK101673355SQ20091007075
公開日2010年3月17日 申請日期2009年10月10日 優(yōu)先權日2009年10月10日
發(fā)明者修春波 申請人:天津工業(yè)大學