專利名稱：一種求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)的應(yīng)用技術(shù)領(lǐng)域，涉及一種求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)及其實(shí)現(xiàn)方法，此神經(jīng)網(wǎng)絡(luò)可以用軟件或硬件實(shí)現(xiàn)，并且神經(jīng)網(wǎng)絡(luò)的初始條件對(duì)計(jì)算結(jié)果影響小，收斂速度很快，收斂到全局最優(yōu)解的概率比較高。
背景技術(shù)：
神經(jīng)網(wǎng)絡(luò)問世以來，一直成為科學(xué)界研究的熱點(diǎn)之一，在求解優(yōu)化問題、聯(lián)想記憶、模式辨識(shí)以及圖像處理等領(lǐng)域已經(jīng)得到了廣泛的應(yīng)用。特別是在優(yōu)化領(lǐng)域，神經(jīng)網(wǎng)絡(luò)更是大顯身手。它已經(jīng)成功地被應(yīng)用于函數(shù)最優(yōu)值求解、TSP (Traveling SalesmanProblem)、裝箱問題、調(diào)度優(yōu)化、供應(yīng)鏈問題等優(yōu)化問題，神經(jīng)網(wǎng)絡(luò)已成為用于解決優(yōu)化問題的有力工具之一。與其它智能優(yōu)化算法(如遺傳算法(GA)，模擬退火(SA)，禁忌搜索(TS)等)相比，神經(jīng)網(wǎng)絡(luò)最主要的優(yōu)點(diǎn)在于并行計(jì)算性、容錯(cuò)性以及可硬件實(shí)現(xiàn)性等優(yōu)點(diǎn)。特別是可硬件實(shí)現(xiàn)性可以大大提高算法的穩(wěn)定性和計(jì)算速度，但是神經(jīng)網(wǎng)絡(luò)存在一定的缺陷，神經(jīng)網(wǎng)絡(luò)的初始條件嚴(yán)重影響計(jì)算結(jié)果，在優(yōu)化計(jì)算過程中容易得不到最優(yōu)解或合理解，更不容易收斂到全局最優(yōu)解。神經(jīng)網(wǎng)絡(luò)很容易陷入局部最小值或是不合理解，得不到合理解使得優(yōu)化問題根本沒有得到解決，而得不到較優(yōu)解，使得優(yōu)化問題的解還存在著進(jìn)一步提高的空間。在實(shí)際工程中，如果得不到合理解，會(huì)使得整個(gè)工程無法正常運(yùn)行，而得不到較優(yōu)解，會(huì)使得整個(gè)工程的成本升高，降低競(jìng)爭(zhēng)力。因此，解決神經(jīng)網(wǎng)絡(luò)初始條件對(duì)網(wǎng)絡(luò)運(yùn)行效果的影響，提高神經(jīng)網(wǎng)絡(luò)收斂到合理解和全局最優(yōu)解的概率，提高其優(yōu)化求解能力，具有十分重要的理論價(jià)值和現(xiàn)實(shí)意義。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決神經(jīng)網(wǎng)絡(luò)用于求解優(yōu)化問題時(shí)，神經(jīng)網(wǎng)絡(luò)初始條件嚴(yán)重影響計(jì)算結(jié)果，使收斂速度慢，收斂到全局最優(yōu)解的概率低的問題，提供一種求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)及其實(shí)現(xiàn)優(yōu)化求解的方法。本發(fā)明提供的求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)，包括神經(jīng)元(1)，固定不變的連接權(quán)值
(2)，變化的連接權(quán)值(3)和神經(jīng)元輸出(4)；
程為
所述的神經(jīng)元S由連續(xù)且單調(diào)遞增的神經(jīng)元激活函數(shù)來實(shí)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)方
權(quán)利要求
1.一種求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)，其特征在于該神經(jīng)網(wǎng)絡(luò)包括神經(jīng)元(1)，固定不變的連接權(quán)值(2)，變化的連接權(quán)值(3)和神經(jīng)元輸出(4); 所述的神經(jīng)元S由連續(xù)且單調(diào)遞增的神經(jīng)元激活函數(shù)來實(shí)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)方程為
2.按照權(quán)利要求1所述的求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)，其特征在于所述的神經(jīng)元內(nèi)部狀態(tài)的起始值為在[-1，I]連續(xù)范圍內(nèi)的隨機(jī)數(shù)。
3.按照權(quán)利要求1所述的求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)，其特征在于當(dāng)所述的固定不變的連接權(quán)值用矩陣表示時(shí)，該矩陣應(yīng)為對(duì)稱矩陣。
4.按照權(quán)利要求1所述的求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)，其特征在于所述的變化的連接權(quán)值或者是正或者是負(fù)，變化的連接權(quán)值或者連續(xù)增加，或者連續(xù)衰減。
5.按照權(quán)利要求1所述的求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)，其特征在于當(dāng)所述的變化的連接權(quán)值用矩陣表示時(shí)，該矩陣為任意矩陣，并按照事先設(shè)計(jì)好的變換規(guī)則，或增加，或衰減，或不斷的增加和不斷的衰減。
6.按照權(quán)利要求1所述的求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)，其特征在于此神經(jīng)網(wǎng)絡(luò)使用串行工作方式，即在某一時(shí)刻只有一個(gè)神經(jīng)元按照神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)方程改變狀態(tài)，而其它神經(jīng)元的輸出不變；這一變化的神經(jīng)元按照隨機(jī)的方式，或者按照預(yù)定的順序來選擇。
7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)，其特征在于當(dāng)用軟件實(shí)現(xiàn)此神經(jīng)網(wǎng)絡(luò)時(shí)，所求解優(yōu)化問題的優(yōu)化目標(biāo)函數(shù)變量設(shè)置為神經(jīng)網(wǎng)絡(luò)的神經(jīng)元輸出Xi，有幾個(gè)優(yōu)化問題的變量就設(shè)置幾個(gè)神經(jīng)網(wǎng)絡(luò)神經(jīng)元的輸出Xi，此優(yōu)化目標(biāo)函數(shù)就是要映射到神經(jīng)網(wǎng)絡(luò)的能量函數(shù)E。
8.一種使用權(quán)利要求1所述的求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)優(yōu)化求解的方法，其特征在于該方法包括 第1、首先為所求解的優(yōu)化問題建立一個(gè)能量函數(shù)E，并將此能量函數(shù)映射到權(quán)利要求1所述的求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)中，映射后的神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)方程為
全文摘要
一種求解優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)及其實(shí)現(xiàn)優(yōu)化求解的方法。該神經(jīng)網(wǎng)絡(luò)包括神經(jīng)元(1)，固定不變的連接權(quán)值(2)，變化的連接權(quán)值(3)和神經(jīng)元輸出(4)。所述的神經(jīng)元由連續(xù)且單調(diào)遞增的神經(jīng)元激活函數(shù)來實(shí)現(xiàn)，神經(jīng)元的起始值為[-1,1]的連續(xù)范圍內(nèi)的隨機(jī)數(shù)。每一個(gè)神經(jīng)元都通過連接權(quán)值與其它的神經(jīng)元相連接。該神經(jīng)網(wǎng)絡(luò)由神經(jīng)元組成，每一個(gè)神經(jīng)元都是具有函數(shù)映射功能的主要處理單元。該神經(jīng)網(wǎng)絡(luò)不需要訓(xùn)練，可以直接求解優(yōu)化問題。
文檔編號(hào)G06N3/02GK103020710SQ201210499958
公開日2013年4月3日 申請(qǐng)日期2012年11月28日 優(yōu)先權(quán)日2012年11月28日
發(fā)明者費(fèi)春國(guó), 陳維興, 張積洪 申請(qǐng)人:中國(guó)民航大學(xué)