一種基于遺傳算法的分類算法參數(shù)優(yōu)化方法
【技術領域】
[0001] 本發(fā)明公開一種分類算法參數(shù)優(yōu)化方法，屬于算法參數(shù)優(yōu)化領域，具體地說是一 種基于遺傳算法的分類算法參數(shù)優(yōu)化方法。
【背景技術】
[0002] 遺傳算法是計算數(shù)學中用于解決最佳化的搜索算法，是進化算法的一種。進化算 法最初是借鑒了進化生物學中的一些現(xiàn)象而發(fā)展起來的，這些現(xiàn)象包括遺傳、突變、自然 選擇以及雜交等。遺傳算法通常實現(xiàn)方式為一種計算機模擬。分類，Categorization or Classification，就是按照某種標準給對象貼標簽，再根據(jù)標簽來區(qū)分歸類。分類是事先定 義好類別，類別數(shù)不變。
[0003] 而分類算法是模式識別和數(shù)據(jù)挖掘領域中非常重要的問題，多數(shù)分類算法中包含 一些可變的參數(shù)，這些參數(shù)在一定程度上影響了分類算法的性能和效率。參數(shù)的選擇及優(yōu) 化是多數(shù)分類算法運用的關鍵，本發(fā)明針對分類算法的參數(shù)優(yōu)化問題，提出一種基于遺傳 算法的分類算法參數(shù)優(yōu)化方法。該方法將所有參數(shù)按照數(shù)值進行離散化并按順序連接為一 個二進制編碼序列，每一個體對應一個二進制串，分類算法的各考核指標數(shù)值加權作為適 應度，由該適應度作為判定個體優(yōu)劣的標準，維護一個群體，群體包括若干個體。通過交叉、 變異、選擇按照優(yōu)勝劣汰的原則不斷的更新這個群體，將最終獲得的群體進行譯碼對應相 應的參數(shù)數(shù)值，進而得到最優(yōu)的參數(shù)組合，該方法適用于各種對參數(shù)敏感受參數(shù)約束的分 類算法中。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明針對分類算法的參數(shù)優(yōu)化問題，提出一種基于遺傳算法的分類算法參數(shù)優(yōu) 化方法，實現(xiàn)了針對群體進行譯碼對應相應的參數(shù)數(shù)值，進而得到最優(yōu)的參數(shù)組合，該方法 適用于各種對參數(shù)敏感受參數(shù)約束的分類算法中。
[0005] 本發(fā)明提出的具體方案是： 一種基于遺傳算法的分類算法參數(shù)優(yōu)化方法，具體步驟為： ① 制定編碼及解碼規(guī)則：根據(jù)分類算法的性能指標采集數(shù)據(jù)信號，對采集數(shù)據(jù)信號的 參數(shù)制定二進制串與參數(shù)數(shù)值一一對應，對于每個參數(shù)，規(guī)定其取值范圍為[a，b]，數(shù)值取 值精度為V，則二進制串的長度為： L=[l0g2 (b-a)/v ； 編碼時，對于任意在[a，b]范圍內(nèi)該參數(shù)的取值x，其二進制串對應的整數(shù)值： xint=[(x-a)/v]； 解碼時，對于任意一個小于的正整數(shù)n，其對應的該參數(shù)的取值為： (n+0. 5) v+a ； ② 種群初始化：對于每個參數(shù)的取值作為一個個體，并將多個個體集合為一個種群， 同時種群中的所有個體均進行二進制串對應后形成初始化種群；初始化種群中各個體適應 度值計算：對于分類算法的數(shù)據(jù)集，將所有的數(shù)據(jù)樣本隨機分為訓練樣本和測試樣本，采 用適應度函數(shù)，函數(shù)的輸入即為編碼之后的二進制串，函數(shù)的計算過程描述如下：從二進制 串解碼得到各個參數(shù)數(shù)值，分別記為；將上述參數(shù)帶入分類算法中，得到分類算法評估的指 標，分別記為；將上述的得到的指標進行加權求和，即所得的適應度，其計算公式如下：
【主權項】
1. 一種基于遺傳算法的分類算法參數(shù)優(yōu)化方法，其特征是具體步驟為： ① 制定編碼及解碼規(guī)則：根據(jù)分類算法的性能指標采集數(shù)據(jù)信號，對采集數(shù)據(jù)信號的 參數(shù)制定二進制串與參數(shù)數(shù)值一一對應，對于每個參數(shù)，規(guī)定其取值范圍為[a，b]，數(shù)值取 值精度為V，則二進制串的長度為： L=[l〇g2 (b-a)/v； 編碼時，對于任意在[a，b]范圍內(nèi)該參數(shù)的取值x，其二進制串對應的整數(shù)值：xint=[(x-a)/v]； 解碼時，對于任意一個小于的正整數(shù)n，其對應的該參數(shù)的取值為： (n+0. 5)v+a； ② 種群初始化：對于每個參數(shù)的取值作為一個個體，并將多個個體集合為一個種群， 同時種群中的所有個體均進行二進制串對應后形成初始化種群；初始化種群中各個體適應 度值計算：對于分類算法的數(shù)據(jù)集，將所有的數(shù)據(jù)樣本隨機分為訓練樣本和測試樣本，采 用適應度函數(shù)，函數(shù)的輸入即為編碼之后的二進制串，函數(shù)的計算過程描述如下：從二進制 串解碼得到各個參數(shù)數(shù)值，分別記為；將上述參數(shù)帶入分類算法中，得到分類算法評估的指 標，分別記為；將上述的得到的指標進行加權求和，即所得的適應度，其計算公式如下：
③ 循環(huán)迭代：對二進制串進行循環(huán)迭代，更新這個群體，需要多次計算適應度，計算過 的參數(shù)組合的指標可保存到數(shù)據(jù)庫或內(nèi)存中，循環(huán)迭代時需要先查表該參數(shù)組合是否存 在，如存在則取出對應指標即可，如不存在則重新計算各指標并保存，循環(huán)迭代到一定次數(shù) 達到； ④ 解碼得到最優(yōu)參數(shù)：對步驟③中最終獲得的群體進行解碼對應相應的參數(shù)數(shù)值，群 體中所有個體的適應度值，選出群體中適應度值高的多個個體作為子代群體，進而得到最 優(yōu)的參數(shù)組合，判斷是否終止：當進化群體中個體的最大適應度值大于或等于預先設定的 適應度設定值時，遺傳算法終止并輸出當前所獲得群體中最優(yōu)的參數(shù)組合；否則，返回步驟 ③，繼續(xù)進行循環(huán)迭代。
2. 根據(jù)權利要求1所述的一種基于遺傳算法的分類算法參數(shù)優(yōu)化方法，其特征是所述 的步驟①中分類算法的性能指標指的是： 訓練時間：利用參數(shù)訓練時，所耗費的實際時間，要多次進行訓練，取所有訓練時間的 中值； 分類時間：利用該參數(shù)得到的分類模型對測試樣本進行分類時，所耗費的實際時間，為 保證時間的準確性，要多次進行訓練和分類，取所有時間的中值； 訓練樣本準確率：利用該參數(shù)訓練時，算法結束時對訓練樣本分類的準確率，多次進行 訓練，取所有訓練樣本準確率的中值； 測試樣本準確率：利用該參數(shù)分類時，算法對測試樣本分類的準確率； 測試樣本召回率：利用該參數(shù)分類時，算法對測試樣本分類的召回率。
3. 根據(jù)權利要求1或2所述的一種基于遺傳算法的分類算法參數(shù)優(yōu)化方法，其特征是 所述的步驟②中計算適應度時，在加權平均之前，對各個指標進行去量綱歸一化的操作：隨 機選擇一系列參數(shù)組合，分別應用分類算法到上述數(shù)據(jù)集，得到每個考核指標的實際取值， 對具體的考核指標，分別計算最小值和最大值，對應的考核指標進行最大最小值歸一化操 作，將其數(shù)值歸一化到[〇, 1]區(qū)間內(nèi)。
4. 根據(jù)權利要求3所述的一種基于遺傳算法的分類算法參數(shù)優(yōu)化方法，其特征是所述 的步驟③循環(huán)迭代采用交叉、變異及更新的方式，交叉遵循一般遺傳算法交叉方法，即將兩 個二進制串的每個二進制串分為兩部分，然后兩個串分別進行交換；變異遵循一般遺傳算 法變異方法，隨機選擇二進制串中的一個，對其進行取反操作；更新將經(jīng)過交叉及變異操作 之后得到的新二進制串種群和原二進制串種群混合，取其中部分適應度作為新種群。
5. 根據(jù)權利要求4所述的一種基于遺傳算法的分類算法參數(shù)優(yōu)化方法，其特征是所述 的步驟③中取其中適應度在前45%-70%的個體作為新種群。
6. 根據(jù)權利要求4或5所述的一種基于遺傳算法的分類算法參數(shù)優(yōu)化方法，其特征是 所述的步驟②所有的數(shù)據(jù)樣本隨機分為訓練樣本和測試樣本，其數(shù)量比為1:5-2。
【專利摘要】本發(fā)明公開一種基于遺傳算法的分類算法參數(shù)優(yōu)化方法，屬于算法參數(shù)優(yōu)化領域，具體步驟為：①制定編碼及解碼規(guī)則；②種群初始化；③循環(huán)迭代；④解碼得到最優(yōu)參數(shù)；本發(fā)明針對分類算法的參數(shù)優(yōu)化問題，通過將所有參數(shù)按照數(shù)值進行離散化并按順序連接為一個二進制編碼序列，每一個體對應一個二進制串，分類算法的各考核指標數(shù)值加權作為適應度，由該適應度作為判定個體優(yōu)劣的標準，維護一個群體，群體包括若干個體，通過交叉、變異、選擇按照優(yōu)勝劣汰的原則不斷的更新這個群體，將最終獲得的群體進行譯碼對應相應的參數(shù)數(shù)值，進而得到最優(yōu)的參數(shù)組合，該方法適用于各種對參數(shù)敏感受參數(shù)約束的分類算法中。
【IPC分類】G06N3-12, G06F17-30
【公開號】CN104572993
【申請?zhí)枴緾N201510004522
【發(fā)明人】韋鵬, 付興旺, 吳楠, 朱英澍
【申請人】浪潮電子信息產(chǎn)業(yè)股份有限公司
【公開日】2015年4月29日
【申請日】2015年1月6日