專(zhuān)利名稱(chēng)：人工神經(jīng)及其使用方法
技術(shù)領(lǐng)域：
本發(fā)明與轉(zhuǎn)讓給本發(fā)明的相同受讓人的下述發(fā)明有關(guān)“神經(jīng)網(wǎng)絡(luò)及其使用方法”，與本發(fā)明同時(shí)申請(qǐng)的，美國(guó)專(zhuān)利申請(qǐng)序號(hào)08/076601。
因此，上述的有關(guān)發(fā)明的主題被并入到本發(fā)明的公開(kāi)中作為參考。
本發(fā)明涉及人工神經(jīng)，具體涉及能采取下列形式(1)神經(jīng)電路或(2)計(jì)算機(jī)程序的人工神經(jīng)，神經(jīng)電路能用作神經(jīng)網(wǎng)絡(luò)的基本組成部件，它能以VLSI(超大規(guī)模集成)芯片實(shí)現(xiàn)，而且人工神經(jīng)利用一種不需要重復(fù)訓(xùn)練的訓(xùn)練算法，并且對(duì)于每個(gè)給定的輸入矢量組產(chǎn)生一個(gè)全局最小值。
人工神經(jīng)網(wǎng)絡(luò)已在各種各樣的計(jì)算機(jī)環(huán)境例如話音識(shí)別、過(guò)程控制、光學(xué)字符識(shí)別、信號(hào)處理和圖像處理中得到應(yīng)用。用于上述的許多計(jì)算機(jī)環(huán)境的處理機(jī)器(processing engine)可通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，該神經(jīng)網(wǎng)絡(luò)包括多個(gè)稱(chēng)為“神經(jīng)電路”的基本邏輯單元。
神經(jīng)電路(或處理單元)是神經(jīng)網(wǎng)絡(luò)的基本組成部件。一個(gè)神經(jīng)電路有多個(gè)輸入端和一個(gè)輸出端。常規(guī)的神經(jīng)電路的結(jié)構(gòu)經(jīng)常包括一個(gè)乘法器電路、一個(gè)求和電路、一個(gè)用于執(zhí)行非線性函數(shù)(例如二進(jìn)制閾值或S形函數(shù))的電路，和起著突觸(synapses)或加權(quán)輸入連接功能的電路。參見(jiàn)

圖1，其中輸入X1-Xn由各個(gè)突觸W1-W2加權(quán)并由求和電路2累加在一起。求和電路2的輸出被饋送到非線性電路4，以便產(chǎn)生神經(jīng)電路輸出5。
圖2表示一種S形函數(shù)形式的非線性轉(zhuǎn)移函數(shù)，該函數(shù)由圖1所示的先有技術(shù)的神經(jīng)電路所使用。在所示的例子中，S形曲線6用下述公式表示輸出＝1/(1+e-NET) 公式1圖3表示另一個(gè)先有技術(shù)的神經(jīng)電路，稱(chēng)為感知器(perceptron)神經(jīng)，該神經(jīng)利用二進(jìn)制閾值函數(shù)。在這個(gè)例子中，感知器神經(jīng)使用二進(jìn)制閾值14作為非線性函數(shù)。
綜上所述，典型的常規(guī)神經(jīng)電路要求有用于加權(quán)輸入連接的電路、一個(gè)求和電路、一個(gè)乘法器電路和用于執(zhí)行非線性函數(shù)的復(fù)雜電路。這使得能在半導(dǎo)體芯片上生產(chǎn)的常規(guī)神經(jīng)電路的數(shù)目受到嚴(yán)格地限制。
為此，現(xiàn)在非常需要一種具有最小數(shù)量元件、可簡(jiǎn)單和廉價(jià)實(shí)施的神經(jīng)電路。
由先有技術(shù)的神經(jīng)電路構(gòu)成的常規(guī)神經(jīng)網(wǎng)絡(luò)需要很長(zhǎng)的訓(xùn)練周期，對(duì)于輸入值的每一種可能的組合，甚至它們常常不能集中在正確的結(jié)果上。在本技術(shù)領(lǐng)域中這被稱(chēng)為僅僅獲得“局部最小值”，而不是“全局解決”。
例如，1993年2月18日發(fā)行的“Electronic Design”第51頁(yè)闡述了需要約3萬(wàn)億(3×1012)訓(xùn)練操作利用先有技術(shù)神經(jīng)電路來(lái)訓(xùn)練典型的神經(jīng)網(wǎng)絡(luò)。這種訓(xùn)練典型地需要幾周或甚至幾個(gè)月的計(jì)算時(shí)間，經(jīng)常使用超型計(jì)算機(jī)。
據(jù)此，現(xiàn)在還非常需要一種能構(gòu)成神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)且不需要長(zhǎng)的訓(xùn)練周期并在一個(gè)訓(xùn)練周期內(nèi)集中在全局解決上的人工神經(jīng)。
在本發(fā)明的一個(gè)實(shí)施例中，提供一種人工神經(jīng)，它僅需要一個(gè)乘法器作為其主要處理單元。這種人工神經(jīng)可用硬件或者用軟件來(lái)實(shí)現(xiàn)。
在本發(fā)明的另一個(gè)實(shí)施例中，提供一種神經(jīng)電路，該神經(jīng)電路僅需要一個(gè)乘法器電路作為其主要處理單元。與傳統(tǒng)的神經(jīng)電路不同，包括本發(fā)明概念的神經(jīng)電路不需要利用任何非線性函數(shù)或求和電路。因此，更多的神經(jīng)電路能被集成在VLSI芯片中，這樣就大大地增加了使用一個(gè)或多個(gè)這種芯片的神經(jīng)網(wǎng)絡(luò)的計(jì)算能力。
與常規(guī)的神經(jīng)網(wǎng)絡(luò)相反，根據(jù)本發(fā)明，由多個(gè)人工神經(jīng)構(gòu)成的一個(gè)神經(jīng)網(wǎng)絡(luò)，不論是以硬件或軟件實(shí)現(xiàn)，如像在上面的相關(guān)發(fā)明中公開(kāi)的那樣，在一個(gè)訓(xùn)練周期(也稱(chēng)為一個(gè)信號(hào)出現(xiàn)時(shí)間或迭代[iteration]內(nèi)該神經(jīng)網(wǎng)絡(luò)集中在全局解決上，通常在個(gè)人計(jì)算機(jī)上可在不多于幾分鐘內(nèi)計(jì)算該訓(xùn)練周期。
鑒此，可以理解，本發(fā)明的包括多個(gè)人工神經(jīng)的神經(jīng)網(wǎng)絡(luò)以非常精確的結(jié)果、明顯改善的在計(jì)算時(shí)間上的減少和在造價(jià)上的明顯降低及其實(shí)施的復(fù)雜性來(lái)執(zhí)行，而不管它是在半導(dǎo)體芯片上還是以計(jì)算機(jī)程序里。
據(jù)此，本發(fā)明的一個(gè)優(yōu)點(diǎn)是提供一種神經(jīng)電路，該神經(jīng)電路包括最小數(shù)量的電路單元，以便一個(gè)神經(jīng)網(wǎng)絡(luò)可被構(gòu)成，包括非常大量的這種神經(jīng)電路，由于其高級(jí)的功能性和生產(chǎn)的低成本產(chǎn)生商業(yè)上競(jìng)爭(zhēng)的產(chǎn)品。
本發(fā)明的另一個(gè)優(yōu)點(diǎn)是提供一種人工神經(jīng)，該人工神經(jīng)僅包括一個(gè)乘法器作為其主處理單元。
本發(fā)明的又一個(gè)優(yōu)點(diǎn)是提供一種人工神經(jīng)，該人工神經(jīng)可被利用作為神經(jīng)網(wǎng)絡(luò)的基本組成部件(在上述確認(rèn)的相關(guān)發(fā)明中公開(kāi))，它不需要重復(fù)訓(xùn)練，并且對(duì)于每個(gè)輸入矢量的給定集產(chǎn)生全局的最小數(shù)量。
本發(fā)明的再一個(gè)優(yōu)點(diǎn)是提供使用本發(fā)明的人工神經(jīng)的各種方法。
根據(jù)本發(fā)明的一個(gè)方面，這里提供一種人工神經(jīng)電路，該人工神經(jīng)電路以響應(yīng)于多個(gè)選通輸入并產(chǎn)生一個(gè)輸出的乘法器電路表征，該乘法器電路的特征在于用于將多個(gè)選通輸入一起相乘產(chǎn)生一個(gè)產(chǎn)物的裝置;和用于以預(yù)定加權(quán)乘該產(chǎn)物產(chǎn)生輸出的裝置。
根據(jù)本發(fā)明的另一個(gè)方面，這里提供一種具有多個(gè)輸入Xi的神經(jīng)，其中i是正整數(shù)，產(chǎn)生一種輸出的方法，其特征在于，(a)加一個(gè)選通函數(shù)(gi)到每個(gè)輸入Xi以產(chǎn)生相應(yīng)于多個(gè)選通輸入的產(chǎn)物;(b)選通輸入一起相乘產(chǎn)生一個(gè)積;和(c)用一個(gè)預(yù)定加權(quán)W乘該積。
在所附的權(quán)利要求書(shū)中具體地指明了本發(fā)明。然而，結(jié)合以下附圖閱讀下面詳細(xì)描述將會(huì)對(duì)本發(fā)明的上述的和其它特點(diǎn)更加明了而且對(duì)本發(fā)明將會(huì)有最好的理解。
圖1示出先有技術(shù)的神經(jīng)電路。
圖2示出圖1所示的先有技術(shù)神經(jīng)電路所使用的以S形函數(shù)形式的非線性轉(zhuǎn)移函數(shù)。
圖3示出另一個(gè)先有技術(shù)神經(jīng)電路(稱(chēng)為“感知器神經(jīng)”)，該神經(jīng)利用一個(gè)二進(jìn)制閾值函數(shù)。
圖4示出本發(fā)明的優(yōu)選實(shí)施例的人工神經(jīng)的概括性方框圖。
圖5示出本發(fā)明優(yōu)選實(shí)施例的一個(gè)神經(jīng)電路的邏輯電路的實(shí)現(xiàn)。
圖6示出在本發(fā)明優(yōu)選實(shí)施例中神經(jīng)電路使用方法的流程圖。
圖7示出本發(fā)明優(yōu)選實(shí)施例中人工神經(jīng)的另一種使用方法的流程圖。
圖8示出選通函數(shù)的流程圖，該選通函數(shù)可構(gòu)成在圖6和7所示人工神經(jīng)使用方法的一部分。
本領(lǐng)域的普通技術(shù)人員明白，本發(fā)明的人工神經(jīng)可以用硬件、軟件或它們的組合來(lái)實(shí)現(xiàn)，而且使用的術(shù)語(yǔ)“神經(jīng)電路”和“神經(jīng)”在本說(shuō)明書(shū)中可互換，正如術(shù)語(yǔ)“乘法器電路”或“乘法器”以及術(shù)語(yǔ)“求和電路”或“加法器”一樣，取決于實(shí)現(xiàn)的類(lèi)型。
再者，本領(lǐng)域的普通技術(shù)的人員明白，乘法運(yùn)算可用相反的除法運(yùn)算來(lái)實(shí)現(xiàn)，因此這里規(guī)定的術(shù)語(yǔ)“乘法器電路”包括了除法器電路，和這里規(guī)定的術(shù)語(yǔ)“乘法器”包括了除法器。
現(xiàn)參見(jiàn)圖4，該圖示出本發(fā)明優(yōu)選實(shí)施例的人工神經(jīng)的概括性方框圖。用各個(gè)選通函數(shù)g1，g2…，gn選通輸入X1，X2，…，Xn，以便產(chǎn)生具有指數(shù)冪的選通輸入。例如，如果gi＝0，那么相應(yīng)于輸入Xi的選通輸入是Xi0或1;如果gi＝1，那么相應(yīng)于輸入Xi的選通輸入是Xi;如果gi＝2，那么相應(yīng)于輸入Xi1的選通輸入是Xi2，等等。
選通輸入Xg11，Xg22，…，Xgnx在乘法器22內(nèi)相乘，它們的產(chǎn)物用加權(quán)Wi相乘，Wi概念性地表示為經(jīng)導(dǎo)線24輸入的加權(quán)W。產(chǎn)生的產(chǎn)物表示經(jīng)導(dǎo)線25從乘法器22的輸出(ouT)。
正如在上面確認(rèn)的相關(guān)發(fā)明中詳細(xì)說(shuō)明的那樣，用多項(xiàng)展開(kāi)式或正交函數(shù)的單獨(dú)項(xiàng)確定gi和Wi的合適的值，該函數(shù)被用作神經(jīng)網(wǎng)絡(luò)工作的基礎(chǔ)，該神經(jīng)網(wǎng)絡(luò)包括多個(gè)在這里描述的人工神經(jīng)。
本領(lǐng)域的普通技術(shù)人員明白，在圖4中所示的人工神經(jīng)可能以許多不同方式來(lái)實(shí)現(xiàn)，其中之一示于圖5。
現(xiàn)參見(jiàn)圖5，該圖示出本發(fā)明的優(yōu)選實(shí)施例的神經(jīng)電路的邏輯電路的實(shí)現(xiàn)。圖5是概念性地示出圖4中本發(fā)明的神經(jīng)電路的數(shù)字實(shí)現(xiàn)。在該實(shí)施例中，多個(gè)輸入Xi順序地加到神經(jīng)電路。
該神經(jīng)電路包括5個(gè)基本單元計(jì)數(shù)器/鎖存器20、乘法器22、復(fù)用器(MUX)26、鎖存器28、以及輸出鎖存器38。輸入鎖存器18也表示為這個(gè)電路實(shí)現(xiàn)的一部分;然而，在包括多個(gè)神經(jīng)電路的一個(gè)神經(jīng)網(wǎng)絡(luò)中，如所公開(kāi)的那樣，例如，在上述的相關(guān)發(fā)明中，單個(gè)輸入鎖存器18可由多個(gè)神經(jīng)電路共用。乘法器22僅表示神經(jīng)電路的主要處理單元。
正如前面所描述的，應(yīng)當(dāng)明白，內(nèi)含除法器電路的其它裝置可以歸結(jié)在乘法器電路之中，以實(shí)現(xiàn)乘/除功能。
輸入鎖存器18例如經(jīng)8比特?cái)?shù)據(jù)總線16接收輸入Xi，雖然本領(lǐng)域的普通技術(shù)人員明白，該數(shù)據(jù)總線的寬度可以為16比特、浮點(diǎn)，或任何其它希望的值。輸入鎖存器18由輸入時(shí)鐘控制。
當(dāng)計(jì)數(shù)器/鎖存器20中計(jì)數(shù)達(dá)到0時(shí)，輸入時(shí)鐘被遞增。本領(lǐng)域的普通技術(shù)人員明白，一個(gè)神經(jīng)網(wǎng)絡(luò)包括許多神經(jīng)電路，每個(gè)神經(jīng)電路可包括一個(gè)計(jì)數(shù)器/鎖存器電路，而輸入時(shí)鐘將不遞增直到所有這樣的計(jì)數(shù)器/鎖存器計(jì)數(shù)達(dá)到0為止。
輸入鎖存器18的輸出經(jīng)8比特?cái)?shù)據(jù)總線19饋送到計(jì)數(shù)器/鎖存器20。
計(jì)數(shù)器/鎖存器20和鎖存器28都響應(yīng)內(nèi)時(shí)鐘信號(hào)(CLK)。CLK以常數(shù)速率增加。計(jì)數(shù)器/鎖存器20和鎖存器28分別經(jīng)導(dǎo)線30和32接收CLK。
為了產(chǎn)生希望的選通函數(shù)，計(jì)數(shù)器/鎖存器20用于在一個(gè)希望數(shù)量的CLK周期內(nèi)保持該輸入數(shù)據(jù)。計(jì)數(shù)器/鎖存器20響應(yīng)于一個(gè)選通輸入導(dǎo)線34，經(jīng)該輸入導(dǎo)線提供相應(yīng)于輸入值Xi的指數(shù)值gi。
正如上面關(guān)于圖4所說(shuō)明的，輸入X1，X2…，Xn由各自的選通函數(shù)g1，g2，…，gn選通以產(chǎn)生具有指數(shù)冪的選通輸入。例如，如果gi＝2，那么相應(yīng)于輸入Xi的選通輸入是X2i。
計(jì)數(shù)器/鎖存器20的輸出經(jīng)8比特?cái)?shù)據(jù)總線21提供給乘法器22。乘法器22的輸出經(jīng)8比特?cái)?shù)據(jù)總線段23和36以及往復(fù)用器26耦合到鎖存器28的輸入。復(fù)用器26復(fù)用經(jīng)總線段36接收的乘法器22的輸出值和經(jīng)導(dǎo)線24接收的加權(quán)W到鎖存器28的輸入。
乘法器22的輸出還經(jīng)8比特?cái)?shù)據(jù)總線段35耦合到輸出鎖存器38的輸入。加權(quán)W還經(jīng)8比特總線段37耦合到輸出鎖存器38的輸入。經(jīng)一定的計(jì)算將明白，W可旁路乘法器22直接地發(fā)送到輸出鎖存器38。
在計(jì)算周期的開(kāi)始，MUX26轉(zhuǎn)換到導(dǎo)線24以接收加權(quán)W。在乘法器電路22產(chǎn)生第一個(gè)產(chǎn)物之后，MUX26轉(zhuǎn)換耦合線36到鎖存器28。
鎖存器28臨時(shí)地保持乘法器22的輸出，用于與計(jì)數(shù)器/鎖存器20的輸出相乘。
計(jì)數(shù)器/鎖存器20起著遞減計(jì)數(shù)電路的功能，即用gi值開(kāi)始加載和遞減計(jì)數(shù)到gi＝0。正如下面將更詳細(xì)說(shuō)明的，對(duì)于每個(gè)內(nèi)部時(shí)鐘周期、經(jīng)導(dǎo)線34加到計(jì)數(shù)器/鎖存器20并在其內(nèi)存儲(chǔ)的gi值被減1，而且只要gi不等于0，該輸入值Xi繼續(xù)乘以前面相乘周期的產(chǎn)物，它經(jīng)總線段23和36通過(guò)MUX26加到鎖存器28。當(dāng)gi＝0時(shí)，乘法器22停止相乘，并且在輸出鎖存器38上出現(xiàn)的乘法器22的輸出代表該神經(jīng)電路的輸出(ouT)。
圖6表示根據(jù)本發(fā)明優(yōu)選實(shí)施例使用神經(jīng)電路的方法的流程圖。在圖6中說(shuō)明的那些步驟的方法涉及圖5所示的神經(jīng)電路。
如在方框40中所表示的，由神經(jīng)電路、例如，由鎖存器18(圖5)接收第一個(gè)輸入。
接著，如在方框42所表示的，每一個(gè)選通函數(shù)被加至第一個(gè)輸入以產(chǎn)生一個(gè)第一選通輸入。在下面還要討論的圖8中更詳細(xì)地表示了選通函數(shù)。
接著，如在方框43所表示的，第一個(gè)選通輸入與預(yù)定的加權(quán)W相乘以產(chǎn)生一個(gè)積。
接著，關(guān)于判決方框44，進(jìn)行檢查確定是否已經(jīng)接收到所有的輸入。如果都收到了，過(guò)程以本批的輸入結(jié)束，并經(jīng)線45退出。如果沒(méi)有接收到所有輸入，過(guò)程前進(jìn)到方框46。
如在方框46所表示的，由神經(jīng)電路接收另一個(gè)輸入。
接著，關(guān)于方框47，另一個(gè)選通函數(shù)被加到該輸入以產(chǎn)生另一個(gè)選通輸入。
然后，在方框48，在方框47中產(chǎn)生的選控輸入用在方框43產(chǎn)生的(或前面在方框48中產(chǎn)生的，如果這不是第一次通過(guò)方框48)產(chǎn)物相乘，以便產(chǎn)生積。
然后過(guò)程經(jīng)線49返回到判決方框44。
在過(guò)程已處理了所有輸入之后，它經(jīng)線45退出判決方框44進(jìn)入方框50，在方框50最后的產(chǎn)物代表神經(jīng)電路的輸出。
圖7表示使用根據(jù)本發(fā)明的人工神經(jīng)的可替代的方法的流程圖。圖7中說(shuō)明的那些步驟的方法涉及圖4所示的人工神經(jīng)。
正如方框52所表示的，由人工神經(jīng)接收多個(gè)輸入并分配到乘法器電路。
正如方框54所表示的，由于多個(gè)輸入Xi被分配到該乘法器，一個(gè)選通函數(shù)被加到它們的每一個(gè)，產(chǎn)生相應(yīng)的多個(gè)選通輸入。該選通函數(shù)更詳細(xì)地表示在下面討論的圖8中。
正如方框56所表示的，這些選通輸入一起相乘以產(chǎn)生積。然后，正如方框58所示的，該積用一個(gè)預(yù)定加權(quán)W相乘，產(chǎn)生一個(gè)代表人工神經(jīng)輸出的積。
圖8表示選通函數(shù)的流程圖，該選通函數(shù)可構(gòu)成使用圖6和7說(shuō)明的人工神經(jīng)的方法的一部分。
參見(jiàn)圖4和8，加到該神經(jīng)電路的輸入Xi的選通函數(shù)可表示如下(a)如果選通函數(shù)g1是0，傳送1到乘法器電路22(參見(jiàn)圖8的方框60);(b)如果選通函數(shù)g1是1，傳送輸入Xi到乘法器電路22(參見(jiàn)方框62);和如果該選通函數(shù)大于1，傳送自乘到gi次冪的該輸入Xi到乘法器電路22(參見(jiàn)方框64)。
因此，圖4所示實(shí)施例的神經(jīng)電路產(chǎn)生形式為Xg11，Xg22…Xgnn的輸出。
現(xiàn)在參見(jiàn)圖5描述本發(fā)明優(yōu)選實(shí)施例的工作。在下面給出的例子中，目的是對(duì)任何輸入變量X1和X2產(chǎn)生一個(gè)6×13X22的神經(jīng)電路輸出。
這一點(diǎn)，參見(jiàn)下面表Ⅰ進(jìn)一步說(shuō)明。
開(kāi)始用值g1＝3值對(duì)計(jì)數(shù)器/鎖存器20加載。因?yàn)間i計(jì)數(shù)不等于0，數(shù)值X1將傳送到乘法器22(根據(jù)上面有關(guān)圖8描述的選通函數(shù))與在線24上通過(guò)MUX26的W相乘。
然后計(jì)數(shù)器/鎖存器20開(kāi)始遞減計(jì)數(shù)，而且，只要gi計(jì)數(shù)不等于0，X1將繼續(xù)用乘法器22的產(chǎn)物相乘。當(dāng)gi計(jì)數(shù)達(dá)到0時(shí)，那么乘法器22將停止相乘(或?qū)⒑?jiǎn)單的連續(xù)用1乘該產(chǎn)物，這取決于包括神經(jīng)電路的神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn))并等待下一個(gè)輸入X2。這時(shí)神經(jīng)電路的中間輸出是6X31。
當(dāng)輸入時(shí)鐘＝2，且X2被鎖存到鎖存器18和g2＝2被加載到計(jì)數(shù)器/鎖存器20時(shí)，如上所描述的，該工作基本上繼續(xù)，直到計(jì)數(shù)器/鎖存器20遞減計(jì)數(shù)到0。這時(shí)神經(jīng)電路的最后輸出是6X31X22。
下面用表Ⅰ描述其詳細(xì)工作。
表Ⅰ輸入時(shí)鐘順序 時(shí)鐘順序 計(jì)數(shù)器/鎖存器 輸出
1 1 3 6×11 2 2 6×121 3 1 6×131 4 0 6×132 5 2 6×13X22 6 1 6×13X22 7 0 6×13X222 8 - 6×13X22在這個(gè)例子中，在計(jì)算周期的開(kāi)始神經(jīng)電路的加權(quán)是相乘的，應(yīng)當(dāng)明白，在任何適當(dāng)?shù)臅r(shí)間它可以相乘。
因此，在這里已經(jīng)描述了一種概念，以及包括人工神經(jīng)的優(yōu)選實(shí)施例的一些實(shí)施例，和產(chǎn)生人工神經(jīng)輸出的方法，人工神經(jīng)僅需要一個(gè)乘法器作為它們的主要處理單元。
為此，更多的神經(jīng)能被集成在VLSI芯片中或在計(jì)算機(jī)程序中，因而大大地增加了利用多個(gè)這樣的神經(jīng)的神經(jīng)網(wǎng)絡(luò)的計(jì)算能力。
這就使得神經(jīng)網(wǎng)絡(luò)的產(chǎn)物在處理能力和速度。生產(chǎn)的成本，應(yīng)用的多用性和市場(chǎng)接受方面比先有技術(shù)的神經(jīng)網(wǎng)絡(luò)產(chǎn)物有重要的商業(yè)優(yōu)點(diǎn)。
在上述相關(guān)發(fā)明中，公開(kāi)了神經(jīng)網(wǎng)絡(luò)的各種實(shí)施例，那些神經(jīng)網(wǎng)絡(luò)使用在這里公開(kāi)的人工神經(jīng)作為基本的組成部件。這是因?yàn)檫@樣的人工神經(jīng)的唯一函數(shù)，即能夠?qū)⒍鄠€(gè)選通輸入相乘并用加權(quán)值乘產(chǎn)生的產(chǎn)物。由于這些特性，在上面確認(rèn)的相關(guān)發(fā)明中公開(kāi)的神經(jīng)網(wǎng)絡(luò)的各種實(shí)施例可使用在這里公開(kāi)的人工神經(jīng)，以便在實(shí)現(xiàn)多項(xiàng)展開(kāi)式或正交函數(shù)方面有大的優(yōu)點(diǎn)，它們構(gòu)成這種神經(jīng)網(wǎng)絡(luò)工作的基礎(chǔ)。
因此，在這里已經(jīng)描述了一個(gè)人工神經(jīng)，它可構(gòu)成神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，這種網(wǎng)絡(luò)不需要長(zhǎng)的訓(xùn)練周期，而且在單個(gè)訓(xùn)練周期內(nèi)集中在全局解決。
而且，本領(lǐng)域的技術(shù)人員明白，可以以各種方式對(duì)公開(kāi)的發(fā)明進(jìn)行修改，而且可以假設(shè)許多實(shí)施例，而不同于上面描述和具體提出的優(yōu)選實(shí)施例形式。
例如，本發(fā)明的神經(jīng)電路7可用模擬技術(shù)實(shí)現(xiàn)或用模擬和數(shù)字技術(shù)的組合實(shí)現(xiàn)。
而且，由適應(yīng)的電路是可實(shí)現(xiàn)的，其中多個(gè)輸入Xi可能是并行而不是順序地處理的。
此外，輸出鎖存器可用一個(gè)復(fù)用器替換。
鑒此，所附權(quán)利要求的意圖是，包括本發(fā)明的所有修改，所有這些修改都將不脫離本發(fā)明的真正精神和范圍。
權(quán)利要求
1.一種人工神經(jīng)電路，其特征在于一個(gè)乘法器電路(22)，響應(yīng)于多處于選通輸入并產(chǎn)生一個(gè)輸出，所述乘法器電路其特征在于用于相乘所述選通輸入產(chǎn)生一個(gè)積的裝置；和用于用一個(gè)預(yù)定加權(quán)乘以所述積產(chǎn)生所述輸出的裝置。
2.根據(jù)權(quán)利要求1的神經(jīng)電路，其特征在于用于通過(guò)順序地執(zhí)行選通函數(shù)(gi)在到所述神經(jīng)電路的多個(gè)輸入的每一個(gè)輸入產(chǎn)生所述選通輸入的裝置，從而產(chǎn)生所述選通輸入如下(a)如果所述選通函數(shù)是0，傳送1到所述乘法器電路;(b)如果所述選通函數(shù)是1，傳送所述輸入到所述乘法器電路;和(c)如果所述選通函數(shù)大于1，傳送自乘到gi冪的所述輸入到所述乘法器電路。
3.根據(jù)權(quán)利要求1的神經(jīng)電路，其特征在于所述神經(jīng)電路是制造在集成電路上的。
4.一種神經(jīng)電路，其特征在于第一鎖存器裝置(圖5的18)，響應(yīng)多個(gè)輸入Xi用于順序地存儲(chǔ)每個(gè)所述輸入Xi和順序地提供每一個(gè)所述存儲(chǔ)的輸入Xi作為其輸出，其中i是正整數(shù);計(jì)數(shù)器/鎖存器裝置(20)，響應(yīng)于所述第一鎖存器裝置的輸出并提供所述存儲(chǔ)輸入作為其輸出;第二鎖存器裝置(28)，用于提供一個(gè)輸出;乘法器電路(22)，具有響應(yīng)所述計(jì)數(shù)器/鎖存器裝置的輸出的第一輸入和響應(yīng)所述第二鎖存器裝置輸出的第二輸入，并產(chǎn)生一個(gè)產(chǎn)物;一個(gè)復(fù)用器(26)，用于將所述產(chǎn)物或加權(quán)值W耦合到所述第二鎖存器裝置的一個(gè)輸入;其中所述計(jì)數(shù)器/鎖存器裝置還響應(yīng)多個(gè)值gi，這里是一個(gè)值gi相應(yīng)于每個(gè)值Xi，所述計(jì)數(shù)器/鎖存器裝置用于在所述乘法器電路的gi相乘周期存儲(chǔ)給定的輸入Xi，在每個(gè)所述相乘周期期間，所述輸入Xi以所述產(chǎn)物相乘，在所述相乘周期的一個(gè)周期期間，所述產(chǎn)物用所述加權(quán)值相乘;從而所述神經(jīng)電路產(chǎn)生一個(gè)形式為WXg11Xg22…Xgnn的輸出。
5.根據(jù)權(quán)利要求4所述的神經(jīng)電路，其特征在于一個(gè)輸出鎖存器(38)，它具有響應(yīng)于所述產(chǎn)物的第一輸入和響應(yīng)于所述加權(quán)值W的第二輸入，并產(chǎn)生代表所述神經(jīng)電路輸出的一個(gè)輸出，從而所述加權(quán)值W能旁路所述乘法器電路。
6.根據(jù)權(quán)利要求4所述的神經(jīng)電路，其特征在于，每個(gè)所述輸入Xi包括多個(gè)比特。
7.在具有多個(gè)輸入Xi的神經(jīng)電路中(其中i是正整數(shù))一種產(chǎn)生輸出的方法，其特征在于包括如下步驟(a)接收所述多個(gè)輸入的第一個(gè)輸入;(b)將第一選通函數(shù)加到所述輸入以產(chǎn)生一個(gè)第一選通輸入;(c)用一個(gè)預(yù)定加權(quán)乘以所述第一選通輸入，以及產(chǎn)生一個(gè)產(chǎn)物;(d)確定是否已經(jīng)接收到所有的所述多個(gè)輸入;(ⅰ)如果是，指定所述產(chǎn)物作為所述神經(jīng)電路的輸出;(ⅱ)假如不是，進(jìn)到步驟(e);(c)接收所述多個(gè)輸入的另一個(gè)輸入;(f)將另一個(gè)選通函數(shù)加到所述輸入以產(chǎn)生一個(gè)選通輸入;(g)用所述產(chǎn)物乘以所述選通輸入以產(chǎn)生另一個(gè)產(chǎn)物;和(h)返回到步驟(d)，直到所有的所述多個(gè)輸入已經(jīng)接收到為止。
8.根據(jù)權(quán)利要求7所述的神經(jīng)電路，其特征在于，在步驟(b)和(f)中產(chǎn)生所述相應(yīng)的選通輸入如下(ⅰ)如果所述選通函數(shù)(gi)是0，那么所述選通輸入Xi的值是1;(ⅱ)如果所述選通函數(shù)是1，那么所述選通輸入Xi的值是Xi;和(ⅲ)如果所述選通函數(shù)是1，那么所述選通輸入Xi的值是自乘以到gi次冪的Xi。
9.在一個(gè)具有多個(gè)輸入Xi的神經(jīng)中(其中i是一個(gè)正整數(shù))一種產(chǎn)生輸出的方法，其特征在于包括如下步驟(a)將一個(gè)選通函數(shù)(gi)加到每個(gè)所述輸入Xi以產(chǎn)生相應(yīng)的多個(gè)選通輸入;(b)相乘所述選通輸入，產(chǎn)生一個(gè)產(chǎn)物;和(c)用預(yù)定的加權(quán)W乘以所述產(chǎn)物。
10.根據(jù)權(quán)利要求9所述的神經(jīng)，其特征在于，在步驟(a)中，產(chǎn)生所述相應(yīng)的多個(gè)選通輸入的步驟如下(ⅰ)如果所述選通函數(shù)(gi)是0，那么所述選通輸入Xi的值是1;(ⅱ)如果所述選通函數(shù)是1，那么所述選通輸入Xi的值是Xi，和(ⅲ)如果所述選通函數(shù)大于1，那么所述選通輸入Xi的值是自乘到gi次冪的Xi。
全文摘要
一種人工神經(jīng)，它可用硬件或軟件來(lái)實(shí)現(xiàn)，它僅具有一個(gè)以乘法器(22)形式的主要處理單元。這些輸入首先通過(guò)選通函數(shù)饋送以產(chǎn)生選通輸入。然后這些選通輸入一起相乘以產(chǎn)生一個(gè)產(chǎn)物，該產(chǎn)物用加權(quán)相乘，以便產(chǎn)生神經(jīng)的輸出。
文檔編號(hào)G06F7/552GK1107598SQ9410656
公開(kāi)日1995年8月30日 申請(qǐng)日期1994年6月10日 優(yōu)先權(quán)日1993年6月14日
發(fā)明者謝伊－平·托馬斯·王 申請(qǐng)人:莫托羅拉公司