Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
Modelstochastycznyneuronu
41
gdzieC=xxTjestmacierząkorelacji,którazracjiswejdefinicjijestmacierząsy-
metryczną,dodatniopółokreśloną,awięcowartościachwłasnychrzeczywistych
inieujemnych.Przyciąguoperacjiopisanychzależnością(2.37),powtarzanych
namacierzydodatniopółokreślonejC,processtajesięrozbieżny,askładowe
wektorawdążądonieskończoności.
NiestabilnośćregułyHebbamożnawyeliminować,ograniczającwtrakcie
uczeniawektorwagprzezrenormalizację,czylitakidobórwspółczynnikaskali
O
wkażdymkrokuuczenia,aby
w
!±
O
wprzy
,
w
!±
1.
Metodatakajestzłożona
iwymagadodatkowegonakładupracynaetapieuczenia.
D.Oja[128]zmodyfikowałregułęHebbawtakisposób,żebezrenormalizacji
procesuuczeniawektorwagdążysamoczynniedo
w
±
1.
ZgodniezregułąOji,
aktualizacjawagprzebiegawedługwzoru
∆
w
i
±
n
yx
(
i
-
yw
i
)
(2.39)
Regułataprzypominapropagacjęwsteczną,gdyżsygnałx
ijestmodyfikowany
przezsygnałwsteczny,pochodzącyodsygnałuwyjściowegoyneuronu.Przy
jednymneuroniewwarstwieregułaOjijestregułąlokalną,gdyżwprocesie
modyfikacjix
ibierzeudziałtylkowaga,którąaktualniedobieramy.
Dowódograniczonościwag,uzyskiwanychwwynikuzastosowaniareguły
Oji,możnaotrzymaćzastępujączależnośćskalarną(2.39)zależnościąwektoro-
wą,któraprzyzałożeniuupraszczającym
n
±iuwzględnieniuzależności(2.37)
1
przybierapostać
∆±
wCw
-
(
wCww
T
)
(2.40)
Stabilnyprocesuczeniaotrzymujesię,jeślipodostateczniedługimuczeniu
∆
w
±
0,
czyli
Cw
±
(
wCww
T
)
(2.41)
Jeślioznaczysięprzez
X
wartośćwłasnąmacierzykorelacjiC,awektorwdobie-
rzejakowektorwłasnyskojarzonyznią,tozdefinicjiwartościwłasnejuzyskuje
się:
Cw
±
X
wPodstawiająctęzależnośćdowzoru(2.39),otrzymujesię
.
X
±
wCw
T
±
w
T
X
w
±
X
|
w
|
2
(2.42)
Zzależności(2.42)wynika,żezastosowaniewuczeniuzmodyfikowanejreguły
Hebbapowodujeograniczeniemodułuwektorawdojedności|
w
|1,
±
coodpo-
wiadaograniczonościwag.
2.;.Modelstochastycznyneuronu
Wodróżnieniuodwszystkichmodelideterministycznychwprowadzonychwcze-
śniejwtymrozdziale,wmodelustochastycznym[64]stanwyjściowyneuronu
