Neformaln uvod Samoorganzrajuće neuronske mreže Prof. dr.sc. Bojana Dalbelo-Bašć Marko Čupć, dpl. ng. FER Zagreb Kako uče neuronske mreže? Učenje s učteljem (supervsed learnng) Tpčan prmjer je FF-ANN Backpropagaton algortam učenja Karakterstke: poznat su ulaz odgovarajuć zlaz; mreža uč preslkavanje ulaz-zlaz Učenje bez učtelja (unsupervsed learnng) U suprotnost s konceptom učenja? Zapravo ne. Evo deje Neformaln uvod X X Malo dete nalaz se na pustom otoku Vd oko sebe razlčte žvotnje uč Y Y X Z Z 3 4 Neformaln uvod Što dete uč? Postoj X koj ma sljedeće karakterstke: Malo je, let Postoj Y koj ma sljedeće karakterstke: Zadržava se na kopnu, hoda l poskakuje, Postoj Z koj ma sljedeće karakterstke: Malo je, plva, ne napušta vodu Neformaln uvod Dete obavlja klasterranje; uč bez učtelja M znamo da zapravo vred: X je ptca Y je kopnena žvotnja Z je rba Učenje bez učtelja samoorganzaca: vrlo čest u prrod 5 6
Mehanzam natjecanja (S. Grossberg) optmzaca funkca elemenata dstrburanog sustava (društvo, bologa, računarsk sustav,...) Natjecanje - vod do optmzace na lokalnoj razn bez potrebe za globalnom kontrolom vrlo česta pojava u bolog Sv PE mreže dobvaju dentčan nput, al se natječu: Lateralnm vezama Formulacom prncpa učenja Specalzaca PE za određena područja ulaznog prostora oslkavanje strukture nputa Kod učenja NN specalzraju se PE na određen načn (tako da smanju pogrešku). Backpropagaton pogreške kod nelnearnh mreža vod specalzac neurona, al ndrektno uz velke troškove sporu konvergencu RBF se po svojoj prrod specalzraju, al područje se određuje unapred Kompettvne mreže specalzraju se postupkom natjecanja! 7 8 Četr zahtjeva na samoorganzrajuće NN Četr zahtjeva na samoorganzrajuće NN. Težnsk faktor u neuronu moraju bt predstavnc klase uzoraka, tako da svak neuron predstavlja drugu klasu.. Ulazn uzorak predstavlja se svm neuronma, svak neuron je zlazn. Vrednost zlaza je mjera slčnost zmeđu ulaznog uzorka uzorka pohranjenog u neuronu. 3. Korst se natjecateljska stratega učenja (engl. compettve learnng strategy) koja odabre neuron s najvećm zlazom. 4. Postoje metode potcanja najvećeg zlaza. 9 0 Podjele obzrom na tp natjecanja: Čvrsto natjecanje (eng. hard competto postoj samo jedan pobjednk, samo on uč Meko natjecanje (eng. soft competto postoj samo jedan pobjednk, al u određenoj mjer uče njegov susjed Tpčn predstavnk kompettvne NN sloj PE gdje sv dobvaju ste ulazne podatke PE sa najvećm (najmanjm) zlazom proglašava se pobjednkom Trvalna zvedba kod dgtalnh računala Nepoželjno: Treba postojat globaln nadzornk Preskupo za dstrburane sustave
mreža rješenje problema + y y y n + + N procesnh elemenata Samo onaj element PE za kojega x >x j j na zlazu daje, sv ostal 0 Postoj jednčna poztvna povratna veza elementa na samog sebe Postoje negatvne lateralne veze velčne ε (0 < ε < /N) na sve ostale procesne elemente Nakon prelaznog razdoblja zlaz se stablzra y y y n x x Čvrsto natjecanje 3 + + + Prmjer... 4 x x Mrež se u prvom trenutku predoč ulazn uzorak, zatm se makne Lateralne negatvne veze sve zlaze tjeraju eksponencalno prema nul PE s najvećm ulaznm uzorkom sve manje osjeća -ε veze, počnje ponovno rast (zbog + veze), još vše zaguš preostale procesne elemente Prmjer odzva dstrburane zvedbe WTA -sv PE rade ažurranje snkrono (postoje asnkrone verze) -Postoj prelazna pojava: 5 6 Prmjer mreže koja prmjenjuje kompettvno učenje Svak neuron specalzra se za jedno područje Korst se za klasfkacu, jer su zlaz y mreže bnarn (0/), tj. y = ako net >net j, za svak j, j y =0 nače 7 8 3
x x PE net y Metoda učenja (Grossberg) učenje bez učtelja (modfkaca Hebbovog učenja): w ( n + ) = w ( + η y ( ( x ( w ( ) j PE net y Odnosno vektorsk: w ( n + ) = w ( + η y ( ( x( w ( ) PE m net m y m Kohonenovo pravlo Ovaj član osgurava da uč samo pobjednk! 9 0 geometrska nterpretaca w ( n + ) = w ( + η y ( ( x( w ( ) 0 x r w r r x r w η x w ) ( Težnsk faktor postaju slčn ulaznm vrednostma! Na koj načn procesn element računa zlaz? Izlaz mora bt mjera slčnost sa predočenm uzorkom! Rješenje: računat mjeru kuta zmeđu uzorka na ulazu pohranjenog uzorka. ϕ x r w r cos ϕ = x w x w x w Komplcran račun (ako se ne aproksmra skalarnm produktom) Ako se korst aproksmaca, moguće pogreške Oba načna smanjuju mogućnost klasfkace uzoraka jer sve uzorke smještaju na obod jednčne hperkugle 3 Rješenje korstt udaljenost Eukldska udaljenost se korst češće r x r w = ( x k wk ) Pobjednk je onaj PE koj je najblž k prmjer 4 4
- prmjer Dva procesna elementa Kompettvna stratega učenja PE (plav) Uzorc za učenje (crne točkce) -generraju se u dva klastera Ukolko je nek PE daleko od klastera, nkada neće pobedt u natjecanju podest svoje težnske faktore mrtav PE! Rješenje problema: savjest Svak element udaljenost od ulaznog uzorka procjenjuje subjektvno Ako PE prečesto pobjeđuje, grze ga savjest pa mu se čn da je dalje, nego što stvarno jest. PE (crve 5 6 OUTSTAR mreža Savjest: udaljenost se povećava D( w, x) D( w, x) b b : duljna usled savjest (/N pravedn udo pobjede) b γ 0, 0 = γ c N c : procjena postotka pobjeđvanja c ( n + ) = c ( + β o ( c (, β 0.00 ( ) o : za pobjedu, 0 za poraz Onlne zvedba procjene svak PE računa zasebno prmjer 7 Slčna INSTAR mrež, međutm: Ulaz mreže su bnarn, to samo jedan ulaz može bt u. Na zlaze mreže se ne postavlja ogrančenje Izlaz je net Služ za replcranje pohranjenh uzoraka Za svak aktvan ulaz može se odredt što treba dat na zlazu 8 OUTSTAR mreža OUTSTAR mreža x x PE net y Pravlo učenja učenje s učteljem: w = w + η ( y w ) x Težnsk faktor postaju slčn zlaznm vrednostma! PE net y Poznato kao: Grossbergovo pravlo Vektorsk oblk: w = w + η j j r ( y w ) x j PE m net m y m Uč samo -t PE zbog x 9 30 5
INSTAR-OUTSTAR mreža INSTAR-OUTSTAR mreža Ovakav spoj mreže pokazuje vrlo zanmljvo svojstvo asocatvnost: z podataka sa šumom prepozna kojoj klas uzorak dosta prpada OUTSTAR mreža zatm na zlazu generra savršenog predstavnka te klase (odnosno uklanja šum) x x I N S T A R m r e ž a O U T S T A R m r e ž a net PE net PE net PE net PE y y net m net m y m PE m PE m 3 3 Meko natjecanje Čvrsto natjecanje uvek daje jednog pobjednka Kod mekog natjecanja zna se pobjednk, al uč njegova okolna Moguća također dstrburana zvedba Veze prema blskm susjedma su poztvne Veze prema daljm susjedma su negatve Meko natjecanje Meko natjecanje grad svojstvo susjednost Susjedn PE predstavljaju klastere koj su nače blzu Stvara se topološko mapranje Ako se dva ulaza preslkaju u PE koj su blzu, tada su ulazn uzorc blzu Čuva se dstrbuca podataka Najpoznat prmjer: Kohonenove samoorganzrajuće mape (SOM) 33 34 Kohonenova SOM je potpuno povezana, lnearna jednoslojna mreža PE se tpčno povezuju u D lanac, l D polje X PE, PE, PE,3 PE,4 PE, PE, PE,3 PE,4 PE 3, PE 3, PE 3,3 PE 3,4 PE 4, PE 4, PE 4,3 PE 4,4 35 36 6
Učenje SOMa: Funkca susjednost: ( x( w ( )) w ( n + ) = w ( + Λ * ( η( n, Λ d *, = exp σ ( * (, 37 Dve faze učenja:. Incalna faza. Stvara se grub poredak PEa. Stopu učenja treba držat vsokom, postupno smanjvat, od npr. 0.5 do 0.0, kroz N 0 =000 teraca n η( =η0( ) N + K 0 K je prozvoljna konst.- defnra krajnj η; broj terace n =, N 0 Susjedstvo treba smanjvat od pola mape prema samo jednom elementu n σ ( = σ 0 N0 38 Faze učenja:. Faza konvergence. Fno se podešavaju PE. Susjedstvo treba ogrančt na najblže, l čak na sam PE, a stopu učenja treba smanjvat od 0.0 prema 0. Trajanje je 0-00 puta dulje od ncalne faze. - prmjer Klasčn pogled na procesne elemente generrane uzorke. Prmjer KohD, KohD 39 40 - prmjer Lnama su povezan susjedn procesn element. Što je zlaz ove mreže? Dva skupa težna jedan za natjecanje, a drug za određvanje zlaza Postupak natjecanja provod grupranje (clusterng) a ne klasfkacu! 4 4 7
Counterpropagaton mreža Prmjer uporabe SOM-a Općent nazv za blo koju mrežu sastavljenu z dva dela:. Kompettvnog ulaznog dela koj vrš klasterranje. Izlaznog dela koj se uč metodom učenja s učteljem INSTAR-OUTSTAR mreža je mreža ovog tpa Učenje tpčno u dve faze:. faza: učenje samoorganzrajućeg dela (učenje bez učtelja). faza: učenje feedforward mreže (učenje s učteljem) 43 Prepoznavanje govora Kohonen: Phonetc typewrter for the Fnnsh language Ulaz: govor Izlaz: psan tekst Arhtektura: D polje od 96 PE-a Svak PE dobva na 5 ulaza delove spektra govora Nakon procesa samoorganzace uočava se grupranje slčnh verza stog fonema Prepoznavanje: praćenje trajektore 44 Lteratura Prncpe, Lefebvre, and Eulano: Neural Systems: Fundamentals Through Smulatons N. K. Bose, P. Lang: Neural Network Fundamentals wth Graphs, Algorthms, and Applcatons, McGraw-Hll, 996. 45 8