Microsoft PowerPoint - SamoorganizirajuceNN_2

Слични документи
1. KOLOKVIJ IZ MATEMATIKE I, PRVI DIO - GRUPA A 24. listopada (i) Napi²ite formulu za determinantu i inverz op e matrice drugog reda, te nave

MARKOVLJEVI LANCI Prvi kolokvij 28. studenog Zadatak 1. (a) (5 bodova) Za Markovljev lanac (X n ) i njegovo stanje i S neka T (n) i u stanje i.

УНИВЕРЗИТЕТ У БЕОГРАДУ МАШИНСКИ ФАКУЛТЕТ Предмет: КОМПЈУТЕРСКА СИМУЛАЦИЈА И ВЕШТАЧКА ИНТЕЛИГЕНЦИЈА Задатак број: Лист/листова: 1/1 Задатак 5.1 Pостоје

Microsoft Word Q19-078

Microsoft Word - Trigonometrijski oblik kompleksnog broja.doc

POSLOVNI INFORMACIONI SISTEMI I RA^UNARSKE

Klasifikacija slika kucnih brojeva dubokim konvolucijskim modelima

Microsoft Word - STO_VALJA_ZAPAMTITI_11.doc

Microsoft Word - diplomski1.doc

ПА-4 Машинско учење-алгоритми машинског учења

Sveučilište u Zagrebu

Microsoft Word - 3. G Markovic D Teodorovic.doc

DIGITALNA OBRADA SIGNALA

I колоквијум из Основа рачунарске технике I СИ- 2017/2018 ( ) Р е ш е њ е Задатак 1 Тачка А Потребно је прво пронаћи вредности функција f(x

P9.1 Dodela resursa, Bojenje grafa

Microsoft Word - SIORT1_2019_K1_resenje.docx

Microsoft Word Potkorica.doc

ELEKTRONIKA

Увод у организацију и архитектуру рачунара 1

Elektroenergetski sustav je zajedništvo: generatora, transformatora, vodova i trošila (potrošača)

Projektovanje informacionih sistema i baze podataka

AV3-OE2-stručni PRIJELAZNE POJAVE Dr.sc. Venco Ćorluka 3. PRIJELAZNE POJAVE 3.1.Prijelazne pojave u mreži s otporom i induktivitetom Serijski spoj otp

Poučak 56 Osnovna svojstva stabala i primjena na problem spajanja Jan Berger 1 i Mario Krnić 2 Prema bolonjskom načinu studiranja, studenti Fakulteta

GEOMETRIJSKE KARAKTERISTIKE PRESEKA POPREČNOG PRESEKA GREDE PRIMERI

MV Merchandise visibility sistem

VIK-01 opis

12-7 Use of the Regression Model for Prediction

Logičke izjave i logičke funkcije

Primjena neodredenog integrala u inženjerstvu Matematika 2 Erna Begović Kovač, Literatura: I. Gusić, Lekcije iz Matematike 2

Stručno usavršavanje

Neodreeni integrali - Predavanje III

RED VOŽNJE ZA BESPLATAN PREVOZ LINIJA 1 UŠĆE TRG REPUBLIKE Polazno stajalište za ULAZ 6 kaplara za linije 16, 75, u smeru ka Zelenom vencu Krajn

PROPISNIK O KALENDARU NATJECANJA

CIJELI BROJEVI 1.) Kako još nazivamo pozitivne cijele brojeve? 1.) Za što je oznaka? 2.) Ispiši skup prirodnih brojeva! 3.) Kako označavamo skup priro

KORELISANOST REZULTATA MERENJA

My_P_Red_Bin_Zbir_Free

Microsoft Word - Svrha projekta.doc

IZBORNO NATJECANJE ZA IMC - RJEŠENJA Zadatak 1. Odredite sve polinome f i g s realnim koeficijentima koji zadovoljavaju jednakost (f(x))

UDC: : / STRUČNI RAD PRIMENA METODE VIKOR ZA IZBOR STRATEGIJE ODRŽAVANJA THE APPLICATION OF VIKOR METHOD FOR SELECTION OF MAINTEN

Odreivanje neodreenosti hadronske strukture metodama strojnog ucenja

SVEUČILIŠTE U ZAGREBU FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA ZAVRŠNI RAD br Autonomno kretanje virtualnih objekata Marin Hrkec Zagreb, lipanj 201

MAT-KOL (Banja Luka) XXIV (3)(2018), DOI: /МК A ISSN (o) ISSN (o) ZAŠTO K

Ukupno bodova:

Microsoft Word - Vezba 3_Stilometrija-uputstvo za vezbu (Repaired).doc

Microsoft Word - 13-Mreze.doc

oae_10_dom

SVEUČILIŠTE U ZAGREBU FAKULTET STROJARSTVA I BRODOGRADNJE ZAVRŠNI RAD Mario Svačina Zagreb, 2014.

Рачунарска интелигенција

Microsoft Word - ETF Journal - Maja

Konacne grupe, dizajni i kodovi

OpenDNS Family Shield CERT.hr-PUBDOC

ALIP1_udzb_2019.indb

JMBAG IME I PREZIME BROJ BODOVA MJERA I INTEGRAL 2. kolokvij 29. lipnja (Knjige, bilježnice, dodatni papiri i kalkulatori nisu dozvoljeni!) 1. (

ŠTO ZNAČI ZAHTIJEV ZA KROV ODNOSNO KROVNI POKROV, BROOF (t1), I KAKO SE TO SVOJSTVO ISPITUJE I DOKAZUJE Tomislav Skušić, dipl.ing. Laboratorij za topl

PROJEKTOVANJE I PRIMENA WEB PORTALA Snežana Laketa Osnovna škola Vuk Karadžić, Vlasenica kontakt telefon:

Sveučilište J.J. Strossmayera Fizika 2 FERIT Predložak za laboratorijske vježbe Određivanje relativne permitivnosti sredstva Cilj vježbe Određivanje r

Matrice. Algebarske operacije s matricama. - Predavanje I

PowerPoint Presentation

ŽUPANIJSKO NATJECANJE IZ MATEMATIKE 28. veljače razred - rješenja OVDJE SU DANI NEKI NAČINI RJEŠAVANJA ZADATAKA. UKOLIKO UČENIK IMA DRUGAČIJI

Verovatnoća - kolokvijum 17. decembar Profesor daje dva tipa ispita,,,težak ispit i,,lak ispit. Verovatnoća da student dobije težak ispit je

XIII. Hrvatski simpozij o nastavi fizike Istraživački usmjerena nastava fizike na Bungee jumping primjeru temeljena na analizi video snimke Berti Erja

Nastavna cjelina: 1. Jezik računala Kataloška tema: 1.1. Bit 1.2. Brojevi zapisani četvorkom bitova Nastavna jedinica: 1.1. Bit   1.2. Brojevi zapisan

Microsoft PowerPoint - fakultet - Gajić.ppt [Način kompatibilnosti]

CRNOGORSKI KOMITET MEĐUNARODNOG VIJEĆA

Algoritmi SŠ P1

Državno natjecanje / Osnove informatike Srednje škole Zadaci U sljedećim pitanjima na odgovore odgovaraš upisivanjem slova koji se nalazi ispred

U trotjednom istraživanju „Kako mršavimo“ provedenom na portalu Ordinacija

Planovi prijema za numeričke karakteristike kvaliteta

Microsoft PowerPoint - 18 Rapid prototyping.ppt

LAB PRAKTIKUM OR1 _ETR_

Microsoft Word - 24ms241

Slide 1

Prof. dr. sc. Aleksandra Čižmešija, izv. prof., PMF MO, Sveučilište u Zagrebu Prof. dr. sc. Hrvoje Šikić, red. prof., PMF MO, Sveučilište u Zagrebu Pr

Kriteriji ocjenjivanja 6razred

CJENIK STOLCI - HR (Kn).xlsx

ЗБИРКА АЛАТКИ за планирање индивидуализованог образовања Изабране алатке из Водич кроз ресурсе за наставнике Британска ( Колумбија, 2009) Садржај Прил

Uvod u računarstvo 2+2

Microsoft Word - Kruno Kantoci-NDU.doc

ANALIZA RAČUNOVODSTVENIH POLITIKA PRIZNAVANJA I PROCJENJIVANJA KRATKOTRAJNE IMOVINE Imovina Kratkotrajna imovina Dugotrajna imovina Imovin

Microsoft PowerPoint - Teorija kretanja vozila-predavanje 3.1.ppt

NAZIV PREDMETA UNUTARNJETRGOVINSKO POSLOVANJE II Kod Godina studija 2. Nositelj/i predmeta dr.sc. Ivana Plazibat, prof. Bodovna vrijednost 6 ECTS v.š.

(Microsoft PowerPoint - U\310INKOVITA PREVENCIJA OVISNOSTI-josip_jankovic.pptx)

Drugi kolokvij iz predmeta Operacijski sustavi 2. srpnja Napomene: PISATI ČITKO! Zadatke 7-10 rješavati na ovom papiru ili uz njih napisati "na

ULOGA KONTROLE KVALITETE U STVARANJU INFRASTRUKTURE PROSTORNIH PODATAKA Vladimir Baričević, dipl.ing.geod. Dragan Divjak, dipl.ing.geod.

+ Usluge kućne njege za osobe mlađe od 65 godina kroatiska + 1. Opći dojam o službi kućne njege Iznimno sam nezadovoljan/na Prilično sam nezadovoljan/

knjiga.dvi

Microsoft PowerPoint - Prvi tjedan [Compatibility Mode]

STONEX S5 GNSS prijemnik GNSS prijemnik visoke točnosti za prikupljanje podataka za GIS

Programski jezici i strukture podataka 2018/2019. Programski jezici i strukture podataka Računarske vežbe vežba 10 Zimski semestar 2018/2019. Studijsk

Microsoft Word - VEROVATNOCA II deo.doc

Istraživanje turističkog tržišta

Univerzitet u Beogradu Elektrotehnički fakultet Katedra za energetske pretvarače i pogone ISPIT IZ SINHRONIH MAŠINA (13E013SIM) 1. Poznati su podaci o

χ2 test

Microsoft Word - 4.Ee1.AC-DC_pretvaraci.10

ANALIZE MASENOM SPEKTROMETRIJOM SEKUNDARNIH MOLEKULARNIH IONA ZA PRIMJENE U FORENZICI

Microsoft Word - 01-NASLOVNA.doc

Microsoft Word - PusenjeNaRadnomMjestu.doc

Транскрипт:

Neformaln uvod Samoorganzrajuće neuronske mreže Prof. dr.sc. Bojana Dalbelo-Bašć Marko Čupć, dpl. ng. FER Zagreb Kako uče neuronske mreže? Učenje s učteljem (supervsed learnng) Tpčan prmjer je FF-ANN Backpropagaton algortam učenja Karakterstke: poznat su ulaz odgovarajuć zlaz; mreža uč preslkavanje ulaz-zlaz Učenje bez učtelja (unsupervsed learnng) U suprotnost s konceptom učenja? Zapravo ne. Evo deje Neformaln uvod X X Malo dete nalaz se na pustom otoku Vd oko sebe razlčte žvotnje uč Y Y X Z Z 3 4 Neformaln uvod Što dete uč? Postoj X koj ma sljedeće karakterstke: Malo je, let Postoj Y koj ma sljedeće karakterstke: Zadržava se na kopnu, hoda l poskakuje, Postoj Z koj ma sljedeće karakterstke: Malo je, plva, ne napušta vodu Neformaln uvod Dete obavlja klasterranje; uč bez učtelja M znamo da zapravo vred: X je ptca Y je kopnena žvotnja Z je rba Učenje bez učtelja samoorganzaca: vrlo čest u prrod 5 6

Mehanzam natjecanja (S. Grossberg) optmzaca funkca elemenata dstrburanog sustava (društvo, bologa, računarsk sustav,...) Natjecanje - vod do optmzace na lokalnoj razn bez potrebe za globalnom kontrolom vrlo česta pojava u bolog Sv PE mreže dobvaju dentčan nput, al se natječu: Lateralnm vezama Formulacom prncpa učenja Specalzaca PE za određena područja ulaznog prostora oslkavanje strukture nputa Kod učenja NN specalzraju se PE na određen načn (tako da smanju pogrešku). Backpropagaton pogreške kod nelnearnh mreža vod specalzac neurona, al ndrektno uz velke troškove sporu konvergencu RBF se po svojoj prrod specalzraju, al područje se određuje unapred Kompettvne mreže specalzraju se postupkom natjecanja! 7 8 Četr zahtjeva na samoorganzrajuće NN Četr zahtjeva na samoorganzrajuće NN. Težnsk faktor u neuronu moraju bt predstavnc klase uzoraka, tako da svak neuron predstavlja drugu klasu.. Ulazn uzorak predstavlja se svm neuronma, svak neuron je zlazn. Vrednost zlaza je mjera slčnost zmeđu ulaznog uzorka uzorka pohranjenog u neuronu. 3. Korst se natjecateljska stratega učenja (engl. compettve learnng strategy) koja odabre neuron s najvećm zlazom. 4. Postoje metode potcanja najvećeg zlaza. 9 0 Podjele obzrom na tp natjecanja: Čvrsto natjecanje (eng. hard competto postoj samo jedan pobjednk, samo on uč Meko natjecanje (eng. soft competto postoj samo jedan pobjednk, al u određenoj mjer uče njegov susjed Tpčn predstavnk kompettvne NN sloj PE gdje sv dobvaju ste ulazne podatke PE sa najvećm (najmanjm) zlazom proglašava se pobjednkom Trvalna zvedba kod dgtalnh računala Nepoželjno: Treba postojat globaln nadzornk Preskupo za dstrburane sustave

mreža rješenje problema + y y y n + + N procesnh elemenata Samo onaj element PE za kojega x >x j j na zlazu daje, sv ostal 0 Postoj jednčna poztvna povratna veza elementa na samog sebe Postoje negatvne lateralne veze velčne ε (0 < ε < /N) na sve ostale procesne elemente Nakon prelaznog razdoblja zlaz se stablzra y y y n x x Čvrsto natjecanje 3 + + + Prmjer... 4 x x Mrež se u prvom trenutku predoč ulazn uzorak, zatm se makne Lateralne negatvne veze sve zlaze tjeraju eksponencalno prema nul PE s najvećm ulaznm uzorkom sve manje osjeća -ε veze, počnje ponovno rast (zbog + veze), još vše zaguš preostale procesne elemente Prmjer odzva dstrburane zvedbe WTA -sv PE rade ažurranje snkrono (postoje asnkrone verze) -Postoj prelazna pojava: 5 6 Prmjer mreže koja prmjenjuje kompettvno učenje Svak neuron specalzra se za jedno područje Korst se za klasfkacu, jer su zlaz y mreže bnarn (0/), tj. y = ako net >net j, za svak j, j y =0 nače 7 8 3

x x PE net y Metoda učenja (Grossberg) učenje bez učtelja (modfkaca Hebbovog učenja): w ( n + ) = w ( + η y ( ( x ( w ( ) j PE net y Odnosno vektorsk: w ( n + ) = w ( + η y ( ( x( w ( ) PE m net m y m Kohonenovo pravlo Ovaj član osgurava da uč samo pobjednk! 9 0 geometrska nterpretaca w ( n + ) = w ( + η y ( ( x( w ( ) 0 x r w r r x r w η x w ) ( Težnsk faktor postaju slčn ulaznm vrednostma! Na koj načn procesn element računa zlaz? Izlaz mora bt mjera slčnost sa predočenm uzorkom! Rješenje: računat mjeru kuta zmeđu uzorka na ulazu pohranjenog uzorka. ϕ x r w r cos ϕ = x w x w x w Komplcran račun (ako se ne aproksmra skalarnm produktom) Ako se korst aproksmaca, moguće pogreške Oba načna smanjuju mogućnost klasfkace uzoraka jer sve uzorke smještaju na obod jednčne hperkugle 3 Rješenje korstt udaljenost Eukldska udaljenost se korst češće r x r w = ( x k wk ) Pobjednk je onaj PE koj je najblž k prmjer 4 4

- prmjer Dva procesna elementa Kompettvna stratega učenja PE (plav) Uzorc za učenje (crne točkce) -generraju se u dva klastera Ukolko je nek PE daleko od klastera, nkada neće pobedt u natjecanju podest svoje težnske faktore mrtav PE! Rješenje problema: savjest Svak element udaljenost od ulaznog uzorka procjenjuje subjektvno Ako PE prečesto pobjeđuje, grze ga savjest pa mu se čn da je dalje, nego što stvarno jest. PE (crve 5 6 OUTSTAR mreža Savjest: udaljenost se povećava D( w, x) D( w, x) b b : duljna usled savjest (/N pravedn udo pobjede) b γ 0, 0 = γ c N c : procjena postotka pobjeđvanja c ( n + ) = c ( + β o ( c (, β 0.00 ( ) o : za pobjedu, 0 za poraz Onlne zvedba procjene svak PE računa zasebno prmjer 7 Slčna INSTAR mrež, međutm: Ulaz mreže su bnarn, to samo jedan ulaz može bt u. Na zlaze mreže se ne postavlja ogrančenje Izlaz je net Služ za replcranje pohranjenh uzoraka Za svak aktvan ulaz može se odredt što treba dat na zlazu 8 OUTSTAR mreža OUTSTAR mreža x x PE net y Pravlo učenja učenje s učteljem: w = w + η ( y w ) x Težnsk faktor postaju slčn zlaznm vrednostma! PE net y Poznato kao: Grossbergovo pravlo Vektorsk oblk: w = w + η j j r ( y w ) x j PE m net m y m Uč samo -t PE zbog x 9 30 5

INSTAR-OUTSTAR mreža INSTAR-OUTSTAR mreža Ovakav spoj mreže pokazuje vrlo zanmljvo svojstvo asocatvnost: z podataka sa šumom prepozna kojoj klas uzorak dosta prpada OUTSTAR mreža zatm na zlazu generra savršenog predstavnka te klase (odnosno uklanja šum) x x I N S T A R m r e ž a O U T S T A R m r e ž a net PE net PE net PE net PE y y net m net m y m PE m PE m 3 3 Meko natjecanje Čvrsto natjecanje uvek daje jednog pobjednka Kod mekog natjecanja zna se pobjednk, al uč njegova okolna Moguća također dstrburana zvedba Veze prema blskm susjedma su poztvne Veze prema daljm susjedma su negatve Meko natjecanje Meko natjecanje grad svojstvo susjednost Susjedn PE predstavljaju klastere koj su nače blzu Stvara se topološko mapranje Ako se dva ulaza preslkaju u PE koj su blzu, tada su ulazn uzorc blzu Čuva se dstrbuca podataka Najpoznat prmjer: Kohonenove samoorganzrajuće mape (SOM) 33 34 Kohonenova SOM je potpuno povezana, lnearna jednoslojna mreža PE se tpčno povezuju u D lanac, l D polje X PE, PE, PE,3 PE,4 PE, PE, PE,3 PE,4 PE 3, PE 3, PE 3,3 PE 3,4 PE 4, PE 4, PE 4,3 PE 4,4 35 36 6

Učenje SOMa: Funkca susjednost: ( x( w ( )) w ( n + ) = w ( + Λ * ( η( n, Λ d *, = exp σ ( * (, 37 Dve faze učenja:. Incalna faza. Stvara se grub poredak PEa. Stopu učenja treba držat vsokom, postupno smanjvat, od npr. 0.5 do 0.0, kroz N 0 =000 teraca n η( =η0( ) N + K 0 K je prozvoljna konst.- defnra krajnj η; broj terace n =, N 0 Susjedstvo treba smanjvat od pola mape prema samo jednom elementu n σ ( = σ 0 N0 38 Faze učenja:. Faza konvergence. Fno se podešavaju PE. Susjedstvo treba ogrančt na najblže, l čak na sam PE, a stopu učenja treba smanjvat od 0.0 prema 0. Trajanje je 0-00 puta dulje od ncalne faze. - prmjer Klasčn pogled na procesne elemente generrane uzorke. Prmjer KohD, KohD 39 40 - prmjer Lnama su povezan susjedn procesn element. Što je zlaz ove mreže? Dva skupa težna jedan za natjecanje, a drug za određvanje zlaza Postupak natjecanja provod grupranje (clusterng) a ne klasfkacu! 4 4 7

Counterpropagaton mreža Prmjer uporabe SOM-a Općent nazv za blo koju mrežu sastavljenu z dva dela:. Kompettvnog ulaznog dela koj vrš klasterranje. Izlaznog dela koj se uč metodom učenja s učteljem INSTAR-OUTSTAR mreža je mreža ovog tpa Učenje tpčno u dve faze:. faza: učenje samoorganzrajućeg dela (učenje bez učtelja). faza: učenje feedforward mreže (učenje s učteljem) 43 Prepoznavanje govora Kohonen: Phonetc typewrter for the Fnnsh language Ulaz: govor Izlaz: psan tekst Arhtektura: D polje od 96 PE-a Svak PE dobva na 5 ulaza delove spektra govora Nakon procesa samoorganzace uočava se grupranje slčnh verza stog fonema Prepoznavanje: praćenje trajektore 44 Lteratura Prncpe, Lefebvre, and Eulano: Neural Systems: Fundamentals Through Smulatons N. K. Bose, P. Lang: Neural Network Fundamentals wth Graphs, Algorthms, and Applcatons, McGraw-Hll, 996. 45 8