PowerPoint Presentation

Транскрипт

1 Strojo učeje 4 II do Lear model omslav Šmuc PMF, Zagreb, 03 7//3 S: Strojo učeje Leare metode

2 Regresja Osov pojmov Ulaz vetor varjabl egl. attrbutes, features: =,,, d Broj ulazh varjabl: d Izlaza l clja varjabla egl. target varable: y Prmjer za učeje egl. trag eample:, y Sup prmjera za učeje egl. trag eamples: D =, y ; = N = pozat podac Broj prmjera za učeje: N Nepozata clja deala fucja ocept: f: X Y, y = f Regresja: y oturaa varjabla S: Strojo učeje Leare metode 7//3

3 Leara regresja Leara regresja f: X Y je leara ombacja ulazh varjabl d f = dd = 0 + j= j j 0,,, d parametr modela teže Rad pojedostavljeja tretmaa možemo dodat još jedu ostatu varjablu 0 = f = dd = S: Strojo učeje Leare metode 7//3 3

4 Leara regresja Fucja greše Mjer olo predcje odstupaju od željeh vrjedost y y d= Sredja vadrata pogreša MSE Mea Squared Error: J = = y f d= y S: Strojo učeje Leare metode 7//3 4

5 Leara regresja Mmum fucje greše => optmzacja f: X Y je leara ombacja ulazh varjabl J = = y Za optmum optmale teže vrjed da je dervacja J * = 0 J j = = y 0, 0, d, d, j = 0 Ustvar vetor dervacja = 0! J = = y = =0 S: Strojo učeje Leare metode 7//3 5

6 Leara regresja Rješeje learog regresjsog problema J j = = y 0, 0, d, d, j = 0 J = = y =0 Sstem learh jedadžb sa d+ epozacom: A=b Sstem learh jedadžb j-ta ompoeta: 0 =, 0, j +, 0, j + + j, j, j + d, d, j = = = = y, j = Rješeje verzja matrca =A - b S: Strojo učeje Leare metode 7//3 6

7 Leara regresja Rješeje learog regresjsog problema J = y X y X J = X y X = 0 Rješeje: = X X X y Što ao je X sgulara determata =0, oloe matrce learo ovse Rješeje zbact redudate learo ovse oloe S: Strojo učeje Leare metode 7//3 7

8 Leara regresja Alteratvo rješeje Gradjeto spuštaje! t + = t β J t Stadardo učeje Fucja greše sumacja preo grešaa a svm prmjerma z supa za učeje J = = y Ole učeje Umjesto ove sume - orstmo grešu za slučajo odabra prmjer : J ole = y f t + = t βt+ J ole t t + = t βt+ y f βt>0 S: Strojo učeje Leare metode 7//3 8

9 Leara regresja Prošreja jedostavog learog modela Umjesto dretog oršteja ulazh varjabl baze fucje bass fuctos elear model: m f = 0 + j φ j j= gdje su φ j arbtrare fucje Prmjer bazh fucja φ j : Iste tehe učeja mogu se orstt za, ao z obče leare modele! = φ = ; φ = ; φ = 3 =, φ = ; φ = ; φ 3 = ; φ 4 = ; φ 5 = S: Strojo učeje Leare metode 7//3 9

10 Leara regresja Složeost learh modela Metoda ajmajh vadrata tpčo mala prstraost bas vela varjaca modela Predtva točost l bolje rečeo geeralzacja modela može se poboljšat tao da se e parametr teže zjedače s ulom! tao se povećava prstraost auštrb varjace modela Rješeja Regularzacja Rdge regresso Lasso algortam Selecja ajformatvjh varjabl u jedom od sljedećh predavaja Regresja sa glavm ompoetama Prcpal Compoet Regresso S: Strojo učeje Leare metode 7//3 0

11 Leara regresja Rdge regresja rdge = grebe Gdje je J = y + λ = d = =0 λ 0 d = =0 pealzra teže razlčte od ule sa λ Ist efet je ao da mamo obču grešu ajmajh vadrata uz ogračeje a uupu sumu vadrata : d =0 r Kada mamo ezavse varjable oje su jao međusobo orelrae jhove teže maju velu varjacu - RR uz ogračeje a uupu sumu vdrata teža, rješava efetvo ovaj problem. λ regularzacjs oefcjet još shrage coeffcet S: Strojo učeje Leare metode 7//3

12 Leara regresja Lasso regresja / algortam J = y + λ = Gdje je d = =0 λ 0 Ist efet je ao da mamo obču grešu ajmajh vadrata uz ogračeje a uupu sumu apsoluth vrjedost : d =0 r Slčo ao od rdge regresje o efetvo Lasso sa smajejem λ remetalo rad selecju varjabl teže maje važh varjabl postaju ula ao se λ postepeo smajuje Kao zgledaju J za rdge lasso regresju? Kao se poašaju oefcjet za razlčte vrjedost λ? 7//3 S: Strojo učeje Leare metode

13 Leara regresja Lasso J = y Rdge J * * L * R * d =0 r d =0 r * - Optmale teže/parametr =, bez ogračeja a L * - Optmale teže/parametr =, uz Lasso ogračeje R * - Optmale teže/parametr =, uz Rdge ogračeje S: Strojo učeje Leare metode 7//3 3

14 Leara regresja Poašaje teža varjabl za razlčte vrjedost λ odoso ogračeje r Lasso Rdge ~ ~ ~ λ ~ λ S: Strojo učeje Leare metode 7//3 4

15 Leara metode Lear lasfacjs model S: Strojo učeje Leare metode 7//3 5

16 Leara lasfacja Što je leara lasfacja Plohe zmeđu prmjera razlčth lasa su leare po djelovma! X C C 4 C 3 C X 7//3 S: Strojo učeje Leare metode 6

17 Leara metode Što su Leare metode lasfacje? Metode oje daju leare grace zmeđu razlčth lasa {: 0 + = 0} Dva prstupa ao defrat grace zmeđu lasa Modelraje dsrmate fucje za svau od lasa ao leare Leara regresja datorse matrce lasa Logstča regresja LOGREG Leara dsrmata aalza LDA Modelraje grace zmeđu lasa ao leare fucje Perceptro Metoda potporh vetora Support Vector Maches 7//3 S: Strojo učeje Leare metode 7

18 Leara metode Modelraje dsrmate fucje Model dsrmate fucje Razlčt za learu regresju, LogReg LDA Na grac zmeđu lasa j {: j = } Klasa je određea ao za oju je fucja ajveća C arg ma g 7//3 S: Strojo učeje Leare metode 8

19 Leara metode Leara Regresja clje lase - datorse varjable Imamo K cljh varjabl datorse K = broj lasa Lear model za -tu datorsu varjable Leara dsrmata fucja za lasu : f 0 f Graca zmeđu lasa je sup točaa za oje je: { : f fl } { : l 0 0 l 0} Klasfacja ovog prmjera u lasu sa ajvećom C arg ma C 7//3 S: Strojo učeje Leare metode 9

20 Leara metode Leara Regresja clje lase - datorse varjable Određvaje parametara Fucja greše - clj optmzacje => suma ajmajh vadrata RSS W arg m RSS W arg m Određvaje oefcjeata - teža N y [, W] W X X X Y 0 d K 0 Kd d K 7//3 S: Strojo učeje Leare metode 0

21 Leara metode Leara Regresja clje lase - datorse varjable Ao aš lasfacjs problem C ma K lasa mamo K lash dators varjabl y, =,K: C y y y 3 y K K Odredmo regresjs model za svau y : yˆ X X X X y 7//3 S: Strojo učeje Leare metode

22 Leara metode Leara Regresja clje lase - datorse varjable Deframo matrcu procjee za sve datorse varjable: Y = y, y,, y K Klasfacjsa procedura Deframo matrcu W: W X X X Y Za e ov prmjer, zračuamo: f [, W] f f f K Na raju lasa određuje se prema ajvećoj ompoet f: C arg ma f C 7//3 S: Strojo učeje Leare metode

23 Pojašjeje Leara Regresja datorse varjable lase Y leara je aprosmacja očevaja EY X Odoso aposterore vjerojatost desa lase clje varjable X C P X Y E f Leara metode 0 0 X C P X Y P X Y P X Y P X Y E S: Strojo učeje Leare metode 7//3 3

24 Leara metode Problem s learom regresjom masraje lasa C=,, 3 y y y 3 y ada e domra ad y y 3 Sv prmjer lase C= se lasfcraju ao l 3!? masraje lasa - za vele K >3 7//3 S: Strojo učeje Leare metode 4

25 Leara lasfacja Logstča regresja Defra leare grace zmeđu lasa dsrmatv algortam Dsrmatve fucje g = g; g 0 = g; Gdje je g = +e = f, - logstča fucja sgmodala fucja Logstča fucja Vrjedost logstče fucje [0,]! 7//3 S: Strojo učeje Leare metode 5

26 Leara lasfacja Logstča regresja Probablstča terpretacja! PY, = g,= /+e -.E+00 8.E-0 p y =, = f, = g = p y = 0, = p y =, +e PY= X PY=0 X 0 =0; = 6.E-0 4.E-0.E-0 Klasfacja: Ao p y =, 0.5 tada y= Iače y = 0.E //3 S: Strojo učeje Leare metode 6

27 Leara lasfacja Logstča regresja Defra learu dsrmatvu plohu zmeđu lasa Zašto? Na ploh vrjed da su dsrmatve fucje jedae: g = g 0, dale: log g 0 g = log g g = 0 log g 0 g = log ep + ep + ep = log ep = = 0 7//3 S: Strojo učeje Leare metode 7

28 Leara lasfacja Logstča regresja Učeje parametara Vjerojatost podataa L D, uz D =, y ; = p y =, = g y L D, = = Py = y, = = y Odredt teže oje masmzraju vjerojatost podataa r: Logartam vjerojatost Log-Lelhood Optmale teže jedae su za L D, za logl D,! log L D, = log y = = y log + y log = y y = log y = = 7//3 S: Strojo učeje Leare metode 8

29 Leara lasfacja Logstča regresja - Učeje parametara Log-lelhood log L D, = y log + y log = Dervacja log L D, => egatv gradjet log L D, =, j y g j = [ log L D, ] = y g = Gradjeto spuštaje = β [ log L D, ] = = β y g Parametr LogReg se taođer mogu učt orštejem ole metode! 7//3 S: Strojo učeje Leare metode 9

30 Leara lasfacja Logstča regresja - Algortam za ole učeje parametara Ole LogReg D, broj_teracja Icjalzraj teže 0 = 0,,, d For =:broj_teracja do zaber prmjer z D=<,y > postav β = / odred ove teže =+ β [ y - g ] ed for Vrat teže 7//3 S: Strojo učeje Leare metode 30

31 Leara lasfacja Usporedba Leara regresja Logstča regresja f = f = p y =, = g = + β = y f Učeje modela je sto! 7//3 S: Strojo učeje Leare metode 3

32 Leara lasfacja Neleara estezja LogReg Leare regresje Koršteje elearh bazh fucja Leara regresje m f = 0 + j φ j j= Logstča regresja m f = g 0 + j φ j j= φj - arbtrare fucje 7//3 S: Strojo učeje Leare metode 3

33 LDA K l l l f f C P Pretpostave: - vše-dm. Gaussovu dstrbucju ao model gustoće uvjete vjerojatost po lasama - Istu ovarjacu po varjablama za sve lase Klasfacja se bazra a određvaju aposterore vjerojatost za lasu: aprora vjerojatost pojave lase Klasa se modelra preo f gustoća uvjete vjerojatost p C= Bayesovo pravlo Leara dsrmatva aalza - LDA / / e c p f p Σ Σ S: Strojo učeje Leare metode 7//3 33

34 Leara dsrmatva aalza - LDA Parametr: Na baz supa prmjera za učeje: aprore vjerojatost: ˆ N / N sredje vrjedost: ˆ g / N ovarjacjsa matrca: Σˆ K g ˆ ˆ / N K Parametr su određe po prcpu ML ma lelhood uz prethode pretpostave. 7//3 S: Strojo učeje Leare metode 34

35 uz oršteje log-odds log log log log log l l l l l l f f X l C P X C P Σ Σ Σ Σ l arg ma arg ma C P C Klasfacja: Leara dsrmatva aalza - LDA Graca zmeđu lasa je defraa gdje vrjed = l : l l l l log log Σ Σ Σ Σ S: Strojo učeje Leare metode 7//3 35 Dsrmatve fucje za lasu l:

36 Leara dsrmatva aalza - LDA Kvadrata dsrmatva aalza - QDA Relasra pretpostavu-uvjet ste ovarjacjse matrce gustoće vjerojatost za lase multvarjate Gaussove dstrbucje mogu mat razlčte ovarjacjse matrce Posljedca grace zmeđu lasa su leare, ego vadrate! log Σ Σ log Σ log Σ LDA QDA 7//3 S: Strojo učeje Leare metode 36

37 Leara dsrmatva aalza LDA vs QDA - Grace zmeđu lasa 7//3 S: Strojo učeje Leare metode 37

38 Fsherova leara dsrmatva metoda Fsherova leara dsrmatva metoda - FDA Osova deja ać projecju a lju u d- dmezoalom prostoru tao da se prmjerc razlčth lasa mogu a joj lao odvojt loša projecja dobra projecja 7//3 S: Strojo učeje Leare metode 38

39 Fsherova leara dsrmatva metoda Nee velče: N D Sredja vrjedost u d-dmezoalom prostoru za lasu N yy y N D Sredja vrjedost za toče lase projcrae a Udaljeost zmeđu projcrah sredjh vrjedost za dvje lase 7//3 S: Strojo učeje Leare metode 39

40 Fsherova leara dsrmatva metoda Kolo je dobra mjera separacje? Koja od os je bolja za razdvajaje lasa, l? 7//3 S: Strojo učeje Leare metode 40

41 Fsherova leara dsrmatva metoda Kolo je dobra mjera separacje? je bolja, o: problem je što e uzma u obzr varjacu dstrbucje prmjera. 7//3 S: Strojo učeje Leare metode 4

42 Fsherova leara dsrmata metoda Ao deframo: y projcra prmjer ~ s s y Cl y Cl y y raspršeje prmjera lase raspršeje prmjera lase Možemo raspršeje orstt za ormalzacju udaljeost projcrah cetara zmeđu lasa! 7//3 S: Strojo učeje Leare metode 4

43 Fsherova leara dsrmatva metoda Moramo ormalzrat orsteć raspršeje lase lase! FDA dale svod se a proalažeje projecje a lju oja masmzra J: J ~ s ~ s želmo da broj bude što već a azv što maj! 7//3 S: Strojo učeje Leare metode 43

44 Fsherova leara dsrmatva metoda 7//3 S: Strojo učeje Leare metode Kao zrazt J ao fucju rad se zapravo o optmzacj J, - u ovsost o! reba esplcto prazat J u ovsost o! Deframo matrce raspršeja za svau lasu prje projecje - za orgale prmjere ~ ~ s s J Cl Cl S S 44

45 Fsherova leara dsrmatva metoda 7//3 S: Strojo učeje Leare metode ~ S S S Cl y W y y s Deframo matrcu raspršeja uutar lasa za svau lasu Uz prethodu defcju I ao orstmo: Dobvamo: S ~ Cl y Cl y Cl y Cl y s 45

46 Fsherova leara dsrmatva metoda 7//3 S: Strojo učeje Leare metode S S S S S S B B s s s ~ ~ ~ W Slčo ao za lasu Dale Ao deframo matrcu raspršeja zmeđu lasa S B ao mjeru separacje zmeđu sredjh vrjedost zmeđu lasa prje projecje A razla zmeđu projcrah sredjh vrjedost je: 46

47 Fsherova leara dsrmatva metoda 7//3 S: Strojo učeje Leare metode 0 ~ ~ S S S S W B W t B t J d d s s J Na raju je aša fucja clja Da b je optmral, ašl masmum prva dervacja po = 0 Na ocu se to svede a problem određvaja svojstveh vrjedost 47

48 Fsherova leara dsrmatva metoda 7//3 S: Strojo učeje Leare metode S S S W W B Ao postoj verza matrca - ao sređvaja: Za potrebe lasfacje - još je potrebo odredt graču vrjedost t, ojom se oačo određuje output dsrmatve fucje: y t y t y y 48

49 Lteratura Leare metode he Elemets of Statstcal Learg Haste, bshra, Fredma chapter 4 7//3 S: Strojo učeje Leare metode 49