6) Nelinearna regresija 7) Deo po deo linearna regresija Istraživački rad

Величина: px
Почињати приказ од странице:

Download "6) Nelinearna regresija 7) Deo po deo linearna regresija Istraživački rad"

Транскрипт

1 6) Nelinearna regresija 7) Deo po deo linearna regresija Istraživački rad Predmet: Statističko učenje u obradi signala Disclaimer: The European Commission support for the production of this website does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.

2 Nelinearna i deo po deo linearna regresija Mašinsko učenje Nadgledano učenje Nenadgledano učenje Učenje uslovljavanjem Klasifikacija Regresija Klasterovanje linearna nelinearna deo po deo linearna 2

3 Kada model linearne regresije nije pogodan? Kada veza između zavisne i nezavisne promenljive nije linearna (čest slučaj). Šta u tom slučaju primeniti? Probati sa polinomijalnom regresijom - nelinearna regresija; - model linearan po parametrima (linearna kombinacija parametara); - voditi računa o izboru reda polinoma. 3

4 Koji model regresije odabrati? 4

5 Linearna regresija - polinom prvog stepena y = w 0 + w 1 x y = w 0 + w 1 x nije pogodan 5

6 Kvadratna regresija - polinom drugog stepena y = w 0 + w 1 x + w 2 x 2 prilično bolji 6

7 Polinom trećeg stepena y = w 0 + w 1 x + w 2 x 2 + w 3 x 3 još bolji 7

8 Polinom četvrtog stepena y = w 0 + w 1 x + w 2 x 2 + w 3 x 3 + w 4 x 4 veoma malo bolji složeniji model Preterano prilagođenje podacima za obuku!!! 8

9 Polinom višeg stepena Preterano prilagođenje podacima za obuku!!! Važna je primena regularizacije!!! (smanjuje greške generalizacije) Nije pogodan izvan opsega podataka korišćenih pri obučavanju. Voditi računa o izboru stepena polinoma! 9

10 Istraživački zadatak br. 1 Kreirati grafik rasipanja za neki slučaj (podatke) u kome jednostruka univarijantna linearna regresija nije pogodna metoda učenja. Kreirati najpre model linearne regresije. Primeniti zatim polinomijalnu regresiju za slučaj kada je n=2; n=3; n=4 i n=5. Pri određivanju koeficijenata polinoma primeniti metodu najmanjih kvadrata. 10

11 Istraživački zadatak br. 1 Za n=1; n=2; n=3; n=4 i n=5, odrediti: 1) srednje kvadratnu grešku (MSE); 2) funkciju gustine raspodele greške regresije; 3) R 2 skor. Uporediti složenost i rezultate primene metode najmanjih kvadrata za slučaj kada je n=1; n=2; n=3; n=4; n=5. 11

12 Istraživački zadatak br. 1 Izvesti zaključke o: 1) značaju ove metode učenja; 2) pogodnostima ove metode učenja; 3) nedostacima ove metode učenja; 4) značaju izbora stepena polinoma; 5) tome kako se menja koeficijent determinacije sa promenom stepena polinoma. 12

13 Kada model nelinearne regresije nije pogodan? Kada su podaci takvi da se veza između zavisne i nezavisne promenljive u nekoj vrednosti naglo promeni. granica Šta u tom slučaju primeniti? Isprobati model deo po deo linearne regresije. 13

14 Isprobati model deo po deo linearne regresije - linearna regresija po segmentima (splajn prvog reda ili prava u svakom segmentu) - voditi računa o izboru granice/granica - početi sa minimalnim brojem segmenata (2 segmenta) granica 14

15 Još primera za deo po deo linearnu regresiju dva segmenta tri segmenta 15

16 Istraživački zadatak br. 2 Generisati grafik rasipanja za neki slučaj (podatke) u kome ima smisla primeniti deo po deo linearni metod regresije. Kreirati najpre model linearne regresije. Primeniti zatim deo po deo linearnu regresiju za slučaj kada je broj segmenata jednak 2. Dati grafički prikaz rezultata. Ustanoviti da li je broj segmenata dovoljan za izabrani slučaj. Ispitati uticaj izbora vrednosti granice na perfromase deo po deo linearne regresiije. 16

17 Literatura G. James, D. Witten, T. Hastie, R. Tibshirani, An Introduction to Statistical Learning with Applications in R, Springer, U. Spagnolini, Statistical Signal Processing in Engineering, Wiley, V. N. Vapnik, Statistical Learning Theory, Wiley- Interscience, T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd Edition, Springer,

18 Literatura S. Raschka, V. Mirjalili, Python Machine Learning: Machine Learning and Deep Learning with Python, scikitlearn, and TensorFlow 2, 3rd Edition, Packt Publishing, December 12, A. R. Webb, K. D. Copsey, Statistical Pattern Recognition, Wiley, 3rd Edition,

19 Thank you!