XXIX Simpozijum o novim ehnologijama u pošanskom i elekomunikacionom saobraćaju PosTel 2011, Beograd, 06. i 07. decembar 2011. HEURISTIČKI ALGORITAM REGRESIONE STABILNOSTI Branka Dimirijević, Vladimir Simić Saobraćajni fakule Univerziea u Beogradu Sadržaj: Pri formiranju raznovrsnih modela saobraćajnih okova prisusvo mulikolinearnosi može prouzrokovai višesruke negaivne efeke. Iako su razvijene brojne meode kojima se pre svega ublažava efeka pomenuog problema, one nisu značajnije primenjivane u oblasi saobraćaja i ranspora. Osnovni nedosaak posojećih prisupa za rešavanje problema mulikolinearnosi predsavlja popuno marginalizovanje procesa selekcije nezavisnih promenljivih. U ovom radu su prezenovani osnovni elemeni i proces funkcionisanja razvijenog heurisičkog algorima za selekciju nezavisnih promenljivih regresionog modela, koji poseban akcena savlja na dosizanje sabilnosi i visoke preciznosi. Pokazano je da razvijeni heurisički algoriam ima efikasnos u procesu selekcije. Kao ilusraivni primer prikazan je izbor nezavisnih promenljivih u regresionom modelu koji određuje ražnju za uslugama ekspres prenosa pošiljaka. Ključne reči: heurisički algoriam, mulikolinearnos, višesruka regresija, pos express model. 1. Uvod U oblasi planiranja i upravljanja saobraćajnim okovima važan aspek predsavlja kvalieno modeliranje posmarane pojave. Na kvalie formiranog modela u značajnoj meri uiče uspešnos rešavanja problema mulikolinearnosi. Šaviše, prisusvo mulikolinearnosi u saobraćajnim modelima može prouzrokovai veoma ozbiljne posledice. Pojam mulikolinearnos označava pojavu kada je neka nezavisna promenljiva linearna kombinacija dve ili više drugih nezavisnih promenljivih i reba je pravovremeno deekovai i oklonii. Pojava mulikolinearnosi izaziva nesabilnos projekovanog modela, odnosno pojavu da male promene u vrednosima nezavisnih promenljivih uključenih u model mogu proizvesi velike promene vrednosi zavisne promenljive [1]. Jednosavniji prisupi za rešavanje problema mulikolinearnosi se ili zasnivaju na prosom isključivanju poencijalno kolinearnih nezavisnih promenljivih iz dalje regresione analize ili nešo složenijoj modifikaciji nezavisnih promenljivih preko fakorske analize. Međuim, najkorišćenije meode za rešavanje problema mulikolinearnosi su svakako one iz grupacije Biased regresije, čiji osnovni cilj je dobijanje ačnijih procena regresionih koeficijenaa. Najpoznaiji meodi iz ove grupe
su: Ridge regresija [2], koja vešački smanjuje nivo korelacije među zavisnim promenljivima da bi se dobile sabilnije procene; i Regresija osnovnih komponenaa [3], koja predsavlja kombinaciju analize osnovnih komponenaa (koja se prvo primenjuje u procesu sabilizacije modela) i meode poslednjeg kvadraa (koja se primenjuje naknadno u cilju određivanja vrednosi regresionih koeficijenaa nezavisnih promenljivih za koje je u primarnoj analizi uvrđeno da su osnovne). Generalno je rašireno shvaanje da se problem mulikolinearnosi može najbolje prevazići iznalaženjem preciznijih vrednosi regresionih koeficijenaa (u daljem eksu esimaora). O ome svedoče akuelni rendovi razvoja ove izuzeno važne i dinamične oblasi israživanja, koji su pre svega samo nasavili razvoj već zasarelih esimaora popu Sein-ovog esimaora [4] i Ridge regresionog esimaora [5]. U skladu sa im, u esimaore nove generacije se mogu ubrojai Liu-ov [6], kompleksni RLSE [7] i sohasički Liu-ov [8]. Posebno reba naglasii da je osnovno ograničenje posojećih prisupa popuno savljanje u drugi plan procesa selekcije nezavisnih promenljivih, odnosno posojanje mogućnosi da važne nezavisne promenljive budu isključene iz modela. Prema ome, analizom pomenuih pravaca israživanja, uočene zanemarenosi problema mulikolinearnosi i idenifikovanih ograničenja posojećih prisupa, ovaj rad ima za cilj razvoj posupka selekcije nezavisnih promenljivih regresionog modela sa posebnim fokusom na njegovu sabilnos. U nasavku, rad je organizovan na sledeći način. U poglavlju 2 da je širok osvr na problem modeliranja u prisusvu mulikolinearnosi. U poglavlju 3 je prezenovan razvijeni heurisički algoriam, koji je u poglavlju 4 primenjen na rešavanje numeričkog primera iz domena pošanskog saobraćaja. Poglavlje 5 sadrži zaključna razmaranja. 2. Problem modeliranja u prisusvu mulikolinearnosi Mulikolinearnos prouzrokuje povećanje vrednosi procenjenih regresionih koeficijenaa (parameara), siuaciju da procenjene paramere karakerišu nekonzisenni predznaci, formiranje regresionih modela koji ne obuhvaaju značajne nezavisne promenljive, svaranje siuacija u kojima male promene vrednosi ulaznih podaaka mogu prouzrokovai velike promene u vrednosima procenjenih parameara i sl. [9]. Mulikolinearnos se može idenifikovai na neki od sledećih načina: Posmaranjem marice koeficijenaa korelacije nezavisnih promenljivih R. Vrednosi veće od 0,80 su veoma problemaične. Međuim, u slučaju višesruke regresione analize nije preporučljivo oslanjanje samo na ovaj jednosavan meod; Određivanjem vrednosi deerminane korelacione marice de(r). Ona može da uzima vrednosi iz inervala od 0 (savršena mulikolinearnosi) do 1 (nema mulikolinearnosi)); Analizom VIF 1 vrednosi pojedinih nezavisnih promenljivih uključenih u model. Ove vrednosi se smaraju najpouzdanijim pokazaeljma posojanja mulikolinearnosi u modelu; Određivanjem uslovnog broja (UB), uslovnog indeksa (UI) i sopsvenih vrednosi. Uslovni broj predsavlja uslovni indeks najveće vrednosi [1]: 1 Engl. Variance Inflaion Facor 98
UB = λmax λmin (1) gde λ max označava najveću sopsvenu vrednos, a λ min označava najmanju sopsvenu vrednos. Pri ome, kada je: UB 1 - nema korelacije; 1< UB <30 - mulikolinearnos posoji; UB >30 - posoji ozbiljna mulikolinearnos; i UB - posoji savršena mulikolinearnos. S druge srane, uslovni indeks i-e nezavisne promenljive izračunavamo kao [1]: UIi = λmax λ i, i=1,2,..., n (2) pri čemu λi označava i-u sopsvenu vrednos. Sopsvene vrednosi pružaju informaciju o broju različiih dimenzija među nezavisnim promenljivim. Tako na primer, više sopsvenih vrednosi bliskih 0 nagovešavaju visoku mulikolinearnos, dok bi idealan slučaj predsavljao λ i =1, i; i Analizom oseljivosi. Analiza promene vrednosi procenjenih regresionih koeficijenaa može bii dobar pokazaelj nesabilnosi modela, jer ukoliko se uvrdi da procenjene vrednosi značajnije variraju ada će mulikolinearnos bii sasvim izvesna. U ovom radu je analiza sabilnosi modela bazirana na ispiivanju VIF vrednosi, kao najpouzdanijih indikaora mulikolinearnosi. 2.1. Deekcija mulikolinearnosi uporebom VI fakora VIF kvanifikuje precenjenos varijanse sandardne greške procenjenih nesandardizovanih regresionih koeficijenaa. Prema ome, VIF predsavlja fakor precenjenosi varijanse procenjenog koeficijena regresije a i (i=1,2,,i) [1]: VIFi 2 ( 1-R ) -1 i = (3) gde R i predsavlja vrednos koeficijena višesruke korelacije pri posmaranju uicaja nezavisnih promenljivih uključenih u model u slučaju i-e nezavisne promenljive. Kvadrani koren VIF i-e nezavisne promenljive VIF i, govori o ome koliko je varijansa sandardne greške i-og procenjenog koeficijena precenjena, odnosno koliko je ona veća nego šo bi bila u slučaju da je VIF i =1. Na primer, ako je VIF i =9, ada bi sandardna greška i-og procenjenog koeficijena bila 3 pua manja nego da je VIF i =1. Generalno je pravilo da vrednosi VIF iz inervala od 4-10 upozoravaju na porebu za daljim ispiivanjima moguće nesabilnosi modela, dok vrednosi VIF i >10 ukazuje na ozbiljnu mulikolinearnos za čije prevazilaženje su neophodne prepravke formiranog modela [10]. Pored oga, reba pomenui da VIFi 1 označava da nema korelacije između promenjivih uključenih u model i posmarane i-e nezavisne promenljive. 3. Heurisički algoriam regresione sabilnosi Prilikom definisanja algoriamskog prikaza predložene heurisike korišćena je sledeća noacija. 99
Neka Ω ( Ω N) predsavlja skup svih nezavisnih promenljivih, koje su zaključno sa -om ieracijom uključene u regresioni model, Ω ( Ω Ω ) označava skup nezavisnih promenljivih uključenih u rešenje heurisike, Ω označava skup nezavisnih promenljivih uključenih u rešenje algorima, Ψ ( Ψ N) skup svih nezavisnih promenljivih koje su zaključno sa -om ieracijom isključene iz rešenja, a ( A N) skup akivnih nezavisnih promenljivih u -oj ieraciji (odnosno, promenljivih koje su preosale da u narednim ieracijama budu vrednovane). Takođe, važi da je: N = Ω Ψ A i Ω Ψ A =. Pošo algoriam preposavlja selekciju ipa unapred, za počene uslove je usvojeno Ω1 =, Ψ 1 = i A1 = N. Pored oga, u radu je usvojeno da značaj i-e nezavisne promenljive v i bude predsavljen parcijalnim koeficijenom korelacije, jer upravo ovaj saisički pokazaelj predsavlja doprinos koji će model imai ukoliko se pomenua nezavisna promenljiva priključi regresionom modelu. Ova inerna karakerisika nezavisne promenljive se usvari ilisraivno može smarai i njenim ežinskim koeficijenom. Prema ome, u -oj ieraciji ežinski koeficijen i-e nezavisne promenljive se izračunava kao: Vi = ryi Ω, i A, 2,3,... 1 = (4) gde je pri određivanju korelacije između zavisne promenljive y i i-e nezavisne promenljive uzeo da su sve regresione promenljive konsanne. Inače, pošo na počeku procesa selekcije nezavisnih promenljivih važi da je Ω 1 =, ežinske koeficijene je porebno izračunai pomoću jednosavnih koeficijenaa korelacije: 1 Vi = ryi, i N (5) U jednačini (5) uporeba apsolunih vrednosi koeficijenaa korelacije je deerminisana inervalom vrednosi koje on uzima, odnosno vrednosima od 1 do 1. Ukoliko se u -oj ieraciji (=2,3,...) uvrdi da i-u ili i-e nezavisne promenljive karakerišu negaivni koeficijeni korelacije, njih reba uvrsii u skup Γ ( Γ = { i Vi < 0}, i A, =2,3,...) i isključii iz dalje analize. Krierijumi za vrednovanje nezavisnih promenljivih modela su bazirani na ' '' ''' koncepu sabilnosi, odnosno na sledeće ri karakerisike: P (), i P () i i P (). i Osnovna ideja I karakerisike je da se za svaku regresionu promenljivu i A (nezavisnu promenljivu već uključenu u regresioni model) usanovi koje nezavisne promenljive j { A \} i ne bi desabilizovale posojeći regresioni model, odnosno kada je ' VIF ij <10. Prema ome, može se reći da P () i predsavlja skup svih onih nezavisnih promenljivih j { A \} i koje uključivanjem u model u -oj ieraciji ne bi izazvale pojavu mulikolinearnosi (odnosno, ne bi ga desabilizovale), ako je nezavisna promenljiva i A regresiona promenljiva: ' P ( i)= j VIF ij <10, j { A \ i}, =2,3,... (6) { } A 100
gde je VIF ij skraćeno od VIF j [ i Ω i predsavlja VIF vrednos u -oj ieraciji koju -1] promenljiva i A ima prema nezavisnoj promenljivoj j { A \} i u slučaju kada se regresionim mogu smarai promenljive i Ω -1. Ideja II karakerisike je da se za svaku regresionu promenljivu uvrdi koje bi o nezavisne promenljive i A održale sabilnos regresionog modela. Prema ome, može se '' reći da P () i predsavlja skup svih onih regresionih promenljivih j { A \} i za koje model osaje sabilan, ako u -oj ieraciji u model uključimo nezavisnu promenljivu i A : '' P ( i) = j VIF ji < 10, j { A \ i}, =2,3,... (7) { } ''' Konačno, III karakerisika P () i predsavlja skup svih onih regresionih promenljivih j { A \}, i koje vode indireknoj nesabilnosi modela. Ona se javlja u siuacijama kada za svaku regresionu promenljivu i A uključivanje u model nezavisnih promenljivih j { A \} i neće direkno narušii uslov sabilnosi (odnosno, biće i dalje ispunjeno VIF 10 j [ i < ), ali će model ipak učinii nesabilnim, pošo će posojai Ω-1] makar jedna regresiona promenljiva iz skupa rešenja ( k Ω -1), koja neće više ispunjavai uslov sabilnosi. Sa druge srane, direknu nesabilnos modela prouzrokuju oni parovi nezavisnih promenljivih koji ne ispunjavaju uslove sabilnosi modela iz ''' jednačina (6) i (7). P () i se određuje kao: ''' { kj [ i ( \ k)] -1} P ( i) = j vif < 10, j { A \ i}, k Ω, =2,3,... (8) Ω -1 ' '' ''' Nakon određivanja elemenaa skupova P (), i P () i i P () i reba izračunai združenu karakerisiku P () i kao: ' '' ''' P () i = P () i P () i \ P (), i i A (9) Vrednovanje nezavisnih promenljivih i A se vrši na bazi projekovanih krierijuma selekcije. Na osnovu združene karakerisike (jednačina (9)) su usanovljeni krierijumi α i β, a njihovom daljom modifikacijom i kombinacijom krierijumi αβ, wα, wβ i wαβ. Krierijum α se bazira na zv. α korisi koja se osvaruje izborom nezavisne promenljive, odnosno njenim uključivanjem u rešenje. Pri ome, odgovarajuća vrednos α korisi se izražava kao razlika ežinskog koeficijena i-e nezavisne promenljive i sume ežinskih koeficijenaa svih onih nezavisnih promenljivih koje bi ovaj izbor isključio iz rešenja: α () i = vi vi, i A (10) i A \[ P ( i) i] { } Krierijum β se bazira na zv. β korisi koja se osvaruje uključivanjem nezavisne promenljive u regresioni model. Pri ome, odgovarajuća vrednos β korisi se izražava kao zbir ežinskog koeficijena i-e nezavisne promenljive i sume ežinskih koeficijenaa svih onih nezavisnih promenljivih koje ovaj izbor ne bi isključio iz rešenja: 101
()= i vi + vi, i A i P () i β (11) Krierijum αβ je svojevrsna sublimacija krierijuma α i β. On prakično predsavlja ukupnu koris osvarenu izborom određene nezavisne promenljive: () i = vi + vi vi, i A i P () i i A \[ P ( i) i] αβ (12) { } Krierijumi wα (jednačine (13)), wβ (jednačine (14)) i wαβ (jednačine (15)), predsavljaju svojevrsne modifikacije krierijuma α, β i αβ, respekivno. Oni veći značaj pridaju samim nezavisnim promenljivima (odnosno, njihovim ežinskim koeficijenima) nego združenim karakerisikama: wα () i = vi vi vi vi, i A (13) i A i A \[ P ( i) i] { } wβ () i = vi + vi vi vi, i A (14) i A i P () i w () i = vi + vi vi vi vi, i A i A i P () i i { A \[ P ( i) i] } αβ (15) Algoriam za heurisike Hα, Hβ, Hαβ, Hwα, Hwβ i Hwαβ, zasnovane na korisima α, β, αβ, wα, wβ i wαβ, respekivno, da je u inegralnoj formi, pri čemu je u pojedinim koracima algorima eksplicino naznačeno kada se nešo odnosi na konkrenu heurisiku: KORAK 1 Inicijalizacija =1 KORAK 2 Inicijalizacija Ω =, Ψ =, A = N KORAK 3 Za svaku nezavisnu promenljivu i A ako je 1 odredii V i u skladu sa jednačinom (4), u supronom V i odredii u skladu sa jednačinom (7) KORAK 4 Ako je 1 preći na KORAK 5, u supronom preći na KORAK 6 KORAK 5 Ako posoji V i <0 (i A ) preći na KORAK 5.1, u supronom preći na KORAK 6 KORAK 5.1 Odredii skup Γ : Γ = { i Vi <0 }, i A KORAK 5.2 Posavii =+1 KORAK 5.3 Ažurirai skup Ω : Ω = Ω -1 KORAK 5.4 Ažurirai skup Ψ : Ψ = Ψ 1 Γ -1 KORAK 5.5 Ažurirai skup A : A = A-1 \ Ψ KORAK 5.6 Preći na KORAK 17 KORAK 6 Ako je A = 1 preći na KORAK 6.1, u supronom preći na KORAK 7 KORAK 6.1 Posavii =+1 102
KORAK 6.2 Ažurirai skup Ω : Ω = Ω -1 A-1 KORAK 6.3 Ažurirai skup Ψ : Ψ = Ψ -1 KORAK 6.4 Ažurirai skup A : A = i preći na KORAK 18 KORAK 7 Odredii maricu VIF : VIF = VIF ij u skladu sa jednačinom (3) A A KORAK 8 Ako je =1, preći na KORAK 9, u supronom preći na KORAK 10 KORAK 9 i A odredii skup (): P ()= i j VIF < 10, j { A \} i P i { ij } KORAK 9.1 Preći na KORAK 11 ' KORAK 10 i A odredii skup P () i u skladu sa jednačinom (6) '' KORAK 10.1 i A odredii skup P () i u skladu sa jednačinom (7) ''' KORAK 10.2 i A odredii skup P () i u skladu sa jednačinom (8) KORAK 10.3 i A odredii skup P () i u skladu sa Jednačinom (9) KORAK 11 i A izračunai vrednosi krierijuma: α (i) prema jednačini (10) za Hα; β (i) prema jednačini (11) za Hβ; wα (i) prema jednačini (12) za Hwα; wβ (i) prema jednačini (13) za whβ; αβ (i) prema jednačini (14) za Hαβ; wαβ (i) prema jednačini (15) za Hwαβ KORAK 12 Odredii nezavisnu promenljivu i za koju važi: α () i = max[ α ()] i za Hα; i A β () i = max[ β (i)] za Hβ; αβ () i = max[ αβ ()] i za Hαβ; i A i A wα () i = max[ wα ()] i za whα; wβ () i = max[ wβ ()] i za whβ; i A i A wαβ () i = max[ wαβ ()] i za whαβ. Ako dve ili više nezavisnih i A promenljivih imaju isu maksimalnu vrednos: α (); i β (); i αβ (); i ' wα (); i wβ (); i wαβ (); i uključii ih u skup A, pa za i usvojii onu nezavisnu promenljivu za koju važi da je Vi = max Vi. ' i A KORAK 13 Posavii =+1 KORAK 14 Ažurirai skup Ω : Ω = Ω -1 i-1-1 KORAK 15 Ažurirai skup Ψ : Ψ = Ψ -1 { j j [ A-1\( P ( i -1) i -1)]} KORAK 16 Ažurirai skup A : A = A-1\[ Ψ i-1] KORAK 17 Ako je A, vraii se na KORAK 3, u supronom preći na KORAK 18 KORAK 18 Usvojii Ω = Ω, Ψ = Ψ 103
KORAK 19 Izračunai 2 S y vrednosi rezidijumskih disperzija za svaku od heurisika: ( ) 2 J 2 y = j r j j=1 S y y KORAK 20 Izračunai 2 : 2 2 2 2 2 S y S min y = S min y_hα Sy_Hβ Sy_Hαβ Sy_Hwα 2 2 y_hwαβ, y_hwαβ] Ω S S i odgovarajući skup KORAK 21 Kraj algorima. min[,,,, 4. Numerički primer - modeliranje ražnje usluge Pos Express Ako se ima u vidu da je ekspres prenos pošiljaka okom svog razvoja posao moćna indusrija, koja ima značajan uicaj na globalna ekonomska kreanja i poslovanje preduzeća u svim privrednim granama, razumljivo je ineresovanje za ovu oblas pošanskog saobraćaja. Ekspres indusrija beleži salni ras obima osvarenih usluga, a samim im i prihoda, šo implicira njen dalji razviak i povećanje udela koji ona ima u globalnoj ekonomiji [11]. Predvuđanje obima saobraćaja je oduvek bila jedna od glavnih preokupacija pošanskih uprava. U okviru faze sraeškog planiranja određene usluge, veoma je važno procenii fakore, koji imaju ili bi mogli imai poziivan ili negaivan uicaj na njen razvoj. U ovom numeričkom primeru, zavisnu promenljivu je predsavljao broj Pos Express pošiljaka. Sa druge srane, od mnogobrojnih uicajnih fakora ražnje Pos Express pošiljaka, za nezavisne promenljive Pos Express modela odabrane su 1. vreme, 2. BDP, 3. obim saobraćajne grupe akivnosi u okvirima BDP-a, 4. doprinos saobraćajne akivnosi rasu BDP-a, 5. indeks rasa cena na malo, 6. indeks roškova živoa, 7. indeks bazne inflacije, 8. izvoz, 9. uvoz, 10. zarade po zaposlenom na republičkom nivo, 11. zarade po zaposlenom u Beogradu, 12. ocena posojećeg privredog sanja, 13. očekivanja srpskih privrednika, 14. broj pravnih lica prema Zakonu o klasifikaciji delanosi, 15. broj svih pravnih lica, 16. indeks broja zaposlenih u RS, 17. indeks produkivnosi rada i 18. markeing. Inače, dealjan pregled korišćenih vrednosi se može naći u [12].Rezulai algorima po pojedinim heurisikama su priloženi u abeli 1. Tabela 1. Rezulai algorima Heurisika Ω Vrednosi rezidijumske disperzije α {18,8,15,4,17} 9,952,867,617.13 β {18,8,15,4,17} 9,952,867,617.13 αβ {18,8,15,4,17} 9,952,867,617.13 wα {18,17,13,15} 8,694,483,108.73 wβ {18,17,13,15} 8,694,483,108.73 wαβ {18,8,17,15} 10,046,446,287.23 Iz pomenue abele može se primeii da se minimalna vrednos rezidijumske disperzije posiže u slučaju heurisika wα i wβ, kao i da ona iznosi 8,694,483,108.73. U skladu sa im, skup nezavisnih promenljivih dobijenih kao rešenje algorima regresione 104
sabilnosi čine: markeing, indeks produkivnosi rada, očekivanja srpskih privrednika i broj svih pravnih lica. 5. Zaključak Prilikom projekovanja raznovrsnih saobraćajnih modela prisusvo mulikolinearnosi može prouzrokovai ozbiljne probleme i imai veoma negaivne efeke. Iako su razvijene brojne meode kojima se pre svega ublažava efeka pomenuog problema, one nisu značajnije primenjivane u saobraćaju i ransporu. U ovom radu je predložen algoriam regresione sabilnosi, zv. heuriički algoriam selekcije dozvoljenih nezavisnih promenljivih. Iako on ne garanuje opimalnos modela, prilikom njegovog esiranja je povrđena zadovoljavajuća preciznos procene. Kao ilusraivni primer prikazan je regresioni model za određivanje ražnje usluge ekspres prenosa pošiljaka. Predloženi algoriam obezbeđuje efikasnos procesa selekcije nezavisnih promenljivih, šo je i pokazano na ilusraivnom primeru rešenom posle samo 7 ieracija. Inače, formirani Pos Express model je obuhvaio sledeće čeiri nezavisne promenljive: markeing, indeks produkivnosi rada, očekivanja srpskih privrednika i broj svih pravnih lica, a karakerisala ga je i zadovoljavajuća preciznos procene broja preneih pošiljaka. U daljem razvoju opisanog heurisičkog algorima sabilnosi neophodno je proširii ga i osalim fazama formiranja srukure regresionog modela, kako bi njegov razvojni proces bio upopunjen. Prema ome, porebno je implemenirai faze preliminarne analize podaaka, izbora modela veze između zavisne i nezavisnih promenljivih i validacije modela. Ovaj rad je podržan od srane Minisarsva za nauku i ehnološki razvoj Republike Srbije, kroz projeka TR 36006, za period 2011-2014. Lieraura [1] D. A. Belsley, A guide o using he collineariy diagnosics, Compuer Science in Economics and Managemen, vol. 4, pp. 33-50, 1991. [2] D. W. Marquard, and R. D. Snee, Ridge regression in pracice, American Saisician, vol. 29, pp. 3-20, 1975. [3] W. F. Massy, Principal Componens Regression in Exploraory Saisical Research, Journal of he American Saisical Associaion, vol. 60, pp. 234-246, 1965. [4] C. Sein, Inadmissibiliy of he usual esimaor for mean of mulivariae normal disribuion, Proceedings of he hird Berkley symposium on mahemaical and saisics probabiliy, Berkley, USA, pp. 197-206, 1956. [5] A. E. Hoerl, and R. Kennard, Ridge regression: Applicaions o nonorhogonal problems, Technomerics, vol. 12, pp. 55-82, 1970. [6] K. Liu, A new class of biased esimae in linear regression, Comm Saisical Theory and Mehods, vol. 22, pp. 393-402, 1993. [7] N. Sarkar, A new esimaor combining he ridge regression and he resriced leas squares mehods of esimaion, Comm Saisical Theory and Mehods, vol. 21, pp. 1987-2000, 1992 105
[8] M. Huber, and P. Wijekoon, Improvemen of he Liu esimaor in he linear regression model, Sa Pap, vol. 47, pp. 471-479, 2006. [9] B. Bowerman, and R. O Connell, Linear Saisical Models an Applied Approach, Boson, MA: PWS-Ken Publishing Co., 1990. [10] D. A. Belsley, E. Kuh, and R. E. Welsch, Regression diagnosics: Idenifying influenial daa and sources of collineariy, New York, NY, 1980. [11] B. Dimirijević, i V. Simić, Neuro-fazi prisup pri proceni broja Pos Express pošiljaka, Zbornik radova: PosTel 2008, Beograd, Srbija, Decembar 16-17, sr. 37-46, 2008. [12] B. Dimirijević, i V. Simić, Modeliranje ražnje usluge ekspres prenosa pošiljaka primenom inovaivnog posupka srukuriranja fazi regresionog modela, Zbornik radova: PosTel 2009, Beograd, Serbia, Decembar 15-16, sr. 85-94, 2009. Absrac: The presence of mulicollineariy may cause differen negaive effecs during modeling process of raffic flows. Numerous mehods which reduce he effecs of he aforemenioned problem were developed, bu hey did no find significan applicaion in he field of raffic and ransporaion. Marginalizaion of independen variables selecion process is major disadvanage of available approaches for solving mulicollineariy problem. In his paper we presen basic elemens and seps of developed heurisics algorihm for selecing independen variables in regression model which is focused on sabiliy and high precision. I is shown ha developed heurisic algorihm has an efficiency in selecion process. As an illusraive example we presen independen variable selecion process in case of regression model which deermining demand for express mail service. Keywords: heurisic algorihm, mulicollineariy, muliple regression, EMS model. A HEURISTIC ALGORITHM FOR REGRESSION STABILITY Branka Dimirijević, Vladimir Simić 106