Ljiljana Pujić Procesi obnavljanja. Diplomski rad

Транскрипт

1 Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Ljiljana Pujić Procesi obnavljanja Diplomski rad Osijek, 214.

2 Sveučilište J. J. Strossmayera u Osijeku Odjel za matematiku Ljiljana Pujić Procesi obnavljanja Diplomski rad Mentor: doc. dr. sc. Nenad Šuvak Osijek, 214.

3 Sadržaj 1 Uvod 1 2 Definicija procesa obnavljanja 2 3 Distribucija procesa obnavljanja 4 4 Granični teoremi i njihova primjena 8 5 Procesi obnavljanja s nagradama 17 6 Regenerativni procesi Naizmjenični proces obnavljanja Semi-Markovljevi procesi 26 8 Paradoks vremena čekanja 29 9 Računanje funkcije obnavljanja 32 1 Primjene na uzorcima Uzorci diskretnih slučajnih varijabli Očekivano vrijeme niza različitih vrijednosti Rastući niz neprekidnih slučajnih varijabli Problem osiguranja od propasti Zaključak 45

4 1 UVOD 1 1 Uvod U ovom diplomskom radu bit će proučavani procesi obnavljanja. Oni modeliraju slučajne pojave kod kojih se pojava jednog događaja ili kombinacija više događaja mogu ponavljati u više navrata tijekom vremena, a međuvremena su modelirana nezavisnim i jednako distribuiranim slučajnim varijablama. Modeli takvih pojava najčešće su fokusirani na asimptotske (dugoročne) prosječne troškove ili neke druge parametre sustava, odnosno, pokušavaju ustanoviti konvergiraju li s vremenom određene vjerojatnosti i očekivanja promatranog sustava, te pokušavaju odrediti njihove granične vrijednosti. U drugom poglavlju bit će dana definicija procesa obnavljanja te će biti ilustrirana razlika između čistih i odgođenih procesa obnavljanja na primjeru o žaruljama. U trećem poglavlju će biti opisana distribucija procesa obnavljanja, definirana funkcija obnavljanja, te ćemo na konkretnom primjeru izračunati funkciju obnavljanja. U četvrtom poglavlju proučavat ćemo kako se jaki zakon velikih brojeva i centralni granični teorem primjenjuju na procese obnavljanja, te će biti iskazan i dokazan elementarni teorem obnavljanja. U petom poglavlju uvest ćemo pojam procesa obnavljanja sa nagradama, te ćemo promatrati njihovo ponašanje tijekom vremena kroz različite primjere. Također, proučit ćemo očekivanu dob i očekivani ostatak života procesa obnavljanja. U šestom poglavlju proučit ćemo regenerativne procese koji su generalizacija procesa obnavljanja, te ćemo kao primjer regenerativnih procesa promatrati naizmjenične procese obnavljanja. U sedmom poglavlju će biti proučeni semi-markovljevi procesi. Pojam paradoksa vremena čekanja će teoretski i kroz primjer biti prikazan u osmom poglavlju. U devetom poglavlju će biti opisano kako na jednostavniji način možemo računati funkciju obnavljanja. Neke zanimljive primjene procesa obnavljanja bit će ilustrirane u desetom poglavlju. U posljednjem dijelu rada biti će opisan problem osiguranja od pada kapitala ispod dopuštene razine i bit će izračunata vjerojatnost propasti, tj. bankrota. Cilj ovog rada je definirati što su to procesi obnavljanja, proučiti njihova svojstva, te proučiti njihovu primjenu kroz primjere iz stvarnog života.

5 2 DEFINICIJA PROCESA OBNAVLJANJA 2 2 Definicija procesa obnavljanja Promorimo proizvoljan slučajni proces {N(t), t } na vjerojatnosnom prostoru (Ω, F, P ). Slučajni proces {N(t), t } čiji je prostor stanja N je proces prebrojavanja ili brojač ako zadovoljava sljedeća svojstva: 1. N(t) 2. N(t) N 3. Ako je s t t tada je N(s) N(t). Ako je s < t tada je broj događaja koji su se pojavili u vremenskom intervalu [s, t] modeliran sa N(t) N(s). Primjeri brojača su Poissonov proces i procesi obnavljanja. Poissonov proces je proces prebrojavanja (brojač) kod kojeg su vremena između dva uzastopna događaja nezavisne jednako distribuirane eksponencijalne slučajne varijable. Jedna od mogućih generalizacija Poissonovog procesa je proces prebrojavanja kod kojeg su vremena između dva uzastopna događaja modelirana nezavisnim i jednako distribuiranim slučajnim varijablama koje imaju neku proizvoljnu distribuciju. Takav proces prebrojavanja naziva se proces obnavljanja. Neka je {N(t), t } proces prebrojavanja i neka X n modelira vrijeme između (n 1)-og i n-tog događaja tog procesa, n 1. Definicija 2.1. Ako je {X n, n N} niz nenegativnih slučajnih varijabli nezavisnih i jednako distribuiranih, tada se za proces prebrojavanja {N(t), t } kaže da je proces obnavljanja. Dakle, proces obnavljanja je proces prebrojavanja kod kojeg vrijeme do pojave prvog događaja ima funkciju distribucije F, vrijeme između prvog i drugog događaja je nezavisno o vremenu u prvom slučaju, ali ima istu funkciju distribucije F, itd... Kažemo da se dogodilo obnavljanje kada se pojavi promatrani događaj. Za primjer procesa obnavljanja pretpostavimo da imamo beskonačnu zalihu žarulja čija su trajanja modelirana nezavisnim jednako distribuiranim slučajnim varijablama. Pretpostavimo da koristimo jednu po jednu žarulju, a kad je jedna pregori automatski ju zamijenimo novom. Pod tim uvjetima {N(t), t } je proces obnavljanja gdje N(t) predstavlja broj žarulja koje su pregorjele zaključno s trenutkom t. Proces obnavljanja možemo definirati i na malo drugačiji način, prema [8]. Neka je {X n, n } niz nenegativnih nezavisnih slučajnih varijabli na nekom vjerojatnosnom prostoru (Ω, F, P ). Neka su slučajne varijable {X n, n 1} jednako distribuirane, te je njihova distribucija dana funkcijom F (x) = P {X n x}, n 1; pretpostavimo da one nisu identički jednake. Slučajna varijabla X može, a i ne mora biti jednako distribuirana kao i ostale slučajne varijable, pa ćemo njenu funkciju distribucije označiti s G. Definicija 2.2. Proces obnavljanja ili niz obnavljanja je slučajni proces S = {S n, n } definiran sa S n = X + X X n, n, gdje je {X n, n 1} niz nenegativnih nezavisnih jednako distribuiranih slučajnih varijabli.

6 2 DEFINICIJA PROCESA OBNAVLJANJA 3 Ekvivalentnost procesa S = {S n, n } i {N(t), t } slijedi iz činjenice da je N(t) = n ako i samo ako je S n t < S n+1. Uočavamo da je slučajni proces S slučajna šetnja u R + sa početnom pozicijom S = X, te da ona ima nenegativne korake. O slučajnim varijablama S n možemo razmišljati kao o trenucima pojavljivanja nekog fenomena; S n nazivamo vremenom obnavljanja. U slučaju kada je X =, tj. S =, kažemo da je S = {S n, n } čisti proces obnavljanja. Kada je P {X > } >, tj. G() < 1 tada kažemo da je S = {S n, n } odgođeni proces obnavljanja. Primjer 2.1. (a) Neka u trenutku t = stavimo novu žarulju i to shvatimo kao prvo obnavljanje. Žarulja pregori nakon nekog slučajnog vremena S 1 = X 1, te ju automatski zamijenimo novom; to shvatimo kao drugo obnavljanje. n-ta žarulja ima neko slučajno vrijeme života X n, te je nakon što pregori automatski zamijenimo novom. (n + 1)-vo obnavljanje dogodi se u trenutku S n = X X n. Ako pretpostavimo da su vremena života žarulja nezavisna i jednako distribuirana radi se o čistom procesu obnavljanja. (b) Pretpostavimo da smo ušli u trenutku t = u prostoriju u kojoj već neko vrijeme gori žarulja. Sa X označimo preostalo vrijeme života te žarulje. Nakon što ta žarulja pregori automatski ju zamijenimo novom žaruljom i to smatramo prvim obnavljanjem, itd. Ovakav proces je odgođeni proces obnavljanja. Za proces obnavljanja koji ima međuvremena X 1, X 2,... neka je S =, n S n = X i, n 1. i=1 Slika 1. Obnavljanja i međuvremena obnavljanja (slika preuzeta iz [4]) Vidimo da je S 1 = X 1 vrijeme prvog obnavljanja, S 2 = X 1 + X 2 je vrijeme do prvog obnavljanja plus vrijeme između prvog i drugog obnavljanja, tj. S 2 je vrijeme do drugog obnavljanja. Općenito, S n označava vrijeme do n-tog obnavljanja (kao što je prikazuje Slika 1.). Sa F ćemo označiti funkciju distribucije vremena između dva uzastopna obnavljanja (međuvremena), kako bismo izbjegli trivijalnosti pretpostavit ćemo da je F () = P {X n = } < 1. Neka je µ = E[X n ], n 1, očekivano vrijeme između dva uzastopna obnavljanja. Iz nenegativnosti slučajne varijable X n i činjenice da X n nije identički jednaka slijedi da je µ >. Jedna od prvih činjenica koja nas zanima je može li se beskonačan broj obnavljanja pojaviti u konačnom vremenu; tj. može li N(t) biti beskonačan za neku konačnu vrijednost t. Pokazat ćemo da se to ne može dogoditi. Kako je S n vrijeme do n-tog obnavljanja, N(t) se može zapisati kao N(t) = max{n : S n t}. (1)

7 3 DISTRIBUCIJA PROCESA OBNAVLJANJA 4 Također uočimo da vrijedi te vrijede i sljedeće relacije N(t) = I [,t] (S n ) = I {Sn t}, t, (2) n= n= {N(t) n} = {S n > t}, n (3) S N(t) 1 t < S N(t) na {N(t) 1}. (4) Uočimo da vrijedi N(t) = min{n : S n t}, odnosno N(t) možemo interpretirati i kao prvo vrijeme prijelaza preko nivoa t. Pretpostavimo npr. da je S 6 t, ali i da je S 7 > t. Vidimo da se šesto obnavljanje dogodilo do trenutka t, a sedmo obnavljanje se dogodilo nakon trenutka t. Drugim riječima, broj obnavljanja koja su se dogodila do trenutka t, N(t), mora biti jednak 6. Sada iz jakog zakona velikih brojeva slijedi da S n n µ za n, g.s. Zaključujemo da S n mora biti manje ili jednako od t za najviše konačan broj vrijednosti n i stoga prema jednakosti (1), N(t) mora biti konačno. Iako N(t) < za svaki t, vrijedi da je N( ) lim t N(t) =, g.s. Gornja jednakost slijedi iz činjenice da je jedini način u kojem je ukupan broj obnavljanja koja su se dogodila, N( ), može biti konačan ako je jedno od međuvremena beskonačno. Stoga, P {N( ) < } = P {X n =, za neki n} = P { {X n = }} P {X n = } =. n=1 3 Distribucija procesa obnavljanja Uočimo jednu bitnu činjenicu, a ona je sljedeća: broj obnavljanja do trenutka t je veći ili jednak n ako i samo ako se n-to obnavljanje dogodilo zaključno s trenutkom t. Odnosno, za n N i t vrijedi {N(t) n} {S n t}. (5) Dokaz relacije (5): Očito je N(t) n ako i samo ako se u vremenskom intervalu [, t] dogodilo najmanje n obnavljanja; obrat se dogodi ako i samo ako se n-to obnavljanje dogodi do ili u trenutku t, tj. ako S n t. Iz nejednakosti (5) dobivamo P {N(t) = n} = P {N(t) n} P {N(t) n + 1} = P {S n t} P {S n+1 t} (6) Budući da su slučajne varijable X i, i 1, nezavisne i imaju zajedničku funkciju distribucije F tada je distribucija od S n = n i=1 X i dana funkcijom distribucije F n, koja je n=1

8 3 DISTRIBUCIJA PROCESA OBNAVLJANJA 5 konvolucija n-puta F sa samom sobom. Stoga, jednakost (6) može biti dobivena na sljedeći način P {N(t) = n} = F n (t) F n+1 (t). Primjer 3.1. (a)neka su X 1 i X 2 nezavisne slučajne varijable na istom vjerojatnosnom prostoru čije su funkcije distribucije F X1 i F X2. Neka je Y = X 1 + X 2. Funkcija distribucije slučajne varijable Y je konvolucija funkcija distribucije F X1 i F X2 i jednaka je F Y (x) = F X1 (x y)df X2 (y) = F X2 (x y)df X1 (y). To označavamo sa F Y = F X1 F X2 = F X2 F X1. (b) Neka je X nenegativna slučajna varijabla, te neka je F njezina funkcija distribucije tada induktivno definiramo n-struku konvoluciju F n sa F = I [, ), F n = F (n 1) F, n 1. Propozicija 3.1. Neka je S = {S n, n } proces obnavljanja. Tada je ako je S čisti proces obnavljanja, odnosno ako je S odgođeni proces obnavljanja. P {S n x} = F n (x), x P {S n x} = (G F n )(x), x Koristeći relaciju (5) možemo računati m(t), očekivanje od N(t) kao m(t) = E[N(t)] = P {N(t) n} = P {S n t} = F n (t), n=1 n=1 n=1 gdje koristimo činjenicu da ako je X nenegativna i poprima cjelobrojne vrijednosti, tada k E[X] = kp {X = k} = P {X = k} = P {X = k} = P {X n}. k=1 k=1 n=1 n=1 k=n n=1 Funkcija m(t) je poznata kao funkcija srednje vrijednosti ili funkcija obnavljanja. Uočimo da ako je S = {S n, n } čisti proces obnavljanja tada njegova funkcija obnavljanja ima sljedeći oblik m(t) = n= F n (t), t, odnosno ako je S odgođeni proces obnavljanja tada njegova funkcija obnavljanja ima sljedeći oblik m(t) = n= (G F n )(t), t, gdje je G funkcija distribucije slučajne varijable X. Funkcija srednje vrijednosti m(t) jedinstveno određuje proces obnavljanja. Postoji jedan na jedan korespodencija između distribucije međuvremena F i funkcije obnavljanja m(t). Primjer 3.2. Pretpostavimo da imamo proces obnavljanja čija je funkcija obnavljanja dana sa m(t) = 4t, t. Zanima nas distribucija broja obnavljanja koja su se dogodila do trenutka t = 1? Zbog činjenice da je E[N(t)] = λt, gdje je {N(t), t } Poissonov proces s intanzitetom λ

9 3 DISTRIBUCIJA PROCESA OBNAVLJANJA 6 možemo zaključiti da je m(t) = 4t funkcija obnavljanja Poissonovog procesa s intenzitetom 4. Zbog podudarnosti između međuvremena danih distribucijom F i funkcije obnavljanja m(t) slijedi da F mora biti eksponencijalna s očekivanjem 1. Stoga, proces obnavljanja je 4 Poissonov proces s intenzitetom 4 i slijedi P {N(1) = n} = e 4 (4) n, n. n! Teorem 3.1. Ako je E[X i ] >, tada slučajne varijable N(t) imaju konačna očekivanja za sve t <. DOKAZ: : Budući da je E[X i ] > možemo zaključiti da postoji ɛ > takav da je P {X i ɛ} ɛ. Neka je M(t) = max{n : ɛ n i=1 I {Xi ɛ} t}. Budući da vrijedi sljedeće ɛ n i=1 I {Xi ɛ} ni=1 X i možemo uočiti da je N(t) M(t). Neka je m = t. Imamo sljedeće ɛ n E[N(t)] E[M(t)] = P {M(t) n} = P {ɛ I {Xi ɛ} t} = n=1 n=1 i=1 = P {X j ɛ, j Λ, X j < ɛ, j / Λ} = n=1 Λ {1,...,n},card(Λ) m = P {X 1 ɛ} card(λ) (1 P{X 1 ɛ}) (n card(λ)) = n=1 Λ {1,...,n},card(Λ) m min{n,m} ( ) n = P {X 1 ɛ} k (1 P {X 1 ɛ}) (n k) = n=1 k= k m ( ) = P {X 1 ɛ} k n (1 P {X 1 ɛ}) (n k) = k= n=k k m ( ) = P {X 1 ɛ} k n + k (1 P {X 1 ɛ}) n = k= n= n 1 t = P {X i ɛ} ( + 1). (7) ɛ U posljednjoj jednakosti smo primijenili sljedeće svojstvo ( ) n + k z k 1 =, z < 1. n (1 z) k+1 n= Očito nejednakost (7) dokazuje teorem Možemo zaključiti da je E[N(t)] konačno svaki put kada je E[X i ] strogo pozitivno. Dakle vrijedi da je m(t) < za sve t <. Kako m(t) jedinstveno određuje distribuciju međuvremena, slijedi da je Poissonov proces jedini proces obnavljanja koji ima linearnu funkciju obnavljanja. Budući da je N(t) konačno, g.s., moglo bi se zaključiti da iz te činjenice slijedi konačnost funkcije obnavljanja m(t), međutim ta tvrdnja je netočna. Pokažimo to sljedećim primjerom. Pretpostavimo da je Y slučajna varijabla čija je distribucija dana pravilom P {Y = 2 n } = 1 2 n, n 1. Sada imamo P {Y < } = P {Y = 2 n } = ( 1 n=1 n=1 2 )n = 1,

10 3 DISTRIBUCIJA PROCESA OBNAVLJANJA 7 ali je E[Y ] = 2 n P {Y = 2 n } = 2 n ( 1 n=1 n=1 2 )n = 1 n =. n=1 Vidimo da se može dogoditi da je E[Y ] = čak i kada je slučajna varijabla Y konačna. Integralnu jednadžbu koja zadovoljava funkciju obnavljanja možemo dobiti tako da stavimo uvjet na vrijeme prvog obnavljanja. Uz pretpostavku da su međuvremena zadana funkcijom distribucije F, tj. imaju neprekidnu funkciju gustoće f, prema teoremu o dvostrukom očekivanju slijedi m(t) = E[N(t)] = E[N(t) X 1 = x]f(x)dx. (8) Pretpostavimo da se prvo obnavljanje dogodilo u trenutku x koji je manji od t. Kako proces obnavljanja vjerojatnosno počinje onda kada se dogodi obnavljanje možemo zaključiti da će broj obnavljanja do trenutka t imati istu distribuciju kao 1 plus broj obnavljanja u prvih (t x) trenutaka. Stoga vrijedi sljedeće E[N(t) X 1 = x] = 1 + E[N(t x)] ako je x < t. Očito je E[N(t) X 1 = x] = ako je x > t iz jednadžbe (8) možemo dobiti da je m(t) = t [1 + m(t x)]f(x)dx = F (t) + Jednadžba (9) se naziva jednadžba obnavljanja. Gore opisano možemo iskazati sljedećim teoremom. t m(t x)f(x)dx. (9) Teorem 3.2. Neka je {X n, n 1} niz nezavisnih jednako distribuiranih slučajnih varijabli takvih da je P {X n = } =, te neka je njihova funkcija distribucije F (t). Neka je S = i S n = n i=1 X i. Ako je m(t) = E[N(t)] tada m(t) zadovoljava jednadžbu obnavljanja t m(t) = F (t) + m(t s)df (s) = (µ F ) k [, t], (1) k=1 gdje je µ F (a, b] = F (b) F (a) i µ 1 µ 2 = konvolucija mjera µ 1 i µ 2. Štoviše vrijedi (1 e λs df (s)) λ I (a,b] (s + t)dµ 1 (s)dµ 2 (t) za a < b, tj. e λt m(t)dt = e λs df (s) Ako su X n nezavisne eksponencijalne slučajne varijable tada je slučajni proces {N(t), t } Poissonov proces intenzitetom λ > i vrijedi m(t) = λt. DOKAZ: U slučaju kada je vrijeme prvog obnavljanja veće od t, X 1 > t, očito je N(t) =. Koristeći uvjetno očekivanje imamo m(t) = E[N(t)] = E[N(t)I {X1 t}] = E[E[N(t)I {X1 t} σ(x 1 )]] = = E[I {X1 t}e[n(t) N(X 1 ) σ(x 1 )]] + E[I {X1 t}e[n(x 1 ) σ(x 1 )]] Ako je vrijeme prvog obnavljanja manje ili jednako t, X 1 t, tada je N(t) = 1, pa vrijedi m(t) = E[I {X1 t}e[n(t) N(X 1 ) σ(x 1 )]] + E[I {X1 t}e[1 σ(x 1 )]]

11 4 GRANIČNI TEOREMI I NJIHOVA PRIMJENA 8 Kako je distribucija slučajne varijable (N(t) N(s)) za t > s jednaka je distribuciji slučajne varijable N(t s) imamo m(t) = E[I {X1 t}e[n(t X 1 ) σ(x 1 )]] + E[I {X1 t}e[1 σ(x 1 )]] = = E[N(t X 1 )I {X1 t}] + E[I {X1 t}] = = t m(t s)df (s) + F (t) (11) Primjer 3.3. Jednadžba obnavljanja može se riješiti kada su međuvremena zadana uniformnom distribucijom, npr. uniformnom distribucijom na intervalu (, 1). Neka je t 1. Za takve vrijednosti t funkcija obnavljanja postaje m(t) = t + t m(t x)dx = t + t m(y)dy uz supstituciju y = t x. Deriviranjem gornje jednadžbe slijedi da je m (t) = 1 + m(t). Uvedemo sljedeću supstituciju h(t) = 1+m(t), pa slijedi da je h (t) = h(t), tj. imamo log h(t) = t+c, odnosno h(t) = Ke t. Iz toga vidimo da je m(t) = Ke t 1. Kako je m() = dobivamo da je K = 1 i iz toga vidimo da je m(t) = e t 1, t 1. 4 Granični teoremi i njihova primjena Zanima nas kako se tijekom vremena ponašaju prosječna i očekivana prosječna brzina obnavljanja, te kakva je granična distribucija procesa obnavljanja. Odgovor na ova pitanja dat će nam granični teoremi, te ćemo na konkretnim primjerima proučiti njihovu primjenu. Za početak imamo sljedeću lemu. Lema 4.1. Vrijedi lim N(t) =, g.s. t DOKAZ: Primijetimo da je t N(t) neopadajuća funkcija. Pretpostavimo da je P {lim t N(t) < } >. Kako vrijedi { lim t N(t) < } = { lim N(t) n} t n=1 slijedi da postoje ɛ > i n N takvi da je P {lim t N(t) n} = ɛ >. Tada je P {N(t) n} ɛ za sve t, odnosno tada je P {N(t) > n} 1 ɛ za sve t. Budući da vrijedi {N(t) > n} = {S n t} slijedi da je P {S n t} 1 ɛ za sve t. Ako pustimo da t dobivamo sljedeće P {S n < } 1 ɛ, a to je kontradikcija sa S n <, g.s. Kako je lim N(t) = g.s. tada također vrijedi da je lim t velikih brojeva slijedi sljedeća propozicija. N(t)+1 t N(t) = 1 g.s. Iz jakog zakona

12 4 GRANIČNI TEOREMI I NJIHOVA PRIMJENA 9 Propozicija 4.1. Neka je {X n, n 1} niz nenegativnih nezavisnih jednako distribuiranih slučajnih varijabli takvih da je P {X n < } = 1. Tada vrijedi lim t Propozicija je preuzeta iz [7]. S N(t)+1 N(t) + 1 = lim S N(t) t N(t) = E[X 1] g.s. Pokazali smo da N(t) teži u beskonačno kad t teži u beskonačno gotovo sigurno. Bilo N(t) bi dobro da možemo nešto reći o lim, tj. kada bismo mogli odredit brzinu kojom N(t) t t teži u beskonačno. Prvo promotrimo slučajnu varijablu S N(t). Npr. pretpostavimo da je N(t) = 4, tada je S N(t) = S 4 i ta slučajna varijabla predstavlja vrijeme četvrtog obnavljanja. Budući da su se četiri obnavljanja pojavila do trenutka t, S 4 također predstavlja vrijeme zadnjeg obnavljanja do ili u trenutku t. Općenito možemo reći da slučajna varijabla S N(t) predstavlja vrijeme posljednjeg obnavljanja do trenutka ili u trenutku t. Sličnim razmišljanjem možemo zaključiti da slučajna varijabla S N(t)+1 predstavlja vrijeme prvog obnavljanja nakon trenutka t, što si možemo predočiti sljedećom slikom. Slika 2. Posljednje obnavljanje nakon ili u t i prvo obnavljanje nakon t (slika preuzeta iz [4]) Teorem 4.1. (Jaki zakon velikih brojeva za proces prebrojavanja) Pretpostavimo da je µ = E[X 1 ] <. Tada vrijedi N(t) t 1 µ za t, g.s. DOKAZ: Kako je S N(t) vrijeme posljednjeg obnavljanja do ili u trenutku t i kako je S N(t)+1 vrijeme prvog obnavljanja nakon trenutka t imamo : S N(t) t < S N(t)+1. Ako tu relaciju podijelimo sa N(t) vrijedi sljedeće Znamo da je S N(t) N(t) = N(t) i=1 X i N(t) S N(t) N(t) varijabli, pa iz jakog zakona velikih brojeva slijedi da S N(t) N(t) N(t) kada t, vrijedi da S N(t) µ za t. N(t) t N(t) < S N(t)+1 N(t). (12) prosjek od N(t) nezavisnih i jednako distribuiranih slučajnih Štoviše, ako to zapišemo na sljedeći način S N(t)+1 = ( S N(t)+1 N(t) N(t)+1 N(t)+1 µ iz istog razloga kao i prije, te primjetimo da S N(t)+1 N(t)+1 µ za N(t). Budući da N(t)+1 )( ) možemo uočiti da N(t) 1 za t. N(t) Stoga, vrijedi da S N(t)+1 µ za t. Sada tvrdnja slijedi iz relacije (12) budući da se N(t) nalazi između dvije slučajne varijable koje obje konvergiraju ka µ za t. t N(t) Prethodni teorem je istinit čak i kada je µ, očekivano vrijeme između obnavljanja, beskonačno. U tom slučaju 1 interpretiramo kao. Broj 1 nazivamo brzina procesa obnavljanja. µ µ Budući da je µ prosječno vrijeme između dva obnavljanja, intuitivno znamo da se prosječno dogodi jedno obnavljanje na svakih µ vremenskih jedinica.

13 4 GRANIČNI TEOREMI I NJIHOVA PRIMJENA 1 Propozicija 4.2. (Waldova jednakost) Vrijedi s tim da obje strane mogu biti +. DOKAZ: Računamo E[S N(t) ] = E[N(t)]E[X 1 ] + E[X ] (13) N(t) E[S N(t) ] = E[ X i ] = E[ X i I {i N(t)} ] = E[X i I {i N(t)} ] = E[X ] + E[X i I {i 1<N(t)} ]. i= i= i= i=1 Kako je {i 1 < N(t)} = {N(t) i 1} c = {S i 1 > t} c = {X X i 1 > t} c, slijedi da je događaj {i 1 < N(t)} nezavisan od slučajne varijable X i. Zato vrijedi E[S N(t) ] = E[X ] + E[X i ]E[I {i 1<N(t)} ] = E[X ] + E[X 1 ] P {N(t) > i 1} = i=1 i=1 = E[X ] + E[X 1 ] P {N(t) > i} = E[X ] + E[X 1 ]E[N(t)]. i= Iz Teorema 4.1 možemo zaključiti da će prosječna brzina obnavljanja do trenutka t konvergirati ka 1 za t, g.s. Zanima nas i koja je očekivana prosječna brzina obnavljanja, µ te jeli istina da m(t) također konvergira u 1. Odgovor na ova pitanja dat će nam teorem koji t µ je poznat kao elementarni teorem obnavljanja. Teorem 4.2. (Elementarni teorem obnavljanja) Neka je µ = E[X 1 ] <. Tada vrijedi m(t) t 1 µ za t, gdje 1 interpretiramo kao, ako je µ beskonačno. µ DOKAZ: Dokažimo prvo da vrijedi 1 µ lim inf t m(t) t (14) Tvrdnja je očita ako je µ =. Za µ < pomoću jakog zakona velikih brojeva za proces prebrojavanja i Fatuove leme [D. Jukić, Mjera i integral, Osijek, 212.] imamo 1 µ = E[ lim t N(t) E[N(t)] ] lim inf t t t = lim inf t m(t). t Za obratnu nejednakost pretpostavimo prvo da su X,X 1,... ograničene slučajne varijable, tj. da postoji konstanta c > takva da je X c i X n c, n 1. Iz Waldove jednakosti slijedi m(t) = E[N(t)] = E[S N(t)] E[X ] E[X 1 ] Nadalje, zbog S N(t) 1 t, lim t E[X ] t = E[S N(t)] E[X ]. µ =, te S N(t) = S N(t) 1 + X N(t) t + c imamo

14 4 GRANIČNI TEOREMI I NJIHOVA PRIMJENA 11 lim sup t m(t) t = lim sup t 1 E[S N(t) ] E[X ] µ t 1 µ lim sup t t + c t = lim sup t 1 E[S N(t) X N(t) ] µ t = 1 µ. (15) Neka su sada X i X n, n 1 proizvoljne. Za k > definiramo slučajne varijable X k = min{x, k}, Xn k = min{x n, k}, n 1. Tada je {Xn, k n 1} niz nezavisnih jednako distribuiranih slučajnih varijabli, nezavisnih od X k i sve su odozgo omeđene sa k. Tada za pripadajući proces S k vrijedi S k n = X k + X k X k n X + X X n S n, što povlači da za pripadajući proces prebrojavanja N k vrijedi N(t) k = n= I {S k n t} n= I {Sn t} = N(t). Specijalno, vrijedi m(t) k = E[N(t) k ] E[N(t)] = m(t). Iz prethodnog i iz (15) uočavamo da vrijedi lim sup t m(t) t lim sup t m(t) k t = 1 E[min{X 1, k}]. (16) Međutim, lim min{x 1, k} = X 1, pa iz Lebesgueovog teorema o monotonoj konvergenciji k slijedi da je lim E[min{X 1, k}] = E[X 1 ] = µ. Ako pustimo da k u (16) k dobivamo lim sup t To nam zajedno sa (15) dokazuje teorem. m(t) t 1 µ. Elementarni teorem obnavljnja nam govori da se i prosječni očekivani broj obnavljanja ponaša asimptotski kao 1. µ Na prvi pogled moglo nam se činiti da je elementarni teorem obnavljanja posljedica teorema 4.1, tj. kako prosječna brzina obnavljanja konvergira k 1 g.s., ne bi li to trebalo implicirati µ da očekivana prosječna brzina obnavljanja također konvergira k 1. Sljedeći primjer će nam µ pokazati da takvo razmišljanje nije točno. Primjer 4.1. Neka je Y slučajna varijabla koja ima uniformnu distribuciju na intervalu (, 1), te neka je definirana slučajna varijabla X n, n 1, sa {, Y > 1 X n = n n, Y 1 n. Sada, budući da je Y > g.s., slijedi da će X n biti jednak za sve dovoljno velike n. To jest X n će biti jednak za sve n takve da je 1 n < Y. Stoga X n, za n, g.s. Međutim E[X n ] = np {Y 1 n } = ny 1 n = 1. Iako niz slučajnih varijabli X n konvergira u očekivana vrijednost od X n jednaka je 1. Pomalo neobičnu primjenu teorema 4.1 pokazat ćemo sljedećim primjerom.

15 4 GRANIČNI TEOREMI I NJIHOVA PRIMJENA 12 Primjer 4.2. Pretpostavimo da n ljudi sudjeluje u nekoj igri. Neka su partije igre nezavisne i neka i-ti sudionik pobjeđuje u toj partiji s vjerojatnošću P i, i = 1,..., n, n i=1 P i = 1. Igra se promatra dok se isti ishod ne pojavi k puta za redom; tj. dok jedan od sudionika ne pobijedi u k uzastopnih partija igre. Sudionik koji pobijedi u k uzastopnih partija je pobjednik turnira. Npr. ukoliko je k = 2, a niz ishoda je 1, 2, 4, 3, 5, 2, 1, 3, 3, tada igra prestaje nakon devet pokušaja i sudionik 3 je pobjednik. Želimo odrediti kolika je vjerojatnost da će sudionik i, i = 1,..., n, biti pobjednik turnira i koji je očekivani broj pokušaja. Za početak kako bismo si olakšali prvo pretpostavimo da u igri sudjeluju samo dva igrača. Počinjemo računanjem E[T ], očekivanog broja partija igre dok se ne dogodi k uzastopnih uspješnih događaja npr. k puta je pobijedio igrač 1. Pretpostavimo da su partije nezavisne i vjerojatnost događaja u partiji je pobijedio igrač 1 jednaka je p. Očito je vjerojatnost događaja u partiji je pobijedio igrač 2 jednaka je 1 p. Ako uvjetujemo da je prvi događaj u partiji je pobijedio igrač 2 dobivamo Rješavanjem te jednadžbe po E[T ] dobivamo Ako to pojednostavimo imamo k E[T ] = (1 p)p j 1 (j + E[T ]) + kp k. j=1 E[T ] = k + 1 p p k k jp j 1. j=1 E[T ] = 1 + p pk 1 p k = 1 pk p k (1 p). (17) Vratimo se sada na primjer, pretpostavimo da čim dobijemo pobjednika jednog turnira igre automatski počinjemo sa drugim. Želimo za svakog sudionika i odrediti intenzitet kojim on pobjeđuje. Svaki put kada sudionik i pobijedi, sve počinje iz početka; pobjede koje sudionik i dobiva predstavljaju obnavljanje. Stoga, iz teorema 4.1 slijedi intenzitet kojim sudionik i pobjeđuje = 1 E[N(i)], gdje N(i) označava broj partija igre odigranih između uzastopnih pobjeda sudionika i. Stoga, iz jednakosti (17) vidimo intenzitet kojim sudionik i pobjeđuje = P k i (1 P i ) 1 P k i Asimptotski udio igara koje je pobijedio sudionik i dan je sa udio igara u kojima sudionik i pobjeđuje = intenzitet kojim sudionik i pobjeđuje nj=1 intenzitet kojim sudionik j pobjeđuje = = Pi k(1 P i) 1 Pi k nj=1 Pj k(1 P j). 1 P k j

16 4 GRANIČNI TEOREMI I NJIHOVA PRIMJENA 13 Iz jakog zakona velikih brojeva slijedi da će asimptotski udio igara u kojima sudionik i pobjeđuje biti jednak vjerojatnosti da će sudionik i pobijediti u bilo kojoj igri g.s. Stoga, P {sudionik i pobjeđuje} = Pi k(1 P i) 1 Pi k nj=1 Pj k(1 P j). Kako bismo izračunali očekivano vrijeme igre, primijetimo da n n Pi k (1 P i ) intenzitet kojim igra završava = intenzitet kojim sudionik i pobjeđuje =. i=1 i=1 1 Pi k Kako sve počinje iz početka kada je jedan od sudionika dobio k uzastopnih partija, iz teorema 4.1 slijedi da je brzina kojom igra završava jednaka recipročnom iznosu očekivanog vremena trajanja igre. Stoga imamo E[vrijeme igre] = 1 P k j 1 intenzitet kojim igra završava = 1 ni=1 Pi k(1 P i) 1 Pi k. Zanima nas postoji li i kakva je veza između m(t), očekivane vrijednosti broja obnavljanja do trenutka t, i E[S N(t)+1 ] očekivanog vremena prvog obnavljanja nakon t. Neka je g(t) = E[S N(t)+1 ]. Za g(t) uz uvjet da je vrijeme prvog obnavljanja X 1 = x slijedi g(t) = E[S N(t)+1 X 1 = x]f(x)dx, gdje smo pretpostavili da su međuvremena obnavljanja neprekidna, te da imaju funkciju gustoće f. Ako se prvo obnavljanje dogodilo u trenutku x i x > t, tada je x vrijeme prvog obnavljanja nakon trenutka t. S druge strane, ako se prvo obnavljanje dogodilo u trenutku x, gdje je x < t, tada sa x označavamo novi početak. Slijedi da je očekivano vrijeme pojave prvog obnavljanja nakon trenutka (t x), gdje je početak bio u x, dano sa g(t x). To jest vidimo da je E[S N(t)+1 X 1 = x] = Uvrštavanjem tog izraza u gornju jednadžbu slijedi { g(t x) + x, x < t x, x > t. g(t) = t (g(t x) + x)f(x)dx + To možemo napisati i na sljedeći način t g(t) = µ + xf(x)dx = t t g(t x)f(x)dx, g(t x)f(x)dx + xf(x)dx. a ta je jednadžba prilično slična jednadžbi obnavljanja m(t) = F (t) + t m(t x)f(x)dx. Ako stavimo da je g 1 (t) = g(t) 1 vidimo da µ g 1 (t) + 1 = 1 + t [g 1 (t x) + 1]f(x)dx

17 4 GRANIČNI TEOREMI I NJIHOVA PRIMJENA 14 ili g 1 (t) = F (t) + t g 1 (t x)f(x)dx. To jest g 1 (t) = E[S N(t)+1] µ 1 zadovoljava jednadžbu obnavljanja, te zbog jedinstvenosti mora biti jednako m(t). To ćemo dokazati u sljedećoj propoziciji. Propozicija 4.3. Vrijedi E[S N(t)+1 ] = µ(m(t) + 1) (18) Uočimo da je Propozicija 4.3 ekvivalentna Waldovoj jednakosti za čiste procese obnavljanja. Neka Y (t) označava vrijeme od trenutka t do trenutka sljedećeg obnavljanja. Y (t) nazivamo vrijeme povratka unatrag ili ostatak života u trenutku t. Kako će se prvo obnavljanje nakon trenutka t dogoditi u trenutku t + Y (t), vidimo da S N(t)+1 = t + Y (t). Računajući očekivanje i korištenjem propozicije 4.3 slijedi što podrazumijeva da µ(m(t) + 1) = E[S N(t)+1 ] = E[t + Y (t)] = t + E[Y (t)] (19) m(t) t = 1 µ 1 t E[Y (t)] +. tµ Elementarni teorem obnavljanja bismo mogli dokazati tako da pokažemo da vrijedi =,tj. lim t E[Y (t)] t E[Y (t)] lim t t = µ E[S N(t)+1 t] = lim t t ( lim t m(t) t 1 + lim t t ) E[S N(t)+1 ] t = lim t t ( t 1 lim t t = µ µ + ) = lim t µ(m(t) + 1) t t 1 = 1 1 =. Iz jednakosti (19) možemo uočiti jednu zanimljivu činjenicu, a to je da ako odredimo E[Y (t)], očekivanu vrijednost ostatka života od t, tada možemo računati vrijednost m(t) i obrnuto. Primjer 4.3. Promotrimo procese obnavljanja čija su međuvremena dana funkcijom distribucije koja je definirana kao konvolucija dvije eksponencijalne slučajne varijable, tj. F = F 1 F 2, gdje je F i (t) = 1 e µ it, i = 1, 2. Funkciju obnavljanja ćemo odrediti tako što ćemo prvo izračunati E[Y (t)]. Kako bismo dobili očekivani ostatak života od t, zamislimo da svako obnavljanje odgovara događaju - novi stroj stavljamo u upotrebu. Pretpostavimo da svaki stroj ima dvije komponente inicijalno komponenta 1 je zaposlena i to traje eksponencijalno vrijeme s parametrom µ 1, nakon toga komponenta 2 je zaposlena i ima funkciju eksponencijalnog vremena sa parametrom µ 2. Nakon što se komponenta 2 pokvari stavlja se novi stroj u upotrebu, tj. događa se obnavljanje. Promotrimo proces {X(t), t }, gdje je X(t) = i ako je i-ta komponenta u upotrebi u =

18 4 GRANIČNI TEOREMI I NJIHOVA PRIMJENA 15 trenutku t. Uočimo da je {X(t), t } Markovljev lanac u neprekidnom vremenu koji se može nalaziti u dva stanja. Pa je prema [4] prijelazna vjerojatnost dana sa P 11 (t) = µ 1 µ 1 + µ 2 e (µ 1+µ 2 )t µ 2 µ 1 + µ 2. Kako bismo izračunali očekivani ostatak života stroja koji je u upotrebi u trenutku t, uvjetujemo na to koristi li on komponentu 1 ili komponentu 2. Ukoliko još uvijek koristi komponentu 1 tada je ostatak života jednak ( 1 µ µ 2 ), ukoliko već koristi komponentu 2 tada je ostatak života 1 µ 2 ). Označimo sa p(t) vjerojatnost da stroj koji je u upotrebi u trenutku t koristi komponentu 1, pa imamo E[Y (t)] = ( 1 µ µ 2 ) p(t) + 1 p(t) µ 2 = p(t) µ µ 2. Budući da u trenutku prvi stroj koristi prvu komponentu slijedi da je p(t) = P 11 (t), korištenjem te činjenice u prethodnom izrazu dobivamo E[Y (t)] = 1 µ 2 + Sada iz jednakosti (19) slijedi 1 µ 1 + µ 2 e (µ 1+µ 2 )t µ 2 µ 1 (µ 1 + µ 2 ). (2) m(t) + 1 = t µ E[Y (t)] +, (21) µ gdje je µ očekivano međuvrijeme dano sa µ = 1 µ µ 2 = µ 1+µ 2 µ 1 µ 2. Uvrštavanjem jednadžbe (2) i prethodne jednakosti u jednadžbu (21) i pojednostavljenjem dobivamo m(t) = µ 1 + µ 2 t µ 1µ 2 µ 1 µ 2 (µ 1 + µ 2 ) [1 2 e (µ 1+µ 2 )t ]. Izuzetno važan granični teorem za procese obnavljanja je centralni granični teorem za procese obnavljanja. On nam tvrdi da za dovoljno velike t, N(t) ima asimptotski normalnu distribuciju sa očekivanjem t tσ2 i varijancom, gdje su µ i σ 2 očekivanje i varijanca distribucije međuvremena obnavljanja. Tj. imamo sljedeći µ µ 3 teorem. Teorem 4.3. (Centralni granični teorem za procese obnavljanja) Pretpostavimo da je µ = E[X 1 ] < i σ 2 = V ar(x 1 ) <. Tada vrijedi lim P t N(t) t µ σ x t = 1 x e s2 2 ds. (22) µ 2π 3 DOKAZ: Fiksirajmo s i neka n i t tako da je s = t nµ σ n. Promotrimo nezavisne jednako distribuirane slučajne varijable X 1, X 2,...; centralni granični teorem implicira sljedeće lim P {S n > t} = lim n n P {S n > nµ sσ n} = n lim P { Sn nµ σ n > s } =

19 4 GRANIČNI TEOREMI I NJIHOVA PRIMJENA 16 Budući da je imamo Stoga i slijedi da je = 1 2π n t µ nµ σ = s t t µ 3 s e u2 2 du = 1 2π s n = sσ + N(t) t µ P {N(t) n} = P lim P t (sσ) 2 + 4tµ 2µ e u2 2 du. ( = s 1 + sσ ) n s, kada t. t σ t µ 3 < n t µ σ t µ 3 P N(t) t µ σ < s t µ 3 N(t) t µ σ x t = 1 x e s2 2 ds. µ 2π 3 Promotrimo primjenu centralnog graničnog teorema za procese obnavljanja na sljedećem primjeru iz [4]. Primjer 4.4. Dva stroja neprekidno obavljaju beskonačan broj poslova. Vrijeme potrebno za obavljanje posla na stroju 1 ima gama distribuciju s parametrima n = 4, λ = 2, dok vrijeme potrebno za obavljanje posla na stroju 2 ima uniformnu distribuciju na intervalu (, 4). Odredimo asimptotsku vjerojatnost događaja: oba stroja istovremeno obave najmanje 9 poslova do trenutka t = 1. Sa N i (t) broj poslova koje stroj i može obaviti do trenutka t, tada su {N 1 (t), t } i {N 2 (t), t } nezavisni procesi obnavljanja. Distribucija međuvremena prvog procesa obnavljanja je gama distribucija s parametrima n = 4, λ = 2, a ona prema [4] ima očekivanje 2 i varijancu 1. Distribucija međuvremena drugog procesa obnavljanja je uniformna distribucija na intervalu (, 4), a prema [4] njezino očekivanje je 2 i varijanca je N 1 (1) ima asimptotski normalnu distribuciju s očekivanjem 5 i varijancom 1 8, a N 2(1) ima asimptotski normalnu distribuciju s očekivanjem 5 i varijancom 1 6. Stoga, N 1(1) + N 2 (1) ima asimptotski normalnu distribuciju s očekivanjem 1 i varijancom Sa Φ označimo funkciju distribucije standardne normalne slučajne varijable, prema [4] imamo N 1 (1) + N 2 (1) 1 P {N 1 (1) + N 2 (1) > 89.5} = P Φ Φ 1.5 Φ(1.944) >

20 5 PROCESI OBNAVLJANJA S NAGRADAMA 17 5 Procesi obnavljanja s nagradama Sada ćemo uvesti pojam procesa obnavljanja s nagradama, te ćemo na konkretnim primjerima proučiti njihovu primjenu. Npr. vidjet ćemo kako možemo izračunati dugoročnu prosječnu cijenu automobila ili kako procese obnavljanja možemo primjeniti na testiranje ispravnosti proizvoda, odnosno na odeređivanje udjela ispravnih i udjela neispravnih proizvoda. Također uvest ćemo pojam dobi i ostatka života procesa obnavljanja, te ćemo odrediti njihov prosjek tijekom vremena. Neka proces obnavljanja {N(t), t } ima međuvremena modelirana nizom slučajnih varijabli (X n ), n 1 i pretpostavimo da svaki put kad se dogodi obnavljanje dobivamo nagradu. Neka R n označava nagradu koju dobivamo pri n-tom obnavljanju, te neka su R n, n 1 nezavisne i jednako distribuirane slučajne varijable. Može se dogoditi da R n ovisi o X n, tj. R n može ovisiti o duljini n-tog intervala obnavljanja. Što dulje čekamo na obnavljanje, to će nagrada biti veća. Npr. dozvoljen je slučaj R n = cx n, c >. Neka je R(t) = gdje je R(t) ukupan zbroj nagrada do trenutka t, te neka je E[R] = E[R n ], E[X] = E[X n ] tada imamo sljedeću propoziciju. N(t) n=1 R n, Propozicija 5.1. Ako je E[R] < i ako je E[X] <, tada je R(t) (a) lim t t (b) lim t E[R(t)] t DOKAZ: (a) Kako bismo dokazali trebamo sljedeću relaciju R(t) t = N(t) n=1 R n t Pomoću jakog zakona velikih brojeva dobivamo N(t) n=1 R n N(t) = E[R] E[X], g.s. N(t) = ( = E[R] E[X]. n=1 R n N(t) )( N(t) ). t E[R] kada t, a iz teorema 4.1 dobivamo N(t) t 1 E[X] za t. Iz čega slijedi rezultat. (b) Prema Waldovoj jednakosti imamo N(t) E[R(t)] = E[ R n ] = E[R](E[N(t)] + 1). n=1 Ako gornji izraz podijelimo sa t, pustimo da t i primjenimo elementarni teorem obnavljanja dobivamo sljedeće E[R(t)] lim t t = lim t E[R](E[N(t)] + 1) t E[N(t)] 1 = E[R]( lim + lim t t t t ) =

21 5 PROCESI OBNAVLJANJA S NAGRADAMA 18 1 = E[R]( E[X)] + ) = E[R] E[X)]. Ako kažemo da ciklus završava svaki put kad se pojavi obnavljanje tada propozicija 5.1 tvrdi da je asimptotska prosječna nagrada u jednoj vremenskoj jedinici jednaka očekivanoj nagradi zarađenoj za vrijeme ciklusa podijeljenoj s duljinom vremenskog intervala tog ciklusa. Iako smo pretpostavili da se nagrade zarađuju u trenutku obnavljanja rezultat postaje valjan kako se nagrada zarađuje postepeno tijekom ciklusa obnavljanja. Primjer 5.1. Neka je vijek trajanja automobila modeliran neprekidnom slučajnom varijablom čija je funkcija distribucije H, a funkcija gustoće h. Gospodin Horvat ima pravilo koje mu nalaže kupnju novog automobila čim se prethodni pokvari ili dosegne starost od T godina. Pretpostavimo da novi auto košta C 1 eura i da dodatni trošak od C 2 eura nastaje u slučaju kade se automobil pokvari. Ako pretpostavimo da korišteni automobil više nema nikakvu materijalnu vrijednost, zanima nas koliko dugoročno u prosjeku gospodin Horvat plati automobil. Ako kažemo da je ciklus završen svaki put kad gospodin Horvat kupi novi automobil tada iz propozicije 5.1, ukoliko nagrade zamijenimo troškovima, slijedi da automobil gospodina Horvata dugoročno u prosjeku košta E[troškovi nastali za vrijeme ciklusa]. E[duljina ciklusa] Ako sa X označimo vijek trajanja automobila gospodina Horvata tijekom proizvoljnog ciklusa tada će troškovi nastali tijekom tog ciklusa biti C 1 ako je X > T, odnosno u slučaju kada je X T troškovi nastali tijekom tog ciklusa biti će C 1 + C 2. Što znači da su očekivani troškovi nastali tijekom ciklusa dani sa E[troškovi nastali za vrijeme ciklusa] = C 1 P {X > T }+(C 1 +C 2 )P {X T } = C 1 +C 2 H(T ). Duljina ciklusa je T ako je X > T, tj. X ako je X T, pa je očekivana duljina ciklusa dana sa E[duljina ciklusa] = T xh(x)dx + T xh(x)dx = T xh(x)dx + T (1 H(T )). Stoga, dugoročno gledano prosječna cijena koju gospodin Horvat plati za automobil jednaka je E[troškovi nastali za vrijeme ciklusa] C 1 + C 2 H(T ) = E[duljina ciklusa] T xh(x)dx + T (1 H(T )) (23) Ukoliko pretpostavimo da je vijek trajanja automobila u godinama modeliran slučajnom varijablom koja ima uniformnu distribuciju na intervalu (, 15) i pretpostavimo da je C 1 jednako 5 tisuća eura i C 2 je 2 tisuće eura. Koja vrijednost T minimizira dugoročni prosječni trošak gospodina Horvata? Ukoliko gospodin Horvat koristi automobil T godina, T 15, tada iz jednakosti (23) slijedi da je prosječan trošak jednak

22 5 PROCESI OBNAVLJANJA S NAGRADAMA T T T x dx + T (1 = T ) 3T T Sada to možemo minimizirati. Neka je tada je g(t ) = T 3T T 2 g (T ) = 4(3T T 2 ) (15 + 4T )(3 2T ) (3T T 2 ) 2. Derivaciju izjednačimo s i nakon računanja dobivamo da je T i T Kako je T 1, slijedi da bi optimalno pravilo za gospodina Horvata bilo zamjena automobila u trenutku kada automobil dosegne starost od godina, tj. zamjena automobila kada je automobil star 12 godina i 1 mjeseci. Primjer 5.2. Pretpostavimo da klijenti dolaze u prostoriju gdje se nalazi jedan bankomat u skladu s Poissonovim procesom sa intenzitetom λ. Po dolasku klijent mora proći kroz vrata koja vode prema bankomatu. Svaki put kada netko prođe kroz vrata ona ostaju zaključana idućih t vremenskih jedinica. Ukoliko klijent u dolasku naiđe na zaključana vrata on odlazi, a to banci generira trošak od c kuna. Ukoliko klijent u dolasku naiđe na otključana vrata on ulazi u prostoriju sa bankomatom. Ako je bankomat slobodan klijent ga koristi; ukoliko je bankomat zauzet klijent odlazi neposlužen i time generira banci trošak K. Neka je vrijeme koje klijent provede koristeći bankomat modelirano eksponencijalnom slučajnom varijablom sa parametrom µ, zanima nas koliki je prosječan trošak koji nastaje po jedinici vremena. Prethodno opisan proces možemo promatrati kao proces obnavljanja s nagradama, gdje novi ciklus počinje svaki puta kada klijent naiđe na otključana vrata. Bio bankomat zauzet ili ne vrata će svejedno ostati zaključana t jedinica vremena, bankomat će biti zauzet slučajno vrijeme X koje ima eksponencijalnu distribuciju sa parametrom µ. Ako je bankomat slobodan X će predstavljati vrijeme koje je klijentu potrebno za uslugu; ako je bankomat zauzet X će predstavljati vrijeme preostalo do završetka usluge trenutnog klijenta. Budući da će novi ciklus početi prvim dolaskom nakon t vremenskih jedinica slijedi da E[vrijeme ciklusa] = t + 1 λ. Neka C 1 označava trošak koji nastaje za vrijeme ciklusa kada klijenti dolaze i nailaze na zaključana vrata. Budući da će svaki dolazak u prvih t vremenskih jedinica ciklusa rezultirati troškom c imamo da je E[C 1 ] = λtc. Neka C 2 označava trošak koji nastaje za vrijeme ciklusa ukoliko klijent naiđe na otključana vrata i zauzet bankomat. Budući da nastaje trošak K ukoliko je bankomat još uvijek zauzet u trenutku t nakon što je ciklus počeo i sljedeći dolazak se dogodi prije nego što je usluga završena, vidimo da je E[C 2 ] = Ke µt λ. Posljedično, λ+µ prosječan trošak po jedinici vremena = λtc + λke µt λ+µ t + 1 λ.

23 5 PROCESI OBNAVLJANJA S NAGRADAMA 2 Primjer 5.3. Promotrimo proizvodnju proizvoda koje možemo razvrstati u dvije skupine, ispravne i neispravne. Pretpostavimo da se svaki proizvod testira. Testiranje se vrši sve dok se ne dogodi da je uzastopno testirano k ispravnih proizvoda. U tom trenutku 1%-tna kontrola prestaje i svaki sljedeći proizvod će biti testiran s vjerojatnošću α. Ovakvo djelomično testiranje se nastavlja sve dok se ne otkrije neispravan proizvod; u tom trenutku se ponovo kreće iz početka sa 1%-tnim testiranjem, tj. proces je obnovljen i kreće iz početka. Pretpostavimo da svaki proizvod može biti neispravan nezavisno od ostalih i to sa vjerojatnošću q. Prethodni proces možemo tretirati kao proces obnavljanja s nagradama, gdje novi ciklus počinje svaki puta kada ponovo počinje 1%-tno testiranje. Tada imamo: udio testiranih proizvoda = E[broj proizvoda testiranih u ciklusu]. E[broj proizvoda u ciklusu] Neka N k označava broj testiranih proizvoda do pojave k uzastopnih ispravnih proizvoda. Nakon toga počinje djelomično testiranje. Budući da će svaki sljedeći proizvod biti neispravan s vjerojatnošću q, nakon što smo testirali N k proizvoda slijedi da će očekivani broj testiranja do pojave neispravnog proizvoda biti jednak 1 q. Stoga E[broj proizvoda testiranih u ciklusu] = E[N k ] + 1 q. Kod djelomičnog testiranja svaki proizvod će biti nezavisno testiran i vjerojatnost da je neispravan biti će αq. Slijedi da će broj proizvoda koji su testirani dok se kod jednog ne utvrdi neispravnost biti jednak 1, pa slijedi da je αq E[broj proizvoda u ciklusu] = E[N k ] + 1 αq. Kako je E[N k ] očekivani broj pokušaja potrebnih do pojave k uzastopno ispravnih proizvoda, gdje će svaki proizvod biti ispravan s vjerojatnošću p = 1 q. Slijedi da je Stoga dobivamo E[N k ] = 1 p + 1 p p = ( 1 p )k 1. k q P T = udio proizvoda koji su testirani = ( 1 p )k ( 1 p )k α Budući da će svaki testirani proizvod biti neispravan s vjerojatnošću q, slijedi da će udio proizvoda koji su testirani i za koje je utvrđeno da su neispravni biti jednak qp T. Stoga će, za dovoljno velike N, od prvih N testiranih predmeta njih približno NqP T biti klasificirani kao neispravni i uklonjeni. Kako će prvih N proizvoda sadržavati približno njih N q neispravnih, slijedi da će Nq NqP T neispravnih proizvoda biti neotkriveno. Stoga, udio neotkrivenih neispravnih proizvoda Nq(1 P T ) N(1 qp T ). Kada N dobivamo sljedeću aproksimaciju udio neotkrivenih neispravnih proizvoda q(1 P T ) 1 qp T.

24 5 PROCESI OBNAVLJANJA S NAGRADAMA 21 Primjer 5.4. (Prosječna dob procesa obnavljanja) Neka proces obnavljanja ima distribuciju međuvremena F. Definiramo A(t) kao vrijeme od posljednjeg obnavljanja do trenutka t i nazivamo ga dob procesa obnavljanja ili vrijeme povratka unatrag. Npr. ako obnavljanja predstavljaju žarulje koje pregore i automatski se zamijene novima, tada A(t) predstavlja dob žarulje u trenutku t. Kako S N(t) predstavlja vrijeme zadnjeg obnavljanja do ili u trenutku t, imamo da je A(t) = t S N(t). Zanima nas prosječno vrijeme, tj. s A(t)dt lim s Kako bismo ga odredili koristimo teoriju obnavljanja s nagradama na sljedeći način: pretpostavimo da u bilo kojem trenutku novac zarađujemo intenzitetom koji je jednak vremenu procesa obnavljanja u tom trenutku. Tj. u trenutku t, novac zarađujemo intenzitetom A(t), pa s A(t)dt predstavlja ukupnu zaradu do trenutka s. Kako sve počinje iz početka kada se pojavi obnavljanje, prema propoziciji 5.1 slijedi s A(t)dt s s. E[nagrada tijekom ciklusa obnavljanja ], s. E[vrijeme ciklusa obnavljanja ] Budući da je dob procesa obnavljanja do trenutka t u ciklusu obnavljanja jednaka t, imamo nagrada tijekom ciklusa obnavljanja = gdje je X vrijeme ciklusa obnavljanja. Imamo da je s prosječna dob procesa obnavljanja s lim A(t)dt s gdje je X međuvrijeme obnavljanja koje ima distribuciju F. X tdt = X2 2, = E[X2 ] 2E[X], (24) Primjer 5.5. (Prosječni ostatak života procesa obnavljanja) Označimo sa Y (t), ostatak života ili vrijeme povratka unaprijed u trenutku t. Y (t) je po definiciji jednak vremenu od t do sljedećeg obnavljanja, pa kao takav predstavlja preostalo vrijeme trajanja, ostatak života, žarulje koja se koristi u trenutku t. Prema tome prosječna vrijednost ostatka života jednaka je s lim Y (t)dt. s s Pretpostavimo da smo u trenutku t bili plaćeni po stopi koja je jednaka Y (t). Tada će nam prosjek nagrada po jedinici vremena biti dan sa prosječan ostatak života = lim s s Y (t)dt Ako sa X označimo duljinu ciklusa obnavljanja dobivamo s = E[nagrada za vrijeme ciklusa]. (25) E[duljina ciklusa] nagrada tijekom ciklusa obnavljanja = (X t)dt = X2 2 i tako slijedi da je prosječna vrijednost ostatka života dana sa X prosječan ostatak života = E[X2 ] 2E[X] što je isto kao i rezultat dobiven za prosječnu dob procesa obnavljanja. (26)

25 6 REGENERATIVNI PROCESI 22 Slučajnu varijablu A(t) možemo interpretirati kao podbačaj ispod nivoa t, a slučajnu varijablu Y (t) možemo interpretirati kao preskok preko nivoa t. 6 Regenerativni procesi U ovom poglavlju proučit ćemo regenerativne procese, te ćemo pomoću njih moći odrediti asimptotski udio vremena koje proces provede u stanju j. Kao primjer regenerativnih procesa izdvojit ćemo naizmjenični proces obnavljanja, te ćemo naizmjenične procese obnavljanja iskoristiti kako bismo izračunali dob i ostatak života procesa obnavljanja. Definicija 6.1. Neka slučajni proces {X(t), t } sa prostorom stanja N ima svojstvo da postoje vremenske točke u kojima se proces pokreće iz početka; tj. gotovo sigurno postoji trenutak T 1 takav da nakon T 1 slučajni proces {X(t), t } vjerojatnosno replicira proces koji je započeo u trenutku. Ta činjenica implicira postojanje trenutaka T 2, T 3,... sa istim svojstvom kao i trenutak T 1. Takav slučajni proces nazivamo regenerativni proces. Primjer regenerativnog procesa je proces obnavljanja, a T 1 predstavlja vrijeme prvog obnavljanja. Iz prethodnog uočimo da T 1, T 2,... predstavljaju dolazna vremena procesa obnavljanja. Kažemo da je ciklus završen svaki puta kada se dogodi obnavljanje. Primjer 6.1. Promatrajmo proces vremena čekanja u kojem klijenti dolaze u banku redoslijedom koji je sukladan sa proizvoljnim procesom obnavljanja. Pretpostavimo da u banci postoji samo jedan šalter i klijenti se uslužuju jedan po jedan, te neka je takvo usluživanje modelirano proizvoljnom distribucijom. Ako je u trenutku stigao prvi klijent tada je {X(t), t } regenerativan proces, gdje X(t) označava broj klijenata u trenutku t. Proces se vrati u početno stanje, tj. regenerira se, svaki put kada klijent dođe u banku i šalter je slobodan za usluživanje. Kako bismo odredili asimptotski udio vremena koje regenerativan proces provede u stanju j pretpostavimo da osvajamo nagradu intenzitetom 1 po jedinici vremena kada se proces nalazi u stanju j, a intenzitetom kada se nalazi u ostalim stanjima. Tj. definiramo I(s), intenzitet kojim dobivamo nagradu u trenutku s, na sljedeći način Vrijedi sljedeće I(s) = { 1, X(s) = j, X(s) j. ukupna nagrada do trenutka t = t I(s)ds. Opisani proces je proces obnavljanja sa nagradama koji ciklički počinje iznova u trenutku T 1. Prema propoziciji 4.1 slijedi prosječna nagrada po jedinici vremena = E[nagrada do trenutka T 1 ]. E[T 1 ] Prosječna nagrada po jedinici vremena proporcionalna je vremenu koje proces provede u stanju j. Tj. imamo sljedeću propoziciju koju iskazujemo bez dokaza.

26 6 REGENERATIVNI PROCESI 23 Propozicija 6.1. Za regenerativne procese asimptotski vrijedi udio vremena u stanju j = E[vrijeme u stanju j tijekom ciklusa]. E[vrijeme ciklusa] Primjer 6.2. Neka je restoranu potreban samo jedan automobil za dostavu, ali neka restoran posjeduje još jedan automobil kao rezervu. Automobil je u funkciji neko vrijeme koje je modelirano slučajnom varijablom čija je funkcija gustoće funkcija f. Nakon tog vremena automobil se pokvari. Ako se automobil pokvari dok je drugi u ispravnom stanju tada se ispravan automobil koristi kao dostavno vozilo; istodobno počinje popravak automobila koji je u kvaru. Ukoliko se automobil pokvari dok je drugi na popravku tada popravak drugog započinje tek kada je završen popravak prvog automobila. U trenutku kada se prvi automobil popravi automatski se koristi kao dostavno vozilo, a drugi ide na popravak. Vremena popravaka modelirana su slučajnom varijablom čija je funkcija gustoće g. Želimo pronaći P, P 1, P 2, gdje je P i asimptotski udio vremena u kojem je i automobila u voznom stanju. Reći ćemo da se proces nalazi u stanju i kada je i automobila spremno za dostavu, i =, 1, 2. Svaki put kada se proces nađe u stanju 1 on vjerojatnosno počinje iz početka. Odnosno, proces se vraća u početno stanje svaki put kada je jedan automobil u funkciju i kada istovremeno počinje popravak drugog automobila. Ciklus počinje svaki put kada sustav uđe u stanje 1. Ako sa X označimo vrijeme rada automobila koji se koristi na početku ciklusa, a sa R označimo vrijeme potrebno za popravak drugog automobila, tada će dužina ciklusa, T c, biti dana izrazom T c = max{x, R} Ukoliko je X R tada se automobil u upotrebi pokvari prije završetka popravka drugog automobila, a novi ciklus će početi kada automobil s popravka bude u voznom stanju. Ukoliko je R < X, drugi automobil je popravljen prije nastanka kvara automobila koji je u funkciji. U ovom slučaju novi ciklus počinje kada se dogodi kvar na trenutnom dostavnom automobilu. Neka su T i, i =, 1, 2, vremena koja proces provede u stanju i tijekom ciklusa. Kako je R X, vrijeme u kojem su oba vozila izvan funkcije u jednom ciklusu, pozitivno ili jednako imamo T = (R X) +. Vrijeme u ciklusu u kojem je samo jedan automobil u voznom stanju je T 1 = min{x, R}. Slično, X R predstavlja vrijeme ciklusa u kojem su oba vozila u voznom stanju; to vrijeme je pozitivno ili jednako, pa imamo T 2 = (X R) +. Pa stoga dobivamo: P = E[(R X)+ ] E[max{X, R}], P 1 = E[min{X, R}] E[max{X, R}], P 2 = E[(X R)+ ] E[max{X, R}]. Kako je P + P 1 + P 2 = 1 slijedi da je max{x, R} = min{x, R} + (X R) + + (R X) Naizmjenični proces obnavljanja Primjer regenerativnih procesa su naizmjenični procesi obnavljanja. Ovakvi procesi se mogu nalaziti u jednom od dva stanja: ili 1. Početno stanje procesa je stanje 1. Proces ostaje u tom stanju neko slučajno vrijeme Z 1. Nakon toga sustav prelazi u stanje i u tom stanju ostaje neko slučajno vrijeme Y 1. Potom sustav ponovo prelazi u stanje 1 i u njemu ostaje