MARKOVLJEVI LANCI Prvi kolokvij 28. studenog Zadatak 1. (a) (5 bodova) Za Markovljev lanac (X n ) i njegovo stanje i S neka T (n) i u stanje i.

Транскрипт

1 Zadatak. (a) (5 bodova) Za Markovljev lanac (X n ) njegovo stanje S neka T (n) u stanje. Dokaºte da za svak n N vrjed P (T (n) < ) = f n, ozna ava n-to vrjeme povratka pr emu je f := P (T () < ). (Napomena: Ne smjete se samo pozvat na op entju tvrdnju s predavanja. mena svh rezultata koje korstte.) U dokazu navedte (b) (5 bodova) Pretpostavmo da je stanje prolazno te neka je N broj posjeta Markovljevog lanca tom stanju. Izra unajte o ekvanje varjancu slu ajne varjable N, tj. E N Var (N ), oboje obzrom na vjerojatnost P. (Napomena: Rezultate skaºte u termnma broja f.) (a) Korste jako Markovljevo svojstv o dobvamo P (T (n) < ) = P (T (n ) = P (T (n ) <, T (n) < ) < ) P (T (n) = P (T (n ) < ) P (T () < ). < T (n ) < ) Name, prema jakom Markovljevom svojstvu prmjenjenom na vrjeme zaustavljanja T (n ) uvjetno na {X T (n ) = } = {T (n ) <, X T (n ) = } = {T (n ) < }, proces (X : m 0) (n ) T +m (δ, P )-Markovljev lanac nezavsan od X 0, X,..., X (n ) T. tov²e, tada je T (n) njegovo prvo vrjeme povratka u stanje. Sada korste matemat ku ndukcju po n s trvjalnom bazom gornjm korakom odmah sljed traºena tvrdnja. (b) Prolaznost stanja zna f <. Za svak n N mamo (uz dogovor T (0) = 0) P (N = n) = P (N n) P (N n + ) = P (T (n ) pa (a) do zadatka daje P (N = n) = f n f n = f n ( f ). < ) P (T (n) < ) Dakle, N ma geometrjsku razdobu na skupu N s parametrom (uspjeha) jednakm p = f, N G( f ). Iz poznath formula za o ekvanje varjancu geometrjske razdobe (l sumranjem odgovaraju h redova) sljed E N = p = f, Var (N ) = p p = f ( f ). je,

2 Zadatak. Populacja ºenskh ktova u Atlantskom oceanu broj se z godne u godnu to na po etku svake godne. Populacja ºenk kre e se na sljede na n. Svaka ºenka nezavsno jedna od druge preºv godnu, tj. bt e ºva na po etku sljede e godne, s vjerojatnost µ (0, ) ( neovsno o tome kolko je ve dugo ºva). Takožer, ako ºenka preºv godnu, ona na kraju te godne nezavsno od drugh ºenk l nema ºenskh potomaka l donese na svjet jo² jednu ºenku s vjerojatnost p (0, ). Pretpostavmo da je populacja ºenskh ktova u Atlantskom oceanu na po etku 08. godne brojla 00 jednk. (a) (6 bodova) Odredte vjerojatnost da populacja ºenskh ktova zumre. (b) ( boda) Odredte o ekvan broj ºenskh ktova u Atlantskom oceanu na po etku 03. (c) ( boda) Ako je na po etku 00. ostala samo jedna ºenka ºva, koja je vjerojatnost da e populacja ºenk nestat do po etka 0. Neka je Z n broj ºenk u Atlantskom oceanu u n-toj godn od 08. godne. Tada je (Z n ) n 0 jednostavn proces grananja. (a) Pretpostavmo da mamo jednu ºenku na po etku. Ona ne preºv godnu s vjerojatnost µ tme u sljede oj generacj mamo 0 jednk. Vjerojatnost da preºv nema njednog ºenskog potomka je µ ( p) tme u sljede oj generacj mamo jednku (po etnu ºenku koja je preºvjela godnu). Kona no, vjerojatnost da ºenka preºv da ma ºenskog potomka je µ p tme mamo jednke u sljede oj generacj. Dakle, ( ) 0 Z, µ µ( p) µp P (s) = µ + µ( p)s + µps. Da bsmo odredl π - vjerojatnost zumranja populacje ºenk koja kre e s jednom jednkom, prmjetmo da je E[Z ] = µ( + p) pa ako je µ( + p), onda populacja zumre gotovo sgurno, a ako je µ( + p) >, onda moramo na nenegatvno rje²enje jednadºbe P (s) = s koje je manje od. Budu da znamo da je s = rje²enje, zlu vanjem (s ) z P (s) s lako dobjemo da je P (s) = s (s )(sµp + µ ) = 0, tj. π = µ µp. Budu da kre emo sa 00 jednk, vjerojatnost da populacje zumre je u slu aju µ( + p), a ( µ µp )00 u slu aju µ( + p) >. (b) E[Z ] = µ( + p) pa je o ekvan broj ºenk nakon 5 godna 00 (µ( + p)) 5. (c) Traºmo P (P (0)) = P ( µ) = µ + µ( p)( µ) + µp( µ).

3 Zadatak 3. Neka je (X n ) n 0 Markovljev lanac na skupu S = {0, } s matrcom prjelaza P = ( 0 ) (a) (6 bodova) Ako je T = mn{n : X n =, X n = 0}, odredte E 0 [T ] = E[T X 0 = 0]. (b) (4 boda) Je l proces (Y n ) n denran s Y n = X n + X n za n, ponovno Markovljev lanac? Ako jest, objasnte za²to, te odredte prpadn prostor stanja matrcu prjelaza, a ako nje, pokaºte to prmjerom. (a) Jedan od na na da se rje² zadatak ( usput korstan za (b) do) je sljede. Uo mo: proces Z n = (X n, X n ), za n, je Markovljev lanac na prostoru stanja S = {00, 0, 0, } s matrcom prjelaza P = () Korste ovaj lanac, traºeno o ekvanje E 0 [T ], uz standardnu notacju, moºemo ra unat kao E 00 [T 0 ]. Ako stavmo g = E [T 0 ] za sve S, po teoremu o o ekvanm vremenma pogažanja, l analzom prvog koraka, vrjed g 0 = 0 g 00 = + 3 g g 0 g 0 = g g = g. Rje²avanjem sustava dobjemo g 0 = g = te E 0 [T ] = g 00 = 7. (b) Uo mo: za funkcju f : S S = {0,,, 3} denranu s f(, j) = +j, vrjed Y n = f(x n, X n ) = f(z n ) za sve n. Klju no je sada prmjett da je f bjekcja, pa budu da (Z n ) zadovoljava Markovljevo svojstvo, lako se pokaºe da je (Y n ) Markovljev lanac na S sa prjelaznm vjerojatnostma P(Y = j Y 0 = ) = P(Z = f (j) Z 0 = f ()) za, j = 0,,, 3, tj. s matrcom prjelaza kao u () gore, al uz promjenu stanja 00 0, 0, 0 te 3.

4 Zadatak 4. Neka je (X n ) n 0 Markovljev lanac na prostoru stanja N 0 = {0,,, 3,... } sa prjelaznm vjerojatnostma p, = p,+ = za sve N 0 \ {0, 3}; p 0,0 = p 0, = p 3,3 = p 3, =. (a) (3 boda) Navedte klase komuncranja (ne treba obrazloºenje). (b) (3 boda) Isptajte povratnost/prolaznost svakog stanja. Preczno navedte rezultate koje korstte. (c) ( boda) Nažte najmanj zatvoren skup stanja koj sadrº stanje 6. (d) ( boda) Izra unajte P 5 (X 8 = 4). (a) Iz grafa prdruºenog ovom lancu lako se vd da postoje dvje klase komuncranja C = {0,,, 3} C = {4, 5, 6,... }. (b) Prvo, znamo da je povratnost/prolaznost svojstvo klase komuncranja. Budu da klasa C nje zatvorena, po rezultatu s predavanja nuºno je prolazna, tj. sva stanja z C su prolazna. S druge strane, C je zatvorena kona na klasa, pa po rezultatu s vjeºb sljed da je povratna. Zasta, zbog zatvorenost moºemo promatrat restrkcju ovog Markovljevog lanca na C, a zbog kona nost, po rezultatu s predavanja, postoj bar jedno povratno stanje u C, pa su sva stanja z C povratna. (c) Po rezultatu s vjeºb, traºen skup je Cl({6}) = {k N 0 : 6 k} = N 0. (d) Uo mo, ako kre e z stanja 5, lanac se nakon parnog broja koraka ne moºe nalazt u stanju 4. Specjalno, P 5 (X 8 = 4) = 0.

5 Zadatak 5. Pretpostavte da Markovljev lanac (X n ) ma m <, razl th klasa komuncranja C,..., C m. Za svako stanje, neka C() ozna ava njegovu klasu. (a) (3 boda) Pokaºte da ako vrjed j (tj. j je dostºno z ), tada j za sve C() sve j C(j). (b) (4 boda) Ako za klase C(), C(j), vrjed j, p²emo C() C(j). Pokaºte da je broj ureženh parova (C k, C l ) takvh da C k C l, k l, k, l =,,... m, manj l jednak od ( m ). (c) (3 boda) Konstrurajte Markovljev lanac (tj. matrcu prjelaznh vjerojatnost) na skupu S = {,, 3, 4} tako da su mu klase komuncranja C = {}, C = {} te C 3 = {3, 4} te vrjed C C, C C 3. Mora l za svak takav lanac vrjedt C C 3? Obrazloºte. (d) (5 dodatnh bodova) Pokaºte da postoj klasa C {C,..., C m } takva da C k C povla C k = C (tj. klasa C nje dostºna nt z jedne druge klase). (a) Kako je relacja dostºnost tranztvna tj. j te j j povla j (dokazano u Poglavlju 3, l drektno prmjenom ChapmanKolmogorovljeve jednakost). Prmjenjuju tranztvnost dva puta, sljed j. (b) Ukolko b broj ureženh parova (C k, C l ) takvh da C k C l, k l, k, l =,,... m bo ve od ( m ), ²to je jednako ukupnom broju (neureženh) parova razl th klasa C k, C l, postojao b bar jedan par u kojem C k C l, al obrnuto, C l C k, no to b zna lo da te dvje klase komuncraju, ²to je kontradkcja s pretpostavkom. (c) Postavte npr. p = p 34 = p 43 =, p 3 = p 4 = /. Naravno, zbog tranztvnost (v. do (a)) mora uvjek vrjedt C C 3. (d) Na skupu klasa C,..., C m moºemo napravt usmjeren graf korste relacju dostºnost. Taj graf ne moºe sadrºavat cklus, tj. nje mogu e npr. C C C k C jer b tada sve klase u tom cklusu ble dostºne jedna z druge, a to je u suprotnost s pretpostavkom. Uzmmo stoga prozvoljnu klasu C = C j pretpostavmo da smo na²l nz razl th klasa takav da C j C j C jk. Kako nema cklusa, C jk nje dostºno nt z jednog od svojh prethodnka C j,..., C jk u tom nzu. Takožer, sam nz mora stat najkasnje kad scrpmo svh m razl th klasa, u suprotnom bsmo prona²l cklus. Dakle, u trenutku kad nz ne moºemo nastavt postavmo C = C jk uo mo da C ma traºeno svojstvo.