UNIVERZITET U BEOGRDU MTEMTIČKI FKULTET MSTER RD JEDNODIMENZIONO SLUČJNO LUTNJE I UOPŠTENJ Student Marko Krstić 1113/2013 Mentor Dr Jelena Jocković
Sadržaj Uvod... 1 Slučajni procesi osnovni pojmovi... 3 Procesi sa nezavisnim priraštajima... 4 Slučajno lutanje kao lanac Markova... 6 Markovljevi lanci... 6 Verovatnoće prelaska u n koraka... 7 Slučajno lutanje kao lanac Markova... 9 Klasifikacija stanja... 13 naliza prvog koraka... 18 Slučajno lutanje kao martingal... 24 Uslovno matematičko očekivanje... 24 Slučajno lutanje kao martingal... 28 Princip refleksije... 30 Problem glasačkih listića i arcsin zakon... 33 Problem glasačkih listića... 37 Slučajno lutanje u finansijskoj matematici... 39 Finansijska sredstva... 39 Opcije i njihove osobine... 39 Kamatne stope i sadašnja vrednost novca... 41 Geometrijsko slučajno lutanje... 43 Binomni model sa jednim korakom za kol opcije... 43 Binomni model sa više koraka za kol opcije... 46 Binomni model za evropske put opcije... 48 Literatura... 50
Uvod U ovom radu biće razmatrano jednodimenzionalno slučajno lutanje kao specijalan slučaj procesa Markova. Slučajno lutanje je jedan od osnovnih pojmova u teoriji slučajnih procesa. Značaj ovoga modela ogleda se u velikom broju neočekivanih rezultata koje dobijamo prilikom njegovog izučavanja, ali i u činjenici da se slučajno lutanje nalazi u osnovi Braunovog kretanja, difuzne teorije, Itove analize Zbog svega toga slučajno lutanje ima brojne primene u biologiji, fizici, ekonomiji, finansijama Jednodimenzionalno slučajno lutanje je proces koji se može opisati na sledeći način: čestica se kreće po realnoj pravoj sa celobrojnim koordinatama i u jedinici vremena pravi jedinični korak u pozitivnom ili negativnom smeru sa datim verovatnoćama. Postoje brojna uopštenja kao što su višedimenzionalno slučajno lutanje, slučajno lutanje sa pozitivnim verovatnoćama ostajanja u istoj tački, slučajno lutanje po grafu, itd. U prvoj glavi rada, naslovljenoj Slučajni procesi-osnovni pojmovi, biće iznesene neke osnovne definicije vezane za pojam slučajnog procesa, zatim ćemo reći nešto o procesima sa nezavisnim priraštajima, te nešto o podeli ovih procesa, čiji je specijalni slučaj slučajno lutanje. Druga glava počinje uvođenjem Markovljevih lanaca, a zatim i uvođenjem slučajnog lutanja kao lanca Markova. Ovde ćemo navesti neke varijacije prilikom definisanja slučajnog lutanja, reći nešto više o njegovoj primeni i dati nekoliko primera koji za cilj imaju približavanje pojma slučajnog lutanja. Nakon toga biće definisane neke karakteristike koje su nam od značaja prilikom analiziranja slučajnih procesa kao što su povratna i prolazna stanja, dostižnost stanja, period stanja... Nakon definisanja svakog od ovih pojmova pokazaćemo njihovu primenu na primeru slučajnog lutanja, nakon toga pokazaćemo kako se analizom prvog koraka rešavaju problemi vezani za slučajno lutanje kao što je da kockar zaradi novčića pre nego sto izgubi B novčića i očekivano vreme trajanja ovog slučajnog lutanja. Treća glava posmatra slučajno lutanje kao martingal. Na početku glave izložena su neka od osnovnih svojstava uslovnog matematičkog očekivanja, koja su potrebna iz razloga što se uslovno matematičko očekivanje pojavljuje kako u samoj definiciji martingala, tako i u teoremama i primerima koji su vezani za ovaj pojam. Na kraju ovog poglavlja izložen je princip refleksije koji je propraćen nekim važnijim posledicama i jednim primerom primene. U četvrtoj glavi izložena su još neka svojstva slučajnog lutanja. Prvo se bavimo pitanjem koliko puta će u n rundi, igrač koji igra igru na sreću koja se može modelovati slučajnim lutanjem sa jednakim verovatnoćama gubitka i dobitka,,biti u plusu. Ovde dolazimo do, pomalo iznenađujućeg, zaključka da je verovatnoća da igrač skoro nikada ne bude,,u plusu ili da igrač skoro stalno bude,,u plusu veća od verovatnoće da igrač bude,,u plusu u n 2 rundi. U drugom delu ove glave bavimo se problemom 1
glasačkih listića. Problem glasačkih listića se može opisati na sledeći način: Neka na izborima učestvuju dva kandidata, i neka nakon prebrojanih n = p + q listića prvi kandidat ima p, a drugi kandidat q glasova, gde je p > q. Kolika je verovatnoća da će prvi kandidat voditi tokom celog prebrojavanja glasova? U petoj glavi bavimo se konkretnom primenom slučajnog lutanja u finansijskoj matematici. Videćemo kako se ovaj pojam može primeniti na modelovanje cena opcija. Kako je za modelovanje cena opcija potrebno određeno poznavanje finansijske matematike, to deo ove glave sadrži i kratak uvod u finansijsku matematiku, gde su izloženi pojmovi i stavovi koji se koriste pri konstrukciji binomnog modela. Prvo ćemo navesti šta su finansijska sredstva i dati neke njihove podele, nakon toga ćemo preći na opcije i njihove osobine. Kamatne stope i vrednosti novca u zavisnosti od vremena su takođe značajni faktori prilikom modelovanja vrednosti opcija, tako da je toj temi posvećeno treće poglavlje ove glave. Najzad prelazimo na sam binomni model, u narednim poglavljima prvo ćemo videti kako se pomoću binomnog modela sa jednim korakom modeluju opcije, a nakon toga i kako izgleda binomni model sa više koraka. 2
Slučajni procesi osnovni pojmovi Ova glava ima uvodni karakter. Slučajno lutanje je slučajni proces sa nezavisnim priraštajima. U ovoj glavi nećemo dati definiciju slučajnog lutanja, ali ćemo dati definiciju i primere slučajnog procesa, procesa sa nezavisnim priraštajima i definisati neke druge, osnovne, pojmove vezane za slučajne procese. Mnogi teorijski i praktični problemi nameću potrebu da se razmatraju nizovi ili, opštije, beskonačne familije zavisnih slučajnih veličina, time se upravo bavi teorija slučajnih procesa. Primer 1.1: Neka je (X n ) n 1 niz nezavisnih slučajnih veličina i neka je S n = X 1 + X 2 +... +X n, n 1 niz parcijalnih zbirova. Jasno je da su članovi niza (S n ) zavisne slučajne veličine. U vezi sa ovim nizom primetimo sledeće: ko su s 1 < t 1 s 2 < t 2 prirodni brojevi, onda su slučajne veličine S t1 S s1 i S t2 S s2 nezavisne, tj. priraštaji zbira na intervalima (s 1, t 1 ] i (s 2, t 2 ] su nezavisne slučajne veličine. ko slučajne veličine X 1, X 2, uzimaju, na primer, vrednosti u skupu celih brojeva sa verovatnoćom 1, onda su takvi i svi članovi niza (S n ). ko su slučajne veličine X 1,X 2,... apsolutno neprekidne slučajne veličine, onda su takvi i parcijalni zbirovi. Primer 1.2: Proučava se neka fizička veličina koja se menja tokom vremena, na primer, temperatura vazduha na određenom mestu. Vrednost te veličine u trenutku t je slučajna veličina X(t), pa se ovde prirodno pojavljuje familija slučajnih veličina {X(t), t 0} sa apsolutno neprekidnim raspodelama. Primer 1.3: Broj isplata odšteta koje tokom vremena, počinjući od nekog trenutka, isplaćuje osiguravajuće društvo opisuje se familijom slučajnih veličina {N(t), t 0}, koje zavise od parametra t [0, + ). Pri tome, svaka slučajna veličina X(t), koja predstavlja broj isplaćenih odšteta do trenutka t, uzima vrednosti u skupu nenegativnih celih brojeva. Neka je (Ω,, P) prostor verovatnoća i (S, B) merljiv prostor. Funkcija X: Ω S, koja je merljiva u odnosu na sigma algebre i B, u smislu da za svaki skup B B važi X 1 (B) zove se slučajni element u prostoru S. Raspodela verovatnoća slučajnog elementa X: Ω S je verovatnosna mera P X B R, koja je data sa P X (B) = P(X 1 (B)) za B B. Prostor (S, B) zove se prostor vrednosti slučajnog elementa X ili fazni prostor. U radu ćemo razmatrati familiju slučajnih elemenata {X t, t T}, gde je T beskonačan skup, i pri čemu su svi slučajni elementi ove familije definisani na nekom prostoru verovatnoća (Ω,, P), a za svako t T slučajni element X t uzima vrednosti u nekom merljivom prostoru (S t, B t ). Za svako t T funkcija X t Ω S t je merljiva u odnosu na σ-algebre i B t, u smislu da za skup B B t važi X t 1 (B). Moguće je da za sve vrednosti t merljiv prostor (S t, B t ) bude isti, na primer (R, B). Definicija 1.1: Familija slučajnih elemenata {X t, t T} definisanih na nekom prostoru verovatnoća (Ω,, P), gde je T beskonačan skup, zove se slučajna funkcija. Skup T iz definicije 1.1 zove se parametarski skup. ko je T = R = (, + ), T = [0, + ) ili T = [a, b] R, onda se parameter t T najčešće interpretira kao vreme, a slučajna funkcija {X t, t T} zove se slučajan proces sa neprekidnim vremenom. ko je T Z, gde je Z skup celih brojeva, onda se 3
slučajna funkcija {X t, t T} zove slučajni proces sa diskretnim vremenom ili slučajni niz. ko je T R d, gde je d 2, onda se slučajna funkcija {X t, t T} zove slučajno polje. Termin slučajan proces može se koristiti i za proizvoljnu slučajnu funkciju, tj. pri proizvoljnom parametarskom prostoru T. ko je (R, B) prostor vrednosti za sve X t, t T, onda se {X t, t T} zove realan slučajan proces. Svojstva slučajnih procesa bitno zavise od strukture parametarskog skupa T i od prostora (S t, Β t ) t T, u kojima slučajni elementi X t uzimaju vrednosti. Neka je {X t, t T} realan slučajan proces definisan na nekom prostoru verovatnoća (Ω,, P). Za svaki element ω Ω, označimo sa X t (ω) vrednost slučajne veličine X t u tački ω. Definicija 1.2: Pri fiksiranom ω Ω funkcija X t (ω), t T, zove se trajektorija slučajnog procesa {X t, t T}. Prema tome trajektorija X t (ω), t T, realnog slučajnog procesa je konkretna funkcija koja skup T preslikava u skup realnih brojeva, tj. element skupa R T. Moguće je razmatrati i vektorski slučajni proces {X t, t T}. On se određuje familijom slučajnih vektora X t = (X t1,, X tm ): Ω R m, t T, m 2 Koji su definisani na istom prostoru verovatnoća (Ω,, P), pri čemu pretpostavljamo da je T beskonačan skup. U zavisnosti od toga šta je skup T (posebno interesantni slučajevi T R i T Z), uvodi se slična klasifikacija i terminologija za slučajne vektore, kao što je uvedena za slučajne procese. Procesi sa nezavisnim priraštajima Važna klasa slučajnih procesa, koja se kod procesa sa diskretnim parametrom pojavljuje u vezi sa sumiranjem nezavisnih slučajnih veličina, jeste klasa procesa sa nezavisnim priraštajima. Formalna definicija za realne slučajne procese sa neprekidnim parametrom je sledeća: Definicija 1.3: Realan slučajni proces {X t, t T} zove se proces sa nezavisnim priraštajima, ako su za svaki prirodan broj n i proizvoljne t 0, t 1,, t n, pri čemu je 0 = t 0 < t 1 < < t n, slučajne veličine X t0, X t1 X t0,, X tn X tn 1 nezavisne. Definicija procesa sa nezavisnim priraštajima se prirodno može proširiti i na procese sa diskretnim parametrom. Za slučajni niz (X t ) t N0, gde je N 0 = {0, 1, 2, }, kažemo da ima nezavisne priraštaje ako za svaki prirodan broj n i nenegativne cele brojeve 0 = t 0 < t 1 < < t n, slučajne veličine X t0, X t1 X t0,, X tn X tn 1 su nezavisne. 4
Dva vrlo važna procesa sa nezavisnim priraštajima, koji se iz mnogih razloga smatraju osnovnim u teoriji slučajnih procesa, jesu Puasonov 1 i Vinerov 2 proces. Puasonov proces koristi se kao osnovni model u teoriji masovnog opsluživanja, aktuarskoj matematici, itd. Vinerov proces se posebno koristi u modeliranju vremenskih serija u finansijskoj matematici. Definicija 1.4: Slučajni proces {N(t), t 0} je Puasonov proces, ako ima sledeća svojstva: 1. N(0) = 0 s.s. 2. Slučajni proces N ima nezavisne priraštaje, tj. za sve prirodne brojeve n i sve realne brojeve t 1,, t n gde je 0 = t 0 < t 1 < < t n, nezavisne su sledeće slučajne veličine: N(t k ) N(t k 1 ), k = 1,2,, n 3. Postoji neopadajuća funkcija μ: [0, + ) [0, + ), koja je neprekidna s desne strane, μ(0) = 0 i takva da za proizvoljne 0 < s < t važi N(t) N(s) Ρ(μ(t) μ(s)). Funkcija μ zove se funkcija srednje vrednosti Puasonovog procesa N. 4. Sa verovatnoćom 1 trajektorije {N(t, ω), t 0} slučajnog procesa N neprekidne su sa desne strane za t 0 i imaju levu graničnu vrednost za t > 0. Definicija 1.5: Slučajni proces {W(t), t 0} definisan na nekom prostoru verovatnoća (Ω,, P) je Vinerov proces ili Braunovo 3 kretanje, ako važi: 1. W(0) = 0 s.s. 2. Slučajan proces W ima nezavisne priraštaje. 3. Za sve realne brojeve 0 s < t < + važi W(t) W(s) N(0, t s), tj. slučajna veličina W(t) W(s) ima normalnu raspodelu sa matematičkim očekivanjem 0 i disperzijom t s. U ovoj glavi predstavili smo neke osnovne pojmove vezane za slučajne procese, sa posebnim osvrtom na slučajne procese sa nezavisnim priraštajima. Cilj ove glave bio je teorijski uvod za definisanje slučajnog lutanja, tako da su pomenute samo osnovni pojmovi vezani za slučajne procese, više o ovoj temi može se naći u literaturi [5], [2]. Za pisanje ove glave korišćena je literatura [5]. 1 Siméon Denis Poisson (1781 1840) francuski matematičar 2 Norbert Wiener (1894 1964) američki matematičar 3 Robert Brown (1773 1858) škotski botaničar 5
Slučajno lutanje kao lanac Markova U ovoj glavi opisaćemo slučajno lutanje kao lanac Markova. Nakon prve glave u kojoj smo uveli pojam slučajnog procesa i procesa sa nezavisnim priraštajima, sada nam pre uvođenja slučajnog lutanja kao lanca Markova preostaje definisanje Markovljevih lanaca. U prva dva poglavlja ove glave definisaćemo pojam Markovljevih lanaca i predstaviti neke karakteristike ovih lanaca. Treće poglavlje uvodi pojam slučajnog lutanja kao lanca Markova, pored definicije slučajnog lutanja date su i neke varijacije definicija, jer u zavisnosti od problema koji rešavamo pomoću slučajnog lutanja često se razlikuju i modeli koji te probleme opisuju, pa stoga postoji puno varijacija prilikom definisanja slučajnog lutanja. Prilikom posmatranja nekog slučajnog procesa često se pitamo:,,kolika je verovatnoća da proces koji se sada nalazi u nekom stanju nekada u budućnosti ponovo dođe u to stanje? ;,, da li proces koji se sada nalazi u stanju i može nekada preći u stanje j? Na ova pitanja dali smo odgovor u četvrtom poglavlju ove glave, kako generalno za slučajne procese, tako i kroz primere za slučajno lutanje. Poslednje poglavlje ove glave nosi odgovor na pitanje:,, koja je verovatnoća da igrač koji igra igru na sreću osvoji novčića pre nego što izgubi B novčića? Markovljevi lanci Pretpostavimo da razmatramo fizički sistem koji u diskretnim trenucima vremena, koje ćemo označiti sa 0, 1, 2,, prelazi iz jednog stanja u drugo. Pretpostavimo takođe da je fazni prostor prebrojiv i da su njegovi elementi numerisani celim brojevima, tj. elementima skupa Z. Neka je X t stanje sistema u trenutku t, koje nastaje kao rezultat slučajnih promena stanja X 0 X 1 X t. Homogen lanac Markova 4 je slučajni proces {X t, t N 0 }, koji ima Markovljevo svojstvo: p ij = P(X t+1 = j X t = i) = P(X t+1 = j X 0 = i 0,, X t 1 = i t 1, X t = i) (2.1) Formalna definicija homogenog lanca Markova glasi: Definicija 2.1: Slučajni niz {X t, t N 0 } zove se homogeni Markovljev lanac sa faznim prostorom Z, ako za svako t N 0 i sve i, j, i 0,, i t 1 Z važi jednakost (2.1). Verovatnoća p ij zove se verovatnoća prelaska sistema iz stanja i u stanje j, a matrica P = [p ij ] Z Z zove se matrica verovatnoća prelaska. Matrica verovatnoća prelaska ima sledeći oblik: p 00 p 01 p 02 p 10 p 11 p 12 p 20 p 21 p 22 P = p i0 p i1 p i2 p 03 p 04 p 13 p 14 p 23 p 24 p i3 p i4 Matrica verovatnoće prelaska je stohastička, tj. ima svojstva: 4 Андре й Андре евич Ма рков (1856 1922) ruski matematičar 6
p ij 0 za sve i, j Z j p ij = 1 za svako i Z ko verovatnoća prelaska sistema iz stanja i u stanje j zavisi od trenutka t, onda se radi o nehomogenom lancu Markova, tada verovatnoću prelaska obeležavamo sledećom notacijom: p t,t+1 ij = P(X t+1 = j X t = i) (2.2) Mi ćemo u radu, ukoliko se drugačije ne naglasi, koristiti homogene lance Markova i zvati ih kratko lanac Markova. U ovom slučaju p t,t+1 ij = p ij ne zavisi od t, pa p ij predstavlja verovatnoću da proces pređe iz stanja i u stanje j u jednom koraku. Uvedimo još oznake verovatnoća početnih stanja, tj. za verovatnoće događaja da se sistem u početnom trenutku nalazi u nekom od stanja: p i (0) = P(X0 = i), i Z (0) I za ove verovatnoće očigledno važi jednakost i p i = 1. Primer 2.1: Neka je {X t, t N 0 } lanac Markova. Kako izračunati P(X 0 = i 0,, X n = i n )? P(X 0 = i 0,, X n = i n ) = P(X n = i n X 0 = i 0,, X n 1 = i n 1 ) P(X 0 = i 0,, X n 1 = i n 1 ) Pa po definiciji Markovljevog procesa P(X n = i n X 0 = i 0,, X n 1 = i n 1 ) = P(X n = i n X n 1 = i n 1 ) = p in 1 i n Pa zamenom dobijamo P(X 0 = i 0,, X n = i n ) = p in 1 i n P(X 0 = i 0,, X n 1 = i n 1 ) Dalje se indukcijom dobija (0) P(X 0 = i 0,, X n = i n ) = p in 1 i n p in 2 i n 1 p i0 i 1 p i Verovatnoće prelaska u n koraka Pri razmatranju Markovljevih lanaca javlja se potreba i za razmatranjem verovatnoća prelaska iz jednog stanja u neko drugo stanje u većem broju koraka. Kako se potreba za računanjem ove verovatnoće javlja i prilikom izučavanja slučajnog lutanja u ovom poglavlju ćemo se pozabaviti time. Definicija 2.2: Matrica P n = [p ij (n)] Z Z čiji su članovi određeni jednakostima: 7
p ij (n) = P{X m+n = j X m = i}, i, j Z zove se matrica verovatnoće prelaska u n koraka. Očigledno je da važi P 1 = P. Za određivanje verovatnoća prelaska u većem broju koraka koristi se sledeća teorema: Teorema 2.1: Za proizvoljne prirodne brojeve m i n važe sledeće jednačine Čepmen-Kolmogorova: p ij (m + n) = p ik (m)p kj (n) k (2.3) Važe i jednakosti P m+n = P m P n i P n = P n, gde je P n oznaka za n-ti stepen matrice P. Dokaz: Za proizvoljne događaje, B, C važi jednakost: P(B C) = P( BC)P(B C). Koristeći ovu jednakost i Markovljevo svojstvo dobijamo da za verovatnoću p ij (m + n) važe jednakosti: p ij (m + n) = P(X m+n = j X 0 = i) = P(X m+n = j, X m = k X 0 = i) k = P(X m+n = j X m = k, X 0 = i) P(X m = k X 0 = i) k = P(X m+n = j X m = k) P(X m = k X 0 = i) k = p ik (m)p kj (n) k Time je dokazana jednakost (2.3), a jednakosti P m+n = P m P n i P n = P n su jednostavne posledice. (n) Označimo p i = P(Xn = i), n N. Tada za proizvoljne prirodne brojeve m i n važi jednakost: (m+n) p j = P(Xm+n = j) = P(X m+n = j, X m = i) P(X m = i) i = p i (m) pij (n) i 8
Slučajno lutanje kao lanac Markova Razmotrimo slučajno lutanje čestice koja polazi iz tačke 0 i u jedinici vremena pravi jedinični korak u pozitivnom smeru sa verovatnoćom p i u negativnom smeru sa verovatnoćom 1 p. Koraci u lutanju predstavljaju niz nezavisnih slučajnih veličina X 1, X 2, sa istom raspodelom verovatnoća: P(X k = 1) = p, P(X k = 1) = 1 p Položaj čestice posle n koraka je slučajna veličina S n = X 1 + X 2 + + X n, pri čemu je S 0 = 0 sa verovatnoćom 1. Niz S 0, S 1, S 2, je homogen Markovljev lanac. Verovatnoće prelaska određene su jednakostima: p ako je j = i + 1 p ij = { 1 p ako je j = i 1 0 ako je j {i 1, i + 1} Početna raspodela verovatnoće po stanjima je data sa p 0 (0) = 1, pi (0) = 0 za i 0. Verovatnoća p ij (n) prelaska iz tačke i u tačku j u n koraka lako se određuje. Neka je čestica pri kretanju iz i do j napravila x koraka u pozitivnom smeru i y koraka u negativnom smeru. Tada je x + y = n i x y = j i, odakle dobijamo da je x = (n + j i)/2, y = (n j + i)/2. Dakle broj n + j i mora biti paran. Za p ij (n) dobijamo: p ij (n) = 0 ako je n + j i neparan broj, ako je n + j i paran: n p ij (n) = ( (n + j i)/2 ) p(n+j i)/2 (1 p) (n j+i)/2 Postoje brojne varijacije definicija slučajnog lutanja koje se često koriste za definisanje modela pri opisivanju nekog prirodnog fenomena. Možemo na primer promeniti korak slučajnog lutanja pa reći da je: P(X k = u) = p, P(X k = u) = 1 p u 0,1 (2.4) Ovo slučajno lutanje se lako transformiše u slučajno lutanje kako smo ga mi definisali i zadržava većinu osobina koje naše slučajno lutanje ima. Još jedna od mogućnosti je da slučajno lutanje ima ograničen fazni prostor, tada govorimo o slučajnom lutanju sa jednom ili dve barijere. Barijere mogu biti, reflektujuće, apsorbujuće i delimično reflektujuće (kasnije će biti objašnjeno šta svaki od ovih termina predstavlja). Takođe možemo pretpostaviti da je Markovljev lanac S n nehomogen, tada su verovatnoće prelaska date sa: P(X k = 1) = p k, P(X k = 1) = 1 p k = q k Specijalan slučaj slučajnog lutanja je i slučajno lutanje sa pozitivnom verovatnoćom ostajanja u istom stanju. ko se proces u trenutku n nalazi u stanju i, u trenutku n + 1 proces se može naći u stanju i 1, i + 1 ili ostati u stanju i. 9
Primer 2.2: Moguće je kombinovati ove osobine. ko uzmemo da fazni prostor čine samo nenegativni prirodni brojevi, matrica verovatnoće prelaska nehomogenog slučajnog lutanja sa pozitivnom verovatnoćom ostajanja u istom stanju ima formu: r 0 p 0 0 0 q 1 r 1 p 1 0 P = 0 q 2 r 2 p 2 0 0 q i r i p i (2.5) Gde je p i > 0, q i > 0, r i > 0 i p i + q i + r i = 1, i = 1,2, p 0 0, r 0 0, r 0 + p 0 = 1. ko je S n = i, tada za i 1 važi: P(S n+1 = i + 1 S n = i) = p i ; P(S n+1 = i 1 S n = i) = q i ; P(S n+1 = i S n = i) = r i Termin slučajno lutanje dobio je to ime jer podseća na kretanje čoveka koji se slučajno kreće jedan korak napred, odnosno jedan korak nazad. Primer 2.3: Ovim procesom može se opisati bogatstvo igrača koji igra igru protiv beskonačno bogatog protivnika (kuće). Pretpostavimo da igrač u početku ima bogatstvo k novčića, i neka je verovatnoća da u sledećem koraku osvaja novčić p k, a verovatnoća da izgubi novčić q k = 1 p k (k 1) (izbor igre može zavisiti od njegovog bogatstva u tom trenutku, pa zbog toga verovatnoće nisu jednake u svakom trenutku). Ovde je r 0 = 1 jer igrač kada izgubi sav novac ne može preći ni u jedno drugo stanje. Dakle proces {S t, t N 0 }, gde S t predstavlja bogatstvo igrača u trenutku t je slučajno lutanje. Ovaj proces je takođe poznat i kao propast kockara. Najčešće se posmatra slučaj p k = p, q k = 1 p = q, za sve k 1 i r 0 = 1, odnosno kada igrač svaki put igra istu igru. ko je p > q kažemo da igrač ima prednost. ko je p < q tada prednost ima kuća. ko je p k = q k = 1 kažemo da je igra fer. 2 ko kuća (igrač B) takođe startuje sa ograničenim bogatstvom Y, dok igrač ima ograničeno startno bogatstvo X (neka je X + Y = a), tada ponovo možemo razmatrati bogatstvo igrača pomoću slučajnog lutanja S n. Sada su moguća stanja u kojima se slučajni proces može naći 0,1,, a. Bogatstvo igrača B u trenutku n je a S n. ko ostavimo mogućnost nerešenog ishoda, odnosno da u nekoj igri ni jedan igrač ne pobedi, tada matrica verovatnoće prelaska ima oblik: 1 0 0 0 q 1 r 1 p 1 0 P = 0 q 2 r 2 p 2 0 q a 1 r a 1 p a 1 0 0 0 1 (2.6) 10
Dakle p i predstavlja verovatnoću uvećanja bogatstva igrača za 1 novčić, q i predstavlja verovatnoću smanjenja bogatstva igrača za jedan novčić, odnosno verovatnoću povećanja bogatstva igrača B za 1 novčić, dok r i predstavlja verovatnoću nerešenog ishoda. Kažemo da je igrač propao ukoliko je proces došao u stanje 0, odnosno da je igrač B propao ukoliko je proces došao u stanje a. Slučajna lutanja nisu korisna samo prilikom simulacije kockanja, ona se, između ostalog, mogu primeniti i u fizičkim procesima, prilikom opisivanja difuznog kretanja čestice. Prilikom kretanja, čestice se sudaraju i tako dobijaju slučajne impulse, koji menjaju pravac njihovog kretanja, međutim ovde se radi o procesima sa neprekidnim vremenom, koji se mogu aproksimirati slučajnim lutanjem, ukoliko buduća pozicija zavisi samo od trenutne pozicije, odnosno ako je proces lanac Markova. Diskretna verzija Braunovog kretanja je simetrično slučajno lutanje. Pod simetričnim slučajnim lutanjem podrazumevamo slučajno lutanje na skupu celih brojeva sa verovatnoćom prelaska definisanom na sledeći način: p ako j = i + 1 p ako j = i 1 p ij = { r ako j = i 0 inače Gde je p > 0, r 0 i 2p + r = 1. Po konvenciji, simetrično slučajno lutanje podrazumeva slučaj kada je r = 0, p = 1 2. Vratimo se sada na nehomogeno slučajno lutanje sa pozitivnom verovatnoćom ostajanja u istom stanju čiji fazni prostor čine nenegativni celi brojevi (primer 2.2). ko u matrici (2.5) stavimo da je p 0 = 1, a time i r 0 = 0 imamo slučaj gde se nula ponaša kao reflektivna barijera. Kada čestica dostigne stanje nula, u sledećem koraku se automatski vraća u stanje 1. Ovo odgovara fizičkim procesima sa elastičnim zidom u nuli, od koga se čestice odbijaju. ko je p 0 = 0 u r 0 = 1 tada se stanje nula ponaša kao apsorbujuća barijera, jednom kada čestica dostigne stanje nula, ona u tom stanju ostaje zauvek. ko je p 0 > 0 i r 0 > 0, tada je 0 delimično reflektivna barijera. Kada se slučajno lutanje može naći u konačnom broju stanja 0,1,..., a, tada svako od stanja 0 i a može biti reflektujuće, apsorbujuće ili delimično reflektujuće. U slučaju kada posmatramo bogatstvo kockara gde kuća ima ograničeno bogatstvo, govorimo o slučajnom lutanju sa dve apsorbujuće barijere (0 i a). 11
Primer 2.4: Klasičan matematički model difuznog kretanja je čuveni Ehranfetsov 5 model, slučajno lutanje sa konačnim brojem stanja i reflektujućim barijerama. Skup stanja je i = a, a + 1,..., a, a verovatnoće prelaska određene su jednakostima: a i ako j = i + 1 2a p ij = a + i ako j = i 1 2a { 0 inače Fizička interpretacija ovog modela je sledeća. Zamislimo da dve kutije sadrže ukupno 2a loptica. Pretpostavimo da prva kutija označena sa sadrži k loptica, a da druga kutija, označena sa B sadrži 2a k loptica. Biramo lopticu na slučajan način, tako da svaka od 2a loptica ima podjednaku verovatnoću izbora i premeštamo je iz kutije u kojoj se nalazi u drugu kutiju. Napomenimo još da pored jednodimenzionalnih postoje i slučajna lutanja u više dimenzija. Simetrično slučajno lutanje u n dimenzija, definisano na prostoru E n, ima za skup stanja n-torke k = (k 1, k 2,..., k n ), gde su k 1, k 2,..., k n prirodni brojevi. Verovatnoće prelaska određene su jednakostima: 1 p kl = { 2n n ako l i k i = 1 i=1 0 inače Ovakva slučajna lutanja nisu tema ovog rada, pa stoga dalje o njima neće biti govora. Primer 2.5: Neka je S n slučajno lutanje, tako da važi P(S n+1 = i + 1 S n = i) = p ; P(S n+1 = i 1 S n = i) = q, 0 < p q < 1, p + q = 1. Pronađimo verovatnoću v 0i = P(S n = i za bar jedno n N S 0 = 0), i N. U skladu sa notacijom iz primera je v 01 = P(S n = 1 za bar jedno n N S 0 = 0), važi: v 01 = p + qv 02 (2.7) Za prethodnu jednakost koristili smo svojstvo homogenosti lanca Markova: v 11 = P(S n = 1 za bar jedno n N S 0 = 1) = P(S n = 2 za bar jedno n N S 0 = 0) = v 02 Takođe zbog homogenosti važi: Važi: v 12 = P(S n = 2 za bar jedno n N S 0 = 1) = P(S n = 1 za bar jedno n N S 0 = 0) = v 01 v 02 = v 01 v 01 (2.8) 5 Paul Ehrenfest (1880 1933) austrijski fizičar 12
Iz jednačina (2.7) i (2.8) dobijamo: Rešavanjem ove kvadratne jednačine dobijamo: Dalje je: v 01 = p + qv 2 01 = v 01 p + q ± (p q) 2q i v 0i = v 01 = { (p q ) i p p < q = { q 1 p = q p < q 1 p = q Klasifikacija stanja Definicija 2.3: Neka je X 0, X 1, X 2, Markovljev lanac. Stanje i je povratno, ako je: P(X n = i, za neko n 1 X 0 = i) = 1 tj. ako verovatnoća povratka sistema u stanje i pri uslovu da je on u početnom trenutku u tom stanju, jednaka 1. Stanje i je prolazno ako važi stroga nejednakost P(X n = i, za neko n 1 X 0 = i) < 1. Prirodno se postavlja pitanje određivanja potrebnog i dovoljnog uslova da je neko stanje i povratno. U tom cilju uvešćemo još neke oznake i dokazati jednu pomoćnu teoremu. Neka je v ij (n) verovatnoća događaja da sistem prvi put dođe u stanje j u trenutku n, ako je u početnom trenutku bio u stanju i, tj. v ij (n) = P(X 1 j,, X n 1 j, X n = j X 0 = i) Tada je verovatnoća događaja da će sistem bilo kada doći u stanje j, ako je i početno stanje data sa v ij = v ij (n) Po definiciji smatramo da je v ij (0) = 0 za sve i i j. Definišemo generatorne funkcije n=1 P ij (s) = p ij (n)s n n=0 V ij (s) = v ij (n)s n = v ij (n)s n n=0 n=1 (2.9) (2.10) 13
gde je Teorema 2.2: Važe sledeće jednakosti p ij (0) = δ ij = { 1, ako je i = j 0, ako je i j P ii (s) = 1 + V ii (s)p ii (s) (2.11) P ij (s) = V ij (s)p jj (s), ako je i j (2.12) Dokaz: Neka su i i j fiksirana stanja. Za svako n N označimo n = {X n = j}, B n = {X 1 j,, X n 1 j, X n = j} Tada važi n = n B 1 n B n, pri čemu su n B 1,, n B n međusobno disjunktni događaji, pa dobijamo p ij (n) = P(X n = j X 0 = i) = P( n B k X 0 = i) n n k=1 = P(B k X 0 = i) P( n B k, X 0 = i) k=1 pa koristeći Markovljevo svojstvo, dobijamo: pa je: n = P(B k X 0 = i) P( n X k = j) k=1 Pa koristeći (2.9), (2.10) i (2.13): n p ij (n) = v ij (k)p jj (n k) k=1 (2.13) V ij (s)p jj (s) = v ij (n)s n p jj (n)s n n=1 n=0 = (v ij (1)p jj (n 1) + + v ij (n 1)p jj (1) + v ij (n)p jj (0)) n=1 = p ij (n) s n P ij (s), ako je i j = { P ii (s) 1, ako je i = j n=1 s n 14
Posledica 2.1: Stanje i je povratno ako i samo ako je p ii (n) = + n=1 (2.14) Dokaz: Jednakost (2.11) može se zapisati u obliku P ii (s)(1 V ii (s)) = 1. Neka je i povratno stanje. Tada je n=1 v ii = v ii (n) = 1. Koristeći belovu teoremu dobijamo da je V ii (1) = lim V ii (s) = v ii (n) = 1 s 1 Sada iz jednakosti P ii (s)(1 V ii (s)) = 1 pri s 1 dobijamo da P ii (s), tj. se dokazuje i obrnuto tvrđenje. Posledica 2.2: (1.) ko je n=1 p jj (n) = i v ij > 0 za neko i, onda je p ij (n) = (2.) ko je n=1 p jj (n) <, onda za svako i važi n=1 p ij (n) <. n=1 n=1. n=1 p ii (n) =. Slično n=1 n=1, Dokaz: Na osnovu belove teoreme iz jednakosti (2.12) dobijamo da je v ij p jj (n) = p ij (n) pa navedena tvrđenja lako slede. Napomena: belova teorema koja se ovde pominje glasi: ko je a n 0 za n N 0 i ako red G(s) = n=0 a n s n konvergira za s < 1, onda važi lim G(s) = n=0 a n, nezavisno od toga da li je zbir n=0 a n s 1 konačan ili beskonačan. Označimo sa τ j trenutak prvog dolaska sistema u stanje j, tj. τ j = min {n 1, X n = j} Po definiciji smatramo da je τ j =, ako sistem nikada ne dostigne stanje j. Pri tome P(τ i = X 0 = i) > 0 važi ako i samo ako je stanje i prolazno i u tom slučaju smatramo da je E(τ i X 0 = i) =. Definicija 2.4: Srednje vreme čekanja povratka stanja i definiše se sledećim jednakostima: m i = E(τ i X 0 = i) = nv ii (n) ako je i povratno stanje, n=1 (2.15) m i = E(τ i X 0 = i) = ako je i prolazno stanje. (2.16) 15
Primetimo da zbir koji figuriše na desnoj strani u jednakosti (2.15) može biti i konačan i beskonačan. Definicija 2.5: Neka je {X t, t N 0 } Markovljev lanac sa skupom stanja Z. Stanje j Z je dostižno iz stanja i Z, ako je v ij > 0. U tom slučaju kažemo da i komunicira sa j. ko je v ij > 0 i v ji > 0 onda kažemo da stanja i i j međusobno komuniciraju. Dakle, stanje j je dostižno iz stanja i ukoliko je verovatnoća da se iz stanja i može preći u stanje j u konačnom broju promena stanja veća od nule. Dok stanja i i j komuniciraju, ukoliko je svako od ovih stanja dostižno iz onog drugog, tada pišemo i j. ko stanja i i j ne komuniciraju, tada važi bar jedna od sledećih jednakosti: p ij (n) = 0 za svako n 0 p ji (n) = 0 za svako n 0 Definicija 2.6: Neka je E podskup skupa svih stanja. Skup E je zatvoren ako je p ij = 0, za svako i E i j E, tj. ako je verovatnoća nula da se iz stanja koje pripada skupu E pređe u stanje koje nije u skupu E. ko zatvoren skup sadrži samo jedno stanje, onda se taj skup i to stanje zovu apsorbujućim. Skup E je nerazloživ ako proizvoljna stanja i, j E međusobno komuniciraju. Relacija i j je relacija ekvivalencije. Sva stanja možemo podeliti u klase ekvivalencije, tako da sva stanja koja komuniciraju međusobno pripadaju istoj klasi ekvivalencije. ko je verovatnoća da iz jedne klase pređemo u drugu veća od nule, tada je verovatnoća da iz te druge klase pređemo u prvu jednaka 0, u suprotnom bi ove dve klase zajedno činile jednu. Kažemo da je lanac Markova nesvodljiv ukoliko sva stanja pripadaju istoj klasi. Primer 2.6: Posmatrajmo slučajno lutanje sa dve apsorbujuće barijere i sledećom matricom prelaska: 1 0 0 0 0 q 0 p 0 0 0 q 0 p 0 P = 0 0 q 0 p 0 0 0 1 Imamo tri klase {0}, {1,2,, a 1} i {a}. U ovom slučaju, moguće je dostići prvu klasu i treću klasu iz druge klase, ali se iz prve klase i treće klase nije moguće vratiti u drugu klasu. Definicija 2.7: Povratno stanje i je nulto ako je m i =, tj. ako je beskonačno vreme čekanja povratka stanja i pri uslovu da se u početnom trenutku sistem nalazi u tom stanju. Povratno stanje i je nenulto ako je m i <. Definicija 2.8: Najveći zajednički delilac d(i) brojeva koraka posle kojih je moguć povratak u stanje i zove se period stanja i: 16
d(i) = NZD{n: p ii (n) > 0} Stanje i je periodično ako je d(i) > 1, odnosno neperiodično ako je d(i) = 1. Primer 2.7: ko ne govorimo o slučajnom lutanju sa pozitivnom verovatnoćom ostajanja u istom stanju (odnosno ako je r = 0), tada svako stanje ima period 2. Jer je p ii (2n + 1) = 0, p ii (2n) = ( 2n n ) pn q n = (2n)! n!n! pn q n >0. Kod slučajnog lutanja sa pozitivnom verovatnoćom ostajanja u istom stanju, važi r > 0, pa svako stanje ima period 1. Primer 2.8: Posmatrajmo slučajno lutanje sa skupom stanja Z, gde je p i,i+1 = p, p i,i 1 = q = 1 p Ovde je p ii (2n + 1) = 0, n = 0,1,2,, i p ii (2n) = ( 2n n ) pn q n = (2n)! n! n! pn q n (2.17) Pozivamo se sada na Stirlingovu formulu n! ~n n+1 2e n 2π, n (2.18) Pa iz (2.17) i (2.18) imamo: p ii (2n)~ (pq)n 2 2n πn = (4pq)n πn, n Kako je pq = p(1 p) 1 4, gde jednakost važi ako je p = q = 1 2, to je za p = q = 1 2 p ii(2n)~ 1 n=1 n=1 p ii (2n) =. Dakle u ovom slučaju su sva stanja povratna. ko je p 1 onda je 4pq < 1 pa je 2 p ii (2n) <, a sva stanja su prolazna. Napomenimo da ako svaki element nekog skupa stanja ima neko svojstvo, onda kažemo da taj skup stanja ima to svojstvo. Na primer, skup povratnih stanja E je nulti, ako su sva stanja iz E nulta, skup stanja E je periodičan, ako su sva stanja iz E priodična, itd. ko je čitav skup stanja Z nerazloživ, onda kažemo da je Markovljev lanac nerazloživ. Teorema 2.3: Neka stanja i i j međusobno komuniciraju. Stanje i je prolazno (povratno) ako i samo ako je stanje j prolazno (povratno). πn pa je 17
Dokaz: ko stanja i i j međusobno komuniciraju, onda postoje prirodni brojevi m i n, takvi da važi p ij (m) = α > 0 i p ji (n) = β > 0. Na osnovu jednačina Čepmen-Kolmogorov dobijamo da je p ii (m + k + n) p ij (m)p jj (k)p ji (n) = αβp jj (k) (2.19) p jj (m + k + n) p ji (m)p ii (k)p ij (n) = αβp ii (k) (2.20) ko sumiramo nejednakosti (2.19) i (2.20) po k, dobijamo da redovi k p ii (k) i k p ii (k) istovremeno konvergiraju ili divergiraju. Tvrđenje teoreme sada jednostavno dobijamo ako primenimo posledicu 2.1. Teorema 2.4: Skup stanja Z može se jednoznačno predstaviti u obliku Z = E 0 E 1 E 2 Gde je E 0 skup prolaznih stanja, a E 1, E 2,... su nerazloživi zatvoreni skupovi povratnih stanja. Dokaz: Relacija razbija skup svih povratnih stanja na međusobno disjunktne klase ekvivalencije E 1, E 2... Dovoljno je dokazati da su ove klase zatvorene u smislu definicije 2.6. Pretpostavimo suprotno: neka za neko k i stanje i E k i j E k važi p ij > 0. Pošto i i j nisu u istoj klasi, to ova stanja ne komuniciraju i j nije dostižno iz i. Zato je: P ( {X n i} X 0 = i) P{X 1 = j X 0 = i} = p ii > 0 n=1 Što protivreči pretpostavci da je stanje i povratno. naliza prvog koraka Posmatrajmo slučajno lutanje za koje je P(X k = 1) = P(X k = 1) = 1 2, S 0 = 0. ko se vratimo na primer bogatstva igrača, u ovom slučaju igrač igra fer igru, sa istom verovatnoćom dobitka i gubitka. Sada hoćemo da izračunamo verovatnoću da igrač osvoji novčića pre nego što izgubi B novčića. Početno bogatstvo igrača je 0 novčića, igrač se može zadužiti, odnosno njegovo bogatstvo može otići,,u minus. Neka je τ prvi trenutak u kojem slučajno lutanje S n dostigne ili B: τ = min{n 0: S n = ili S n = B} Dakle, u trenutku τ je S τ = ili je S τ = B, hoćemo da izračunamo verovatnoću P(S τ = S 0 = 0). Do rešenja ovog problema možemo doći na nekoliko načina, jedan od osnovnih je analiza prvog koraka. Prednost ovog načina je činjenica da je sasvim elementaran, u smislu da ne zahteva nikakvu naprednu matematiku, pored toga, analiza prvog koraka je jedan od osnovnih metoda za rešavanje problema računanja verovatnoća kod slučajnih lutanja. naliza prvog koraka zasniva se na posmatranju bogatstva 18
igrača nakon jedne runde igre. Nakon jedne runde bogatstvo igrača može se povećati ili smanjiti za 1 novčić, u našem slučaju verovatnoća oba ishoda je jednaka 1. Posmatrajmo sledeću rekurzivnu funkciju: 2 f(k) = P(S τ = S 0 = k), gde je B k U ovoj notaciji f(0) je verovatnoća dobijanja novčića, pre nego što izgubimo B novčića. Važi sledeća rekurzivna jednačina: f(k) = 1 2 f(k 1) + 1 2 f(k + 1) za B < k < (2.21) Sa vrednostima u krajnjim tačkama f() = 1 i f( B) = 0. ko stavimo f( B + 1) = a, zamenom vrednosti za f( B) i f( B + 1) u jednačinu (2.21) dobijamo f( B + 2) = 2a, pa daljim ubacivanjem f( B + 1) i f( B + 2) u jednačinu (2.21) dobijamo f( B + 3) = 3a, ovim postupkom dobijamo f( B + k) = ka za sve 0 k + B. Iz f() = 1, dobijamo a = 1/( + B). Time dobijamo: P(S n dostiže pre nego B S 0 = 0) = B + B Prilikom računanja prethodne verovatnoće pretpostavili smo da je vreme zaustavljanja, τ konačno. Ovo i nije toliko očigledna činjenica, pa ćemo je stoga sada dokazati. Posmatrajmo slučaj da igrač dobije + B puta zaredom. ko igrač već nije stigao do B ovim nizom će sigurno stići do. Ovakav niz ima pozitivnu verovatnoću p = 2 B. ko E k predstavlja događaj da igrač dobije novčić u svakoj rundi intervala [k( + B), (k + 1)( + B) 1], tada su E k nezavisni događaji, i τ > n( + B) povlači da se E k, 0 k n nijednom nije ostvarilo. Nalazimo: P(τ > n( + B) S 0 = 0) P ( n 1 c E k k=0 ) = (1 p) n (2.22) Kako je: P(τ = S 0 = 0) P(τ > n( + B) S 0 = 0) (2.23) Za sve n, vidimo iz jednačina (2.22) i (2.23) da je P(τ = S 0 = 0) = 0, kao što smo i želeli da pokažemo. Neka je I(D) indikator događaja D, tada za svaku slučajnu veličinu Z, Z 0, Z Z, važi: 19
Z = I(Z k) k=1 ko uzmemo očekivanje od obe strane dobijamo jednačinu: E(Z) = P(Z k) U cilju da dokažemo da je E(τ d ) < možemo koristiti sledeće procene: k=1 τ d I[(k 1)( + B) < τ k( + B)] k d ( + B) d I[(k 1)( + B) < τ] ko sumiramo po k imamo: τ d k d ( + B) d I[( + B)(k 1) < τ] k=1 Sada uzimanjem očekivanja od obe strane dobijamo: E(τ d ) k d ( + B) d (1 p) k 1 < k=1 Sada kada znamo da τ ima konačno očekivanje, postavlja se pitanje kako ga izračunati. I ovo možemo izračunati koristeći analizu prvog koraka. Posmatrajmo funkciju: g(k) = E(τ S 0 = k) Nakon jedne runde igre dve stvari će se desiti: bogatstvo igrača će se promeniti i jedinica vremena će se povećati. Rekurzivna jednačina koju sada dobijamo razlikuje se od rekurzivne jednačine za verovatnoću da igrač dobije novčića pre nego što izgubi B novčića samo po tome što se pojavljuje dodatna konstanta: g(k) = 1 2 g(k 1) + 1 2 g(k + 1) + 1 za B < k < (2.24) Dalje, kako je vreme potrebno da se dostigne ili B nula, ukoliko je S 0 = ili je S 0 = B, to su granični uslovi: g( B) = 0 i g() = 0 Da bi rešili ovu rekurzivnu jednačinu uvodimo sledeći operator: primenom ovog operatora dva puta dobijamo: g(k 1) = g(k) g(k 1) 2 g(k 1) = g(k + 1) 2g(k) + g(k 1) 20
Rekurzivna jednačina (2.24) može se zapisati kao: 1 2 2 g(k 1) = 1 za B < k < (2.25) Dakle funkcija g: N R ima konstantan drugi izvod. Realna funkcija sa konstantnim drugim izvodom je kvadratni polinom. Dalje, jednačina (2.25) nam sugeriše da je koeficijent uz k 2 jednak 1, dok nam granični uslovi sugerišu da su nule ovog polinoma B i. Kada se sve ovo uzme u obzir dobijamo polinom g(k) = (k )(k + B) Zamenom ovog polinoma u jednačinu (2.24) dobijamo da on jeste rešenje rekurzivne jednačine. Najzad računamo očekivanje: E(τ S 0 = 0) = B Šta kada igra nije fer? Prilikom modelovanja igara na sreću uglavnom je verovatnoća dobitka novčića manja od verovatnoće gubitka novčića. Odnosno posmatraćemo uopšteniji problem, kada je P(X k = 1) = p i P(X k = 1) = q = 1 p, gde je p q, S 0 = 0. Da bi odredili verovatnoću da igrač pri ovim uslovima osvoji novčića pre nego što izgubi B novčića ponovo koristimo analizu prvog koraka. Dobijamo sledeću rekurzivnu jednačinu: f(k) = pf(k + 1) + qf(k 1) I ova jednačina se najlakše rešava uvođenjem operatora. Prvo primetimo da je s obzirom na p + q = 1 prethodna jednačina ekvivalentna: 0 = p{f(k + 1) f(k)} q{f(k) f(k 1)} Na osnovu ove jednačine nalazimo rekurzivnu jednačinu za Δf(k): Pa iz jednačine (2.26) važi: Δf(k) = ( q p ) Δf(k 1) (2.26) Δf(k + j) = ( q p ) j Δf(k) ko postavimo α = Δf( B), i iskoristimo činjenicu f( B) = 0 dobijamo: k+b 1 k+b 1 f(k) = Δf(j B) = α ( q p ) j j=0 Zamenom k = u jednačinu (2.27) dobijamo: j=0 ( q p )k+b 1 = α ( q p ) 1 (2.27) 21
( q p )+B 1 1 = f() = α ( q p ) 1 Odatle je: ( q p )B 1 P(S n dođe u pre nego u B S 0 = 0) = ( q p )+B 1 Izračunajmo sada očekivano vreme zaustavljanja, odnosno broj rundi potreban da igračevo bogatstvo dostigne ili da padne do B, za ovaj slučaj kada je p q. Neka je sa g(k) označeno očekivano vreme pre nego što slučajno lutanje dođe do stanja ili B, ako je na početku u stanju k, tada je jednačina dobijena analizom prvog koraka sledeća: Što je ekvivalentno sa: g(k) = pg(k + 1) + qg(k 1) + 1 Δg(k) = ( q p ) Δg(k 1) + 1 (2.28) gde su granične vrednosti iste kao u slučaju p = q = 1 2 : g( B) = 0 i g() = 0 Da bi rešili jednačinu (2.28), prvo tražimo jedno rešenje a zatim rešavamo homogenu jednačinu. Pretpostavimo da postoji rešenje oblika ck, nakon ubacivanja ove vrednosti u jednačinu ispostavlja se da je pretpostavka tačna te da je jedno od rešenja ove jednačine g 0 (k) = k (q p). Prilikom dosadašnjeg rada pokazali smo da je a + b ( q p )k rešenje homogenog sistema (2.24) pa je rešenje sistema (2.28) oblika: g(k) = k q p + α + β (q p ) k Dva granična uslova daju nam par jednačina koje možemo koristiti da izračunamo α i β. Dobijamo: E(τ S 0 = 0) = B q p + B q p 1 ( q p )B 1 ( q p )+B 22
U ovoj glavi posmatrali smo slučajno lutanje kao lanac Markova, to je jedan od pristupa problemu slučajnog lutanja. Slučajno lutanje možemo tretirati i na druge načine (kao graf, martingal ). U sledećoj glavi posmatraćemo slučajno lutanje kao martingal. Za ovu glavu korišćena je literatura [2], [3], [5], osim za poslednje poglavlje za koji je korišćena literatura[1]. 23
Slučajno lutanje kao martingal U prethodnoj glavi definisali smo slučajno lutanje kao lanac Markova, tada smo pomenuli da to nije jedini način na koji slučajno lutanje možemo posmatrati i da se slučajno lutanje može posmatrati, između ostalog i kao martingal. U ovoj glavi posmatraćemo slučajno lutanje kao martingal. U samoj definiciji martingala javlja se pojam uslovnog matematičkog očekivanja, stoga ćemo u prvom poglavlju uvesti pojam uslovnog matematičkog očekivanja i uslovne verovatnoće u odnosu na neku σ-algebru. U drugom poglavlju opisaćemo slučajno lutanje kao martingal, dok ćemo u trećem poglavlju dokazati još neke osobine slučajnog lutanja posmatrajući ga kao martingal. Uslovno matematičko očekivanje Neka je (Ω,, P) prostor verovatnoća, F σ-podalgebra σ-algebre i X: Ω R slučajna veličina. Pod proširenom slučajnom veličinom podrazumevamo funkciju Y: Ω R { }, takvu da je Y 1 (B) za svaki Borelov skup B B. Definicija 3.1: Uslovno matematičko očekivanje nenegativne slučajne veličine X u odnosu na σ-algebru F je nenegativna proširena slučajna veličina E(X F), koja ima sledeća svojstva: 1. E(X F) je slučajna veličina koja je F-merljiva. 2. Za svaki događaj F važi jednakost: XdP = E(X F)dP Proizvoljnu slučajnu veličinu X možemo predstaviti kao X = X + X, gde su X + i X nenegativne slučajne veličine, definisane na sledeći način: 24 X + = max{x, 0}, X = max { X, 0} Definicija 3.2: Uslovno matematičko očekivanje E(X F) slučajne veličine X u odnosu na σ-algebru F definiše se ako je E(X + F) < + s.s. ili E(X F) < + s.s. formulom: E(X F) = E(X + F) E(X F) pri čemu se na skupu (verovatnoće 0) elementarnih događaja za koje važi jednakost E(X + F) = E(X F) = +, razlika E(X + F) E(X F) definiše na proizvoljan način, na primer, jednaka je 0. Definicija 3.3: Neka je definisano uslovno matematičko očekivanje E(X F). Uslovna disperzija D(X F) slučajne veličine X u odnosu na σ-algebru F je slučajna veličina data sa: D(X F) = E((X E(X F)) 2 F) Definicija 3.4: Neka Β F. Uslovno matematičko očekivanje E(I Β F) zove se uslovna verovatnoća događaja Β u odnosu na σ-algebru F, F, a označava se sa P(Β F).
Iz definicije uslovnog matematičkog očekivanja i uslovne verovatnoće događaja u odnosu na σ-algebru sledi da je za svaki fiksirani događaj Β F uslovna verovatnoća P(Β F) slučajna veličina koja ima sledeća dva svojstva: 1. P(Β F) je F-merljiva. 2. Za svaki događaj Α F važi P(B) = P(Β F)dP. Α Definicija 3.5: Neka je X slučajna veličina i F Y σ-algebra generisana slučajnom veličinom Y. ko je definisano uslovno matematičko očekivanje E(X F Y ), onda se ono označava sa E(X Y) i zove se uslovno matematičko očekivanje slučajne veličine X u odnosu na Y. Uslovna verovatnoća P(Β F Y ) označava se sa P(B Y) i zove uslovna verovatnoća događaja B u odnosu na Y. Teorema 3.1: Neka je D = {D 1, D 2, } konačno ili prebrojivo razbijanje sigurnog događaja Ω sa atomima D i, P(D i ) > 0, i = 1,2, i neka je F = σ(d) σ-algebra generisana razbijanjem D. 1. ko je X slučajna veličina za koju je definisano matematičko očekivanje E(X), onda važi jednakost: E(X F) = E(XI D i ) skoro sigurno na D P(D i ) i. n 2. ko je X = j=1 x j I j, diskretna slučajna veličina koja uzima konačno mnogo vrednosti, pri čemu je { 1, 2,, n } takođe razbijanje sigurnog događaja onda važi jednakost: n E(X F)(ω) = j=1 x j P( j D i ) skoro sigurno na D i. Dokaz ove teoreme moguće je pronaći u knjizi: Pavle Mladenović, Verovatnoća i statistika, koja se u spisku literature nalazi pod brojem [5]. Neka je (Ω,, P) prostor verovatnoća, F σ-podalgebra σ-algebre, a X i Y slučajne veličine za koje postoje E(X) i E(Y). Sledeće teoreme daju svojstva uslovnog matematičkog očekivanja. Teorema 3.2: Dokaz: 1. ko je C konstanta i X = C skoro sigurno, onda je E(X F) = C skoro sigurno. 2. ko je X Y skoro sigurno, onda je E(X F) E(Y F) skoro sigurno. 3. E(X F) E( X F) skoro sigurno. 4. E(aX + by F) = ae(x F) + be(y F) skoro sigurno, gde a, b R. 5. Neka je F 0 = {, Ω} trivijalna σ-algebra. Tada je E(X F 0 ) = E(X) skoro sigurno. 1. Konstanta je merljiva u odnosu na σ-algebru F, a jednakost: Važi za sve F, jer je X = C skoro svuda. XdP = CdP 2. ko je X Y skoro svuda, onda za svaki F važi. 25
XdP YdP pa sledi da je: E(X F) dp E(Y F) dp, F Neka je B = {ω X(ω) > Y(ω)}. Tada je: B E(Y F)dP B E(X F) dp B E(Y F)dP odatle sledi da je P(B) = 0. 3. S obzirom da je X X X, svojstvo sledi iz svojstva 2. 4. ko F, onda važi: odakle sledi navedeno svojstvo. (ax + by)dp = axdp = ae(x F) + bydp dp + be(y F) dp = (ae(x F) + be(x F))dP 5. Svojstvo sledi iz činjenice da je E(X) merljiva funkcija u odnosu na trivijalnu σ-algebru i činjenice da za {Ω, } važi jednakost XdP = E(X)dP. Teorema 3.3: Dokaz: 1. E(X ) = X skoro sigurno. 2. Teleskopsko svojstvo: ko su F 1 i F 2 σ-algebre za koje važi F 1 F 2, onda skoro sigurno važi jednakost: 3. E(E(X F)) = E(X). E(E(X F 1 ) F 2 ) = E(E(X F 2 ) F 1 ) = E(X F 1 ) 4. Neka slučajna veličina X ne zavisi od σ-algebre F, tj. ne zavisi od indikatora I B za svaki B F. Tada skoro sigurno važi jednakost: 1. Pošto je X -merljiva funkcija i E(X F) = E(X) 26
to sledi da je E(X ) = X skoro sigurno. 2. Neka je F 1. Tada važi: kako je F 1 F 2, to važi F 2 i XdP = XdP za sve F, E(X F 1 )dp = XdP Iz ovih jednakosti sledi da za svaki F 1 važi: E(E(X F 2 ) F 1 )dp = E(X F 2 )dp = XdP odakle sledi: E(X F 1 )dp = E(E(X F 2 ) F 1 )dp E(X F 1 ) = E(E(X F 2 ) F 1 ) s. s. ko F 2, onda na osnovu definicije uslovnog matematičkog očekivanja dobijamo: E(E(X F 2 ) F 1 )dp = E(X F 2 )dp Kako je slučajna veličina E(X F 1 ) F 1 -merljiva i F 1 F 2, to je E(X F 1 ) i F 2 -merljiva. Odatle sledi da je: E(X F 1 ) = E(E(X F 1 ) F 2 ) s. s. 3. Svojstvo direktno sledi iz teoreme 3.2, svojstvo 5. i jednakosti: E(E(X F 2 ) F 1 ) = E(X F 1 ) ako u toj jednakosti stavimo da je F 1 = {, Ω} i F 2 =. 4. Pošto je E(X) F-merljiva funkcija (u pitanju je konstanta funkcija) i za svaki događaj F važi: jer je E(XI ) = E(X)E(I ), to tvrđenje sledi. XdP = E(X)dP 27
Slučajno lutanje kao martingal Teorija martingala pojavila se kao sredstvo za dokazivanje da ne postoji siguran način zarade kockanjem ukoliko je opklada fer. Uspeh ove teorije nadmašio je korene i sada ona zauzima važno mesto u izučavanju slučajnih procesa. U ovom delu upoznaćemo se sa teorijom martingala, pokazati vezu između slučajnog lutanja i martingala i dokazati neka svojstva vezana za slučajno lutanje tretirajući ga kao martingal. Definicija 3.6: Kažemo da je niz slučajnih promenljivih {M n : 0 n < } martingal niza slučajnih promenljivih {X n : 1 n < }, ukoliko {M n } zadovoljava sledeća dva svojstva: 1. Za svako n 1 postoji funkcija f n : R n R takva da važi M n = f n (X 1, X 2,, X n ). 2. {M n } zadovoljava sledeću jednakost E(M n X 1, X 2,, X n 1 ) = M n 1 za n 1 (3.1) Pored ova dva svojstva zahtevaćemo da M n ima konačno očekivanje za svako n 1 i da je M 0 konstanta. Da bismo približili martingal intuiciji, ovu definiciju možemo posmatrati na sledeći način: X i možemo posmatrati kao ishod i-te runde fer igre, dok je M n bogatstvo igrača u trenutku n. Formula (3.1) nam govori da očekivano bogatstvo igrača u trenutku n, koji ima sve informacije o ishodu igre u prethodnih n 1 koraka iznosi M n 1, dakle da se neće promeniti. Primer 3.1: ko je X n niz nezavisnih slučajnih promenljivih koje zadovoljavaju E(X n ) = 0 za n 1, onda je niz S 0 = 0, S n = X 1 + + X n za n 1 martingal za niz {X n : 1 n < }. Primer 3.2: ko je X n niz nezavisnih slučajnih promenljivih koje zadovoljavaju E(X n ) = 0 i D(X n ) = σ 2 za sve n 1, onda je niz M 0 = 0, M n = S n 2 nσ 2 za n 1 martingal za niz {X n : 1 n < }. Dokaz: Dokažimo da važi svojstvo 2. Iz definicije 3.6, odnosno da je: E(M n X 1, X 2,, X n 1 ) 2 = E(S n 1 + 2S n 1 X n + X 2 n nσ 2 X 1, X 2,, X n 1 ) 2 2 Kako je S n 1 funkcija od {X 1, X 2,, X n 1 }, to je uslovno očekivanje prvog sabirka S n 1. Za drugi sabirak važi: E(S n 1 X n X 1, X 2,, X n 1 ) = S n 1 E(X n X 1, X 2,, X n 1 ) Dalje je E(X n X 1, X 2,, X n 1 ) = E(X n ) = 0 jer X n ne zavisi od X 1,, X n 1. Očekivanje trećeg sabirka računamo slično: 28
E(X n 2 X 1, X 2,, X n 1 ) = E(X n 2 ) = σ 2 Pa je E(M n X 1, X 2,, X n 1 ) 2 = S n 1 + σ 2 nσ 2 2 = S n 1 (n 1)nσ 2 Kako bismo pojednostavili zapis uvešćemo neka pravila. Pišemo E(Z F n ) umesto E(Z X 1, X 2, X n ) kada je {M n : 1 n < } martingal niza {X n : 1 n < } kažemo {M n } je martingal niza {F n }. Dalje koristimo notaciju Y F n ako je Y = f(x 1, X 2, X n ). Definicija 3.7: Kažemo da niz {F n } sadrži sve informacije o nizu slučajnih promenljivih { n : 1 n < } ako za sve 1 n <, imamo n F n 1. Definicija 3.8: Proces {M n: 0 n < } definisan kao M 0 = M 0, M n = M 0 + 1 (M 1 M 0 ) + 2 (M 2 M 1 ) + + n (M n M n 1 ) za n 1 naziva se transformacija martingala {M n } po { n }. Sledeća teorema daje nam uslove pod kojima je niz {M n} martingal. Teorema 3.4: (Teorema o transformaciji martingala) ko je {M n } martingal niza {F n } i ako {F n } sadrži sve informacije o nizu ograničenih slučajnih promenljivih { n : 1 n < }, tada je transformisani niz {M n} martingal niza {F n }. Dokaz: Jasno je da važi {M n F n }, dok nam ograničenost niza k garantuje da M n ima konačno očekivanje za svako n. Primećujemo da važi: pa važi: E(M n M n 1 F n 1 ) = E( n (M n M n 1 ) F n 1 ) = n E(M n M n 1 F n 1 ) = 0 Čime je dokaz završen. E(M n F n 1 ) = M n 1 Definicija 3.9: Slučajna promenljiva τ koja uzima vrednosti {0,1, } { } naziva se vreme zaustavljanja niza {F n } ako: {τ n} F n za sve 0 n < Često posmatramo svojstva slučajnog procesa Y n u trenutku zaustavljanja τ. ko je τ <, možemo definisati proces u trenutku zaustavljanja Y τ kao: 29