Универзитет у Нишу Природно-математички факултет Департман за рачунарске науке Мастер рад Теорија информација и псеудослучајни бројеви у играма на сре

Транскрипт

1 Универзитет у Нишу Природно-математички факултет Департман за рачунарске науке Мастер рад Теорија информација и псеудослучајни бројеви у играма на срећу Студент: Урош Стефановић Ментор: др Марко Петковић Ниш, јул 2016.

2 Садржај Увод 1 Основни појмови Основи теорије вероватноће Алгебра догађаја Условна вероватноћа Случајне променљиве Дискретне случајне променљиве Дискретне расподеле Апсолутно непрекидне случајне променљиве Апсолутно непрекидне расподеле Закони великих бројева Дефиниција ентропије Ентропија сложеног система, условна ентропија Релативна ентропија Псеудослучајни бројеви Генерисање истински случајних бројева Генерисање униформних псеудослучајних бројева Генератори псеудослучајних бројева Метод средине квадрата Линеарни конгруентни генератор Други линеарни конгруентни генератори Блум Блум Шабов генератор Комбиновани линеарни конгруентни генератор Генератор линеарно померајућег регистра Мерсенов твистер Примена псеудослучајних бројева Тестирање псеудослучајних бројева Хи-квадрат (χ²) тест Колмогоров Смирнов тест iii i

3 Садржај 3.3 Емпиријски тестови Тест фреквенција Серијски тест Тест размака Тест корака Тест серијских корелација Тест приближне ентропије Тестирање псеудослучајних генератора Резултати Додатна анализа генераторˆа Игре на срећу Коњске трке Псеудослучајни бројеви у играма на срећу Напад на линеарни конгруентни генератор Напад на генератор са познатим параметрима Проблеми за нападача Правила за коришћење генераторˆа Стратегије за клађење Мартингал Фибоначијева стратегија Келијева стратегија Игре на срећу и теорија информација Теорија информација и клађење Игре на срећу и додатна информација Зависне коњске трке и ентропија Природан језик као случајни низ Компресија података и игре на срећу Процена ентропије природног језика Шенонова игра погађања Процена на срећу Закључак 52 А Табеле вредности за тестове 54 А.1 Хи-квадрат тест А.2 Колмогоров-Смирнов тест Б Марковљеве апроксимације 56 Б.1 Апроксимације енглеског језика Б.2 Апроксимације српског језика В Псеудокодови 58 Индекс појмова 60 Индекс имена 62 Литература 64 Биографија 65 ii

4 Увод Основни проблем у играма на срећу је што играчи често верују да могу да победе вероватноћу и остваре зараду. Чак и они играчи који знају шансе верују у исто. То је последица искуства са случајним догађајима: случајни догађаји преваре играче и они мисле да могу да предвиде њихов исход. Још један проблем је што људски је мозак предиспониран да уочава обрасце, и то ради веома ефикасно. Штавише, одступања од очекиваних резултата људи често виде као мало вероватне да би били случајност. Неки људи верују да случајни догађаји немају узрок и да су самим тим мистериозни. Последица тога је да веровање да се може утицати на случајне догађаје кроз молитву или на неки други начин. У прошлости су неке религије користиле коцкице за игру да протумаче божију вољу. Из тога произилази веровање да се све дешава са разлогом и да случајни догађаји носе неку поруку. Неки играчи верују да случајни догађаји не постоје и да је могуће наћи начин како остварити зараду. С једне стране, тачно је да су случајни догађаји резултат физичке силе или математичког алгоритма. У пракси, међутим, то није тачно. Случајност је математички концепт који се користи за креирање модела стварног света. Чињеница да случајни догађаји могу да се математички објасне не значи да су они детерминистички, али не значи ни да су недетерминистички. Ако за нешто кажемо да је случајно то значи да посматрач не може да зна који ће исход добити. Многи догађаји за које мислимо да су случајни у ствари су детерминистички у природи, али су толико сложени да не можемо да их предвидимо. На пример, где ће куглица да падне на точак рулета је ствар која зависи од силе којом је куглица бачена и од брзине окретања точка. У пракси, ипак, није могуће да предвидимо где ће куглица да се заустави. Људи који размишљају о овој теми готово увек улазе у филозофску дискусију о томе шта реч случајно значи. У том смислу, не постоје случајни бројеви; на пример, да ли је број 2 случајан? Утолико пре, говорићемо о низовима независних случајних бројева са одређеном расподелом, што значи да је сваки број добијен случајно, невезано за остале бројеве у низу, и сваки број има одређену вероватноћу да добије вредност из датог интервала. У овом раду је извршна анализа низова случајних бројева, видећемо како се добијају случајни низови, како се проверава случајност низова, и како се они користе у играма на срећу. Такође је детаљније анализирано клађење; ту ћемо да видимо да ли iii

5 Увод постоји оптимална стратегија за клађење, и видећемо каква је веза између клађења и теорије информација. Рад је подељен у шест глава. У првој глави су представљени основни појмови из теорије вероватноће и теорије информација који ће бити коришћени даље у раду. У другој глави биће представљени најкоришћенији генератори случајних и псеудослучајних бројева. Поред тога видећемо и примене тих генератора. У трећој глави биће представљени одређени тестови за тестирање случајних низова. Такође ће бити тестирани генератори псеудослучајних бројева из друге главе и биће урађена додатна анализа тих генератора. У четвртој глави су приказане слабости генератора псеудослучајних бројева на примерима игара на срећу и дати су савети за правилну употребу генератора. Такође је дата анализа игара на срећу, и описане су популарне стратегије за клађење, укључујући и оптималну Келијеву стратегију. Пета глава је наставак четврте главе, и цела је посвећена Келијевој стратегији. У њој ће бити објашњене зависне коњске трке и оптимална стратегија за клађење у тој ситуацији. Такође ћемо видети везу између Келијеве сратегије и теорије информација, где ће бити објашњено како се игре на срећу користе за компресију података и за процену ентропије случајног низа. У шестој глави сумирани су резултати рада. iv

6 Основни појмови 1 У овој Наши мозгови нису створени да добро решавају проблеме из вероватноће. Перси Дајаконис (1945) глави ћемо дати основне појмове из теорије вероватноће и теорије информација који ће нам бити потребни за даљи рад. 1.1 Основи теорије вероватноће Алгебра догађаја Дефиниција 1.1. Нека је дат скуп Ω и фамилија F P(Ω). Фамилију F називамо алгебром догађаја (или σ-алгебром) ако важи: (а1) Ω F, (а2) Ако је A F онда је A = Ω\A F, (а3) Ако је A n F за свако n N, онда је и n N A n F. У том случају скуп Ω називамо скупом елементарних догађаја а све елементе фамилије F називамо догађајима. Из својства (а2) је очигледно и F који називамо немогућ догађај, док је Ω сигуран догађај. Уређени пар (Ω, F) се још назива простор елементарних догађаја. Уколико је скуп коначан (што ће углавном бити претпоставка), онда се услов (а3) замењује са A, B F A B F. Уместо A B надаље ћемо писати AB. 1

7 Основни појмови Дефиниција 1.2. Нека је (Ω, F) простор елементарних догађаја и функција P F [0, 1] таква да важи (в1) P(Ω) = 1, P( ) = 0, (в2) Ако су A n F (n N) дисјунктни догађаји, онда је + P( A n ) = n N n=1 P(A n ). Тада се функција P назива вероватноћа, а тројка (Ω, F, P) простор вероватноће Условна вероватноћа Дефиниција 1.3 (Бајес). Нека су A, B F такви да је P(B) > 0. Величина P(A B) = P(AB) P(B) се назива условна вероватноћа догађаја A под условом B. Дефиниција 1.4. Догађаји A и B су независни ако је P(AB) = P(A) P(B). Уопштено, догађаји A 1, A 2,, A n су независни ако је P(A i1 A i2 A ik ) = P(A i1 ) P(A i2 ) P(A ik ) за свако 1 i 1 < i 2 < < i k n и 1 k n Случајне променљиве Појам случајне променљиве један је од основних појмова у теорији вероватноће. Једнодимензионална случајна променљива је функција која сваком могућем исходу ω Ω придружује неку његову нумеричку карактеристику, односно број X(ω). Дефиниција 1.5. Функција X Ω R за коју важи X 1 ((, x)) = {ω X(ω) < x} F назива се случајна променљива на простору вероватноће (Ω, F, P). Функција F X R [0, 1] дефинисана са F X (x) = P({ω X(ω) < x}) назива се функција расподеле случајне променљиве X. 2

8 Основни појмови Дискретне случајне променљиве Уколико је скуп вредности случајне променљиве X коначан или пребројив, у питању је дискретна случајна променљива. Ако је X(Ω) = X = {x 1, x 2, } онда се најчешће користи ознака X ( x 1 x 2 p 1 p 2 ), p k = P(X = x k ) = P({ω X(ω) = x k }). Функција расподеле дискретне случајне променљиве је F X (x) = p k. x k <x Дефиниција 1.6. Математичко очекивање E X дискретне случајне променљиве X дефинисано је са E X = k=1 x k p k. Дисперзија (или варијанса) D X случајне променљиве X дефинисана је са D X = E(X E X) 2 = E X 2 (E X) 2 = k=1 xk 2p k x k p k. k=1 Стандардна девијација (или стандардно одступање) σx случајне променљиве X дефинисана је са D X Дискретне расподеле Дискретна униформна расподела Дискретна униформна расподела је дефинисана са P(X = x k ) = n 1, k = 1,, n, а ознака за расподелу је U(x 1,, x n ). Интерпретација је експеримент са једнаковероватним исходима. Математичко очекивање и дисперзија су Бернулијева расподела E X n = n + 1 2, D X n = n Нека је A F, p = P(A) и случајна променљива I A дефинисана са Расподела случајне променљиве је I A (ω) = { 1, ω A { 0, ω A. I A ( p p ) и назива се Бернулијева расподела. Притом важи E I A = p, D I A = p(1 p). 3

9 Основни појмови Биномна расподела Биномна расподела је дефинисана као збир независних индикатора са истом расподелом, S n = I A1 + + I An B(n, p), и интерпретира се као број успеха у n независних понављања опита. Вероватноће су P(S n = k) = ( n k )pk (1 p) n k за k = 0, 1,, n. Математичко очекивање и дисперзија су Пуасонова расподела E S n = np, D S n = np(1 p). Нека је λ > 0 произвољан реалан број. Случајна променљива S има Пуасонову расподелу ако је p S (k) = λk k! e λ. Ову расподелу обележамо са P(λ). Може се показати да су очекивање и дисперзија случајне променљиве S једнаки: Важи и следеће тврђење. E S = D S = λ. Теорема 1.1. Ако је S n B(n, p n ), при чему np n λ кад n +, онда је p Sn (k) = P(S n = k) λk k! e λ Апсолутно непрекидне случајне променљиве Случајна променљива X је апсолутно непрекидна (апсолутно непрекидног типа) уколико постоји функција p R R таква да је p(x) 0, + p(x) dx = 1 и P(X [a, b)) = p(x) dx. Функција p је густина вероватноће случајне променљиве X. Расподела и функција расподеле апсолутно непрекидне случајне променљиве X дате су са P X (B) = p(x) dx, F(x) = B a b x p(u) du. Математичко очекивање и дисперзија променљиве X једнаки су E X = + xp X (x) dx, D X = + (x E X) 2 p X (x) dx. 4

10 Основни појмови Апсолутно непрекидне расподеле Униформна расподела на интервалу Нека су a, b R и a < b. Тада је X U(a, b) ако важи: Тада важи и p X (x) = 1 { b a, x [a, b) { 0, x [a, b), F X(x) = E X = Нормална (Гаусова) расподела a + b 2 (b a)2, D X =. 12 Нека су μ, σ R и σ > 0. Тада је X N(μ, σ 2 ) ако важи p X (x) = (x μ) 1 2 2πσ 2 e 2σ 2. 0, x a { x a b a, a < x b. { 1, x > b Тада је E X = μ, D X = σ 2. Стандардна нормална расподела је X = X μ σ N(0, 1). Функција расподеле променљиве X је Хи-квадрат расподела F X (x) = 1 2π Нека су Y 1,, Y k независне случајне променљиве са Пуасоновом расподелом, осим чињенице да имају фиксну суму, тачније Y Y k = n. Нека је x Z s = Y s np s np s и нека је V = Z Z2 k. Хи-квадрат (χ 2 ) расподелу са k 1 степена слободе дефинишемо као1 где је Γ(t) гама функција lim n а γ(t, x) је некомплетна гама функција e u2 2 du. γ( k 1 2 P(V v) =, 2 v) Γ( k 1 2 ), Γ(t) = x t 1 e x dx, 0 x γ(t, x) = x t 1 e x dx. 0 1Степен слободе је детаљније објашњен у поглављу 3.1 на страни 21. 5

11 Основни појмови Колмогорова расподела Колмогорова расподела је расподела случајне променљиве K(x) = sup x F(x) F(x), где је F(x) функција расподеле, а F(x) је емпиријска функција расподеле података. Функција расподеле за K је P(K x) = 1 2 ( 1) k 1 e 2k2 x 2 = 2π x k= Закони великих бројева k=1 e (2k 1)2 π 2 /(8x 2). Дефиниција 1.7. За низ случајних променљивих X 1, X 2, кажемо да: Конвергира у вероватноћи ка случајној променљивој X ако ( ε > 0) P( X n X < ε) 1, в што пишемо као X n X. Конвергира скоро извесно ка случајној променљивој X ако P(X n X) = 1, с.и. што пишемо као X n X. Закони великих бројева се односе на независне случајне променљиве X 1, X 2, са истим или различитим расподелама за које важи: 1 n n k=1 X k в с.и. E X 1, n (ако имају исту расподелу), 1 n n k=1 (X k E X k ) в с.и. 0, n (ако немају исту расподелу). Ако је конвергенција у вероватноћи, то су слаби закони великих бројева, а ако је скоро извесна онда су то строги или јаки закони великих бројева. 1.2 Дефиниција ентропије Нека је дат дискретан извор информација (случајна променљива) X који емитује једну од порука из скупа X = {x 1, x 2, } редом са вероватноћама p 1, p 2, Означимо са I(x) количину информација (количину сопствене информације) коју носи порука x. Функција I мора да задовољи следеће захтеве: I(x) је нерастућа (тј. неопадајућа) и непрекидна функција вероватноће p(x). I(x) = 0 уколико је {X = x} сигуран догађај (не носи никакву информацију). 6

12 Основни појмови I(x, y) = I(x) + I(y) уколико су X и Y независне случајне променљиве. Дакле, информација коју носи догађај {X = x, Y = y} једнака је збиру информација коју носе догађаји {X = x} и {Y = y}. Теорема 1.2. Једина функција I(x) која задовољава претходне услове је I(x) = log b p(x), где је b > 1. Дефиниција 1.8. Ентропија (једнодимензионе или вишедимензионе) случајне променљиве X, у ознаци H(X), једнака је математичком очекивању случајне променљиве I(X): H(X) = E I(X) = p(x)i(x) = p(x) log b p(x). (1.1) x X x X Теорема 1.3. Ентропија H(p 1, p 2,, p n ) има максималну вредност log 2 n, односно важи H(p 1, p 2,, p n ) log 2 n. Једнакост се достиже ако и само ако је p i = 1 n за свако i = 1, 2,, n Ентропија сложеног система, условна ентропија Посматрајмо дводимензионалну дискретну случајну променљиву (X, Y). Нека променљива X узима вредности из скупа X = {x 1, x 2,, x m } а променљива Y вредности из скупа Y = {y 1, y 2,, y n }. Ентропија променљиве (X, Y) једнака је H(X, Y) = x X,y Y p(x, y) log 2 p(x, y). Теорема 1.4. H(X, Y) H(X) + H(Y), а једнакост важи ако и само ако су X и Y независне. Дефиниција 1.9. Условна сопствена информација елемента x X у односу на елемент y 0 Y дефинисана је са I(x y 0 ) = log 2 p(x y 0 ). Условна ентропија случајне променљиве X у односу на y 0 Y дефинисана је са H(X y 0 ) = p(x y 0 )I(x y 0 ) = p(x y 0 ) log 2 p(x y 0 ). x X x X Ако усредњимо H(X y 0 ) за свако y 0 Y добијамо условну ентропију случајне 7

13 Основни појмови променљиве X у односу на Y: H(X Y) = p(y)h(x y). y Y Одатле се добија да важи H(X Y) = Релативна ентропија x X,y Y p(x, y) log 2 p(y x). Дефиниција Нека су p( ) и q( ) две расподеле на скупу X за које важи да из q(x) = 0 следи p(x) = 0. Релативна ентропија или Кулбак-Лејблерово растојање између ове две расподеле је p(x) D(p q) = p(x) log 2 q(x). (1.2) x X 8

14 Псеудослучајни бројеви 2 Онај који разматра коришћење аритметичких метода за генерисање случајних бројева је, свакако, грешан. Џон фон Нојман ( ) Случајни бројеви су низови бројева који се не покоравају никаквом обрасцу. Случајни бројеви се јављају у природним појавама и ситуацијама које је немогуће предвидети. С обзиром да је само појављивање низова случајних бројева потпуно непредвидиво, немогуће је одредити да ли је неки низ случајан или не. Заправо, доказано је да су сви низови бројева подједнако случајни у смислу да сви низови показују неке од карактеристика које се очекују од низова случајних бројева. Случајни бројеви су традиционално коришћени у разне сврхе, на пример у играма са бацањем коцкица. Са напретком технологије људи су увидели потребу за случајним бројевима у рачунарским програмима. Иако тако не изгледа, ипак је тешко програмирати рачунар да ради насумично рачунар само слепо прати инструкције и потпуно је предвидиво његово понашање. 2.1 Генерисање истински случајних бројева Истински случајни бројеви се обично генеришу узимањем узорака из извора ентропије ван рачунара (на пример бацање новчића, игре картама, бацање коцкица, рулет ). Извор ентропије може да буде веома једноставан, попут померања миша или временских размака између притисака тастера. Међутим овај метод нешто несигурнији због тенденције да се покрети или интервали притисака понављају. Одличан извор ентропије је радиоактивни извор. Временски тренуци у којима се радиоактивно језгро распада је потпуно непредвидиво, и ти подаци могу да се пошаљу рачунару, чиме се елиминишу људски или хардверски фактори. Још један извор ентропије може да буде бели шум, или чак бука која долази из неке просторије. Овај извор је посебно омиљен приликом генерисања бројева за игре на срећу [14]. 9

15 Псеудослучајни бројеви 2.2 Генерисање униформних псеудослучајних бројева Бројеви из интервала (0, 1) који се рачунају по неким формулама се називају псеудослучајни бројеви. Алгоритам на основу којег се добија низ псеудослучајних бројева назива се генератор псеудослучајних бројева. Добијени низ бројева није заиста случајан јер је у потпуности одређен скупом почетних вредности, али задовољава услове случајности. Предност псеудослучајних бројева у односу на случајне бројеве је што могу да се добију на бржи и једноставнији начин, а имају (скоро) све особине које случајни бројеви треба да имају. Такође се за њихову предност сматра то што је могуће да се генерише исти низ бројева више пута, што значи да експеримент може да се понови под идентичним условима. У овој глави ћемо посматрати методе за генерисање низа случајних реалних бројева U n униформно расподељених између нуле и јединице. Како је на рачунарима могуће представити реалне бројеве само са ограниченом тачношћу, у ствари ћемо да генеришемо целе бројеве X n између нуле и неког броја m; разломак U n = X n m ће да се налази између нуле и јединице. Вредност m се назива модул, и његова вредност је најчешће дужина речи у рачунару. Број X 0 се назива почетна (иницијанла) вредност, или семе (енг. seed). Теорема 2.1. Ако U U[0, 1) онда 1. X = min{n U < n k=1 p k} (p k 0, n k=1 p k = 1) има расподелу n 1 P(X = n) = P( k=1 2. X = F 1 (U) има функцију расподеле p k U < n k=1 p k ) = p n ; F X (x) = P(F 1 (U) < x) = P(U < F(x)) = F(x). Пример 2.1 (Генерисање дате расподеле). Како на рачунару генеришемо бројеве U [0, 1) са униформном расподелом, проблем је наћи X = f (U) тако да има задату расподелу. Из теореме 2.1 видимо да, ако желимо да симулирамо бацање коцкице, најједноставније је да дефинишемо X = k ако је k 1 6 U < k, k = 1,,

16 Псеудослучајни бројеви Тако на пример за експоненцијалну расподелу F(x) = 1 e λx (x 0) имамо F 1 (y) = ln(1 y), λ па можемо да узмемо X = ln(1 U). λ Понекад није једноставно израчунати F 1, на пример за расподелу N(0, 1). У таквим случајевима користимо одређене апроксимације; у нашем случају за U, V U[0, 1) имамо да су X = ( 2 ln U) 1 2 cos(2πv) и Y = ( 2 ln U) 1 2 sin(2πv) независне случајне променљиве са N(0, 1) расподелом. 2.3 Генератори псеудослучајних бројева Метод средине квадрата Овај метод се први пут помиње у записима између и године. Метод је поново открио Џон фон Нојман године. На пример, да бисмо генерисали четвороцифрен псеудослучајан број, четвороцифрену почетну вредност квадрирамо и добијемо осмоцифрени број. Ако резултат није осмоцифрен, једноставно додамо нуле на почетак броја. Средње четири цифре у добијеном броју постају следећи генерисан четвороцифрени број. Ако желимо да генеришемо још псеудослучајних бројева, једноставно поновимо процес. Ако желимо да генеришемо n-тоцифрене бројеве, период низа неће бити дужи од 8 n (број p је период низа ако важи X k+p = X k, k N). Ако су средишње цифре нуле, генератор ће надаље стално да даје нулу као резултат. Чак и ако је прва половина цифара броја сачињена од нулˆа, веома брзо ћемо доћи до нуле. Због овога генератор није погодан за практичну употребу. Пример 2.2. Метод средине квадрата може да се заглави и на броју различитом од нуле. За n = 4 то се дешава са вредностима 0100, 2500, 3792 и Слично, неке почетне вредности дају веома кратке периоде пошто вредности почну да се понављају, на пример Овај феномен је очигледнији за n = 2, пошто тада ниједно од могућих 100 семена не генерише више од 14 бројева без заглављивања на бројеве 0, 10, 60 или на петљу С друге стране, коришћењем 38-битних бројева можемо да добијемо низ од отприлике бројева пре заглављивања. Тај низ чак пролази разне тестове случајности. То показује да метод средине квадрата може у ретким случајевима да дˆа резултат. 11

17 Псеудослучајни бројеви Линеарни конгруентни генератор Линеарни конгруентни генератор (енг. Linear congruential generator) је један од најстаријих и најпознатијих генератора псеудослучајних бројева. Настао је године и осмислио га је Дерик Хенри Лехмер. Овај генератор производи низ псеудослучајних бројева (X n ) који је одређен почетним чланом X 0 > 0 и рекурентном формулом X n = (ax n 1 + c) mod m, (2.1) где су a 0, m > 0 и c 0 дати природни бројеви, при чему је m > max{a, c, X 0 }. Вредност a се назива мултипликатор, а c се назива инкремент. Пошто је X n одређен са X n 1 и пошто постоји само m могућих вредности за X i, максимални период линеарног конгруентног генератора је m. Пример 2.3. Нека је m = 8, a = c = 3 и X 0 = 2. Низ генерисан овим вредностима је 2, 1, 6, 5, 2, 1, 6, 5, 2 Нека је сада a = 5, c = 1, m = 16 и X 0 = 1. Тада генеришемо низ 1, 6, 15, 12, 13, 2, 11, 8, 9, 14, 7, 4, 5, 10, 3, 0, 1, 6, 15, 12, 13, 2, 11, 8 Максималан период m низа псеудослучајних бројева добијеног линеарним конгруентним генератором можемо да добијемо погодним избором константи a, b и m. Важи следећа теорема: Теорема 2.2. Низ псеудослучајних бројева који се добија линеарним конгруентним генератором има максималан период m ако су испуњени следећи услови: 1. Бројеви m и c су узајамно прости. 2. Сваки прост делилац p броја m је и делилац броја a Ако је број m дељив са 4, онда је и број a 1 дељив са 4. Сада ћемо да прикажемо неке од најчешће коришћених параметара: Генератор А: m = 2 32, a = , c = 1. Генератор Б: m = 2 32, a = , c = 1. Генератор В: m = 2 32, a = , c = Генератор Г: m = 2 31, a = , c = Генератор Д: m = 2 24, a = , c = Генератор Ђ: m = 2 48, a = , c = 11. Генератор Е: m = 2 32, a = , c = 1. 12

18 Псеудослучајни бројеви Пример 2.4. Код најефикаснијих линеарних конгруентних генератора m је степен двојке, најчешће 2 32 или 2 64, због тога што је у таквим случајевима једноставније израчунати модул. У табели је приказане примене горе дефинисаних генератора. Генератор А Б В Г Д Ђ Примена Borland C/C++ Borland Delphi, Virtual Pascal Microsoft Visual/Quick C/C++ ANSI C: Watcom, IBM VisualAge C/C++ Microsoft Visual Basic java.util.random Линеарни конгруентни генератори не морају увек да користе све битове које генеришу. На пример, програмски језик Java генерише 48-битни број, али користи само 32 бита највеће тежине Други линеарни конгруентни генератори Мултипликативни линеарни конгруентни генератор Када је c = 0 код линеарног конгруентног генератора, тада је генератор одређен рекурентном формулом X n = ax n 1 (mod m). (2.2) Тај генератор се назива мултипликативни линеарни конгруентни генератор. Лехмер је у свом оригиналном генератору користио c = 0, али је поменуо c 0 као могућност. Овај генератор је вредан помена због тога што је за нијансу бржи од линеарног конгруентног генератора. С друге стане, ограничење c = 0 скраћује период низа, али је и даље могуће направити довољно дуг период. Пошто X i не може да буде једнак нули (добио би се дегенерисани низ), максимални период мултипликативног линеарног конгруентног генератора је m 1. Генератор Ж: m = , a = Генератор З: m = , a = Генератор И: m = 2 31, a = Генератори Ж и З се користе, између осталог, у програмском језику C++11. Шесдесетих година двадесетог века је коришћен генератор И, познатији под називом RAN- DU. Мултипликативни рекурзивни генератор Мултипликативни рекурзивни генератор је одређен рекурентном формулом X n = (a 1 X n a k X n k ) mod m. (2.3) 13

19 Псеудослучајни бројеви За прост број m и добро одабране бројеве a i низ има максимални период m k 1. Овај период је могуће достићи са само два броја a i 0: X n = (a r X n r + a k X n k ) mod m. (2.4) Један приступ који даје добре резултате, а где је модул степен двојке и где се добија дугачак период, је мултипликативни генератор са преносом (енг. Multiply-with-Carry): X n = (a 1 X n a k X n k + c n 1 ) mod b, (2.5) c n = a 1X n a k X n k + c n 1, (2.6) b где је b 1 (најчешће је b = 2 32 због једноставнијег извршавања операција модула на рачунару), а c n се назива пренос n-тог корака. Испоставило се да је овај генератор приближно еквивалентан линеарном конгруентном генератору са модулом m = k l=0 a lb l, где је a 0 = 1, а a је једнак инверзу броја b по модулу m.1 То значи да мултипликативни генератор са преносом можемо да посматрамо као линеарни конгруентни генератор. Генератор Ј: b = , k = 1, a 1 = Генератор К: b = , k = 3, a 1 = , a 2 = , a 3 = Фибоначијев конгруентни генератор са кораком Најједноставнији низ у коме X n+1 зависи од више од једног претходног члана је Фибоначијев низ X n+1 = (X n + X n 1 ) mod m. (2.7) Овај генератор (енг. Lagged Fibonacci generator) је коришћен раних педесетих година двадесетог века и углавном даје период већи од m. Ипак, тестови су показали да бројеви генерисани овим генератором не задовољавају особине случајности. Такође можемо да посматрамо генератор облика X n+1 = (X n + X n k ) mod m, (2.8) где је k релативно велики број. Овај генератор су преставили Берт Грин, Кит Смит и Лаура Клем уз напомену да, ако је k 15, генератор не пролази тест размака (види поглавље 3.3.3), али већ за k = 16 пролази исти. Још бољи генератор је представљен године од стране Мичела и Мура, који су предложили необичан низ облика X n = (X n 24 + X n 55 ) mod m, n 55, (2.9) где је m паран број, а X 1,, X 54 су цели бројеви (и нису сви парни). Пример 2.5. Бројеви 24 и 55 из једнакости (2.9) нису случајно изабрани, већ су то бројеви који имају особину да ће битови најмање тежине (X n mod 2) имати период дужине Према томе, низ (X n ) ће имати бар толики период. 1Односно, важи ba 1 (mod m). 14

20 Псеудослучајни бројеви Или општије: Фибоначијев конгруентни генератор са кораком X n = (X n l X n k ) mod m (2.10) има период дужине (2 k 1) 2 M 1, где је m = 2 M. Овде је нека бинарна или логичка операција. Ипак, како генератор има најбоље особине када је обично сабирање, у раду ћемо посматрати само ту верзију. Генератор Л: m = , l = 34, k = 55. У литератури се, поред (24; 55) срећу разни парови (l; k), попут (5; 17), (65; 71), (6; 31), (97; 127), (353; 521) Предлаже се да однос бројева l и k буде приближан златном пресеку ( k 1,61803 ). l Програмски језик C# користи генератор Л. Овај генератор је углавном бржи од раније наведених генератора због тога што не захтева операцију множења. Поред тога, има и најдужи период у односу на до сада виђене. Због тога се овај генератор често среће у пракси Блум Блум Шабов генератор Дефиниција 2.1 (Ојлерова фи функција). За n 1, φ(n) је број позитивних целих бројева мањих или једнаких n, који су узајамно прости са n. Дефиниција 2.2 (Кармајклова функција). За позитивни цео број n, λ(n) је најмањи број k за који је a k 1 (mod n), a N узајамно просто са n. Блум Блум Шабов генератор је предложен године од стране Леоноре Блум, Мануела Блума и Мајкла Шаба. Овај генератор је облика X n+1 = X 2 n mod m, (2.11) где је m = pq производ два проста броја p и q. Препоручљиво је да семе X 0 буде такво да су m и X 0 узајамно прости бројеви; такође би X 0 требало да буде различито од 1 или од 0. Бројеви p и q би требало да буду конгруентни са бројем 3 по модулу 4, док би НЗД(φ(p 1), φ(q 1)) требао да буде што мањи број (то би значило да је период дужи). Занимљива карактеристика Блум Блум Шабовог генератора је могућност да се директно израчуна било које X i : где је λ(m) = λ(p q) = НЗС(p 1, q 1). Генератор Љ: p = , q = , X 0 = Генератор М: p = , q = , X 0 = X i = (X 2i mod λ(m) 0 ) mod m, (2.12) 15

21 Псеудослучајни бројеви Комбиновани линеарни конгруентни генератор Комбиновани линеарни конгруентни генератор је генератор који настаје комбинацијом два или више линеарна конгруентна генератора. Стандардан линеарно конгруентни генератор не даје довољно дуг период за одређене потребе; али комбинацијом више таквих генератора можемо креирати псеудослучајне бројеве са дужим периодом, можда и бољим статистичким својствима. Алгоритам дефинишемо као k X i ( 1) j 1 Y i, j j=1 (mod (m 1 1)), (2.13) где је m 1 модуо првог генератора, а Y i, j је i-ти резултат из j-тог генератора. Ако желимо да генеришемо број из интервала (0, 1), то радимо на следећи начин: R i { { X i /m 1 за X i > 0, (m 1 1)/m 1 за X i = 0, где је R i псеудослучајан број са униформном расподелом на интервалу (0, 1). Дужина периода овог генератора, наравно, зависи од избора семена; максимални могући период је (m 1 1)(m 2 1) (m k 1) 2 k 1. Међутим, показано је да овај генератор, слично као мултипликативни генератор са преносом, може да се апроксимира одређеним линераним конгруентним генератором, и према томе да има слична својства као линерани конгруентни генератор. [10] Генератор Н: k = 2, m 1 = , m 2 = , a 1 = 40014, a 2 = 40692, c 1 = c 2 = 0. Генератор Њ: X n = 171 X n 1 mod 30269, Y n = 172 Y n 1 mod 30307, Z n = 170 Z n 1 mod 30323, U n = ( X n Y n Z n mod 1) Пример 2.6. Генератор Н се често среће у пракси због тога што је посебно дизајниран за 32-битне рачунаре. Његов период износи 2, Пример 2.7. Још један генератор вредан помена је генератор Њ, познатији као Вичман Хилов генератор. Он представља комбинацију три линеарна генератора. Његова почетна вредност је вектор (X 0, Y 0, Z 0 ). Овај генератор директно враћа бројеве U n из интервала (0, 1). Период генератора је реда Овај генератор се користи у програму Microsoft Office Excel. 16

22 Псеудослучајни бројеви Генератор линеарно померајућег регистра Генератор линеарно померајућег регистра је специфичан по томе што се псеудослучајни бројеви се не добијају аритметичким већ логичким операцијама. Најчешћа операција у употреби је искључиво или (XOR). Због ових особина овај генератор је често имплементиран и хардверски. Битови који утичу на следеће стање, односно битови од којих се добија следећи члан низа, зову се славине (енг. tap); бит најмање тежине се зове спољна славина. Да би низ имао максималан период од 2 n 1 (види поглавље 2.3.7) мора да постоји паран број славина. Поступак се изводи тако што се на славине редом, од бита најмање тежине ка биту највеће тежине, примењује логичка операција, и добијени бит се дописује на почетак броја, док се последњи бит брише. Дакле, генератор се може записати у облику X i+1 = X p 1 i + X p 2 i + + X p k i + 1 (mod 2), (2.14) где ја k паран број, а бројеви p 1,, p k су узајамно прости. Генератор О: k = 4, p 1 = 16, p 2 = 14, p 3 = 13, p 4 = 11. Пример 2.8. Један од најкоришћенијих генератора линеарно померајућег регистра је генератор О, односно генератор са карактеристичним полиномом X 16 + X 14 + X 13 + X На слици 2.1 је приказан тај генератор у тренутку када даје број (ACE1) 16. Следећи број ће бити (5670) 16. Период овог генератора је = Једини број који не може да се добије је број нула, пошто у тој ситуацији генератор не би дао ни један други број Слика 2.1: Генератор линеарно померајућег регистра Мерсенов твистер Мерсенов твистер (енг. Mersenne Twister) је развијен године од стране Макота Мацумотоа и Такуџи Нишимуре. Дизајниран је тако да отклони већину недостатака из старијих генератора псеудослучајних бројева. Такође, то је први генератор који омогућава брзо генерисање високо квалитетних псеудослучајних бројева. Име је добио по томе што је његов период Мерсенов прост број, тачније прост број облика 2 n 1. Низ X је дефинисан као низ w-битних вектора рекурентном релацијом X k+n = X k+m + X k+1 [ 0 0 ] A + X 0 I k [ I w r 0 ] A, k = 0, 1, 2, (2.15) r

23 Псеудослучајни бројеви где је I r јединична матрица димензије r r. Видимо да нам је потребно n семена X 0,, X n 1. Једнакост (2.15) можемо да запишемо у облику много лакшем за имплементирање: X k+n X k+m (Xk u Xl k+1 )A, k = 0, 1, (2.16) где означава операцију или над битовима, означава искључиво или над битовима, Xk u означава w r битова највеће тежине од X k, Xk+1 l означава r битова најмање тежине од X k+1, 1 m < n, 0 r w 1. Матрица A је облика A =. a w 1 a w 2 a w 3 a 0 Параметри Мерсеновог твистера се деле у две групе: 1. Параметри периода, који одређују период генерисаног низа бројева. То су цели бројеви w (величина меморијске речи), n (ред рекурентне једначине), m (средњи елемент) и r (деобна тачка меморијске речи), као и један бинарни вектор a (матрица A). 2. Параметри униформности, који одређују квалитет униформности генерисаног низа бројева. Ту спадају цели бројеви који се користе при померању битова у имплементацији и узимају вредности од 1 до w 1. Генератор П: w = 32, n = 624, m = 397, r = 31, f = , a = (9908B0DF) 16, u = 11, d = (FFFFFFFF) 16, s = 7, b = (9D2C5680) 16, t = 15, c = (EFC60000) 16, l = 18. Генератор Р: w = 64, n = 312, m = 156, r = 31, u = 29, t = 37, l = 43, s = 17, f = , a = (B5026F5AA96619E9) 16, d = ( ) 16, b = (71D67FFFEDA60000) 16, c = (FFF7EEE ) 16. Пример 2.9. Најкоришћенија верзија овог алгоритма је генератор П, назван MT19937 због тога што има период дужине (Псеудокод је дат у додатку В на страни 59.) Упркос томе што овај генератор заузима знатно више меморије од, рецимо, линеарног конгруентног генератора (624 меморијске речи наспрам једне), Мерсенов твистер је тренутно најкоришћенији генератор псеудослучајних бројева. Користи се, између осталог, у програмским језицима Python, Ruby, PHP, R, Free Pascal, као и у многим софтверским алатима (MATLAB, Scilab, SageMath ). Разлог велике популарности овог генератора је једноставан технологија га подржава. Када је настао, због своје тешке имплементације био је спор и многи су га критиковали; данас ћемо ипак рећи да је овај генератор брз. Високе перформансе овог генератора следе из количине меморије коју он троши. Иако то јесте доста меморије он је троши ефикасно. 18

24 Псеудослучајни бројеви 2.4 Примена псеудослучајних бројева До сада је било речи о креирању случајних бројева, али још увек нисмо дали одговор на питање: за шта се користе случајни бројеви? Ово су неке примене случајних бројева: 1. Симулације. Случајни бројеви су готово увек неопходни за креирање реалистичних модела природних феномена. Ту су на пример модели економије, саобраћаја, нуклеарне физике и бројни други. Предност неких генератора псеудослучајних бројева је та што генерисани низ може да се реконструише у сваком тренутку, што нам омогућава да детаљније сагледамо ефекте промене одређених параметара. 2. Статистичко узорковање. Очигледно, узорци су понекад потребни за проучавање већих структура, па се случајни узорци намећу као одлично решење за статистичке тестове. 3. Криптографија. Креирање јавног кључа у криптографији подразумева коришћење случајних вредности. На пример, RSA алгоритам захтева употребу великог случајног простог броја зарад сигурности. Једнократни кључ2 користи дугачак низ случајних целих бројева као кључеве (који је често генерисан периодичним генератором псеудослучајних бројева). 4. Рачунарско програмирање. Многи рачунарски алгоритми користе случајне бројеве или случајне низове; такође случајни бројеви могу да се користе као улаз за тестирање ефикасности алгоритма. 5. Нумеричка анализа. Многи проблеми које је тешко решити (или бар решити брзо) могу да се апроксимизирају техникама заснованим на случајним бројевима (на пример Монте Карло методе). 6. Одлучивање. У одлучивању у стварном животу, рачунарским алоритмима и теорији игара, случајност игра важну улогу. 7. Рекреација. Коначно, постоје бројне забавне примене случајних бројева, попут коцкања и рачунарских игара. Важна ствар коју треба упамтити приликом рада са случајним бројевима: није сваки генератор добар за сваку ситуацију [9]. Једноставан пример: прави случајан низ јединица и нула ће садржати милион нула у низу (штавише, то ће се десити бесконачно много пута). Овакво понашање је неопходно за случајеве коју разматрају јако велике количине случајних бројева (у противном низ не би могао да се посматра као случајан), али је поражавајуће за ситуације када је, рецимо, потребно хиљаду цифара и добијено хиљаду нула из генератора. Зато је потребно користити генераторе псеудослучајних бројева са опрезом, а понекад је потребно користити и више од једног генератора. 2енг. One-time pad, OTP. 19

25 Тестирање псеудослучајних бројева 3 Генерисање случајних бројева је превише важно да би се препустило случају. Роберт Ковију( ) Видели смо да постоји доста различитих примена псеудослучајних бројева, али и доста различитих начина да их добијемо. Такође смо видели да бројеви добијени из различитих генератора имају различита својства. Ту се намеће питање: како да знамо да је генератор добар (или бар довољно добар)? Већ смо видели да можемо да максимизирамо период генератора. Наравно, то није једини услов за добар генератор. На пример, за генератор који даје јединице и нуле битно је да их дˆа у приближно једнаком броју. Такође би било лепо да постоји независност између чланова или подскупова генерисаног низа. Још је битно да генератор буде ефикасан у практичној употреби. Логично, постоји пуно различитих тестова за псеудослучајне бројеве. Ти тестови могу да се поделе у две групе: емпиријски и теоријски. Емпиријски тестови се односе на генерисани низ и не захтевају познавање генератора којим је генерисан. Теоријски тестови, који су бољи (ако постоје), су априорни тестови у смислу да захтевају познавање генератора и не захтевају генерисање бројева. У овом раду ћемо посматрати само емпиријске тестове. 3.1 Хи-квадрат (χ²) тест Хи-квадрат (χ 2 ) тест је један од најпознатијих непараметарских тестова статистике. Познат је и под називом Пирсонов χ 2 тест јер га је разрадио Карл Пирсон године. Користимо га за упоређивање два низа фреквенција, тачније за упоређивање добијених и очекиваних учесталости, и покушаћемо да одговоримо на питање да ли се број опажених објеката значајно разликује од очекиваног? Претпоставимо да имамо n независних опсервација (у нашем случају чланова низа генерисаних неким генератором), од којих се свака налази у једној од k категорија. Нека су Y s број опсервација који се налази у s-тој категорији и p s вероватноћа да се 20

26 Тестирање псеудослучајних бројева опсервација налази у категорији s. Тада очекујемо да важи Y s np s за велике вредности n. Сада желимо да измеримо колико смо далеко од очекиваних вредности; зато дефинишемо статистику V i као V i = (Y 1 np 1 ) 2 + (Y 2 np 2 ) (Y k np k ) 2. (3.1) Видимо да V i даје једнаку тежину свакој категорији. Ако није свако p s исто, V i може да доведе у заблуду тако што ће да пренагласи неко одступање а сакрије остала. Зато ћемо користити статистику V која даје тачне тежине за сваки израз. Добијамо V = (Y 1 np 1 ) 2 np (Y k np k ) 2 np k (Y = s np s ) 2. (3.2) np 1 s k s Овај израз можемо да запишемо на други начин, лакши за рачунање. Искористићемо очигледне чињенице: и V ћемо да запишемо као (Y V = s np s ) 2 np 1 s k s Y 1 + Y Y k = n, p 1 + p p k = 1, Ys = 2 2np s Y s + n 2 p 2 s np 1 s k s Ys = 2 2Y np s + np s = 1 1 s k s n 1 s k 1 s k 1 s k = 1 n Ys 2 n. p 1 s k s Y 2 s p s 2n + n Сада се поставља важно питање: која је разумна вредност за V? Очекујемо да та вредност буде већа од нуле (Y s веровано није једнако са np s за велико n), али не и да буде веома велика. На ово питање ћемо одговорити позивајући се на табелу А.1 (додатак А на страни 54). Да бисмо користили податке из табеле, прво прочитамо ред где је ν = k 1. Затим упоредимо V са вредностима из тог реда. На пример, ако је k = 9 (ν = k 1 = 8), тада чињеница да је за 99 процената вредност 20,09 значи да је V < 20,09 у отприлике 99 посто времена и очекујемо да ће бити V > 20,09 само око 1 проценат времена. Поставља се питање зашто посматрамо (k 1)-ви ред? Вредност ν се назива број степена слободе. Интуитивно, можемо да посматрамо вредности Y 1,, Y k као независне Пуасонове случајне променљиве, осим чињенице да је Y Y k = n. Према томе, ако знамо на пример Y 1,, Y k 1, можемо да израчунамо Y k, што значи да су само k 1 вредности независне. Чини се да су вредности из табеле зависне само од k, а не и од броја опсервација n или од вероватноћа p s. Међутим, то није баш тачно, пошто су бројеви у табели апроксимације валидне за велико n. Препоручљиво је да n буде довољно велико тако 21

27 Тестирање псеудослучајних бројева да свака очекивана вредност np s буде бар 5, мада се чини да је то прилично произвољан избор. Добар избор броја n није очигледан за сваку ситуацију, будући да веома велико n може боље да детектује глобалну неслучајност а да прикрије локалну. Како је тест препоручљиво поновити више од једног пута, ти тестови би могли да користе различите бројеве n у нади да ће резултат бити прецизнији. Како да протумачимо добијене резултате χ 2 теста? Препоручује се прилично произвољна метода [9]: За V мање од вредности за 1% или веће од вредности за 99% добијамо да низ није случајан. За V између вредности за 1% и 5% или између вредности за 95% и 99% добијамо да је низ сумњив. За V између вредности за 5% и 10% или између вредности за 90% и 95% добијамо да је низ скоро сумњив. Добро би било тестирати делове добијеног низа случајних бројева бар три пута, вероватно са различитим n сваки пут, и ако два или више пута добијемо резултат сумњив закључујемо да низ није задовољавајуће случајан. Ако је V веће од вредности за 1% и мање од вредности за 99%, кажемо да је V у 98%-тном интервалу поверења. За генератор ћемо рећи да је добар ако су резултати тестирања низа из тог генератора у 98%-тном интервалу поверења. Такође ћемо рећи да је солидан или сумњив за 90%-тни или 80%-тни интервал поверења, редом. 3.2 Колмогоров Смирнов тест Корене овог теста дао је Андреј Колмогоров године, док је Николај Смирнов предложио нека побољшања године; отуда и име теста. Колмогоров Смирнов тест је нашао примене у областима где χ 2 тест не даје резултате, али се и често користи у комбинацији са χ 2 тестом. Дефиниција 3.1. За дату случајну променљиву X кумулативна расподела вероватноће одређује вероватноћу да је случајна променљива X узела вредност мању или једнаку x: F X (x) = P(X x). Функција F X (x) ће увек бити у интервалу [0, 1] и увек ће бити растућа (или константна на неким интервалима) како x расте од до +. Пример 3.1. На слици 3.1 видимо функцију расподеле за униформно расподељен случајан реалан број између нуле и јединице. Вероватноћа да је X x је, логично, x, за 0 x 1. 22

28 Тестирање псеудослучајних бројева 1 y 0,5 0 0,5 1 x Слика 3.1: F X (x) за униформно расподељен реалан број. Слика 3.2 приказује граничну расподелу вредности V у χ 2 тесту (са 10 степена слободе). То је расподела коју смо већ видели представљену на други начин у табели А ,75 0,5 0,25 y 3,9 6,7 9,3 12,6 18,3 x Слика 3.2: F X (x) за χ² тест са 10 степена слободе. Претпоставимо да X узима вредности из низа генерисаног генератором случајних бројева (слично као Y из χ 2 теста). За Колмогоров Смирнов тест захтевамо да F X (x) буде непрекидна функција. У χ 2 тесту смо имали супротну ситуацију, где је F Y (y) скоковита пошто Y узима само одређене дискретне вредности. Колмогоров Смирнов тест се бави другачијом ситуацијом, где број добијен из генератора може да има било коју вредност из одређеног интервала. То значи да је F X (x) теоретска расподела коју очекујемо да генератор случајних бројева има. Претпоставимо да имамо n независних опсервација за X, чиме добијамо вредности X 1, X 2,, X n. Дефинишимо емпиријску функцију расподеле F n (x) као F n (x) = укупан број X 1, X 2,, X n који су x. (3.3) n Слика 3.3 илуструје емпиријску расподелу функције (приказану као цик-цак линија, иако вертикалне линије нису део графика функције F n (x)) и њен однос са очекиваном расподелом F X (x). Како n расте, очекујемо да ће F n (x) бити боља апроксимација функције F X (x). 23

29 Тестирање псеудослучајних бројева 1% 5% 25%50%75% 95% 99% Слика 3.3: Пример емпиријске расподеле. Колмогоров Смирнов тест упоређује F X (x) и F n (x) тако што мери разлику између ове две функције расподеле. За довољно велико n очекујемо да ће обе функције да буду сличне ако је низ који посматрамо заиста случајан. У циљу мерења разлике дефинишемо следеће статистике: K n + = n max <x<+ (F n(x) F X (x)), Kn = n max <x<+ (F X(x) F n (x)). Другим речима, K n + је највеће одступање када је F n веће од F X, а Kn је највеће одступање када је F n мање од F X. (Фактор n уводимо због тога што, за фиксирано x, стандардно одступање за F n (x) је пропорционално са 1 ; према томе множењем са n добијамо n да су K n + и Kn независни од n.) Ове статистике користимо тако што их упоредимо са вредностима из табеле А.2 (додатак А на страни 55), слично као код χ 2 теста. Податке из табеле читамо као и у χ 2 тесту: вероватноћа да је K 6 + мање од 1,1463 је 95 процената, и, како је расподела иста за K 6 + и K 6, можемо исто да кажемо и за K 6. За разлику од χ 2 теста, бројеви у табели нису апроксимације већ су тачне вредности (уз грешку приликом заокругљивања). Као и раније, потребно је да будемо пажљиви приликом избора броја n. Вредност n би требала да буде довољно велика да уочимо значајне разлике између функција расподеле F n (x) и F X (x), али опет веома велико n ће прикрити локалну неслучајност. Препоручује се да n буде око 1000 [9]. 3.3 Емпиријски тестови У овом поглављу ћемо размотрити неке емпиријске тестове које користимо да проверимо случајност низа. Сваки од ових тестова се примењује на низ реалних бројева [U n ] = U 0, U 1, U 2,, (3.4) за који очекујемо да је независтан и униформно расподељен између 0 и 1. Ипак, неки тестови су посебно дизајнирани за целобројне низове; у том случају посматраћемо низ [Y n ] = Y 0, Y 1, Y 2,, (3.5) 24

30 Тестирање псеудослучајних бројева који добијамо правилом Y n = du n. (3.6) На тај начин добијамо целобројни низ који би требало да је независтан и униформно расподељен између 0 и d 1 (d N) Тест фреквенција Први захтев који низ (3.4) мора да испуни је да су бројеви униформно расподељени између 0 и 1. Постоје два начина да извршимо овај тест: а) Коришћењем Колмогоров Смирнов теста, где је F X (x) = x за 0 x 1. б) Нека је d број облика 2 n, n N,1 и посматрајмо низ (3.5) уместо (3.4). За сваки цео број r, 0 r < d, избројимо колико пута је Y j = r за 0 j < n, а затим применимо χ 2 тест где је k = d и вероватноћа p s = 1 за сваку категорију. d Серијски тест Тест фреквенција испитује да ли се појединачни елементи низа јављају чешће него што би требало, али ми бисмо волели да су и парови узастопних бројева независни и униформно расподељени (на пример, у бинарном низу, (0, 0), (0, 1), (1, 0) и (1, 1) би требало да се јављају исти број пута). Да бисмо то проверили потребно је да избројимо колико пута се пар (Y 2j, Y 2j+1 ) = (q, r) јавља за 0 j < n. То је потребно да урадимо за сваки пар целих бројева (q, r) где је 0 q, r < d. Тада добијамо d 2 категорија за χ 2 тест, са вероватноћом 1 d2 за сваку категорију. Уместо да посматрамо само парове, овај метод можемо да генерализујемо и на тројке, четворке, и тако даље. Овде ипак морамо да будемо обазриви приликом избора броја d, а тај избор постаје тежи како расте димензија подскупова. У пракси се генерализовани метод ретко користи. Такође видимо да нам је потребно 2n елемената низа за n опсервација. Ако бисмо извршили овај тест на парове (Y 0, Y 1 ), (Y 1, Y 2 ),, (Y n 1, Y n ) то би значило да наше опсервације нису независне, а независност је неопходна у χ 2 тесту. Али можемо да извршимо серијски тест и на парове (Y 2j+1, Y 2j+2 ) и да очекујемо на низ прође оба теста Тест размака За свако U j у одређеном интервалу овај тест испитује дужину размака (енг. gap) између тог и следећег елемента који се налази у том интервалу. Ако су α и β два реална броја таква да је 0 α < β 1, ми тражимо дужину узастопних поднизова U j, U j+1,, U j+r, U j+(r+1) таквих да су U j и U j+(r+1) између α и β, али не и остали елементи подниза (то је размак дужине r). Затим ћемо извршити χ 2 тест на добијене резултате користећи различите дужине размака као категорије, и вероватноће: p 0 = p, p 1 = p(1 p), p 2 = p(1 p) 2,, p k = p(1 p) k, Овде је p = β α, што је вероватноћа да се било који елемент U j налази између α и β. 1Наравно, по претпоставци да користимо бинарни бројни систем. 25