Microsoft PowerPoint - AT 3-2 .ppt

Транскрипт

1 Алгоритам учења перцептрона Корак : Иницијализација. Нека је t=0 и нека вектор иницијалних тежинскиходноса w(t) R a дефинише иницијалнопресликавање од скривених неурона до излазног неурона. Корак : Изабрати стимулацију (подстреке) перцептрона примењујућиузоркеизобучавајућегскупа x k наслучајанначин, што се може исказати помоћу x k (t)=(s k (t),o k (t)) {0,}, где је o k циљни вектор, којипредстављазахтеваниодговорнастимулацију. Корак : Израчунати активацију неурона у скривеном слоју h k, на основуактивацијеулазнихнеурона, h k (t)= q(s k (t)). Корак 4: Израчунати активацију излазног неурона мреже r k, на основу активације неурона из скривеног слоја, r k (t)= f(net)= f(w(t) T, h k (t)), причемује f(net)=акоје net 0 и f(net)=0 акоје net < 0. Корак 5: Модификовати тежинске односе између скривених неурона иизлазногнеурона, w(t+)= w(t)+[ o k (t)- r k (t)]h k (t). Корак 6: Зауставитиучењеакоје t > t max или o k (t)= r k (t), за k=,...,n, иначенекаје t=t+итадајенеопходновратитисенакорак. 7/5

2 Детаљна анализа перцептрона у погледу могућности и ограничења примене Marvin Minsky и Seymour Papert (969) Главна карактеристика: линеарна дискриминациона функција у простору узорака у коначном броју итерација; y y x x a) Коректна класификација: самоза линеарно раздвајајуће класе узорака; а), самоједан процесирајући елемент перцептрона јепотребан, собзиром да је цела површина раздељена једном правом линијом на два одвојена региона, који су идентификовани са + и -; б), регион формиран од много правих линија => неопходно развити више перцептроназаовајпроблем. b) 8/5

3 Реализација логичког ИЛИ w =, w =, w =, w =, w =, w = -, θ = 0.5, θ =.5, θ = /5

4 Вишеслојни перцептрони Проширују могућности класификације на шире скупове; Уводе се појмови хиперраван и хиперпростор, тако да су хиперравни, за n-димензионални простор (хиперпростор), одређене n- димензијом; У n-димензионалном улазном простору X, хиперраван H која врши сепарацију, дефинисана је на следећи начин: w x + wx + + wn xn = θ = w0 w x x Вектор тежинских односа w = [w,w,,w n ] Т управанна хиперраван; H + X X Каолинеарнисепаратор, перцептрон има велика ограничења у погледу нелинеарних пресликавања (бинарнаактивационафункција). 0/5

5 Backpropagation (BP) неуронска мрежа Развијена са циљем да се реши проблем нелинеарног пресликавања из улазног простора у излазни простор; Остварује се и модификација тежинских односа и између улазног и скривеног слоја неурона; Као и перцептрон, BP неуронска мрежа је мрежа са простирањем сигнала унапред; Реализује супервизорски вид учења; Користиградијентнипоступакприобучавању; Учипресликавањаизулазногпростораузоркауизлазнипростор, кроз процес минимизације грешке између актуелног излаза и захтеваног излаза; /5

6 Backpropagation (BP) неуронска мрежа Процес учења почиње са презентацијом улазног облика узорка BP мрежи; Простирањем кроз мрежу улазног облика узорка остварује се излазни облик; Затим се примењује генералисано делта правило да би се утврдила грешканаизлазу, којупростирањемуназадпрекоскривеногслоја, користи за лагано модификовање сваког тежинског односа између неурона; Поступак се понавља за сваки нови узорак; Систем BP неуронске мреже користи сигмоидну активациону функцију; Применом генералисаног делта правила утврђена грешка се коригује, тако што се користи први извод сигмоидне функције f (net)= f (S). Уколикосигмоиднафункција f(net) бржерасте, онда требаизвршитивећукорекцијугрешкеиобрнуто. /5

7 Архитектура BP мреже bias Елементарна архитектура BP мреже има три слоја; СлојевиСлојеви потпуноповезани; Користисеиструктураса више од једног скривеног слоја. I= [i,i, i,...,i R ] T улазни слој скривени слој излазни слој O=[o,o, o,...,o S ] T Број неурона у сваком слоју зависи од области примене, као и број скривених слојева; Најчешће постоји само један скривени слој, јер је BP мрежа са таквом структуром у стању да обезбеди репродуковање скупа захтеваних излазних облика за све обучавајуће парове; ЕкстраЕкстра улаз - неурон је увек активан и има излазно стање bias неурон; Понашасеумрежикаоисвакидругинеурон, иимазадатакдапартиципира у процесу учења побољшава конвергентне карактеристике BPмреже. /5

8 Генералисано делта правило Применом генералисаног делта правилa остварују се основне карактеристике мреже генерализација и нелинеарно раздвајање; M број обучавајућих парова, R број неурона у улазном слоју и С број неурона у излазном слоју; Обучавајућипарови (x,y )...(x М,y М ), којисудоведенина улаз мреже, обезбеђују мрежи могућност да реализује нелинеарнопресликавањеизмеђу x i и y i вектора, за i=,...,м. Lбројслојевамрежеинекајеса означенсвакислој: = 0 улазнислој, =,...,L скривенислој(еви), = L излазнислој. 4/5

9 Генералисано делта правило Неуронскамрежаима K неуронаусвакомслоју (гдеје =,...,L), Улазиуk-тинеурон -тогслојасудатипреко, зај=,...,k (истовременои излази неурона претходног слоја), који се могу означити са ; Сумирана улазна вредност за k-ти неурон у слоју је: S Излаз из k-тог неурона у -том слоју је остварен као резултат активације неурона; Преко функције преноса пропушта се улаз дат преко израза: K = net = O = f j= Грешка на излазном слоју L, BP неуронске мреже, је представљена разликом између израчунатих и задатих излаза: w kj ( S ) I + θ k O E pi = K L k= ( ) y O 5/5

10 Генералисано делта правило Минимизација грешке: = = K K E pi ( y O ) = y f k ( S ) k = k= ( ) =... = K K 0 0 K K y fk wkj f j + w ju fu w jvoiv + θ u + θ j θ k k = = = = j u v ГрадијентгрешкеЕ p, уодносунатежинскеодносе (заизлазнислој (=)): E w O I ( y O ) = ( y O ) f ( S ) I pi = k kj wkj Негативни предзнак указује на то да је правац промене тежинских односа са негативним градијентом Еp. 6/5

11 Генералисано делта правило ПравацпростирањаградијентагрешкеЕ p. Инкремент промене тежинских односа, за задати параметар учења η, је: i kj ( y O ) f ( S ) I η δ I w = η = k δ = ( y O ) f ( S ) k Параметар учења η се најчешће бира у опсегу од 0.5 (спорије обучавање) до 0.75 (брже, али нестабилније); Тежински односи се итеративно мењају док грешка Еp не оствари минумумутачки z min. Метода променљивог параметра:у почетку обучавања параметар η већи, током обучавања η се смањује, омогућавајући тако мрежи боље карактеристике учења. 7/5

12 Генералисано делта правило Други скривени слој (=): E w pi ju = K K O I I ( y ) ( ) ( ) ( ) O = y O f k S wkj f j S I iu k = i ju Први скривени слој (=): O O w ju Наосновуописаноггенералисаногделтаправила, алгоритамучења BP мрежеможесепредставитипрекоседамкорака, датихунаставку. k = w = ηδ I δ = f j ( S ) δ wkj E w = pi uv K ( y O ) K k = K K ( y O ) f k ( S ) wkj f j ( S ) w ju f u ( S iu ) x iv k= = k= O j= I O O O iu O iu iu w K iwuv = ηδ iu xiv δ iu = fu ( Siu ) δ w j= iu uv ju 8/5

13 Алгоритам учења BP неуронске мреже 9/5

14 Коришћене сигмоидне функције 0/5

15 E p Глобалнии локални минимуми z z min Понекад се обучавање BP неуронске мреже зауставља у тачки која се налази негде на правцу простирања градијента Еp, пре него што је стварни минимум остварен, јер је та вредност грешке Еp задовољавајућа. То управо говори о комплексности проблема конвергенције. z w Попречни пресек хипотетичке комплекснеповршигрешкее p у простору тежинских односа; Тачка z min јеглобални минимум. Каоштосевиди, наслициимаидругихтачака, z и z, којепредстављају локалне минимуме; Градијентни поступак минимизацијегрешкее p има зациљдасеуместоових локалних минимума пронађе глобални минимум. /5

16 Стохастички алгоритам тражења глобалног минимума E p w() w() w() w(0) w(6) w(7) w(8) w(9) w() w(5) w(4) w(0) w() w() Корисна хеуристичка техника напуштања тренутног локалног минимума и конвергирања ка дубљим локалним минимумима; Иницијализација алгоритма је у тачки w(0); w w w Трајекторија конвергенције се креће ка стриктном локалном минимуму који се налазиуw ; Након дивергенције до тачке w(), алгоритам враћа трајекторију конвергенције у w(4) уз тренутно задржавање у близини стриктног локалног минимума w; Следећа итерација: кретање ка тачки w(6); Обезбеђује секвенцијално конвергирање ка глобалном минимуму у w(0); /5

17 Стохастички алгоритам тражења глобалног минимума Бегом изстриктног глобалног минимума, преко тачака w() и w() (узевентуални одлазакиутачку w()), алгоритам остварује конвергенцију у стриктном глобалном минимуму w ; E p w() w() w() w(0) w(6) w(7) w(8) w(9) w() w(5) w(4) w(0) w() w() w w w У практичној примени алгоритам спорије конвергира ка глобалном минимуму; Свакиследећипутпроцесјезнатнобржи! Наградно питање: Да ли је брзина конвергенције важна за учење неуронске мреже? Одговор: Да, завећинупроблемавезанихзапроцесодлучивања, посебно када су роботи у питању! /5

18 Софтвер за симулирање вештачких неуронских мрежа- BPnet У BPnet-у је спроведена стохастичка конвергенција; Реализовано је рескалирање вредности улазних и излазних неурона каоињиховонормирање, причемусутевредностисведенена распон од 0. до 0.9, због успешне и брже стохастичке конвергенције; Када је конвергенција успешно завршена, вредностисеконвертују, рескалирањем у супротном смеру у стварне вредности (нпр. углова ротацијезазглобоверобота, З.Миљковић-књига); Конвергенција грешке Еp се прати и преко неколико контрола софтвера BPnet ( min. saved error ); Важну улогу у процесу конвергенције грешке Еp има и параметар учења η; Морадабудедовољномаликакоутоку тражења глобалног минимума или дубљег локалног минимума не би дошло до тога да мрежа веома тешко и споро пронађе уопште било какав прихватљив минимум грешке Еp; За конкретан проблем оптимална вредност параметра учења η је била 0.. 4/5

19 Хвалана напажњи! Питања? :: ИТС :: Вештачке неуронске мреже 5/5