Sadržaj Sljepo razdvajaje sgala aalzom ezavsh kompoeata Što je sljepo razdvajaje sgala: ICA vs. PCA ear statčk problem Ivca Koprva ear damčk problem 9. studeog 007. Kjge, Web strace, J. V. Stoe, Idepedet Compoet Aalyss A tutoral, MI Press, 004. A. Hyvare, J. Karhue, E. Oja, Idepedet Compoet Aalyss, Joh Wley, 00. A. Cchock, S. Amar, Adaptve Bld Sgal ad Image Processg, Joh Wley, 00. Što je sljepo razdvajaje sgala? Zamslte stuacju u kojoj su sgal s dva mkrofoa težske kombacje dva sgala emtraa od govorka pozadskog šuma. Koferecje: Jauary, 999, Aussos, Frace Jue, 000, Helsk, Flad December, 00, Sa Dego, USA Aprl, 003, Nara, Japa September, 004, Graada, Spa March 006, Charlstoe, NC, USA September 007, odo, UK http://sg.est.fr/~cardoso/ http://www.cs.hut.f/ http://www.cl.salk.edu/ http://www.kecl.tt.co.jp/cl/sgal/ca003/ http://atc.ugr.es/ca004/ http://www.cel.ufl.edu/ca006/ http://www.elec.qmul.ac.uk/ca007/ x = a s + a s x = a s + a s Problem se sastoj u procje govorog sgala (s ) šuma (s ) z smljeh sgala x x. Kada b težsk koefcjet a, a, a a bl pozat problem b se rješo občom matrčom verzjom. ICA omogućava procjeu govorog sgala (s ) šuma (s ) bez pozavaja težskh koefcjeata a, a, a a. Zbog toga se problem rekostrukcje zvorh sgala s s azva problemom sljepog razdvajaja sgala. Što je sljepo razdvajaje sgala? Što je sljepo razdvajaje sgala? Okola S S a a a a X= AS x x Problem rekostrukcje vektora zvorh sgala s z statčke: X=AS, X R N, A R N M, S R M N broj sezora; M brojzvorhsgala(epozat!!!!) broj uzoraka Il damčke okole X=A*S M K x() t = am( k) sm( t k) m= k= 0 K red fltera? Izvor Sezor Mjereja korsteć samo vektor mjereja x te mmala broj a prorh formacja o zvorm sgalma. Ch. Jutte, J. Herault, Bld separato of sources, part I: A adaptve algorthm based o eurommetc archtecture, Sg. Proc., 4():-0, 99.
Što je sljepo razdvajaje sgala? Što je sljepo razdvajaje sgala? Aalza ezavsh kompoeata (ICA) uspješo rješava problem sljepog razdvajaja sgala pod uvjetom da su sgal s međusobo statstčk ezavs osm možda jedoga maju e-gaussove raspodjele. Uvjet je da je broj sezora N već l jedak broju zvora M. Moguće je proać matrcu skalara l matrcu mpulsh odzva W tako da bude: Y S=WX l Y S=W*X pr čemu važ Y PΛS. P je opća permutacjska matrca, a Λ je djagoala matrca. Okola S S SN.. X= AS Y= WX x y Algortam x razdvajaja y sgala. xn W. yn Izvor Sezor Mjereja P. Commo, Idepedet Compoet Aalyss a ew cocept?, Sgal Processg,36(3):87-34, 994. Učeje sa bez adzora Nadzrao Neadzrao Razdvajaje govorog sgala šuma s x y Neadzrao učeje se ostvaruje kroz mplemetacju prcpa reducraja zalhost. 3 3 H. Barlow, Possble prcples uderlyg the trasformato of sesory messages, Sesory Commucatos, pp. 4-34, 96. Uvjet za ICA? zvor sgal s (t) moraju bt statstčk ezavs. M p ( s) = pm( sm) m= zvor sgal s m (t), osm ajvše jedoga, moraju bt e-gaussov. C( sm) 0 > sm() t pm( sm) exp πσ σ m m matrca mješaja A mora bt e-sgulara (deta 0). W A Pozavaje fzkale terpretacje matrce mješaja poekad ma velku važost. Neodređeost ICA trasformacje? a) Varjaca (eergja) ezavsh kompoeata e može se odredt. o se azva eodređeost skalraja. Razlog je u tome da kada su S A epozat blo koj skalar multplkator s jedm od zvora se može poštt djeljejem odgovarajućeg stupca matrce A stm multplkatorom: X= m a αm ( s α ) m m m b) Poredak ezavsh kompoeata se e može odredt. o se azva permutacjskom eodređeost. Razlog je da se kompoete zvorog vektora s stupc matrce mješaja A mogu slobodo zamjet tako da bude X=AP - PS gdje je P permutacjska matrca, PS je ov zvor vektor s orgalm kompoetama al u drugačjem poretku, a AP - je ova epozata matrca mješaja.
Kako rad ICA? Zašto su Gaussove varjable zabrajee? Cetral grač teorem tvrd da je statstčka raspodjela leare kombacje x slučajh procesa s s blža Gaussovoj raspodjel ego su to raspodjele procesa s s. Jeda od ača da se zvede algortam sljepog razdvajaja sgala metodom aalze ezavsh kompoeata, proalažeje matrce W, je da se maksmzra mjera udaljeost od Gaussove raspodjele. Pretpostavmo da su dvje ezavse kompoete kompoete s s Gaussove. Njhova združea fukcja gustoće raspodjele vjerojatost daa je sa s + s s ps (, s) = exp = exp π π Pretpostavmo da su zvor sgal mješa s ortoormalom matrcom mješaja tj. A - =A. Njhova združea fukcja gustoće raspodjele vjerojatost daa je sa (, Ax ) = exp deta = A x = x deta = px x Kako rad ICA? π x = exp π Dstrbucje orgalh mješah sgala su detče e postoj ač a koj se može procjet matrca mješaja z mješah sgala. Maksmzacja udaljeost od Gaussove raspodjele ema smsla!!! Kako rad ICA? Da b se pokazao prcp rada ICA razmotrt ćemo dva ezavsa uformo dstrburaa sgala s s. Scatter djagram (grafčka lustracja združee fukcje gustoće raspodjele vjerojatost) a ljevoj slc pokazuje epostojaje redudacje zmeđu jh, tj. e može se steć kakvo zaje o s pozavajuć s. s s Desa slka prkazuje dva mješaa sgala dobvea prema x=as, gdje je A=[5 0;0 ]. Očgledo postoj zavsost zmeđu x x. Pozavajuć maksmum l mmum od x omogućava da se pogod x A se može procjet. No, što se događa kada zvor sga maju razlčte statstke? x = s + s x = s + s y s (?) y s (?) x x Izvor sgal Mješa sgal Kako rad ICA? Razmotrmo dva ezavsa zvora sgala s s geerraa kamoskm tekovskm motorma. Scatter djagram a ljevoj slc pokazuje da e postoj redudacja zmeđu zvorh sgala tj. a temelju formacja o s e može se predvdjet s. No dstrbucje su uforme ego su rjetke. Desa slka prkazuje mješae sgale dobvee prema X=AS gdje je A=[5 0;0 ]. Očgledo je da postoj zavsost zmeđu x x. No brdov su ovaj put a drugm mjestma. Procjea A z scatter djagrama bla b vrlo epouzdaa. ICA to može apravt za razlčte statstke zvorh sgala e zajuć h uaprjed. PCA ICA Da b se zdvojl zvor sgal (slke) potrebo je mmzrat statstčku ezavsost zmeđu mjereh sgala x x. Prv korak je mmzacja statstčke zavsost drugog reda tj. dekorelacja x x. o se rad sa PCA trasformacjom. Drug korak je mmzacja statstčke zavsost všeg reda. o se rad s ICA trasformacjom. o ma smsla samo ako su sgal od teresa e-gaussov. Izvor sgal Mješa sgal 3
Prostoro vremesk ezavs proces Proces x x j su prostoro ezavs ako važ: p( xx ) = p( x) p( x ) E[ xx ] = E[ x] E[ x ] j j j j j ICA vs. PCA Aalza glavh kompoeata (PCA) dekorelacja sgala. PCA je trasformacja koja se upotrebljava za dekorelacju vševarjablh skupova podataka. PCA se u kombacj s ICA vrlo često korst kao prv korak ako čega vševarjabl skup podatak postaje prostoro dekorelra s jedčom varjacom. PCA trasformacja se projektraju a temelju svojstvee dekompozcje matrce kovarjace od X: Proces x je vremesk ezavsa ako važ: ( () ( + τ) ) = ( ()) ( ( + τ) ) Extxt Ext E[ xt ] p x t x t p x t p x t [ ( ) ( + τ)] = [ ( )] ( + τ) τ 0 ( ) R / () t () xx = x x t t Podrazumjeva se da podac x maju ultu sredju vrjedost. o se lako postže sa x x- E{x}. Svojstvea dekompozcja R xx se dobje kao Rxx = EΛE gdje je E matrca svojstveh vektora a Λ je djagoala matrca svojstveh vrjedost matrce R xx. PCA trasformacja se dobje kao ICA vs. PCA / z = Vx= Λ Ex ICA vs. PCA Scatter djagram dva ekorelraa Gaussova sgala (ljevo); dva korelraa sgala dobvea kao leara kombacja dva ekorelraa Gausova sgala (cetar); dva sgala ako PCA trasformacje (deso). Pr čemu se lagao verfcra E zz = E Λ ExxEΛ = Λ E E xx EΛ / / / / / / / / = Λ EEΛ EEΛ = Λ ΛΛ = I I I x =N(0,4); x = N(0,9) z =x + x z =x + x y=λ -/ E z z=[z ;z ] ICA vs. PCA Zašto su Gaussove varjable zabrajee? Razmotrmo kombacju dva Gaussova sgala s =N(0,4) s =N(0,9). Nako dekorelacje scatter djagram je detča oom za zvore sgale. Nema redudacje ako dekorelacje ema posla za ICA. ICA vs. PCA Dekorelacja je polovca ICA. PCA trasformacja dekorelra sgale. Ako su sgal e-gaussov to h e č ezavsm. PCA trasformacja je občo korsta prv korak u ICA. Drug korak rotacje s utarom matrcom se može dobt pomoću ICA eksploatrajuć e-gaussov karakter sgala. Izvor sgal Mješa sgal Dekorelra sgal Izvor sgal Mješa sgal Dekorelra sgal 4
PCA prmjeje a ekstrakcju slke: PCA Hstogram zvorh, mješah PCA zdvojeh slka z z MAAB code: R x =cov(x ); % procjea matrce kovarjace [E,D] = eg(r x ); % svojstvea dekompozcja matrce kovarjace Z = E *X; % PCA trasformacja z =reshape(z(,:),p,q); % trasformacja vektora u slku fgure(); magesc(z ); % prkaz prve PCA slke z =reshape(z(,:),p,q); % trasformacja vektora u slku fgure(); magesc(z ); % prkaz druge PCA slke Izvore slke Mješae slke PCA zdvojee slke ICA za leara statčk problem Maksmzacja udaljeost od Gaussove raspodjele Maksmzacja udaljeost od Gaussove raspodjele Cetral grač teorem tvrd da je statstčka raspodjela leare kombacje x =a s + a s slučajh procesa s s blža Gaussovoj raspodjel ego su to raspodjele procesa s s. Jeda od ača da se zvede algortam sljepog razdvajaja sgala metodom aalze ezavsh kompoeata, proalažeje matrce W, je da se maksmzra mjera udaljeost od Gaussove raspodjele. Slučaj proces se klasfcraju a super-gaussove, Gaussov sub-gaussove prema vrjedost parametra zvaog kurtozs. Za slučaj proces x sa ultom sredjom vrjedošću kurtozs je defra sa Ex κ ( x) = 3 4 ( ) ( Ex ( )) p p Ex [ ] x ( t), p,4 t = { } Maksmzacja udaljeost od Gaussove raspodjele Pretpostavmo da je vektorsk slučaj proces Z stadardzra (ulta sredja vrjedost jedča varjaca). Izvor sgal s m se dobje kao s = m Kurtozs slučajog procesa s m je wz ( ) 4 κ ( s ) = E[ s ] 3 m Vektor razdvajaja w se dobje kao rješeje optmzacjskog problema J( w) = max{ κ( s )} max{ ( )} m = κ w Z w w m ( ) κ E ( wz) w = = sg ( sm) w w 3 = 4 sg ( sm) E( smz) 4 Maksmzacja udaljeost od Gaussove raspodjele Prje zdvajaja ovog zvorog sgala potrebo je z mjereh podataka Z elmrat već zdvojee zvore sgale: W w w w = p ( ) Zˆ I W( W W) W Z Da b varjaca sgala s m ostala jedča potrebo je ormalzrat w pr svakom koraku adaptacje w w w 5
ICA za leara statčk problem ICA metodom maksmale vjerojatost (MV) 4. Vjerojatost ICA modela bez šuma x=as se formulra kao: px ( x) = det W ps( s) = det W pm( sm) gdje W=[w w w N ]=A -. MV zač da želmo maksmzrat vjerojatost da su podac x dobve sa modelom x=as. Buduć je s m =w m x, p x (x) se može apsat kao: m p x( x) det W pm( wmx) m = 4 D.. Pham, Bld separato of mxtures of depedet sources through a quasmaxmum lkelhood approach, IEEE ras. Sgal Processg 45, pp. 7-75, 997. Vjerojatost (W) se procjejuje preko mjereja kao: M ( ) = m( m ( )) det t= m= W p w x t W Normalzraa log-vjerojatost se dobje kao: M { m m m } log ( W ) = E log p ( w x ( t )) + log det W = Gradjet log-vjerojatost daje: W log E W W Wx x = = { ϕ( ) } gdje se elearost ϕ(y ) azva score fukcjom daom sa dp ϕ = p dy Eukldov gradjet se mora korgrat tezorom W W 5,6 što daje batch MV ICA algortam: { ϕ } W ( k+ ) = W ( k) + η E ( ) I y y W ( k) Adaptva MV ICA algortam se dobje spuštajem matematčkog očekvaja: W + = W + I y y W ( t ) ( t) η ϕ( ( t)) ( t) ( t) 5 S.Amar, Natural gradet works effcetly learg, Neural Computato 0(), 5-76, 998. 6 J.F.Cardoso ad B.aheld, Equvarat adaptve source separato, IEEE ras. o Sgal Proc. 44(), 307-3030, 996. Prrod gradjet Parametarsk prostor kvadrath matrca ma Remaovu geometrju. Eukldov gradjet skalare fukcje J s matrčm argumetom W e pokazuje u smjeru ajbrže promjee fukcje J. Eukldov gradjet je potrebo korgrat s člaom W W da b se dobo gradjet prroda za parametarsk prostor kvadrath matrca. PG J ( ( )) = ( J ( ) ) W W W W W Optmal zbor elearost ϕ(y) ovs o epozatoj raspodjel sgala. Fleksbla elearost koja je dobra za šrok spektra dstrbucja može se zvest z poopćee Gaussove raspodjele 7,8 : θ θ y p( y) = exp σ Γ ( θ) θ σ S jedm parametrom θ (Gaussov ekspoet) mogu se modelrat super- Gaussove raspodjele (θ <) sub- Gaussove raspodjele(θ >). 7 S. Cho, A. Cchock, S. Amar, Flexble Idepedet Compoet Aalyss, Joural VSI, KAP, 000. 8. Zhag, A. Cchock, S. Amar, Self-adaptve Bld Source Separato Based o Actvato Fucto adaptato, IEEE ra. O Neural Networks, vol. 5, No., pp. 33-44, March, 004. 6
Ako se poopćea Gaussova raspodjela supsttura u zraz sa score fukcju dobje se: ϕ ( y ) = sg( y ) y θ Ako je raspoložvo a proro zaje o statstčkoj raspodjel zvorh sgala θ se može fksrat uaprjed. Na prmjer ako su zvor sgal govor l glazba θ se može postavt a θ =, zbog toga što govor glazba spadaju u klasu super-gaussovh sgala. Ako su zvor sgal komukacjsk sgal θ se može postavt a θ =.5 l θ =3, zbog toga što su komukacjsk sgal sub-gaussov. Alteratva je da se θ procjejuje adaptvo z samh podataka 7. U Ref.[9] je predlože prstup procje score fukcje z podataka. emelj se a procje fukcje gustoće raspodjele vjerojatost korsteć estmator sa Gaussovom jezgrom. pˆ ( y( t), y ) = G( y( t) y( tt), σ ) I tt= dpˆ ( y ) y ( t) y ( tt) = G y t I dy tt= σ y () t G( y (), t σ I) = exp πσ σ ( (), σ ) 9 S J.C. Prcpe, D. Xu ad J.W. Fsher, Iformato-heoretc earg, Chapter 7 Usupervsed Adaptve Flterg- Volume I Bld Source Separato, ed. S. Hayk, J. Wley, 000.. Scatter djagram PCA ICA zdvojeh sgala PCA ICA zdvojee slke. PCA ICA (m MV(y)). Izvor sgal PCA zdvoje sgal ICA zdvoje sgal (m MV(y)). Domaća zadaća: - reproducrat ove rezultate Domaća zadaća: - reproducrat ove rezultate Hstogram PCA ICA zdvojeh slka Izdvojee slke PCA zdvojee slke ICA zdvojee slke Ostal ICA algortm za statčk problem Iformacjsko-terorjsk prstup 0- ezorske metode (Kumulat četvrtog reda) 3 Vremesk zakašjele korelacje 4-7 Kerel ICA algortam 8 0 A. Hyväre ad E. Oja, A fast fxed-pot algorthm for depedet compoet aalyss, Neural Computato, vol. 9, pp. 483-49, 997. A. J. Bell ad. J. Sejowsk, A formato-maxmzato approach to bld separato ad bld decovoluto, Neural Computato vol. 7, 9-59, 995. D. Erdogmus, K. E. Hld II, Y. N. Rao ad J.C. Prcpe, Mmax Mutual Iformato Approach for Idepedet Compoet Aalyss, Neural Computato, vol. 6, No. 6, pp. 35-5, Jue, 004. 3 J. F. Cardoso ad A. Souloumac, Bld beamformg for o-gaussa sgals, IEE-Proc. F, vol. 40, pp. 36-370, 993. 4. Molgedey ad H. G. Schuster, Separato of mxture of depedet sgals usg tme delayed correlatos, Physcal Revew etters, vol. 7, pp. 3634-3636, 994. 5. og, R.W. u, V.C. Soo, ad Y. F. Huag, Idetermacy ad detfablty of bld detfcato, IEEE ras. o Crcuts ad Systems, 38:499-509, 99 6 A. Belouchram, K.A. Meram, J.F. Cardoso, ad E. Moules, A bld source separato techque based o secod order statstcs, IEEE ras. o Sgal Processg, 45(), pp. 434-444, 997. 7 A. Zehe, K.R. Muller, G. Nolte, B. M. Mackert, ad G. Curo, DSEP-a effcet algorthm for bld separato usg tme structure, Proc. ICANN 98, pp. 675-680, Skovde, Swede, 998. 8 F. R. Bach ad M. I. Jorda Kerel Idepedet Compoet Aalyss, Joural of Mache earg Research 3, pp.-48, 00. 7
Nek zamljv lkov ICAAB programsk paket-riken Bra Scece Isttute (okyo, Japa): http://www.bsp.bra.rke.jp/icaab/icaabsgalproc/ ICA za leara damčk problem MAAB kod za FastICA algortam (Helsk Uversty of echology, Helsk, Fska): http://www.cs.hut.f/projects/ca/fastca/. rješeje problema sljepog razdvajaja sgala u kovolucjskm sustavma MAAB kod za kerel-ica algortam (UC Berkley, SAD): http://www.cs.berkeley.edu/~fbach/kerel-ca/ MAAB kod za JADE algortam (ENS, Pars, Fracuska) : http://www.ts.est.fr/~cardoso/algo/jade/jade.m Damčk problem U mogm stuacjama u području akustke komukacja prmlje sgal su superpozcje všestrukh refleksja epozath zvorh sgala. aj feome je pozat pod popularm azvom cocktal- party problem. Damčk problem Kovolucjsk model za sustav x: x ( ) = a ( l) s ( l) m=, j jm m m l = = 0 Damčk problem se može opsat matrcom mješaja čj su elemet prjeose fukcje zmeđu pojedačh zvora sezora. Kada su matrca prjeosh fukcja zvor sgal epozat problem se azva všekaalom sljepom dekovolucjom (VSD) 9-. 9 A. Hyvare, J. Karhue ad E. Oja, Chapter 9 Idepedet Compoet Aalyss, J. Wley, 00. 0 A. Cchock, S. Amar, Chapter 9 Adaptve Bld Sgal ad Image Processg earg Algorthms ad Applcatos, J. Wley, 00. R. H. ambert ad C.. Nkas, Chapter 9 Usupervsed Adaptve Flterg Volume I Bld Source Separato, S.Hayk, ed., J. Wley, 000. S.C. Douglas ad S. Hayk, Chapter 3 Usupervsed Adaptve Flterg Volume II Bld Decovoluto, S. Hayk, ed., J. Wley, 000. Damčk problem Vsekaala sljepa dekovolucja = Sljepa separacja + Jedokaala sljepa dekovolucja rjesava problem prostore terferecje rjesava problem vremeske terferecje Damčk problem Všekaalo sljepo verzo modelraje, ekvalzacja razdvajaje. Ulaz sgal je epozat te ema referetog l željeog sgala. Problem jedokaale sljepe dekovolucje još je pozat pod azvom sljepa ekvalzacja. U rekostrukcj audo sgala rješeje sljepe separacje je dovoljo. Zbog obojeh statstka audo sgala potpua dekovolucja je poželja jer mog algortm maju učak bjeljeja spektra, što uštava tegrtet sgala. U všekaalm komukacjskm sustavma separacja dekovolucja su uže. Kako su komukacjsk sgal aproksmatvo..d. proces, problem sljepe dekovolucje je lakše rješv. U odosu a statčk problem, elemet matrce mješaja A u kovolucjskom modelu su fltr a j. O sadrže mpulse odzve zmeđu j tog ulaza tog zlaza. M ćemo zbog jedostavost pretpostavt da je broj zlaza ulaza st jedak N. 8
Notacja. NxN matrca mješaja je opsaa kao: A( z) = A z = aj( z) = a ( z) = a z, j =... N. j Damčk problem = j, Podrazumjeva se da je svak kaal stabla, tj. aj, <. = A(z) je matrca poloma l matrca auretovh razvoja u red. A je koefcjet matrčog poloma l koefcjet matrčog auretovog razvoja. Damčk (kovolucjsk) model u Z dome: x( z) = A( z) s( z) gdje su zvor, mjere rekostrura sgal opsa dvostraom Z trasformacjom: s( z) = s, z = x( z) = x, z Iverz sustav je opsa sa: =, y ( z) = y z =... N Damčk problem = W( z) = W z = wj( z) = w ( ) j z = wj, z, j =... N = Real kaal su kauzal s koačm redom A( z) = Az = aj( z) = 0 Red kaala se mora procjet, a u vez je s maksmalm kašjejem τ max koje se može dest u tzv. multpath scearju: τ F max s gdje F s predstavlja frekvecju otpkavaja. Međutm, ekauzala reprezetacja je uža za modelraje verza emmalo fazh (NMF) kaala: W( z) = Wz = wj( z) = w ( z) = w z, j =... N. j Damčk problem = j, Rekostrura sgal se dobju kao: N Damčk problem y () t = w () l x ( t l) =... N j j = = j l Nekauzala mplemetacja verzh sustava zahtjeva da mjere sgal budu pozat uaprjed u vremeu (prje ego su se stvaro dogodl). Kako to je ostvarvo, uvod se lja za kašjeje od uzoraka čme se realzra ekauzala mplemetacja: N y ( t ) = w ( l) x ( t l) =... N j j = = j l o ma za posljedcu kašjeje od uzoraka ezavso od toga da l se rad s adaptvm l blok-adaptvm mplemetacjama. Zašto stabla verz NMF sustava zahtjeva e-kauzalu mplemetacju? Razmotrmo prjeosu fukcju prvog reda: wj Damčk problem ( z) = az za ek reala a. Smatra se da je w j (z) verz drektog fltra a j (z)=-az -. Područje kovergecje (PK) je dao sa: z > a Pretpostavmo a <. ada polov w j (z) leže uutar jedče kružce za z=exp(jω), te se w j (z) može reprezetrat kauzalom (jedostraom) z-trasformacjom: wj ( z) = = a z az = 0 Pretpostavmo sada da je a >. ada polov w j (z) leže zva jedče kružce za z=exp(jω). U tom slučaju područje kovergecje postaje z < a Sekveca sa z-trasformacjom w j (z)=/(-az - ) gorjm područjem kovergecje je daa sa: wj ( ) = a u( ) gdje u() predstavlja step fukcju. z-trasformacja od w j () se sada dobje kao: j = = = w ( z) = w ( ) z = a u( ) z = a z j Damčk problem što predstavlja stablu (/ a )< al e-kauzalu mplemetacju verza NMF kaala a j (z)=-az -. 9
Jedokaala sljepa dekovolucja Matematčka formulacja: yt () = wxt ( l) l= l l= 0 x() t = a s( t l) l Pretpostavke: P) Izvor sgal moraju bt e-gaussovsk. Zbog cetralog gračog teorema x(t) je vrlo blzak Gaussovom procesu čak kada je s(t) e-gaussov. Maksmzacjom udaljeost od Gaussove raspodjele ema smsla ako su zvor sgal Gaussov. P) Izvor sgal moraju bt ezavs detčo dstrbura (..d.) proces (vremesk bjel): E[ s()( t s t l) ] = σδl p ( t ) = p ( t ) s s Jedokaala sljepa dekovolucja Jedokaala sljepa dekovolucja kao statčk ICA problem: x As [ ] s () t = s() t s( t )... s( t + ) [ ] x () t = x() t x( t )... x( t + ) ICA zahtjeva statstčku ezavsost što mplcra: [ ] σδl E stst ( ) ( l) = l= 0,,, što je s ekvvaleto..d. pretpostavc. A aa... a 0 aa.. a... 0...0 a = Všekaala sljepa dekovolucja Iste pretpostavke se prmjejuju a všekaalu sljepu dekovolucju (VSD=SRS+JSD): P) sv zvor sgal moraju bt e-gaussov. P) sv zvor sgal moraju bt statstčk ezavs..d. proces: E s ( t p) s ( t q) = σδ δ j j pq Opće rješeje problema sljepog razdvajaja sgala je dao sa: G( z) = W( z) A( z) = PΛD( z) gdje je P opća permutacjska matrca, Λ je djagoala matrca, D( z) = dag{ D( z) D( z)... DN ( z) } D( z) = d p pz p VSD u vremeskom području Vremesko područje s povratom vezom. Asmptotska rješeja za separacjske fltre. W ( z) = A ( z) A ( z) W ( z) = A ( z) A ( z) l = W ( z) A ( z) A ( z) W ( z) = A ( z) A ( z) U općem slučaju clj SRS je da se zdvoje skalrae fltrrae verzje epozath zvorh sgala. VSD u vremeskom području Prstup preko rekurzvh arhtektura (povrata veza). (+) Učak bjeljeja sgala je elmra zbog čjece sgal y (t) moraju mat vremesku strukturu da b poštl odgovarajuć zvor sgal s j (t) u mjereom sgalu x (t). (-) Nje moguće realzrat e-kauzalu mplemetacju užu za verzju emmalo fazh kaala. VSD u vremeskom području Vremesko područje bez povrate veze. Asmptotska rješeja za separacjske fltre. y ( k) = x ( k) w ( l) y ( k l) l= y ( k) = x ( k) w ( l) y ( k l) l= W ( z) = A ( z) A ( z) W ( z) = A ( z) A ( z) l W ( z) = A ( z) A ( z) W ( z) = A ( z) A ( z) 0
VSD u vremeskom području Vremesko područje bez povrate veze. (+) Ne-kauzala realzacja uža za mplemetacju verza NMF kaala se lagao mplemetra čstom ljom za kašjeje. (-) Izdvoje sgal su zbjeljee verzje zvorh sgala. Kotrasta fukcja za VSD se u već slučajeva zvod l je u vez sa formulacjom VSD problema preko metode maksmale vjerojatost 0,3. { ˆ } J ( W) = f ( x)log fˆ ( x, W) dx= E log f ( x, W) MV VSD u vremeskom području x x x x pr čemu je fˆ (, ) fˆ (, )/ f ( ) x xw = f ( ) x xw x x x x y ( k ) = x ( k ) w ( l ) x ( k l ) l= y ( k ) = x ( k ) w ( l ) x ( k l ) l= Kotrasta fukcja se može apsat kao ˆ ( ) J ( W) = D f f H( f ) MV x x x gdje D() predstavlja Kullback-ebler udaljeost a H() je Shaoova l dferecjala etropja. 3 D.. Dooho, O mmum etropy decovoluto, D.F. Fdley, ed., Appled me Seres Aalyss II, Academc Press, pp.565-608, 98. VSD u vremeskom području Pravlo učeja za W se dobje kao: ( ˆ J ( ) D f f ) MV W x x W = W W VSD u vremeskom području Kako je već pokazao parametrzra oblk score fukcja se zvod z poopćee Gaussove raspodjele: ϕ ( y ) = sg( y ) y θ što zač da je maksmzacja vjerojatost ekvvaleta mmzacj udaljeost zmeđu toče al epozate fukcje gustoće raspodjele vjerojatost jeog modela za da skup mjereja. Kada se pravla učeja za VSD zvedu maksmzacjom fukcje vjerojatost o će poovo sadržavat score fukcje: dfs ( y ) ϕ ( y) = fs ( y) dy gdje jeda parametar θ (koj se zove Gaussov ekspoet) može modelrat super- Gaussove raspodjele (θ <) sub-gaussove raspodjele (θ >). Ako se VSD prmjejuje a probleme u komukacjama θ =3 je dobar zbor daje: ϕ ( y) = sg( y) y Ako se VSD prmjejuje a audo sgale θ = je dobar zbor daje: ϕ ( y ) = sg( y ) VSD u vremeskom području VSD u vremeskom području O-le ICA algortam metodom maksmale vjerojatost za sljepo razdvajaje sgala z kovolucjskog mmalo fazog modela. Arhtektura s povratom vezom. Oboje sgal, kao govor, mogu bt zdvoje. J ( ϕ( y)) wj (,) t l = ϕ ( y ) yj ( t l) w () l j w ( t+,) l = w (,) t l + µ w (,) t l j j j N j l= j j j= y () t = x () t w (,) t l y ( t l) gdje,j ozačavaju dekse sgala, t ozačava deks teracje, l ozačava deks koefcjeta, a µ predstavlja kostatu učeja. Ako su zvor sgal bjel (..d.) arhtektura bez povrate veze se može uporabt u vremeskom području za realzacju e-kauzale mplemetacje potrebe za aproksmacju verza NMF kaala 0,4. p= 0 y() t = W () t x( t p) p= 0 p H u() t = W () t y( t p) p H ( ϕ ) W ( t+ ) = W ( t) + η( t) W ( t) ( y( t )) u ( t p) p= 0,..., p p p gdje je g() fukcjsk verze od ϕ tako da važ: ϕ ( g ( y )) = y je duža fltra, t je deks vremea, p je deks koefcjeta matrčog poloma, a η je mala kostata učeja. 4 S. Amar, S.C.Douglas, A. Chock ad H.H. Yag, Multchael Bld Decovoluto ad Equalzato Usg the Natural Gradet, IEEE Iteratoal Workshop o Wreless Commucato, Pars 997, pp. 0-04.
Všekaala sljepa dekovolucja Všekaala sljepa separacja dekovolucja u vremeskom području (+) adaptva formulacja je ostvarva. (-) spora kovergecja. (-) oboje sgal se zbjeljuju u strukturama bez povrate veze (feedforward archtecture). (-) bjeljeje se može zbjeć u strukturama s povratom vezom. No to oemogućava mplemetacju ekauzalh verzh fltera užh za aproksmacju stablog verza NMF kaala. Všekaala sljepa separacja dekovolucja u frekvecjskom području (+) brža kovergecja zbog ortogoalost frekvecjskh uzoraka. (+) uvjet za ekauzalu mplemetacju je prrodo zadovolje kroz blok mplemetacju. (-) samo je blok-adaptva mplemetacja moguća. (-) permutacja a raz frekvecjskh uzoraka uzrokuje poteškoće kada sgal trebaju bt trasformra u vremesko područje. (-) račusk zahtjevja za mplemetacju. Rješeje VSD u frekvecjskom području Matematčka formulacja: X= FF[ x] ( ) W ( ) ( ) H k l+ = W k l + I Φ Y Y k k W k( l) Yk = WkXk y = IFF[ Y] gdje k ozačava deks frekvecjskog uzorka a l ozačava deks teracje. Permutacjska eodređeost je ozblja problem ako se VSD mplemetra kompleto u frekvecjskom području. ( WA k ) ( ) k = PΛ k k W k A k = P k Λ k Kompoete a stm pozcjama u razlčtm frekvecjskm uzorcma e prpadaju stom sgalu. Neleara fukcja u frekvecjskom području može se korstt kao u 5 jarg( Yk ) Φ k( Yk) = tah( η Yk ) e 5 H. Sawada, R. Muka, S. Arak, S. Mako, Polar Coordate based Nolear Fucto for Frequecy- Doma Bld Source Separato, IEICE ras. Fudametals, Vol. E86-A, No. 3, March 003. Rješeje VSD u frekvecjskom području Kombraa mplemetacja u vremeskom frekvecjskom području. Kompromso rješeje je zvest fltrraje u frekvecjskom području a račuaje elearost-test ezavsost (što uzrokuje permutacjsku eodređeost) u vremeskom području 6,7 X= FF[ x] ( Y ) FF [ ϕ( y )] Φ = y = IFF ( Y ) ( ) W ( ) ( ) H k l+ = W k l + µ I Φ Y Y k k W k( l) Y = W X k k k gdje k ozačava deks frekvecjskog uzorka, l ozačava deks teracje, ozačava deks sgala a µ predstavlja kostatu učeja. 6 A. D. Back, A.C. so, Proc. of the 994 IEEE Workshop Neural Networks for Sgal Processg IV, p.565, ed. J. Vlotzos, J.N. Hwag, E. Wlso. 7 I.Koprva, H. Szu, A.Pers, Optcs Comm., Vol. 03 (3-6) pp. 97-, 00. Prmjea rješeja damčkog problema Razdvajaje govorh sgala u reverbloj akustčkoj okol. Smlje sgal su skut s: http://home.socal.rr.com/russdsp. Sgal su otpka s 8kHz a sadrže stovreme mušk žesk govor u trajaju od sekud. Prmjea rješeja damčkog problema Parameter procesa separacje su duža fltra, Gaussov expoet θ, te kostata učeja µ. Pr frekvecj otpkavaja od 8kHz duž fltra od =04 uzorka, može se aproksmrat relatvo kašjeje od 64ms. Pr brz zvuka u zraku od 330 ms - to korespodra s razlkom u putu od m. Sljedeć sgal su rekostrura s =04, θ =.0 µ=0.005.