Korištenje distribucije osvjetljenja za ostvaranje brzih i točnih metode za postojanost boja Nikola Banić 26. rujna 2014.
Sadržaj Postojanost boja Ubrzavanje lokalnog podešavanja boja Distribucija najčešćih osvjetljenja Korištenje distribucije najčešćih osvjetljenja Zaključak 2
Osvjetljenje 3
Model formiranja slike f c (x) vrijednost na poziciji x za kanal c {R, G, B} 4
Model formiranja slike f c (x) vrijednost na poziciji x za kanal c {R, G, B} ω vidljivi spektar R(x, λ) odsjaj površine na poziciji x za valnu duljinu λ 5
Model formiranja slike f c (x) vrijednost na poziciji x za kanal c {R, G, B} ω vidljivi spektar R(x, λ) odsjaj površine na poziciji x za valnu duljinu λ ρ c (λ) osjetljivost senzora kamere na valnu duljinu λ za kanal c 6
Model formiranja slike f c (x) vrijednost na poziciji x za kanal c {R, G, B} ω vidljivi spektar R(x, λ) odsjaj površine na poziciji x za valnu duljinu λ ρ c (λ) osjetljivost senzora kamere na valnu duljinu λ za kanal c I(λ) spektralna razdioba izvora svjetlosti pretpostavlja se uniformno osvjetljenje 7
Model formiranja slike e promatrani izvor svjetlosti to nas zanima idealni slučaj bijelo svjetlo: e R = e G = e B matematički loše postavljen problem potrebne su dodatne pretpostavke 8
Model formiranja slike Za uspješnu kromatsku adaptaciju dovoljan je samo smjer od e Redukcija jedne dimenzije Može se koristiti kromatičnost r = R R+G+B, g = G R+G+B, b = R R+G+B Budući da je r + g + b = 1, dovoljne su samo dvije komponente 9
Računalna postojanost boja Postojanost boja (engl. color constancy, njem. Farbkonstanz) postiže se uravnotežavanjem bijele boje (engl. white balancing, njem. Weißabgleich) Koraci u ostvarivanju su: 1. Procjena osvjetljenja procjenjuje se vektor e važan je samo smjer, ne i iznos svaki algoritam za procjenu osvjetljenja uvodi svoje dodatne pretpostavke najvažniji i najteži korak 2. Kromatska adaptacija korištenje procijenjenog osvjetljenja za popravljanje izgleda slike ako je procjena e=[e R, e G, e B ] T i ako su kanali slike R, G i B, onda se kanali popravljene slike dobivaju kao αr, βg i γb pri čemu vrijedi αe R = βe G = γe B npr. α = e G / e R, β = 1, γ = e G / e B 10
Automatska procjena osvjetljenja 1. Statističke metode brže i jednostavnije za implementaciju koriste statistiku u pikselima 2. Metode zasnovane na učenju koriste se različiti algoritmi za učenje različitih svojstava na temelju različitih značajki slike Otvoreno područje istraživanja 11
Retinex Provodi se za zadani kanal I Računa se svjetlina svakog piksela Kroz svaki piksel se provuku staze 12
Random Sprays Retinex
Random Sprays Retinex I( )
Random Sprays Retinex I( )
Random Sprays Retinex I( )= I( ) max I( )
Random Sprays Retinex I( ) I( )= 1 N ΣN i=1 max I( i )
Random Sprays Retinex originalna slika RSR s parametrima N=1, n=4 18
Random Sprays Retinex RSR s parametrima N=5, n=20 RSR s parametrima N=20, n=400 19
Light Random Sprays Retinex = 20
Light Random Sprays Retinex = 21
Light Random Sprays Retinex 22
Light Random Sprays Retinex 23
Light Random Sprays Retinex 24
27
28
Light Random Sprays Retinex Složenost: O(nM) n veličina spreja M broj piksela u slici (veličina slike) Nije prikladno za izvedbu u stvarnom vremenu Korištenjem interpolacije postiže se ubrzanje, ali pada i kvaliteta rezultata 29
Ubrzanje Kritični dio: računanje maksimuma u spreju: O(n) Pokušati kombinirati operacije Što je zajedničko obradi pojedinih piksela? Na koji način se to može iskoristiti? 30
Zajedničko 31
Zajedničko 32
Zajedničko 33
Zajedničko 34
Zajedničko 35
Zajedničko 36
Zajedničko 37
Zajedničko 38
Zajedničko 39
Zajedničko 40
Zajedničko 41
Zajedničko 42
Zajedničko 43
Zajedničko 44
Zajedničko 45
Zajedničko 46
Računanje maksimuma Za svaki sprej je potrebno izračunati maksimum Kod promjene spreja treba odrediti novi maksimum Dodavanje piksela nije problem jedna usporedba Uklanjanje piksela je problem n usporedbi 47
Računanje maksimuma Cilj je izbjeći preračunavanje maksimuma kod kojeg se pregledava cijeli sprej Ovaj problem moguće je riješiti pametnom organizacijom intenziteta piksela spreja Postoji nekoliko rješenja 48
Računanje maksimuma Kartezijevo stablo Struktura koja glumi red i omogućuje upit maksimuma Umetanje nove vrijednosti: amortizirano O(1) Uklanjanje najstarije vrijednosti: O(1) Određivanje maksimuma: O(1) Dva stoga Simulacija reda uz upit maksimuma Umetanje nove vrijednosti: O(1) Uklanjanje najstarije vrijednosti: amortizirano O(1) Određivanje maksimuma: O(1) 49
Ubrzanje Stara složenost: O(nM) Nova složenost: O(n+M) Novi algoritam: Light Random Memory Sprays Retinex 50
Utjecaj na rezultat 51
52
53
54
55
Osvjetljenje Većina osvjeteljenja se može modelirati zračenjem idealnog crnog tijela 56
57
58
Osvjetljenje 59
Osvjetljenje 60
Osvjetljenje 61
Greyball 62
ColorChecker 63
NUS baze 64
Osvjetljenje 65
GreyBall kromatičnosti svjetla
GreyBall kromatičnost svjetla
Distribucija boja Prostorne informacije ne donose ništa što ne bi donijela i raspodjela boja Sliku predstaviti histogramom boja Histogram se može dodatno sažeti (PCA) Hiperparametar: razlučivost histograma n Hiperparametar: broj glavnih komponenti k
Povezivanje Kako povezati distribuciju s vrijednosti x? Više je mogućnosti Odabrana mogućnost: linearna regresija Ostale testirane mogućnosti su se pokazale lošijima
Color Cat Rezolucija histograma: n Broj glavnih komponenti: k Histogram: h = (h 1,..., h n 3) T PCA matrica: M Koeficijenti linearne regresije: c Parametri linije: a 1, a 0 Granice crvene komponente: r 0, r 1 70
Color Cat
Rezultati 72
Rezultati 73
Rezultati
Drugi pristup 75
Drugi pristup 76
Drugi pristup Svaki centar predstavlja jedno osvjetljenje Odrediti najprikladniji centar za danu sliku Problem procjene osvjetljenja se svodi na klasifikaciju Što je više centara, to je veća maksimalna moguća točnost, ali je i problem klasifikacije teži 77
Idealna klasifikacija 78
Postojeći pristup Ideja je već patentirana US 20140241620 A1 Illumination Estimation Using Natural Scene Statistics Nema eksperimentalne analize 79
Postojeći pristup U patentu se kao značajke koriste histogrami kromatičnosti Ulogu klasifikatora ima multivarijatni Gaussov klasifikator 80
Promjena pristupa Korištenje histograma boja Ulogu klasifikatora preuzima AdaBoost (CE) Dodatan pokušaj: k-nn (CA) Mnogo manja potreba za sažimanjem histograma 81
Alternativni pristup Korištenje izračunatih centara za navođenje postojećih metoda Nema više potrebe za histogramima Jednostavna nadogradnja na gotovo bilo koju metodu Color Dog (CD) 82
Alternativni pristup 83
Rezultati 84
Rezultati 85
Rezultati 86
Zaključak Postojanost boja je zahtjevan i loše postavljem problem Korištenje distribucije može uvelike povećati točnost procjene osvjetljenja Vrijedi proučiti na koje se još načine distribucija osvjetljenja može iskoristiti za bolju procjenu osvjetljenja 87
88