Postojanost boja

Транскрипт

1 Korištenje distribucije osvjetljenja za ostvaranje brzih i točnih metode za postojanost boja Nikola Banić 26. rujna 2014.

2 Sadržaj Postojanost boja Ubrzavanje lokalnog podešavanja boja Distribucija najčešćih osvjetljenja Korištenje distribucije najčešćih osvjetljenja Zaključak 2

3 Osvjetljenje 3

4 Model formiranja slike f c (x) vrijednost na poziciji x za kanal c {R, G, B} 4

5 Model formiranja slike f c (x) vrijednost na poziciji x za kanal c {R, G, B} ω vidljivi spektar R(x, λ) odsjaj površine na poziciji x za valnu duljinu λ 5

6 Model formiranja slike f c (x) vrijednost na poziciji x za kanal c {R, G, B} ω vidljivi spektar R(x, λ) odsjaj površine na poziciji x za valnu duljinu λ ρ c (λ) osjetljivost senzora kamere na valnu duljinu λ za kanal c 6

7 Model formiranja slike f c (x) vrijednost na poziciji x za kanal c {R, G, B} ω vidljivi spektar R(x, λ) odsjaj površine na poziciji x za valnu duljinu λ ρ c (λ) osjetljivost senzora kamere na valnu duljinu λ za kanal c I(λ) spektralna razdioba izvora svjetlosti pretpostavlja se uniformno osvjetljenje 7

8 Model formiranja slike e promatrani izvor svjetlosti to nas zanima idealni slučaj bijelo svjetlo: e R = e G = e B matematički loše postavljen problem potrebne su dodatne pretpostavke 8

9 Model formiranja slike Za uspješnu kromatsku adaptaciju dovoljan je samo smjer od e Redukcija jedne dimenzije Može se koristiti kromatičnost r = R R+G+B, g = G R+G+B, b = R R+G+B Budući da je r + g + b = 1, dovoljne su samo dvije komponente 9

10 Računalna postojanost boja Postojanost boja (engl. color constancy, njem. Farbkonstanz) postiže se uravnotežavanjem bijele boje (engl. white balancing, njem. Weißabgleich) Koraci u ostvarivanju su: 1. Procjena osvjetljenja procjenjuje se vektor e važan je samo smjer, ne i iznos svaki algoritam za procjenu osvjetljenja uvodi svoje dodatne pretpostavke najvažniji i najteži korak 2. Kromatska adaptacija korištenje procijenjenog osvjetljenja za popravljanje izgleda slike ako je procjena e=[e R, e G, e B ] T i ako su kanali slike R, G i B, onda se kanali popravljene slike dobivaju kao αr, βg i γb pri čemu vrijedi αe R = βe G = γe B npr. α = e G / e R, β = 1, γ = e G / e B 10

11 Automatska procjena osvjetljenja 1. Statističke metode brže i jednostavnije za implementaciju koriste statistiku u pikselima 2. Metode zasnovane na učenju koriste se različiti algoritmi za učenje različitih svojstava na temelju različitih značajki slike Otvoreno područje istraživanja 11

12 Retinex Provodi se za zadani kanal I Računa se svjetlina svakog piksela Kroz svaki piksel se provuku staze 12

13 Random Sprays Retinex

14 Random Sprays Retinex I( )

15 Random Sprays Retinex I( )

16 Random Sprays Retinex I( )= I( ) max I( )

17 Random Sprays Retinex I( ) I( )= 1 N ΣN i=1 max I( i )

18 Random Sprays Retinex originalna slika RSR s parametrima N=1, n=4 18

19 Random Sprays Retinex RSR s parametrima N=5, n=20 RSR s parametrima N=20, n=400 19

20 Light Random Sprays Retinex = 20

21 Light Random Sprays Retinex = 21

22 Light Random Sprays Retinex 22

23 Light Random Sprays Retinex 23

24 Light Random Sprays Retinex 24

25

26

27 27

28 28

29 Light Random Sprays Retinex Složenost: O(nM) n veličina spreja M broj piksela u slici (veličina slike) Nije prikladno za izvedbu u stvarnom vremenu Korištenjem interpolacije postiže se ubrzanje, ali pada i kvaliteta rezultata 29

30 Ubrzanje Kritični dio: računanje maksimuma u spreju: O(n) Pokušati kombinirati operacije Što je zajedničko obradi pojedinih piksela? Na koji način se to može iskoristiti? 30

31 Zajedničko 31

32 Zajedničko 32

33 Zajedničko 33

34 Zajedničko 34

35 Zajedničko 35

36 Zajedničko 36

37 Zajedničko 37

38 Zajedničko 38

39 Zajedničko 39

40 Zajedničko 40

41 Zajedničko 41

42 Zajedničko 42

43 Zajedničko 43

44 Zajedničko 44

45 Zajedničko 45

46 Zajedničko 46

47 Računanje maksimuma Za svaki sprej je potrebno izračunati maksimum Kod promjene spreja treba odrediti novi maksimum Dodavanje piksela nije problem jedna usporedba Uklanjanje piksela je problem n usporedbi 47

48 Računanje maksimuma Cilj je izbjeći preračunavanje maksimuma kod kojeg se pregledava cijeli sprej Ovaj problem moguće je riješiti pametnom organizacijom intenziteta piksela spreja Postoji nekoliko rješenja 48

49 Računanje maksimuma Kartezijevo stablo Struktura koja glumi red i omogućuje upit maksimuma Umetanje nove vrijednosti: amortizirano O(1) Uklanjanje najstarije vrijednosti: O(1) Određivanje maksimuma: O(1) Dva stoga Simulacija reda uz upit maksimuma Umetanje nove vrijednosti: O(1) Uklanjanje najstarije vrijednosti: amortizirano O(1) Određivanje maksimuma: O(1) 49

50 Ubrzanje Stara složenost: O(nM) Nova složenost: O(n+M) Novi algoritam: Light Random Memory Sprays Retinex 50

51 Utjecaj na rezultat 51

52 52

53 53

54 54

55 55

56 Osvjetljenje Većina osvjeteljenja se može modelirati zračenjem idealnog crnog tijela 56

57 57

58 58

59 Osvjetljenje 59

60 Osvjetljenje 60

61 Osvjetljenje 61

62 Greyball 62

63 ColorChecker 63

64 NUS baze 64

65 Osvjetljenje 65

66 GreyBall kromatičnosti svjetla

67 GreyBall kromatičnost svjetla

68 Distribucija boja Prostorne informacije ne donose ništa što ne bi donijela i raspodjela boja Sliku predstaviti histogramom boja Histogram se može dodatno sažeti (PCA) Hiperparametar: razlučivost histograma n Hiperparametar: broj glavnih komponenti k

69 Povezivanje Kako povezati distribuciju s vrijednosti x? Više je mogućnosti Odabrana mogućnost: linearna regresija Ostale testirane mogućnosti su se pokazale lošijima

70 Color Cat Rezolucija histograma: n Broj glavnih komponenti: k Histogram: h = (h 1,..., h n 3) T PCA matrica: M Koeficijenti linearne regresije: c Parametri linije: a 1, a 0 Granice crvene komponente: r 0, r 1 70

71 Color Cat

72 Rezultati 72

73 Rezultati 73

74 Rezultati

75 Drugi pristup 75

76 Drugi pristup 76

77 Drugi pristup Svaki centar predstavlja jedno osvjetljenje Odrediti najprikladniji centar za danu sliku Problem procjene osvjetljenja se svodi na klasifikaciju Što je više centara, to je veća maksimalna moguća točnost, ali je i problem klasifikacije teži 77

78 Idealna klasifikacija 78

79 Postojeći pristup Ideja je već patentirana US A1 Illumination Estimation Using Natural Scene Statistics Nema eksperimentalne analize 79

80 Postojeći pristup U patentu se kao značajke koriste histogrami kromatičnosti Ulogu klasifikatora ima multivarijatni Gaussov klasifikator 80

81 Promjena pristupa Korištenje histograma boja Ulogu klasifikatora preuzima AdaBoost (CE) Dodatan pokušaj: k-nn (CA) Mnogo manja potreba za sažimanjem histograma 81

82 Alternativni pristup Korištenje izračunatih centara za navođenje postojećih metoda Nema više potrebe za histogramima Jednostavna nadogradnja na gotovo bilo koju metodu Color Dog (CD) 82

83 Alternativni pristup 83

84 Rezultati 84

85 Rezultati 85

86 Rezultati 86

87 Zaključak Postojanost boja je zahtjevan i loše postavljem problem Korištenje distribucije može uvelike povećati točnost procjene osvjetljenja Vrijedi proučiti na koje se još načine distribucija osvjetljenja može iskoristiti za bolju procjenu osvjetljenja 87

88 88