METOD ZA PROCENU SISTEMA POSLOVNE INTELIGENCIJE KOJI PODRŽAVAJU DATA MINING EVALUATION METHOD OF BUSINESS INTELLIGENCE SYSTEMS WHICH SUPPORT DATA MINI

Транскрипт

1 METOD ZA PROCENU SISTEMA POSLOVNE INTELIGENCIJE KOJI PODRŽAVAJU DATA MINING EVALUATION METHOD OF BUSINESS INTELLIGENCE SYSTEMS WHICH SUPPORT DATA MINING Jelena Lukić 1 1 JP Elektromreža Srbije Beograd Sadržaj: Sistemi poslovne inteligencije postaju sve popularniji poslednjih nekoliko godina, što je uzrokovano potrebom za ponovnom upotrebom podataka u cilju dobijanja potencijalno korisnih informacija. Ovi sistemi predstavljaju napredan skup alata koji podrazumeva visoke cene nabavke i licenciranja. Zato je važno odabrati sistem koji najviše odgovara posebnim poslovnim potrebama. Cilj ovog rada je da se razradi metod za poređenje postojećih sistema poslovnog izveštavanja koji podržavaju data mining. Metod se sastoji iz niza koraka koje treba preduzeti kako bi se izabrao sistem poslovne inteligencije prema posebnim zahtevima budućeg korisnika. Ključne reči: poslovna inteligencija, data mining, alati Abstract: Business Intelligence (BI) Systems are becoming more and more popular in recent years, which is caused by the need of reusing data in order to gain some potentially useful business information about. Those systems are advanced set of tools, which causes high prices of purchase and licensings. Therefore, it is important to choose the system which fits the best particular business needs. The aim of this paper is to elaborate a method for comparison of existing Business Intelligence Systems that are supporting data mining. The method consist of the set of steps which should be taken to choose a Business Intelligence System according to particular requirements of its future user. Key words: business intelligence, data mining, tools BI sistemi se razlikuju od MIS (tj. DSS, EIS i ES) pre svega u širini tematskog opsega, multivarijantnim analizama, polu-strukturiranim podacima iz različitih izvora i prezentovanju višedimenzionalnih podataka [1]. BI sistemi se mogu analizirati iz različitih perspektiva. Donosioci odluka i organizacije bi trebalo da povežu poslovnu inteligenciju sa primenjenom specifičnom filozofijom organizacije i metodologijom koja se odnosi na rad sa informacijama i znanjem, otvorenu komunikaciju, razmenu znanja uz sveobuhvatni i analitički pristup poslovnim procesima u organizaciji. BI sistemi su predviđeni da budu rešenja koja su odgovorna za prevođenje podataka u informacije i znanje kao i da stvore uslove za efikasno donošenje odluka, strateško razmišljanje i delovanje u organizacijama (slika 1.). Vrednost BI sistema za poslovanje je pretežno u tome što takvi sistemi otkrivaju informacije koje mogu poslužiti kao osnova za sprovođenje temeljnih promena u određenoj organizaciji, odnosno uspostavljanje nove saradnje, sticanje novih kupaca, otvaranje novih tržišta, pružanje proizvoda kupcima [1]. 1. UVOD U cilju zadovoljenja različitih potreba menadžmenta svih nivoa upravljanja nastali su sistemi poslovne inteligencije kao informaciona tehnologija koja može adekvatno da odgovori na izazove procesa odlučivanja u savremenom poslovanju. Sistemi poslovne inteligencije se definišu i kao infrastruktura koju čine metode, softverski alati i aplikacije za efikasno pribavljanje neophodnih informacija iz velike količine podataka različitih baza podataka. Različiti informacioni sistemi su: Management Information Systems (MIS) Decision Support Systems (DSS) Enterprise Systems (ES) Enterprise Intelligent Systems (EIS) Business Intelligent (BI) Systems Slika1: Uloga BI sistema u procesu donošenja odluka [1] Glavni zadaci koje treba suočiti s BI sistemima uključuju: inteligentno istraživanje, integraciju, agregaciju i višedimenzionalne analize podataka koji potiču iz najrazličitijih resursa informacija. Standardni BI sistemi kombinuju podatke iz internih informacionih sistema u organizaciji i integrišu podatke koji dolaze iz određenog okruženja, npr. statistički, finansijski podaci, investicioni portali i razne baze podataka. Ovakvi sistemi bi trebalo da obezbede adekvatne i pouzdane aktuelne informacije o različitim aspektima aktivnosti organizacije. 138

2 2. ISTRAŽIVANJE TRŽIŠTA BI ALATA BI platforme su namenjene svim tipovima korisnika, od IT stručnjaka, preko konsultanata, do poslovnih korisnika. Omogućavaju izgradnju aplikacija koje organizacijama pomažu da saznaju više i razumeju bolje svoje poslovanje. Tri su ključne mogućnosti koje organizaciji pružaju BI alati [2]: 1. integracija funkcionalnosti infrastruktura metapodaci za upravljanje razvojni alati saradnja (kolaboracija) 2. isporuka informacija izveštavanje kontrolne table (Dashboards) ad hoc upiti integracija sa Microsoft Office BI na bazi pretrage mobilni BI 3. analiza Online Analytical Processing (OLAP) interaktivna vizuelizacija intuitivno modeliranje i data mining pokazatelji (Scorecards) Nezavisne ankete i analize tržišta BI uključuju: Gartner Magični kvadrant BI platformi Izveštaje The BI Survey i The BI Verdict - Centra za istraživanje poslovnih aplikacija (Business Application Research Center) Studiju Forrester Research Magični kvadrant BI platformi (slika 2.) predstavlja, prema mišljenju Gartner grupe, globalni pogled na glavne distributere softvera koje, organizacije koje žele da razvijaju BI sisteme, treba da razmotre pri izboru odgovarajućeg alata [2]. Slika 2 Magični kvadrant BI platform [2] Postoji pet kategorija u koje mogu da se svrstaju aplikacije koje postoje na BI tržištu. Tabela 1. predstavlja pregled distributera softvera i njihovih proizvoda prema tipu BI aplikacije [3]: Tip aplikacije Proizvođači Proizvod Izveštajne aplikacije - obezbeđuju statističke ili parametrizovane izveštaje. Aplikacije za izveštavanje sa minimalnim analitičkim zahtevima bazirane su na relacionim bazama podataka i koriste SQL, dok upravljački informacioni sistemi imaju mnogo složenije analitičke zahteve i koriste specijalizovane baze podataka. SAP Business Crystal Reports BI Publisher IBM Cognos MicroStrategy Microsoft Information Builders Pentaho Jasper Soft Actuate LogiXML Cognos Report Studio Report Services Reporting Services Report Designer Web Focus Developer Studio Report Designer Jasper Reports BIRT Designer Logi Info Studio Ad hoc upiti i izveštavanje - predstavljaju najviši mogući stepen interakcije sa podacima uz mogućnost korišćenja velikog broja tehnika za odabir podataka i navigaciju. Baziraju se na relacionim bazama podataka i nude ograničene, ali veoma korisne analitičke mogućnosti. Ovi upiti koriste relacione baze podataka i SQL za jednodimenzionalne upite. SAP Business IBM Cognos MicroStrategy Web Intelligence Desktop Intelligence SAP Business Explorer (BEx) Answers BI Enterprise Edition Cognos 8 Query Studio Cognos 10 Business Insight Desktop for desktop authoring Web for Web-based authoring Report Builder Smart Client InfoAssist Microsoft Information Buiders Pentaho Web Ad-Hoc Query Tool (WAQR) Jasper Soft Ad Hoc Reporting Web Report Studio Kontrolne table (Dashboard Management Systems) - imaju za cilj da olakšaju i podrže informacione i upravljačke potrebe za donošenjem odluka pružajući lak pristup ključnim poslovnim informacijama u visokom grafičkom i intuitivnom formatu. SAP Business Xcelsius (Dashboards u verziji 4.0) 139

3 Dashboards BI Enterprise Edition (OBIEE) IBM Cognos Cognos 8 Go! Dashboards Cognos 10 Business Insight MicroStrategy Dynamic Enterprise Dashboards Microsoft Dashboard Designer Information InfoAssist Buiders BI Dashboard QlikTech QlikView LogiXML Logi Info Corda Domo Dundas Dundas Dashboard idashboards idashboards Pentaho Dashboards JasperSoft Dashboards Prediktivne analize i Data mining - tehnike obrade i analize podataka u okviru data mining procesa, obuhvataju čitav niz kompleksnih naučnih metoda iz oblasti mašinskog učenja, neuronskih mreža, statistike, matematike. Ove tehnike filtriraju i analiziraju ogromne količine podataka u potrazi za skrivenim vezama, obrascima i zakonitostima između podataka IBM SPSS SPSS Modeler Enterprise Miner SAP Business Predictive Workbench Data Mining database/essbase database MicroStartegy Data Mining Services ThinkAnalytics thinkanalytics Pentaho Weka Angoss KnowledgeSEEKER KnowledgeSTUDIO OLAP (Online analytical processing) - rešenja za online analitičku obradu obezbeđuju napredne tehnike za brzo prikazivanje i analiziranje poslovnih pokazatelja u različitim tačkama gledišta. OLAP je termin koji se koristi uopšteno i odnosi se na softver i aplikacije koje pružaju korisnicima mogućnost skladištenja i pristup podacima u OLAP kockama. SAP Business SAP NetWeaver BW (InfoCubes) Hyperion Essbase IBM Cognos PowerPlay TM1 MicroStartegy Intelligence Server Microsoft Analysis Services OLAP Server Pentaho Mondrian JasperSoft Jasper Analysis Tabela1 : Distributeri softvera i njihovi proizvodi prema tipu BI aplikacije 3. IZBOR ALATA POSLOVNE INTELIGENCIJE Uspešna primena poslovne inteligencije zahteva koordiniran napor između različitih dimenzija: ljudi, procesa, tehnologija i podataka. Implementacija BI sistema u većini slučajeva je izazov i podrazumeva prethodne pripreme, kao i dobro razumevanje poslovnih potreba. Metod predstavljen u ovom radu namenjen je pojednostavljenju izbora odgovarajućeg sistema poslovne inteligencije u skladu sa realnim potrebama i zahtevima. Prilikom procene mogućnosti BI sistema, postoje četiri nivoa koja treba uzeti u obzir [4]: Izveštavanje - je ključna funkcionalnost BI alata čiji je cilj kreiranje standardnih izveštaja na efikasan i lak način. Izveštaji su predefinisani i statički po prirodi, nastali ili po zahtevu krajnjeg korisnika ili se periodično osvežavaju putem automatskog planera (postavljanjem na Intranet servere ili deljene diskove i dostupni su unapred definisanoj grupi kompanijskih korisnika). Ključna funkcionalnost se svodi na konsolidaciju i agregaciju podataka iz različitih izvora ponovnim pristupom (u idealnom slučaju automatizovanom) pouzdanim izvorima podataka. Kontrolne table (dashboards) - sadrže visok nivo agregiranih strateških podataka preduzeća, uporedive prezentacije, kao i konsolidovane indikatore performansi. One uključuju i statičke i interaktivne izveštaje gde su podaci prevedeni na grafikone, instrumente za merenje i ilustracije u cilju pojednostavljenja komunikacije. Kontrolne table omogućavaju osnovne interakcije (kao što su drill-down, slice-and-dice operacije za igranje sa podacima ) i pružaju različite nivoe detaljnosti što omogućava dublji uvid u podatke. Međutim, objašnjavajuća moć kontrolnih tabli uglavnom se oslanja na interpretacije korisnika. Analiza - na nivou analize, BI sistemi obezbeđuju ne samo konsolidovane informacije koje korisnici mogu detaljisati i filtrirati, već i prognoze i analize trendova kako bi se dobili novi uvidi u podatke (na osnovu sirovih podataka). Analitika - na najvišem nivou BI sistem je automatizovana inteligentna analiza podataka na bazi sofisticiranih fazi logičkih i neuro-fazi sistema. Baziran na korisnički orijentisanim, ali moćnim funkcijama, BI sistem može dati značajne uvide u podatke skrivajući složenost osnovne interpretacije podataka. Šta-ako scenarija i funkcionalnost simulacije obezbeđuju naprednu i prilagođenu podršku donošenju odluka. 4. METOD PROCENE (EVALUACIJE) Metod opisan u ovom radu sadrži opšti model za procenu i poređenje BI sistema koji treba da bude usklađen sa posebnim potrebama određenih krajnjih korisnika i procenjivača. Model pruža skup mera, koje se mogu modifikovati ili proširiti za određenu upotrebu. Neće sve predložene mere biti relevantne za određene procenjivače, a neke će i nedostajati. Ovaj model procene BI alata treba 140

4 tretirati kao smernice ili okvir za buduće ocene BI sistema u kontekstu data mining-a ili sličnih alata. Sve korake treba revidirati u skladu s poslovnim potrebama zainteresovanih strana. Proces vrednovanja obuhvata sledeće faze: pripremu procene, uspostavljanje zahteva procene, specifikaciju procene. Ova tri predložena koraka, moraju biti projektovana u skladu s konkretnim slučajem (dizajn procene, procene izvršenja i izveštavanje o proceni). Radom su obuhvaćene prve dve faze. Svrha ovog metoda ocenjivanja je da obezbedi kvalitetnu procenu za BI sisteme iz perspektive korišćenja data mining-a. Ova procena može da se koristi za odlučivanje o prihvatanju proizvoda, ili za upoređivanje sistema s konkurentnim proizvodima [5]. Priprema procene ocenjuje se softver kao proizvod koji se kupuje u konačnoj verziji. Proizvod je sistem poslovne inteligencije koji podržava data mining aktivnosti. Metod je namenjen proceni sistema iz korisničke perspektive u specifičnom kontekstu upotrebe kvalitet u upotrebi, a pri izvršavanju softvera u simuliranom okruženju - eksterni kvalitet. Predstavljen pristup za upoređivanje i ocenjivanje softvera poslovne inteligencije može biti koristan u izboru najboljeg, onog koji odgovara potrebama kompanije. Može da se koristi od strane kompanije koja poseduje ogromnu količinu podataka i ima potrebu za analizom poslovanja, a samim tim, za uvođenjem data mining-a [5]. Korisnik sistema poslovne inteligencije može biti stručnjak iz oblasti data mining-a, programer, koji kreira i koristi data mining modele. Takvi korisnici su interni u organizaciji. Metod se može koristiti i od strane početnika i od strane eksperata. Korisnici-početnici su oni sa poznavanjem data mining-a, ali koji nisu statističari i ne ulaze duboko u razumevanje matematičkih osnova data mining algoritama. Drugi, korisnici-stručnjaci imaju dugogodišnje iskustvo u oblasti data mining-a i široko poznavanje statistike i veštačke inteligencije. Uspostavljanje zahteva procene - vrednovanje softverskih proizvoda zasniva se na modelu kvaliteta i razmatra potrebe krajnjih korisnika i zahteva sistema. Izabrane tipične potrebe korisnika, kao i tehnički zahtevi sistema poslovne inteligencije u kontekstu data mining-a prikazani su u tabeli 2 [5]. Rbr. Potrebe krajnjih korisnika BI sistema u kontekstu data mining-a 1. Podrška za korisnike sa različitim veštinama i iskustvom. 2. Statistička analiza podataka i vizualizacija (grafikoni, statistike, distribucije itd.). 3. Laka manipulacija podacima i transformacija pri kreiranju data mining modela. 4. Podrška za različite vrste izvora podataka poput baza podataka, flat datoteka itd. 5. Podrška za različite tipove podataka data mining modela. 6. Pružanje osnovnog skupa data mining metoda: klasifikacija, predviđanje, grupisanje, pravila grupisanja i vremenske serije. 7. Jednostavno poređenje modela kao npr. lift grafikoni, ROC grafikoni. 8. Jednostavno deljenje podataka u tri seta: za učenje, testiranje i proveru. 9. Lako uzorkovanje podataka. 10. Razlaganje data mining procesa na zadatke kao što su: uzorkovanje, izrada modela, testiranje modela itd. 11. Razvijanje kreiranog data mining modela u samostalni paket, kao dela tekućeg softvera koji bi se dalje koristio za primenu nad podacima. 12. Raspoloživost podataka i statistika o kreiranom modelu. 13. Različite vrste prezentacije data mining modela - odgovarajući pregledi, grafikoni itd. 14. Mogućnost propadanja do različitih nivoa data mining modela. 15. Izvoz rezultata u spoljne sisteme ili fajlove. 16. Sistem mora da bude stabilan i pouzdan. 17. Zaštita od loših parametara ili postavki (posebno za neiskusne korisnike). 18. Završetak data mining zadataka u razumnom roku. 19. Sposobnost da se radi sa velikim količinama podataka. 20. Razumno korišćenje resursa (npr. memorija, procesor). 21. Pomoć i/ili tutorijali na raspolaganju. 22. Pristup tehničkoj dokumentaciji. 23. Funkcionalnost lakog i brzog učenja. 24. Sposobnost proširenja alata samo-primenjivim algoritmima. 25. Pružanje autentifikacije i autorizacije. 26. Jednostavno instaliranje i konfigurisanje (posebno za početnike). 27. Mogućnost izbegavanja pružanja nebezbednih operacija. 28. Obezbeđivanje mogućnosti praćenja (monitoring). 141

5 29. Informativne poruke o greškama. 30. Mogućnost instalacije na različitim operativnim sistemima. 31. Mogućnost instalacije na različitim hardverskim arhitekturama. 32. User friendly interfejs. 33. Olakšana upotreba za korisnike sa invaliditetom. Rbr Zahtevi za sisteme poslovne inteligencije u kontekstu data mining 1. Sistem treba da podržava manipulaciju podacima i zadatke transformacije: čišćenje podataka, zamenu vrednosti, izvedene atribute, upravljanje prazninama. 2. Sistem treba da podrži različite izvore podataka za uvoz i izvoz podataka, i to najmanje: excel fajlove, skladišta podataka, baze podataka. 3. Sistem bi trebalo da podrži različite tipove podataka, najmanje: tekstualni tip i kontinuiran numerički tip, diskretan numerički tip. 4. Sistem bi trebalo da ima mogućnost: klasifikacije, predviđanja, grupisanja i pravila udruživanja. 5. Sistem bi trebalo da podržava sledeće algoritme klasifikacije: stabla odlučivanja, neuronske mreže, logističke regresije i SVN. 6. Sistem bi trebalo da podržava sledeće algoritme grupisanja: k-means, o-clustering, EM (Expectation Maximization), SOM (Self Organising Maps). 7. Sistem bi trebalo da ima barem Apriori algoritam za metod pravila udruživanja. 8. Sistem bi trebalo ima barem algoritam linearne regresije za metod predviđanja. 9. Sistem treba da obezbedi najmanje sledeće metode uzorkovanja: stratifikovano uzorkovanje, izbor prvih N slučajeva, slučajno uzorkovanje. 10. Sistem treba da omogući deljenje podataka u podskupove (za učenje, testiranje, validaciju). 11. Sistem treba da obezbedi dekompoziciju data mining procesa na manje aktivnosti. 12. Sistem treba da omogući primenu data mining rešenja kao izvršnog paketa ili samostalne aplikacije. 13. Sistem bi trebalo da predstavi podatke na način koji omogućava pružanje dodatnih informacija o podacima, i to najmanje: vizualizacija distribucije, značaj atributa i analiza zavisnosti, uvid u podatke. 14. Sistem treba da omogući propadanje do nižih nivoa data mining modela. 15. Sistem treba da omogući procenu i upoređivanje data mining modela. 16. Sistem bi trebalo da pokaže statističke i dodatne informacije za modele klasifikacije: vizualizaciju stabla odlučivanja, povezanost atributa (vrednosti) sa atributima predviđanja za neuronske mreže, lift grafikone, RK, matricu klasifikacije. 17. Sistem bi trebalo da pokaže statističke i dodatne informacije za modele grupisanja: vizualizaciju klastera, distribuciju atributa, statistike klastera. 18. Sistem bi trebalo da pokaže statističke i dodatne informacije za modele pravila udruživanja: vizualizaciju udruživanja, pravila filtriranja (podrška, poverenje, sortiranje napred i nazad). 19. Sistem bi trebalo da pokaže statističke i dodatne informacije za predviđanje: vrednosti parcela. 20. Sistem treba da omogući izvoz rezultata data mining-a u spoljne formate i alate i to najmanje: HTML fajlove, tekstualne fajlove, excel fajlove. 21. Sistem treba da obezbedi funkciju da se izbegnu pogrešni parametri i ulazi (inputs) koji mogu da izazovu stvaranje pogrešnog data mining modela ili visok utrošak resursa. 22. Sistem bi trebalo da bude u stanju da se vrati u prethodno stanje nakon pada u najmanje 80% slučajeva (podaci i stanje sistema moraju biti pravilno obnovljeni). 23. Vreme trajanja data mining aktivnosti prilikom obrade standardne veličine podataka trebalo bi da bude što kraće. 24. Trend vremena potrebnog za data mining aktivnosti, u zavisnosti od veličine obrade podataka, trebalo bi da bude sličan linearnoj funkciji. 25. Maksimalna veličina obrade podataka, kada je učinak još uvek efikasan, trebalo bi da bude što je moguće veća. 26. Trend promena korišćenja memorije, u zavisnosti od veličine obrade podataka, trebalo bi da bude sličan linearnoj funkciji. 27. Sistem bi trebalo da koristi onoliko memorije koliko je to moguće kako bi se ispunile potrebne funkcije. 28. Proizvođač sistema treba da obezbedi bele papire (white papers) i dokumentaciju o softveru. 29. Proizvođač sistema treba da obezbedi uputstva za alat. 30. Sistem bi trebalo da ima i druge izvore dokumentacije (tutorijali, ostali media formati). 142

6 31. Proizvođač sistema treba da obezbedi probne projekte. 32. Sistem bi trebalo da ima i offline i online pomoć. 33. Sistem treba da omogući dizajnerima ili korisnicima pojednostavljeno kreiranje data mining modela. 34. Sistem treba da obezbedi poseban režim za napredne korisnike i napredne načine za kreiranje DM modela. 35. Korisnički interfejs sistema treba da ima razumljivu terminologiju za početne data mining korisnike. 36. Sistem treba da obezbedi predloge za izbor pravih parametara i opcija. 37. Sistem treba da obezbedi autentifikaciju korisnika. 38. Sistem treba da obezbedi autorizaciju korisnika. 39. Korisnički interfejs sistema treba da bude asinhroni. 40. Sistem treba da obezbedi status i funkciju praćenja progresa. 41. Sistem treba da obezbedi informativne poruke o greškama. 42. Sistem treba da omogući primenu prilagođenih data mining algoritama. 43. Sistem treba da obezbedi sve funkcionalnosti definisanog opsega operativnih sistema. 44. Sistem treba da obezbedi sve funkcionalnosti definisanog opsega hardverske arhitekture. 45. Sistem treba da omogući daljinsku (remote) instalaciju i konfiguraciju. 46. Sistem treba da obezbedi prilagodljiv korisnički interfejs - bar biranje boje, parametre fontova, podešavanje rasporeda elemenata, itd. 47. Sistem treba da bude upotrebljiv od strane korisnika sa invaliditetom. Tabela 2: Tehnički zahtevi za BI sisteme i potrebe korisnika u kontekstu data mining-a [5] Kriterijumi za procenu Za procenu modela kvaliteta određenog BI sistema koriste se sledeće funkcije [5]: Kriterijumi za odlučivanje u smislu ocenjivanja kvaliteta BI sistema definisani su prema sledećoj formuli: Gde je n broj karakteristika, F(karakteristikai) je rezultat funkcije procene za pojedinačne karakteristike, a wi je težina dodeljena ovim karakteristikama. Funkcija za izračunavanje kvaliteta svake karakteristike je definisana na sličan način: Gde je n broj podkarakteristika, F(podkarakteristikai) je rezultat funkcije procene pojedinačnih podkarakteristika, wi je ponder dodeljen ovim podkarakteristikama. Funkcija za izračunavanje podkarakteristika definisana je na sledeći način: Gde je n broj karakteristika, vrednost indikatora je rezultat pojedinačnih indikatora (vrednost mora biti u rangu od 0 do 1), wi je ponder dodeljen ovim indikatorima. Vrednost indikatora veća od 1 znači da softver prelazi zahteve za kriterijumom kvaliteta. Kako bi se sprečilo narušavanje rezultata ukupne procene vrednost pokazatelja ne bi trebalo da bude veća od 1.1. To je razlog zašto je uveden minimum. 5. ZAKLJUČAK Izbor jednog BI alata može biti težak zadatak. Kompanije nude širok spektar proizvoda, počev od tehnologija jednostavnog izveštavanja do sofisticiranih BI platformi. Pri izboru BI alata potrebno je - kao u slučaju kupovine bilo kog drugog IS uzeti u obzir sledeće kriterijume: funkcionalnost, kompleksnost rešenja, kao i kompatibilnost. Rezultat ovog rada jeste metod za ocenu i poređenje BI sistema. Razmotrene su samo karakteristike koje su najadekvatnije i daju najviše informacija o kvalitetu BI sistema u kontekstu data mining-a. Sledeći korak je predlaganje niza mera kvaliteta za procenu BI sistema u kontekstu data mining-a, odnosno specifikacija procene. 6. LITERATURA [1] Celina M. Olszak, Ewa Ziemba, Approach to Building and Implementing Business Intelligence Systems, Interdisciplinary Journal of Information, Knowledge and Management Volume 2, [2] J. Hagerty, R. Sallam, J. Richardson, Magic Quadrant for Business Intelligence Platform, [3] BI Market: Vendors and Products (2011), [4] ATKearney, Better Decision Making with Proper Business Intelligence [5] Julia Polańska Michał Zyznarski, Elaboration of a method for comparison of Business Intelligence Systems which support data mining process 143