PowerPoint Presentation

Транскрипт

1 Факултет организационих наука Центар за пословно одлучивање Системи за препоруку

2 П8: Системи за препоруку Закључивање на основу случајева Системи за препоруку 2

3 Закључивање на основу случајева ПРОНАЂЕНО ЗНАЊЕ ПРОБЛЕМ, КОНТЕКСТ НОВО ЗНАЊЕ 5. Чување знања БАЗА ЗНАЊА 6. Рафинисање базе знања 2. Адаптација дела пронађеног знања МОГУЋЕ НОВО ЗНАЊЕ 3. Ревизија знања ИЗАБРАНО ЗНАЊЕ 3

4 Претпоставке ЗОС, али не само ЗОС Свет је заснован на одређеном реду, не на хаосу. Проблеми се понављају, зато је добро памтити их. Слични проблеми имају слична решења. 4

5 Шта је случај? Запис решења одређеног проблема из прошлости. Најчешће га структурирамо као ред у табели (исто као код ОЗП). Мора садржати вектор улазних атрибута и може садржати вектор излазних атрибута. 5

6 Изазови код ЗОС Индексирање случајева Које атрибути изабрати као индексе? Како изабрати индексе? Чување случајева (знања) У којој форми чувати случајеве? Проналажење случајева Коју методу користити за претраживање случајева? Адаптација случајева Како прилагодити старе случајеве новом проблему? 6

7 Мерење сличности проналежење случаја -Алгоритам најближег суседа к-нн, -Стабла одлучивања, -Кластеровање итд. 7

8 Алгоритам најближих суседа (NN) - knn F (P, S) = f (Pi, Si) * Ti i = (1, n) P: нови проблем; S : случај у бази знања; f(pi,si): сличност између атрибута i P, S; Тi: тежина атрибута ( Тi = 1); n: број атрибута. 8

9 Ограничења к-нн алгоритма Није скалабилан У основној верзији не ради са ненумеричким подацима Одређивање параметра к је оптимизациони проблем. Како да се реши? 9

10 Случај 1:Одобравање кредита Credit application form Credit application form Person Bank clerk Information system Credit Credit approved Solved demand Credit demand $ Bank KMS 10

11 База случајева Sex Years Years at address Owner status Phone Occupation Area of occupation Years work Years bank Guarant Account Expenses Balance Decision M owner given office_st government 5 6 no given accept M owner given expert government 4 4 yes given accept M owner given manager private 4 6 no given accept M owner given semi-expert government 6 3 no given accept M owner given creative government 4 3 yes given accept F owner given salesperson private 4 4 no given 0 99 accept M rent not_given office_st government 5 2 yes given reject F owner given semi-expert government 3 6 no given accept M owner given expert private 4 2 no given accept M rent not_given production private 3 6 no given 80 0 accept F owner given executive студент 2 5 yes given accept M owner given production private 3 3 yes given reject M 28 2 owner given worker government 4 2 yes given accept M rent not_given expert private 3 3 yes given accept F owner given office_st government 3 6 no given accept F owner given office_st private 5 7 yes given 0 0 accept F owner given unemployeed unemployeed 3 2 yes given reject M owner given expert government 7 6 yes given accept M owner given worker private 4 7 no given accept F owner given office_st private 8 5 yes given accept M rent not_given semi-expert private 5 1 no given accept M owner given creative private 3 2 yes given reject F owner given salesperson private 2 3 no given accept M owner given production private 7 2 yes given accept F owner given creative private 7 6 yes given accept 11

12 Индекси 1. Years with bank; 2. Years at work; 3. Balance; 4. Monthly expenses; 5. Years at address 6. Age 12

13 Алгоритам најближег суседа F (P, S) = f (Pi, Si) * Ti, i = (1, n) P: нови проблем; S : случај у бази знања; f(pi,si): сличност између атрибута i P, S; Тi: тежина атрибута ( Тi = 1); n: број атрибута. 13

14 Мерење сличности (Валидација знања) Preference functions P(х) Criteria Type 1 0 P(x) х P(x) = Type 1. Simple criteria 0, x 0 1, x > P(x) m х P(x) = Type 2: Quasi criteria 0, x m 1, x > m m 1 0 P(x) n х P(x) = Type 3: Linear criteria 0, x < 0 х/n, 0 х n 1, x > n n 1 1/2 0 P(x) m n х P(x) = Type 4. Level criteria 0, x m 1/2, m < х < 1, x n m, n 1 0 P(x) m n х P(x) = Type 5. Indifference criteria 0, x m (х-m) / (n-m), m < х n 1, x > n м, н 1 0 P(x) х Type 6. Gauss criteria P(х) = 1 - е х / 2* 14

15 Параметри Атрибут Тип преф. m ( ) n Years with bank 6 5 Years at work 6 3 Balance Monthly expenses Years at address 3 28 Years

16 Одређивање тежина код ЗОС Како бисте одредили тежине код ЗОС? Експертски приступ Приступ вођен подацима 16

17 Тежине добијене АХП методом Експертски приступ 17

18 Тежине критеријума 1. Years with bank (38,2%); 2. Years at work (25%); 3. Balance (16%); 4. Monthly expenses (10,1%); 5. Years at address (6,4%); 6. Years (4,3%). 18

19 Улазни подаци 19

20 Препорука - излаз 20

21 Евалуација решења тест примера Еуклидска удаљеност Теорија преф. Разлика Тачан одговор Проценат 97,46% 99,77% 2,31% 21

22 Случај 2: Саветник за студирање (ФОН) 1. Који одсек да упишем? 2. Колико дуго ћу студирати? 3. Која ће ми бити просечна оцена? Студент БП СС ФОН База случајева 22

23 База података студената (4.688) 23

24 База случајева(167) 24

25 Улазни подаци 25

26 Препорука 26

27 Препорука (детаљно) 27

28 Евалуација решења Избор одсека: 74% Просечна оцена: грешка 0,29 Трајање студија: грешка 1,06 28

29 Системи препоруке Колаборативно филтрирање Филтрирање базирано на садржају Хибридни приступи 29

30 Почеци Филтрирање садржаја Корисници нису посматрани као социјална мрежа, већ је Проблем посматран у почетку као проблем класификације ОЗП, ЗОС Нетфликс (Netflix) награда Факторизација матрице, техника линеарне алгебре и статистичке анализе матрица, се истакла као најпогоднија за дати проблем 30

31 Матрица оцена корисника 31

32 Колаборативно филтрирање Засновано на суседима (neighborhoodbased) Засновано на производима (item-based) Засновано на моделима (model-based) 32

33 Колаборативно филтрирање засновано на суседима 1. Сваком кориснику се додељује тежина у односу на активног корисника. 2. Бира се к корисника са највећом сличношћу са активним корисником тзв. суседство, комшилук. 3. Предикција представља отежану суму оцена корисника из суседства. 33

34 Колаборативно филтрирање засновано на суседима W a,u представља сличност између активног и изабраног корисника. Најчешће се та тежина одређује помоћу коефицијента корелације. 34

35 Колаборативно филтрирање засновано на суседима Предикције се рачунају као просек отежаних девијација од просека суседства. 35

36 Колаборативно филтрирање (КФ) засновано на производима КФ нису скалабилна решења, па су предложена и КФ алгоритми засновано на производима (item-to-item) 36

37 Колаборативно филтрирање засновано на моделима Некадашњи приступ: Модел класификације за сваког корисника Напреднији приступ: Модел латентних (скривених) фактора и факторизација матрице Претпоставља да везу између корисника и одговарајућег производа одређује одређена латентна структура фактора. 37

38 Колаборативно филтрирање засновано на моделима факторизација матрице 38

39 Колаборативно филтрирање засновано на моделима факторизација матрице 39

40 Филтрирање базирано на садржају Додатни критеријуми за одлучивање Демографски подаци Подаци о производу, о произвођачу итд. 40

41 Евалуационе метрике Обично RMSE и слично али су могуће и мере као што су AUC, alfa greška, beta greška 41

42 Изазови и ограничења Проређеност података Хладан старт Преваре 42

43 Факултет организационих наука Центар за пословно одлучивање Системи за препоруку