2. Ⅰ
Яагаад өгөгдлийн олборлолт хэрэгтэй вэ?
Ⅱ
Өгөгдлийн олборлолт
Ⅲ
Өгөгдлийн олборлолтын зорилт
Ⅳ
Өгөгдлийн ангилал
Ⅴ
Өгөгдлийн багц

3. Ⅰ
Яагаад өгөгдлийн олборлолт хэрэгтэй вэ?

4. Өгөгдлийн олборлолт
Арилжааны талбар
Өгөгдлийн ихэнхи нь
бөөгнөрсөн (Warehoused)
•Web data
•E-commerce
•Дэлгүүрийн худалдаахүнсний дэлгүүр
•Банк- кредит карт
арилжаа

5. Өгөгдлийн олборлолт
Шинжлэх ухааны талбар
Өгөгдлийн олборлолт нь шинжлэх ухаанд
тусладаг.
•Өгөгдлийн хуваах болон ангилах
•Форматыг таамаглах
бббөбө

6. Ⅱ
Өгөгдлийн олборлолт

7. Өгөгдлийн олборлолт
Тодорхойлолт
•Мэдээллээс ашиглаж болохуйц өгөгдлийг
олборлох
•Утга төгөлдөр загвар маягийг
нээхийн тулд их хэмжээний
өгөгдлийг автомат болон хагас
автомат аргаар судлах болон
анализ хийх

8. Өгөгдлийн олборлолт
Өгөгдлийн
олборлолт биш

–Утасны
жагсаалтаас
утасны дугаар
харах
– Amazon”тухай
мэдээллийг хайх
асууллага
бичих(web)

Өгөгдлийн олборлолт
– Тодорхой тэмдэглэл нь
тодорхой байрлалд түгээмэл
байх(O’Brien, O’Rurke,
O’Reilly… in Boston area)
– Бүлэг мэдээллээс илэрсэн
ижил баримт нь тэдгээрийн
агууллагаас хамааран
хайлтын технологиор гарч
ирэх(e.g. Amazon rainforest,
Amazon.com,)

9. Өгөгдлийн олборлолт
•Machine learning-ээс санаа
авсан /AI, pattern
recognition, statistics, and
database systems
•Уламжлалт технологи нь
тохиромжгүй болсон:
•Их хэмжээний өгөгдөл
•Өндөр хэмжээний өгөгдөл
•Өөр төрлийн өгөгдөл
Statistics/
AI
Machine
Learning/
Pattern
Recognition
Data Mining
Database
systems

10. Ⅲ Өгөгдлийн олборлолтын зорилт

11. Өгөгдлийн олборлолтын зорилт
•Таамаглах арга
•Бусад хувьсагчийн үл мэдэгдэх болон гарч ирэх
утгуудийг таамаглахын тулд зарим нэг
хувьсагчийг ашиглах
•Тодорхойлох арга
•Өгөгдлийг тодорхойлох хүн төрөлхтөн
тайлбарлаж болохуйц загвар маягийг хайх

12. Өгөгдлийн олборлолтын зорилт
•Ангилал
•Багцлах
•Хамтын үйл ажиллагааны дүрмийг
илрүүлэх
•Дэс дараалсан загварыг илрүүлэх
•Ухралт
•Хазайлт илрүүлэх

13. Ⅳ Өгөгдлийн ангилал

14. Ангилал
•Бичлэгийн цуглууллаг өгөгдсөн
•Бичлэг бүр нь атрибутын цогцыг агуулсан ба
нэг атрибут нь нэг класс.
•Бусад атрибутын утгын зориулалтаар
класс атрибутын загварыг гаргах
•Зорилго: Өмнө нь үл мэдэгдэх бичлэгийг
байж болохуйц мөн зөв классд
тодорхойлох
•Test set нь загварын нарийн тодорхойлохын
тулд ашигладаг бөгөөд сүүлийн үед өгөгдсөн
өгөгдлийн цуглууллагыг training set болон test
set гэж хуваадаг болсон.Training set нь
загварыг босгон байгуулахад хэрэглэдэг бол
test set нь түүнийг батлахад хэрэглэдэг.

15. Ангилал
Tid Refund Marital
Status
Taxable
Income Cheat
Refund Marital
Status
Taxable
Income Cheat
1
Yes
Single
125K
No
No
Single
75K
?
2
No
Married
100K
No
Yes
Married
50K
?
3
No
Single
70K
No
No
Married
150K
?
4
Yes
Married
120K
No
Yes
Divorced 90K
?
5
No
Divorced 95K
Yes
No
Single
40K
?
6
No
Married
No
No
Married
80K
?
60K
10
7
Yes
Divorced 220K
No
8
No
Single
85K
Yes
9
No
Married
75K
No
10
10
No
Single
90K
Yes
Training
Set
Learn
Classifier
Test
Set
Model

16. Ангилал- Application1
•Маркетинг
•Зорилго: Шинэ гар утас авах сонирхолтой
хэрэглэгчидийг тодорхойлон барьцааны үнийг
багасгах
•Арга барил
•Өмнө нь танилцуулж байсан бүтээгдэхүүний
өгөгдлийг хэрэглэх
•Бид ямар хэрэглэгч нь авахаар шийдвэрлэсэн
ямар нь өөр шийдвэр гаргасныг мэднэ.Худалдаж
авна эсвэл худалдаж авахгүй гэсэн шийвэрээр
класс үүсгэх
•Бүх хэрэглэгчийнхаа тухай холбоотой олон
төрлийн мэдээллийг цуглууллах(Хүн ат зүй,
амьдралын төрөл, компани)

17. Ⅴ Өгөгдлийн багц

18. Багц
•Өгөгдлийн цуглуулага өгөгдсөн үед
тэдгээрийн өөр хоорондын ижил төстэй
байдлыг тодорхойлон багцийг хайх
•Нэг багцийн өгөгдөл нь өөр нэгтэй ижил байдаг
•Ялгаатай багцийн өгөгдөл нь өөр нэгнээс
ялгаатай.(өөр нэг багцаас хасна)

19. Багц
Intracluster хоорондын
зай хамгийн бага
Intercluster хоорондын
зай хамгийн их

20. Багц
Баримт бичгийг багцлах
Зорилго: Бичиг баримтанд гарч ирсэн чухал үг
хэллэг дээр суурилан бичиг баримтын бүлгийг
хайх.
Дөхөлт: Баримт болгон дээр гарч байгааг үг
хэллэгийн давхцалыг тодорхойлох.Ялгаатай
давхцал дээр суурилан жижил төсөөтэй байдлыг
үнэлэх бөгөөд үүнийг багцлахад хэрэглэнэ.

21. Багц


Ангилал: Los Angeles Times сонины 3204 нийтлэл.
Ангилах төрөл: эдгээр бичиг баримтанд гарч байгаа
үгнүүд хэр олон удаа давтагдаж байна?
Category
Total
Articles
Correctly
Placed
555
364
Foreign
341
260
National
273
36
Metro
943
746
Sports
738
573
Entertainment
354
278
Financial