Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Veri Madenciliği ve Makine Öğrenmesi Konularına Giriş

740 visualizaciones

Publicado el

Veri bilimi ve ver madenciliği konularına giriş, sektörün durumu, iş imkanları, problemleri ve geleceği.

Publicado en: Datos y análisis
  • Inicia sesión para ver los comentarios

Veri Madenciliği ve Makine Öğrenmesi Konularına Giriş

  1. 1. Veri Madenciliği, Bilimi, (Data Mining) Şadi Evren ŞEKER
  2. 2. January 13, 2017 2 Doç. Dr. Şadi Evren ŞEKER Eğitim: Bilg Müh. BSc. , MSc. 7Tepe Ünv. M.A. İTÜ STS, PhD. Yıldız Teknik Bilg. Müh. , PostDoc UT Dallas Comp. Sci., İstanbul Şehir Üniversitesi, Yönetim Bilişim Sistemleri. Smith College, Computer Science 6 Farklı Ülkede 17 Farklı üniversitede ders vermek www.SadiEvrenSEKER.com YouTube:Bilgisayar Kavramları ©2016 Şadi Evren ŞEKER, bütün hakları saklıdır.
  3. 3. January 13, 2017 Data Mining: Concepts Techniques 3 www.SadiEvrenSEKER.com
  4. 4. www.BilgisayarKavramlari.com January 13, 2017 Data Mining: Concepts and Techniques 4
  5. 5. YouTube: Bilgisayar Kavramları January 13, 2017 Data Mining: Concepts and Techniques 5
  6. 6. Hype Cycle 2014 Gartner
  7. 7. Dayanılan Disiplinler
  8. 8. İş Zekası (Business Intelligence)
  9. 9. Veri Olgunluğu Uygulama Katmanı Veri Tabanları Arayüz Katmanları •  Veri Cahilliği (olgunluk 0.0) •  Yöne_min önünde çalışanlar (olgunluk 0.5): Excel, mikro uygulamalar •  Veri Farkındalığı (olgunluk 1.0) : Veri Tabanı / Dosya •  Veriyi etkili hale ge_rmek (olgunluk 1.5) : View kullanımı •  Etkili Veri Arayışı (olgunluk 2.0) : Veri Ambarları •  Problemin farkına varma (olgunluk 2.5) •  Bütün veriya anında ve her amaç için erişim (olgunluk 3.0): Büyük Veri
  10. 10. Veri Olgunluk Seviyeleri •  1. Veri Bir Varlıkfr •  2. Veri Tabanları (RDBMS) •  2.5. View Yapıları •  3. Veri Ambarları •  3.5. Gelişmiş Martlar, Veri Küpleri ve OLAP in- memory •  4. Büyük Veri, NoSQL ve Bulut 16
  11. 11. Bazı Uygulama Alanları •  Finansal Veri Analizi •  Parekende Sektörü •  Telekom •  Biyolojik Veriler •  Saldırgan Yakalanması •  Sosyal Ağlar
  12. 12. Finans/Pazarlama Alanı •  Müşteri davranışları ve Kredi Karf harcamaları •  Borsa ve diğer finansal araçların analizi •  Kara para aklama •  Hedeflenmiş pazarlama •  XRM •  Customer Churn Analysis •  Sigorta Pirimleri
  13. 13. Parekende Sektörü •  Çok boyutlu raporlar (müşteri, ürün, zaman, şube vs.) •  Kampanya oluşturma/ başarısı / Analizi •  Ürün tavsiyeleri •  Raf analizleri
  14. 14. Telekom Sektörü •  Hileli aramaların yakalanması •  Müşteri profillemesi •  CRM •  Customer Churn Analysis •  Görselleş_rme
  15. 15. Biyoenforma_k •  Protein veya gen dizilimlerinin analizi •  Görselleş_rme •  Protein veay genlerin indekslenmesi, kategorilenmesi veya aranması
  16. 16. Saldırganların Yakalanması •  Akan verinin analizi •  Davranış analizi •  Monitor ve alarm mekanizmaları •  Görselleş_rme ve sorgu araçları
  17. 17. Sosyal Ağ Analizi •  Hareketli ortamın modellenmesi ve tahmini •  Yazar tanıma •  Grup ve arkadaşlık analizleri •  Davranış analizi (tepkiler) •  Argüman ve trendler
  18. 18. NORA
  19. 19. Trendler •  Applica_on Explora_on. •  Scalable and interac_ve data mining methods. •  Integra_on of data mining with database systems, data warehouse systems and web database systems. •  Standardiza_on of data mining query language. •  Visual data mining. •  New methods for mining complex types of data. •  Biological data mining. •  Data mining and sorware engineering. •  Web mining. •  Distributed data mining. •  Real _me data mining. •  Mul_ database data mining. •  Privacy protec_on and informa_on security in data mining.
  20. 20. Trendler •  Applica_on Explora_on. •  Scalable and interac_ve data mining methods. •  Integra_on of data mining with database systems, data warehouse systems and web database systems. •  Standardiza_on of data mining query language. •  Visual data mining. •  New methods for mining complex types of data. •  Biological data mining. •  Data mining and sorware engineering. •  Web mining. •  Distributed data mining. •  Real _me data mining. •  Mul_ database data mining. •  Privacy protec_on and informa_on security in data mining. Veri Madenciliği, Verinin olduğu her yerdedir.
  21. 21. 29 Veri Madenciliği ve Bazı Problemler •  Verinin büyüyen hızı her geçen gün daha da yakalanamaz olmaktadır. –  Verinin büyüyen hızı önceleri büyük veriyi tanımlarken arfk büyük veri 5V olarak tanımlanmaktadır. •  Veriyi toplamak, saklamak ve işlemek için otoma_ze edilmiş araçlara ih_yaç artmaktadır –  Genelde verinin bolca bulunduğu alanlar •  İş Dünyası: Web, E-Ticaret, Safş/Banka/Süreç İşlemleri (Transac_ons), Borsa, PAZARLAMA!!!! … •  Bilim: Uzaktan Algılama, Biyoinforma_k, simülasyonlar, … •  Toplum ve Halk için: Haberler, Dijital Kameralar, YouTube, .. •  Bolca veri içerisinde yüzüyoruz ama çoğu zaman bilgiden yoksunuz. •  Buluşlar ihtiyaçlardan doğar!
  22. 22. Data Warehouse: A Multi-Tiered Architecture Data Warehouse (Veri Ambarı) Extract Transform Load Refresh OLAP Engine Analysis Query Reports Data mining Monitor & Integrator Metadata Veri Kaynakları Front-End Tools Serve Data Marts Operational DBs Other sources Data Storage OLAP Server
  23. 23. ETL Extract (Çıkarım) PreProcess (Temizleme) Transform (Dönüşüm) Load (Yükleme) Veri Taban(lar)ı Veri Ambarı Kabul Edilmeyen Veri Kademe - Sahne (Staging Area) Kabul Edilmeyen Veri
  24. 24. Meslekler – Nereden Başlamalı? No Veri Tabanı No SQL Data Mining Visualiza_on (BI) No DBA Yazılım Geliş_rme Uzmanı Veri Bilimcisi Görselleş_rme Güvenlik SysOp / DevOp / Sys Admin Maliyet Hesabı Veri Sahipliği (governance) Büyük Veri Yöne_mi Proje Yöne_mi Yazılım Proje Yöne_cisi
  25. 25. Pazar Payları ve Teknolojiler
  26. 26. 2015 Big Data
  27. 27. Büyüme
  28. 28. İş Rolleri
  29. 29. Web 1.0 Info – Centric Web •  The first generation of the WorldWideWeb (WWW), characterized by separate static websites. •  It is one-way broadcasting. •  It is invented 1989 byTim Berners- Lee. •  It was widely used between 1998 and 2001, and it is still used besideWeb 2.0 in almost all web sites.
  30. 30. Web 2.0 People Centric Web !  Technologies and Trends !  Social networking sites: ! Facebook, MySpace, Hi5, … etc. !  Tagging or Labeling Content: ! Del.icio.us. !  Wikis: ! Wikipedia. !  Community-generated content: ! eBay. !  Open Services: ! Google. !  P2P: ! Bit Torrent. !  New Web technologies: ! XML, RSS, Ajax. !  Open Source Sorware
  31. 31. Web 3.0 Machine Centric Web •  Different meanings are intended to describe the evolution ofWeb usage and interaction between the many possible evolutionary paths. •  The third generation ofWeb technologies and services that emphasize a machine-facilitated understanding of information on theWeb.
  32. 32. Web 3.0 Evolution Paths •  SemanticWeb •  Intelligent System Planning •  Business and NetworkApplications •  … etc. •  VideoWeb •  Web 3D •  Ubiquitous and PervasiveWeb
  33. 33. Web 3.0 Semantic Web •  It is a group of methods and technologies to allow machines to understand the meaning - or "semantics" - of information on theWorldWideWeb. •  The semantic web is a vision of information that is understandable by computers, so computers can perform more of the tedious work involved in finding, combining, and acting upon information on the web.
  34. 34. Semantic Web The Technology •  It involves publishing in languages specifically designed for data: Resource Description Framework (RDF), Web Ontology Language (OWL), and Extensible Markup Language (XML): ! HTML describes documents and the links between them. ! RDF, OWL, and XML, by contrast, can describe arbitrary things such as people, meetings, or airplane parts.
  35. 35. Web 3.0 Web 2.0 Web 1.0 Now Before Future
  36. 36. Web 3.0 Web 2.0 Web 1.0 Now Before Future
  37. 37. Web 3.0
  38. 38. Veri Madenciliği Gelişim Aşamaları •  Descrip/ve Analy_cs, which use data aggrega_on and data mining techniques to provide insight into the past and answer: “What has happened?” : Social Analy_cs (Summarize Data) •  Predic/ve Analy_cs, which use sta_s_cal models and forecasts techniques to understand the future and answer: “Not only future also, What could happen?” : Sen_mental Analysis, •  Prescrip/ve Analy_cs, which use op_miza_on and simula_on algorithms to advice on possible outcomes and answer: “What should we do?”, Recommender Algorithms January 13, 2017 Data Mining: Concepts and Techniques 48
  39. 39. January 13, 2017 Data Mining: Concepts and Techniques 49 Architecture: Typical Data Mining System data cleaning, integration, and selection Database or Data Warehouse Server Data Mining Engine Pa{ern Evalua_on Graphical User Interface Knowl edge- Base Database Data Warehouse World-Wide Web Other Info Repositories
  40. 40. Büyük Veri ? •  Bilgisayar işleme kapasitesi •  5V
  41. 41. Büyük Veri ve Map-Reduce •  Büyük veri için kri_k şartlar: – Map – Ölçeklenebilirlik (Scalability ) – Problemin Dağıflabilirliği •  Paralel Programlama •  Dağıfk Sistemler – Veri Geçişi – Reduce
  42. 42. Map Reduce Nedir? MAP
  43. 43. Map Reduce Nedir? Reduce
  44. 44. Map Reduce Nedir?
  45. 45. WordCount Örneği
  46. 46. NoSQL •  Scalability (Ölçeklenebilirlik) ve büyümenin kontrol edilmesi •  Coğrafi limitlerin kalkması •  Scheme on Read •  Lazy Update (OLTP sistemi değildir, kesinlikle değildir!) •  Örnek sosyal ağlar
  47. 47. NoSQL Ne Sağlar? •  Yerel veri erişimi •  Verilerin yapısız olması (unstructured) •  Veri güncellemesinde gereksiz aşamaların azalflması •  DDOS koruması
  48. 48. Big Data and Data Mining Problems •  Classifica_on •  Clustering •  Associa_on Rule Mining •  Predic_on
  49. 49. Oracle Big Data Mimarisi Çalışfrma (Execu_on) Yenilik (Innova_on) Veri Entegrasyonu
  50. 50. İle_şim •  Şadi Evren ŞEKER •  www.SadiEvrenSEKER.com •  www.MISSozluk.com •  www.BilgisayarKavramlari.com •  www.YBSAnsiklopledi.com •  YouTube: Bilgisayar Kavramları •  Current Affilia_on: İstanbul Şehir Üniversitesi
  51. 51. Soru - Cevap •  YouTube: bilgisayar kavramları •  Mail: ses@SadiEvrenSEKER.com •  Konular: Akademik hayat, bilişim sektörü, büyük veri, iş hayaf, veri madenciliği, mahremiyet, sosyal ağlar, kariyer planlaması, öğrencilik, bilgisayar mühendisliği, veri tabanları, nosql, yurt dışı (çalışmak / öğrencilik)

×