Dokumen tersebut membahas berbagai konsep terkait data warehouse seperti data warehouse, data mart, data mining, OLAP, MOLAP, ROLAP, HOLAP, dan business intelligence. Secara ringkas, data warehouse digunakan untuk menyimpan dan menganalisis data, data mart berisi bagian-bagian khusus dari data warehouse, sedangkan data mining dan OLAP merupakan teknik untuk menganalisis data tersebut.
1. Terminologi Data Warehouse, Data Mart,
Data Mining, Olap, Molap, Holap, Rolap,
Business Intelligence dan contoh
perusahaan yang mengimplementasikannya
1. Data Warehouse
Data warehouse adalah data-data yang beorientasi subjek, terintegrasi, memiliki dimensi
waktu, serta merupakan koleksi tetap (non-volatile), yang digunakan dalam mendukung
proses pengambilan keputusan.
Data warehouse adalah sebuah sistem yang mengambil dan menggabungkan data secara
periodik dari sistem sumber data ke penyimpanan data bentuk dimensional atau normal
(Rainardi, 2008).
Data warehouse didesain untuk kita bisa melakukan query secara cepat. Informasi diturunkan
dari data lain, dilakukan rolling up untuk dijadikan ringkasan, dilakukan operasi drilling
down untuk mendapatkan informasi lebih detail, atau melihat pola yang menarik atau melihat
trend (kecenderungan).
Ada empat tugas yang bisa dilakukan dengan adanya data warehouse
·
Pembuatan laporan
·
On-Line Analytical Processing (OLAP)
·
Data mining
·
Proses informasi executive
Karakteristik Data Warehouse
·
Subject Oriented (Berorientasi subject)
·
Integrated (Terintegrasi)
·
Time-variant (Rentang Waktu)
·
Non-Volatile
Keuntungan Data Warehouse
2. Data warehouse merupakan pendekatan untuk menyimpan data dimana sumber-sumber data
yang heterogen(yang biasanya tersebar pada beberapa database (OLTP) dimigrasikan untuk
penyimpanan data yang homogen dan terpisah. Keuntungan dengan menggunakan data
warehouse adalah :
1. Data diorganisir dengan baik untuk query analisis dan sebagai bahan untuk
pemrosesan transaksi.
2. Perbedaan diantara struktur data yang heterogen pada beberapa sumber yang terpisah
dapat diatasi.
3. Aturan untuk transformasi data diterapkan untuk memvalidasi dan mengkonsolidasi
data apabila data dipindahkan dari database OLTP ke data warehouse.
4. Masalah keamanan dan kinerja bisa dipecahkan tanpa perlu mengubah sistem
produksi.
2. Data Mart
Data mart adalah suatu bagian pada data warehouse yang mendukung pembuatan laporan dan
analisa data pada suatu unit, bagian atau operasi pada suatu perusahaan. Dalam beberapa
implementasi data warehouse, data mart adalah miniature data warehouse. Data mart sering
digunakan untuk memberikan informasi kepada segmen fungsional organisasi.
Arsitektur Data Mart
} Dependent Data Mart
} Independent Data Mart (IDM)
Karakteristik data mart
◦
Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam
sebuah departemen atau fungsi bisnis.
◦
Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data
warehouse.
◦
Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse.
Data mart lebih mudah dipahami.
◦
Data marts bisa bersifat dependent atau independent.
◦
Kubus
◦
Aggregation
3. Perbedaan data mart dan data warehouse
Keuntungan dan kerugian menggunakan data mart
} Keuntungan
Data mart dapat meningkatkan waktu respon pengguna akhir, karena berisi data mentah yang
memungkinkan sistem komputer untuk fokus pada satu tugas, sehingga meningkatkan
kinerja. Berbeda dengan sistem OLTP, data mart juga dapat menyimpan data historis yang
memungkinkan pengguna untuk menganalisis kecenderungan data. Selain itu, data
mart tidak begitu mahal dan kompleks sebagai data gudang untuk setup dan melaksanakan
karena masalah teknis tidak begitu sulit untuk diselesaikan.
} Kerugian
Mereka memiliki nilai yang terbatas karena mereka tidak dapat melihat organisasi secara
keseluruhan dan pelaporan dan analisis potensi terbatas.
3.
Data Mining
Data mining merupakan prinsip dasar dalam mengurutkan data dalam jumlah yang sangat
banyak dan mengambil informasi – informasi yang berkaitan dengan apa yang diperlukan
seperti apa yang biasa dilakukan oleh seorang analis. Dengan bertambah banyaknya jumlah
data yang ada dalam model bisnis yang kita lakukan dalam perusahaan ini, maka peran analis
untuk menganalisa data secara manual perlu digantikan dengan aplikasi yang berbasis
komputer yang dapat menganalisa data secara otomatis menggunakan alat yang lebih
kompleks dan canggih.
Data mining juga merupakan proses untuk menggali pengetahuan dan informasi baru dari
data yang berjumlah banyak pada data warehouse, dengan menggunakan kecerdasan buatan
(Artificial Intelegence), statistik dan matematika. Data mining merupakan teknologi yang
diharapkan dapat menjembatani komunikasi antara data dan pemakainya.
Konsep Data Mining
Data mining sangat perlu diperlukan dilakukan terutama dalam mengelola Data yang sangat
besar untuk memudahkan aktifitas recording suatu transaksi dan untuk proses data
warehousing agar dapat memberikan informasi yang akurat bagi penggunanya
berikut langkah-langkahnya :
4. 1. Data cleaning (untuk menghilangkan noise data yang tidak konsisten) Data integration
(di mana sumber data yang terpecah dapat disatukan)
2. Data selection (di mana data yang relevan dengan tugas analisis dikembalikan ke
dalam database)
3. Data transformation (di mana data berubah atau bersatu menjadi bentuk yang tepat
untuk menambang dengan ringkasan performa atau operasi agresi)
4. Knowledge Discovery (proses esensial di mana metode yang intelejen digunakan
untuk mengekstrak pola data)
5. Pattern evolution (untuk mengidentifikasi pola yang benar-benar menarik yang
mewakili pengetahuan berdasarkan atas beberapa tindakan yang menarik)
6. Knowledge presentation (di mana gambaran teknik visualisasi dan pengetahuan
digunakan untuk memberikan pengetahuan yang telah ditambang kepada user).
4.
OLAP(Online Analytical Processing)
OLAP adalah metode pendekatan untuk menyajikan jawaban dari permintaan proses analisis
yang bersifat dimensional secara cepat, yaitu desain dari aplikasi dan teknologi yang dapat
mengoleksi, menyimpan, memanipulasi suatu data multidimensi untuk tujuan analis. OLAP
adalah bagian dari kategori yang lebih global dari pemikiran bisnis, yang juga merangkum
hubungan antara pelaporan dan penggalian data. Database OLAP memiliki struktur skema
tersendiri dan biasanya berupa suatu data warehouse. Namun tidak tertutup kemungkinan
OLAP mengambil dari database operasional (transaksional) – ini dengan catatan database ini
telah memiliki struktur rancangan yang “OLAP friendly
Teknik OLAP
·
FAST
·
ANALYSIS
·
SHARED
·
MULTIDIMENSIONAL
·
INFORMATION
Karakteristik Adapun karakteristik dari OLAP, yaitu:
·
Mengijinkan user melihat data dari sudut pandang logical dan multidimensional pada
data warehouse
·
Memfasilitasi query yang komplek dan analisa bagi user
5. ·
Mengijinkan user melakukan drill down untuk menampilkan data pada level yang
lebih detil atau roll up untuk agregasi dari satu dimensi atau beberapa dimensi
·
Menyediakan proses kalkulasi dan perbandingan data
·
Menampilkan hasil dalam bentuk number termasuk dalam tabel dan grafik.
Keuntungan OLAP
·
Meningkatkan produktifitas pemakai akhir bisnis, pengembang IT, dan keseluruhan
organisasi. Pengawasan yang lebih dan akses tepat waktu terhadap informasi strategis dapat
membuat pengambilan keputusan lebih efektif.
·
Mengurangi “backlog” pengembangan aplikasi bagi staf IT dengan membuat pemakai
akhir dapat merubah schema dan membangun model sendiri.
5.
MOLAP(Multidimensional online analitycal processing)
MOLAP adalah tipe OLAP yang memiliki storage sendiri, yang isinya
merupakan precomputed agregasi data – sum, count, min, max, dan sebagainya - yang terlibat
pada berbagai level detil. Storage ini berupa format yang hanya dikenali oleh MOLAP server
tersebut dan telah khusus dioptimalkan untuk penggunaan oleh aplikasi tersebut.
Cara kerja MOLAP secara umum dibagi ke dalam dua tahap sebagai berikut :
Tahap konstruksi dan populasi data, pada tahap ini sumber data akan dibaca,
dilakukan perhitungan agegrasi (summary group) pada berbagai level dimensi, dan
hasilnya akan disimpan di storage MOLAP. Jika objek data diperumpamakan dengan
table, maka untuk satu cube akan banyak fragmen table yang isinya adalah detil
agregasi dari level tertentu.
Tahap query atau layanan permintaan data analisis, pada tahap ini OLAP Server akan
melayani permintaan query dari client dan membaca data dari storage MOLAP. Table
yang akan dibaca adalah suatu fragmen yang akan disesuaikan dengan permintaan
dari client. Pada fase query ini, jika OLAP Server terputus dengan data source tidak
apa-apa karena sudah tidak ada kaitannya.
Keuntungan dari MOLAP ini yang paling jelas adalah performa kecepatan akses yang sangat
baik. Namun kelemahannya adalah jika kombinasi agregasi data yang dihasilkan untuk semua
level, maka ukuran penyimpanan akan bisa lebih besar daripada sumbernya sendiri.
6.
ROLAP(Relation OLAP)
6. ROLAP adalah tipe OLAP yang bergantung kepada database relasional atau RDBMS
(Relational Database Management System) sebagai media penyimpanan (storage) data yang
akan diolah. Dengan strategi tersebut maka OLAP Server terhindar dari masalah pengelolaan
data storage dan hanya menerjemahkan proses query analysis (MDX) ke relational query
(SQL).
Cara kerja ROLAP secara umum adalah sebagai berikut :
OLAP client mengirimkan query analisis ke OLAP Server.
OLAP server akan melakukan pemeriksaan di cache apakah sudah bisa melayani
permintaan query dari client tersebut, jika sudah akan dikirimkan.
Jika pada cache belum terdapat data diminta, akan dilakukan query SQL ke data mart
dan hasil eksekusinya disimpan di cache dan dikirimkan kepada client.
Demikian seterusnya.
Cache akan disimpan selama periode waktu tertentu dan akan dibersihkan total
jika server dimatikan.
Keuntungan dari ROLAP ini adalah tidak memerlukan storage tambahan. Namun
kelemahannya adalah jika data untuk suatu cube sangat besar (masif) maka performa
pengambilan data akan cukup buruk.
7. HOLAP(Hybrid OLAP)
HOLAP hadir untuk mengatasi kelemahan dari ROLAP dan MOLAP, kelemahan tersebut
adalah :
Performa ROLAP tidak begitu baik karena agregasi selalu dilakukan ulang apabila
cache sudah expired.
Keterbatasan storage dari MOLAP jika digunakan untuk menyimpan kombinasi
agregasi pada semua level.
Jadi HOLAP merupakan kombinasi atau “jalan tengah” antara keduanya dimana HOLAP
akan menyimpan data precomputed aggregate pada media penyimpanan (storage) HOLAP
sendiri. Yang disimpan pada storage HOLAP adalah data untuk beberapa level teratas atau
high level view. Sedangkan untuk level yang lebih rendah atau lebih rinci akan disimpan di
database relasional.
8. Business Intelligence
BI adalah seperangkat solusi sistem informasi yang dapat menuntun kepada percepatan
pengambilan keputusan dalam tingkat akurasi yang tinggi (valid).
7. BI seperti yang kita ketahui pada saat ini bisa dikatakan sebagai hasil evolusi dari Decision
Support System (DSS) yang dimulai sekitar tahun 1960 dan berkembang sampai tahun
1980an. Sekitar tahun 1980an mulai dari DSS, EIS (Executive Information System), data
warehouse, OLAP dan BI mulai menjadi perhatian dan menjadi suatu kesatuan system.
Kegunaan BI
·
Analisa dalam perilaku konsumen, pola pembelian dan trend penjualan
·
Mengukur, melacak dan memprediksi penjualan dan kinerja keuangan
·
Penganggaran, perencanaan keuangan dan peramalan
·
Mengetahui kinerja kegiatan pemasaran
·
Optimalisasi proses dan kinerja operasional
·
Meningkatkan efektifitaspengiriman dan pasokan
·
Analisa CRM (Customer Relationship Management)
·
Analisa Resiko
·
Analisa nilai strategis
·
Analisa social media
Contoh Perusahaan yg sudah menerapkan Business Intelligence adalah :
PT Coca Cola Distribution Indonesia
Blue Bird Group