1.
Apa itu data
warehouse dan karakteristiknya?
§ Data Warehouse
Data
warehouse atau gudang data adalah sebuah sistem yang bertugas
mengarsipkan sekaligus melakukan analisis data historis untuk menunjang
keperluan informasi pada sebuah bisnis ataupun organisasi.
Yang
dimaksud dengan data di sini dapat berupa data penjualan, data untung rugi,
data gaji karyawan, data konsumen, dan lain sebagainya. Dengan sumber data yang
tertata, maka informasi yang dikeluarkan dapat jadi lebih terstruktur dan
akurat. Selain itu hal tersebut juga berguna untuk membantu kamu dalam
mengambil keputusan penting untuk kemajuan perusahaan atau organisasi yang
dijalankan.
§ Karakteristik Data Warehouse
Berdasarkan definisi
yang dikemukakan Inmon tentang data warehouse, maka data warehouse mempunyai empat
buah karakteristik yaitu :
1.
Subject Oriented
Sebagaimana
telah dijelaskan, data di dalam data warehouse didapat dari data yang ada di
sistem operasional. Pada sistem operasional tersebut data diambil berdaskan
aplikasi kejadian-kejadian yang ada. Sedangkan pada data warehouse data-data
yang berdasarkan aplikasi kejadian tersebut dirubah menjadi data yang
berdasarkan pada subjek yang terlibat pada kejadia-kejadian tersebut. Misalnya,
sebuah super market pada sistem operasionalnya mencatat transaksi penjualan
yang ada di setiap kasir, pembelian barang, dan penggajian karyawan. Maka data
warehouse mengelompokkan data hasil kejadian-kejadian tersebut ke dalam
berbagai subjek misalnya barang, karyawan, pemasukan, penggajian, dan pemasok.
2.
Integrated
Data
yang tersebar di banyak sistem operasional terkadang tidak beragam, baik itu
penamaan field, nilai dari sebuah field, atau tipe data yang berbeda-beda untuk
suatu hal yang sama. Sebagai contoh, suatu sistem operasional mendefinisikan
isi dari field jenis kelamin adalah “pria” atau “wanita”, sedangkan pada sistem
operasional lain field tersebut diisi dengan “laki-laki” atau “perempuan”. Hal
seperti itulah yang harus diselaraskan agar data di data warehouse seragam
sehingga proses analisis dapat dilakukan
3.
Non-volatile
Dikarenakan
data yang ada di data warehouse adalah data historis untuk kebutuhan masa
mendatang, maka data yang ada tersebut bersifat non-volatile atau dengan kata
lain, sekali data di-commit untuk masuk, maka data yang telah masuk tersebut tidak
dapat diupdate dan dihapus.
4.
Time variant
Setiap
data yang masuk ke data warehouse dicatat berbagai waktunya, dimulai dari kapan
data itu masuk, kapan sebuah transaksi terjadi, kapan terjadinya perubahan.
Selain itu terkadang untuk menjaga performa, tabel-tabel fisik yang ada di data
warehouse dapat dikelompokkan berdasarkan waktu sesuai kebutuhan analisis.
Dengan adanya pencatatan dan pengelompokan waktu tersebut akan sangat membantu
dalam kegiatan analisis data historis.
2.
Arsitektur Data
Warehouse
1.
Centralized
a)
Tipe Centralized
DW dimana data dari berbagai sumber data terpusat pada satu database DW saja.
b)
Proses
pengambilan data dari berbagai sumber data diproses pada data staging, kemudian
dipusatkan pada satu database DW.
c)
Hasil informasi
DW kemudian disajikan untuk pengguna (Information Delivery).
d)
Tipe centralized
DW mempertimbangkan ketersediaan informasi skala perusahaan sebagai
persyaratan. Keseluruhan infrastruktur untuk akses sumber data dan menyampaikan
informasi DW tersedia dengan baik untuk skala perusahaan.
2.
Independent data
mart
a)
Tipe Independent
data mart dimana sebuah perusahaan memiliki banyak data mart namun tidak saling
terhubung walaupun memiliki subjek yang saling terkait.
b)
Tipe ini
berkembang berdasarkan kebutuhan unit/departemen yang mengembangkan data mart
sendiri untuk tujuan spesifik per departemen.
c)
Kelemahan dari
arsitektur ini adalah sulitnya menganalisis data dari dua/lebih data mart yang
terpisah karena ada kemungkinan terjadinya inkonsistensi informasi.
3.
Federated
a)
Tipe federated
DW digunakan ketika konsep DW ingin diterapkan pada perusahaan namun perusahaan
telah memiliki model decision support pada sistem operasionalnya, bentuk
dataset yang telah diekstrak ataupun dalam bentuk data mart.
b)
Maka
dibandingkan dengan membuang semua sistem yang telah ada dan memulai dari nol
maka tipe federated DW disarankan untuk digunakan.
c)
Federated DW di
mana data dapat diintegrasikan baik secara fisik atau logis melalui shared key
fields, overall global metadata, distributes queries, dan metodi integrasi data
lainnya.
4.
hub-and-spoke
a)
Tipe DW termasuk
pendekatan inmon Corporate information factory (CIF). Di mana tipe
hub-and-spoke DW memiliki persyaratan yang sama dengan tipe centralized DW
yaitu ketersediaan informasi skala perusahaan.
b)
Perbedaannya
adhub-and-spoke alah adanya tambahan dependent data mart. Data pada dependent
data mart didapatkan dari centralized DW.
c)
Data mart dapat
dikembangkan untuk berbagai tujuan: kebutuhan analitis departemen, query khusus
untuk departemen, data mining, dan sebagainya
d)
Setiap dependent
data mart dapat dimodifikasi sesuai kebutuhan departemen.
e)
Tipe atsitektur
ini mengadaptasi dari pendekatan pengembangan DW secara top-down.
5.
data-mart bus
a)
Tipe data-mart
bus mengadopsi pendekatan bottom-up Kimball.
b)
Analisis
kebutuhan dimulai dengan analisis subjek bisnis secara spesifik berdasarkan
proses bisnis seperti proses bisnis pemesanan, pengiriman, tagihan, klaim
asuransi, pemberitahuan tentang mobil, dan sebagainya.
c)
Data mart berisi
atomic data yang dibuat berdasarkan model dimensional.
d)
Setiap subjek
bisnis spesifik menjadi sebuah data mart yang saling terhubung atau
terintegrasi. Sehingga pada akhirnya keseluruhan data mart menghasilkan
gambaran informasi menyeluruh terkait perusahaan.
|
Arsitektur
Data Warehouse |
Karasteriktik |
Kelebihan |
Kekurangan |
|
Centralized |
Hanya terdapat 1 DW tunggal, tidak terdapat data
mart |
Memiliki
satu DW terpusat sehingga mudah dalam pemeliharaan |
Pendefinisan
kebutuhan DW cakupannya luas |
|
Independent Data Mart |
Hanya terdapat data mart yang terpisah-pisah |
Pengembangan
data mart relatif lebih cepat |
Inkonsistensi
informasi karena data mart tidak terintegrasi |
|
Federated |
DW terintegrasi dengan sistem pendukung keputusan
(SPK) yang telah ada |
Pengambilan
keputusan melibatkan DW dan SPK |
Proses
integrasi dengan sistem yang telah ada mungkin tidak mudah |
|
Hub-and-Spoke |
Terdapat 1 DW dengan dukungan data dari data
mart(top-down) |
Ketersediaan
informasi skala perusahaan dengan dukungan data mart |
Pendefinisian
kebutuhan DW cakupannya luas namun terbagi pada setiap data mart |
|
Data-mart bus |
Data mart yang saling terintegrasi (bottom-up) |
Analisis
kebutuhan per data mart sehingga subjek bisnis lebih spesifik |
Pendefinisian
kebutuhan mungkin tumpang tindih antar data mart |
3.
Fase-Fase
Pengembangan Proyek Data Warehouse
Sebuah
proyek pengembangan data warehouse memiliki beberapa tahapan, dimana setiap
tahapan melibatkan beberapa aktivitas yang mungkin dilaksanakan secara paralel.
Tahapan-tehapan tersebut adalah :
1.
Studi Kelayakan
Justifikasi Dalam tahapan studi kelayakan dilakukan analisa permasalahan atau
peluang bisnis yang dimiliki perusahaan. Aktivitas yang dilakukan dalam tahapan
ini adalah evaluasi kelayakan bisnis yang meliputi analisa terhadap peluang
bisnis, perhitungan perkiraan ROI Return On Invesment, perhitungan perkiraan
penghematan biaya jika data warehouse dibangun, dan analisa resiko.
2.
Perencanaan
Dalam tahapan perencanaan dilakukan penyusunan rencana strategis dan taktis
data warehouse yang akan dibangun. Aktivitas yang dilakukan dalam tahapan ini
adalah :
a.
Perencanaan
Infrastruktur Meliputi perencanaan teknis seperti hardware, sistem operasi,
DBMS, jaringan, sistem aplikasi information access marketing customer care
finance Data Mart Data Mart Data Mart data access 29 yang akan digunakan dan
non teknis seperti standar penamaan data, metodologi, prosedur pelaksanaan,
prosedur testing dan sebagainya
b.
Perencanaan Aktivitas Proyek Meliputi
penjadwalan, costing dan sebagainya.
3.
Analisa Bisnis
Dalam tahapan analisa bisnis dilakukan identifikasi kebutuhan solusi bisnis dan
analisa rinci. Aktivitas yang dilakukan dalam tahapan ini adalah :
a.
Pendefinisian
solusi dan skop proyek Dapat dilakukan dengan wawancara atau pertemuan kelompok
joint application developmentJAD session.
b.
Analisa data
Dilakukan analisa terhadap data-data yang dimiliki perusahaan yang selama ini
diolah menjadi informasi untuk mendukung keputusan bisnis perusahaan.
c.
Pembuatan
prototipe aplikasi Pembuatan prototipe aplikasi perlu dilakukan untuk
pembuktian konsep proof of concept, mengevaluasi dini potensi dan keterbatasan
teknologinya serta untuk menyempurnakan requirement dan ekspektasi dari
pengguna.
d.
Analisa
repositori metadata.
4.
Design Dalam
tahapan design dilakukan pembuatan rancang bangun. Aktivitas yang dilakukan
dalam tahapan ini adalah :
a.
Design model dan
skema data Ada dua macam skema multidimensional data yaitu :
1)
Skema Star Pada
skema ini, tabel fakta tunggal berisi data rinci dan agregat. Satu kolom kunci
untuk tiap dimensi sebagai kunci primer primary key tabel fakta. Nilai-nilai
pada kolom kunci telah terdefinisi. Setiap dimensi akan direpresentasikan dalam
satu tabel yang umumnya sangat terdenormalisasi. Keuntungan Star Schema:
a)
mudah dipahami
b)
mudah untuk
merepresentasikan hirarki dimensi
c)
metadata tidak
rumit d. low maintenance jumlah operasi join minimal
2)
Skema Snowflake
Pada skema ini, atribut level tidak diperlukan lagi. Setiap tabel dimensi
memiliki satu kolom kunci untuk setiap level dalam hirarki dimensi. Tabel
dimensi pada level terendah menggabungkan atribut-atribut tabel dimensi lainnya
dan masih berupa tabel fakta yang terdenormalisasi. Kelebihan Snowflake Schema
dibandingkan Star Schema adalah pemrosesan query tinggi untuk query-query yang
melibatkan agregasi hitungan total. Sedangkan Kekurangan Snowflake Schema
adalah jumlah tabel dalam database membengkak dan rumit dalam pemeliharaan dan
metadatanya.
b.
Desain ETL
Extract, Transform, Loading ETL Extract, Transform, Load adalah teknologi
pengintegrasian data. ETL digunakan untuk mengambil data dari sumber source,
mengubah 31 transform data tersebut berdasarkan format dan kalkulasi untuk
dimasukkan kedalam database tujuan destination. Dalam data warehouse berarti,
source disini adalah database transaksi yang berisi data aplikasi yang akan dimasukkan
ke dalam data warehouse. Pada umumnya ETL mempunyai kemampuan membacamenyalin
data dari dan untuk database beragam teknologi. Koneksi yang umum adalah ODBC
dan OLE DB. Sehingga database apapun yang digunakan aplikasi bisnis, dapat
diterima oleh data warehouse.
c.
Design
repositori metadata Hasil yang diperoleh dari tahapan ini adalah model data
logis multidimensional dan fisik skema serta spesifikasi sumber data dan
pemetaannya
5.
Konstruksi Dalam
tahapan konstruksi dilakukan pembuatan pemrograman sesuai dengan design yang
telah dibuat sebelumnya. Aktivitas yang dilakukan dalam tahapan ini adalah :
a)
Pengembangan ETL
berdasarkan skema sumber data, aturanketentuan bisnis, dan skema data
multidimensional
b)
Pengembangan
aplikasi untuk akses data dan analisa
c)
Pengembangan
repositori metadata Hasilnya yang diperoleh dalam tahapan ini adalah program
script ETL, modul ETL atau software ETL.
6.
Deployment Dalam
tahapan ini aktivitas yang dilakukan adalah implementasi.
7.
Uji Kelayakan 32
Aktivitas yang dilakukan dalam tahap ini adalah menguji kelayakan data
warehouse yang telah dibangun.
Sumber Data:
https://www.binaracademy.com/blog/pengertian-data-warehouse
https://andaoktadotcom.wordpress.com/2013/09/09/pengantar-data-warehouse/#more-9
