Data Warehouse adalah sebuah system yang terdiri dari
beberapa proses dan database yang digunakan untuk menyediakan infrastruktur
data bagi EIS dan DSS. Data Warehouse diorganisasikan oleh data subjek yang
terkait dengan organisasi. Contohnya : Costumer, Claim, Shiftment, Product.
Data Warehousing Adalah Sebuah
Proses
* Dinamika fundamental pada inti dari
data warehouse
Pendukung keputusan adalah sebuah proses pembelajaran
1. Data pada warehouse mengubah pengertian pengguna
terhadap pekerjaan mereka.
2. Dengan berubahnya
pengertian mereka, keperluan informasi mereka juga berubah.
3. Dengan berubahnya keperluan informasi mereka, data
warehouse juga berubah.
4. Kembali ke nomor 1.
Teknik Data Warehouse
1. Pengidentifikasian Keperluan
- Suatu hal yang sangat sulit
* Keperluan pengguna
* Ketersediaan data
- Laporan yang sudah ada dapat ditiru
- Wawancara dengan pengguna
- Pekerjaan menerka secara intelligent oleh analis yang berilmu
- Sekali sistem dibangun maka semua jenis keperluan akan muncul
* Feedback sangat diperlukan
Pengambilan, Transformasi dan Penyimpanan Data
Sebagian besar usaha, waktu dan biaya muncul di sini
·
Tool ETL untuk pengambilan,
transformasi dan penyimpanan sudah dipasarkan tapi sedikit yang memakai
·
Untuk ETL yang dirancang
sendiri, secara rata-rata untuk setiap data warehouse (menurut survey):
§ Pengambilan –16 program/875 baris per program
§ Transformasi –12 program/741 baris per program
§ Pengecekan integritas –9 program/522 baris per program
·
Mengidentifikasikan data yang
berubah sangat sulit
§ Disebut dengan Changed Data Capture (CDC)
§ Banyak yang melakukan refresh lengkap
2. Pengambilan Data Produksi
·
Pengambilan utama
§ Memerlukan data dengan format yang sudah ada
·
Mengidentifikasikan records
baru dan yang sudah berubah
·
Mengeneralisasikan kunci untuk
mengubah dimensi
·
Mentransformasikan ke load
record image
·
Migrasi dari sistem yang sudah
ada ke sistem data warehouse
·
Melakukan sorting dan membangun
agregat
·
Mengeneralisasikan kunci untuk
agregat
·
Menyimpan dan melakukan
indexing
·
Perkecualian proses
§ Menjamin integritas keterkaitan
·
Jaminan kualitas
·
Mempublikasikan
3. Pengambilan Data Utama
- Memerlukan koneksi fisik untuk sistem sumber
§ Keamanan
ü FTP
§ Manajemen pergerakan volume data dalam jumlah besar
·
Memerlukan definisi format yang
sudah ada dan pengertian bagaimana sistem tersebut bekerja
4. Arsitektur Warehouse
Opsi Utama:
·
Data Warehouse Perusahaan
§ Sumber data terpusat
§ Besar dalam hal scope dan terkadang ukuran
§ Mengoptimalkan proses pengambilan
§ Memaksimalkan keuntungan pengintegrasian
§ Cara pandang pengguna
§ Sulit untuk memenuhi keperluan kelompok pengguna yang berbeda
§ Proyek sering gagal
·
Data Mart yang mempunyai
ketergantungan
§ Sebagian dari data diambil dari data warehouse perusahaan dan diorganisasikan
untuk memenuhi keperluan bisnis dan aplikasi
§ Umumnya data warehouse perusahaan dalam bentuk 3NF
§ Data Mart di-de-normalisasikan
ü OLAP sebagai contohnya
§ Dalam kenyataannya, sulit untuk mendapatkan semua data yang
diperlukan dari penyimpan data perusahaan
§ Pendekatan paling umum (secara teori)
·
Data Mart yang berdiri sendiri
§ Banyak data warehouse kecil di berbagai tempat
§ Umumnya mengikuti pendekatan berdimensi
§ Kurang integrasi
ü Tidak konsisten
§ Duplikasi sumber data
ü Hal yang paling menyulitkan
§ Tapi bisa digunakan
ü Masalahnya adalah dalam jangka waktu menengah maupun panjang
5. Perancangan Database secara Fisik
Hal-hal yang perlu untuk dipikirkan:
·
Standar
·
Lokasi file secara fisik
·
Volume data
ü Index, agregat, dan detail data
·
Kelangkaan data
·
Konfigurasi disk
·
Pola penggunaan
·
Jumlah dan distribusi pengguna
·
Frekuensi update
·
Kemampuan pengembangan
ü Data, penggunaan dan query
6. Policy untuk operasional
·
Manajemen dengan ritme harian
untuk data load dan query
§ Policies untuk semua hal yang berbeda yang dapat menjadi masalah
dalam proses data load
§ Data warehouse sebagai sistem yang amburadul
·
Manajemen untuk performance
query
§ Mengatur indes, agregat, partisi untuk memastikan waktu respon yang
baik
0 komentar:
Posting Komentar