Categories

Lesson 6

Blog Archive

Follower

Statistik

Get Gifs at CodemySpace.com

Pengertian / Arti Data Warehouse



Data Warehouse adalah sebuah system yang terdiri dari beberapa proses dan database yang digunakan untuk menyediakan infrastruktur data bagi EIS dan DSS. Data Warehouse diorganisasikan oleh data subjek yang terkait dengan organisasi. Contohnya : Costumer, Claim, Shiftment, Product.
Data Warehousing Adalah Sebuah Proses
* Dinamika fundamental pada inti dari data warehouse
Pendukung keputusan adalah sebuah proses pembelajaran
1. Data pada warehouse mengubah pengertian pengguna terhadap pekerjaan mereka.
2. Dengan berubahnya pengertian mereka, keperluan informasi mereka juga berubah.
3. Dengan berubahnya keperluan informasi mereka, data warehouse juga berubah.
4. Kembali ke nomor 1.
Teknik Data Warehouse

1. Pengidentifikasian Keperluan
  • Suatu hal yang sangat sulit
* Keperluan pengguna
* Ketersediaan data
  • Laporan yang sudah ada dapat ditiru
  • Wawancara dengan pengguna
  • Pekerjaan menerka secara intelligent oleh analis yang berilmu
  • Sekali sistem dibangun maka semua jenis keperluan akan muncul
* Feedback sangat diperlukan
Pengambilan, Transformasi dan Penyimpanan Data
Sebagian besar usaha, waktu dan biaya muncul di sini
·         Tool ETL untuk pengambilan, transformasi dan penyimpanan sudah dipasarkan tapi sedikit yang memakai
·         Untuk ETL yang dirancang sendiri, secara rata-rata untuk setiap data warehouse (menurut survey):
§ Pengambilan –16 program/875 baris per program
§ Transformasi –12 program/741 baris per program
§ Pengecekan integritas –9 program/522 baris per program
·         Mengidentifikasikan data yang berubah sangat sulit
§ Disebut dengan Changed Data Capture (CDC)
§ Banyak yang melakukan refresh lengkap
2. Pengambilan Data Produksi
·         Pengambilan utama
§ Memerlukan data dengan format yang sudah ada
·         Mengidentifikasikan records baru dan yang sudah berubah
·         Mengeneralisasikan kunci untuk mengubah dimensi
·         Mentransformasikan ke load record image
·         Migrasi dari sistem yang sudah ada ke sistem data warehouse
·         Melakukan sorting dan membangun agregat
·         Mengeneralisasikan kunci untuk agregat
·         Menyimpan dan melakukan indexing
·         Perkecualian proses
§ Menjamin integritas keterkaitan
·         Jaminan kualitas
·         Mempublikasikan
3. Pengambilan Data Utama
  • Memerlukan koneksi fisik untuk sistem sumber
§ Keamanan
ü  FTP
§  Manajemen pergerakan volume data dalam jumlah besar
·         Memerlukan definisi format yang sudah ada dan pengertian bagaimana sistem tersebut bekerja
4. Arsitektur Warehouse
Opsi Utama:
·                                 Data Warehouse Perusahaan
§ Sumber data terpusat
§ Besar dalam hal scope dan terkadang ukuran
§ Mengoptimalkan proses pengambilan
§ Memaksimalkan keuntungan pengintegrasian
§ Cara pandang pengguna
§ Sulit untuk memenuhi keperluan kelompok pengguna yang berbeda
§ Proyek sering gagal


·         Data Mart yang mempunyai ketergantungan
§ Sebagian dari data diambil dari data warehouse perusahaan dan diorganisasikan untuk memenuhi keperluan bisnis dan aplikasi
§ Umumnya data warehouse perusahaan dalam bentuk 3NF
§ Data Mart di-de-normalisasikan
ü  OLAP sebagai contohnya
§ Dalam kenyataannya, sulit untuk mendapatkan semua data yang diperlukan dari penyimpan data perusahaan
§ Pendekatan paling umum (secara teori)


·         Data Mart yang berdiri sendiri
§  Banyak data warehouse kecil di berbagai tempat
§  Umumnya mengikuti pendekatan berdimensi
§  Kurang integrasi
ü  Tidak konsisten
§  Duplikasi sumber data
ü  Hal yang paling menyulitkan
§  Tapi bisa digunakan
ü  Masalahnya adalah dalam jangka waktu menengah maupun panjang


5. Perancangan Database secara Fisik
Hal-hal yang perlu untuk dipikirkan:
·         Standar
·         Lokasi file secara fisik
·         Volume data
ü  Index, agregat, dan detail data
·         Kelangkaan data
·         Konfigurasi disk
·         Pola penggunaan
·         Jumlah dan distribusi pengguna
·         Frekuensi update
·         Kemampuan pengembangan
ü  Data, penggunaan dan query
6. Policy untuk operasional
·         Manajemen dengan ritme harian untuk data load dan query
§  Policies untuk semua hal yang berbeda yang dapat menjadi masalah dalam proses data load
§  Data warehouse sebagai sistem yang amburadul
·         Manajemen untuk performance query
§  Mengatur indes, agregat, partisi untuk memastikan waktu respon yang baik
Category: 0 komentar

0 komentar:

Posting Komentar