Memahami Dimensi yang Berubah Secara Perlahan – Gethyn Ellis

Memahami Dimensi yang Berubah Secara Perlahan

Dimensi yang Berubah Secara Perlahan (SCD) adalah landasan desain data warehousing. Mereka memastikan bahwa atribut deskriptif entitas bisnis—pelanggan, produk, karyawan, lokasi—ditangani dengan benar ketika atribut tersebut berubah seiring waktu. Tanpa strategi yang jelas untuk melacak perubahan dalam data dimensi, sistem analitik akan kehilangan riwayat berharga atau menjadi tidak konsisten, sehingga menyebabkan pelaporan yang tidak akurat.

Dalam postingan ini, kami mengeksplorasi tipe-tipe utama SCD, apa artinya dalam praktik, dan bagaimana tipe-tipe tersebut cocok dengan rutinitas pemuatan dimensi pada umumnya. Kami juga melihat lebih dekat pendekatan yang paling umum digunakan: Dimensi Berubah Perlahan Tipe 2.

Apa Dimensi yang Berubah Secara Perlahan?

Suatu dimensi menjadi “berubah secara perlahan” ketika atribut-atributnya tidak tetap statis. Nama pelanggan berubah, deskripsi produk berkembang, dan struktur organisasi berubah. Gudang data memerlukan strategi untuk menangani perubahan ini dengan cara yang dapat diprediksi dan diaudit.

Jenis SCD yang paling dikenal meliputi:

• Tipe 0: Tetap — tidak ada perubahan yang diizinkan Atribut dimensi Tipe 0 secara efektif hanya dapat dibaca. Setelah dimuat, itu tidak pernah berubah. Hal ini berguna untuk nilai yang harus tetap terikat secara permanen dengan catatan asli, seperti tanggal bergabung pelanggan atau kategori peluncuran produk asli.
• Tipe 1: Timpa — tanpa riwayat Tipe 1 hanya menimpa nilai-nilai lama dengan yang baru. Nilai sejarahnya hilang. Pendekatan ini cocok untuk memperbaiki kesalahan atau memperbarui atribut non-kritis seperti format nama standar.
• Tipe 2: Tambahkan catatan baru — riwayat lengkap disimpan Tipe 2 adalah pekerja keras pemodelan dimensi. Setiap kali terjadi perubahan, versi rekaman baru disisipkan, dan versi lama ditutup menggunakan tanggal efektif. Ini melestarikan sejarah lengkap tentang bagaimana entitas berevolusi dari waktu ke waktu.
• Tipe 3: Tambahkan kolom baru — riwayat terbatas Di sini, nilai lama disimpan di kolom tambahan “nilai sebelumnya”. Ini hanya memberikan gambaran singkat tentang satu keadaan historis. Ini berguna ketika Anda hanya perlu membandingkan atribut “saat ini” dan “sebelumnya”.
• Tipe 4: Tabel riwayat — mengarsipkan catatan lama Versi lama dipindahkan ke tabel riwayat khusus. Tabel saat ini tetap kecil dan cepat, sementara catatan sejarah terperinci tetap dapat diakses bila diperlukan.
• Tipe 5/6: Pendekatan hibrida Organisasi yang besar atau kompleks terkadang memadukan teknik, seperti menggabungkan perilaku Tipe 1 dan Tipe 2 untuk serangkaian atribut yang berbeda, atau mempertahankan versi terkini dan historis untuk alasan kinerja.

Mengapa Tipe 2 Adalah Yang Paling Umum

Sebagian besar gudang data di dunia nyata menyukai SCD Tipe 2, khususnya untuk dimensi pelanggan, produk, dan karyawan. Dunia usaha perlu menganalisis perilaku dan kinerja berdasarkan apa yang benar pada saat itu, bukan berdasarkan apa yang benar saat ini. Misalnya:

• Kategori produk apa yang termasuk dalam item ini saat penjualan dilakukan?
• Di mana alamat tempat tinggal pelanggan saat faktur diterbitkan?
• Di departemen manakah karyawan tersebut ditugaskan ketika proyek dimulai?

SCD Tipe 2 memungkinkan laporan mencerminkan konteks historis yang benar dengan menyimpan setiap versi catatan beserta rentang validitasnya.

Alur Kerja Pemuatan Tipe 2 yang Khas

Rutinitas pemuatan SCD Tipe 2 standar mengikuti pola yang jelas dan dapat diprediksi. Prosesnya sering kali menggunakan kolom metadata seperti ValidDari, Valid Kedan sebuah Saat Ini bendera.

Alur kerja umumnya terlihat seperti ini:

1. Identifikasi catatan yang diubah dalam sistem sumber Alur ETL menanyakan tabel sumber untuk baris yang diperbarui sejak pemuatan terakhir. Ini biasanya dilakukan dengan menggunakan a ModifiedDate atau LastUpdated kolom.
2. Bandingkan nilai yang masuk dengan catatan dimensi saat ini Jika tidak ada atribut yang berubah, jangan lakukan apa pun. Jika satu atau lebih atribut yang dilacak berbeda, rekaman saat ini ditutup dengan mengaturnya Valid Ke tanggal ke stempel waktu saat ini.
3. Masukkan versi baru Baris baru dimasukkan ke dalam tabel dimensi dengan nilai yang diperbarui. Itu ValidDari diatur ke stempel waktu muat, sementara Valid Ke diatur ke tanggal placeholder tinggi (misalnya, 9999-12-31).
4. Lacak status pemuatan Tabel statistik beban atau tabel metadata mencatat berapa banyak baris yang diproses, diperbarui, atau disisipkan selama proses. Hal ini penting untuk pemecahan masalah dan visibilitas operasional.

Hasilnya adalah tabel dimensi yang berperilaku seperti catatan sementara sejarah bisnis. Analis dapat dengan andal merekonstruksi tampilan dunia kapan saja melalui pemfilteran sederhana berdasarkan tanggal.

Mengapa SCD Penting

Dimensi yang Berubah Secara Perlahan memungkinkan analisis yang sadar waktu—salah satu alasan utama organisasi membangun gudang data. Tanpa SCD, analisis sejarah menjadi tidak dapat diandalkan. Dengan mereka, organisasi memperoleh:

• Perbandingan periode demi periode yang akurat
• Analisis tren yang andal
• Keyakinan dalam jejak audit
• Dukungan untuk pelaporan peraturan dan keuangan penuh

Seiring pertumbuhan gudang Anda, memilih strategi SCD yang tepat menjadi penting. Memahami pola-pola ini—dan menerapkannya secara konsisten—menetapkan landasan bagi ekosistem analitis yang kuat.

Jika Anda memerlukan bantuan dalam merancang atau mengimplementasikan model dimensi atau rutinitas pemuatan data, jangan ragu untuk menghubungi kami dan kami dapat mempelajari cara menerapkan pola ini di lingkungan Anda.