Apa itu arsitektur medali?

Arsitektur medali adalah pola desain data yang digunakan untuk mengatur data di data lake atau lakehouse. Tugas utamanya adalah meningkatkan kualitas dan struktur data saat data tersebut berpindah melalui berbagai tahap. Alih-alih memiliki satu tumpukan data yang sangat besar, framework ini memisahnya menjadi beberapa lapisan. Setiap lapisan menambahkan nilai lebih, sehingga data menjadi lebih andal dan mudah digunakan untuk keputusan bisnis.

Ini adalah framework logis, bukan sebuah software tertentu. Arsitektur medali dirancang untuk membantu tim mengelola pipeline data sekaligus memastikan transaksi ACID (atomicity, consistency, isolation, dan durability). Dengan memindahkan data melalui tingkat validasi ini, perusahaan dapat yakin bahwa informasi mereka akurat dan aman, bahkan saat menangani informasi mentah dalam jumlah besar.

Arsitektur medali versus data warehousing tradisional

Sebelumnya, data warehouse tradisional menggunakan pendekatan "skema tulis". Artinya, Anda harus menentukan struktur data dengan sempurna sebelum dapat menyimpannya. Meskipun cara ini membuat semuanya terorganisir, prosesnya sering kali lambat dan kaku. Jika format data Anda sedikit berubah, seluruh sistem mungkin berhenti berfungsi hingga engineer memperbaikinya secara manual.

Arsitektur medali mengikuti paradigma lakehouse modern, yang mengadopsi "skema baca" di lapisan data mentah. Hal ini memungkinkan data langsung tersimpan dalam bentuk mentahnya. Anda hanya perlu mengkhawatirkan struktur saat nilai bisnis data menjadi jelas. Cara kerja ini lebih fleksibel karena memungkinkan perusahaan mengumpulkan data saat ini dan memutuskan cara menggunakannya nanti.

Tiga lapisan arsitektur medali

Dalam arsitektur medali, data mengalir seperti sungai melalui tiga tahap utama: bronze, silver, dan gold. Saat berpindah dari satu tahap ke tahap berikutnya, data menjadi lebih bersih dan terorganisir. Dengan penyiapan ini, engineer dapat memperbaiki kesalahan sejak awal dan memberikan versi data yang tepat kepada pengguna yang berbeda untuk tugas spesifik mereka.

Lapisan bronze (data mentah)

Lapisan bronze adalah zona landing untuk semua data yang masuk. Di sinilah Anda menyimpan informasi mentah dan belum diproses dari sumber seperti API web, sensor IoT, atau database transaksional. Anda tidak mengubah data di sini, tetapi Anda menyimpan data dalam format aslinya, seperti JSON, CSV, atau Parquet.

Engineer biasanya menambahkan stempel waktu ke file ini untuk menunjukkan kapan file tersebut diterima. Lapisan bronze bertindak sebagai arsip permanen dan historis. Jika melakukan kesalahan dalam perhitungan nanti, Anda selalu dapat kembali ke data mentah ini dan memulai ulang. Hal ini memastikan Anda tidak pernah kehilangan "kebenaran nyata" dari operasi bisnis Anda.

Lapisan silver (data yang dibersihkan dan disesuaikan)

Anggap lapisan silver sebagai "sumber tepercaya" Anda. Pada tahap ini, data dari lapisan bronze dibersihkan secara menyeluruh. Engineer menggunakan alat untuk memfilter data sampah, menghapus kumpulan data duplikat, dan memperbaiki nilai yang hilang. Mereka juga menstandarkan format, seperti memastikan setiap tanggal mengikuti pola yang sama.

Lapisan silver menggabungkan set data yang berbeda untuk membuat tampilan yang jelas tentang item bisnis inti, seperti "pelanggan" atau "produk". Lapisan ini sangat cocok untuk analisis layanan mandiri. Dasbor ini cukup sederhana untuk digunakan oleh sebagian besar orang, tetapi tetap cukup detail untuk menjawab berbagai pertanyaan tanpa terbatas pada satu laporan tertentu saja.

Lapisan gold (data siap untuk penggunaan bisnis)

Lapisan gold berisi data yang paling disempurnakan. Informasi ini disesuaikan untuk kebutuhan bisnis tertentu, seperti laporan penjualan bulanan atau model machine learning yang memprediksi churn pelanggan. Alih-alih daftar mentah, lapisan gold sering kali menggunakan "skema bintang" atau tabel yang dioptimalkan untuk pembacaan cepat.

Karena data ini sudah digabungkan dan dihitung, data ini dimuat dengan sangat cepat di dasbor. Data scientist dapat menggunakan tabel gold untuk melihat "Pengguna Aktif Harian per Region" tanpa harus menggabungkan jutaan baris mentah secara manual. Ini adalah produk akhir yang dirancang untuk memberikan nilai langsung kepada perusahaan.

Manfaat utama arsitektur medali

Menggunakan pendekatan berlapis membantu tim bergerak lebih cepat dan mengurangi risiko terjadinya kesalahan yang merugikan. Hal ini memberikan roadmap yang jelas tentang cara menangani data, sehingga memudahkan pengelolaan seluruh sistem seiring pertumbuhan perusahaan.

Kualitas data inkremental

Memisah pipeline data menjadi langkah-langkah yang berbeda akan mempermudah proses debug. Jika dasbor menampilkan angka yang salah, engineer dapat memeriksa lapisan silver terlebih dahulu. Jika data silver sudah benar, mereka tahu bahwa errornya terletak pada logika transformasi gold. Isolasi ini membantu tim menemukan dan memperbaiki bug dalam hitungan menit, bukan jam, sehingga aliran data tetap stabil dan andal.

Lintas waktu dan kemampuan reproduksi

Dengan menyimpan histori lengkap di lapisan bronze, organisasi dapat menjalankan kembali seluruh proses data kapan saja. Hal ini berguna jika aturan bisnis berubah. Misalnya, jika tim keuangan mengubah cara mereka menghitung "laba", Anda dapat memproses ulang semua data lama agar sesuai dengan aturan baru. "Lintas waktu" ini juga membantu audit, karena Anda dapat membuktikan dengan tepat seperti apa tampilan data pada titik waktu tertentu di masa lalu.

Akses data yang demokratis

Setiap orang di perusahaan memerlukan jenis data yang berbeda. Data scientist sering kali menginginkan data mentah dari lapisan bronze untuk melatih model AI yang kompleks. Sementara itu, analis bisnis hanya menginginkan angka yang bersih dan sudah siap digunakan dari lapisan gold untuk diagram mereka. Arsitektur medali memungkinkan semua orang mengakses lapisan spesifik yang mereka butuhkan tanpa saling mengganggu.

Cara menerapkan arsitektur medali

Membangun arsitektur ini memerlukan rencana yang jelas untuk memindahkan data antara alat penyimpanan dan komputasi. Anda dapat mengikuti empat langkah ini untuk menyiapkan pipeline yang andal.

Langkah 1: Penyerapan ke bronze

Pertama, siapkan pipeline otomatis untuk memindahkan data dari sumber ke area penyimpanan yang skalabel. Anda dapat menggunakan alat seperti Dataflow untuk data real-time atau pemuatan batch untuk update harian. Sasarannya adalah untuk membuang data ke "bucket" tanpa perlu mengubahnya. Hal ini memastikan tidak ada informasi yang hilang atau diubah secara tidak sengaja selama proses pemindahan.

Langkah 2: Transformasi ke silver

Selanjutnya, gunakan mesin pemrosesan seperti Apache Spark atau SQL untuk membersihkan data bronze mentah. Pada langkah ini, Anda dapat menerapkan aturan kualitas data. Anda dapat mengonversi semua stempel waktu ke zona waktu standar, seperti UTC, atau menghapus akun uji coba dari daftar pengguna Anda. Banyak tim menulis hasil ini ke format tabel terbuka seperti Delta Lake atau Apache Iceberg, yang membantu menjaga data tetap terorganisir dan dapat ditelusuri.

Langkah 3: Agregasi ke gold

Setelah data dibersihkan di lapisan silver, Anda dapat membuat kueri SQL khusus untuk membangun tabel gold. Kueri ini menggabungkan berbagai tabel untuk membuat metrik tertentu, seperti "Pendapatan per Kategori". Metrik ini sering kali disimpan dalam tampilan berperforma tinggi yang dapat langsung dihubungkan ke alat visualisasi seperti Looker.

Langkah 4: Orkestrasi dan tata kelola

Terakhir, Anda memerlukan cara untuk menjadwalkan langkah-langkah ini agar dapat terjadi secara otomatis. Alat seperti Managed Service untuk Apache Airflow Google Cloud dapat mengelola waktu tugas Anda. Anda juga harus menerapkan kebijakan keamanan yang ketat. Misalnya, Anda dapat mengizinkan semua orang membaca lapisan gold, tetapi hanya beberapa akun layanan yang diizinkan untuk menulis atau mengubah data di tingkat silver dan gold.

Mengatasi tantangan bisnis Anda dengan Google Cloud

Pelanggan baru mendapatkan kredit gratis senilai $300 untuk dibelanjakan di Google Cloud.

Hubungi spesialis penjualan Google Cloud untuk membahas tantangan unik Anda secara lebih mendetail.

Membangun arsitektur medali di Google Cloud

Google Cloud menawarkan serangkaian alat canggih yang memudahkan implementasi arsitektur medali. Layanan ini menangani tugas berat terkait penskalaan dan keamanan, sehingga tim Anda dapat berfokus pada perolehan insight dari data Anda.