Apa itu mesh data?

Mesh data bukan hanya tentang serangkaian alat atau teknologi baru, tetapi juga perubahan dalam cara perusahaan memandang data mereka. Ada empat prinsip utama yang memandu pendekatan mesh data. Prinsip-prinsip inilah yang membuat pendekatan ini sangat efektif dalam memecahkan masalah arsitektur data terpusat dan tradisional.

Dalam arsitektur data tradisional, satu tim pusat, seperti tim IT atau data engineering, bertanggung jawab atas semua data. Dalam mesh data, kepemilikan data tersebar ke domain bisnis yang membuat data. Misalnya, tim penjualan akan memiliki data pelanggan yang mereka hasilkan, dan tim pemasaran akan memiliki data kampanye yang mereka buat. Hal ini membuat tim menjadi lebih bertanggung jawab dan akuntabel terhadap data yang mereka hasilkan.

Dengan kepemilikan berorientasi domain, tim yang membuat data juga harus memperlakukannya seperti produk. Sama seperti perusahaan yang menyediakan produk berkualitas tinggi bagi pelanggan, tim domain data perlu menyediakan data berkualitas tinggi bagi tim lain yang membutuhkannya. Artinya, data mudah ditemukan, dipahami, dan digunakan. Data juga harus tepercaya, aman, dan terdokumentasi dengan baik, yang dilengkapi dengan kontrol akses bawaan sehingga hanya orang yang tepat yang dapat mengakses data yang ditujukan untuk kasus penggunaan mereka.

Untuk memungkinkan data diperlakukan sebagai produk, mesh data menggunakan platform layanan mandiri. Platform ini adalah serangkaian alat dan layanan yang memungkinkan tim domain data membuat dan mengelola produk data mereka dengan mudah tanpa memerlukan bantuan dari tim data pusat. Hal ini dapat berupa platform sederhana dan mudah digunakan yang mengotomatiskan banyak tugas teknis yang terlibat dalam pengelolaan data, seperti penyimpanan data, keamanan, dan tata kelola.

Karena data terdesentralisasi dan tersebar di banyak tim yang berbeda, perlu ada cara untuk memastikan semua orang mengikuti aturan yang sama. Di sinilah tata kelola komputasi gabungan berperan. Ini adalah model di mana tim pusat yang kecil menetapkan aturan dan standar global untuk semua data. Namun, penerapan aturan ini ditangani oleh tim domain data itu sendiri. Hal ini menggabungkan yang terbaik dari keduanya: kebijakan terpusat dengan eksekusi terdesentralisasi.

Pendekatan mesh data dibuat untuk mengatasi beberapa masalah umum pada arsitektur data tradisional. Model ini, seperti data warehouse atau data lake yang dimiliki oleh masing-masing departemen atau tim, dapat menciptakan silo data dan risiko tata kelola, terutama seiring dengan perkembangan perusahaan. Mesh data mengatasi masalah tersebut dengan mendistribusikan kepemilikan dan memberdayakan tim individual sambil tetap mempertahankan kontrol pusat untuk mengatur dan memantau data di seluruh domain.

Dataplex Universal Catalog berfungsi sebagai data fabric terpadu dan menyediakan lapisan tata kelola terpusat atas mesh data Anda. Ini dapat membantu Anda menemukan, mengelola, dan mengatur data terdistribusi di berbagai lingkungan, serta memastikan Anda memiliki satu sumber kebenaran untuk metadata dan kebijakan. Untuk memulai, Anda harus membuat Dataplex lake. Dataplex lake adalah container tingkat atas yang menyimpan data Anda dan biasanya dipetakan ke domain bisnis.

Berikut langkah-langkah untuk membuat Dataplex lake:

1. Di Konsol Google Cloud, navigasikan ke halaman Dataplex Universal Catalog Lakes.
2. Setelah mengeklik "Create", beri nama Dataplex lake baru Anda dengan sesuatu yang deskriptif, seperti "Sales Data Domain" atau "Marketing Data Mesh".
3. Pilih region untuk Dataplex lake Anda.
4. Setelah Dataplex lake dibuat, Anda dapat menambahkan zona. Zona adalah subdomain dalam Dataplex lake Anda yang menampilkan tim atau kontrak data tertentu. Misalnya, di dalam Dataplex lake "Sales Data Domain", Anda dapat membuat zona "Raw" untuk data yang belum diproses dan zona "Curated" untuk data yang sudah dibersihkan dan siap produksi.
5. Setelah membuat zona, Anda dapat melampirkan aset ke zona tersebut. Aset adalah data aktual yang disimpan dalam layanan seperti Cloud Storage atau BigQuery. Anda cukup mengarahkan zona Dataplex ke lokasi data Anda.

Dataplex kemudian secara otomatis memindai aset ini untuk menemukan dan membuat katalog metadata.

Bagian penting dari prinsip "data sebagai produk" adalah membuat data mudah ditemukan. Berbagi data BigQuery memungkinkan Anda membangun marketplace produk data. Fitur ini memungkinkan tim domain untuk berbagi produk data dengan tim lainnya secara aman tanpa menyalin atau memindahkan data. Hal ini dapat membantu konsumen data menemukan data yang mereka butuhkan dan memberi mereka antarmuka yang jelas dan terdefinisi dengan baik untuk mengaksesnya.

Layanan serverless Google Cloud memberdayakan tim domain untuk membuat dan mengelola produk data mereka sendiri dengan beban minimal. BigQuery adalah data warehouse serverless yang canggih yang memungkinkan tim menganalisis kumpulan data besar dengan cepat dan efisien. Dataflow adalah layanan pemrosesan data serverless yang dapat digunakan untuk membangun dan mengotomatiskan pipeline data untuk produk data. Layanan ini mengurangi kebutuhan tim data engineering pusat untuk mengelola infrastruktur, sehingga membuat tim domain menjadi lebih otonom dan fleksibel.

Tata kelola komputasi gabungan adalah prinsip di mana tim pusat menentukan aturan global, tetapi mengizinkan tim domain menerapkannya. Kondisi Identity and Access Management (IAM) Google Cloud menyediakan alat untuk mengimplementasikan hal ini. Kondisi IAM memungkinkan kontrol akses berbasis atribut (ABAC), di mana Anda dapat mengatur izin terperinci berdasarkan atribut data. Misalnya, Anda dapat membuat kebijakan yang hanya mengizinkan pengguna untuk mengakses data pelanggan dari region spesifik mereka, yang membantu memastikan kepatuhan terhadap peraturan kedaulatan data seperti GDPR.