Data sebagai produk (DaaP) adalah metodologi yang menerapkan pemikiran produk ke pengelolaan data. Hal ini mengalihkan fokus dari sekadar mengumpulkan data menjadi menyajikannya. Dalam model ini, data dipandang sebagai aset mandiri dengan "konsumen" tertentu (developer, data scientist, analis) dan "pemilik produk" yang bertanggung jawab atas kegunaannya.
Konsep ini merupakan elemen dasar dari arsitektur mesh data. Hal ini menunjukkan bahwa tim yang paling memahami data (domain seperti penjualan, inventaris, atau logistik) harus bertanggung jawab untuk menyeleksi dan menyajikannya kepada seluruh organisasi, bukan mengandalkan tim pusat untuk mengelola semuanya.
Meskipun sering digunakan secara bergantian, istilah ini mewakili aspek berbeda dari framework yang sama.
Misalnya, strategi (DaaP) memimpin tim untuk membangun set data yang bersih dan terdokumentasi yang berisi "angka penjualan per kuartal". Set data spesifik tersebut, yang dilengkapi dengan kontrol akses dan panduan penggunaan, adalah produk data.
Agar berfungsi sebagai produk, set data umumnya harus memenuhi standar kegunaan tertentu (sering kali berasal dari prinsip data mesh). File yang hanya ada di bucket penyimpanan tidak memenuhi syarat. Karakteristik utamanya meliputi:
Penerapan pola pikir produk untuk data sering kali dilakukan untuk mengurangi gesekan antara produsen dan konsumen data.
Tim pemasaran dan dukungan sering kali memerlukan data dari berbagai sumber (log web, CRM, histori transaksi). Alih-alih setiap tim membangun pipeline ekstraksi mereka sendiri, tim "domain pelanggan" pusat dapat merilis satu produk data "profil pelanggan" yang telah divalidasi. Developer yang membangun aplikasi dapat berlangganan produk standar ini, sehingga memastikan konsistensi di seluruh perusahaan.
Dalam logistik, data terkait tingkat inventaris sering kali berfluktuasi dengan cepat. Produk data "inventaris real-time" memungkinkan tim downstream (seperti frontend situs atau pengadaan) mengkueri tingkat stok yang akurat tanpa perlu memahami kompleksitas sistem pengelolaan warehouse yang mendasarinya.
Data scientist menghabiskan banyak waktu untuk membersihkan data sebelum melatih model. Produk data "feature store" menyediakan fitur yang telah dikomputasi dan divalidasi sebelumnya (seperti risiko churn pengguna atau ukuran keranjang rata-rata). Hal ini memungkinkan data scientist melewati fase pembersihan dan berfokus pada arsitektur model.
Beralih ke pola pikir berbasis produk memerlukan upaya, tetapi hal ini dapat menawarkan beberapa keuntungan struktural bagi tim teknis dan organisasi secara keseluruhan.
Data berkualitas lebih tinggi
Karena produk data memiliki pemilik dan SLA yang ditetapkan, ada akuntabilitas untuk mengalami error. Hal ini biasanya menghasilkan set data yang lebih bersih dan andal dibandingkan dengan "dump data" yang tidak dimiliki.
Pengembangan lebih cepat
Developer menghabiskan lebih sedikit waktu untuk mencari data atau mencoba menguraikan nama kolom yang tidak jelas. Dengan akses layanan mandiri dan dokumentasi yang jelas, developer dapat mengintegrasikan data ke dalam aplikasi dengan lebih cepat.
Penurunan bottleneck
Dengan mendesentralisasi kepemilikan data ke tim domain, organisasi mengatasi bottleneck dari satu tim data pusat. Hal ini memungkinkan beberapa tim membangun dan memublikasikan produk data secara paralel.
Tata kelola yang lebih jelas
Kebijakan keamanan dan akses ditentukan di tingkat produk. Hal ini memudahkan audit terkait siapa saja yang memiliki akses ke suatu data, sehingga memastikan kepatuhan tanpa memperlambat akses bagi pengguna yang sah.
Untuk membantu memahami DaaP dengan lebih baik, mari kita ilustrasikan bagaimana konsep teoritis DaaP dapat diimplementasikan secara praktis menggunakan Knowledge Catalog (sebelumnya dikenal sebagai Dataplex) dan BigQuery sebagai substrat teknologi.
Skenario: Seorang developer perlu membangun sistem rekomendasi dan memerlukan set data yang andal terkait histori aktivitas melihat dari pengguna.
Di lingkungan DaaP, developer menghindari permintaan manual. Mereka menggunakan Knowledge Catalog, yang berfungsi sebagai platform pusat untuk tata kelola data ke AI. Dengan menelusuri katalog untuk "tayangan halaman pengguna", mereka menemukan aset terdaftar bernama ecommerce-user-activity. Hal ini memenuhi persyaratan agar dapat ditemukan.
Sebelum menulis kode, developer meninjau entri tersebut. Mereka melihat:
Developer meminta akses melalui antarmuka katalog. Pemilik data (tim domain tertentu) menyetujui permintaan tersebut, sehingga memberikan peran "penampil data" untuk resource tertentu. Hal ini memenuhi persyaratan keamanan.
Setelah akses diberikan, developer akan mengkueri produk data secara langsung di BigQuery.
Karena data diperlakukan sebagai produk, developer mengandalkan skema yang tetap stabil (atau diberi tahu tentang perubahan versi), sehingga aplikasi dapat berjalan dengan andal.
Bagi developer yang ingin beralih dari pembuatan data ad-hoc ke pembuatan produk data terkelola, Knowledge Catalog menyediakan layanan khusus untuk mengemas, mengatur, dan membagikan aset. Alur kerja berikut memberikan dasar pengukuran untuk siklus proses terkelola.
Mulailah membangun solusi di Google Cloud dengan kredit gratis senilai $300 dan lebih dari 20 produk yang selalu gratis.