Apa yang dimaksud dengan data sebagai produk (DaaP)?

Data sebagai produk (DaaP) adalah metodologi yang menerapkan pemikiran produk ke pengelolaan data. Hal ini mengalihkan fokus dari sekadar mengumpulkan data menjadi menyajikannya. Dalam model ini, data dipandang sebagai aset mandiri dengan "konsumen" tertentu (developer, data scientist, analis) dan "pemilik produk" yang bertanggung jawab atas kegunaannya.

Konsep ini merupakan elemen dasar dari arsitektur mesh data. Hal ini menunjukkan bahwa tim yang paling memahami data (domain seperti penjualan, inventaris, atau logistik) harus bertanggung jawab untuk menyeleksi dan menyajikannya kepada seluruh organisasi, bukan mengandalkan tim pusat untuk mengelola semuanya.

Perbedaan antara DaaP dan produk data

Meskipun sering digunakan secara bergantian, istilah ini mewakili aspek berbeda dari framework yang sama.

  • Data sebagai produk (DaaP) adalah strateginya. DataOps adalah pola pikir untuk memperlakukan data dengan ketelitian yang sama seperti software. Hal ini melibatkan penerapan prinsip pengelolaan produk, seperti pembuatan versi, dokumentasi, dan dukungan pengguna, ke aset data.
  • Produk data adalah outputnya. Produk data adalah unit data tepercaya dan mudah diakses yang dirancang untuk mengatasi masalah tertentu.

Misalnya, strategi (DaaP) memimpin tim untuk membangun set data yang bersih dan terdokumentasi yang berisi "angka penjualan per kuartal". Set data spesifik tersebut, yang dilengkapi dengan kontrol akses dan panduan penggunaan, adalah produk data.

Komponen utama data sebagai produk

Agar berfungsi sebagai produk, set data umumnya harus memenuhi standar kegunaan tertentu (sering kali berasal dari prinsip data mesh). File yang hanya ada di bucket penyimpanan tidak memenuhi syarat. Karakteristik utamanya meliputi:

  • Dapat ditemukan: Konsumen harus dapat menemukan data dengan mudah, biasanya melalui katalog terpusat atau mesin telusur.
  • Dapat diakses: Data harus memiliki alamat (URI) yang unik dan permanen sehingga developer dapat mengaksesnya secara terprogram.
  • Tepercaya: Data harus dapat diandalkan. Hal ini sering kali diberlakukan melalui perjanjian tingkat layanan (SLA) terkait keaktualan dan akurasi data.
  • Deskripsi mandiri: Data harus membawa metadata yang menjelaskan skema, asal, dan penggunaan yang dimaksudkan, sehingga mengurangi kebutuhan konsumen untuk mengajukan pertanyaan kepada pemilik.
  • Aman: Kebijakan akses harus dilampirkan langsung ke produk data, sehingga keamanan diterapkan secara otomatis terlepas dari siapa yang mengaksesnya.
  • Dapat dioperasikan: Data harus mematuhi standar global, sehingga dapat digabungkan atau dianalisis bersama produk data dari domain lain.

Kasus penggunaan DaaP di perusahaan

Penerapan pola pikir produk untuk data sering kali dilakukan untuk mengurangi gesekan antara produsen dan konsumen data.

Tim pemasaran dan dukungan sering kali memerlukan data dari berbagai sumber (log web, CRM, histori transaksi). Alih-alih setiap tim membangun pipeline ekstraksi mereka sendiri, tim "domain pelanggan" pusat dapat merilis satu produk data "profil pelanggan" yang telah divalidasi. Developer yang membangun aplikasi dapat berlangganan produk standar ini, sehingga memastikan konsistensi di seluruh perusahaan.

Dalam logistik, data terkait tingkat inventaris sering kali berfluktuasi dengan cepat. Produk data "inventaris real-time" memungkinkan tim downstream (seperti frontend situs atau pengadaan) mengkueri tingkat stok yang akurat tanpa perlu memahami kompleksitas sistem pengelolaan warehouse yang mendasarinya.

Data scientist menghabiskan banyak waktu untuk membersihkan data sebelum melatih model. Produk data "feature store" menyediakan fitur yang telah dikomputasi dan divalidasi sebelumnya (seperti risiko churn pengguna atau ukuran keranjang rata-rata). Hal ini memungkinkan data scientist melewati fase pembersihan dan berfokus pada arsitektur model.

Manfaat mengadopsi DaaP

Beralih ke pola pikir berbasis produk memerlukan upaya, tetapi hal ini dapat menawarkan beberapa keuntungan struktural bagi tim teknis dan organisasi secara keseluruhan.

Data berkualitas lebih tinggi

Karena produk data memiliki pemilik dan SLA yang ditetapkan, ada akuntabilitas untuk mengalami error. Hal ini biasanya menghasilkan set data yang lebih bersih dan andal dibandingkan dengan "dump data" yang tidak dimiliki.

Pengembangan lebih cepat

Developer menghabiskan lebih sedikit waktu untuk mencari data atau mencoba menguraikan nama kolom yang tidak jelas. Dengan akses layanan mandiri dan dokumentasi yang jelas, developer dapat mengintegrasikan data ke dalam aplikasi dengan lebih cepat.

Penurunan bottleneck

Dengan mendesentralisasi kepemilikan data ke tim domain, organisasi mengatasi bottleneck dari satu tim data pusat. Hal ini memungkinkan beberapa tim membangun dan memublikasikan produk data secara paralel.

Tata kelola yang lebih jelas

Kebijakan keamanan dan akses ditentukan di tingkat produk. Hal ini memudahkan audit terkait siapa saja yang memiliki akses ke suatu data, sehingga memastikan kepatuhan tanpa memperlambat akses bagi pengguna yang sah.

Mengimplementasikan DaaP dengan Google Cloud

Untuk membantu memahami DaaP dengan lebih baik, mari kita ilustrasikan bagaimana konsep teoritis DaaP dapat diimplementasikan secara praktis menggunakan Knowledge Catalog (sebelumnya dikenal sebagai Dataplex) dan BigQuery sebagai substrat teknologi.

Skenario: Seorang developer perlu membangun sistem rekomendasi dan memerlukan set data yang andal terkait histori aktivitas melihat dari pengguna.

Langkah 1: Penemuan (katalog)

Di lingkungan DaaP, developer menghindari permintaan manual. Mereka menggunakan Knowledge Catalog, yang berfungsi sebagai platform pusat untuk tata kelola data ke AI. Dengan menelusuri katalog untuk "tayangan halaman pengguna", mereka menemukan aset terdaftar bernama ecommerce-user-activity. Hal ini memenuhi persyaratan agar dapat ditemukan.

Langkah 2: Penilaian (metadata)

Sebelum menulis kode, developer meninjau entri tersebut. Mereka melihat:

  • Skema: Kolom yang ditentukan (seperti, user_id, item_id, timestamp).
  • Silsilah: Informasi yang menunjukkan asal data.
  • Metrik kualitas: Skor yang dihasilkan oleh pemindaian otomatis (misalnya, AutoDQ Knowledge Catalog) yang mengonfirmasi bahwa 99,9% baris memenuhi aturan kualitas yang ditentukan. Hal ini memenuhi persyaratan yang dapat dipercaya dan deskripsi mandiri.

Langkah 3: Akses (keamanan)

Developer meminta akses melalui antarmuka katalog. Pemilik data (tim domain tertentu) menyetujui permintaan tersebut, sehingga memberikan peran "penampil data" untuk resource tertentu. Hal ini memenuhi persyaratan keamanan.

Langkah 4: Konsumsi (integrasi)

Setelah akses diberikan, developer akan mengkueri produk data secara langsung di BigQuery.

  • SQL
Memuat...

Karena data diperlakukan sebagai produk, developer mengandalkan skema yang tetap stabil (atau diberi tahu tentang perubahan versi), sehingga aplikasi dapat berjalan dengan andal.

Mulai cepat: membangun produk data pertama

Bagi developer yang ingin beralih dari pembuatan data ad-hoc ke pembuatan produk data terkelola, Knowledge Catalog menyediakan layanan khusus untuk mengemas, mengatur, dan membagikan aset. Alur kerja berikut memberikan dasar pengukuran untuk siklus proses terkelola.

  1. Mengidentifikasi dan mengelola aset: Pilih referensi teknis—seperti tabel BigQuery, tampilan yang diotorisasi, atau model AI—yang mengatasi kebutuhan konsumen tertentu. Aset ini harus didaftarkan di Knowledge Catalog.
  2. Membuat produk data: Gunakan konsol Knowledge Catalog untuk membuat resource Produk Data baru. Hal ini bertindak sebagai container logis yang mengemas aset pilihan Anda menjadi satu unit untuk penemuan dan berbagi.
  3. Melampirkan konteks bisnis (Aspek): Memperkaya produk Anda melalui metadata dengan melampirkan Aspek. Gunakan Template Produk Data untuk menentukan nama produk, tujuan bisnis, kepemilikan, dan penggunaan yang dimaksudkan, sehingga memastikan deskripsi mandiri produk kepada konsumen.
  4. Menentukan tata kelola dan akses: Mengonfigurasi alur kerja persetujuan dan peran yang diperlukan untuk produk. Dengan cara ini, Anda dapat mengelola permintaan akses secara terpusat, sehingga hanya pengguna yang diotorisasi yang dapat berlangganan dan mengkueri produk.
  5. Memublikasikan dan berbagi: Setelah dipublikasikan, produk data dapat ditemukan di katalog untuk AI. Konsumen dapat menelusuri produk, meninjau dokumentasi dan metrik kualitasnya, serta meminta akses untuk mulai membuat kueri data secara langsung di BigQuery.

Mengatasi tantangan bisnis Anda dengan Google Cloud

Pelanggan baru mendapatkan kredit gratis senilai $300 untuk dibelanjakan di Google Cloud.

Referensi lainnya

Langkah selanjutnya

Mulailah membangun solusi di Google Cloud dengan kredit gratis senilai $300 dan lebih dari 20 produk yang selalu gratis.

Google Cloud