Arsitektur: Data Warehouse Pemasaran

Last reviewed 2022-03-23 UTC

Dokumen ini memberikan arsitektur referensi yang menjelaskan cara mem-build data warehouse pemasaran yang skalabel. Solusi data warehouse pemasaran memungkinkan Anda memberikan pengalaman iklan yang tepat waktu, tertarget, dan disesuaikan kepada pengguna sekaligus menghormati privasi mereka. Dokumen ini ditujukan untuk insinyur data, ilmuwan data, atau anggota IT dalam peran pemasaran yang mendukung analisis pemasaran.

Menerapkan data warehouse pemasaran membantu Anda memenuhi kebutuhan bisnis berikut:

  • Insight komprehensif: Jika menggunakan beberapa platform software as a service (SaaS), Anda dapat menggunakan arsitektur ini untuk menggabungkan data pemasaran dan iklan di BigQuery. Jika Anda pemangku kepentingan bisnis, Anda bisa mendapatkan insight real-time tentang pemasaran dan kinerja bisnis.

  • Inovasi pemasaran: Jika Anda seorang data scientist atau data engineer, Anda dapat membuat model machine learning (ML) untuk kebutuhan bisnis seperti segmentasi pelanggan, nilai umur pelanggan, produk rekomendasi, dan prediksi pembelian. Anda dapat mengaktifkan model ini di berbagai platform, seperti pemasaran melalui email atau penargetan iklan.

  • Pengalaman pelanggan: Data warehouse pemasaran memberikan visibilitas yang lebih tinggi ke preferensi pelanggan, sehingga Anda dapat meningkatkan pengalaman pelanggan melalui personalisasi yang akurat. Dengan mendapatkan insight ini, Anda dapat mempersonalisasi titik interaksi pelanggan, seperti aplikasi pihak pertama, situs, iklan online, dan pemasaran email.

Arsitektur

Diagram berikut menunjukkan arsitektur referensi analisis pemasaran standar di Google Cloud yang menggunakan beberapa analisis data dan produk ML.

Arsitektur referensi analisis pemasaran di Google Cloud.

Diagram ini menunjukkan tahapan berikut dalam alur kerja data warehouse pemasaran yang dapat Anda konfigurasi:

  1. Penyerapan data
  2. Pemrosesan data
  3. Machine learning
  4. Insight dan aktivasi

Komponen arsitektur

Bagian ini menjelaskan tahapan dalam solusi data warehouse pemasaran, termasuk komponen teknologi yang diperlukan.

Penyerapan data

Tahap pertama dalam membangun data warehouse pemasaran adalah menggabungkan data Anda di satu lokasi terpusat. Anda dapat menyerap data dari sumber data berikut:

  • Platform Google dan SaaS: Anda dapat menyerap sumber data, seperti Google Analytics, Google Ads, dan Google Marketing Platform, ke dalam data warehouse pemasaran Google Cloud di BigQuery. Untuk mengimpor data dari sumber seperti Salesforce, konektor SaaS tersedia di Google Cloud dan melalui partner kami.
  • Cloud publik: Anda dapat menggunakan BigQuery Data Transfer Service untuk mengimpor data dari cloud publik lainnya. Misalnya, untuk memindahkan data dari Amazon S3 ke BigQuery, Anda dapat secara otomatis menjadwalkan dan mengelola tugas pemuatan berulang. Anda juga dapat menggunakan BigQuery Omni, solusi analisis multi-cloud fleksibel yang memungkinkan Anda menganalisis data di Google Cloud dan Amazon Web Services.
  • API, file datar, dan data pihak pertama lokal: Anda dapat menyerap data dari sumber seperti sistem pengelolaan hubungan pelanggan (CRM) atau tempat penjualan (POS). Biasanya, Anda melakukan penyerapan data ini secara offline dengan menggunakan alat command line bq, BigQuery API, atau Konsol Google Cloud. Anda dapat memuat data secara lokal atau dari Cloud Storage. Untuk set data besar, sebaiknya gunakan Cloud Storage untuk mengoptimalkan penggunaan bandwidth, kecepatan jaringan, dan integrasi produk. Untuk memuat data berbasis peristiwa ke BigQuery, Anda dapat menetapkan pemicu Cloud Function. Misalnya, tetapkan pemicu berdasarkan ketersediaan data baru.

Sebagian besar pendekatan penyerapan sebelumnya menggunakan pemuatan batch. Jika ingin menyerap set data streaming ke BigQuery, Anda dapat menggunakan kemampuan streaming BigQuery. Untuk kasus penggunaan analisis streaming, lihat solusi analisis streaming.

Pemrosesan data

Setelah menyerap data, Anda dapat memproses data tersebut, jika diperlukan. Tahap ini hanya diperlukan ketika Anda perlu memproses data sebelum menjalankan kueri pada data tersebut. Pemrosesan data mencakup pembersihan dan pemformatan ulang untuk memberikan konsistensi dalam set data besar. Anda dapat menggunakan produk pemrosesan data yang tersedia dalam Google Cloud.

Pilih produk Google Cloud yang sesuai berdasarkan pengguna Anda. Misalnya, pertimbangkan jenis pengguna dan produk yang direkomendasikan berikut:

  • Developer yang mem-build pipeline data ekstrak, transformasi, dan pemuatan (ETL) dapat menggunakan produk integrasi data Cloud Data Fusion. Cloud Data Fusion memiliki UI yang memungkinkan Anda men-deploy pipeline data ELT (mengekstrak, memuat, dan mentransformasi) dan pipeline data ETL tanpa kode.
  • Tim data engineering yang mendukung analisis pemasaran dapat menggunakan Dataflow. Dataflow memungkinkan Anda menyerap dan menganalisis sumber data batch dan streaming dalam skala besar.
  • Analis data dapat menggunakan Dataprep by Trifacta, yang memungkinkan Anda menjelajahi, membersihkan, dan menyiapkan data secara visual untuk analisis di BigQuery.

Machine learning

Setelah sistem menyerap dan memproses data, Anda dapat menggunakan opsi produk Google AI Platform untuk kasus penggunaan berikut:

  • Analisis deskriptif tentang pengaruh frekuensi terhadap konversi per pengguna per kampanye: Informasi ini membantu Anda menyesuaikan frekuensi penargetan kampanye pemasaran ulang berdasarkan daftar pengguna tertentu. BigQuery memiliki akses ke data mentah Campaign Manager 360, yang menyediakan informasi ini.
  • Analisis prediktif tentang nilai umur untuk pengguna tertentu: Saat memprediksi nilai grup pengguna tertentu, Anda dapat menjalankan kampanye pemasaran untuk meningkatkan penjualan. Misalnya, Anda mungkin menemukan bahwa sekelompok pengguna dengan brand engagement yang terbatas memiliki potensi pembelian yang tinggi jika pengguna lebih sering berinteraksi. Anda mendapatkan insight ini dengan menggabungkan data dan menggunakan ML untuk membangun segmen pelanggan dan memprediksi jumlah nilai umur.
  • Analisis preskriptif terkait sentimen produk: Untuk membantu mencegah penargetan yang tidak akurat, Anda dapat menganalisis evolusi teks komentar dan rating. Analisis ini memungkinkan Anda memperkirakan bagaimana kelompok pengguna dapat menerima produk yang memiliki karakteristik tertentu. Misalnya, untuk memprediksi sentimen, Anda dapat menggunakan analisis sentimen dan segmentasi pelanggan.

Dengan data pemasaran gabungan di BigQuery, Anda dapat memilih produk AI Platform yang sesuai dengan kebutuhan Anda. Pilih salah satu produk berikut berdasarkan kematangan dan keterampilan ML organisasi Anda:

  • Jika organisasi Anda belum terbiasa dengan ML, Anda dapat membangun dan men-deploy model ML pelanggan dengan AutoML. Misalnya, Anda dapat menggunakan AutoML Tables untuk membuat model regresi dan klasifikasi, seperti kemungkinan untuk melakukan churn dan nilai umur pelanggan.
  • Jika organisasi Anda memiliki keterampilan SQL, BigQuery ML memungkinkan Anda menggunakan konstruksi SQL untuk membuat, mengevaluasi, dan memprediksi model, seperti model segmentasi audiens. Anda dapat melatih dan men-deploy banyak model yang didukung, serta menjalankan alur kerja ML tanpa memindahkan data dari BigQuery.
  • Jika organisasi Anda memiliki tim data scientist, Anda dapat menggunakan Vertex AI untuk membuat dan men-deploy model yang dioptimalkan dalam skala besar. Untuk contoh cara menggunakan Vertex AI untuk menangani nilai umur pelanggan, lihat Memprediksi Nilai Umur Pelanggan dengan AI Platform.

Insight dan aktivasi

Anda dapat menggunakan opsi Google Cloud untuk mendapatkan insight dari data iklan dan pemasaran gabungan. Selanjutnya, Anda dapat menghadirkan kembali data (seperti segmen yang terdiferensiasi) ke platform seperti Google Analytics dan pemasaran email. Google Cloud menyediakan beberapa cara untuk menindaklanjuti data berdasarkan kebutuhan Anda. Misalnya, Anda dapat mengambil kembali segmen yang telah dibedakan ke saluran pilihan, seperti Google Analytics atau Salesforce.

Looker untuk Google Marketing Platform

Anda juga dapat meninjau dan membagikan insight melalui Looker, platform business intelligence (BI) perusahaan. Anda dapat menggunakan Looker untuk menggabungkan beberapa set data, melacak perilaku pelanggan lintas saluran, dan mengelompokkan pelanggan berdasarkan atribut.

Anda dapat menggunakan Looker untuk menghasilkan insight berikut:

  • Analisis laba atas investasi (ROI): Memahami pembelanjaan dan pendapatan yang dihasilkan oleh kampanye.
  • Pemberitahuan: Menyiapkan aturan khusus untuk menerima peringatan email saat taktik atau iklan gagal.
  • Analisis atribusi lintas saluran: Mengidentifikasi tren perilaku pelanggan di antara dan di seluruh saluran pemasaran Anda.
  • Pengujian A/B: Menganalisis bagaimana variasi Anda dapat memengaruhi perilaku pengguna utama berdasarkan hasil yang signifikan secara statistik.
  • Saluran akuisisi: Melacak dari mana prospek dan pelanggan baru berasal.
  • Analisis kelompok: Mengelompokkan data Anda dan menganalisis perilaku berbagai segmen dari waktu ke waktu.

Pemblokiran dan tindakan di Looker memberikan fondasi analisis yang andal dan dapat dibagikan untuk data web dan iklan Google Marketing Platform. Pemblokiran dan tindakan yang dapat disesuaikan ini menawarkan eksplorasi data interaktif, bagian data baru yang mencakup prediksi ML ringan, dan jalur aktivasi kembali ke Google Marketing Platform. Dengan jalur aktivasi, Anda dapat menggunakan data pihak pertama untuk menargetkan audiens secara efektif.

Diagram berikut menunjukkan cara produk Google berfungsi dengan Looker.

Cara produk digunakan bersama Looker.

Diagram ini menunjukkan cara Looker menggunakan insight dari Google Analytics 4, Google Analytics 360, Campaign Manager 360, dan data apa pun di BigQuery untuk membuat pelaporan real-time. Anda dapat mengaktifkan data pihak pertama dari Looker di Google Marketing Platform dengan Actions for Ads (melalui Customer Match) dan Analytics (melalui Impor Data). Layanan horizontal, seperti IAM, terus memantau pipeline data pemasaran Anda.

Integrasi kustom

Anda juga dapat menggunakan Google Cloud untuk membuat integrasi kustom guna mengirim data kembali ke platform pilihan Anda. Misalnya, Anda dapat menjalankan kueri terjadwal untuk menghasilkan daftar audiens dengan data Analytics, lalu mengirim data kembali dengan panggilan API. Misalnya, gunakan Cloud Functions untuk memicu pengiriman data setelah segmen baru siap di Cloud Storage.

Langkah selanjutnya