Membuat pipeline kampanye target

Membuat pipeline kampanye target

Pelajari cara menggunakan Cloud Data Fusion untuk membersihkan, mentransformasi, dan memproses data pelanggan guna memilih kandidat untuk kampanye target.

---

Jika ingin mengikuti panduan langkah demi langkah untuk tugas ini langsung di Konsol Google Cloud, klik Pandu saya:

Pandu saya

---

Skenario

Anda ingin membuat materi pemasaran kustom untuk promosi kampanye yang sedang berlangsung, dan ingin mendistribusikan materi tersebut langsung ke kotak surat rumah pelanggan.

Kampanye Anda memiliki dua batasan:

• Lokasi: Anda hanya mengirimkan ke pelanggan di California, Washington, dan Oregon.
• Biaya: Untuk menghemat bahan bakar, Anda mengirimkan ke rumah pelanggan yang dapat diakses dengan cepat. Anda hanya mengirim ke pelanggan yang tinggal di jalan raya.

Tutorial ini menunjukkan cara membuat daftar alamat pelanggan untuk kampanye. Dalam tutorial ini, Anda akan melakukan beberapa hal berikut:

1. Bersihkan data pelanggan: filter pelanggan yang tinggal di jalan di California, Washington, atau Oregon.

2. Buat pipeline yang melakukan hal berikut:

   • Menggabungkan data pelanggan yang difilter dengan set data publik yang berisi singkatan negara bagian.
   • Menyimpan data yang dibersihkan dan digabungkan dalam tabel BigQuery yang dapat Anda buat kuerinya (menggunakan antarmuka web BigQuery) atau analisis (menggunakan Looker Studio).

Tujuan

• Menghubungkan Cloud Data Fusion ke dua sumber data
• Menerapkan transformasi dasar
• Menggabungkan kedua sumber data
• Menulis data output ke sink

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Enable the APIs

7. Buat instance Cloud Data Fusion.
   Tutorial ini mengasumsikan bahwa Anda menggunakan akun layanan Compute Engine default.

Catatan: Pastikan Anda memeriksa perkiraan biaya sebelum melanjutkan. Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Kelola izin

Buat dan tetapkan peran dan izin khusus yang diperlukan.

Membuat peran khusus dan menambahkan izin

1. Di konsol Google Cloud, buka halaman Roles:

   Buka halaman Roles

2. Klik Buat peran.

3. Di kolom Title, masukkan Custom Role-Tutorial.

4. Klik Tambahkan izin.

5. Di jendela Add permissions, pilih izin berikut, lalu klik Add:

   • bigquery.datasets.create
   • bigquery.jobs.create
   • storage.buckets.create

6. Klik Create.

Menetapkan peran khusus ke akun layanan Compute Engine default

1. Buka halaman Instance Cloud Data Fusion:

   Membuat instance

2. Klik nama instance Anda.

3. Catat Akun Layanan Dataproc default. Halaman detail instance berisi informasi ini.

   Berikut adalah format nama akun layanan Dataproc:

   [e-mail].

   Pelajari akun layanan Dataproc lebih lanjut.

4. Buka halaman IAM:

   Buka halaman Roles

5. Di panel Filter, masukkan nama akun layanan Dataproc default Anda.

6. Untuk akun layanan Compute Engine default, klik Edit.

7. Klik Tambahkan peran lain.

8. Di kolom Select a role, pilih Custom Role-Tutorial.

9. Klik Simpan.

10. Pastikan akun layanan sudah ditetapkan peran Runner Cloud Data Fusion.

Menyiapkan data pelanggan

Tutorial ini memerlukan dua set data input berikut, yang keduanya disediakan dengan instance Cloud Data Fusion Anda:

• Contoh data pelanggan: File CSV bernama customers.csv.
• Singkatan negara bagian: Tabel BigQuery bernama state_abbreviations.

Memuat data pelanggan

Catatan: Data pelanggan berada di bucket Cloud Storage. Bucket Cloud Storage tersedia secara publik melalui koneksi Sample Buckets, yang disediakan secara default dengan instance Cloud Data Fusion Anda.

1. Buka halaman Instance Cloud Data Fusion:

   Buka Instance

2. Untuk instance Cloud Data Fusion yang Anda gunakan, klik Lihat instance. Antarmuka web Cloud Data Fusion akan terbuka di tab baru.

3. Klik Wrangler. Halaman Wrangler akan terbuka.

4. Di panel Koneksi, GCS > Sample Buckets.

5. Klik campaign-tutorial.

6. Klik customers.csv.

7. Di jendela Parsing options, tentukan hal berikut:

   • Format: csv
   • Aktifkan nilai yang diapit tanda kutip: False
   • Gunakan baris pertama sebagai header: False
   • File-encoding: UTF-8

8. Klik Konfirmasi. Data pelanggan dimuat di tab baru di Wrangler.

   

Membersihkan data pelanggan

Tahap ini berisi dua sub-tugas:

• Menetapkan skema
• Memfilter data pelanggan untuk hanya menampilkan target audiens yang Anda butuhkan

Menetapkan skema

Tetapkan skema data dengan menetapkan nama yang sesuai ke kolom tabel. Untuk memberi kolom, seperti body_1 dan body_2, nama yang lebih informatif, ikuti langkah-langkah berikut:.

1. Di panel kanan, klik tab Kolom.
2. Klik drop-down Nama kolom, lalu pilih Tetapkan semua.

3. Pada dialog Bulk set column names, masukkan nama kolom berikut yang dipisahkan koma:

   Name,StreetAddress,City,State,Country
   

4. Klik Terapkan.

Memfilter data

Filter data untuk hanya menampilkan pelanggan yang tinggal di California, Oregon, atau Washington.

Hapus semua baris yang berisi nilai selain status tersebut:

1. Klik drop-down kolom Status, lalu pilih Filter.

2. Di jendela filter, lakukan tindakan berikut:

   1. Klik Simpan baris.
   2. Klik drop-down Jika, lalu pilih nilai cocok dengan ekspresi reguler.

   3. Masukkan ekspresi reguler berikut:

      ^(California|Oregon|Washington)$
      

   4. Klik Terapkan.

   Nilai di kolom Status adalah California, Oregon, atau Washington.

Filter data untuk hanya menampilkan pelanggan yang tinggal di jalan raya. Hanya simpan alamat yang berisi string Avenue:

1. Klik drop-down kolom StreetAddress, lalu pilih Filter.
2. Di jendela filter, lakukan tindakan berikut:
   1. Klik Simpan baris.
   2. Klik drop-down Jika, pilih value contains, lalu masukkan Avenue.
   3. Pilih Abaikan huruf besar/kecil.
   4. Klik Terapkan.

Sebelum melakukan tugas pemrosesan paralel di seluruh set data, Wrangler hanya menampilkan 1.000 nilai pertama set data Anda. Karena Anda memfilter beberapa data, hanya beberapa pelanggan yang tetap ditampilkan di Wrangler.

Membuat pipeline batch

Anda telah membersihkan data dan menjalankan transformasi pada sebagian data. Sekarang Anda dapat membuat pipeline batch untuk menjalankan transformasi pada seluruh set data.

Cloud Data Fusion menerjemahkan pipeline yang Anda build di Studio menjadi program Apache Spark yang menjalankan transformasi secara paralel di cluster Dataproc sementara. Proses ini memungkinkan Anda menjalankan transformasi kompleks pada data dalam jumlah besar dengan cara yang skalabel dan andal, tanpa harus menangani infrastruktur.

1. Di halaman Wrangler, klik Create a pipeline.
2. Pilih Pipeline batch. Halaman Studio akan terbuka.

3. Di halaman Studio, node sumber GCSFile terhubung ke node Wrangler.

   

   Transformasi yang Anda terapkan di halaman Wrangler akan muncul di node Wrangler di halaman Studio.

4. Untuk melihat transformasi yang Anda terapkan, arahkan kursor ke node Wrangler, lalu klik Properties.

   Transformasi yang Anda terapkan akan muncul di Perintah.

   

5. Klik Validasi.

6. Klik Tutup.

Anda dapat menerapkan lebih banyak transformasi dengan mengklik Wrangle, yang akan mengarahkan Anda kembali ke halaman Wrangler. Transformasi yang Anda tambahkan akan muncul di halaman Studio.

Misalnya, Anda menyadari bahwa kolom Country tidak diperlukan karena nilainya selalu USA. Anda dapat menghapus kolom dengan mengikuti langkah-langkah berikut:

1. Klik Wrangle.
2. Klik panah bawah di samping Negara, lalu pilih Hapus Kolom.
3. Klik Terapkan. Halaman Wrangler akan tertutup dan jendela Wrangler Properties akan terbuka di halaman Studio. Di Perintah, drop Country akan muncul.
4. Klik Tutup.

Menyingkat nama negara bagian

Sistem navigasi di kendaraan pengiriman Anda hanya mengenali alamat yang berisi nama negara bagian yang disingkat (CA, bukan California), dan data pelanggan Anda berisi nama negara bagian lengkap.

Tabel state_abbreviations BigQuery publik berisi dua kolom: satu dengan nama negara bagian lengkap dan satu lagi dengan nama negara bagian singkat. Anda dapat menggunakan tabel ini untuk memperbarui nama negara bagian dalam data pelanggan.

Melihat data nama negara bagian di BigQuery

1. Di tab terpisah, buka halaman BigQuery Studio:

   Buka BigQuery

2. Klik Buat kueri SQL dan masukkan kueri berikut di editor kueri:

   SELECT * FROM `dis-user-guide.campaign_tutorial.state_abbreviations`
   

3. Klik Run.

   BigQuery menampilkan daftar nama negara bagian dan singkatannya.

Mengakses tabel BigQuery

Tambahkan sumber di pipeline yang akan mengakses tabel state_abbreviations BigQuery.

1. Buka halaman Cloud Data Fusion Studio dan luaskan menu Sumber.

2. Klik BigQuery.

   Node sumber BigQuery akan muncul di kanvas, bersama dengan dua node lainnya.

3. Arahkan kursor ke node sumber BigQuery, lalu klik Properti.

   1. Di kolom Dataset Project ID, masukkan dis-user-guide.
   2. Di kolom Reference Name, masukkan state_abbreviations.
   3. Di kolom Set data, masukkan campaign_tutorial.
   4. Di kolom Tabel, masukkan state_abbreviations.

4. Isi skema tabel dari BigQuery dengan mengklik Get Schema.

5. Klik Tutup.

Menggabungkan kedua sumber data

Untuk menghasilkan output yang berisi data pelanggan dengan nama negara bagian yang disingkat, gabungkan dua sumber data, data pelanggan, dan singkatan negara bagian.

1. Buka halaman Studio Cloud Data Fusion dan luaskan menu Analytics.

2. Klik Penggabung.

   Node Joiner, yang mewakili tindakan yang mirip dengan Join SQL, muncul di kanvas.

3. Hubungkan node Wrangler dan node BigQuery ke node Joiner: Tarik panah koneksi di tepi kanan node sumber dan lepaskan ke node tujuan.

   

4. Arahkan kursor ke node Joiner, lalu klik Properties.

   1. Di bagian Kolom, luaskan Wrangler dan BigQuery.

      1. Hapus centang pada kotak status Wrangler.
      2. Hapus centang pada kotak name BigQuery karena Anda hanya ingin nama negara bagian yang disingkat, bukan nama negara bagian lengkap.

      3. Biarkan kotak centang singkatan BigQuery tetap dicentang, dan ubah alias menjadi State.

         

   2. Di kolom Join Type, biarkan nilainya sebagai Outer. Untuk Input yang diperlukan, centang kotak Wrangler.

   3. Di bagian Join condition, untuk Wrangler, pilih State. Untuk BigQuery, pilih name.

   4. Buat skema join yang dihasilkan. Klik Dapatkan Skema.

   5. Klik Validasi.

   6. Klik Tutup.

Menyimpan output ke BigQuery

Simpan hasil pipeline Anda ke dalam tabel BigQuery. Tempat Anda menyimpan data disebut sink.

1. Buka halaman Cloud Data Fusion Studio dan luaskan Sink.
2. Klik BigQuery.

3. Hubungkan node Joiner ke node BigQuery.

   

4. Arahkan kursor ke node BigQuery, lalu klik Properties.

   1. Di kolom Set data, masukkan dis_user_guide.
   2. Di kolom Table, pilih customer_data_abbreviated_states.
   3. Klik Tutup.

Men-deploy dan menjalankan pipeline

1. Di halaman Studio, klik Beri nama pipeline Anda, lalu masukkan CampaignPipeline.
2. Klik Simpan.
3. Di pojok kanan atas, klik Deploy.
4. Setelah deployment selesai, klik Run.

Menjalankan pipeline dapat memerlukan waktu beberapa menit. Sambil menunggu, Anda dapat mengamati Status transisi pipeline dari Penyediaan > Dimulai > Berjalan > Penghentian penyediaan > Berhasil.

Melihat hasil

1. Di konsol Google Cloud, buka halaman BigQuery:

   Buka BigQuery

2. Klik Buat kueri SQL.

3. Buat kueri tabel customer_data_abbreviated_states:

   SELECT * FROM dis_user_guide.customer_data_abbreviated_states LIMIT 1000
   

   

   Catatan: Untuk analisis lebih lanjut, Anda dapat menghubungkan tabel ini ke Looker Studio.

Anda telah berhasil membuat pipeline data.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus set data BigQuery

Untuk menghapus set data BigQuery yang Anda buat dalam tutorial ini, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Pilih set data dis_user_guide.
3. Klik Hapus set data.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Langkah selanjutnya

• Pelajari Cloud Data Fusion lebih lanjut.