Mengimplementasikan Datastream dan Dataflow untuk analisis

---

Datastream mendukung streaming data dari database Oracle, MySQL, dan PostgreSQL langsung ke set data BigQuery. Namun, jika Anda memerlukan kontrol lebih besar atas logika pemrosesan streaming, seperti transformasi data atau setelan kunci utama logis secara manual, Anda dapat mengintegrasikan Datastream dengan template tugas Dataflow.

Tutorial ini menunjukkan cara Datastream berintegrasi dengan Dataflow menggunakan template tugas Dataflow untuk melakukan streaming tampilan yang diwujudkan terbaru di BigQuery untuk analisis.

Untuk organisasi dengan banyak sumber data terisolasi, akses ke data perusahaan di seluruh organisasi, terutama secara real-time, dapat dibatasi dan lambat. Hal ini membatasi kemampuan organisasi untuk melakukan introspeksi.

Datastream memberikan akses hampir real-time untuk mengubah data dari berbagai sumber data lokal dan berbasis cloud. Datastream menyediakan pengalaman penyiapan yang memungkinkan Anda tidak perlu melakukan banyak konfigurasi untuk streaming data; Datastream akan melakukannya untuk Anda. Datastream juga memiliki API penggunaan terpadu yang mendemokratisasi akses organisasi Anda ke data perusahaan terbaru yang tersedia untuk membuat skenario terintegrasi.

Salah satu skenario tersebut adalah mentransfer data dari database sumber ke layanan penyimpanan atau antrean pesan berbasis cloud. Setelah Datastream melakukan streaming data, data akan diubah menjadi bentuk yang dapat dibaca oleh aplikasi dan layanan lain. Dalam tutorial ini, Dataflow adalah layanan web yang berkomunikasi dengan layanan penyimpanan atau antrean pesan untuk mengambil dan memproses data di Google Cloud.

Anda akan mempelajari cara menggunakan Datastream untuk melakukan streaming perubahan (data yang disisipkan, diperbarui, atau dihapus) dari database MySQL sumber ke folder di bucket Cloud Storage. Kemudian, Anda mengonfigurasi bucket Cloud Storage untuk mengirim notifikasi yang digunakan Dataflow untuk mempelajari file baru yang berisi perubahan data yang di-streaming Datastream dari database sumber. Tugas Dataflow kemudian memproses file dan mentransfer perubahan ke BigQuery.

Tujuan

Dalam tutorial ini, Anda telah:

• Membuat bucket di Cloud Storage. Ini adalah bucket tujuan tempat Datastream melakukan streaming skema, tabel, dan data dari database MySQL sumber.
• Aktifkan notifikasi Pub/Sub untuk bucket Cloud Storage. Dengan melakukan hal ini, Anda mengonfigurasi bucket untuk mengirim notifikasi yang digunakan Dataflow untuk mempelajari file baru yang siap diproses. File ini berisi perubahan pada data yang di-streaming Datastream dari database sumber ke bucket.
• Membuat set data di BigQuery. BigQuery menggunakan set data untuk menyimpan data yang diterima dari Dataflow. Data ini mewakili perubahan dalam database sumber yang di-streaming Datastream ke bucket Cloud Storage.
• Membuat dan mengelola profil koneksi untuk database sumber dan bucket tujuan di Cloud Storage. Aliran data di Datastream menggunakan informasi dalam profil koneksi untuk mentransfer data dari database sumber ke bucket.
• Membuat dan memulai streaming. Aliran ini mentransfer data, skema, dan tabel dari database sumber ke bucket.
• Pastikan Datastream mentransfer data dan tabel yang terkait dengan skema database sumber ke bucket.
• Buat tugas di Dataflow. Setelah Datastream melakukan streaming perubahan data dari database sumber ke bucket Cloud Storage, notifikasi akan dikirim ke Dataflow tentang file baru yang berisi perubahan tersebut. Tugas Dataflow memproses file dan mentransfer perubahan ke BigQuery.
• Pastikan Dataflow memproses file yang berisi perubahan yang terkait dengan data ini, dan mentransfer perubahan ke BigQuery. Hasilnya, Anda memiliki integrasi menyeluruh antara Datastream dan BigQuery.
• Bersihkan resource yang Anda buat di Datastream, Cloud Storage, Pub/Sub, Dataflow, dan BigQuery agar tidak menggunakan kuota dan Anda tidak ditagih di masa mendatang.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

• Datastream
• Cloud Storage
• Pub/Sub
• Dataflow
• BigQuery

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Aktifkan Datastream API.

   Mengaktifkan API

7. Pastikan Anda memiliki peran Datastream Admin yang diberikan ke akun pengguna Anda.

   Buka halaman IAM

8. Pastikan Anda memiliki database MySQL sumber yang dapat diakses Datastream. Selain itu, pastikan Anda memiliki data, tabel, dan skema di database.
9. Konfigurasikan database MySQL Anda untuk mengizinkan koneksi masuk dari alamat IP publik Datastream. Untuk daftar semua region Datastream dan alamat IP publik terkait, lihat Daftar yang diizinkan dan region IP.
10. Siapkan pengambilan data perubahan (CDC) untuk database sumber. Untuk informasi selengkapnya, lihat Mengonfigurasi database MySQL sumber.

11. Pastikan Anda memenuhi semua prasyarat untuk mengaktifkan notifikasi Pub/Sub untuk Cloud Storage.

    Dalam tutorial ini, Anda akan membuat bucket tujuan di Cloud Storage dan mengaktifkan notifikasi Pub/Sub untuk bucket tersebut. Dengan melakukan hal ini, Dataflow dapat menerima notifikasi tentang file baru yang ditulis Datastream ke bucket. File ini berisi perubahan pada data yang di-streaming Datastream dari database sumber ke bucket.

Persyaratan

Datastream menawarkan berbagai opsi sumber, opsi tujuan, dan metode konektivitas jaringan.

Untuk tutorial ini, kami mengasumsikan bahwa Anda menggunakan database MySQL mandiri dan layanan Cloud Storage tujuan. Untuk database sumber, Anda harus dapat mengonfigurasi jaringan untuk menambahkan aturan firewall masuk. Database sumber dapat berada di lokal atau di penyedia cloud. Untuk tujuan Cloud Storage, tidak diperlukan konfigurasi konektivitas.

Karena kami tidak dapat mengetahui secara spesifik lingkungan Anda, kami tidak dapat memberikan langkah-langkah mendetail mengenai konfigurasi jaringan Anda.

Untuk tutorial ini, Anda memilih IP allowlisting sebagai metode konektivitas jaringan. Daftar IP yang diizinkan adalah fitur keamanan yang sering digunakan untuk membatasi dan mengontrol akses ke data di database sumber Anda kepada pengguna tepercaya. Anda dapat menggunakan daftar IP yang diizinkan untuk membuat daftar alamat IP atau rentang IP tepercaya yang dapat digunakan oleh pengguna dan layanan Google Cloud lainnya seperti Datastream untuk mengakses data ini. Untuk menggunakan daftar IP yang diizinkan, Anda harus membuka database sumber atau firewall ke koneksi masuk dari Datastream.

Membuat bucket di Cloud Storage

Buat bucket tujuan di Cloud Storage tempat Datastream melakukan streaming skema, tabel, dan data dari database MySQL sumber.

1. Di konsol Google Cloud , buka halaman Browser untuk Cloud Storage.

   Buka halaman Browser

2. Klik Create bucket. Halaman Create a bucket akan muncul.

3. Di kolom teks wilayah Name your bucket, masukkan nama unik untuk bucket Anda, lalu klik Continue.

4. Terima setelan default untuk setiap wilayah halaman yang tersisa. Di akhir setiap wilayah, klik Lanjutkan.

5. Klik Buat.

Mengaktifkan notifikasi Pub/Sub untuk bucket Cloud Storage

Di bagian ini, Anda akan mengaktifkan notifikasi Pub/Sub untuk bucket Cloud Storage yang Anda buat. Dengan melakukan ini, Anda mengonfigurasi bucket untuk memberi tahu Dataflow tentang file baru yang ditulis Datastream ke bucket. File ini berisi perubahan pada data yang di-streaming Datastream dari database MySQL sumber ke bucket.

Sebelum mengaktifkan notifikasi untuk bucket, pastikan Anda memenuhi semua prasyarat.

1. Akses bucket Cloud Storage yang Anda buat. Halaman Bucket details akan muncul.

2. Klik Aktifkan Cloud Shell.

3. Pada perintah, masukkan perintah berikut:

   gcloud storage buckets notifications create gs://bucket-name --topic=my_integration_notifs --payload-format=json --object-prefix=integration/tutorial/

   bucket-name adalah placeholder untuk nama bucket Cloud Storage Anda.

   Dengan memasukkan perintah ini, Anda membuat topik my_integration_notifs di Pub/Sub. Anda juga mengonfigurasi notifikasi Pub/Sub agar hanya memproses jalur output Datastream yang Anda tentukan pada langkah Membuat profil koneksi tujuan untuk Cloud Storage. Kemudian dalam prosedur ini, Anda akan mengonfigurasi topik ini di Pub/Sub agar notifikasi dikirim ke Dataflow tentang perubahan pada data yang di-streaming Datastream ke bucket Cloud Storage Anda.

   Topik Pub/Sub akan menangkap setiap perubahan pada data ini. Setiap pelanggan topik ini (seperti Dataflow) akan menerima informasi ini.

4. Opsional: Jika jendela Izinkan Cloud Shell muncul, klik Izinkan.

5. Pastikan Anda melihat baris kode berikut:

   Created Cloud Pub/Sub topic projects/project-name/topics/my_integration_notifs
   Created notification config projects/_/buckets/bucket-name/notificationConfigs/1
   

   project-name adalah placeholder untuk nama Google Cloud project Anda.

6. Di Google Cloud console, buka halaman Topics untuk Pub/Sub.

   Buka halaman Topics

7. Klik topik my_integration_notifs yang Anda buat.

8. Di halaman my_integration_notifs, scroll ke bagian bawah halaman. Pastikan tab Langganan aktif dan pesan Tidak ada langganan untuk ditampilkan muncul.

   Anda akan membuat langganan untuk topik my_integration_notifs. Aplikasi yang berlangganan langganan ini, seperti Dataflow, dapat memperoleh informasi dalam topik. Informasi ini dikaitkan dengan perubahan pada data di database sumber yang di-streaming Datastream ke bucket Cloud Storage Anda.

9. Klik Buat langganan.

10. Di menu yang muncul, pilih Buat langganan.

11. Di halaman Add subscription to topic:

    1. Di kolom Subscription ID, masukkan my_integration_notifs_sub.
    2. Tetapkan nilai Batas waktu konfirmasi ke 120 detik. Hal ini memungkinkan Dataflow memiliki waktu yang cukup untuk mengonfirmasi file yang telah diproses, dan membantu meningkatkan performa keseluruhan tugas Dataflow. Untuk mengetahui informasi selengkapnya tentang properti langganan Pub/Sub, lihat Properti langganan.
    3. Biarkan semua nilai default lainnya di halaman.
    4. Klik Buat.

Nantinya dalam tutorial ini, Anda akan membuat tugas Dataflow. Sebagai bagian dari pembuatan tugas ini, Anda menetapkan Dataflow sebagai pelanggan langganan my_integration_notifs_sub. Dengan melakukan hal ini, Dataflow dapat menerima notifikasi tentang file baru yang ditulis Datastream ke Cloud Storage, memproses file, dan mentransfer perubahan data ke BigQuery.

Membuat set data di BigQuery

Di bagian ini, Anda akan membuat set data di BigQuery. BigQuery menggunakan set data untuk menyimpan data yang diterima dari Dataflow. Data ini mewakili perubahan dalam database MySQL sumber yang di-streaming Datastream ke bucket Cloud Storage Anda.

1. Buka halaman SQL workspace untuk BigQuery di Google Cloud konsol.

   Buka halaman ruang kerja SQL

2. Di panel Explorer, di samping Google Cloud nama project, klik View actions.

3. Di menu yang muncul, pilih Buat set data.

4. Di jendela Create dataset:

   1. Di kolom Dataset ID, masukkan ID untuk set data. Untuk tutorial ini, masukkan My_integration_dataset_log di kolom.
   2. Biarkan semua nilai default lainnya di jendela.
   3. Klik Create dataset.
   Dataflow menggunakan set data My_integration_dataset_log untuk melakukan staging perubahan data yang diterima dari Datastream.

5. Di panel Explorer, di samping Google Cloud nama project, klik Expand node, lalu pastikan Anda melihat set data yang Anda buat.

6. Gunakan langkah-langkah dalam prosedur ini untuk membuat set data kedua: My_integration_dataset_final.

   Perubahan yang di-staging di set data My_integration_dataset_log digabungkan ke set data My_integration_dataset_final untuk membuat replika satu per satu tabel di database sumber.

7. Di samping setiap set data, luaskan Luaskan node.

8. Pastikan setiap set data kosong.

Setelah Datastream melakukan streaming perubahan data dari database sumber ke bucket Cloud Storage Anda, tugas Dataflow akan memproses file yang berisi perubahan dan mentransfer perubahan tersebut ke set data BigQuery.

Membuat profil koneksi di Datastream

Di bagian ini, Anda akan membuat profil koneksi di Datastream untuk database sumber dan tujuan. Sebagai bagian dari pembuatan profil koneksi, Anda memilih MySQL sebagai jenis profil untuk profil koneksi sumber dan Cloud Storage sebagai jenis profil untuk profil koneksi tujuan.

Datastream menggunakan informasi yang ditentukan dalam profil koneksi untuk terhubung ke sumber dan tujuan sehingga dapat melakukan streaming data dari database sumber ke bucket tujuan di Cloud Storage.

Membuat profil koneksi sumber untuk database MySQL

1. Di Google Cloud console, buka halaman Profil koneksi untuk Datastream.

   Buka halaman Profil koneksi

2. Klik Buat profil.

3. Untuk membuat profil koneksi sumber untuk database MySQL, di halaman Create a connection profile, klik jenis profil MySQL.

4. Di bagian Tentukan setelan koneksi pada halaman Buat profil MySQL, berikan informasi berikut:

   • Di kolom Nama profil koneksi, masukkan My Source Connection Profile.
   • Pertahankan Connection profile ID yang dibuat secara otomatis.

   • Pilih Region tempat Anda ingin menyimpan profil koneksi.

     Seperti halnya semua resource, profil koneksi disimpan di region, dan aliran data hanya dapat menggunakan profil koneksi yang disimpan di region yang sama dengan aliran data. Pemilihan region tidak memengaruhi apakah Datastream dapat terhubung ke sumber atau tujuan, tetapi dapat memengaruhi ketersediaan jika region mengalami periode nonaktif.

   • Masukkan Detail koneksi:

     • Di kolom Hostname or IP, masukkan nama host atau alamat IP publik yang dapat digunakan Datastream untuk terhubung ke database sumber. Anda memberikan alamat IP publik karena menggunakan daftar IP yang diizinkan sebagai metode konektivitas jaringan untuk tutorial ini.
     • Di kolom Port, masukkan nomor port yang dicadangkan untuk database sumber. Untuk database MySQL, port default biasanya 3306.
     • Masukkan Username dan Password untuk mengautentikasi ke database sumber Anda.

5. Di bagian Define connection settings, klik Continue. Bagian Amankan koneksi ke sumber Anda di halaman Buat profil MySQL aktif.

6. Dari menu Jenis enkripsi, pilih Tidak ada. Untuk informasi selengkapnya tentang menu ini, lihat Membuat profil koneksi untuk database MySQL.

7. Di bagian Secure your connection to your source, klik Continue. Bagian Menentukan metode konektivitas di halaman Buat profil MySQL aktif.

8. Di menu drop-down Metode konektivitas, pilih metode jaringan yang ingin Anda gunakan untuk membangun konektivitas antara Datastream dan database sumber. Untuk tutorial ini, pilih IP allowlisting sebagai metode konektivitas.

9. Konfigurasikan database sumber Anda untuk mengizinkan koneksi masuk dari alamat IP publik Datastream yang muncul.

10. Di bagian Define connectivity method, klik Continue. Bagian Uji profil koneksi di halaman Buat profil MySQL aktif.

11. Klik Run test untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

12. Pastikan Anda melihat status Pengujian lulus.

    Jika pengujian gagal, Anda dapat mengatasi masalah tersebut di bagian alur yang sesuai, lalu kembali untuk menguji ulang. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah.

13. Klik Buat.

Membuat profil koneksi tujuan untuk Cloud Storage

1. Di Google Cloud console, buka halaman Profil koneksi untuk Datastream.

   Buka halaman Profil koneksi

2. Klik Buat profil.

3. Untuk membuat profil koneksi tujuan untuk Cloud Storage, di halaman Create a connection profile, klik jenis profil Cloud Storage.

4. Di halaman Create Cloud Storage profile, berikan informasi berikut:

   • Di kolom Nama profil koneksi, masukkan My Destination Connection Profile.
   • Pertahankan Connection profile ID yang dibuat secara otomatis.
   • Pilih Region tempat Anda ingin menyimpan profil koneksi.

   • Di panel Detail koneksi, klik Jelajahi untuk memilih bucket Cloud Storage yang Anda buat sebelumnya dalam tutorial ini. Ini adalah bucket tempat Datastream mentransfer data dari database sumber. Setelah memilih, klik Select.

     Bucket Anda akan muncul di kolom Nama bucket pada panel Detail koneksi.

   • Di kolom Awal jalur profil koneksi, berikan awalan untuk jalur yang ingin ditambahkan ke nama bucket saat Datastream melakukan streaming data ke tujuan. Pastikan Datastream menulis data ke jalur di dalam bucket, bukan ke folder root bucket. Untuk tutorial ini, gunakan jalur yang Anda tentukan saat mengonfigurasi notifikasi Pub/Sub. Masukkan /integration/tutorial di kolom.

5. Klik Buat.

Setelah membuat profil koneksi sumber untuk database MySQL dan profil koneksi tujuan untuk Cloud Storage, Anda dapat menggunakannya untuk membuat streaming.

Membuat aliran data di Datastream

Di bagian ini, Anda akan membuat streaming. Streaming ini menggunakan informasi dalam profil koneksi untuk mentransfer data dari database MySQL sumber ke bucket tujuan di Cloud Storage.

Datastream dilengkapi dengan asisten penyiapan untuk membantu Anda membuat aliran data. Asisten ini terdiri dari enam panel: Mulai, Tentukan & uji sumber, Konfigurasi sumber, Tentukan tujuan, Konfigurasi tujuan, dan Tinjau & buat. Untuk mengisi setiap panel, selesaikan petunjuk di bagian berikut.

Menentukan setelan untuk streaming

1. Di Google Cloud console, buka halaman Streams untuk Datastream.

   Buka halaman Forum

2. Klik Buat aliran data.

3. Berikan informasi berikut di panel Define stream details di halaman Create stream:

   • Di kolom Nama aliran data, masukkan My Stream.
   • Simpan ID Aliran Data yang dibuat secara otomatis.
   • Dari menu Region, pilih region tempat Anda membuat profil koneksi sumber dan tujuan.
   • Dari menu Jenis sumber, pilih jenis profil MySQL.
   • Dari menu Jenis tujuan, pilih jenis profil Cloud Storage.

4. Tinjau prasyarat yang diperlukan yang dibuat secara otomatis guna mencerminkan cara lingkungan Anda harus disiapkan untuk streaming. Prasyarat ini dapat mencakup cara mengonfigurasi database sumber dan cara menghubungkan Datastream ke bucket tujuan di Cloud Storage.

   Untuk mengetahui informasi selengkapnya tentang prasyarat ini, lihat Mengonfigurasi database MySQL sumber.

5. Klik Lanjutkan. Panel Tentukan profil koneksi MySQL di halaman Buat aliran data akan muncul.

Menentukan informasi tentang profil koneksi sumber

Di bagian ini, Anda memilih profil koneksi yang Anda buat untuk database sumber (profil koneksi sumber). Untuk tutorial ini, nama profilnya adalah Profil Koneksi Sumber Saya.

1. Dari menu Source connection profile, pilih profil koneksi sumber untuk database MySQL.

2. Klik Run test untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

   Jika pengujian gagal, masalah yang terkait dengan profil koneksi akan muncul. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah. Lakukan perubahan yang diperlukan untuk memperbaiki masalah, lalu uji ulang.

3. Klik Lanjutkan. Panel Konfigurasi sumber aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang database sumber untuk aliran data

Di bagian ini, Anda mengonfigurasi informasi tentang database sumber untuk aliran data dengan menentukan tabel dan skema di database sumber yang ditransfer oleh Datastream:

• Dapat ditransfer ke tujuan.
• Dibatasi untuk ditransfer ke tujuan.

Anda juga menentukan apakah Datastream akan mengisi ulang data historis, serta melakukan streaming perubahan yang sedang berlangsung ke tujuan, atau hanya melakukan streaming perubahan pada data.

1. Gunakan menu Objects to include untuk menentukan tabel dan skema di database sumber yang dapat ditransfer Datastream ke folder di bucket tujuan di Cloud Storage. Menu hanya dimuat jika database Anda memiliki hingga 5.000 objek.

   Untuk tutorial ini, Anda ingin Datastream mentransfer semua tabel dan skema. Oleh karena itu, pilih Semua tabel dari semua skema dari menu.

2. Pastikan panel Select objects to exclude disetel ke None. Anda tidak ingin membatasi Datastream agar tidak mentransfer tabel dan skema apa pun di database sumber ke Cloud Storage.

3. Pastikan panel Choose backfill mode for historical data disetel ke Automatic. Datastream mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan.

4. Klik Lanjutkan. Panel Tentukan profil koneksi Cloud Storage di halaman Buat aliran data akan muncul.

Memilih profil koneksi tujuan

Di bagian ini, Anda memilih profil koneksi yang dibuat untuk Cloud Storage (profil koneksi tujuan). Untuk tutorial ini, nama profilnya adalah Profil Koneksi Tujuan Saya.

1. Dari menu Destination connection profile, pilih profil koneksi tujuan untuk Cloud Storage.

2. Klik Lanjutkan. Panel Konfigurasi tujuan aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang tujuan untuk aliran data

Di bagian ini, Anda akan mengonfigurasi informasi tentang bucket tujuan untuk aliran data. Informasi ini mencakup:

• Format output file yang ditulis ke Cloud Storage.
• Folder bucket tujuan tempat Datastream mentransfer skema, tabel, dan data dari database sumber.

1. Di kolom Output format, pilih format file yang ditulis ke Cloud Storage. Datastream mendukung dua format output: Avro dan JSON. Untuk tutorial ini, Avro adalah format file.

   Anda tidak perlu mengisi kolom Awalan jalur streaming. Di kolom ini, Anda dapat memberikan awalan untuk jalur yang ditambahkan ke nama bucket saat Datastream mentransfer data ke tujuan. Ini adalah jalur bucket Cloud Storage tempat Datastream mentransfer skema, tabel, dan data dari database MySQL sumber.

   Anda telah memberikan jalur /integration/tutorial saat membuat profil koneksi tujuan untuk Cloud Storage.

2. Klik Lanjutkan. Panel Tinjau detail aliran data dan buat di halaman Buat aliran data akan muncul.

Membuat aliran data

1. Verifikasi detail tentang aliran data serta profil koneksi sumber dan tujuan yang digunakan aliran data untuk mentransfer data dari database MySQL sumber ke bucket tujuan di Cloud Storage.

2. Untuk memvalidasi streaming, klik Jalankan validasi. Dengan memvalidasi streaming, Datastream akan memeriksa apakah sumber dikonfigurasi dengan benar, memvalidasi apakah streaming dapat terhubung ke sumber dan tujuan, serta memverifikasi konfigurasi menyeluruh streaming.

   Jika pemeriksaan validasi lulus, ikon tanda centang akan muncul.

   Jika pemeriksaan validasi tidak lulus, ikon tanda seru dan tombol Lihat detail error akan muncul. Klik tombol tersebut, dan jendela pop-up akan muncul, yang menjelaskan alasan pemeriksaan tidak lulus dan informasi tentang tindakan yang harus dilakukan untuk memperbaiki masalah tersebut. Setelah melakukan koreksi yang sesuai, klik Validasi ulang.

   Untuk informasi selengkapnya tentang cara memecahkan masalah pemeriksaan validasi yang tidak lulus, lihat Mendiagnosis masalah.

3. Setelah semua pemeriksaan validasi lulus, klik Buat.

4. Dalam dialog Create stream?, klik Create.

Memulai streaming

Untuk tutorial ini, Anda akan membuat dan memulai aliran data secara terpisah jika proses pembuatan aliran data menyebabkan peningkatan beban pada database sumber. Untuk menunda pemuatan tersebut, Anda membuat streaming tanpa memulainya, lalu memulai streaming saat database dapat menangani pemuatan.

Dengan memulai streaming, Datastream dapat mentransfer data, skema, dan tabel dari database sumber ke tujuan.

1. Di Google Cloud console, buka halaman Streams untuk Datastream.

   Buka halaman Streams

2. Centang kotak di samping streaming yang ingin Anda mulai. Untuk tutorial ini, nama channel-nya adalah My Stream.

3. Klik Start.

4. Dalam dialog, klik Mulai. Status streaming berubah dari Not started menjadi Starting menjadi Running.

   Perlu waktu sekitar 30 detik agar streaming mulai berjalan. Resource latar belakang harus dimulai agar streaming dapat dimulai.

Setelah memulai streaming, Anda dapat memverifikasi bahwa Datastream mentransfer data dari database sumber ke tujuan.

Memverifikasi streaming

Di bagian ini, Anda mengonfirmasi bahwa Datastream mentransfer data dari semua tabel database MySQL sumber ke folder /integration/tutorial di bucket tujuan Cloud Storage Anda.

1. Di Google Cloud console, buka halaman Streams untuk Datastream.

   Buka halaman Streams

2. Klik streaming yang Anda buat. Untuk tutorial ini, nama channel-nya adalah My Stream.

3. Di halaman Detail aliran data, klik link bucket-name/integration/tutorial, dengan bucket-name adalah nama yang Anda berikan ke bucket Cloud Storage. Link ini muncul setelah kolom Jalur tulis tujuan. Halaman Bucket details Cloud Storage akan terbuka di tab terpisah.

   Link ini terdiri dari nama bucket dan folder bucket tempat Datastream mentransfer skema, tabel, dan data dari database sumber. Anda menentukan folder ini menjadi /integration/tutorial saat membuat profil koneksi tujuan untuk Cloud Storage.

4. Pastikan Anda melihat folder yang mewakili tabel database sumber.

5. Klik salah satu folder tabel, lalu klik setiap subfolder hingga Anda melihat data yang terkait dengan tabel.

   Folder pertama adalah [schema]_[table], diikuti dengan folder yang mewakili tahun, bulan, hari, jam, dan menit saat Datastream mentransfer data dari database sumber ke bucket tujuan di Cloud Storage.

   Folder dibuat setiap menit (jika ada data baru yang akan ditulis).

   File baru akan dibuat saat ukuran file mencapai 250 MB, atau setiap kali skema berubah. Jika tabel dipartisi, file akan dibuat untuk setiap partisi.

Membuat tugas Dataflow

Di bagian ini, Anda akan membuat tugas di Dataflow. Setelah Datastream melakukan streaming perubahan data dari database MySQL sumber ke bucket Cloud Storage Anda, Pub/Sub akan mengirimkan notifikasi ke Dataflow tentang file baru yang berisi perubahan tersebut. Tugas Dataflow memproses file dan mentransfer perubahan ke BigQuery.

1. Di Google Cloud console, buka halaman Jobs untuk Dataflow.

   Buka halaman Tugas

2. Klik Buat tugas dari template.

3. Di kolom Job name di halaman Create job from template, masukkan nama untuk tugas Dataflow yang Anda buat. Untuk tutorial ini, masukkan my-dataflow-integration-job di kolom.

4. Dari menu Endpoint regional, pilih region tempat Anda ingin menyimpan tugas. Ini adalah region yang sama dengan yang Anda pilih untuk profil koneksi sumber, profil koneksi tujuan, dan aliran data yang Anda buat.

5. Dari menu Template dataflow, pilih template yang Anda gunakan untuk membuat tugas. Untuk tutorial ini, pilih Datastream to BigQuery.

   Setelah membuat pilihan ini, kolom tambahan yang terkait dengan template ini akan muncul.

   Template Datastream ke BigQuery adalah pipeline streaming yang membaca data Datastream dan mereplikasinya ke BigQuery. Template ini membaca data dari Cloud Storage menggunakan notifikasi Pub/Sub dan mereplikasinya ke tabel staging BigQuery yang dipartisi menurut waktu. Setelah replikasi, template akan menjalankan Merge di BigQuery untuk memperbarui dan memasukkan semua perubahan data perubahan (CDC) ke dalam replika tabel sumber.

   Untuk meminimalkan biaya yang terkait dengan operasi Merge yang sering terjadi, sebaiknya mulai dengan frekuensi awal sekali setiap 6-12 jam. Setelah semua pengisian ulang selesai dan data direplikasi dengan lancar, kurangi nilai ini ke frekuensi yang Anda inginkan.

   Untuk mengetahui informasi selengkapnya tentang template Datastream ke BigQuery, lihat Datastream ke BigQuery (Streaming).

6. Di kolom File location for Datastream file output in Cloud Storage., masukkan nama bucket Cloud Storage Anda menggunakan format berikut: gs://bucket-name.

7. Di kolom Pub/Sub subscription being used in a Cloud Storage notification policy., masukkan jalur yang berisi nama langganan Pub/Sub Anda. Untuk tutorial ini, masukkan projects/project-name/subscriptions/my_integration_notifs_sub.

   project-name adalah placeholder untuk nama project Google Cloud Anda. Selain itu, Anda telah membuat langganan my_integration_notifs_sub di bagian Mengaktifkan notifikasi Pub/Sub untuk bucket Cloud Storage dalam tutorial ini.

8. Di kolom Format file output Datastream (avro/json)., masukkan avro karena, untuk tutorial ini, Avro adalah format file yang ditulis Datastream ke Cloud Storage.

9. Di kolom Nama atau template untuk set data yang akan berisi tabel staging., masukkan My_integration_dataset_log karena Dataflow menggunakan set data ini untuk melakukan staging perubahan data yang diterima dari Datastream.

10. Di kolom Template for the dataset to contain replica tables., masukkan My_integration_dataset_final karena ini adalah set data tempat perubahan yang di-staging di set data My_integration_dataset_log digabungkan untuk membuat replika satu per satu tabel di database sumber.

    Anda telah membuat set data My_integration_dataset_log dan My_integration_dataset_final di bagian Membuat set data di BigQuery dalam tutorial ini.

11. Di kolom Dead letter queue directory., masukkan jalur yang berisi nama bucket Cloud Storage dan folder untuk antrean pesan yang tidak terkirim. Pastikan Anda tidak menggunakan jalur di folder root, dan jalur tersebut berbeda dengan jalur tempat Datastream menulis data. Setiap perubahan data yang gagal ditransfer Dataflow ke BigQuery akan disimpan dalam antrean. Anda dapat memperbaiki konten dalam antrean sehingga Dataflow dapat memprosesnya ulang.

    Untuk tutorial ini, masukkan gs://bucket-name/dlq di kolom Dead letter queue directory. (dengan bucket-name adalah nama bucket Anda dan dlq adalah folder untuk antrean pesan yang tidak terkirim).

12. Klik Run job.

Mungkin perlu waktu beberapa menit agar tugas Dataflow Anda berjalan. Resource latar belakang harus berjalan. Selain itu, tugas harus memproses file yang berisi perubahan data yang diterima dari Cloud Storage sebelum dapat mentransfer perubahan ini ke BigQuery.

Memverifikasi integrasi

Di bagian Memverifikasi aliran data dalam tutorial ini, Anda mengonfirmasi bahwa Datastream telah mentransfer data dari semua tabel database MySQL sumber ke folder /integration/tutorial di bucket tujuan Cloud Storage Anda.

Di bagian ini, Anda akan memverifikasi bahwa Dataflow memproses file yang berisi perubahan yang terkait dengan data ini, dan mentransfer perubahan tersebut ke BigQuery. Hasilnya, Anda memiliki integrasi menyeluruh antara Datastream dan BigQuery.

1. Di Google Cloud konsol, buka halaman SQL workspace untuk BigQuery.

   Buka halaman ruang kerja SQL

2. Di panel Explorer, luaskan node di samping nama project Google Cloud Anda.

3. Luaskan node di samping set data My_integration_dataset_log dan My_integration_dataset_final.

4. Pastikan setiap set data kini berisi data. Hal ini mengonfirmasi bahwa Dataflow memproses file yang berisi perubahan yang terkait dengan data yang di-streaming Datastream ke Cloud Storage, dan mentransfer perubahan ini ke BigQuery.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, gunakan konsol Google Cloud untuk melakukan hal berikut:

• Hapus project, aliran Datastream, dan profil koneksi Datastream Anda.
• Hentikan tugas Dataflow.
• Hapus set data BigQuery, topik dan langganan Pub/Sub, serta bucket Cloud Storage.

Dengan membersihkan resource yang Anda buat di Datastream, Dataflow, BigQuery, Pub/Sub, dan Cloud Storage, Anda mencegah resource tersebut menggunakan kuota dan Anda tidak akan ditagih untuk resource tersebut di masa mendatang.

Menghapus project Anda

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial ini.

Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tutorial ini, saat menghapusnya, Anda juga akan menghapus pekerjaan lain yang telah dilakukan dalam project tersebut.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang masih ingin Anda gunakan pada masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa tutorial dan panduan memulai, menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Google Cloud konsol, buka halaman Manage resources.

   Buka halaman Kelola resource

2. Dalam daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.

3. Untuk menghapus project, ketik project ID di dialog, lalu klik Shut down.

Menghapus aliran data

1. Di Google Cloud console, buka halaman Streams untuk Datastream.

   Buka halaman Forum

2. Klik streaming yang ingin dihapus. Untuk tutorial ini, nama channel-nya adalah My Stream.

3. Klik Jeda.

4. Pada dialog, klik Pause.

5. Di panel Status aliran data pada halaman Detail aliran data, pastikan status aliran data adalah Paused.

   Anda menjeda streaming sebelum menghapusnya untuk memastikan semua transfer data yang sedang berlangsung dari database sumber ke tujuan.

6. Klik Delete.

7. Pada dialog, di kolom teks, masukkan Delete, lalu klik Hapus.

Menghapus profil koneksi

1. Di Google Cloud console, buka halaman Profil koneksi untuk Datastream.

   Buka halaman Profil koneksi

2. Pilih kotak centang untuk setiap profil koneksi yang ingin Anda hapus: Profil Koneksi Sumber Saya dan Profil Koneksi Tujuan Saya.

3. Klik Delete.

4. Pada dialog, klik Hapus.

Menghentikan tugas Dataflow

Anda tidak dapat menghapus tugas di Dataflow. Namun, Anda dapat menghentikan tugas sehingga tugas tidak lagi memproses file yang berisi perubahan data yang di-streaming ke bucket Cloud Storage atau mentransfer perubahan data ke BigQuery.

1. Di Google Cloud console, buka halaman Jobs untuk Dataflow.

   Buka halaman Tugas

2. Klik tugas yang ingin Anda hentikan. Untuk tutorial ini, nama tugasnya adalah my-dataflow-integration-job.

3. Klik Stop.

4. Pada dialog Stop job, pilih opsi Drain, lalu klik Stop job.

   Dataflow akan menyelesaikan pemrosesan data yang tersisa di buffer sehingga semua data "dalam pengiriman" akan ditransfer ke BigQuery sebelum tugas dihentikan.

Menghapus set data BigQuery

1. Di Google Cloud konsol, buka halaman SQL workspace untuk BigQuery.

   Buka halaman ruang kerja SQL

2. Di panel Explorer, luaskan node di samping nama project Google Cloud Anda.

3. Klik tombol Lihat tindakan di sebelah kanan salah satu set data yang Anda buat di Membuat set data di BigQuery. Tombol ini terlihat seperti elipsis vertikal.

   Untuk tutorial ini, klik tombol View actions di sebelah kanan My_integration_dataset_log.

4. Pilih Hapus dari menu drop-down yang muncul.

5. Pada dialog Delete dataset?, masukkan delete di kolom teks, lalu klik Delete.

6. Ulangi langkah-langkah dalam prosedur ini untuk menghapus set data kedua yang Anda buat: My_integration_dataset_final.

Menghapus langganan dan topik Pub/Sub

1. Di Google Cloud console, buka halaman Subscriptions untuk Pub/Sub.

   Buka halaman Langganan

2. Klik kotak centang di samping langganan yang ingin Anda hapus. Untuk tutorial ini, klik kotak centang di samping langganan my_integration_notifs_sub.

3. Klik Delete.

4. Pada dialog Hapus langganan, klik Hapus.

5. Di Google Cloud console, buka halaman Topics untuk Pub/Sub.

   Buka halaman Topics

6. Centang kotak di samping topik my_integration_notifs.

7. Klik Delete.

8. Pada dialog Delete topic, masukkan delete di kolom teks, lalu klik Delete.

Menghapus bucket Cloud Storage

1. Di konsol Google Cloud , buka halaman Browser untuk Cloud Storage.

   Buka halaman Browser

2. Pilih kotak centang di samping bucket Anda.

3. Klik Delete.

4. Pada dialog, masukkan Delete di kolom teks, lalu klik Hapus.

Langkah selanjutnya

• Pelajari Datastream lebih lanjut.
• Gunakan API streaming lama untuk menjalankan kemampuan lanjutan dengan streaming data ke BigQuery.
• Coba sendiri fitur Google Cloud lainnya. Lihat tutorial kami.