Mereplikasi data dari SQL Server ke BigQuery

---

Tutorial ini menunjukkan cara membuat dan men-deploy tugas yang terus-menerus mereplikasi data yang diubah dari database Microsoft SQL Server ke tabel BigQuery.

Tujuan

Dalam tutorial ini, Anda telah:

1. Aktifkan Pengambilan Data Perubahan (CDC) di database SQL Server Anda.
2. Buat dan jalankan tugas replikasi Cloud Data Fusion.
3. Lihat hasilnya di BigQuery.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloud yang dapat ditagih berikut:

• Cloud Data Fusion
• BigQuery
• Dataproc
• Cloud Storage
• Compute Engine

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Saat Replikasi berjalan, Anda akan dikenai biaya untuk cluster Dataproc dan dikenai biaya pemrosesan untuk BigQuery. Untuk mengoptimalkan biaya ini, sebaiknya gunakan harga tarif tetap BigQuery.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

   Enable the APIs

8. Buat instance Cloud Data Fusion publik dalam versi 6.3.0 atau yang lebih baru. Jika Anda membuat instance pribadi, siapkan peering jaringan VPC.
   • Saat Anda membuat instance, aktifkan Replikasi dengan mengklik Tambahkan Akselerator dan memilih kotak centang Replikasi.
   • Untuk mengaktifkannya di instance yang ada, lihat Mengaktifkan Replikasi.

Penting: Anda harus mengaktifkan Replikasi di instance agar dapat muncul di Menu antarmuka web Cloud Data Fusion (lihat Mengaktifkan Replikasi).

Untuk informasi selengkapnya tentang jaringan, lihat Menggunakan HAProxy dengan Cloud Data Fusion untuk Menavigasi Topologi Jaringan yang Kompleks.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan dalam tutorial ini, lihat Kontrol akses dengan IAM dan Memberikan izin pengguna akun layanan.

Opsional: Menyiapkan instance VM SQL Server

1. Buat instance SQL Server.

2. Download database AdventureWorks2017 (OLTP) dan muat data ke dalam instance SQL Server Anda.

Catatan: Jika SQL Server Anda selalu aktif, lihat Pemecahan Masalah untuk mengetahui langkah-langkah tambahan.

Mengaktifkan CDC di database SQL Server

Untuk replikasi, aktifkan Pengambilan Data Perubahan (CDC) di database dan tabel yang ingin Anda replikasi.

Catatan: Hubungi administrator database Anda untuk memberikan izin guna menjalankan perintah.

Jika Anda menentukan jenis data kustom di kolom tabel yang direplikasi, pemilik tabel harus memberikan izin EXECUTE untuk jenis data kustom kepada pengguna database yang ditentukan dalam tugas replikasi.

Membuat dan menjalankan tugas replikasi Cloud Data Fusion

Mengupload driver JDBC

1. Download driver JDBC SQL Server ke komputer lokal Anda.

2. Di antarmuka web Cloud Data Fusion, upload driver JDBC. Gunakan nilai ini untuk mengonfigurasi driver JDBC:

   • Di kolom Name, masukkan sqlserver.
   • Di kolom Class Name, masukkan com.microsoft.sqlserver.jdbc.SQLServerDriver.
   • Di kolom Versi, gunakan default.

Buat tugas

1. Di antarmuka web Cloud Data Fusion, klik Replikasi.

2. Klik Create a replication job.

3. Di halaman Create new replication job, tentukan Name tugas replikasi, lalu klik Next.

4. Konfigurasikan sumber:

   1. Pilih Microsoft SQL Server sebagai sumber.
   2. Untuk Host, masukkan nama host SQL Server yang akan dibaca.
   3. Untuk Port, masukkan port yang akan digunakan untuk terhubung ke SQL Server: 1433.
   4. Untuk Nama Plugin JDBC, pilih sqlserveratau nama yang Anda tentukan saat mengonfigurasi driver JDBC.
   5. Untuk Nama database, masukkan AdventureWorks2017.
   6. Di bagian Kredensial, masukkan nama pengguna dan sandi Anda untuk mengakses SQL Server.

5. Klik Berikutnya.

6. Konfigurasikan target:

   1. Pilih target BigQuery.
   2. Project ID dan Service Account Key terdeteksi secara otomatis. Jangan ubah nilai default-nya.
   3. Opsional: Di bagian Advanced, Anda dapat mengonfigurasi nama dan lokasi bucket Cloud Storage, interval pemuatan, awalan tabel staging, dan perilaku saat tabel atau database dihapus.

7. Klik Berikutnya.

8. Jika koneksi berhasil, daftar tabel AdventureWorks2017 akan ditampilkan. Untuk tutorial ini, pilih beberapa tabel dan peristiwa, seperti peristiwa Insert, Update, dan Delete.

   Catatan: Untuk melanjutkan, Anda harus mengaktifkan CDC di tabel yang dipilih.

9. Opsional: Konfigurasikan properti lanjutan. Untuk tutorial ini, Anda dapat menerima setelan default.

10. Klik Berikutnya.

11. Di halaman Tinjau penilaian, klik Lihat pemetaan di salah satu tabel untuk penilaian masalah skema, fitur yang tidak ada, atau masalah konektivitas yang mungkin terjadi selama replikasi. Masalah harus diselesaikan sebelum Anda dapat melanjutkan. Untuk tutorial ini, jika ada tabel yang mengalami masalah, kembali ke langkah saat Anda memilih tabel dan pilih tabel atau peristiwa tanpa masalah.

    Untuk mengetahui informasi selengkapnya tentang konversi jenis data dari database sumber ke tujuan BigQuery, lihat Jenis data replikasi.

12. Klik Back.

13. Klik Berikutnya.

14. Tinjau detail tugas replikasi ringkasan, lalu klik Deploy tugas replikasi.

Catatan: Tutorial ini menggunakan database OLTP AdventureWorks2017, yang memiliki kunci utama di semua tabel. Untuk mereplikasi database lain, seperti DB Data Warehouse AdventureWorksDW2017, kecualikan tabel yang tidak memiliki kunci utama atau tambahkan kunci utama ke tabel tersebut.

Memulai tugas

• Dari halaman detail tugas replikasi, klik Mulai.

Tugas replikasi bertransisi dari status Penyediaan ke Dimulai ke Berjalan. Dalam status berjalan, tugas replikasi memuat snapshot awal data tabel yang Anda pilih (misalnya, tabel Orang) ke BigQuery. Dalam status ini, status tabel Orang dicantumkan sebagai Snapshotting. Setelah snapshot awal dimuat ke BigQuery, setiap perubahan yang dilakukan pada tabel People akan direplikasi ke BigQuery. Status tabel tercantum sebagai Mereplikasi.

Memantau tugas

Anda dapat memulai dan menghentikan tugas replikasi, meninjau konfigurasi dan lognya, serta memantau tugas replikasi.

Anda dapat memantau aktivitas tugas replikasi dari halaman Replication job details.

1. Dari halaman Replication, klik Name tugas replikasi.

2. Klik Monitoring.

Melihat hasil di BigQuery

Tugas replikasi membuat set data dan tabel yang direplikasi di BigQuery, dengan nama yang diwarisi dari nama tabel dan database SQL Server yang sesuai.

Catatan: Jika nama database sumber Anda tidak mengikuti konvensi penamaan set data BigQuery, atau jika Anda memiliki konflik penamaan saat mereplikasi beberapa set data ke dalam satu set data BigQuery, tentukan alias di properti target BigQuery.

1. Buka BigQuery di Konsol Google Cloud.

2. Di panel kiri, klik nama project untuk meluaskan daftar set data.

3. Pilih set data adventureworks2017, lalu pilih tabel yang akan dilihat.

Untuk informasi selengkapnya, lihat dokumentasi BigQuery.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Setelah menyelesaikan tutorial, hapus resource yang dibuat di Google Cloud.

Menghapus instance VM

1. In the Google Cloud console, go to the VM instances page.

   Go to VM instances

2. Select the checkbox for the instance that you want to delete.
3. To delete the instance, click More actions, click Delete, and then follow the instructions.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk untuk menghapus instance Cloud Data Fusion.

Menghapus project

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Langkah selanjutnya

• Pelajari Replikasi di Cloud Data Fusion lebih lanjut.
• Lihat referensi Replication API.
• Ikuti tutorial untuk Mereplikasi data dari MySQL ke BigQuery.
• Ikuti tutorial Mereplikasi data dari Oracle ke BigQuery.