Melakukan streaming perubahan pada data secara mendekati real-time dengan Datastream

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Datastream API.

   Enable the API

7. Pastikan Anda memiliki peran Datastream Admin yang ditetapkan ke akun pengguna Anda.

   Buka halaman IAM

Jika ingin membuat konfigurasi konektivitas pribadi untuk jaringan VPC standar atau bersama, Anda harus menyelesaikan prasyarat tambahan. Untuk informasi selengkapnya, lihat Membuat konfigurasi konektivitas pribadi.

Persyaratan

Datastream menawarkan berbagai opsi sumber, opsi tujuan, dan metode konektivitas jaringan.

Dalam panduan memulai ini, kami mengasumsikan bahwa Anda menggunakan database Oracle mandiri dan layanan Cloud Storage tujuan. Untuk database sumber, Anda harus dapat mengonfigurasi jaringan untuk menambahkan aturan firewall masuk. Database sumber dapat berada di lokal atau di penyedia cloud. Karena tujuannya adalah Cloud Storage, tujuan tersebut harus berada di penyedia cloud Google.

Karena kami tidak dapat mengetahui secara spesifik lingkungan Anda, kami tidak dapat memberikan langkah-langkah mendetail mengenai konfigurasi jaringan Anda.

Untuk panduan memulai ini, Anda akan memilih IP allowlisting sebagai metode konektivitas. Daftar IP yang diizinkan adalah fitur keamanan yang sering digunakan untuk membatasi dan mengontrol akses ke data di database sumber Anda kepada pengguna tepercaya. Anda dapat menggunakan daftar IP yang diizinkan untuk membuat daftar alamat IP atau rentang IP tepercaya yang dapat digunakan oleh pengguna dan layanan Cloud lainnya seperti Datastream untuk mengakses data ini. Untuk menggunakan daftar IP yang diizinkan, Anda harus membuka database sumber atau firewall ke koneksi masuk dari Datastream.

Membuat profil koneksi

Dengan membuat profil koneksi untuk database sumber dan tujuan, Anda membuat data yang berisi informasi tentang sumber dan tujuan.

Dalam panduan memulai ini, Anda akan memilih Oracle sebagai jenis profil untuk profil koneksi sumber, dan Cloud Storage sebagai jenis profil untuk profil koneksi tujuan. Datastream menggunakan informasi dalam profil koneksi untuk memigrasikan data dari database Oracle sumber ke bucket tujuan di Cloud Storage.

Membuat profil koneksi sumber untuk database Oracle

1. Buka halaman Profil koneksi untuk Datastream di Google Cloud Konsol.

   Buka halaman Profil koneksi

2. Klik BUAT PROFIL.

3. Di halaman Create a connection profile, klik jenis profil Oracle (karena Anda ingin membuat profil koneksi sumber untuk database Oracle).

4. Berikan informasi berikut di bagian Define connection settings di halaman Create Oracle profile:

   • Masukkan My Source Connection Profile sebagai Nama profil koneksi untuk database sumber Anda.
   • Simpan ID profil koneksi yang dibuat secara otomatis.

   • Pilih Region tempat profil koneksi akan disimpan.

     Seperti halnya semua resource, profil koneksi disimpan di region, dan aliran data hanya dapat menggunakan profil koneksi yang disimpan di region yang sama dengan aliran data. Pemilihan region tidak memengaruhi apakah Datastream dapat terhubung ke sumber atau tujuan, tetapi dapat memengaruhi ketersediaan jika region mengalami periode nonaktif.

   • Masukkan Detail koneksi:

     • Di kolom Hostname or IP, masukkan nama host atau alamat IP publik yang dapat digunakan Datastream untuk terhubung ke database Oracle sumber. Anda memberikan alamat IP publik karena daftar IP yang diizinkan akan digunakan sebagai metode konektivitas jaringan untuk memulai cepat ini.
     • Di kolom Port, masukkan nomor port yang dicadangkan untuk database sumber. Untuk database Oracle, port default biasanya 1521.
     • Masukkan Username dan Password untuk mengautentikasi ke database sumber Anda.
     • Di kolom System identifier (SID), masukkan SID atau nama layanan yang mengidentifikasi instance database. Untuk database Oracle, biasanya ini adalah ORCL.

5. Di bagian Define connection settings, klik CONTINUE. Bagian Menentukan metode konektivitas di halaman Buat profil Oracle aktif.

6. Pilih metode jaringan yang ingin Anda gunakan untuk membangun konektivitas antara Datastream dan database sumber. Untuk panduan memulai ini, gunakan menu drop-down Metode konektivitas untuk memilih IP allowlisting sebagai metode jaringan.

7. Konfigurasikan database sumber Anda untuk mengizinkan koneksi masuk dari alamat IP publik Datastream yang muncul.

8. Di bagian Define connectivity method, klik CONTINUE. Bagian Uji profil koneksi di halaman Buat profil Oracle aktif.

9. Klik RUN TEST untuk memverifikasi bahwa database Oracle sumber dan Datastream dapat saling berkomunikasi.

10. Pastikan status "Pengujian lulus" muncul.

11. Jika pengujian gagal, Anda dapat mengatasi masalah tersebut di bagian alur yang sesuai, lalu kembali untuk menguji ulang. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah.

12. Klik BUAT.

Membuat profil koneksi tujuan untuk Cloud Storage

1. Buka halaman Profil koneksi untuk Datastream di Google Cloud Konsol.

   Buka halaman Profil koneksi

2. Klik BUAT PROFIL.

3. Di halaman Create a connection profile, klik jenis profil Cloud Storage (karena Anda ingin membuat profil koneksi tujuan untuk Cloud Storage).

4. Berikan informasi berikut di halaman Buat profil Cloud Storage:

   • Masukkan My Destination Connection Profile sebagai Nama profil koneksi untuk layanan Cloud Storage tujuan Anda.
   • Simpan ID profil koneksi yang dibuat secara otomatis.
   • Pilih Region tempat profil koneksi akan disimpan.
   • Di panel Connection details, klik BROWSE.

   • Di panel Select bucket, pilih bucket tujuan di Cloud Storage tempat Datastream akan mentransfer data dari database sumber, lalu klik SELECT.

     Bucket Anda akan muncul di kolom Nama bucket di halaman Buat profil Cloud Storage.

     Catatan: Jika tidak melihat bucket yang ingin dipilih, Anda dapat membuatnya.

   • Secara opsional, di kolom Awalan jalur profil koneksi, Anda dapat memberikan awalan untuk jalur yang akan ditambahkan ke nama bucket saat Datastream mentransfer data ke tujuan.

     Catatan: Setiap jalur yang Anda masukkan di kolom ini harus diawali dengan garis miring (/).

5. Klik BUAT.

Setelah membuat profil koneksi sumber untuk database Oracle dan profil koneksi tujuan untuk Cloud Storage, Anda dapat menggunakannya untuk membuat aliran data.

Membuat stream

Di bagian ini, Anda akan membuat streaming. Datastream menggunakan aliran ini untuk mentransfer data dari database Oracle sumber ke bucket tujuan di Cloud Storage.

Membuat streaming mencakup:

• Menentukan setelan untuk streaming.
• Memilih profil koneksi yang Anda buat untuk database sumber (profil koneksi sumber). Untuk panduan memulai ini, ini adalah Profil Koneksi Sumber Saya.
• Mengonfigurasi informasi tentang database sumber untuk aliran data dengan menentukan tabel dan skema di database sumber yang akan di-streaming oleh Datastream:
  • Dapat ditransfer ke tujuan.
  • Dibatasi agar tidak ditransfer ke tujuan.
• Menentukan apakah Datastream akan mengisi ulang data historis, serta melakukan streaming perubahan yang sedang berlangsung ke tujuan, atau hanya melakukan streaming perubahan pada data.
• Memilih profil koneksi yang Anda buat untuk Cloud Storage (profil koneksi tujuan). Untuk panduan memulai ini, nama profilnya adalah Profil Koneksi Tujuan Saya.
• Mengonfigurasi informasi tentang bucket tujuan untuk aliran data. Informasi ini mencakup:
  • Folder bucket tujuan tempat Datastream akan mentransfer skema, tabel, dan data dari database Oracle sumber.
  • Format output file yang ditulis ke Cloud Storage. Datastream mendukung dua format output: Avro dan JSON. Untuk panduan memulai ini, Avro adalah format file.

Datastream dilengkapi dengan wizard untuk membantu Anda membuat aliran data. Wizard ini terdiri dari enam panel: Mulai, Tentukan & uji sumber, Konfigurasi sumber, Tentukan tujuan, Konfigurasi tujuan, dan Tinjau & buat. Informasi tentang cara mengisi setiap panel diberikan di berbagai bagian halaman ini.

Menentukan setelan untuk streaming

1. Buka halaman Streams untuk Datastream di Google Cloud Konsol.

   Buka halaman Streams

2. Klik BUAT ARUS DATA.

3. Berikan informasi berikut di panel Define stream details di halaman Create stream:

   • Masukkan My Stream sebagai Nama aliran data.
   • Tetap gunakan ID Aliran Data yang dibuat secara otomatis.
   • Dari menu Region, pilih region tempat Anda membuat profil koneksi sumber.
   • Dari menu Jenis sumber, pilih jenis profil Oracle.
   • Dari menu Jenis tujuan, pilih jenis profil Cloud Storage.

4. Tinjau prasyarat yang diperlukan yang dibuat secara otomatis guna mencerminkan cara lingkungan Anda harus disiapkan untuk streaming. Prasyarat ini dapat mencakup cara mengonfigurasi database sumber dan cara menghubungkan Datastream ke bucket tujuan di Cloud Storage.

   Untuk informasi selengkapnya tentang prasyarat ini, lihat Mengonfigurasi database Oracle sumber.

5. Klik CONTINUE. Panel Tentukan profil koneksi Oracle di halaman Buat aliran data akan muncul.

Menentukan informasi tentang profil koneksi sumber

1. Dari menu Source connection profile, pilih profil koneksi sumber untuk database Oracle.

2. Klik RUN TEST untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

   Jika pengujian gagal, masalah yang terkait dengan profil koneksi akan muncul. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah. Lakukan perubahan yang diperlukan untuk memperbaiki masalah, lalu uji ulang.

3. Klik CONTINUE. Panel Konfigurasi sumber aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang database sumber untuk aliran data

1. Gunakan menu Objects to include untuk menentukan tabel dan skema di database sumber yang dapat ditransfer Datastream ke folder di bucket tujuan di Cloud Storage. Menu hanya dimuat jika database Anda memiliki hingga 5.000 objek.

   Untuk panduan memulai ini, Anda ingin Datastream mentransfer semua tabel dan skema. Oleh karena itu, pilih Semua tabel dari semua skema dari menu.

   Untuk panduan memulai ini, pastikan panel Select objects to exclude disetel ke "None". Anda tidak ingin membatasi Datastream agar tidak mentransfer tabel dan skema apa pun di database sumber ke Cloud Storage.

   Selain itu, pastikan panel Pilih mode pengisian ulang untuk data historis disetel ke "Otomatis". Datastream akan melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan.

2. Tentukan metode CDC. Untuk tutorial ini, pilih Logminer.

3. Klik CONTINUE. Panel Tentukan profil koneksi Cloud Storage di halaman Buat aliran data akan muncul.

Memilih profil koneksi tujuan

1. Dari menu profil koneksi tujuan, pilih profil koneksi tujuan untuk Cloud Storage.

2. Klik CONTINUE. Panel Konfigurasi tujuan aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang tujuan untuk aliran data

1. Di kolom Stream path prefix, masukkan folder bucket tujuan tempat Datastream akan mentransfer skema, tabel, dan data dari database Oracle sumber.

   Untuk memulai cepat ini, Anda ingin Datastream mentransfer data dari database sumber ke folder /root/tutorial di bucket tujuan Cloud Storage. Oleh karena itu, masukkan /root/tutorial di kolom Awalan jalur streaming.

2. Di kolom Output format, pilih format file yang ditulis ke Cloud Storage. Untuk panduan memulai ini, Avro adalah format file.

3. Klik CONTINUE. Panel Tinjau detail aliran data dan buat di halaman Buat aliran data akan muncul.

Membuat aliran data

1. Verifikasi detail tentang aliran data serta profil koneksi sumber dan tujuan yang akan digunakan aliran data untuk mentransfer data dari database Oracle sumber ke bucket tujuan di Cloud Storage.

2. Klik RUN VALIDATION untuk memvalidasi aliran data. Dengan memvalidasi streaming, Datastream akan memeriksa apakah sumber dikonfigurasi dengan benar, memvalidasi bahwa streaming dapat terhubung ke sumber dan tujuan, serta memverifikasi konfigurasi menyeluruh streaming.

   Jika pemeriksaan validasi lulus, ikon tanda centang akan muncul di sebelah kiri pemeriksaan validasi.

   Jika pemeriksaan validasi tidak lulus, ikon tanda seru akan muncul di sebelah kiri pemeriksaan, dan tombol LIHAT DETAIL ERROR akan muncul di bawah pemeriksaan. Klik tombol tersebut, dan pesan akan muncul, yang menjelaskan alasan pemeriksaan tidak lulus dan informasi tentang tindakan yang harus dilakukan untuk memperbaiki masalah tersebut. Setelah melakukan koreksi yang sesuai, klik VALIDASI ULANG.

   Untuk mengetahui informasi selengkapnya tentang pemecahan masalah pemeriksaan validasi yang tidak lulus, lihat Mendiagnosis masalah.

3. Setelah semua pemeriksaan validasi lulus, klik BUAT.

4. Dalam dialog Create stream?, klik CREATE.

Setelah membuat aliran data, Anda dapat memulainya.

Memulai streaming

Di bagian sebelumnya dalam panduan memulai, Anda telah membuat streaming, tetapi tidak memulainya. Anda dapat melakukannya sekarang.

Untuk memulai cepat ini, Anda membuat dan memulai aliran data secara terpisah jika proses pembuatan aliran data menyebabkan peningkatan beban pada database sumber. Untuk menunda beban tersebut, Anda membuat aliran data tanpa memulainya, lalu memulai aliran data saat beban dapat terjadi.

Dengan memulai streaming, Datastream dapat mentransfer data, skema, dan tabel dari database sumber ke tujuan.

1. Buka halaman Streams untuk Datastream di Google Cloud Konsol.

   Buka halaman Streams

2. Centang kotak di sebelah kiri streaming yang ingin Anda mulai. Untuk panduan memulai ini, nama channel-nya adalah My Stream.

3. Klik MULAI.

4. Dalam dialog, klik MULAI. Status streaming berubah dari Not started menjadi Starting menjadi Running.

   Perlu waktu sekitar 30 detik agar streaming mulai berjalan. Resource latar belakang harus dimulai agar streaming dapat dimulai.

Setelah memulai streaming, Anda dapat memverifikasi bahwa Datastream mentransfer data dari database sumber ke tujuan.

Memverifikasi streaming

Di bagian ini, Anda mengonfirmasi bahwa Datastream mentransfer data dari semua tabel database Oracle sumber ke folder /root/tutorial di bucket tujuan Cloud Storage.

1. Buka halaman Streams untuk Datastream di Google Cloud Konsol.

   Buka halaman Streams

2. Klik streaming yang Anda buat. Untuk panduan memulai ini, nama channel-nya adalah My Stream.

3. Di halaman Detail aliran data, klik link yang muncul di bawah kolom Jalur tulis tujuan. Halaman Bucket details Cloud Storage akan terbuka di tab terpisah.

   Catatan: Link yang Anda klik terdiri dari nama bucket dan folder bucket tempat Datastream mentransfer skema, tabel, dan data dari database Oracle sumber Anda. Anda menentukan folder ini menjadi /root/tutorial saat mengonfigurasi informasi tentang profil koneksi tujuan untuk aliran data. Jadi, link akan muncul sebagai [bucket-name]/root/tutorial.

4. Pastikan Anda melihat folder yang mewakili tabel database Oracle sumber Anda.

5. Klik salah satu folder tabel dan lakukan pengelompokan hingga Anda melihat data yang terkait dengan tabel.

   Folder pertama adalah [schema]_[table], diikuti dengan folder yang mewakili tahun, bulan, hari, jam, dan menit saat Datastream mentransfer data dari database Oracle sumber ke bucket tujuan di Cloud Storage.

   Folder dibuat setiap menit (jika ada data baru yang akan ditulis).

   File baru akan dibuat saat ukuran file mencapai 250 MB, atau setiap kali skema berubah. Jika tabel dipartisi, file akan dibuat untuk setiap partisi.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

1. Gunakan konsol Google Cloud untuk menghapus project, aliran Datastream, dan profil koneksi, serta bucket tujuan Cloud Storage.

Dengan membersihkan resource yang Anda buat di Datastream, resource tersebut tidak akan menghabiskan kuota dan Anda tidak akan ditagih di masa mendatang. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource ini.

Menghapus project Anda

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk panduan memulai ini.

Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk panduan memulai ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang masih ingin Anda gunakan pada masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa tutorial dan panduan memulai, menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol Google Cloud, buka halaman Manage resources.

   Buka halaman Kelola resource

2. Dalam daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.

3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus aliran data

1. Buka halaman Streams untuk Datastream di Google Cloud Konsol.

   Buka halaman Streams

2. Klik streaming yang ingin dihapus. Untuk panduan memulai ini, nama channel-nya adalah My Stream.

3. Klik JEDA.

4. Pada dialog, klik PAUSE.

5. Di panel Status aliran data pada halaman Detail aliran data, pastikan status aliran data adalah Paused.

   Catatan: Anda menjeda streaming sebelum menghapusnya untuk memastikan semua data "sedang ditransfer" ditransfer dengan bersih dari database sumber ke tujuan.

6. Klik HAPUS.

7. Dalam dialog, masukkan Delete di kolom teks, lalu klik DELETE.

Menghapus profil koneksi

1. Buka halaman Profil koneksi untuk Datastream di Google Cloud Konsol.

   Buka halaman Profil koneksi

2. Centang kotak untuk setiap profil koneksi yang ingin Anda hapus. Untuk memulai cepat ini, centang kotak My Source Connection Profile dan My Destination Connection Profile.

3. Klik HAPUS.

4. Pada dialog, klik DELETE.

Menghapus bucket tujuan Cloud Storage

1. Buka halaman Browser untuk Cloud Storage di Google Cloud Konsol.

   Buka halaman Browser

2. Centang kotak di sebelah kiri bucket, lalu klik HAPUS.

3. Dalam dialog, masukkan DELETE di kolom teks, lalu klik DELETE.

Langkah selanjutnya

• Pelajari Datastream lebih lanjut.
• Coba sendiri fitur Google Cloud lainnya. Lihat panduan memulai kami.