Template Java Database Connectivity (JDBC) ke Pub/Sub adalah pipeline batch yang menyerap data dari sumber JDBC dan menulis data yang dihasilkan ke topik Pub/Sub yang sudah ada sebagai string JSON.
Persyaratan pipeline
- Sumber JDBC harus ada sebelum menjalankan pipeline.
- Topik output Pub/Sub harus ada sebelum menjalankan pipeline.
Parameter template
Parameter yang diperlukan
- driverClassName : Nama class driver JDBC. (Contoh: com.mysql.jdbc.Driver).
- connectionUrl : String URL koneksi JDBC. Anda dapat meneruskan nilai ini sebagai string yang dienkripsi dengan kunci Cloud KMS, lalu dienkode dengan Base64. Misalnya: 'echo -n "jdbc:mysql://some-host:3306/sampledb" | gcloud kms encrypt --location=
- driverJars : Jalur Cloud Storage yang dipisahkan koma untuk driver JDBC. (Contoh: gs://your-bucket/driver_jar1.jar,gs://your-bucket/driver_jar2.jar).
- kueri : Kueri yang akan dijalankan di sumber untuk mengekstrak data. (Contoh: select * from sampledb.sample_table).
- outputTopic : Topik Pub/Sub yang akan dipublikasikan, dalam format projects/<PROJECT_ID>/topics/<TOPIC_NAME>. (Contoh: projects/your-project-id/topics/your-topic-name).
Parameter opsional
- username : Nama pengguna yang akan digunakan untuk koneksi JDBC. Anda dapat meneruskan nilai ini sebagai string yang dienkripsi dengan kunci Cloud KMS, lalu dienkode dengan Base64. Contoh,
echo -n 'some_username' | glcloud kms encrypt --location=my_location --keyring=mykeyring --key=mykey --plaintext-file=- --ciphertext-file=- | base64
. - password : Sandi yang akan digunakan untuk koneksi JDBC. Anda dapat meneruskan nilai ini sebagai string yang dienkripsi dengan kunci Cloud KMS, lalu dienkode dengan Base64. Contoh,
echo -n 'some_password' | glcloud kms encrypt --location=my_location --keyring=mykeyring --key=mykey --plaintext-file=- --ciphertext-file=- | base64
. - connectionProperties : String properti yang akan digunakan untuk koneksi JDBC. Format string harus
[propertyName=property;]*
. (Contoh: unicode=true;characterEncoding=UTF-8). - KMSEncryptionKey : Kunci Enkripsi Cloud KMS yang akan digunakan untuk mendekripsi nama pengguna, sandi, dan string koneksi. Jika kunci Cloud KMS diteruskan, nama pengguna, sandi, dan string koneksi harus diteruskan dalam bentuk terenkripsi dan dienkode base64. (Contoh: projects/project-anda/locations/global/keyRings/keyring-anda/cryptoKeys/kunci-anda).
- disabledAlgorithms : Algoritma yang dipisahkan koma untuk dinonaktifkan. Jika nilai ini disetel ke none, tidak ada algoritma yang dinonaktifkan. Gunakan parameter ini dengan hati-hati, karena algoritma yang dinonaktifkan secara default mungkin memiliki kerentanan atau masalah performa. (Contoh: SSLv3, RC4).
- extraFilesToStage : Jalur Cloud Storage yang dipisahkan koma atau secret Secret Manager untuk file yang akan di-stage di pekerja. File ini disimpan di direktori /extra_files di setiap pekerja. (Contoh: gs://
Menjalankan template
Konsol
- Buka halaman Create job from template Dataflow. Buka Buat tugas dari template
- Di kolom Nama tugas, masukkan nama tugas yang unik.
- Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region defaultnya
adalah
us-central1
.Untuk mengetahui daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.
- Dari menu drop-down Dataflow template, pilih the JDBC to Pub/Sub template.
- Di kolom parameter yang disediakan, masukkan nilai parameter Anda.
- Klik Run job.
gcloud
Di shell atau terminal, jalankan template:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Jdbc_to_PubSub \ --region REGION_NAME \ --parameters \ driverClassName=DRIVER_CLASS_NAME,\ connectionURL=JDBC_CONNECTION_URL,\ driverJars=DRIVER_PATHS,\ username=CONNECTION_USERNAME,\ password=CONNECTION_PASSWORD,\ connectionProperties=CONNECTION_PROPERTIES,\ query=SOURCE_SQL_QUERY,\ outputTopic=OUTPUT_TOPIC,\ KMSEncryptionKey=KMS_ENCRYPTION_KEY
Ganti kode berikut:
JOB_NAME
: nama tugas unik pilihan AndaVERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan template versi terbaru, yang tersedia di folder induk tanpa tanggal di bucket—gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat dalam folder induk bertanggal masing-masing di bucket—gs://dataflow-templates-REGION_NAME/
REGION_NAME
: region tempat Anda ingin men-deploy tugas Dataflow—misalnya,us-central1
DRIVER_CLASS_NAME
: nama class driverJDBC_CONNECTION_URL
: URL koneksi JDBCDRIVER_PATHS
: jalur Cloud Storage yang dipisahkan koma dari driver JDBCCONNECTION_USERNAME
: nama pengguna koneksi JDBCCONNECTION_PASSWORD
: sandi koneksi JDBCCONNECTION_PROPERTIES
: properti koneksi JDBC, jika diperlukanSOURCE_SQL_QUERY
: kueri SQL yang akan dijalankan di database sumberOUTPUT_TOPIC
: Pub/Sub yang akan dipublikasikanKMS_ENCRYPTION_KEY
: Kunci Enkripsi Cloud KMS
API
Untuk menjalankan template menggunakan REST API, kirim permintaan POST HTTP. Untuk mengetahui informasi selengkapnya tentang
API dan cakupan otorisasinya, lihat
projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launchParameter": { "jobName": "JOB_NAME", "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Jdbc_to_PubSub" "parameters": { "driverClassName": "DRIVER_CLASS_NAME", "connectionURL": "JDBC_CONNECTION_URL", "driverJars": "DRIVER_PATHS", "username": "CONNECTION_USERNAME", "password": "CONNECTION_PASSWORD", "connectionProperties": "CONNECTION_PROPERTIES", "query": "SOURCE_SQL_QUERY", "outputTopic": "OUTPUT_TOPIC", "KMSEncryptionKey":"KMS_ENCRYPTION_KEY" }, "environment": { "zone": "us-central1-f" } } }
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud tempat Anda ingin menjalankan tugas DataflowJOB_NAME
: nama tugas unik pilihan AndaVERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan template versi terbaru, yang tersedia di folder induk tanpa tanggal di bucket—gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat dalam folder induk bertanggal masing-masing di bucket—gs://dataflow-templates-REGION_NAME/
LOCATION
: region tempat Anda ingin men-deploy tugas Dataflow—misalnya,us-central1
DRIVER_CLASS_NAME
: nama class driverJDBC_CONNECTION_URL
: URL koneksi JDBCDRIVER_PATHS
: jalur Cloud Storage yang dipisahkan koma dari driver JDBCCONNECTION_USERNAME
: nama pengguna koneksi JDBCCONNECTION_PASSWORD
: sandi koneksi JDBCCONNECTION_PROPERTIES
: properti koneksi JDBC, jika diperlukanSOURCE_SQL_QUERY
: kueri SQL yang akan dijalankan di database sumberOUTPUT_TOPIC
: Pub/Sub yang akan dipublikasikanKMS_ENCRYPTION_KEY
: Kunci Enkripsi Cloud KMS
Langkah selanjutnya
- Pelajari template Dataflow.
- Lihat daftar template yang disediakan Google.