Template JDBC ke JDBC
Gunakan template JDBC ke JDBC Serverless Dataproc untuk mengekstrak data dari JDBC ke JDBC.
Template ini mendukung database berikut:
- MySQL
- PostgreSQL
- Microsoft SQL Server
- Oracle
Menggunakan template
Jalankan template menggunakan gcloud CLI atau Dataproc API.
gcloud
Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:
- PROJECT_ID: Wajib diisi. Project ID Google CloudAnda yang tercantum di IAM Settings.
- REGION: Wajib diisi. Region Compute Engine.
-
SUBNET: Opsional. Jika subnet tidak ditentukan,
subnet di REGION yang ditentukan dalam jaringan
default
akan dipilih.Contoh:
projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
-
TEMPLATE_VERSION: Wajib diisi.
Tentukan
latest
untuk versi template terbaru, atau tanggal versi tertentu, misalnya,2023-03-17_v0.1.0-beta
(buka gs://dataproc-templates-binaries atau jalankangcloud storage ls gs://dataproc-templates-binaries
untuk mencantumkan versi template yang tersedia). -
INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH dan
OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH:
Wajib. Jalur Cloud Storage lengkap, termasuk nama file, tempat jar konektor JDBC input dan output disimpan.
Catatan: Jika jar input dan output sama, hanya menetapkan INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH saja sudah cukup.
Anda dapat menggunakan perintah berikut untuk mendownload konektor JDBC guna diupload ke Cloud Storage:
-
MySQL:
wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.30.tar.gz
-
PostgreSQL:
wget https://jdbc.postgresql.org/download/postgresql-42.2.6.jar
-
Microsoft SQL Server:
wget https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.4.0.jre8/mssql-jdbc-6.4.0.jre8.jar
-
Oracle:
wget https://repo1.maven.org/maven2/com/oracle/database/jdbc/ojdbc8/21.7.0.0/ojdbc8-21.7.0.0.jar
-
MySQL:
-
Variabel berikut digunakan untuk membuat URL JDBC input yang diperlukan:
- INPUT_JDBC_HOST
- INPUT_JDBC_PORT
- INPUT_JDBC_DATABASE, atau, untuk Oracle, INPUT_JDBC_SERVICE
- INPUT_JDBC_USERNAME
- INPUT_JDBC_PASSWORD
Buat INPUT_JDBC_CONNECTION_URL menggunakan salah satu format khusus konektor berikut:
-
MySQL:
jdbc:mysql://INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_DATABASE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD
-
PostgreSQL:
jdbc:postgresql://INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_DATABASE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD
-
Microsoft SQL Server:
jdbc:sqlserver://INPUT_JDBC_HOST:INPUT_JDBC_PORT;databaseName=INPUT_JDBC_DATABASE;user=INPUT_JDBC_USERNAME;password=INPUT_JDBC_PASSWORD
-
Oracle:
jdbc:oracle:thin:@//INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_SERVICE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD
-
Variabel berikut digunakan untuk membuat URL JDBC output yang diperlukan:
- OUTPUT_JDBC_HOST
- OUTPUT_JDBC_PORT
- OUTPUT_JDBC_DATABASE, atau, untuk Oracle, OUTPUT_JDBC_SERVICE
- OUTPUT_JDBC_USERNAME
- OUTPUT_JDBC_PASSWORD
Buat OUTPUT_JDBC_CONNECTION_URL menggunakan salah satu format khusus konektor berikut:
-
MySQL:
jdbc:mysql://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_DATABASE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD
-
PostgreSQL:
jdbc:postgresql://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_DATABASE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD
-
Microsoft SQL Server:
jdbc:sqlserver://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT;databaseName=OUTPUT_JDBC_DATABASE;user=OUTPUT_JDBC_USERNAME;password=OUTPUT_JDBC_PASSWORD
-
Oracle:
jdbc:oracle:thin:@//OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_SERVICE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD
-
INPUT_JDBC_TABLE: Wajib diisi. Masukkan nama tabel JDBC atau kueri SQL di tabel input JDBC.
Contoh (kueri SQL harus berada dalam tanda kurung):
(select * from TABLE_NAME) as ALIAS_TABLE_NAME
- OUTPUT_JDBC_TABLE: Wajib diisi. Tabel JDBC tempat output akan disimpan.
-
INPUT_DRIVER dan
OUTPUT_DRIVER:
Wajib diisi. Driver input dan output JDBC yang digunakan untuk koneksi:
-
MySQL:
com.mysql.cj.jdbc.Driver
-
PostgreSQL:
org.postgresql.Driver
-
Microsoft SQL Server:
com.microsoft.sqlserver.jdbc.SQLServerDriver
-
Oracle:
oracle.jdbc.driver.OracleDriver
-
MySQL:
-
INPUT_PARTITION_COLUMN,
LOWERBOUND,
UPPERBOUND,
NUM_PARTITIONS: Opsional. Jika digunakan, semua parameter berikut harus ditentukan:
- INPUT_PARTITION_COLUMN: Nama kolom partisi tabel input JDBC.
- LOWERBOUND: Batas bawah kolom partisi tabel input JDBC yang digunakan untuk menentukan langkah partisi.
- UPPERBOUND: Batas atas kolom partisi tabel input JDBC yang digunakan untuk menentukan langkah partisi.
- NUM_PARTITIONS: Jumlah maksimum partisi yang dapat digunakan untuk paralelisme operasi baca dan tulis tabel. Jika ditentukan, nilai ini digunakan untuk koneksi input dan output JDBC.
- FETCHSIZE: Opsional. Jumlah baris yang akan diambil per perjalanan pulang-pergi.
-
BATCH_SIZE: Opsional. Jumlah data yang akan disisipkan
per perjalanan pulang-pergi. Default:
1000
. -
MODE: Opsional. Mode tulis untuk output JDBC.
Opsi:
Append
,Overwrite
,Ignore
, atauErrorIfExists
. - TABLE_PROPERTIES: Opsional. Opsi ini memungkinkan penetapan opsi tabel dan partisi khusus database saat membuat tabel output.
- PRIMARY_KEY: Opsional. Kolom kunci utama untuk tabel output. Kolom yang disebutkan tidak boleh berisi nilai duplikat. Jika tidak, error akan ditampilkan.
- JDBC_SESSION_INIT: Opsional. Pernyataan inisialisasi sesi untuk membaca template Java.
-
LOG_LEVEL: Opsional. Tingkat logging. Dapat berupa salah satu dari
ALL
,DEBUG
,ERROR
,FATAL
,INFO
,OFF
,TRACE
, atauWARN
. Default:INFO
. - TEMP_VIEW dan TEMP_QUERY: Opsional. Anda dapat menggunakan dua parameter opsional ini untuk menerapkan transformasi Spark SQL saat memuat data ke Cloud Storage. TEMP_VIEW harus sama dengan nama tabel yang digunakan dalam kueri, dan TEMP_QUERY adalah pernyataan kueri.
- SERVICE_ACCOUNT: Opsional. Jika tidak diberikan, akun layanan Compute Engine default akan digunakan.
-
PROPERTY dan
PROPERTY_VALUE:
Opsional. Daftar yang dipisahkan koma dari
pasangan Spark property=
value
. -
LABEL dan
LABEL_VALUE: Opsional. Daftar pasangan
label
=value
yang dipisahkan koma. -
KMS_KEY: Opsional. Kunci Cloud Key Management Service yang akan digunakan untuk enkripsi. Jika kunci tidak ditentukan, data akan diekripsi dalam penyimpanan menggunakan Google-owned and Google-managed encryption key.
Contoh:
projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Jalankan perintah berikut:
Linux, macOS, atau Cloud Shell
gcloud dataproc batches submit spark \ --class=com.google.cloud.dataproc.templates.main.DataProcTemplate \ --project="PROJECT_ID" \ --region="REGION" \ --version="1.2" \ --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH,OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH" \ --subnet="SUBNET" \ --kms-key="KMS_KEY" \ --service-account="SERVICE_ACCOUNT" \ --properties="PROPERTY=PROPERTY_VALUE" \ --labels="LABEL=LABEL_VALUE" \ -- --template JDBCTOJDBC \ --templateProperty project.id="PROJECT_ID" \ --templateProperty log.level="LOG_LEVEL" \ --templateProperty jdbctojdbc.input.url="INPUT_JDBC_CONNECTION_URL" \ --templateProperty jdbctojdbc.input.driver="INPUT_DRIVER" \ --templateProperty jdbctojdbc.input.table="INPUT_JDBC_TABLE" \ --templateProperty jdbctojdbc.output.url="OUTPUT_JDBC_CONNECTION_URL" \ --templateProperty jdbctojdbc.output.driver="OUTPUT_DRIVER" \ --templateProperty jdbctojdbc.output.table="OUTPUT_JDBC_TABLE" \ --templateProperty jdbctojdbc.input.fetchsize="FETCHSIZE" \ --templateProperty jdbctojdbc.input.partitioncolumn="INPUT_PARTITION_COLUMN" \ --templateProperty jdbctojdbc.input.lowerbound="LOWERBOUND" \ --templateProperty jdbctojdbc.input.upperbound="UPPERBOUND" \ --templateProperty jdbctojdbc.numpartitions="NUM_PARTITIONS" \ --templateProperty jdbctojdbc.output.mode="MODE" \ --templateProperty jdbctojdbc.output.batch.size="BATCH_SIZE" \ --templateProperty jdbctojdbc.output.primary.key="PRIMARY_KEY" \ --templateProperty jdbctojdbc.output.create.table.option="TABLE_PROPERTIES" \ --templateProperty jdbctojdbc.sessioninitstatement="JDBC_SESSION_INIT" \ --templateProperty jdbctojdbc.temp.view.name="TEMP_VIEW" \ --templateProperty jdbctojdbc.sql.query="TEMP_QUERY"
Windows (PowerShell)
gcloud dataproc batches submit spark ` --class=com.google.cloud.dataproc.templates.main.DataProcTemplate ` --project="PROJECT_ID" ` --region="REGION" ` --version="1.2" ` --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH,OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH" ` --subnet="SUBNET" ` --kms-key="KMS_KEY" ` --service-account="SERVICE_ACCOUNT" ` --properties="PROPERTY=PROPERTY_VALUE" ` --labels="LABEL=LABEL_VALUE" ` -- --template JDBCTOJDBC ` --templateProperty project.id="PROJECT_ID" ` --templateProperty log.level="LOG_LEVEL" ` --templateProperty jdbctojdbc.input.url="INPUT_JDBC_CONNECTION_URL" ` --templateProperty jdbctojdbc.input.driver="INPUT_DRIVER" ` --templateProperty jdbctojdbc.input.table="INPUT_JDBC_TABLE" ` --templateProperty jdbctojdbc.output.url="OUTPUT_JDBC_CONNECTION_URL" ` --templateProperty jdbctojdbc.output.driver="OUTPUT_DRIVER" ` --templateProperty jdbctojdbc.output.table="OUTPUT_JDBC_TABLE" ` --templateProperty jdbctojdbc.input.fetchsize="FETCHSIZE" ` --templateProperty jdbctojdbc.input.partitioncolumn="INPUT_PARTITION_COLUMN" ` --templateProperty jdbctojdbc.input.lowerbound="LOWERBOUND" ` --templateProperty jdbctojdbc.input.upperbound="UPPERBOUND" ` --templateProperty jdbctojdbc.numpartitions="NUM_PARTITIONS" ` --templateProperty jdbctojdbc.output.mode="MODE" ` --templateProperty jdbctojdbc.output.batch.size="BATCH_SIZE" ` --templateProperty jdbctojdbc.output.primary.key="PRIMARY_KEY" ` --templateProperty jdbctojdbc.output.create.table.option="TABLE_PROPERTIES" ` --templateProperty jdbctojdbc.sessioninitstatement="JDBC_SESSION_INIT" ` --templateProperty jdbctojdbc.temp.view.name="TEMP_VIEW" ` --templateProperty jdbctojdbc.sql.query="TEMP_QUERY"
Windows (cmd.exe)
gcloud dataproc batches submit spark ^ --class=com.google.cloud.dataproc.templates.main.DataProcTemplate ^ --project="PROJECT_ID" ^ --region="REGION" ^ --version="1.2" ^ --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH,OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH" ^ --subnet="SUBNET" ^ --kms-key="KMS_KEY" ^ --service-account="SERVICE_ACCOUNT" ^ --properties="PROPERTY=PROPERTY_VALUE" ^ --labels="LABEL=LABEL_VALUE" ^ -- --template JDBCTOJDBC ^ --templateProperty project.id="PROJECT_ID" ^ --templateProperty log.level="LOG_LEVEL" ^ --templateProperty jdbctojdbc.input.url="INPUT_JDBC_CONNECTION_URL" ^ --templateProperty jdbctojdbc.input.driver="INPUT_DRIVER" ^ --templateProperty jdbctojdbc.input.table="INPUT_JDBC_TABLE" ^ --templateProperty jdbctojdbc.output.url="OUTPUT_JDBC_CONNECTION_URL" ^ --templateProperty jdbctojdbc.output.driver="OUTPUT_DRIVER" ^ --templateProperty jdbctojdbc.output.table="OUTPUT_JDBC_TABLE" ^ --templateProperty jdbctojdbc.input.fetchsize="FETCHSIZE" ^ --templateProperty jdbctojdbc.input.partitioncolumn="INPUT_PARTITION_COLUMN" ^ --templateProperty jdbctojdbc.input.lowerbound="LOWERBOUND" ^ --templateProperty jdbctojdbc.input.upperbound="UPPERBOUND" ^ --templateProperty jdbctojdbc.numpartitions="NUM_PARTITIONS" ^ --templateProperty jdbctojdbc.output.mode="MODE" ^ --templateProperty jdbctojdbc.output.batch.size="BATCH_SIZE" ^ --templateProperty jdbctojdbc.output.primary.key="PRIMARY_KEY" ^ --templateProperty jdbctojdbc.output.create.table.option="TABLE_PROPERTIES" ^ --templateProperty jdbctojdbc.sessioninitstatement="JDBC_SESSION_INIT" ^ --templateProperty jdbctojdbc.temp.view.name="TEMP_VIEW" ^ --templateProperty jdbctojdbc.sql.query="TEMP_QUERY"
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- PROJECT_ID: Wajib diisi. Project ID Google CloudAnda yang tercantum di IAM Settings.
- REGION: Wajib diisi. Region Compute Engine.
-
SUBNET: Opsional. Jika subnet tidak ditentukan,
subnet di REGION yang ditentukan dalam jaringan
default
akan dipilih.Contoh:
projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
-
TEMPLATE_VERSION: Wajib diisi.
Tentukan
latest
untuk versi template terbaru, atau tanggal versi tertentu, misalnya,2023-03-17_v0.1.0-beta
(buka gs://dataproc-templates-binaries atau jalankangcloud storage ls gs://dataproc-templates-binaries
untuk mencantumkan versi template yang tersedia). -
INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH dan
OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH:
Wajib. Jalur Cloud Storage lengkap, termasuk nama file, tempat jar konektor JDBC input dan output disimpan.
Catatan: Jika jar input dan output sama, hanya menetapkan INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH saja sudah cukup.
Anda dapat menggunakan perintah berikut untuk mendownload konektor JDBC guna diupload ke Cloud Storage:
-
MySQL:
wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.30.tar.gz
-
PostgreSQL:
wget https://jdbc.postgresql.org/download/postgresql-42.2.6.jar
-
Microsoft SQL Server:
wget https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.4.0.jre8/mssql-jdbc-6.4.0.jre8.jar
-
Oracle:
wget https://repo1.maven.org/maven2/com/oracle/database/jdbc/ojdbc8/21.7.0.0/ojdbc8-21.7.0.0.jar
-
MySQL:
-
Variabel berikut digunakan untuk membuat URL JDBC input yang diperlukan:
- INPUT_JDBC_HOST
- INPUT_JDBC_PORT
- INPUT_JDBC_DATABASE, atau, untuk Oracle, INPUT_JDBC_SERVICE
- INPUT_JDBC_USERNAME
- INPUT_JDBC_PASSWORD
Buat INPUT_JDBC_CONNECTION_URL menggunakan salah satu format khusus konektor berikut:
-
MySQL:
jdbc:mysql://INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_DATABASE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD
-
PostgreSQL:
jdbc:postgresql://INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_DATABASE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD
-
Microsoft SQL Server:
jdbc:sqlserver://INPUT_JDBC_HOST:INPUT_JDBC_PORT;databaseName=INPUT_JDBC_DATABASE;user=INPUT_JDBC_USERNAME;password=INPUT_JDBC_PASSWORD
-
Oracle:
jdbc:oracle:thin:@//INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_SERVICE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD
-
Variabel berikut digunakan untuk membuat URL JDBC output yang diperlukan:
- OUTPUT_JDBC_HOST
- OUTPUT_JDBC_PORT
- OUTPUT_JDBC_DATABASE, atau, untuk Oracle, OUTPUT_JDBC_SERVICE
- OUTPUT_JDBC_USERNAME
- OUTPUT_JDBC_PASSWORD
Buat OUTPUT_JDBC_CONNECTION_URL menggunakan salah satu format khusus konektor berikut:
-
MySQL:
jdbc:mysql://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_DATABASE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD
-
PostgreSQL:
jdbc:postgresql://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_DATABASE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD
-
Microsoft SQL Server:
jdbc:sqlserver://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT;databaseName=OUTPUT_JDBC_DATABASE;user=OUTPUT_JDBC_USERNAME;password=OUTPUT_JDBC_PASSWORD
-
Oracle:
jdbc:oracle:thin:@//OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_SERVICE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD
-
INPUT_JDBC_TABLE: Wajib diisi. Masukkan nama tabel JDBC atau kueri SQL di tabel input JDBC.
Contoh (kueri SQL harus berada dalam tanda kurung):
(select * from TABLE_NAME) as ALIAS_TABLE_NAME
- OUTPUT_JDBC_TABLE: Wajib diisi. Tabel JDBC tempat output akan disimpan.
-
INPUT_DRIVER dan
OUTPUT_DRIVER:
Wajib diisi. Driver input dan output JDBC yang digunakan untuk koneksi:
-
MySQL:
com.mysql.cj.jdbc.Driver
-
PostgreSQL:
org.postgresql.Driver
-
Microsoft SQL Server:
com.microsoft.sqlserver.jdbc.SQLServerDriver
-
Oracle:
oracle.jdbc.driver.OracleDriver
-
MySQL:
-
INPUT_PARTITION_COLUMN,
LOWERBOUND,
UPPERBOUND,
NUM_PARTITIONS: Opsional. Jika digunakan, semua parameter berikut harus ditentukan:
- INPUT_PARTITION_COLUMN: Nama kolom partisi tabel input JDBC.
- LOWERBOUND: Batas bawah kolom partisi tabel input JDBC yang digunakan untuk menentukan langkah partisi.
- UPPERBOUND: Batas atas kolom partisi tabel input JDBC yang digunakan untuk menentukan langkah partisi.
- NUM_PARTITIONS: Jumlah maksimum partisi yang dapat digunakan untuk paralelisme operasi baca dan tulis tabel. Jika ditentukan, nilai ini digunakan untuk koneksi input dan output JDBC.
- FETCHSIZE: Opsional. Jumlah baris yang akan diambil per perjalanan pulang-pergi.
-
BATCH_SIZE: Opsional. Jumlah data yang akan disisipkan
per perjalanan pulang-pergi. Default:
1000
. -
MODE: Opsional. Mode tulis untuk output JDBC.
Opsi:
Append
,Overwrite
,Ignore
, atauErrorIfExists
. - TABLE_PROPERTIES: Opsional. Opsi ini memungkinkan penetapan opsi tabel dan partisi khusus database saat membuat tabel output.
- PRIMARY_KEY: Opsional. Kolom kunci utama untuk tabel output. Kolom yang disebutkan tidak boleh berisi nilai duplikat. Jika tidak, error akan ditampilkan.
- JDBC_SESSION_INIT: Opsional. Pernyataan inisialisasi sesi untuk membaca template Java.
-
LOG_LEVEL: Opsional. Tingkat logging. Dapat berupa salah satu dari
ALL
,DEBUG
,ERROR
,FATAL
,INFO
,OFF
,TRACE
, atauWARN
. Default:INFO
. - TEMP_VIEW dan TEMP_QUERY: Opsional. Anda dapat menggunakan dua parameter opsional ini untuk menerapkan transformasi Spark SQL saat memuat data ke Cloud Storage. TEMP_VIEW harus sama dengan nama tabel yang digunakan dalam kueri, dan TEMP_QUERY adalah pernyataan kueri.
- SERVICE_ACCOUNT: Opsional. Jika tidak diberikan, akun layanan Compute Engine default akan digunakan.
-
PROPERTY dan
PROPERTY_VALUE:
Opsional. Daftar yang dipisahkan koma dari
pasangan Spark property=
value
. -
LABEL dan
LABEL_VALUE: Opsional. Daftar pasangan
label
=value
yang dipisahkan koma. -
KMS_KEY: Opsional. Kunci Cloud Key Management Service yang akan digunakan untuk enkripsi. Jika kunci tidak ditentukan, data akan dienkripsi dalam penyimpanan menggunakan Google-owned and Google-managed encryption key.
Contoh:
projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Metode HTTP dan URL:
POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches
Meminta isi JSON:
{ "environmentConfig": { "executionConfig": { "subnetworkUri": "SUBNET", "kmsKey": "KMS_KEY", "serviceAccount": "SERVICE_ACCOUNT" } }, "labels": { "LABEL": "LABEL_VALUE" }, "runtimeConfig": { "version": "1.2", "properties": { "PROPERTY": "PROPERTY_VALUE" } }, "sparkBatch": { "mainClass": "com.google.cloud.dataproc.templates.main.DataProcTemplate", "args": [ "--template","JDBCTOJDBC", "--templateProperty","log.level=LOG_LEVEL", "--templateProperty","project.id=PROJECT_ID", "--templateProperty","jdbctojdbc.input.url=INPUT_JDBC_CONNECTION_URL", "--templateProperty","jdbctojdbc.input.driver=INPUT_DRIVER", "--templateProperty","jdbctojdbc.input.table=INPUT_TABLE", "--templateProperty","jdbctojdbc.output.url=OUTPUT_JDBC_CONNECTION_URL", "--templateProperty","jdbctojdbc.output.driver=OUTPUT_DRIVER", "--templateProperty","jdbctojdbc.output.table=OUTPUT_TABLE", "--templateProperty","jdbctojdbc.input.fetchsize=FETCHSIZE", "--templateProperty","jdbctojdbc.input.partitioncolumn=INPUT_PARTITION_COLUMN", "--templateProperty","jdbctojdbc.input.lowerbound=LOWERBOUND", "--templateProperty","jdbctojdbc.input.upperbound=UPPERBOUND", "--templateProperty","jdbctojdbc.numpartitions=NUM_PARTITIONS", "--templateProperty","jdbctojdbc.output.mode=MODE", "--templateProperty","jdbctojdbc.output.batch.size=BATCH_SIZE", "--templateProperty","jdbctojdbc.output.primary.key=PRIMARY_KEY", "--templateProperty","jdbctojdbc.output.create.table.option=TABLE_PROPERTIES", "--templateProperty","jdbctojdbc.sessioninitstatement=JDBC_SESSION_INIT", "--templateProperty","jdbctojdbc.temp.view.name=TEMP_VIEW", "--templateProperty","jdbctojdbc.sql.query=TEMP_QUERY" ], "jarFileUris": [ "gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar", "INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH", "OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH" ] } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan menerima respons JSON yang mirip dengan yang berikut ini:
{ "name": "projects/PROJECT_ID/regions/REGION/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.dataproc.v1.BatchOperationMetadata", "batch": "projects/PROJECT_ID/locations/REGION/batches/BATCH_ID", "batchUuid": "de8af8d4-3599-4a7c-915c-798201ed1583", "createTime": "2023-02-24T03:31:03.440329Z", "operationType": "BATCH", "description": "Batch" } }