Template ini membuat pipeline batch yang membaca dokumen dari MongoDB dan menulisnya ke BigQuery.
Jika ingin mengambil data aliran data perubahan MongoDB, Anda dapat menggunakan template MongoDB ke BigQuery (CDC).
Persyaratan pipeline
- Set data BigQuery target harus ada.
- Instance MongoDB sumber harus dapat diakses dari mesin pekerja Dataflow.
Format output
Format data output bergantung pada nilai parameter userOption
. Jika userOption
adalah
NONE
, outputnya akan memiliki skema berikut. Kolom source_data
berisi dokumen dalam format JSON.
[ {"name":"id","type":"STRING"}, {"name":"source_data","type":"STRING"}, {"name":"timestamp","type":"TIMESTAMP"} ]
Jika userOption
adalah FLATTEN
, pipeline akan meratakan dokumen dan menulis kolom tingkat atas sebagai kolom tabel. Misalnya, dokumen dalam koleksi MongoDB berisi kolom berikut:
"_id"
(string
)"title"
(string
)"genre"
(string
)
Dengan menggunakan FLATTEN
, output-nya memiliki skema berikut. Kolom timestamp
ditambahkan oleh template.
[ {"name":"_id","type":"STRING"}, {"name":"title","type":"STRING"}, {"name":"genre","type":"STRING"}, {"name":"timestamp","type":"TIMESTAMP"} ]
Parameter template
Parameter | Deskripsi |
---|---|
mongoDbUri |
URI koneksi MongoDB dalam format mongodb+srv://:@ . |
database |
Database di MongoDB yang akan digunakan untuk membaca koleksi. Misalnya: my-db . |
collection |
Nama koleksi di dalam database MongoDB. Misalnya: my-collection . |
outputTableSpec |
Tabel BigQuery yang menjadi tujuan penulisan. Misalnya, bigquery-project:dataset.output_table . |
userOption |
FLATTEN atau NONE . FLATTEN meratakan dokumen ke level pertama. NONE menyimpan seluruh dokumen sebagai string JSON. |
javascriptDocumentTransformGcsPath |
(Opsional)
URI Cloud Storage dari file .js yang menentukan fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan. Misalnya, gs://my-bucket/my-udfs/my_file.js .
|
javascriptDocumentTransformFunctionName |
(Opsional)
Nama fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan.
Misalnya, jika kode fungsi JavaScript Anda adalah myTransform(inJson) { /*...do stuff...*/ } , nama fungsi adalah myTransform . Untuk contoh UDF JavaScript, lihat
Contoh UDF.
|
useStorageWriteApi |
(Opsional)
Jika true , pipeline akan menggunakan
BigQuery Storage Write API. Nilai defaultnya adalah false . Untuk informasi selengkapnya, lihat
Menggunakan Storage Write API.
|
useStorageWriteApiAtLeastOnce |
(Opsional)
Saat menggunakan Storage Write API, menentukan semantik penulisan. Untuk menggunakan
semantik minimal satu kali, tetapkan parameter ini ke true . Untuk menggunakan semantik tepat satu kali,
tetapkan parameter ke false . Parameter ini hanya berlaku jika useStorageWriteApi adalah true . Nilai defaultnya adalah false .
|
Fungsi yang ditentukan pengguna
Jika ingin, Anda dapat memperluas template ini dengan menulis fungsi yang ditentukan pengguna (UDF) di JavaScript. Template memanggil UDF untuk setiap elemen input. Payload elemen diserialisasi sebagai string JSON.
Untuk menggunakan UDF, upload file JavaScript ke Cloud Storage dan tetapkan parameter template berikut:
Parameter | Deskripsi |
---|---|
javascriptDocumentTransformGcsPath |
Lokasi Cloud Storage file JavaScript. |
javascriptDocumentTransformFunctionName |
Nama fungsi JavaScript. |
Untuk mengetahui informasi selengkapnya, lihat Membuat fungsi yang ditentukan pengguna untuk template Dataflow.
Spesifikasi fungsi
UDF memiliki spesifikasi berikut:
userOption
adalah NONE
, objek JSON harus menyertakan properti bernama _id
yang berisi ID dokumen.Menjalankan template
Konsol
- Buka halaman Create job from template Dataflow. Buka Buat tugas dari template
- Di kolom Job name, masukkan nama pekerjaan yang unik.
- Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region
default-nya adalah
us-central1
.Untuk daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.
- Dari menu drop-down Dataflow template, pilih the MongoDB to BigQuery template.
- Di kolom parameter yang disediakan, masukkan parameter value Anda.
- Klik Run job.
gcloud
Di shell atau terminal Anda, jalankan template:
gcloud dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/MongoDB_to_BigQuery \ --parameters \ outputTableSpec=OUTPUT_TABLE_SPEC,\ mongoDbUri=MONGO_DB_URI,\ database=DATABASE,\ collection=COLLECTION,\ userOption=USER_OPTION
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud tempat Anda ingin menjalankan tugas DataflowJOB_NAME
: nama pekerjaan unik pilihan AndaREGION_NAME
: region tempat Anda ingin men-deploy tugas Dataflow, misalnyaus-central1
VERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan versi terbaru template, yang tersedia di folder induk tidak bertanggal di bucket— gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat di folder induk bertanggal masing-masing dalam bucket— gs://dataflow-templates-REGION_NAME/
OUTPUT_TABLE_SPEC
: nama tabel BigQuery target Anda.MONGO_DB_URI
: URI MongoDB Anda.DATABASE
: database MongoDB Anda.COLLECTION
: koleksi MongoDB Anda.USER_OPTION
: FLATTEN atau NONE.
API
Untuk menjalankan template menggunakan REST API, kirim permintaan HTTP POST. Untuk informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launch_parameter": { "jobName": "JOB_NAME", "parameters": { "inputTableSpec": "INPUT_TABLE_SPEC", "mongoDbUri": "MONGO_DB_URI", "database": "DATABASE", "collection": "COLLECTION", "userOption": "USER_OPTION" }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/MongoDB_to_BigQuery", } }
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud tempat Anda ingin menjalankan tugas DataflowJOB_NAME
: nama pekerjaan unik pilihan AndaLOCATION
: region tempat Anda ingin men-deploy tugas Dataflow, misalnyaus-central1
VERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan versi terbaru template, yang tersedia di folder induk tidak bertanggal di bucket— gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat di folder induk bertanggal masing-masing dalam bucket— gs://dataflow-templates-REGION_NAME/
OUTPUT_TABLE_SPEC
: nama tabel BigQuery target Anda.MONGO_DB_URI
: URI MongoDB Anda.DATABASE
: database MongoDB Anda.COLLECTION
: koleksi MongoDB Anda.USER_OPTION
: FLATTEN atau NONE.
Langkah selanjutnya
- Pelajari Template Dataflow.
- Lihat daftar template yang disediakan Google.