Template MongoDB ke BigQuery

Template ini membuat pipeline batch yang membaca dokumen dari MongoDB dan menulisnya ke BigQuery.

Jika ingin mengambil data aliran data perubahan MongoDB, Anda dapat menggunakan template MongoDB ke BigQuery (CDC).

Persyaratan pipeline

  • Set data BigQuery target harus ada.
  • Instance MongoDB sumber harus dapat diakses dari mesin pekerja Dataflow.

Format output

Format data output bergantung pada nilai parameter userOption. Jika userOption adalah NONE, outputnya akan memiliki skema berikut. Kolom source_data berisi dokumen dalam format JSON.

  [
    {"name":"id","type":"STRING"},
    {"name":"source_data","type":"STRING"},
    {"name":"timestamp","type":"TIMESTAMP"}
  ]
  

Jika userOption adalah FLATTEN, pipeline akan meratakan dokumen dan menulis kolom tingkat atas sebagai kolom tabel. Misalnya, dokumen dalam koleksi MongoDB berisi kolom berikut:

  • "_id" (string)
  • "title" (string)
  • "genre" (string)

Dengan menggunakan FLATTEN, output-nya memiliki skema berikut. Kolom timestamp ditambahkan oleh template.

  [
    {"name":"_id","type":"STRING"},
    {"name":"title","type":"STRING"},
    {"name":"genre","type":"STRING"},
    {"name":"timestamp","type":"TIMESTAMP"}
  ]
  

Parameter template

Parameter Deskripsi
mongoDbUri URI koneksi MongoDB dalam format mongodb+srv://:@.
database Database di MongoDB yang akan digunakan untuk membaca koleksi. Misalnya: my-db.
collection Nama koleksi di dalam database MongoDB. Misalnya: my-collection.
outputTableSpec Tabel BigQuery yang menjadi tujuan penulisan. Misalnya, bigquery-project:dataset.output_table.
userOption FLATTEN atau NONE. FLATTEN meratakan dokumen ke level pertama. NONE menyimpan seluruh dokumen sebagai string JSON.
javascriptDocumentTransformGcsPath (Opsional) URI Cloud Storage dari file .js yang menentukan fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan. Misalnya, gs://my-bucket/my-udfs/my_file.js.
javascriptDocumentTransformFunctionName (Opsional) Nama fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan. Misalnya, jika kode fungsi JavaScript Anda adalah myTransform(inJson) { /*...do stuff...*/ }, nama fungsi adalah myTransform. Untuk contoh UDF JavaScript, lihat Contoh UDF.
useStorageWriteApi (Opsional) Jika true, pipeline akan menggunakan BigQuery Storage Write API. Nilai defaultnya adalah false. Untuk informasi selengkapnya, lihat Menggunakan Storage Write API.
useStorageWriteApiAtLeastOnce (Opsional) Saat menggunakan Storage Write API, menentukan semantik penulisan. Untuk menggunakan semantik minimal satu kali, tetapkan parameter ini ke true. Untuk menggunakan semantik tepat satu kali, tetapkan parameter ke false. Parameter ini hanya berlaku jika useStorageWriteApi adalah true. Nilai defaultnya adalah false.

Fungsi yang ditentukan pengguna

Jika ingin, Anda dapat memperluas template ini dengan menulis fungsi yang ditentukan pengguna (UDF) di JavaScript. Template memanggil UDF untuk setiap elemen input. Payload elemen diserialisasi sebagai string JSON.

Untuk menggunakan UDF, upload file JavaScript ke Cloud Storage dan tetapkan parameter template berikut:

ParameterDeskripsi
javascriptDocumentTransformGcsPath Lokasi Cloud Storage file JavaScript.
javascriptDocumentTransformFunctionName Nama fungsi JavaScript.

Untuk mengetahui informasi selengkapnya, lihat Membuat fungsi yang ditentukan pengguna untuk template Dataflow.

Spesifikasi fungsi

UDF memiliki spesifikasi berikut:

  • Input: dokumen MongoDB.
  • Output: objek yang diserialisasi sebagai string JSON. Jika userOption adalah NONE, objek JSON harus menyertakan properti bernama _id yang berisi ID dokumen.
  • Menjalankan template

    Konsol

    1. Buka halaman Create job from template Dataflow.
    2. Buka Buat tugas dari template
    3. Di kolom Job name, masukkan nama pekerjaan yang unik.
    4. Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region default-nya adalah us-central1.

      Untuk daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.

    5. Dari menu drop-down Dataflow template, pilih the MongoDB to BigQuery template.
    6. Di kolom parameter yang disediakan, masukkan parameter value Anda.
    7. Klik Run job.

    gcloud

    Di shell atau terminal Anda, jalankan template:

    gcloud dataflow flex-template run JOB_NAME \
        --project=PROJECT_ID \
        --region=REGION_NAME \
        --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/MongoDB_to_BigQuery \
        --parameters \
    outputTableSpec=OUTPUT_TABLE_SPEC,\
    mongoDbUri=MONGO_DB_URI,\
    database=DATABASE,\
    collection=COLLECTION,\
    userOption=USER_OPTION

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
    • JOB_NAME: nama pekerjaan unik pilihan Anda
    • REGION_NAME: region tempat Anda ingin men-deploy tugas Dataflow, misalnya us-central1
    • VERSION: versi template yang ingin Anda gunakan

      Anda dapat menggunakan nilai berikut:

    • OUTPUT_TABLE_SPEC: nama tabel BigQuery target Anda.
    • MONGO_DB_URI: URI MongoDB Anda.
    • DATABASE: database MongoDB Anda.
    • COLLECTION: koleksi MongoDB Anda.
    • USER_OPTION: FLATTEN atau NONE.

    API

    Untuk menjalankan template menggunakan REST API, kirim permintaan HTTP POST. Untuk informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch.

    POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
    {
       "launch_parameter": {
          "jobName": "JOB_NAME",
          "parameters": {
              "inputTableSpec": "INPUT_TABLE_SPEC",
              "mongoDbUri": "MONGO_DB_URI",
              "database": "DATABASE",
              "collection": "COLLECTION",
              "userOption": "USER_OPTION"
          },
          "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/MongoDB_to_BigQuery",
       }
    }

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
    • JOB_NAME: nama pekerjaan unik pilihan Anda
    • LOCATION: region tempat Anda ingin men-deploy tugas Dataflow, misalnya us-central1
    • VERSION: versi template yang ingin Anda gunakan

      Anda dapat menggunakan nilai berikut:

    • OUTPUT_TABLE_SPEC: nama tabel BigQuery target Anda.
    • MONGO_DB_URI: URI MongoDB Anda.
    • DATABASE: database MongoDB Anda.
    • COLLECTION: koleksi MongoDB Anda.
    • USER_OPTION: FLATTEN atau NONE.

    Langkah selanjutnya