Mulai menggunakan Dataflow

Layanan Dataflow menjalankan pipeline yang ditentukan oleh Apache Beam SDK. Namun, untuk banyak kasus penggunaan, Anda tidak perlu menulis kode dengan SDK, karena Dataflow menyediakan beberapa opsi tanpa kode dan kode rendah.

  • Template. Dataflow menyediakan template bawaan untuk memindahkan data dari satu produk ke produk lainnya. Misalnya, Anda dapat menggunakan template untuk memindahkan data dari Pub/Sub ke BigQuery.

  • Pembuat tugas. Job builder adalah UI visual untuk membangun pipeline Dataflow di konsolGoogle Cloud . Layanan ini mendukung subset sumber dan sink Apache Beam, serta transformasi seperti gabungan, fungsi Python, dan kueri SQL. Sebaiknya gunakan pembuat tugas untuk kasus penggunaan sederhana seperti pemindahan data.

  • Transformasi siap pakai untuk ML. Untuk pipeline machine learning (ML), Dataflow menyediakan transformasi siap pakai yang memerlukan kode minimal untuk dikonfigurasi. Sebagai titik awal, jalankan notebook ML contoh di Google Colab. Untuk mempelajari lebih lanjut, lihat Ringkasan Dataflow ML.

  • Apache Beam SDK. Untuk mendapatkan kemampuan penuh Apache Beam, gunakan SDK untuk menulis pipeline kustom di Python, Java, atau Go.

Untuk membantu keputusan Anda, tabel berikut mencantumkan beberapa contoh umum.

Saya ingin ... Pendekatan yang direkomendasikan
Memindahkan data dari sumber ke tujuan, tanpa logika kustom.

Pembuat tugas atau template

Sebaiknya mulai dengan pembuat tugas. Jika pembuat tugas tidak mendukung kasus penggunaan Anda, lihat apakah ada template untuk kasus penggunaan tersebut.
Memindahkan data dari sumber ke tujuan, dan menerapkan logika kustom menggunakan fungsi Python atau SQL. Pembuat tugas
Menggunakan model ML di pipeline saya atau menyiapkan data saya untuk pelatihan atau inferensi. Dataflow ML transformasi siap pakai
Tulis pipeline yang memerlukan fitur Apache Beam yang lebih canggih. Apache Beam SDK untuk Java, Python, atau Go

Langkah berikutnya