Semua contoh kode Dataflow
Halaman ini berisi contoh kode untuk Dataflow. Untuk menelusuri dan memfilter contoh kode untuk produk Google Cloud lainnya, lihat browser contohGoogle Cloud .
Membuat tugas dari template
Menunjukkan cara membuat tugas dari template.
- Dataflow
- Google Cloud
- Ruby
- Python
- Java
- C#
- Go
Streaming ke BigQuery dengan pemrosesan tepat satu kali
Menggunakan Storage Write API untuk melakukan streaming dari Dataflow ke BigQuery dengan pemrosesan tepat sekali
- Dataflow
- Google Cloud
- Java
Membaca dengan proyeksi dan pemfilteran
Gunakan konektor BigQueryIO dalam mode DIRECT_READ dengan proyeksi dan pemfilteran kolom.
- Google Cloud
- Dataflow
- Java
Meluncurkan Template Flex
Menunjukkan cara meluncurkan Template Flex.
- Dataflow
- Google Cloud
- Java
- Python
- Go
- Ruby
- C#
Membuat daftar pesan tugas
Menunjukkan cara meminta daftar pesan tugas.
- Dataflow
- Google Cloud
- C#
- Python
- Java
- Go
Mencantumkan tugas project di semua region (Ruby)
Menunjukkan cara mencantumkan tugas project di semua region.
- Google Cloud
- Dataflow
- Ruby
Mendapatkan detail eksekusi tahap
Menunjukkan cara mendapatkan informasi tentang pekerja dan item pekerjaan dalam suatu tahap.
- Google Cloud
- Dataflow
- Python
- Java
- Go
- C#
Menggunakan kunci enkripsi yang dikelola pelanggan
Contoh ini menunjukkan cara menggunakan kunci enkripsi yang dikelola oleh pelanggan, dengan pipeline Dataflow.
- Google Cloud
- Dataflow
- Python
- Java
Mencantumkan tugas project di semua region (asinkron)
Menunjukkan cara mencantumkan tugas project di semua region secara asinkron.
- Google Cloud
- Dataflow
- C#
- JavaScript
- Node.js
- Java
- Python
Mendapatkan metrik tugas (asinkron)
Menunjukkan cara mendapatkan kumpulan metrik yang menjelaskan progres tugas secara mendetail.
- Google Cloud
- Dataflow
- Python
- Java
- C#
- Node.js
- JavaScript
Membaca dari Cloud Storage
Membuat pipeline Dataflow untuk membaca dari bucket Cloud Storage
- Dataflow
- Google Cloud
- Java
Membaca dari beberapa topik Kafka ke Dataflow
Menunjukkan cara membuat pipeline Dataflow yang membaca dari beberapa topik Kafka dan menjalankan logika bisnis yang berbeda berdasarkan nama topik.
- Google Cloud
- Dataflow
- Java
- Python
Mendapatkan status tugas
Menunjukkan cara mendapatkan status tugas.
- Dataflow
- Google Cloud
- C#
- Go
- Java
- Python
Membuat tugas dari template (asinkron)
Menunjukkan cara membuat tugas dari template.
- Google Cloud
- Dataflow
- Node.js
- Python
- JavaScript
- Java
- C#
Membaca dari Apache Iceberg
Menggunakan transformasi I/O terkelola Dataflow untuk membaca dari Apache Iceberg
- Dataflow
- Google Cloud
- Java
Membaca dari Apache Kafka ke Dataflow
Menunjukkan cara membuat pipeline Dataflow yang membaca dari Apache Kafka
- Dataflow
- Google Cloud
- Python
- Java
Mendapatkan detail eksekusi tugas (asinkron)
Menunjukkan cara meminta informasi mendetail secara asinkron tentang status eksekusi tugas.
- Dataflow
- Google Cloud
- Node.js
- C#
- Python
- Java
- JavaScript
Menghapus snapshot (asinkron)
Menunjukkan cara menghapus snapshot.
- Google Cloud
- Dataflow
- Python
- Java
- C#
- Node.js
- JavaScript
Meluncurkan template (asinkron)
Menunjukkan cara meluncurkan template.
- Google Cloud
- Dataflow
- Java
- Python
- Node.js
- JavaScript
- C#
Meluncurkan Template Flex secara asinkron
Menunjukkan cara meluncurkan Template Flex secara asinkron.
- Dataflow
- Google Cloud
- Node.js
- C#
- Python
- JavaScript
- Java
Mendapatkan template
Menunjukkan cara mendapatkan metadata dan metadata runtime tentang template.
- Dataflow
- Google Cloud
- Go
- Java
- C#
- Python
- Ruby
Memperbarui status tugas yang ada
Menunjukkan cara memperbarui status tugas yang ada.
- Dataflow
- Google Cloud
- Go
- Python
- C#
- Java
Mendapatkan detail eksekusi tugas (Ruby)
Minta informasi mendetail tentang status eksekusi tugas.
- Dataflow
- Google Cloud
- Ruby
Membaca ke objek TableRow
Gunakan konektor BigQueryIO untuk membaca objek TableRow.
- Google Cloud
- Dataflow
- Java
Mendapatkan snapshot (asinkron)
Menunjukkan cara mendapatkan snapshot.
- Google Cloud
- Dataflow
- Python
- JavaScript
- C#
- Java
- Node.js
Menjalankan template
Contoh ini menunjukkan eksekusi dasar template Dataflow berdasarkan nama tugas dan jalur template.
- Dataflow
- Google Cloud
- Python
Memperbarui status tugas yang ada (asinkron)
Menunjukkan cara memperbarui status tugas yang ada secara asinkron.
- Dataflow
- Google Cloud
- JavaScript
- Python
- C#
- Java
- Node.js
Membaca format Avro
Gunakan konektor BigQueryIO untuk membaca dalam format Avro.
- Google Cloud
- Dataflow
- Java
Mendapatkan detail eksekusi tahap (asinkron)
Menunjukkan cara mendapatkan informasi tentang pekerja dan item pekerjaan dalam suatu tahap.
- Dataflow
- Google Cloud
- C#
- JavaScript
- Node.js
- Java
- Python
Mengambil snapshot status tugas streaming
Menunjukkan cara mengambil snapshot status tugas streaming.
- Google Cloud
- Dataflow
- Java
- Go
- Python
- C#
Memeriksa apakah tugas aktif ada untuk project (Ruby)
Menunjukkan cara memeriksa apakah ada tugas aktif untuk suatu project.
- Dataflow
- Google Cloud
- Ruby
Membaca dari kueri
Gunakan konektor BigQueryIO untuk membaca dari hasil kueri.
- Google Cloud
- Dataflow
- Java
Mendapatkan metrik tugas (Ruby)
Menunjukkan cara mendapatkan kumpulan metrik yang menjelaskan progres tugas.
- Google Cloud
- Dataflow
- Ruby
Mencantumkan snapshot (asinkron)
Menunjukkan cara mencantumkan snapshot.
- Google Cloud
- Dataflow
- C#
- Java
- Node.js
- Python
- JavaScript
Memeriksa apakah tugas aktif ada untuk suatu project
Menunjukkan cara memeriksa apakah ada tugas aktif untuk suatu project.
- Dataflow
- Google Cloud
- Java
- Go
- C#
- Python
Mengambil snapshot status tugas streaming (asinkron)
Menunjukkan cara mengambil snapshot status tugas streaming secara asinkron.
- Google Cloud
- Dataflow
- Python
- C#
- JavaScript
- Java
- Node.js
Output teks ke Cloud Storage
Gunakan konektor TextIO untuk menulis file teks ke bucket Cloud Storage.
- Google Cloud
- Dataflow
- Python
- Java
Membuat tugas secara asinkron
Menunjukkan cara membuat tugas secara asinkron.
- Dataflow
- Google Cloud
- Node.js
- C#
- JavaScript
- Python
- Java
Mencantumkan pesan tugas (asinkron)
Menunjukkan cara meminta daftar pesan tugas secara asinkron.
- Google Cloud
- Dataflow
- Java
- C#
- JavaScript
- Python
- Node.js
Mendapatkan metrik tugas
Menunjukkan cara mendapatkan kumpulan metrik yang menjelaskan progres tugas.
- Dataflow
- Google Cloud
- Python
- Go
- C#
- Java
Mengambil snapshot status tugas streaming (Ruby)
Menunjukkan cara mengambil snapshot status tugas streaming.
- Dataflow
- Google Cloud
- Ruby
Mendapatkan detail eksekusi tahap (Ruby)
Menunjukkan cara mendapatkan informasi tentang pekerja dan item pekerjaan dalam suatu tahap.
- Dataflow
- Google Cloud
- Ruby
Mendapatkan status tugas secara asinkron
Menunjukkan cara mendapatkan status tugas yang ditentukan secara asinkron.
- Dataflow
- Google Cloud
- Node.js
- C#
- Java
- Python
- JavaScript
Memeriksa apakah tugas aktif ada untuk project (asinkron)
Menunjukkan cara memeriksa secara asinkron apakah ada tugas aktif untuk suatu project.
- Google Cloud
- Dataflow
- JavaScript
- Java
- Node.js
- C#
- Python
Menulis pesan dengan atribut kustom ke Pub/Sub
Menggunakan Dataflow untuk menulis pesan dengan atribut kustom ke Pub/Sub
- Google Cloud
- Dataflow
- Java
- Python
Mendapatkan detail eksekusi tugas
Menunjukkan cara meminta informasi mendetail tentang status eksekusi tugas.
- Dataflow
- Google Cloud
- Java
- Go
- C#
- Python
Membuat daftar tugas (asinkron)
Menunjukkan cara mencantumkan tugas secara asinkron.
- Dataflow
- Google Cloud
- Java
- Node.js
- Python
- C#
- JavaScript
Mendapatkan template (asinkron)
Menunjukkan cara mendapatkan metadata dan metadata runtime tentang template.
- Google Cloud
- Dataflow
- Python
- Node.js
- JavaScript
- Java
- C#
Mencantumkan tugas project di semua region
Menunjukkan cara mencantumkan tugas project di semua region.
- Google Cloud
- Dataflow
- Python
- Go
- C#
- Java
Menulis ke BigQuery menggunakan skema tabel
Menulis dari Dataflow ke tabel BigQuery baru atau yang sudah ada, dengan memberikan skema tabel
- Google Cloud
- Dataflow
- Java
Menulis ke Apache Iceberg
Menggunakan transformasi I/O terkelola Dataflow untuk menulis ke Apache Iceberg
- Dataflow
- Google Cloud
- Java