Kasus penggunaan Dataflow
Dataflow dirancang untuk mendukung pipeline streaming dan batch dalam skala besar. Dataflow dibangun di framework Apache Beam open source.
Halaman ini menautkan ke tutorial dan contoh kasus penggunaan untuk membantu Anda memulai.
Perpindahan data
Memproses data dari Kafka ke BigQuery
Tutorial ini menunjukkan cara menjalankan template Dataflow yang membaca dari Managed Service for Apache Kafka dan menulis data ke tabel BigQuery.
Memproses data dari Pub/Sub ke BigQuery
Tutorial ini menunjukkan cara menjalankan template Dataflow yang membaca pesan berenkode JSON dari Pub/Sub dan menuliskannya ke tabel BigQuery.
ML Dataflow
Menggunakan RunInference dan Embeddings
Notebook ini menunjukkan cara menggunakan model ML di pipeline Apache Beam yang menggunakan transformasi RunInference.
Menggunakan GPU di pipeline Anda
Notebook ini menunjukkan cara menjalankan inferensi machine learning menggunakan vLLM dan GPU. vLLM adalah library untuk inferensi dan penayangan LLM.
Sumber daya lainnya
Pola referensi
Link ke kode contoh dan panduan referensi teknis untuk kasus penggunaan Dataflow umum.
Pipeline streaming e-commerce
Dalam tutorial ini, Anda akan membuat pipeline yang mengubah data e-commerce dari Pub/Sub dan menghasilkan output data ke BigQuery dan Bigtable.
Workload HPC yang sangat paralel
Dengan Dataflow, Anda dapat menjalankan workload yang sangat paralel dalam satu pipeline, sehingga meningkatkan efisiensi dan mempermudah pengelolaan alur kerja.