Dataflow adalah layanan terkelola untuk menjalankan berbagai pola pemrosesan data. Dokumentasi di situs ini menunjukkan cara men-deploy pipeline pemrosesan data batch dan streaming menggunakan Dataflow, termasuk petunjuk penggunaan fitur layanan.

Apache Beam SDK adalah model pemrograman open source yang memungkinkan Anda mengembangkan pipeline batch dan streaming. Anda membuat pipeline dengan program Apache Beam, lalu menjalankannya di layanan Dataflow. Dokumentasi Apache Beam memberikan informasi konseptual yang mendalam dan materi referensi untuk model pemrograman Apache Beam, SDK, dan runner lainnya.

Untuk mempelajari konsep dasar Apache Beam, lihat Tur Beam dan Beam Playground. Repositori Cookbook Dataflow juga menyediakan pipeline yang siap diluncurkan dan mandiri serta kasus penggunaan Dataflow yang paling umum.

Apache, Apache Beam, Beam, logo Beam, dan maskot kunang-kunang Beam adalah merek dagang terdaftar dari Apache Software Foundation di Amerika Serikat dan/atau negara lainnya.

Referensi dokumentasi

Temukan panduan memulai dan panduan, tinjau referensi utama, dan dapatkan bantuan untuk mengatasi masalah umum.
Pelajari pelatihan mandiri dari Google Cloud Skills Boost, kasus penggunaan, arsitektur referensi, dan contoh kode dengan contoh cara menggunakan dan menghubungkan layanan Google Cloud.
Kasus penggunaan
Kasus penggunaan

Menjalankan workload HPC yang sangat paralel

Dengan Dataflow, Anda dapat menjalankan beban kerja yang sangat paralel dalam satu pipeline, sehingga meningkatkan efisiensi dan membuat alur kerja Anda lebih mudah dikelola.

Streaming

Pelajari lebih lanjut  
Kasus penggunaan
Kasus penggunaan

Menjalankan inferensi dengan Dataflow ML

Dataflow ML memungkinkan Anda menggunakan Dataflow untuk men-deploy dan mengelola pipeline machine learning (ML) yang lengkap. Menggunakan model ML untuk melakukan inferensi lokal dan jarak jauh dengan pipeline streaming dan batch. Menggunakan alat pemrosesan data guna menyiapkan data Anda untuk pelatihan model dan memproses hasil model.

ML Streaming

Pelajari lebih lanjut  
Kasus penggunaan
Kasus penggunaan

Membuat pipeline streaming e-commerce

Bangun aplikasi contoh e-commerce end-to-end yang mengalirkan data dari toko web ke BigQuery dan Bigtable. Aplikasi contoh menggambarkan kasus penggunaan umum dan praktik terbaik untuk menerapkan analisis data streaming dan kecerdasan buatan (AI) real-time.

ecommerce ecommerce

Pelajari lebih lanjut  

Video terkait