Dokumentasi Dataflow

Halaman ini diterjemahkan oleh Cloud Translation API.

Dataflow adalah layanan terkelola untuk menjalankan berbagai macam pola pemrosesan data. Dokumentasi di situs ini menunjukkan cara men-deploy pipeline pemrosesan data batch dan streaming menggunakan Dataflow, termasuk petunjuk untuk menggunakan fitur layanan.

Apache Beam SDK adalah model pemrograman open source yang memungkinkan Anda mengembangkan pipeline batch dan streaming. Anda membuat pipeline dengan program Apache Beam, lalu menjalankannya di layanan Dataflow. Dokumentasi Apache Beam menyediakan informasi konseptual mendalam dan materi referensi untuk model pemrograman Apache Beam, SDK, dan runner lainnya.

Untuk mempelajari konsep dasar Apache Beam, lihat Tur Beam dan Beam Playground. Repositori Dataflow Cookbook juga menyediakan pipeline siap luncurkan dan mandiri serta kasus penggunaan Dataflow yang paling umum.

Apache, Apache Beam, Beam, logo Beam, dan maskot kunang-kunang Beam adalah merek dagang terdaftar dari Apache Software Foundation di Amerika Serikat dan/atau negara lain.

Mulai secara gratis

Mulai project baru Anda dengan kredit gratis senilai $300

Buat dan uji bukti konsep dengan kredit uji coba gratis dan penggunaan gratis bulanan untuk lebih dari 20 produk.

Melihat penawaran produk gratis

Teruslah menjelajah dengan lebih dari 20 produk yang selalu gratis

Akses 20+ produk gratis untuk kasus penggunaan umum, termasuk API AI, VM, data warehouse, dan lainnya.

Referensi dokumentasi

Temukan panduan dan panduan memulai, tinjau referensi utama, dan dapatkan bantuan terkait masalah umum.

Panduan

Referensi

Resource

Pelajari pelatihan mandiri dari Google Cloud Skills Boost, kasus penggunaan, arsitektur referensi, dan contoh kode dengan contoh cara menggunakan dan menghubungkan layanan Google Cloud.

Menjalankan workload HPC yang sangat paralel

Dengan Dataflow, Anda dapat menjalankan beban kerja yang sangat paralel dalam satu pipeline, sehingga meningkatkan efisiensi dan mempermudah pengelolaan alur kerja.

Streaming

Menjalankan inferensi dengan Dataflow ML

Dataflow ML memungkinkan Anda menggunakan Dataflow untuk men-deploy dan mengelola pipeline machine learning (ML) yang lengkap. Menggunakan model ML untuk melakukan inferensi lokal dan jarak jauh dengan pipeline streaming dan batch. Menggunakan alat pemrosesan data guna menyiapkan data Anda untuk pelatihan model dan memproses hasil model.

ML Streaming

Membuat pipeline streaming e-commerce

Buat aplikasi contoh e-commerce menyeluruh yang melakukan streaming data dari webstore ke BigQuery dan Bigtable. Aplikasi contoh ini menggambarkan kasus penggunaan umum dan praktik terbaik untuk menerapkan analisis data streaming dan kecerdasan buatan (AI) real-time.

e-commerce Streaming