Dataflow dibuat berdasarkan project Apache Beam open source. Anda dapat menggunakan Apache Beam SDK untuk mem-build pipeline untuk Dataflow. Dokumen ini mencantumkan beberapa referensi untuk memulai pemrograman Apache Beam.
Menginstal Apache Beam SDK: Menunjukkan cara menginstal Apache Beam SDK sehingga Anda dapat menjalankan pipeline di layanan Dataflow.
Panduan pemrograman Apache Beam: Memberikan panduan untuk menggunakan class Apache Beam SDK guna mem-build dan menguji pipeline Anda.
Tur Apache Beam: Panduan pembelajaran yang dapat Anda gunakan untuk memahami Apache Beam. Unit pembelajaran disertai dengan contoh kode yang dapat Anda jalankan dan ubah.
Apache Beam playground: Lingkungan interaktif untuk mencoba transformasi dan contoh Apache Beam tanpa harus menginstal Apache Beam di lingkungan Anda.
Di situs Apache Beam, Anda juga dapat menemukan informasi tentang cara mendesain, membuat, dan menguji pipeline:
Mendesain pipeline: Menunjukkan cara menentukan struktur pipeline, cara memilih transformasi yang akan diterapkan ke data, dan cara menentukan metode input dan output.
Membuat pipeline: Menjelaskan mekanisme penggunaan class di Apache Beam SDK dan langkah-langkah yang diperlukan untuk membuat pipeline.
Menguji pipeline: Menyajikan praktik terbaik untuk menguji pipeline Anda.
Anda dapat menggunakan contoh berikut dari GitHub Apache Beam untuk mulai mem-build pipeline streaming:
- Ekstraksi kata streaming (Java)
- Streaming jumlah kata (Python), dan
streaming_wordcap(Go).