Menggunakan Apache Beam untuk membangun pipeline

Dataflow dibuat berdasarkan project Apache Beam open source. Anda dapat menggunakan Apache Beam SDK guna membangun pipeline untuk Dataflow. Dokumen ini mencantumkan beberapa referensi untuk memulai pemrograman Apache Beam.

  • Instal Apache Beam SDK: Menunjukkan cara menginstal Apache Beam SDK sehingga Anda dapat menjalankan pipeline di layanan Dataflow.

  • Panduan pemrograman Apache Beam: Memberikan panduan untuk menggunakan class Apache Beam SDK untuk membangun dan menguji pipeline Anda.

  • Tur Apache Beam: Panduan pembelajaran yang dapat Anda gunakan untuk memahami Apache Beam. Unit pembelajaran disertai dengan contoh kode yang dapat Anda jalankan dan ubah.

  • Playground Apache Beam: Lingkungan interaktif untuk mencoba transformasi dan contoh Apache Beam tanpa harus menginstal Apache Beam di lingkungan Anda.

Di situs Apache Beam, Anda juga dapat menemukan informasi tentang cara mendesain, membuat, dan menguji pipeline:

  • Desain pipeline Anda: Menunjukkan cara menentukan struktur pipeline, cara memilih transformasi mana yang akan diterapkan pada data Anda, serta cara menentukan metode input dan output Anda.

  • Membuat pipeline: Menjelaskan mekanisme penggunaan class di Apache Beam SDK dan langkah-langkah yang diperlukan untuk membangun pipeline.

  • Menguji pipeline Anda: Memberikan praktik terbaik untuk menguji pipeline Anda.