Apache Beam を使用してパイプラインを構築する

Dataflow は、オープンソースの Apache Beam プロジェクトで構築されています。Apache Beam SDK を使用して Dataflow のパイプラインを構築できます。このドキュメントでは、Apache Beam プログラミングを始める際に役立つリソースを紹介します。

  • Apache Beam SDK をインストールする: Apache Beam SDK をインストールして、Dataflow サービスでパイプラインを実行する方法を説明します。

  • Apache Beam プログラミング ガイド: Apache Beam SDK クラスを使用してパイプラインを構築およびテストするためのガイダンスを提供します。

  • Apache Beam のツアー: Apache Beam の理解に役立つ学習ガイドです。学習ユニットには、実行および変更可能なコードサンプルが付いています。

  • Apache Beam プレイグラウンド: 環境に Apache Beam をインストールせずに Apache Beam の変換とサンプルを試すことができるインタラクティブな環境。

Apache Beam のウェブサイトには、パイプラインを設計、作成、テストする方法に関する情報も掲載されています。

  • パイプラインを設計する: パイプラインの構造の決定方法、データに適用する変換の選択方法、入力および出力方法の決定方法についてご紹介します。

  • パイプラインを作成する: Apache Beam SDK のクラスと必要な手順を使用してパイプラインを作成するメカニズムについて説明します。

  • パイプラインをテストする: パイプラインをテストするためのベスト プラクティスについて説明します。

Apache Beam GitHub の次の例を使用して、ストリーミング パイプランの構築を開始できます。