コンセプト

• Apache Beam プログラミング モデル

  バッチとストリーミングのデータ処理に対応する Apache Beam の統合プログラミング モデルについて説明します。パイプライン、PCollection、変換、パイプライン I/O などプログラミング モデルの基礎について学習します。

• ストリーミング パイプライン

  Dataflow がストリーミング データを処理する方法について説明します。

• Dataflow テンプレート

  Dataflow テンプレートを使用して Google Cloud でパイプラインをステージングし、Google Cloud Console、Google Cloud CLI、または REST API 呼び出しを使用して実行する方法の概要について説明します。

• セキュリティと権限

  Dataflow でのデータおよびパイプラインのマネージド クラウド リソースに対するセキュリティと権限について説明します。

• IAM によるアクセス制御

  Dataflow がプロジェクトのユーザーの Dataflow 固有リソースへのアクセスをどのように制御するかを説明します。

• SDK とワーカーの依存関係

  Apache Beam SDK と Cloud Dataflow SDK の依存関係、ワーカー パッケージの情報の概要を説明します。

• リージョン エンドポイント

  Dataflow のリージョン エンドポイントの概要について説明します。このエンドポイントを使用して、Dataflow ジョブをデプロイするリージョンを指定します。

• Pub/Sub を使用したストリーミング

  Dataflow と Pub/Sub の統合の概要について説明します。

• GPU のサポート

  GPU と Dataflow の連携の概要について説明します。

• 実行の詳細

  ウェブベースのモニタリング ユーザー インターフェースの [実行の詳細] タブの概要について説明します。

• 監査ロギング

  Cloud Audit Logs の一部として Dataflow によって作成される監査ログの概要について説明します。