SDK バージョンのサポート状況

このページには、Apache Beam と Dataflow SDK の各リリースのサポート状況の一覧を示します。

Apache Beam 2.x SDK

Apache Beam は、オープンソースのコミュニティ主導プロジェクトです。Google はコミュニティの一員ではありますが、プロジェクトの所有やリリース プロセスの管理は行っていません。Google は Dataflow のお客様のために Apache Beam コードベースにバグを公開し、パッチを提出する可能性はありますが、オンデマンドで Apache Beam のホットフィックスや公式リリースを作成することはできません。リリース ポリシーの詳細については、Apache Beam のポリシーのページをご覧ください。

注: Development SDK バージョン(Java では -SNAPSHOT、Python では .dev というマーク付き)はサポートされていません。

次の表に、Apache Beam 2.x SDK のサポート状況を示します。

Java

Dataflow は、下記の SDK リリースの特定の Apache Beam SDK コンポーネントをサポートしています。これらのコンポーネントは、Dataflow で徹底的にテストされています。試験運用版の機能はサポートされていません。

変更情報については、Apache Beam のリリースノートをご覧ください。

SDK のバージョン ステータス サポート対象のコンポーネント 詳細
2.20.0 サポート org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2021 年 4 月 15 日に非推奨となります。

2.19.0 サポート org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2021 年 2 月 4 日に非推奨となります。

2.18.0 サポート org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは、2021 年 1 月 23 日に非推奨となります。

2.17.0 サポート org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは、2021 年 1 月 6 日に非推奨となります。

2.16.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2020 年 10 月 7 日に非推奨となります。

2.15.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2020 年 8 月 23 日に非推奨となります。

既知の問題:
  • 既知の問題のため、Dataflow でスキーマ機能(SQL 変換を含む)を使用する場合は、2.15.0 にアップグレードしないでください。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。
2.14.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2020 年 8 月 1 日に非推奨となります。

2.13.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2020 年 6 月 6 日に非推奨となります。

このリリースでは、JDK 9 以降に対する実験的サポートが追加されました。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。

2.12.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2020 年 4 月 25 日に非推奨となります。

既知の問題:
  • Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。
2.11.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 3 月 1 日に非推奨となりました。

既知の問題:
  • Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。
2.10.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 2 月 11 日に非推奨となりました。

既知の問題:
  • SDK 2.10.0 は gcsio クライアント ライブラリ バージョン 1.9.13 に依存していますが、これには既知の問題があります。

    上記の問題を回避するには、SDK 2.11.0 にアップグレードするか、gcsio クライアント ライブラリのバージョンを 1.9.16 以降にオーバーライドしてください。

  • Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。
2.9.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 12 月 13 日に非推奨となりました。

既知の問題:
  • Streaming Engine(ベータ版)試験運用版を有効にしているユーザーは、既知の問題のため、SDK 2.9.0 にアップグレードしないでください。SDK 2.9.0 を使用する場合は、enable_conscrypt_security_provider 実験フラグも設定して、既知の安定性の問題がある Conscrypt を有効にする必要があります。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.8.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 10 月 25 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.7.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 10 月 3 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.6.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 8 月 8 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.5.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 6 月 6 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.4.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2019 年 3 月 20 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.3.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2019 年 1 月 30 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.2.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018 年 12 月 2 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.1.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018 年 8 月 23 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.0.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018 年 5 月 17 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。

Python

SDK のバージョン ステータス サポート対象のコンポーネント 詳細
2.20.0 サポート apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ

このバージョンは 2021 年 4 月 15 日に非推奨となります。

Dataflow は、2020 年 10 月 7 日に Python 2 を使用するパイプラインのサポートを終了する予定です。Google Cloud で使用可能な Python 2 ページをご覧ください。

2.19.0 サポート apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ

このバージョンは 2021 年 2 月 4 日に非推奨となります。

Dataflow は、2020 年 10 月 7 日に Python 2 を使用するパイプラインのサポートを終了する予定です。Google Cloud で使用可能な Python 2 ページをご覧ください。

2.18.0 サポート apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ

このバージョンは、2021 年 1 月 23 日に非推奨となります。

Dataflow は、2020 年 10 月 7 日に Python 2 を使用するパイプラインのサポートを終了する予定です。Google Cloud で使用可能な Python 2 ページをご覧ください。

2.17.0 サポート apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ

このバージョンは、2021 年 1 月 6 日に非推奨となります。

Dataflow は、2020 年 10 月 7 日に Python 2 を使用するパイプラインのサポートを終了する予定です。Google Cloud で使用可能な Python 2 ページをご覧ください。

2.16.0 サポート apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ
このバージョンは 2020 年 10 月 7 日に非推奨となります。
2.15.0 サポート apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ
このバージョンは 2020 年 8 月 23 日に非推奨となります。
2.14.0 サポート apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ

このバージョンは 2020 年 8 月 1 日に非推奨となります。

既知の問題:
  • このリリースに追加された MongoDB ソースに既知の問題があります。この問題により、データ損失の可能性があります。詳細については、BEAM-7866 をご覧ください。
2.13.0 サポート apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ
このバージョンは 2020 年 6 月 6 日に非推奨となります。
2.12.0 サポート apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ
このバージョンは 2020 年 4 月 25 日に非推奨となります。
2.11.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュールの下の Google Cloud I/O コネクタ
2020 年 3 月 1 日に非推奨となりました。
2.10.0 非推奨 2020 年 2 月 11 日に非推奨となりました。
2.9.0 非推奨 2019 年 12 月 13 日に非推奨となりました。
2.8.0 非推奨 2019 年 10 月 25 日に非推奨となりました。
2.7.0 非推奨

2019 年 10 月 3 日に非推奨となりました。

2.6.0 非推奨 2019 年 8 月 8 日に非推奨となりました。
2.5.0 非推奨 2019 年 6 月 6 日に非推奨となりました。
2.4.0 非推奨 2019 年 3 月 20 日に非推奨となりました。 このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.3.0 非推奨 2019 年 1 月 30 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.2.0 非推奨 2018 年 12 月 2 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.1.1
2.1.0
非推奨 2018 年 8 月 23 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.0.0 非推奨 2018 年 5 月 17 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

Dataflow 2.x SDK

注: Development SDK バージョン(Java では -SNAPSHOT、Python では .dev というマーク付き)はサポートされていません。

次の表に、Dataflow 2.x SDK のサポート状況を示します。

Java

変更情報については、Dataflow SDK 2.x for Java リリースノートをご覧ください。

SDK のバージョン ステータス 詳細
2.5.0 非推奨

2019 年 6 月 6 日に非推奨となりました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.4.0 非推奨

2019 年 3 月 20 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.3.0 非推奨

2019 年 1 月 30 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.2.0 非推奨

2018 年 12 月 2 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.1.0 非推奨

2018 年 8 月 23 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.0.0 非推奨

2018 年 5 月 17 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
廃止

2018 年 2 月 28 日に廃止されました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。

Python

変更情報については、Dataflow SDK 2.x for Python リリースノートをご覧ください。

SDK のバージョン ステータス 詳細
2.5.0 非推奨 2019 年 6 月 6 日に非推奨となりました。
2.4.0 非推奨 2019 年 3 月 20 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.3.0 非推奨 2019 年 1 月 30 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.2.0 非推奨 2018 年 12 月 2 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.1.1 非推奨 2018 年 8 月 23 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
Python six パッケージとの互換性の問題を修正しました。
詳細については、リリースノートをご覧ください。
2.1.0 非推奨 2018 年 8 月 23 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
このリリースには、Python six 1.11.0 パッケージとの互換性の問題があります。
詳細については、リリースノートをご覧ください。
2.0.0 非推奨 2018 年 5 月 17 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
このリリースには、Python six 1.11.0 パッケージとの互換性の問題があります。
詳細については、リリースノートをご覧ください。
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
廃止 2018 年 1 月 29 日に廃止されました。
0.2.7 以前のバージョン 廃止 2017 年 3 月 23 日に廃止されました。

Dataflow 1.x SDK

次の表に、Dataflow 1.x SDK for Java のサポート状況を示します。変更情報については、Dataflow SDK 1.x for Java のリリースノートをご覧ください。

SDK のバージョン ステータス 詳細
1.9.1
1.9.0
サポート対象外 2018 年 10 月 16 日にサポート対象外になりました。
1.8.1
1.8.0
サポート対象外 2018 年 4 月 9 日にサポート対象外になりました。
1.7.0
サポート対象外 2018 年 3 月 12 日にサポート対象外になりました。
1.6.1
1.6.0
サポート対象外 2018 年 1 月 22 日にサポート対象外になりました。
1.5.1
1.5.0
1.4.0
1.3.0
サポート対象外 2017 年 10 月 1 日にサポート対象外になりました。
1.2.1
1.2.0
1.1.0
1.0.0
サポート対象外 2017 年 2 月 26 日にサポート対象外になりました。
1.0.0 より前(0.4.* および 0.3.* など) 未対応