SDK バージョンのサポート状況

このページには、Apache Beam と Cloud Dataflow SDK の各リリースのサポート状況の一覧を示します。

Apache Beam 2.x SDK

Apache Beam は、オープンソースのコミュニティ主導プロジェクトです。Google はコミュニティの一員ではありますが、プロジェクトを所有したり、リリース プロセスを管理したりしていません。Google は Cloud Dataflow のお客様のために Apache Beam コードベースにバグを公開したり、パッチを提出したりする可能性はありますが、オンデマンドで Apache Beam のホットフィックスや公式リリースを作成することはできません。

とはいえ、Apache Beam コミュニティでは、特定のリリースが長期サポート(LTS)リリースとして指定されています。LTS リリースには、指定された期間中は、主要な問題を修正するためのパッチが提供されます。リリース ポリシーの詳細については、Apache Beam のポリシーのページをご覧ください。

注: Development SDK バージョン(Java では -SNAPSHOT、Python では .dev というマーク付き)はサポートされていません。

次の表に、Apache Beam 2.x SDK のサポート状況を示します。

Java

Cloud Dataflow は、下記の SDK リリースの特定の Apache Beam SDK コンポーネントをサポートしています。これらのコンポーネントは、Cloud Dataflow で徹底的にテストされています。試験運用版の機能はサポートされていません。

変更情報については、Apache Beam のリリースノートをご覧ください。

SDK のバージョン ステータス サポート対象のコンポーネント 詳細
2.12.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2020 年 4 月 25 日に非推奨となります。

2.11.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2020 年 3 月 1 日に非推奨となります。

2.10.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2020 年 2 月 11 日に非推奨となります。

報告されている問題:
  • SDK 2.10.0 は gcsio クライアント ライブラリ バージョン 1.9.13 に依存していますが、これには既知の問題があります。

    上記の問題を回避するには、SDK 2.11.0 にアップグレードするか、gcsio クライアント ライブラリのバージョンを 1.9.16 以降にオーバーライドしてください。

2.9.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2019 年 12 月 13 日に非推奨となります。

報告されている問題:
  • Streaming Engine(ベータ版)試験運用版を有効にしているユーザーは、既知の問題のため、SDK 2.9.0 にアップグレードしないでください。SDK 2.9.0 を使用する場合は、enable_conscrypt_security_provider 実験フラグも設定して、既知の安定性の問題がある Conscrypt を有効にする必要があります。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.8.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2019 年 10 月 25 日に非推奨となります。

報告されている問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.7.0 LTS サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Apache Beam SDK 2.7.0 は長期サポート(LTS)リリースであり、2019 年 5 月 16 日までパッチが提供されます

このバージョンは 2019 年 10 月 3 日に非推奨となります。

報告されている問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.6.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2019 年 8 月 8 日に非推奨となります。

報告されている問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.5.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2019 年 6 月 6 日に非推奨となります。

報告されている問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.4.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2019 年 3 月 20 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.3.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2019 年 1 月 30 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.2.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018 年 12 月 2 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.1.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018 年 8 月 23 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.0.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018 年 5 月 17 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。

Python

SDK のバージョン ステータス 詳細
2.12.0 サポート対象 このバージョンは 2020 年 4 月 25 日に非推奨となります。
2.11.0 サポート対象 このバージョンは 2020 年 3 月 1 日に非推奨となります。
2.10.0 サポート対象 このバージョンは 2020 年 2 月 11 日に非推奨となります。
2.9.0 サポート対象 このバージョンは 2019 年 12 月 13 日に非推奨となります。
2.8.0 サポート対象 このバージョンは 2019 年 10 月 25 日に非推奨となります。
2.7.0 LTS サポート対象

2.7.0 は長期サポート(LTS)リリースであり、2019 年 5 月 16 日までパッチが提供されます

このバージョンは 2019 年 10 月 3 日に非推奨となります。

2.6.0 サポート対象 このバージョンは 2019 年 8 月 8 日に非推奨となります。
2.5.0 サポート対象 このバージョンは 2019 年 6 月 6 日に非推奨となります。
2.4.0 非推奨 2019 年 3 月 20 日にサポートを終了しました。このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.3.0 非推奨 2019 年 1 月 30 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.2.0 非推奨 2018 年 12 月 2 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.1.1
2.1.0
非推奨 2018 年 8 月 23 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.0.0 非推奨 2018 年 5 月 17 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

Cloud Dataflow 2.x SDK

注: Development SDK バージョン(Java では -SNAPSHOT、Python では .dev というマーク付き)はサポートされていません。

次の表に、Cloud Dataflow 2.x SDK のサポート状況を示します。

Java

変更情報については、Cloud Dataflow SDK 2.x for Java リリースノートをご覧ください。

SDK のバージョン ステータス 詳細
2.5.0 サポート対象

このバージョンは 2019 年 6 月 6 日に非推奨となります。

報告されている問題:
  • 特定のケースでは、Cloud Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.4.0 非推奨

2019 年 3 月 20 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Cloud Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.3.0 非推奨

2019 年 1 月 30 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Cloud Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.2.0 非推奨

2018 年 12 月 2 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Cloud Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.1.0 非推奨

2018 年 8 月 23 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Cloud Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.0.0 非推奨

2018 年 5 月 17 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。

報告されている問題:
  • 特定のケースでは、Cloud Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
廃止

2018 年 2 月 28 日に廃止されました。

報告されている問題:
  • 特定のケースでは、Cloud Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。

Python

変更情報については、Cloud Dataflow SDK 2.x for Python リリースノートをご覧ください。

SDK のバージョン ステータス 詳細
2.5.0 サポート対象 このバージョンは 2019 年 6 月 6 日に非推奨となります。
2.4.0 非推奨 2019 年 3 月 20 日にサポートを終了しました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.3.0 非推奨 2019 年 1 月 30 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.2.0 非推奨 2018 年 12 月 2 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
2.1.1 非推奨 2018 年 8 月 23 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
Python six パッケージとの互換性の問題を修正しました。
詳細については、リリースノートをご覧ください。
2.1.0 非推奨 2018 年 8 月 23 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
このリリースには、Python six 1.11.0 パッケージとの互換性の問題があります。
詳細については、リリースノートをご覧ください。
2.0.0 非推奨 2018 年 5 月 17 日に非推奨となりました。
このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い、2019 年の後半に廃止される予定です。
このリリースには、Python six 1.11.0 パッケージとの互換性の問題があります。
詳細については、リリースノートをご覧ください。
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
廃止 2018 年 1 月 29 日に廃止されました。
0.2.7 以前のバージョン 廃止 2017 年 3 月 23 日に廃止されました。

Cloud Dataflow 1.x SDK

次の表に、Cloud Dataflow 1.x SDK for Java のサポート状況を示します。変更情報については、Cloud Dataflow SDK 1.x for Java リリースノートをご覧ください。

SDK のバージョン ステータス 詳細
1.9.1
1.9.0
未対応 2018 年 10 月 16 日にサポート対象外になりました。
1.8.1
1.8.0
未対応 2018 年 4 月 9 日にサポート対象外になりました。
1.7.0
未対応 2018 年 3 月 12 日にサポート対象外になりました。
1.6.1
1.6.0
未対応 2018 年 1 月 22 日にサポート対象外になりました。
1.5.1
1.5.0
1.4.0
1.3.0
未対応 2017 年 10 月 1 日にサポート対象外になりました。
1.2.1
1.2.0
1.1.0
1.0.0
未対応 2017 年 2 月 26 日にサポート対象外になりました。
1.0.0 より前(0.4.*、0.3.* など) 未対応
このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

ご不明な点がありましたら、Google のサポートページをご覧ください。