SDK バージョンのサポート状況

このページには、Apache Beam と Dataflow SDK の各リリースのサポート状況の一覧を示します。

サポートレベルの定義

Apache Beam SDK のサポートレベルは次のとおりです。

  • サポート対象 - Apache Beam SDK バージョンは、リリース日からサポート終了日まで Dataflow でサポートされています。
  • 非推奨 - SDK バージョンのサポート終了が発表されると、Dataflow で引き続き機能しますが、廃止対象となります。非推奨バージョンは、廃止が予定されている場合も予定されていない場合もあります。非推奨の SDK バージョンから送信されたジョブのリクエストでは、警告メッセージが表示されます。使用が中断されないようにするには、非推奨バージョンの SDK を使用している環境を、サポートされているバージョンに更新する必要があります。
  • 廃止 - サポート廃止後は、廃止された SDK バージョンは Dataflow で使用できなくなります。廃止された SDK バージョンから送信されたジョブのリクエストは、エラーになります。Dataflow で使用するには、廃止されたバージョンの SDK を使用する環境を、サポートされているバージョンに更新する必要があります。

上述の定義は、Apache Beam SDK for Go など、これまでサポートされていない SDK や機能には適用されないことにご注意ください。

Apache Beam 2.x SDK

Apache Beam は、オープンソースのコミュニティ主導プロジェクトです。Google はコミュニティの一員ではありますが、プロジェクトの所有やリリース プロセスの管理は行っていません。Google は Dataflow のお客様のために Apache Beam コードベースにバグを公開し、パッチを提出する可能性はありますが、オンデマンドで Apache Beam のホットフィックスや公式リリースを作成することはできません。リリース ポリシーの詳細については、Apache Beam のポリシーのページをご覧ください。

Dataflow は、下記の SDK リリースの特定の Apache Beam SDK コンポーネントをサポートしています。これらのコンポーネントは、Dataflow で徹底的にテストされています。試験運用版の機能はサポートされていません。

変更情報については、Apache Beam のリリースノートをご覧ください。

注: Development SDK バージョン(Java では -SNAPSHOT、Python では .dev というマーク付き)はサポートされていません。

次の表に、Apache Beam 2.x SDK のサポート状況を示します。

Java

SDK のバージョン ステータス サポート対象のコンポーネント 詳細
2.32.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
このバージョンは 2022 年 8 月 25 日に非推奨となります。
2.31.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
このバージョンは 2022 年 7 月 8 日に非推奨となります。
2.30.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
このバージョンは 2022 年 6 月 10 日に非推奨となります。
2.29.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2022 年 4 月 29 日に非推奨となります。

既知の問題: Runner V2 を使用する場合、Dataflow はデフォルトでは、ユーザーの Java バージョンに関係なく Java 8 SDK コンテナを使用します。Java 11 でこの問題を回避するには、パイプライン オプション「--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0」を指定してデフォルトの SDK イメージをオーバーライドします。詳細については、Apache Beam の公開バグトラッカーをご覧ください。

2.28.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2022 年 2 月 22 日に非推奨となります。

2.27.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは、2022 年 1 月 7 日に非推奨となります。

このリリースでは、JDK 11 のサポートが追加されました。

2.26.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2021 年 12 月 11 日に非推奨となります。

2.25.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2021 年 10 月 23 日に非推奨となります。

2.24.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2021 年 9 月 18 日に非推奨となります。

既知の問題: セットして 1 回だけ実行されるタイマーではなく、リセットされるタイマーを使用する場合、2.24.0 にアップグレードしないでください。タイマーが起動しても、実行される前にリセットするとウォーターマークのリークが発生し、パイプライン ジョブが停止する可能性があります。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。
2.23.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2021 年 7 月 29 日に非推奨となります。

2.22.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 6 月 8 日に非推奨となりました。

2.21.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 5 月 27 日に非推奨となりました。

2.20.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 4 月 15 日に非推奨となりました。

2.19.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

このバージョンは 2021 年 2 月 4 日に非推奨となります。

2.18.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 1 月 23 日に非推奨となりました。

2.17.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 1 月 6 日に非推奨となりました。

2.16.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 10 月 7 日に非推奨となりました。

2.15.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 8 月 23 日に非推奨となりました。

既知の問題:
  • 既知の問題のため、Dataflow でスキーマ機能(SQL 変換を含む)を使用する場合は、2.15.0 にアップグレードしないでください。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。
2.14.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 8 月 1 日に非推奨となりました。

2.13.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 6 月 6 日に非推奨となりました。

このリリースでは、JDK 9 以降に対する実験的サポートが追加されました。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。

2.12.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 4 月 25 日に非推奨となりました。

既知の問題:
  • Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。
2.11.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 3 月 1 日に非推奨となりました。

既知の問題:
  • Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。
2.10.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 2 月 11 日に非推奨となりました。

既知の問題:
  • SDK 2.10.0 は gcsio クライアント ライブラリ バージョン 1.9.13 に依存していますが、これには既知の問題があります。

    上記の問題を回避するには、SDK 2.11.0 にアップグレードするか、gcsio クライアント ライブラリのバージョンを 1.9.16 以降にオーバーライドしてください。

  • Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。
2.9.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 12 月 13 日に非推奨となりました。

既知の問題:
  • Streaming Engine(ベータ版)試験運用版を有効にしているユーザーは、既知の問題のため、SDK 2.9.0 にアップグレードしないでください。SDK 2.9.0 を使用する場合は、enable_conscrypt_security_provider 実験フラグも設定して、既知の安定性の問題がある Conscrypt を有効にする必要があります。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.8.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 10 月 25 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.7.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 10 月 3 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.6.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 8 月 8 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.5.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 6 月 6 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが詰まることがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.4.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2019 年 3 月 20 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.3.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2019 年 1 月 30 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.2.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018 年 12 月 2 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.1.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018 年 8 月 23 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.0.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018 年 5 月 17 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。

Python

SDK のバージョン ステータス サポート対象のコンポーネント 詳細
2.32.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-modules coders、dataframe(プレビュー)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは 2022 年 8 月 25 日に非推奨となります。

2.31.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-modules coders、dataframe(プレビュー)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは 2022 年 7 月 8 日に非推奨となります。

2.30.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe(プレビュー版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは 2022 年 6 月 10 日に非推奨となります。

2.29.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe(プレビュー版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは 2022 年 4 月 29 日に非推奨となります。

2.28.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe(プレビュー版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは 2022 年 2 月 22 日に非推奨となります。

2.27.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe(プレビュー版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは、2022 年 1 月 7 日に非推奨となります。

2.26.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe(プレビュー版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは 2021 年 12 月 11 日に非推奨となります。

2.25.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは 2021 年 10 月 23 日に非推奨となります。

2.24.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは 2021 年 9 月 18 日に非推奨となります。また、Python 2 と Python 3.5 をサポートする最新の Apache Beam SDK バージョンでもあります。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2.23.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

このバージョンは 2021 年 7 月 29 日に非推奨となります。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2.22.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2021 年 6 月 8 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2.21.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 5 月 27 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2.20.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 4 月 15 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2.19.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 2 月 4 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2.18.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 1 月 23 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2.17.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 1 月 6 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。

2.16.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
2020 年 10 月 7 日に非推奨となりました。
2.15.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
2020 年 8 月 23 日に非推奨となりました。
2.14.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2020 年 8 月 1 日に非推奨となりました。

既知の問題:
  • このリリースに追加された MongoDB ソースに既知の問題があります。この問題により、データ損失の可能性があります。詳細については、BEAM-7866 をご覧ください。
2.13.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
2020 年 6 月 6 日に非推奨となりました。
2.12.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
2020 年 4 月 25 日に非推奨となりました。
2.11.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
2020 年 3 月 1 日に非推奨となりました。
2.10.0 非推奨 2020 年 2 月 11 日に非推奨となりました。
2.9.0 非推奨 2019 年 12 月 13 日に非推奨となりました。
2.8.0 非推奨 2019 年 10 月 25 日に非推奨となりました。
2.7.0 非推奨

2019 年 10 月 3 日に非推奨となりました。

2.6.0 非推奨 2019 年 8 月 8 日に非推奨となりました。
2.5.0 非推奨 2019 年 6 月 6 日に非推奨となりました。
2.4.0 非推奨 2019 年 3 月 20 日に非推奨となりました。
2.3.0 非推奨 2019 年 1 月 30 日に非推奨となりました。
2.2.0 非推奨 2018 年 12 月 2 日に非推奨となりました。
2.1.1
2.1.0
非推奨 2018 年 8 月 23 日に非推奨となりました。
2.0.0 非推奨 2018 年 5 月 17 日に非推奨となりました。

Dataflow 2.x SDK

注: Development SDK バージョン(Java では -SNAPSHOT、Python では .dev というマーク付き)はサポートされていません。

次の表に、Dataflow 2.x SDK のサポート状況を示します。

Java

変更情報については、Dataflow SDK 2.x for Java リリースノートをご覧ください。

SDK のバージョン ステータス 詳細
2.5.0 非推奨

2019 年 6 月 6 日に非推奨となりました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.4.0 非推奨

2019 年 3 月 20 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.3.0 非推奨

2019 年 1 月 30 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.2.0 非推奨

2018 年 12 月 2 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.1.0 非推奨

2018 年 8 月 23 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.0.0 非推奨

2018 年 5 月 17 日に非推奨となりました。

このバージョンは、JSON-RPC と Global HTTP Batch Endpoints のサポート終了に伴い、2020 年 8 月 12 日までに廃止される予定です。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
廃止

2018 年 2 月 28 日に廃止されました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • (解凍済みの)ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる(そして再作成される)。
    回避策として、content-encoding ヘッダーを設定せずに、適切な拡張子(たとえば、gzip の場合は gz)を付けて Cloud Storage に圧縮ファイルを保存します。既存のファイルの場合は、gsutil ツールを使用して content-encoding ヘッダーとファイル名を更新できます。

Python

変更情報については、Dataflow SDK 2.x for Python リリースノートをご覧ください。

SDK のバージョン ステータス 詳細
2.5.0 非推奨 2019 年 6 月 6 日に非推奨となりました。
2.4.0 非推奨 2019 年 3 月 20 日に非推奨となりました。
2.3.0 非推奨 2019 年 1 月 30 日に非推奨となりました。
2.2.0 非推奨 2018 年 12 月 2 日に非推奨となりました。
2.1.1 非推奨 2018 年 8 月 23 日に非推奨となりました。
Python six パッケージとの互換性の問題を修正しました。
詳細については、リリースノートをご覧ください。
2.1.0 非推奨 2018 年 8 月 23 日に非推奨となりました。
このリリースには、Python six 1.11.0 パッケージとの互換性の問題があります。
詳細については、リリースノートをご覧ください。
2.0.0 非推奨 2018 年 5 月 17 日に非推奨となりました。
このリリースには、Python six 1.11.0 パッケージとの互換性の問題があります。
詳細については、リリースノートをご覧ください。
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
廃止 2018 年 1 月 29 日に廃止されました。
0.2.7 以前のバージョン 廃止 2017 年 3 月 23 日に廃止されました。

Dataflow 1.x SDK

次の表に、Dataflow 1.x SDK for Java のサポート状況を示します。変更情報については、Dataflow SDK 1.x for Java のリリースノートをご覧ください。

SDK のバージョン ステータス 詳細
1.9.1
1.9.0
サポート対象外 2018 年 10 月 16 日にサポート対象外になりました。
1.8.1
1.8.0
サポート対象外 2018 年 4 月 9 日にサポート対象外になりました。
1.7.0
サポート対象外 2018 年 3 月 12 日にサポート対象外になりました。
1.6.1
1.6.0
サポート対象外 2018 年 1 月 22 日にサポート対象外になりました。
1.5.1
1.5.0
1.4.0
1.3.0
サポート対象外 2017 年 10 月 1 日にサポート対象外になりました。
1.2.1
1.2.0
1.1.0
1.0.0
サポート対象外 2017 年 2 月 26 日にサポート対象外になりました。
1.0.0 より前(0.4.* および 0.3.* など) 未対応