SDK バージョンのサポート状況

このページでは、Apache Beam SDK リリースと Dataflow SDK リリースでの Dataflow のサポート状況について説明します。

Apache Beam SDK のサポートレベルの定義

Dataflow での Apache Beam SDK のサポートレベルは次のとおりです。

  • サポート対象: Apache Beam SDK バージョンは、リリース日からサポート終了日まで Dataflow でサポートされています。
  • 非推奨: SDK バージョンが非推奨になっても Dataflow で引き続き機能しますが、今後廃止される可能性があります。SDK バージョンが廃止される場合は、環境をアップグレードできるように、お客様に事前にお知らせします。非推奨の SDK バージョンから送信されたジョブのリクエストには警告メッセージが表示されます。非推奨の SDK バージョンは Dataflow で引き続き機能しますが、非推奨バージョンの SDK を使用する環境をサポート対象バージョンに更新することをおすすめします。
  • 廃止: 廃止された SDK バージョンは Dataflow で機能しません。廃止された SDK バージョンから送信されたジョブのリクエストはエラーになります。この SDK を Dataflow で使用するには、環境の SDK を廃止されていないバージョンに更新する必要があります。サポート対象バージョンの SDK に更新することをおすすめします。SDK のバージョンが廃止されることは非常にまれです。SDK バージョンが廃止される場合は、環境をアップグレードできるように、お客様に事前にお知らせします。

上記の定義は、これまでサポートされていない SDK や機能には適用されないことにご注意ください。

Apache Beam 2.x SDK

Apache Beam は、オープンソースのコミュニティ主導プロジェクトです。Google と Google Cloud は Apache Beam コミュニティの一部ですが、プロジェクトを所有したり、リリース プロセスを管理することはありません。Google は Dataflow のお客様のために Apache Beam コードベースにバグを公開し、パッチを提出する可能性はありますが、オンデマンドで Apache Beam のホットフィックスや公式リリースを作成することはできません。リリース ポリシーの詳細については、Apache Beam のポリシーのページをご覧ください。

Dataflow は、このページに記載されている SDK リリースの特定の Apache Beam SDK コンポーネントをサポートしています。これらのコンポーネントは、Dataflow で徹底的にテストされています。試験運用版の機能はサポートされていません。

変更情報については、Apache Beam のリリースノートをご覧ください。

次の表に、Apache Beam Python SDK、Apache Beam Java SDK、Apache Beam Go SDK などの Apache Beam 2.x SDK のサポート状況を示します。

Java

SDK バージョン ステータス サポート対象のコンポーネント 詳細
2.60.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
モジュール org.apache.beam:beam-runners-google-cloud-dataflow-java 下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
 このバージョンは 2025 年 10 月 17 日に非推奨となります。
2.59.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
モジュール org.apache.beam:beam-runners-google-cloud-dataflow-java 下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
 このバージョンは 2025 年 9 月 11 日に非推奨となります。
2.58.1 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
モジュール org.apache.beam:beam-runners-google-cloud-dataflow-java 下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
 このバージョンは 2025 年 8 月 16 日に非推奨となります。
2.58.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
モジュール org.apache.beam:beam-runners-google-cloud-dataflow-java 下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
 このバージョンは 2025 年 8 月 6 日に非推奨となります。
2.57.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
モジュール org.apache.beam:beam-runners-google-cloud-dataflow-java 下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
 このバージョンは 2025 年 6 月 26 日に非推奨となります。
2.56.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
モジュール org.apache.beam:beam-runners-google-cloud-dataflow-java 下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
 このバージョンは 2025 年 5 月 1 日に非推奨となります。
2.55.1 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 このバージョンは 2025 年 4 月 8 日に非推奨となります。
2.55.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql

このバージョンは 2025 年 3 月 25 日に非推奨となります。

既知の問題: クロス言語パイプラインの WriteToJson 変換がエラーで失敗する。この問題を解決するには、Apache Beam 2.55.1 にアップグレードしてください。詳細については、問題 #30776: Beam YAML の WriteToJson が失敗するをご覧ください。
2.54.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 このバージョンは 2025 年 2 月 14 日に非推奨となります。
2.53.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 このバージョンは、2025 年 1 月 4 日に非推奨となります。
2.52.0 サポート対象 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 このバージョンは 2024 年 11 月 17 日に非推奨となります。
2.51.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2024 年 10 月 12 日に非推奨となりました。
2.50.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2024 年 8 月 30 日に非推奨となりました。
2.49.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2024 年 7 月 17 日に非推奨となりました。
2.48.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2024 年 5 月 31 日に非推奨となりました。
2.47.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2024 年 5 月 10 日に非推奨となりました。
2.46.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2024 年 3 月 10 日に非推奨となりました。
2.45.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2024 年 2 月 15 日に非推奨となりました。
2.44.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2024 年 1 月 13 日に非推奨となりました。
2.43.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2023 年 11 月 17 日に非推奨となりました。
2.42.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2023 年 10 月 17 日に非推奨となりました。
2.41.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2023 年 8 月 23 日に非推奨となりました。
2.40.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2023 年 6 月 27 日に非推奨となりました。
2.39.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2023 年 5 月 25 日に非推奨となりました。
2.38.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2023 年 4 月 20 日に非推奨となりました。
2.37.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2023 年 3 月 4 日に非推奨となりました。
2.36.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2023 年 2 月 7 日に非推奨となりました。
2.35.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 2022 年 12 月 29 日に非推奨となりました。
2.34.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュールの下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
 2022 年 11 月 11 日に非推奨となりました。
2.33.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 2022 年 10 月 7 日に非推奨となりました。
2.32.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 2022 年 8 月 25 日に非推奨となりました。
2.31.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 2022 年 7 月 8 日に非推奨となりました。
2.30.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 2022 年 6 月 10 日に非推奨となりました。
2.29.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2022 年 4 月 29 日に非推奨となりました。

既知の問題: Runner V2 を使用する場合、Dataflow はデフォルトでは、ユーザーの Java バージョンに関係なく Java 8 SDK コンテナを使用します。Java 11 でこの問題を回避するには、パイプライン オプション「--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0」を指定してデフォルトの SDK イメージをオーバーライドします。詳細については、Apache Beam の公開バグトラッカーをご覧ください。
2.28.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2022 年 2 月 22 日に非推奨となりました。
2.27.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2022 年 1 月 7 日に非推奨となりました。

このリリースでは、JDK 11 のサポートが追加されました。
2.26.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 12 月 11 日に非推奨となりました。
2.25.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 10 月 23 日に非推奨となりました。
2.24.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 9 月 18 日に非推奨となりました。

既知の問題: セットして 1 回だけ実行されるタイマーではなく、リセットされるタイマーを使用する場合、2.24.0 にアップグレードしないでください。タイマーが起動しても、実行される前にリセットするとウォーターマークのリークが発生し、パイプライン ジョブが停止する可能性があります。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。
2.23.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 7 月 29 日に非推奨となりました。
2.22.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java モジュール下の Google Cloud I/O コネクタ: bigquery、bigtable、datastore、healthcare、pubsub、panner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 6 月 8 日に非推奨となりました。
2.21.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 5 月 27 日に非推奨となりました。
2.20.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 4 月 15 日に非推奨となりました。
2.19.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 2 月 4 日に非推奨となりました。
2.18.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 1 月 23 日に非推奨となりました。
2.17.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 1 月 6 日に非推奨となりました。
2.16.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 10 月 7 日に非推奨となりました。
2.15.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 8 月 23 日に非推奨となりました。

既知の問題:
  • 既知の問題のため、Dataflow でスキーマ機能（SQL 変換を含む）を使用する場合は、2.15.0 にアップグレードしないでください。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。
2.14.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 8 月 1 日に非推奨となりました。
2.13.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 6 月 6 日に非推奨となりました。

このリリースでは、JDK 9 以降のバージョンに対する試験運用版のサポートが追加されました。詳しくは、Apache Beam の公開バグトラッカーをご覧ください。
2.12.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 4 月 25 日に非推奨となりました。

既知の問題:
  • Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。
2.11.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 3 月 1 日に非推奨となりました。

既知の問題:
  • Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。
2.10.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 2 月 11 日に非推奨となりました。

既知の問題:
  • SDK 2.10.0 は gcsio クライアント ライブラリ バージョン 1.9.13 に依存していますが、これには既知の問題があります。

    上記の問題を回避するには、SDK 2.11.0 にアップグレードするか、gcsio クライアント ライブラリのバージョンを 1.9.16 以降にオーバーライドしてください。

  • Dataflow ランナーのロギング構成に誤りがあるため、すべてのログが消失する可能性があります。この問題を回避するには、slf4j-jdk14 をランタイムの依存関係に追加します。
2.9.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 12 月 13 日に非推奨となりました。

既知の問題:
  • Streaming Engine（ベータ版）試験運用版を有効にする場合は、既知の問題のため SDK 2.9.0 にアップグレードしないでください。SDK 2.9.0 を使用する場合は、enable_conscrypt_security_provider 実験フラグも設定して、既知の安定性の問題がある Conscrypt を有効にする必要があります。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.8.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 10 月 25 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが停滞することがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.7.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 10 月 3 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが停滞することがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.6.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 8 月 8 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが停滞することがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.5.0 非推奨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 6 月 6 日に非推奨となりました。

既知の問題:
  • Conscrypt ライブラリの問題により、パイプラインが停滞することがあります。Stackdriver Logging のスタック トレースに Conscrypt 関連の呼び出しを含むエラーが見られる場合、この問題の影響を受けている可能性があります。この問題を解決するには、SDK 2.9.0 以降にアップグレードします。
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.4.0 廃止 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.3.0 廃止 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.2.0 廃止 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.1.0 廃止 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.0.0 廃止 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Apache Beam Java SDK 2.9.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

Python

SDK バージョン ステータス サポート対象のコンポーネント 詳細
2.60.0 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2025 年 10 月 17 日に非推奨となります。
2.59.0 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2025 年 9 月 11 日に非推奨となります。
2.58.1 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2025 年 8 月 16 日に非推奨となります。

既知の問題: BigQueryIO など、GcsIO を使用して直接または間接的に Cloud Storage からデータを読み取るパイプラインでは、Apache Beam Python SDK バージョン 2.53.0～2.58.1 でデータが破損する可能性があります。詳細については、Apache Beam GitHub の問題 #32169 をご覧ください。
2.58.0 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2025 年 8 月 6 日に非推奨となります。

既知の問題: BigQueryIO など、GcsIO を使用して直接または間接的に Cloud Storage からデータを読み取るパイプラインでは、Apache Beam Python SDK バージョン 2.53.0～2.58.1 でデータが破損する可能性があります。詳細については、Apache Beam GitHub の問題 #32169 をご覧ください。
2.57.0 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2025 年 6 月 26 日に非推奨となります。

既知の問題: BigQueryIO など、GcsIO を使用して直接または間接的に Cloud Storage からデータを読み取るパイプラインでは、Apache Beam Python SDK バージョン 2.53.0～2.58.1 でデータが破損する可能性があります。詳細については、Apache Beam GitHub の問題 #32169 をご覧ください。
2.56.0 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2025 年 5 月 1 日に非推奨となります。

既知の問題: BigQueryIO など、GcsIO を使用して直接または間接的に Cloud Storage からデータを読み取るパイプラインでは、Apache Beam Python SDK バージョン 2.53.0～2.58.1 でデータが破損する可能性があります。詳細については、Apache Beam GitHub の問題 #32169 をご覧ください。
2.55.1 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2025 年 4 月 8 日に非推奨となります。

既知の問題: この SDK を使用する Python パイプラインは、停止することがあります。詳細については、Apache Beam GitHub の問題 #30867 をご覧ください。

既知の問題: BigQueryIO など、GcsIO を使用して直接または間接的に Cloud Storage からデータを読み取るパイプラインでは、Apache Beam Python SDK バージョン 2.53.0～2.58.1 でデータが破損する可能性があります。詳細については、Apache Beam GitHub の問題 #32169 をご覧ください。
2.55.0 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2025 年 3 月 25 日に非推奨となります。

既知の問題: クロス言語パイプラインの WriteToJson 変換がエラーで失敗する。この問題を解決するには、Apache Beam 2.55.1 にアップグレードしてください。詳細については、問題 #30776: Beam YAML の WriteToJson が失敗するをご覧ください。

既知の問題: この SDK を使用する Python パイプラインは、停止することがあります。詳細については、Apache Beam GitHub の問題 #30867 をご覧ください。

既知の問題: BigQueryIO など、GcsIO を使用して直接または間接的に Cloud Storage からデータを読み取るパイプラインでは、Apache Beam Python SDK バージョン 2.53.0～2.58.1 でデータが破損する可能性があります。詳細については、Apache Beam GitHub の問題 #32169 をご覧ください。
2.54.0 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2025 年 2 月 14 日に非推奨となります。

既知の問題: BigQueryIO など、GcsIO を使用して直接または間接的に Cloud Storage からデータを読み取るパイプラインでは、Apache Beam Python SDK バージョン 2.53.0～2.58.1 でデータが破損する可能性があります。詳細については、Apache Beam GitHub の問題 #32169 をご覧ください。
2.53.0 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは、2025 年 1 月 4 日に非推奨となります。

既知の問題: BigQueryIO など、GcsIO を使用して直接または間接的に Cloud Storage からデータを読み取るパイプラインでは、Apache Beam Python SDK バージョン 2.53.0～2.58.1 でデータが破損する可能性があります。詳細については、Apache Beam GitHub の問題 #32169 をご覧ください。
2.52.0 サポート対象 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

このバージョンは 2024 年 11 月 17 日に非推奨となります。
2.51.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2024 年 10 月 12 日に非推奨となりました。
2.50.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2024 年 8 月 30 日に非推奨となりました。
2.49.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2024 年 7 月 17 日に非推奨となりました。
2.48.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2024 年 5 月 31 日に非推奨となりました。
2.47.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2024 年 5 月 10 日に非推奨となりました。
2.46.0 サポート対象 apache_beam モジュール下の Core Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソースおよびシンクと関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc。

このバージョンは 2025 年 3 月 10 日に非推奨となります。このバージョンのサポート期間は、後のリリースで判明した既知の問題のため延長されました。
2.45.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2024 年 2 月 15 日に非推奨となりました。
2.44.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2024 年 1 月 13 日に非推奨となりました。
2.43.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2023 年 11 月 17 日に非推奨となりました。
2.42.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2023 年 10 月 17 日に非推奨となりました。
2.41.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2023 年 8 月 23 日に非推奨となりました。
2.40.0 非推奨 apache_beam モジュール下のコア Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、ml.inference（PytorchModelHandlerKeyedTensor と SklearnModelHandlerPandas を除く）、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2023 年 6 月 27 日に非推奨となりました。
2.39.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2023 年 5 月 25 日に非推奨となりました。
2.38.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2023 年 4 月 20 日に非推奨となりました。
2.37.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc。

2023 年 3 月 4 日に非推奨となりました。

既知の問題:
  • ignore_unknown_columns パラメータを true に設定して WriteToBigQuery を使用すると、パラメータ値は無視されます。この問題は、バージョン 2.38.0 で修正されています。詳細については、BEAM-14039 をご覧ください。
2.36.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc。

2023 年 2 月 7 日に非推奨となりました。

既知の問題:
  • ignore_unknown_columns パラメータを true に設定して WriteToBigQuery を使用すると、パラメータ値は無視されます。この問題は、バージョン 2.38.0 で修正されています。詳細については、BEAM-14039 をご覧ください。
2.35.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: サブモジュール コーダー、データフレーム、指標、オプション、ポータビリティ、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub
apache_beam.io.jdbc 下のコネクタ: ReadFromJdbc、WriteToJdbc

2022 年 12 月 29 日に非推奨となりました。
2.34.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2022 年 11 月 11 日に非推奨となりました。
2.33.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2022 年 10 月 7 日に非推奨となりました。
2.32.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2022 年 8 月 25 日に非推奨となりました。
2.31.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: sub-module coders、dateframe（プレビュー版）、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2022 年 7 月 8 日に非推奨となりました。
2.30.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、dataframe（プレビュー）、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2022 年 6 月 10 日に非推奨となりました。
2.29.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、dataframe（プレビュー）、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2022 年 4 月 29 日に非推奨となりました。
2.28.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、dataframe（プレビュー）、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2022 年 2 月 22 日に非推奨となりました。
2.27.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、dataframe（プレビュー）、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2022 年 1 月 7 日に非推奨となりました。
2.26.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、dataframe（プレビュー）、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2021 年 12 月 11 日に非推奨となりました。
2.25.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2021 年 10 月 23 日に非推奨となりました。
2.24.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2021 年 9 月 18 日に非推奨となりました。また、Apache Beam SDK 2.24.0 バージョンは、Python 2 と Python 3.5 をサポートする最後のバージョンです。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。
2.23.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2021 年 7 月 29 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。
2.22.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ: bigquery、datastore、pubsub

2021 年 6 月 8 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。
2.21.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 5 月 27 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。
2.20.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 4 月 15 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。
2.19.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 2 月 4 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。
2.18.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 1 月 23 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。
2.17.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2021 年 1 月 6 日に非推奨となりました。

Dataflow は Python 2 を使用したパイプラインのサポートを終了しました。詳しくは、Google Cloud で使用可能な Python 2 ページをご覧ください。
2.16.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
 2020 年 10 月 7 日に非推奨となりました。
2.15.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
 2020 年 8 月 23 日に非推奨となりました。
2.14.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ

2020 年 8 月 1 日に非推奨となりました。

既知の問題:
  • このリリースに追加された MongoDB ソースに既知の問題があります。この問題により、データ損失の可能性があります。詳細については、BEAM-7866 をご覧ください。
2.13.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
 2020 年 6 月 6 日に非推奨となりました。
2.12.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
 2020 年 4 月 25 日に非推奨となりました。
2.11.0 非推奨 apache_beam モジュール下の Core Python SDK ライブラリ: submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io モジュール下のファイルベースのソース、シンク、関連モジュール: textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
apache_beam.io.gcp モジュール下の Google Cloud I/O コネクタ
 2020 年 3 月 1 日に非推奨となりました。
2.10.0 非推奨 2020 年 2 月 11 日に非推奨となりました。
2.9.0 非推奨 2019 年 12 月 13 日に非推奨となりました。
2.8.0 非推奨 2019 年 10 月 25 日に非推奨となりました。
2.7.0 非推奨

2019 年 10 月 3 日に非推奨となりました。
2.6.0 非推奨 2019 年 8 月 8 日に非推奨となりました。
2.5.0 非推奨 2019 年 6 月 6 日に非推奨となりました。
2.4.0 非推奨 2019 年 3 月 20 日に非推奨となりました。
2.3.0 非推奨 2019 年 1 月 30 日に非推奨となりました。
2.2.0 非推奨 2018 年 12 月 2 日に非推奨となりました。
2.1.1
2.1.0		 非推奨 2018 年 8 月 23 日に非推奨となりました。
2.0.0 非推奨 2018 年 5 月 17 日に非推奨となりました。

Go

SDK バージョン ステータス サポート対象のコンポーネント 詳細
2.60.0 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2025 年 10 月 17 日に非推奨となります。
2.59.0 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2025 年 9 月 11 日に非推奨となります。
2.58.1 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2025 年 8 月 16 日に非推奨となります。
2.58.0 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2025 年 8 月 6 日に非推奨となります。
2.57.0 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2025 年 6 月 26 日に非推奨となります。
2.56.0 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2025 年 5 月 1 日に非推奨となります。
2.55.1 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2025 年 4 月 8 日に非推奨となります。
2.55.0 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2025 年 3 月 25 日に非推奨となります。
2.54.0 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2025 年 2 月 14 日に非推奨となります。
2.53.0 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは、2025 年 1 月 4 日に非推奨となります。
2.52.0 サポート対象 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 このバージョンは 2024 年 11 月 17 日に非推奨となります。
2.51.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2024 年 10 月 12 日に非推奨となりました。
2.50.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2024 年 8 月 30 日に非推奨となりました。
2.49.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2024 年 7 月 17 日に非推奨となりました。
2.48.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2024 年 5 月 31 日に非推奨となりました。
2.47.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2024 年 5 月 10 日に非推奨となりました。
2.46.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2024 年 3 月 10 日に非推奨となりました。
2.45.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2024 年 2 月 15 日に非推奨となりました。
2.44.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2024 年 1 月 13 日に非推奨となりました。
2.43.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2023 年 11 月 17 日に非推奨となりました。
2.42.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2023 年 10 月 17 日に非推奨となりました。
2.41.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2023 年 8 月 23 日に非推奨となりました。
2.40.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2023 年 6 月 27 日に非推奨となりました。
2.39.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/xlang
 2023 年 5 月 25 日に非推奨となりました。
2.38.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 2023 年 4 月 20 日に非推奨となりました。
2.37.0 非推奨 以下のディレクトリのパッケージ:
- Core Beam Go SDK package
- beam/transforms
- beam/io/textio
- beam/io/xlang
 2023 年 3 月 4 日に非推奨となりました。

Dataflow 2.x SDK

次の表に、Dataflow Java SDK、Dataflow Python SDK などの Dataflow 2.x SDK のサポート状況を示します。

Java

変更情報については、Dataflow SDK 2.x for Java リリースノートをご覧ください。

SDK バージョン ステータス 詳細
2.5.0 非推奨

2019 年 6 月 6 日に非推奨となりました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.4.0 廃止

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.3.0 廃止

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.2.0 廃止

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.1.0 廃止

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.0.0 廃止

2020 年 8 月 12 日に廃止されました。

このバージョンは、JSON-RPC と Global HTTP Batch のエンドポイントのサポート中止に伴い廃止されました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 廃止

2018 年 2 月 28 日に廃止されました。

既知の問題:
  • 特定のケースでは、Dataflow Java SDK 2.5.0 以前を使用すると、Cloud Storage からファイルを読み取る際にデータの重複が発生する可能性があります。重複が発生する可能性があるのは、以下のすべての条件に該当する場合です。
    • content-encoding が gzip に設定されているファイルを読み込んでいて、かつファイルは Cloud Storage によって動的に解凍トランスコードされている。
    • （解凍済みの）ファイルサイズが 2.14 GB より大きい。
    • 入力ストリームが、2.14 GB 読み取られた後、エラーになる（そして再作成される）。
    回避策として、content-encoding ヘッダーを設定せず、適切な拡張子（たとえば、gzip の場合は gz）を付けた圧縮ファイルを Cloud Storage に保存します。既存のファイルの場合は、gcloud storage コマンドで content-encoding ヘッダーとファイル名を更新できます。

Python

変更情報については、Dataflow SDK 2.x for Python リリースノートをご覧ください。

SDK バージョン ステータス 詳細
2.5.0 非推奨 2019 年 6 月 6 日に非推奨となりました。
2.4.0 非推奨 2019 年 3 月 20 日に非推奨となりました。
2.3.0 非推奨 2019 年 1 月 30 日に非推奨となりました。
2.2.0 非推奨 2018 年 12 月 2 日に非推奨となりました。
2.1.1 非推奨 2018 年 8 月 23 日に非推奨となりました。
Python six パッケージとの互換性の問題を修正しました。
詳細については、リリースノートをご覧ください。
2.1.0 非推奨 2018 年 8 月 23 日に非推奨となりました。
このリリースには、Python six 1.11.0 パッケージとの互換性の問題があります。
詳細については、リリースノートをご覧ください。
2.0.0 非推奨 2018 年 5 月 17 日に非推奨となりました。
このリリースには、Python six 1.11.0 パッケージとの互換性の問題があります。
詳細については、リリースノートをご覧ください。
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
 廃止 2018 年 1 月 29 日に廃止されました。
0.2.7 以前のバージョン 廃止 2017 年 3 月 23 日に廃止されました。