SDK 버전 지원 상태

이 페이지에는 Apache Beam SDK 및 Dataflow SDK 버전에 대한 Dataflow 지원 상태가 나와 있습니다.

Apache Beam SDK 지원 수준 정의

다음은 Apache Beam SDK의 Dataflow 지원 수준입니다.

  • 지원됨: Apache Beam SDK 버전은 출시일부터 지원 중단일까지 Dataflow에서 지원됩니다.
  • 지원 중단됨: SDK 버전이 지원 중단되면 Dataflow에서 계속 작동하지만 이후 사용이 중단될 수 있습니다. SDK 버전이 사용 중단되기 전 고객에게 알림을 보내고 환경을 업그레이드할 시간이 제공됩니다. 지원 중단된 SDK 버전에서 제출된 작업을 요청하면 경고 메시지가 표시됩니다. 지원 중단된 SDK 버전을 사용하는 환경을 지원되는 버전으로 업데이트하는 것이 좋지만 지원 중단된 SDK 버전이 Dataflow에서 계속 작동합니다.
  • 사용 중단됨: 사용 중단된 SDK 버전은 Dataflow에서 더 이상 작동하지 않습니다. 사용 중단된 SDK 버전에서 제출된 작업을 요청하면 오류가 발생합니다. Dataflow에서 SDK를 사용하려면 사용 중단되지 않은 SDK 버전으로 환경을 업데이트해야 합니다. 지원되는 버전으로 SDK를 업데이트하는 것이 좋습니다. SDK 버전은 사용 중단되는 경우가 거의 없습니다. SDK 버전이 사용 중단되기 전 고객에게 알림을 보내고 환경을 업그레이드할 시간이 제공됩니다.

이전 정의는 지금까지 지원되지 않은 SDK 또는 기능에 적용되지 않습니다.

Apache Beam 2.x SDK

Apache Beam은 오픈소스 커뮤니티 주도 프로젝트입니다. Google 및 Google Cloud는 Apache Beam 커뮤니티의 일부이지만 Google은 프로젝트를 소유하거나 출시 프로세스를 관리하지 않습니다. Google은 Dataflow 고객을 대신하여 Apache Beam 코드베이스에서 버그를 열거나 패치를 제출할 수 있습니다. 요청에 따라 Apache Beam의 핫픽스 또는 공식 출시 버전을 만들 수 없습니다. 출시 정책에 대한 자세한 내용은 Apache Beam 정책 페이지를 참조하세요.

Dataflow는 이 페이지에 나열된 SDK 출시 버전에 대한 특정 Apache Beam SDK 구성요소를 지원합니다. 이러한 구성요소는 Dataflow로 철저하게 테스트되었습니다. 실험용 기능은 지원되지 않습니다.

변경 내용은 Apache Beam 출시 노트를 참조하세요.

다음 표에는 Apache Beam Python SDK, Apache Beam 자바 SDK, Apache Beam Go SDK를 비롯한 Apache Beam 2.x SDK의 지원 상태가 나와 있습니다.

Java

SDK 버전 상태 지원되는 구성요소 세부정보
2.54.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java 모듈의 Google Cloud I/O 커넥터: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
이 버전은 2025년 2월 14일에 지원 중단됩니다.
2.53.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java 모듈의 Google Cloud I/O 커넥터: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
이 버전은 2025년 1월 4일에 지원 중단됩니다.
2.52.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java 모듈의 Google Cloud I/O 커넥터: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
이 버전은 2024년 11월 17일에 지원 중단됩니다.
2.51.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java 모듈의 Google Cloud I/O 커넥터: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
이 버전은 2024년 10월 12일에 지원 중단됩니다.
2.50.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java 모듈의 Google Cloud I/O 커넥터: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
이 버전은 2024년 8월 30일에 지원 중단됩니다.
2.49.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java 모듈의 Google Cloud I/O 커넥터: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
이 버전은 2024년 7월 17일에 지원 중단됩니다.
2.48.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
이 버전은 2024년 5월 31일에 지원 중단됩니다.
2.47.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
이 버전은 2024년 5월 10일에 지원 중단됩니다.
2.46.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024년 3월 10일에 지원 중단되었습니다.
2.45.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024년 2월 15일에 지원 중단되었습니다.
2.44.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024년 1월 13일에 지원 중단되었습니다.
2.43.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023년 11월 17일에 지원 중단되었습니다.
2.42.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023년 10월 17일에 지원 중단되었습니다.
2.41.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023년 8월 23일에 지원 중단되었습니다.
2.40.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023년 6월 27일에 지원 중단되었습니다.
2.39.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023년 5월 25일에 지원 중단되었습니다.
2.38.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023년 4월 20일에 지원 중단되었습니다.
2.37.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023년 3월 4일에 지원 중단되었습니다.
2.36.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023년 2월 7일에 지원 중단되었습니다.
2.35.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2022년 12월 29일에 지원 중단되었습니다.
2.34.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java 모듈의 Google Cloud I/O 커넥터: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
2022년 11월 11일에 지원 중단되었습니다.
2.33.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
2022년 10월 7일에 지원 중단되었습니다.
2.32.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
2022년 8월 25일에 지원 중단되었습니다.
2.31.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
2022년 7월 8일에 지원 중단되었습니다.
2.30.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
2022년 6월 10일에 지원 중단되었습니다.
2.29.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2022년 4월 29일에 지원 중단되었습니다.

알려진 문제: Runner V2를 사용하는 경우 기본적으로 Dataflow는 사용자 자바 버전과 관계없이 자바 8 SDK 컨테이너를 사용합니다. Java 11을 사용하려면 파이프라인 옵션 `--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0`을 제공하여 기본 SDK 이미지를 재정의하면 됩니다. 자세한 내용은 Apache Beam Issue Tracker를 참조하세요.

2.28.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2022년 2월 22일에 지원 중단되었습니다.

2.27.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2022년 1월 7일에 지원 중단되었습니다.

이 출시 버전에서는 JDK 11 지원이 추가되었습니다.

2.26.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 12월 11일에 지원 중단되었습니다.

2.25.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 10월 23일에 지원 중단되었습니다.

2.24.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 9월 18일에 지원 중단되었습니다.

알려진 문제: 설정되고 한 번만 실행되는 타이머가 아닌 재설정되는 타이머를 사용하는 경우 2.24.0으로 업그레이드할 수 없습니다. 타이머가 실행되지만 실행되기 전에 재설정되면 워터마크 보존 조치가 누출될 수 있으며 파이프라인 작업이 중단될 수 있습니다. 자세한 내용은 Apache Beam Issue Tracker를 참조하세요.
2.23.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 7월 29일에 지원 중단되었습니다.

2.22.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 6월 8일에 지원 중단되었습니다.

2.21.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 5월 27일에 지원 중단되었습니다.

2.20.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 4월 15일에 지원 중단되었습니다.

2.19.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 2월 4일에 지원 중단되었습니다.

2.18.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 1월 23일에 지원 중단되었습니다.

2.17.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 1월 6일에 지원 중단되었습니다.

2.16.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 10월 7일에 지원 중단되었습니다.

2.15.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 8월 23일에 지원 중단되었습니다.

알려진 문제:
  • 스키마 기능(SQL 변환 포함)을 사용하는 Dataflow 사용자는 알려진 문제로 인해 2.15.0으로 업그레이드할 수 없습니다. 자세한 내용은 Apache Beam 문제 추적기를 참조하세요.
2.14.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 8월 1일에 지원 중단되었습니다.

2.13.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 6월 6일에 지원 중단되었습니다.

이 출시 버전에서는 JDK 9 이상 버전을 실험용으로 지원합니다. 자세한 내용은 Apache Beam 문제 추적기를 참조하세요.

2.12.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 4월 25일에 지원 중단되었습니다.

알려진 문제:
  • Dataflow 실행기에서 로깅 구성이 잘못되어 모든 로그가 누락될 수 있습니다. 이 문제를 해결하려면 slf4j-jdk14를 런타임 종속 항목에 추가합니다.
2.11.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 3월 1일에 지원 중단되었습니다.

알려진 문제:
  • Dataflow 실행기에서 로깅 구성이 잘못되어 모든 로그가 누락될 수 있습니다. 이 문제를 해결하려면 slf4j-jdk14를 런타임 종속 항목에 추가합니다.
2.10.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 2월 11일에 지원 중단되었습니다.

알려진 문제:
  • SDK 2.10.0은 다음과 같은 알려진 문제가 있는 gcsio 클라이언트 라이브러리 버전 1.9.13을 사용합니다.
    • 부차 입력을 읽으면 Cloud Storage로 많은 요청이 전송될 수 있습니다. 그에 따라 Dataflow 작업이 Cloud Storage의 HTTP 429 오류로 인해 실패할 수 있습니다.
    • Apache Beam ParquetIO가 Cloud Storage에서 파일을 읽을 때 실패합니다.

    이러한 문제를 해결하려면 SDK 2.11.0으로 업그레이드하거나 gcsio 클라이언트 라이브러리 버전을 1.9.16 이상으로 재정의합니다.

  • Dataflow 실행기에서 로깅 구성이 잘못되어 모든 로그가 누락될 수 있습니다. 이 문제를 해결하려면 slf4j-jdk14를 런타임 종속 항목에 추가합니다.
2.9.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 12월 13일에 지원 중단되었습니다.

알려진 문제:
  • Streaming Engine(베타) 실험을 사용 설정한 경우 알려진 문제로 인해 SDK 2.9.0으로 업그레이드하지 마세요. SDK 2.9.0을 사용하려면 enable_conscrypt_security_provider 실험용 플래그를 설정하여 알려진 안정성 문제가 있는 Conscrypt도 사용 설정해야 합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.8.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 10월 25일에 지원 중단되었습니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 트레이스로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.7.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 10월 3일에 지원 중단되었습니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 트레이스로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.6.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 8월 8일에 지원 중단되었습니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 트레이스로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.5.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 6월 6일에 지원 중단되었습니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 트레이스로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.4.0 사용 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.3.0 사용 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.2.0 사용 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.1.0 사용 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.0.0 사용 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.

Python

SDK 버전 상태 지원되는 구성요소 세부정보
2.54.0 지원됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

이 버전은 2025년 2월 14일에 지원 중단됩니다.

2.53.0 지원됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

이 버전은 2025년 1월 4일에 지원 중단됩니다.

2.52.0 지원됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

이 버전은 2024년 11월 17일에 지원 중단됩니다.

2.51.0 지원됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

이 버전은 2024년 10월 12일에 지원 중단됩니다.

2.50.0 지원됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

이 버전은 2024년 8월 30일에 지원 중단됩니다.

2.49.0 지원됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

이 버전은 2024년 7월 17일에 지원 중단됩니다.

2.48.0 지원됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

이 버전은 2024년 5월 31일에 지원 중단됩니다.

2.47.0 지원됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

이 버전은 2024년 5월 10일에 지원 중단됩니다.

2.46.0 지원됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

이 버전은 2024년 9월 10일에 지원 중단됩니다. 이후 출시 버전에서 발견된 알려진 문제로 인해 이 버전의 지원 기간이 연장되었습니다.

2.45.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2024년 2월 15일에 지원 중단되었습니다.

2.44.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2024년 1월 13일에 지원 중단되었습니다.

2.43.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2023년 11월 17일에 지원 중단되었습니다.

2.42.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2023년 10월 17일에 지원 중단되었습니다.

2.41.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2023년 8월 23일에 지원 중단되었습니다.

2.40.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, ml.inference(PytorchModelHandlerKeyedTensor 및 SklearnModelHandlerPandas 제외), 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2023년 6월 27일에 지원 중단되었습니다.

2.39.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2023년 5월 25일에 지원 중단되었습니다.

2.38.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2023년 4월 20일에 지원 중단되었습니다.

2.37.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2023년 3월 4일에 지원 중단되었습니다.

알려진 문제:
  • ignore_unknown_columns 매개변수를 true로 설정하여 WriteToBigQuery를 사용하면 매개변수 값이 무시됩니다. 이 문제는 버전 2.38.0에서 해결되었습니다. 자세한 내용은 BEAM-14039를 참조하세요.
2.36.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2023년 2월 7일에 지원 중단되었습니다.

알려진 문제:
  • ignore_unknown_columns 매개변수를 true로 설정하여 WriteToBigQuery를 사용하면 매개변수 값이 무시됩니다. 이 문제는 버전 2.38.0에서 해결되었습니다. 자세한 내용은 BEAM-14039를 참조하세요.
2.35.0 지원 중단됨 apache_beam 모듈의 Core Python SDK 라이브러리: 하위 모듈 coder, DataFrame, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, Datastore, pubsub
apache_beam.io.jdbc의 커넥터: ReadFromJdbc, WriteToJdbc

2022년 12월 29일에 지원 중단되었습니다.

2.34.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints, sql
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2022년 11월 11일에 지원 중단되었습니다.

2.33.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2022년 10월 7일에 지원 중단되었습니다.

2.32.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2022년 8월 25일에 지원 중단되었습니다.

2.31.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2022년 7월 8일에 지원 중단되었습니다.

2.30.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2022년 6월 10일에 지원 중단되었습니다.

2.29.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2022년 4월 29일에 지원 중단되었습니다.

2.28.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2022년 2월 22일에 지원 중단되었습니다.

2.27.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2022년 1월 7일에 지원 중단되었습니다.

2.26.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2021년 12월 11일에 지원 중단되었습니다.

2.25.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2021년 10월 23일에 지원 중단되었습니다.

2.24.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2021년 9월 18일에 지원 중단되었습니다. 또한 Apache Beam SDK 2.24.0 버전은 Python 2 및 Python 3.5를 마지막으로 지원합니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.

2.23.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2021년 7월 29일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.

2.22.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2021년 6월 8일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.

2.21.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 5월 27일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.

2.20.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 4월 15일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.

2.19.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 2월 4일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.

2.18.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 1월 23일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.

2.17.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 1월 6일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.

2.16.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
2020년 10월 7일에 지원 중단되었습니다.
2.15.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
2020년 8월 23일에 지원 중단되었습니다.
2.14.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2020년 8월 1일에 지원 중단되었습니다.

알려진 문제:
  • 이 출시 버전에 추가된 MongoDB에 데이터 손실로 이어질 수 있는 알려진 문제가 있습니다. 자세한 내용은 BEAM-7866을 참조하세요.
2.13.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
2020년 6월 6일에 지원 중단되었습니다.
2.12.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
2020년 4월 25일에 지원 중단되었습니다.
2.11.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
2020년 3월 1일에 지원 중단되었습니다.
2.10.0 지원 중단됨 2020년 2월 11일에 지원 중단되었습니다.
2.9.0 지원 중단됨 2019년 12월 13일에 지원 중단되었습니다.
2.8.0 지원 중단됨 2019년 10월 25일에 지원 중단되었습니다.
2.7.0 지원 중단됨

2019년 10월 3일에 지원 중단되었습니다.

2.6.0 지원 중단됨 2019년 8월 8일에 지원 중단되었습니다.
2.5.0 지원 중단됨 2019년 6월 6일에 지원 중단되었습니다.
2.4.0 지원 중단됨 2019년 3월 20일에 지원 중단되었습니다.
2.3.0 지원 중단됨 2019년 1월 30일에 지원 중단되었습니다.
2.2.0 지원 중단됨 2018년 12월 2일에 지원 중단되었습니다.
2.1.1
2.1.0
지원 중단됨 2018년 8월 23일에 지원 중단되었습니다.
2.0.0 지원 중단됨 2018년 5월 17일에 지원 중단되었습니다.

Go

SDK 버전 상태 지원되는 구성요소 세부정보
2.54.0 지원됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
이 버전은 2025년 2월 14일에 지원 중단됩니다.
2.53.0 지원됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
이 버전은 2025년 1월 4일에 지원 중단됩니다.
2.52.0 지원됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
이 버전은 2024년 11월 17일에 지원 중단됩니다.
2.51.0 지원됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
이 버전은 2024년 10월 12일에 지원 중단됩니다.
2.50.0 지원됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
이 버전은 2024년 8월 30일에 지원 중단됩니다.
2.49.0 지원됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
이 버전은 2024년 7월 17일에 지원 중단됩니다.
2.48.0 지원됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
이 버전은 2024년 5월 31일에 지원 중단됩니다.
2.47.0 지원됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
이 버전은 2024년 5월 10일에 지원 중단됩니다.
2.46.0 지원 중단됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
2024년 3월 10일에 지원 중단되었습니다.
2.45.0 지원 중단됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
2024년 2월 15일에 지원 중단되었습니다.
2.44.0 지원 중단됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
2024년 1월 13일에 지원 중단되었습니다.
2.43.0 지원 중단됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
2023년 11월 17일에 지원 중단되었습니다.
2.42.0 지원 중단됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
2023년 10월 17일에 지원 중단되었습니다.
2.41.0 지원 중단됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
2023년 8월 23일에 지원 중단되었습니다.
2.40.0 지원 중단됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
2023년 6월 27일에 지원 중단되었습니다.
2.39.0 지원 중단됨 다음 디렉터리의 패키지:
- Core Beam Go SDK 패키지
- beam/transforms
- beam/io/textio
- beam/io/xlang
2023년 5월 25일에 지원 중단되었습니다.
2.38.0 지원 중단됨 다음 디렉터리 아래의 패키지:
-Core Beam Go SDK 패키지
-/변환
-beam/io/textio
-beam/io/pubsubio
-beam/io/xlang
2023년 4월 20일에 지원 중단되었습니다.
2.37.0 지원 중단됨 다음 디렉터리의 패키지:
- Core Beam Go SDK 패키지
- beam/transforms
- beam/io/textio
- beam/io/xlang
2023년 3월 4일에 지원 중단되었습니다.

Dataflow 2.x SDK

다음 표에는 Dataflow 자바 SDK 및 Dataflow Python SDK를 비롯한 Dataflow 2.x SDK의 지원 상태가 나와 있습니다.

Java

변경 사항은 자바용 Dataflow SDK 2.x 출시 노트를 참조하세요.

SDK 버전 상태 세부정보
2.5.0 지원 중단됨

2019년 6월 6일에 지원 중단되었습니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.4.0 사용 중단됨

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.3.0 사용 중단됨

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.2.0 사용 중단됨

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.1.0 사용 중단됨

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.0.0 사용 중단됨

2020년 8월 12일부터 사용 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 사용 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
사용 중단됨

2018년 2월 28일에 사용 중단되었습니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    문제 해결을 위해서는 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용해서 Cloud Storage에 압축된 파일을 저장합니다. 기존 파일의 경우 gcloud storage 명령어를 사용하여 콘텐츠 인코딩 헤더와 파일 이름을 업데이트하면 됩니다.

Python

변경 사항은 Python용 Dataflow SDK 2.x 출시 노트를 참조하세요.

SDK 버전 상태 세부정보
2.5.0 지원 중단됨 2019년 6월 6일에 지원 중단되었습니다.
2.4.0 지원 중단됨 2019년 3월 20일에 지원 중단되었습니다.
2.3.0 지원 중단됨 2019년 1월 30일에 지원 중단되었습니다.
2.2.0 지원 중단됨 2018년 12월 2일에 지원 중단되었습니다.
2.1.1 지원 중단됨 2018년 8월 23일에 지원 중단되었습니다.
Python six 패키지와의 호환성 문제를 해결했습니다.
자세한 정보는 출시 노트를 참조하세요.
2.1.0 지원 중단됨 2018년 8월 23일에 지원 중단되었습니다.
이 출시 버전에는 Python six 1.11.0 패키지와의 호환성 문제가 있습니다.
자세한 정보는 출시 노트를 참조하세요.
2.0.0 지원 중단됨 2018년 5월 17일에 지원 중단되었습니다.
이 출시 버전에는 Python six 1.11.0 패키지와의 호환성 문제가 있습니다.
자세한 정보는 출시 노트를 참조하세요.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
사용 중단됨 2018년 1월 29일부터 사용 중단되었습니다.
0.2.7 및 이전 버전 사용 중단됨 2017년 3월 23일부터 사용 중단되었습니다.