SDK 버전 지원 상태

이 페이지에는 Apache Beam 및 Dataflow SDK 출시 버전에 대한 지원 상태가 나열되어 있습니다.

지원 수준 정의

다음은 Apache Beam SDK의 지원 수준입니다.

  • 지원됨 - Apache Beam SDK 버전은 출시일부터 지원 중단일까지 Dataflow에서 지원됩니다.
  • 지원 중단됨 - SDK 버전 지원 중단이 발표됐으므로 Dataflow에서 계속 작동할 수 있지만 사용 중단됩니다. 지원 중단된 버전은 사용 중단되도록 예약되거나 예약되지 않을 수 있습니다. 지원 중단된 SDK 버전에서 제출된 작업을 요청하면 경고 메시지가 표시됩니다. 지원 중단된 SDK 버전을 사용하는 환경이 중단되지 않도록 지원되는 버전으로 업데이트해야 합니다.
  • 사용 중단됨 - 지원 중단 기간 이후에는 사용 중단된 SDK 버전이 더 이상 Dataflow에서 작동하지 않습니다. 사용 중단된 SDK 버전에서 제출된 작업을 요청하면 오류가 발생합니다. 사용 중단된 SDK 버전을 사용하는 환경을 Dataflow에서 사용할 수 있도록 지원되는 버전으로 업데이트해야 합니다.

위 정의는 Go용 Apache Beam SDK와 같이 이전에 지원되지 않는 SDK나 기능에는 적용되지 않습니다.

Apache Beam 2.x SDK

Apache Beam은 오픈소스 커뮤니티 주도 프로젝트입니다. Google은 이 커뮤니티에 참여는 하지만 프로젝트를 소유하거나 출시 프로세스를 관리하지 않습니다. Google은 Dataflow 고객을 대신하여 Apache Beam 코드베이스에 버그를 열거나 패치를 제출할 수 있지만 요청에 따라 Apache Beam의 핫픽스 또는 공식 출시 버전을 만들 수는 없습니다. 출시 정책에 대한 자세한 내용은 Apache Beam 정책 페이지를 참조하세요.

Dataflow는 아래 나열된 SDK 출시 버전의 특정 Apache Beam SDK 구성 요소를 지원합니다. 이러한 구성요소는 Dataflow로 철저하게 테스트되었습니다. 실험용 기능은 지원되지 않습니다.

변경 내용은 Apache Beam 출시 노트를 참조하세요.

참고: 개발용 SDK 버전(자바용 -SNAPSHOT 및 Python용 .dev)은 지원되지 않습니다.

다음 표에는 Apache Beam 2.x SDK의 지원 상태가 나와 있습니다.

자바

SDK 버전 상태 지원되는 구성요소 세부정보
2.34.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
 이 버전은 2022년 11월 11일에 지원 중단됩니다.
2.33.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 이 버전은 2022년 10월 7일에 지원 중단됩니다.
2.32.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 이 버전은 2022년 8월 25일에 지원 중단됩니다.
2.31.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 이 버전은 2022년 7월 8일에 지원 중단됩니다.
2.30.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 이 버전은 2022년 6월 10일에 지원 중단됩니다.
2.29.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2022년 4월 29일에 지원 중단됩니다.

알려진 문제: Runner V2를 사용하는 경우 기본적으로 Dataflow는 사용자 자바 버전과 관계없이 자바 8 SDK 컨테이너를 사용합니다. 자바 11을 사용하려면 파이프라인 옵션 `--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0`을 제공하여 기본 SDK 이미지를 재정의하면 됩니다. 자세한 내용은 Apache Beam Issue Tracker를 참조하세요.

2.28.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2022년 2월 22일에 지원 중단됩니다.
2.27.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2022년 1월 7일에 지원 중단됩니다.

이 출시 버전에서는 JDK 11 지원이 추가되었습니다.
2.26.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2021년 12월 11일에 지원 중단됩니다.
2.25.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2021년 10월 23일에 지원 중단됩니다.
2.24.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 9월 18일에 지원 중단되었습니다.

알려진 문제: 설정되고 한 번만 실행되는 타이머가 아닌 재설정되는 타이머를 사용하는 경우 2.24.0으로 업그레이드할 수 없습니다. 타이머가 실행되지만 실행되기 전에 재설정되면 워터마크 보존 조치가 누출될 수 있으며 파이프라인 작업이 중단될 수 있습니다. 자세한 내용은 Apache Beam Issue Tracker를 참조하세요.
2.23.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 7월 29일에 지원 중단되었습니다.
2.22.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 6월 8일에 지원 중단되었습니다.
2.21.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 5월 27일에 지원 중단되었습니다.
2.20.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 4월 15일에 지원 중단되었습니다.
2.19.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 2월 4일에 지원 중단되었습니다.
2.18.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 1월 23일에 지원 중단되었습니다.
2.17.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021년 1월 6일에 지원 중단되었습니다.
2.16.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 10월 7일에 지원 중단되었습니다.
2.15.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 8월 23일에 지원 중단되었습니다.

알려진 문제:
  • 스키마 기능(SQL 변환 포함)을 사용하는 Dataflow 사용자는 알려진 문제로 인해 2.15.0으로 업그레이드할 수 없습니다. 자세한 내용은 Apache Beam 문제 추적기를 참조하세요.
2.14.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 8월 1일에 지원 중단되었습니다.
2.13.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 6월 6일에 지원 중단되었습니다.

이 출시 버전에서는 JDK 9 이상을 실험적으로 지원합니다. 자세한 내용은 Apache Beam 문제 추적기를 참조하세요.
2.12.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 4월 25일에 지원 중단되었습니다.

알려진 문제:
  • Dataflow 실행기에서 로깅 구성이 잘못되어 모든 로그가 누락될 수 있습니다. 이 문제를 해결하려면 slf4j-jdk14를 런타임 종속 항목에 추가합니다.
2.11.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 3월 1일에 지원 중단되었습니다.

알려진 문제:
  • Dataflow 실행기에서 로깅 구성이 잘못되어 모든 로그가 누락될 수 있습니다. 이 문제를 해결하려면 slf4j-jdk14를 런타임 종속 항목에 추가합니다.
2.10.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020년 2월 11일에 지원 중단되었습니다.

알려진 문제:
  • SDK 2.10.0은 다음과 같은 알려진 문제가 있는 gcsio 클라이언트 라이브러리 버전 1.9.13을 사용합니다.

    이러한 문제를 해결하려면 SDK 2.11.0으로 업그레이드하거나 gcsio 클라이언트 라이브러리 버전을 1.9.16 이상으로 재정의합니다.

  • Dataflow 실행기에서 로깅 구성이 잘못되어 모든 로그가 누락될 수 있습니다. 이 문제를 해결하려면 slf4j-jdk14를 런타임 종속 항목에 추가합니다.
2.9.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 12월 13일에 지원 중단되었습니다.

알려진 문제:
  • 스트리밍 엔진(베타) 실험을 사용 설정한 사용자는 알려진 문제로 인해 SDK 2.9.0으로 업그레이드할 수 없습니다. SDK 2.9.0을 사용하려면 enable_conscrypt_security_provider 실험용 플래그를 설정하여 알려진 안정성 문제가 있는 Conscrypt도 사용 설정해야 합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.8.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 10월 25일에 지원 중단되었습니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 추적으로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.7.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 10월 3일에 지원 중단되었습니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 추적으로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.6.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 8월 8일에 지원 중단되었습니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 추적으로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.5.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 6월 6일에 지원 중단되었습니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 추적으로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.4.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2019년 3월 20일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.3.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2019년 1월 30일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.2.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018년 12월 2일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.1.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018년 8월 23일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.0.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018년 5월 17일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.

Python

SDK 버전 상태 지원되는 구성요소 세부정보
2.34.0 지원됨 Core Python SDK library under module apache_beam: sub-modules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

이 버전은 2022년 11월 11일에 지원 중단됩니다.
2.33.0 지원됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

이 버전은 2022년 10월 7일에 지원 중단됩니다.
2.32.0 지원됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

이 버전은 2022년 8월 25일에 지원 중단됩니다.
2.31.0 지원됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

이 버전은 2022년 7월 8일에 지원 중단됩니다.
2.30.0 지원됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

이 버전은 2022년 6월 10일에 지원 중단됩니다.
2.29.0 지원됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

이 버전은 2022년 4월 29일에 지원 중단됩니다.
2.28.0 지원됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

이 버전은 2022년 2월 22일에 지원 중단됩니다.
2.27.0 지원됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

이 버전은 2022년 1월 7일에 지원 중단됩니다.
2.26.0 지원됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, dataframe(미리보기), 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

이 버전은 2021년 12월 11일에 지원 중단됩니다.
2.25.0 지원됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

이 버전은 2021년 10월 23일에 지원 중단됩니다.
2.24.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2021년 9월 18일에 지원 중단되었습니다. 또한 이 버전은 Python 2 및 Python 3.5를 지원하는 마지막 Apache Beam SDK 버전입니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.
2.23.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2021년 7월 29일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.
2.22.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터: bigquery, datastore, pubsub

2021년 6월 8일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.
2.21.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 5월 27일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.
2.20.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 4월 15일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.
2.19.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 2월 4일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.
2.18.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 1월 23일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.
2.17.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2021년 1월 6일에 지원 중단되었습니다.

Dataflow는 더 이상 Python 2를 사용하는 파이프라인을 지원하지 않습니다. 자세한 내용은 Google Cloud에서 Python 2 지원 페이지를 참조하세요.
2.16.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
 2020년 10월 7일에 지원 중단되었습니다.
2.15.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
 2020년 8월 23일에 지원 중단되었습니다.
2.14.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터

2020년 8월 1일에 지원 중단되었습니다.

알려진 문제:
  • 이 출시 버전에 추가된 MongoDB에 데이터 손실로 이어질 수 있는 알려진 문제가 있습니다. 자세한 내용은 BEAM-7866을 참조하세요.
2.13.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
 2020년 6월 6일에 지원 중단되었습니다.
2.12.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
 2020년 4월 25일에 지원 중단되었습니다.
2.11.0 지원 중단됨 apache_beam 모듈의 핵심 Python SDK 라이브러리: 하위 모듈 coder, 측정항목, 옵션, 이동성, runners.dataflow, runners.direct, 변환, typehints
apache_beam.io 모듈의 파일 기반 소스 및 싱크와 관련 모듈: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
apache_beam.io.gcp 모듈의 Google Cloud I/O 커넥터
 2020년 3월 1일에 지원 중단되었습니다.
2.10.0 지원 중단됨 2020년 2월 11일에 지원 중단되었습니다.
2.9.0 지원 중단됨 2019년 12월 13일에 지원 중단되었습니다.
2.8.0 지원 중단됨 2019년 10월 25일에 지원 중단되었습니다.
2.7.0 지원 중단됨

2019년 10월 3일에 지원 중단되었습니다.
2.6.0 지원 중단됨 2019년 8월 8일에 지원 중단되었습니다.
2.5.0 지원 중단됨 2019년 6월 6일에 지원 중단되었습니다.
2.4.0 지원 중단됨 2019년 3월 20일에 지원 중단되었습니다.
2.3.0 지원 중단됨 2019년 1월 30일에 지원 중단되었습니다.
2.2.0 지원 중단됨 2018년 12월 2일에 지원 중단되었습니다.
2.1.1
2.1.0		 지원 중단됨 2018년 8월 23일에 지원 중단되었습니다.
2.0.0 지원 중단됨 2018년 5월 17일에 지원 중단되었습니다.

Dataflow 2.x SDK

참고: 개발용 SDK 버전(자바용 -SNAPSHOT 및 Python용 .dev)은 지원되지 않습니다.

다음 표에는 Dataflow 2.x SDK의 지원 상태가 나와 있습니다.

자바

변경 사항은 자바용 Dataflow SDK 2.x 출시 노트를 참조하세요.

SDK 버전 상태 세부정보
2.5.0 지원 중단됨

2019년 6월 6일에 지원 중단되었습니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.4.0 지원 중단됨

2019년 3월 20일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.3.0 지원 중단됨

2019년 1월 30일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.2.0 지원 중단됨

2018년 12월 2일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.1.0 지원 중단됨

2018년 8월 23일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.0.0 지원 중단됨

2018년 5월 17일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2020년 8월 12일에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 사용 중단됨

2018년 2월 28일에 사용 중단되었습니다.

알려진 문제:
  • 경우에 따라 Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14 GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.

Python

변경 사항은 Python용 Dataflow SDK 2.x 출시 노트를 참조하세요.

SDK 버전 상태 세부정보
2.5.0 지원 중단됨 2019년 6월 6일에 지원 중단되었습니다.
2.4.0 지원 중단됨 2019년 3월 20일에 지원 중단되었습니다.
2.3.0 지원 중단됨 2019년 1월 30일에 지원 중단되었습니다.
2.2.0 지원 중단됨 2018년 12월 2일에 지원 중단되었습니다.
2.1.1 지원 중단됨 2018년 8월 23일에 지원 중단되었습니다.
Python six 패키지와의 호환성 문제를 해결했습니다.
자세한 정보는 출시 노트를 참조하세요.
2.1.0 지원 중단됨 2018년 8월 23일에 지원 중단되었습니다.
이 출시 버전에는 Python six 1.11.0 패키지와의 호환성 문제가 있습니다.
자세한 정보는 출시 노트를 참조하세요.
2.0.0 지원 중단됨 2018년 5월 17일에 지원 중단되었습니다.
이 출시 버전에는 Python six 1.11.0 패키지와의 호환성 문제가 있습니다.
자세한 정보는 출시 노트를 참조하세요.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
 사용 중단됨 2018년 1월 29일부터 사용 중단되었습니다.
0.2.7 및 이전 버전 사용 중단됨 2017년 3월 23일부터 사용 중단되었습니다.