SDK 버전 지원 상태

다음 페이지에는 Cloud Dataflow SDK 출시 버전 지원 상태가 나와 있습니다.

Apache Beam 2.x SDK

Apache Beam은 오픈소스 커뮤니티 주도 프로젝트입니다. Google은 이 커뮤니티에 참여는 하지만 프로젝트를 소유하거나 출시 프로세스를 관리하지 않습니다. Google은 Cloud Dataflow 고객을 대신하여 Apache Beam 코드베이스에 버그를 열거나 패치를 제출할 수 있지만 요청에 따라 Apache Beam의 핫픽스 또는 공식 출시 버전을 만들 수는 없습니다.

하지만 Apache Beam 커뮤니티는 특정 출시 버전을 장기 지원(LTS) 출시 버전으로 지정합니다. LTS 출시 버전은 지정된 기간 동안 주요 문제를 해결하기 위한 패치를 받습니다. 출시 정책에 대한 자세한 내용은 Apache Beam 정책 페이지를 참조하세요.

참고: 개발용 SDK 버전(자바용 -SNAPSHOT 및 Python용 .dev)은 지원되지 않습니다.

다음 표에는 Apache Beam 2.x SDK의 지원 상태가 나와 있습니다.

자바

Cloud Dataflow는 아래 나열된 SDK 버전에 대해 특정 Apache Beam SDK 구성요소를 지원합니다. 이들 구성요소는 Cloud Dataflow로 철저하게 테스트되었습니다. 실험용 기능은 지원되지 않습니다.

변경 내용은 Apache Beam 출시 노트를 참조하세요.

SDK 버전 상태 지원되는 구성요소 세부정보
2.16.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2020년 10월 7일에 지원 중단됩니다.
2.15.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2020년 8월 23일에 지원 중단됩니다.

알려진 문제:
  • 스키마 기능(SQL 변환 포함)을 사용하는 Cloud Dataflow 사용자는 알려진 문제로 인해 2.15.0으로 업그레이드할 수 없습니다. 자세한 내용은 Apache Beam 문제 추적기를 참조하세요.
2.14.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2020년 8월 1일에 지원 중단됩니다.
2.13.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2020년 6월 6일에 지원 중단됩니다.

이 출시 버전에서는 JDK 9 이상을 실험적으로 지원합니다. 자세한 내용은 Apache Beam 문제 추적기를 참조하세요.
2.12.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2020년 4월 25일에 지원 중단됩니다.

알려진 문제:
  • Cloud Dataflow 실행기에서 로깅 구성이 잘못되어 모든 로그가 누락될 수 있습니다. 이 문제를 해결하려면 slf4j-jdk14를 런타임 종속 항목에 추가합니다.
2.11.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2020년 3월 1일에 지원 중단됩니다.

알려진 문제:
  • Cloud Dataflow 실행기에서 로깅 구성이 잘못되어 모든 로그가 누락될 수 있습니다. 이 문제를 해결하려면 slf4j-jdk14를 런타임 종속 항목에 추가합니다.
2.10.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2020년 2월 11일에 지원 중단됩니다.

알려진 문제:
  • SDK 2.10.0은 다음과 같은 알려진 문제가 있는 gcsio 클라이언트 라이브러리 버전 1.9.13을 사용합니다.

    이러한 문제를 해결하려면 SDK 2.11.0으로 업그레이드하거나 gcsio 클라이언트 라이브러리 버전을 1.9.16 이상으로 재정의합니다.

  • Cloud Dataflow 실행기에서 로깅 구성이 잘못되어 모든 로그가 누락될 수 있습니다. 이 문제를 해결하려면 slf4j-jdk14를 런타임 종속 항목에 추가합니다.
2.9.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2019년 12월 13일에 지원 중단됩니다.

알려진 문제:
  • 스트리밍 엔진(베타) 실험을 사용 설정한 사용자는 알려진 문제로 인해 SDK 2.9.0으로 업그레이드할 수 없습니다. SDK 2.9.0을 사용하려면 enable_conscrypt_security_provider 실험용 플래그를 설정하여 알려진 안정성 문제가 있는 Conscrypt도 사용 설정해야 합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.8.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2019년 10월 25일에 지원 중단됩니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 추적으로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.7.0 LTS 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

Apache Beam SDK 2.7.0은 장기 지원(LTS) 출시 버전이며 2019년 5월 16일까지 패치가 제공됩니다.

이 버전은 2019년 10월 3일에 지원 중단됩니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 추적으로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.6.0 지원됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka

이 버전은 2019년 8월 8일에 지원 중단됩니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 추적으로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.5.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019년 6월 6일에 지원 중단되었습니다.

알려진 문제:
  • Conscrypt 라이브러리 문제로 인해 파이프라인이 중단될 수 있습니다. Conscrypt 관련 호출이 포함된 스택 추적으로 Stackdriver Logging에 오류가 발생하면 이 문제의 영향을 받을 수 있습니다. 이 문제를 해결하려면 SDK 2.9.0 이상으로 업그레이드합니다.
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.4.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management

2019년 3월 20일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.3.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management

2019년 1월 30일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.2.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management

2018년 12월 2일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.1.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management

2018년 8월 23일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.0.0 지원 중단됨 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2018년 5월 17일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Apache Beam 자바 SDK 2.9.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.

Python

SDK 버전 상태 세부정보
2.16.0 지원됨 이 버전은 2020년 10월 7일에 지원 중단됩니다.
2.15.0 지원됨 이 버전은 2020년 8월 23일에 지원 중단됩니다.
2.14.0 지원됨

이 버전은 2020년 8월 1일에 지원 중단됩니다.

알려진 문제:
  • 이 출시 버전에 추가된 MongoDB에 데이터 손실로 이어질 수 있는 알려진 문제가 있습니다. 자세한 내용은 BEAM-7866을 참조하세요.
2.13.0 지원됨 이 버전은 2020년 6월 6일에 지원 중단됩니다.
2.12.0 지원됨 이 버전은 2020년 4월 25일에 지원 중단됩니다.
2.11.0 지원됨 이 버전은 2020년 3월 1일에 지원 중단됩니다.
2.10.0 지원됨 이 버전은 2020년 2월 11일에 지원 중단됩니다.
2.9.0 지원됨 이 버전은 2019년 12월 13일에 지원 중단됩니다.
2.8.0 지원됨 이 버전은 2019년 10월 25일에 지원 중단됩니다.
2.7.0 LTS 지원됨

2.7.0은 장기 지원(LTS) 출시 버전이며 2019년 5월 16일까지 패치가 제공됩니다.

이 버전은 2019년 10월 3일에 지원 중단됩니다.
2.6.0 지원됨 이 버전은 2019년 8월 8일에 지원 중단됩니다.
2.5.0 지원 중단됨 2019년 6월 6일에 지원 중단되었습니다.
2.4.0 지원 중단됨 2019년 3월 20일에 지원 중단되었습니다. 이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
2.3.0 지원 중단됨 2019년 1월 30일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
2.2.0 지원 중단됨 2018년 12월 2일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
2.1.1
2.1.0		 지원 중단됨 2018년 8월 23일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
2.0.0 지원 중단됨 2018년 5월 17일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

Cloud Dataflow 2.x SDK

참고: 개발용 SDK 버전(자바용 -SNAPSHOT 및 Python용 .dev)은 지원되지 않습니다.

다음 표에는 Cloud Dataflow 2.x SDK의 지원 상태가 나와 있습니다.

자바

변경 정보에 대해서는 자바용 Cloud Dataflow SDK 2.x 출시 노트를 참조하세요.

SDK 버전 상태 세부정보
2.5.0 지원 중단됨

2019년 6월 6일에 지원 중단되었습니다.

알려진 문제:
  • 경우에 따라 Cloud Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.4.0 지원 중단됨

2019년 3월 20일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Cloud Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.3.0 지원 중단됨

2019년 1월 30일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Cloud Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.2.0 지원 중단됨

2018년 12월 2일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Cloud Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.1.0 지원 중단됨

2018년 8월 23일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Cloud Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.0.0 지원 중단됨

2018년 5월 17일에 지원 중단되었습니다.

이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.

알려진 문제:
  • 경우에 따라 Cloud Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.
2.0.0-beta3
2.0.0-beta2 2.0.0-beta1 		사용 중단됨

2018년 2월 28일에 사용 중단되었습니다.

알려진 문제:
  • 경우에 따라 Cloud Dataflow 자바 SDK 2.5.0 이하 사용자가 Cloud Storage에서 파일을 읽을 때 데이터 중복이 발생할 수 있습니다. 다음 조건이 모두 충족되면 중복이 발생할 수 있습니다.
    • 콘텐츠 인코딩이 gzip으로 설정된 파일을 읽고 있으며 파일이 Cloud Storage에서 동적으로 압축 해제 트랜스코딩되어 있습니다.
    • 파일 크기(압축 해제)가 2.14GB보다 큽니다.
    • 2.14GB를 읽은 후 입력 스트림에서 오류가 발생합니다(그런 후 다시 생성됨).
    이 문제를 해결하려면 콘텐츠 인코딩 헤더를 설정하지 말고 적절한 확장자(예: gzip의 경우 gz)를 사용하여 Cloud Storage에 압축 파일을 저장합니다. 기존 파일의 경우 gsutil 도구를 사용하여 콘텐츠 인코딩 헤더 및 파일 이름을 업데이트하면 됩니다.

Python

변경 내용을 확인하려면 Python용 Cloud Dataflow SDK 2.x 출시 노트를 참조하세요.

SDK 버전 상태 세부정보
2.5.0 지원 중단됨 2019년 6월 6일에 지원 중단되었습니다.
2.4.0 지원 중단됨 2019년 3월 20일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
2.3.0 지원 중단됨 2019년 1월 30일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
2.2.0 지원 중단됨 2018년 12월 2일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
2.1.1 지원 중단됨 2018년 8월 23일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
Python six 패키지와의 호환성 문제를 해결했습니다.
자세한 정보는 출시 노트를 참조하세요.
2.1.0 지원 중단됨 2018년 8월 23일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
이 출시 버전에는 Python six 1.11.0 패키지와의 호환성 문제가 있습니다.
자세한 정보는 출시 노트를 참조하세요.
2.0.0 지원 중단됨 2018년 5월 17일에 지원 중단되었습니다.
이 버전은 JSON-RPC 및 전역 HTTP 배치 엔드포인트 지원 중단으로 인해 2019년 말에 지원 중단됩니다.
이 출시 버전에는 Python six 1.11.0 패키지와의 호환성 문제가 있습니다.
자세한 정보는 출시 노트를 참조하세요.
0.6.0
0.5.5 0.5.1 0.4.4 0.4.3 0.4.2 0.4.1 0.4.0 		사용 중단됨 2018년 1월 29일부터 사용 중단되었습니다.
0.2.7 및 이전 버전 사용 중단됨 2017년 3월 23일부터 사용 중단되었습니다.

Cloud Dataflow 1.x SDK

다음 표에는 자바용 Cloud Dataflow 1.x SDK의 지원 상태가 나와 있습니다. 변경 정보에 대해서는 자바용 Cloud Dataflow SDK 1.x 출시 노트를 참조하세요.

SDK 버전 상태 세부정보
1.9.1
1.9.0 		지원되지 않음 2018년 10월 16일부터 지원되지 않음
1.8.1
1.8.0 		지원되지 않음 2018년 4월 9일부터 지원되지 않음
1.7.0
 지원되지 않음 2018년 3월 12일부터 지원되지 않음
1.6.1
1.6.0		 지원되지 않음 2018년 1월 22일부터 지원되지 않음
1.5.1
1.5.0 1.4.0 1.3.0 		지원되지 않음 2017년 10월 1일부터 지원되지 않음
1.2.1
1.2.0 1.1.0 1.0.0 		지원되지 않음 2017년 2월 26일부터 지원되지 않음
1.0.0 이전(0.4.* 및 0.3.*) 지원되지 않음
이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

이 페이지
문서에 대한 의견
Cloud Dataflow
제품에 대한 의견
도움이 필요하시나요? 지원 페이지를 방문하세요.