Dataproc 이미지 버전 목록

Google Dataproc는 이미지 버전을 사용하여 운영체제, 빅데이터 구성요소, Google Cloud Platform 커넥터를 클러스터에 배포되는 하나의 패키지 번들로 묶습니다. 자세한 내용은 Dataproc 버전 관리를 참조하세요.

기본 Dataproc 이미지 버전

Dataproc은 기본 이미지 버전을 일반 안정화 버전의 Debian 기반 Dataproc 이미지 버전으로 GA 날짜로부터 1개월 후에 업데이트합니다.

지원되는 Dataproc 버전

Debian 이미지

Dataproc 클러스터에서 지원되는 Debian 10 기반 이미지 버전은 다음과 같습니다. 새로운 클러스터는 출시 이후 버전에 적용된 모든 하위 세부 패치를 포함하도록 생성됩니다.

버전 마지막 업데이트 날짜 출시 날짜 지원 만료일 참고
2.0-debian10 2022/08/13 2021/01/22 2023/06/30 일반 안정화 출시 버전입니다.
1.5-debian10 2022/08/13 2020/03/25 2023/03/31 일반 안정화 출시 버전입니다.

Ubuntu 이미지

Dataproc 클러스터에서 지원되는 Ubuntu 18.04 LTS 기반 이미지 버전은 다음과 같습니다. 새로운 클러스터는 출시 이후 버전에 적용된 모든 하위 세부 패치를 포함하도록 생성됩니다.

버전 마지막 업데이트 날짜 출시 날짜 지원 만료일 참고
2.0-ubuntu18 2022/08/13 2021/01/22 2023/06/30 일반 안정화 출시 버전입니다.
1.5-ubuntu18 2022/08/13 2020/03/25 2023/03/31 일반 안정화 출시 버전입니다.

Rocky Linux 이미지

Dataproc 클러스터에서 지원되는 Rocky Linux 기반 이미지 버전은 다음과 같습니다. 새로운 클러스터는 출시 이후 버전에 적용된 모든 하위 세부 패치를 포함하도록 생성됩니다.

버전 마지막 업데이트 날짜 출시 날짜 지원 만료일 참고
2.0-rocky8 2022/08/13 2022/02/18 2023/06/30 일반 안정화 출시 버전입니다.
1.5-rocky8 2022/08/13 2022/02/18 2023/03/31 일반 안정화 출시 버전입니다.

지원되지 않는 Dataproc 버전

다음 Dataproc 버전은 지원되지 않습니다. Dataproc은 이러한 버전으로 생성된 클러스터에 대한 업데이트 및 지원을 제공하지 않습니다. 지원되지 않는 버전으로 작성된 클러스터를 계속 실행할 수 있지만 지원되는 버전으로 작성된 새 클러스터로 교체하는 것이 좋습니다.

버전 포함 항목 출시 날짜 마지막 업데이트 날짜 참고
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Cloud Storage 커텍터 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
 2021/03/16 2022/02/01 2022/02/01 현재 지원되지 않습니다.
2.0.30-centos8이 최종 출시 버전입니다.
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 커넥터 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
 2020/12/14 2022/02/01 2022/02/01 현재 지원되지 않습니다.
1.5.56-centos8이 최종 출시 버전입니다.
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 커넥터 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
 2019/03/22 2022/02/01 2022/02/01부터 지원되지 않습니다.
1.4.80-debian10/-ubuntu18이 최종 출시 버전입니다.
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 커넥터 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
 2018/06/29 2021/12/22 2021/08/01 이후로 지원되지 않습니다.
1.3.95-debian10/-ubuntu18은 log4j2 취약점이 해결된 최종 출시 버전입니다. 참고: 이전에 출시된 버전은 취약하므로 업그레이드해야 합니다.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 커넥터 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
 2019/03/22 2020/07/10 2020/07/10 현재 지원되지 않음.
1.4.33-debian9가 최종 출시 버전입니다.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 커넥터 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
 2018/06/29 2020/07/10 2020/07/10 현재 지원되지 않음.
1.3.62-debian9가 최종 출시 버전입니다.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 커넥터 1.6.10-hadoop2
BigQuery 커넥터 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
 2017/07/21 2020/07/10 2020/07/10 현재 지원되지 않음.
1.2.102-debian9가 최종 출시 버전입니다.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 커넥터 1.6.10-hadoop2
BigQuery 커넥터 0.10.11-hadoop2		 2016/08/08 2019/09/26 2019/10/01부터 지원되지 않습니다.
1.1.121-debian9가 최종 출시 버전입니다.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 커넥터 1.6.10-hadoop2
BigQuery 커넥터 0.10.11-hadoop2		 2016/02/22 2019/05/09 GA 이미지의 처음 출시 버전.
2019/04/01 현재 지원되지 않음.
1.0.119-debian9가 최종 출시 버전입니다.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 커넥터 1.5.1-hadoop2
BigQuery 커넥터 0.7.7-hadoop2		 2015/11/18 2016/08/02 베타 이미지의 두 번째 출시 버전입니다.
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage 커넥터 1.5.1-hadoop2
BigQuery 커넥터 0.7.7-hadoop2		 2015/09/23 2016/08/02 Dataproc 베타 출시.
Spark 1.5는 Hive 1.2를 대상으로 컴파일되었습니다.