서버리스 Dataproc Spark 런타임 2.2.x

최신 Dataproc Serverless 런타임 업데이트 알림은 Dataproc Serverless 출시 노트를 참조하세요.

Spark 런타임 버전 2.2 구성요소

구성요소	2.2.30 2024/10/31	2.2.29 2024/10/25	2.2.28 2024/10/17	2.2.27 2024/10/11	2.2.26 2024/10/04
Apache Spark^참고 1	3.5.1	3.5.1	3.5.1	3.5.1	3.5.1
Cloud Storage 커넥터	3.0.3	3.0.3	3.0.0	3.0.0	3.0.0
BigQuery 커넥터	0.36.4	0.36.4	0.36.4	0.36.4	0.36.4
자바	17	17	17	17	17
Conda	24.1	24.1	24.1	24.1	24.1
Python	3.12	3.12	3.12	3.12	3.12
R	4.3	4.3	4.3	4.3	4.3
Scala	2.13	2.13	2.13	2.13	2.13

참고:

1. 2.2 런타임은 UTF-8 기본 문자 인코딩을 사용합니다.

Spark 런타임 2.2 라이브러리

머신러닝 라이브러리(예: TensorFlow, PyTorch, XGBoost)를 지원하고 머신러닝 및 데이터 과학 애플리케이션을 위한 바로 사용할 수 있는 환경을 제공합니다.

다음 섹션에는 Spark를 위한 Dataproc Serverless 런타임 버전 2.2에서 사용할 수 있는 라이브러리 버전이 나와 있습니다.

GPU별 라이브러리

다음 NVIDIA 드라이버 및 Spark Rapids 라이브러리 버전은 Dataproc Serverless 컨테이너에서 NVIDIA Spark Rapids 라이브러리를 사용하여 Spark 배치 워크로드를 가속화하는 데 사용할 수 있습니다.

패키지 이름	버전
Spark Rapids	24.04.0
NVIDA 드라이버	550.127.05

XGBoost 라이브러리

참고: Spark의 분산 XGBoost는 JVM 패키지와 PySpark API를 사용하여 사용할 수 있습니다. Dataproc Serverless 2.2 런타임은 PySpark API를 사용하는 분산 XGBoost를 지원합니다. 탄력적 확장을 시작하는 새 노드가 새 작업을 수신하지 못하고 유휴 상태로 유지되므로 자동 확장이 사용 설정된(기본 동작) Dataproc Serverless 일괄 워크로드에서는 분산 Spark XGBoost를 사용할 수 없습니다. 일괄 워크로드에서 XGBoost를 사용하려면 일괄 워크로드에서 spark.dynamicAllocation.enabled = false 속성을 설정하여 동적 할당을 사용 중지할 수 있습니다.

Python 라이브러리

다음 Python 라이브러리 버전은 Spark를 위한 Dataproc Serverless 런타임 버전 2.2에 포함되어 있습니다.

패키지 이름	버전
accelerate	0.33
bigframes	1.7
cookiecutter	2.6
cython	3.0
dask	2024.5
deepspeed	0.14
evaluate	0.4
fastavro	1.9
fastparquet	2024.2
gcsfs	2024.5
git	2.45
google-auth-oauthlib	1.2
google-cloud-aiplatform	1.60
google-cloud-bigquery	3.23
google-cloud-bigquery-storage	2.25
google-cloud-bigtable	2.23
google-cloud-container	2.45
google-cloud-datacatalog	3.19
google-cloud-dataproc	5.9
google-cloud-datastore	2.19
google-cloud-dlp	3.22
google-cloud-language	2.13
google-cloud-logging	3.10
google-cloud-monitoring	2.21
google-cloud-pubsub	2.21
google-cloud-redis	2.15
google-cloud-secret-manager	2.20
google-cloud-spanner	3.46
google-cloud-speech	2.26
google-cloud-storage	2.16
google-cloud-texttospeech	2.16
google-cloud-translate	3.15
google-cloud-vision	3.7
httplib2	0.22
ipyparallel	8.8
ipython-sql	0.3
ipywidgets	8.1
jupyter_http_over_ws	0.0
jupyterlab	4.1
jupyterlab-git	0.50
keyrings.google-artifactregistry-auth	1.1
langchain	0.2
lightgbm	4.5
마크다운	3.6
matplotlib	3.8
nbclassic	1.0
nbconvert	7.16
nbdime	4.0
nltk	3.8
nodejs	20.12
numba	0.59
numpy	1.26
oauth2client	4.1
openblas	0.3
opencv	4.9
orc	2.0
pandas	2.2
papermill	2.6
pyarrow	15.0
pydot	2.0
pyhive	0.7
pymongo	4.7
pynvml	11.5
pytables	3.9
pytorch-cpu	2.3
regex	2024.5
요청	2.31
rtree	1.2
scikit-image	0.22
scikit-learn	1.5
scipy	1.11
seaborn	0.12
sentence-transformers	3.0
sqlalchemy	2.0
sympy	1.12
토크나이저	0.19
transformers	4.43
토네이도	6.4
uritemplate	4.1
virtualenv	20.26
wordcloud	1.9
xgboost	2.0
ydata-profiling	4.8

R 라이브러리

다음 R 라이브러리 버전은 Spark를 위한 Dataproc Serverless 런타임 버전 2.2에 포함되어 있습니다.

패키지 이름	버전
askpass	1.2
assertthat	0.2
백포팅	1.5
비트	4.0
bit64	4.0
blob	1.2
boot	1.3_30
양조	1.0_10
빗자루	1.0
callr	3.7
캐럿	6.0_94
cellranger	1.1
chron	2.3_61
클래스	7.3_22
CLI	3.6
clipr	0.8
클러스터	2.1
codetools	0.2_20
colorspace	2.1_0
commonmark	1.9
cpp11	0.4
크레용	1.5
curl	5.1
data.table	1.15
dbi	1.2
dbplyr	2.5
내림차순	1.4
devtools	2.4
다이제스트	0.6
dplyr	1.1
생략 기호	0.3
evaluate	0.23
fansi	1.0
fastmap	1.2
forcats	1.0
foreach	1.5
외국	0.8_86
fs	1.6
future	1.33
제네릭	0.1
ggplot2	3.5
gh	1.4
glmnet	4.1_8
전역	0.16
풀	1.7
가워	1.0
gtable	0.3
피난처	2.5
highr	0.10
hms	1.1
htmltools	0.5.8
htmlwidgets	1.6
httpuv	1.6
httr	1.4
hwriter	1.3.2
ini	0.3
ipred	0.9_14
isoband	0.2
iterators	1.0
jsonlite	1.8
kernsmooth	2.23_24
knitr	1.46
라벨 지정	0.4
나중에	1.3
격자	0.22_6
용암	1.7
수명 주기	1.0
listenv	0.9
lubridate	1.9
magrittr	2.0
마크다운	1.12
질량	7.3_60
행렬	1.6_5
memoise	2.0
mgcv	1.9_1
mime	0.12
modelmetrics	1.2.2
modelr	0.1
munsell	0.5
nlme	3.1_164
nnet	7.3_19
numderiv	2016.8_1
openssl	2.2
핵심 요소	1.9
pkgbuild	1.4
pkgconfig	2.0
pkgload	1.3
plogr	0.2
plyr	1.8
칭찬	1.0
prettyunits	1.2
processx	3.8
prodlim	2023년 8월
progress	1.2
약속	1.3
proto	1.0
ps	1.7
purrr	1.0
r6	2.5
randomforest	4.7_1
rappdirs	0.3
rcmdcheck	1.4
rcolorbrewer	1.1_3
rcpp	1.0
rcurl	1.98_1
readr	2.1
readxl	1.4
레시피	1.0
재대결	2.0
리모컨	2.5
reprex	2.1
reshape2	1.4
rlang	1.1
rmarkdown	2.27
rodbc	1.3_23
roxygen2	7.3
rpart	4.1
rprojroot	2.0
rserve	1.8_7
rsqlite	2.3
rstudioapi	0.16
rvest	1.0
비늘	1.3
selectr	0.4_2
sessioninfo	1.2
도형	1.4.6
반짝임	1.8.1
sourcetools	0.1
공간	7.3_17
squarem	2021.1
stringi	1.8
stringr	1.5
생존	3.6_4
sys	3.4
teachingdemos	2.12
testthat	3.2.1
tibble	3.2
tidyr	1.3
tidyselect	1.2
tidyverse	2.0
timedate	4032.109
tinytex	0.51
usethis	2.2
utf8	1.2
uuid	1.2_0
vctrs	0.6
수염	0.4
withr	3.0
xfun	0.44
xml2	1.3
xopen	1.0
xtable	1.8_4
yaml	2.3
우편번호	2.3