Apache Spark용 서버리스 Spark 런타임 2.3.x

Spark 런타임 버전 2.3 구성요소

구성요소 2.3.6
2025/07/31		 2.3.5
2025/07/01
 2.3.4
2025/06/20		 2.3.3
2025/06/10		 2.3.2
2025/06/06
Apache Spark 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 커넥터 3.1.2 3.1.2 3.1.2 3.1.2 3.1.2
BigQuery 커넥터 0.42.3 0.42.3 0.42.3 0.42.3 0.42.3
자바 17 17 17 17 17
Python 3.11 3.11 3.11 3.11 3.11
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

참고:

  • 2.3 런타임은 UTF-8 기본 문자 인코딩을 사용합니다.

Spark 런타임 2.3 라이브러리

TensorFlow, PyTorch, XGBoost와 같은 머신러닝 라이브러리를 지원하며 머신러닝 및 데이터 과학 애플리케이션을 위한 즉시 사용 가능한 환경을 제공합니다.

다음 섹션에는 Apache Spark용 서버리스 런타임 버전 2.3에서 사용할 수 있는 라이브러리 버전이 나열되어 있습니다.

GPU 관련 라이브러리

GPU VM을 사용하는 Apache Spark용 서버리스 일괄 워크로드의 경우 다음 NVIDIA 드라이버와 라이브러리를 Apache Spark용 서버리스 컨테이너에서 사용할 수 있습니다. 이러한 기능을 사용하여 다음 작업을 수행할 수 있습니다.

패키지 이름 버전
Spark Rapids 25.02.1
NVIDIA 드라이버 570.133.20
CUDA 12.9
cublas 12.9.0
cusolver 11.7.4
cupti 12.9
cusparse 12.5.9
cuDNN 9.10
NCCL 2.26

XGBoost 라이브러리

다음 Maven 패키지 버전은 Apache Spark용 서버리스 런타임 버전 2.2에서 Java 또는 Scala의 Spark와 함께 XGBoost를 사용하는 데 사용할 수 있습니다.

그룹 ID 패키지 이름 버전
ml.dmlc xgboost4j-gpu_2.13 2.1.4
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.4

Python 라이브러리

다음 Python 라이브러리 버전은 Apache Spark용 Serverless 런타임 버전 2.3에 포함되어 있습니다.

serverless-spark-2.2-debian-12 Python 라이브러리
패키지 이름 버전
accelerate 1.7
bigframes 2.4
cookiecutter 2.6
cython 3.1
dask 2025.5
데이터 세트 3.6
deepspeed 0.16
delta-spark 3.2
evaluate 0.4
fastavro 1.9
fastparquet 2024년 11월
gcsfs 2025.3
git 2.49
google-auth-oauthlib 1.2
google-cloud-aiplatform 1.94
google-cloud-bigquery 3.33
google-cloud-bigquery-storage 2.31
google-cloud-bigtable 2.31
google-cloud-container 2.56
google-cloud-datacatalog 3.27
google-cloud-dataproc 5.18
google-cloud-datastore 2.21
google-cloud-dlp 3.29
google-cloud-language 2.17
google-cloud-logging 3.12
google-cloud-monitoring 2.27
google-cloud-pubsub 2.29
google-cloud-redis 2.18
google-cloud-secret-manager 2.23
google-cloud-spanner 3.54
google-cloud-speech 2.32
google-cloud-storage 2.19
google-cloud-texttospeech 2.27
google-cloud-translate 3.20
google-cloud-vision 3.10
httplib2 0.22
huggingface_hub 0.31
ipyparallel 9.0
ipython-sql 0.3
ipywidgets 8.1
jupyter_http_over_ws 0.0
jupyterlab 4.4
jupyterlab-git 0.51
keyrings.google-artifactregistry-auth 1.1
langchain 0.3
lightgbm 4.6
마크다운 3.8
matplotlib 3.9
nbclassic 1.3
nbconvert 7.16
nbdime 4.0
nltk 3.9
nodejs 22.13
numba 0.61
numpy 1.26
oauth2client 4.1
onnx 1.17
openblas 0.3
opencv 4.10
orc 2.0
pandas 2.2
제지 공장 2.6
pyarrow 15.0
pydot 4.0
pyhive 0.7
pyiceberg 0.9
pymongo 4.11
pynvml 12.0
pytables 3.10
pytorch-gpu 2.4
regex 2024년 11월
요청 2.32
rtree 1.4
scikit-image 0.25
scikit-learn 1.6
scipy 1.13
seaborn 0.13
sentence-transformers 4.1
shap 0.47
spark-tensorflow-distributor 1.0
sparksql-magic 0.0.3
sqlalchemy 2.0
sympy 1.14
토크나이저 0.21
torcheval 0.0.7
torchvision 0.19
toree 0.5
토네이도 6.5
transformers 4.52
uritemplate 4.1
virtualenv 20.31
wordcloud 1.9
xgboost 2.1
ydata-profiling 4.16

R 라이브러리

다음 R 라이브러리 버전은 Apache Spark를 위한 서버리스 런타임 버전 2.3에 포함되어 있습니다.

serverless-spark-2.2-debian-12 r 라이브러리
패키지 이름 버전
askpass 1.2
assertthat 0.2
백포트 1.5
비트 4.6
bit64 4.6
blob 1.2
boot 1.3_31
brew 1.0_10
빗자루 1.0
callr 3.7
캐럿 6.0_94
cellranger 1.1
chron 2.3_62
클래스 7.3_23
CLI 3.6
clipr 0.8
클러스터 2.1
codetools 0.2_20
색상 공간 2.1_1
commonmark 1.9
cpp11 0.5
크레용 1.5
curl 6.2
data.table 1.17
dbi 1.2
dbplyr 2.5
내림차순 1.4
devtools 2.4
다이제스트 0.6
dplyr 1.1
생략 기호 0.3
evaluate 1.0
fansi 1.0
fastmap 1.2
forcats 1.0
foreach 1.5
외국 0.8_90
fs 1.6
future 1.49
제네릭 0.1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
전역 0.18
glue 1.8
gower 1.0
gtable 0.3
haven 2.5
highr 0.11
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0.3
ipred 0.9_15
isoband 0.2
반복자 1.0
jsonlite 2.0
kernsmooth 2.23_26
knitr 1.50
라벨 지정 0.4
나중에 1.4
격자 0.22_7
용암 1.8
lifecycle 1.0
listenv 0.9
lubridate 1.9
magrittr 2.0
마크다운 2.0
mass 7.3_60
행렬 1.6_5
메모이제이션 2.0
mgcv 1.9_3
mime 0.13
modelmetrics 1.2.2
modelr 0.1
먼셀 0.5
nlme 3.1_168
nnet 7.3_20
numderiv 2016.8_1
openssl 2.3
기둥 1.10
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.4
plogr 0.2
plyr 1.8
찬양 1.0
prettyunits 1.2
processx 3.8
prodlim 2025년 4월
progress 1.2
프라미스 1.3
proto 1.0
ps 1.9
purrr 1.0
r6 2.6
randomforest 4.7_1
rappdirs 0.3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1.0
rcurl 1.98_1
readr 2.1
readxl 1.4
레시피 1.3
권장 4.3
다시 경기 2.0
리모컨 2.5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2.29
rodbc 1.3_25
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_14
rsqlite 2.3
rstudioapi 0.17
rvest 1.0
체중계 1.4
selectr 0.4_2
sessioninfo 1.2
shape 1.4.6
샤이니 1.10
sourcetools 0.1
공간 7.3_18
squarem 2021.1
stringi 1.8
stringr 1.5
생존 3.8_3
sys 3.4
teachingdemos 2.13
testthat 3.2
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
timedate 4041.110
tinytex 0.57
usethis 3.1
utf8 1.2
uuid 1.2_1
vctrs 0.6
위스커 0.4
withr 3.0
xfun 0.52
xml2 1.3
xopen 1.0
xtable 1.8_4
yaml 2.3
우편번호 2.3