Serverless untuk Apache Spark Spark runtime 2.3.x

Komponen Spark runtime versi 2.3

Komponen 2.3.9
2025/08/22		 2.3.8
14/08/2025
 2.3.7
2025/08/12		 2.3.6
2025/07/31		 2.3.5
2025/07/01
Apache Spark 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage Connector 3.1.2 3.1.2 3.1.2 3.1.2 3.1.2
Konektor BigQuery 0.42.3 0.42.3 0.42.3 0.42.3 0.42.3
Java 17 17 17 17 17
Python 3.11 3.11 3.11 3.11 3.11
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Catatan:

  • Runtime 2.3 menggunakan encoding karakter default UTF-8.

Library runtime Spark 2.3

pembelajaran, seperti TensorFlow, PyTorch, dan XGBoost, serta menawarkan lingkungan siap pakai untuk aplikasi machine learning dan data science.

Bagian berikut mencantumkan versi library yang tersedia di Serverless untuk versi runtime Apache Spark 2.3.

Library khusus GPU

Untuk workload batch Serverless untuk Apache Spark yang menggunakan VM GPU, driver dan library NVIDIA berikut tersedia di container Serverless untuk Apache Spark. Anda dapat menggunakannya untuk menyelesaikan tugas berikut:

  • Percepat workload batch Spark dengan library NVIDIA Spark Rapids
  • Melatih workload machine learning
  • Menjalankan inferensi batch terdistribusi menggunakan Spark
Nama Paket Versi
Spark Rapids 25.02.1
Driver NVIDIA 570.133.20
CUDA 12.9
cublas 12.9.0
cusolver 11.7.4
cupti 12.9
cusparse 12.5.9
cuDNN 9.10
NCCL 2.26

Library XGBoost

Versi paket Maven berikut tersedia di Serverless for Apache Spark versi runtime 2.2 untuk menggunakan XGBoost dengan Spark di Java atau Scala.

ID Grup Nama Paket Versi
ml.dmlc xgboost4j-gpu_2.13 2.1.4
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.4

Library Python

Versi library Python berikut disertakan dalam Serverless untuk Apache Spark versi runtime 2.3.

serverless-spark-2.2-debian-12 python libraries
Nama Paket Versi
mempercepat 1,7
bigframes 2,4
cookiecutter 2.6
cython 3.1
dask 2025.5
datasets 3,6
deepspeed 0,16
delta-spark 3.2
evaluate 0,4
fastavro 1.9
fastparquet 2024.11
gcsfs 2025.3
git 2,49
google-auth-oauthlib 1,2
google-cloud-aiplatform 1,94
google-cloud-bigquery 3,33
google-cloud-bigquery-storage 2,31
google-cloud-bigtable 2,31
google-cloud-container 2,56
google-cloud-datacatalog 3.27
google-cloud-dataproc 5.18
google-cloud-datastore 2.21
google-cloud-dlp 3,29
google-cloud-language 2,17
google-cloud-logging 3.12
google-cloud-monitoring 2,27
google-cloud-pubsub 2,29
google-cloud-redis 2,18
google-cloud-secret-manager 2.23
google-cloud-spanner 3,54
google-cloud-speech 2,32
google-cloud-storage 2.19
google-cloud-texttospeech 2,27
google-cloud-translate 3.20
google-cloud-vision 3,10
httplib2 0,22
huggingface_hub 0,31
ipyparallel 9.0
ipython-sql 0,3
ipywidgets 8.1
jupyter_http_over_ws 0,0
jupyterlab 4,4
jupyterlab-git 0,51
keyrings.google-artifactregistry-auth 1.1
langchain 0,3
lightgbm 4.6
markdown 3.8
matplotlib 3.9
nbclassic 1,3
nbconvert 7.16
nbdime 4.0
nltk 3.9
nodejs 22.13
numba 0,61
numpy 1,26
oauth2client 4.1
onnx 1.17
openblas 0,3
opencv 4.10
orc 2.0
pandas 2.2
pabrik kertas 2.6
pyarrow 15,0
pydot 4.0
pyhive 0,7
pyiceberg 0,9
pymongo 4.11
pynvml 12.0
pytables 3,10
pytorch-gpu 2,4
regex 2024.11
permintaan 2,32
rtree 1.4
scikit-image 0,25
scikit-learn 1.6
scipy 1.13
seaborn 0,13
sentence-transformers 4.1
shap 0,47
spark-tensorflow-distributor 1,0
sparksql-magic 0.0.3
sqlalchemy 2.0
sympy 1,14
tokenizer 0,21
torcheval 0.0.7
torchvision 0,19
toree 0,5
tornado 6.5
transformer 4,52
uritemplate 4.1
virtualenv 20.31
wordcloud 1.9
xgboost 2.1
ydata-profiling 4,16

Library R

Versi library R berikut disertakan dalam Serverless untuk Apache Spark versi runtime 2.3.

serverless-spark-2.2-debian-12 r libraries
Nama Paket Versi
askpass 1,2
assertthat 0,2
backports 1,5
bit 4.6
bit64 4.6
blob 1,2
booting 1.3_31
seduh 1.0_10
sapu 1,0
callr 3.7
tanda sisipan 6.0_94
cellranger 1.1
chron 2.3_62
class 7.3_23
cli 3,6
clipr 0,8
cluster 2.1
codetools 0.2_20
ruang warna 2.1_1
commonmark 1.9
cpp11 0,5
krayon 1,5
curl 6.2
data.table 1.17
dbi 1,2
dbplyr 2,5
menurun 1.4
devtools 2,4
ringkasan 0,6
dplyr 1.1
elipsis 0,3
evaluate 1,0
fansi 1,0
fastmap 1,2
forcats 1,0
foreach 1,5
asing 0.8_90
fs 1.6
mendatang 1,49
generik 0,1
ggplot2 3,5
gh 1.4
glmnet 4.1_8
global 0,18
lem 1,8
gower 1,0
gtable 0,3
tempat perlindungan 2,5
lebih tinggi 0,11
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0,3
ipred 0.9_15
isoband 0,2
iterator 1,0
jsonlite 2.0
kernsmooth 2.23_26
knitr 1,50
pelabelan 0,4
nanti 1.4
kisi 0.22_7
lava 1,8
lifecycle 1,0
listenv 0,9
lubridate 1.9
magrittr 2.0
markdown 2.0
massa 7.3_60
matriks 1.6_5
memoise 2.0
mgcv 1.9_3
mime 0,13
modelmetrics 1.2.2
modelr 0,1
munsell 0,5
nlme 3.1_168
nnet 7.3_20
numderiv 2016.8_1
openssl 2.3
pilar 1.10
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.4
plogr 0,2
plyr 1,8
pujian 1,0
prettyunits 1,2
processx 3.8
prodlim 04/2025
progres 1,2
janji 1,3
proto 1,0
ps 1.9
purrr 1,0
r6 2.6
randomforest 4.7_1
rappdirs 0,3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1,0
rcurl 1.98_1
readr 2.1
readxl 1.4
resep 1,3
direkomendasikan 4.3
pertandingan ulang 2.0
remote 2,5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2,29
rodbc 1.3_25
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_14
rsqlite 2.3
rstudioapi 0,17
rvest 1,0
skala 1.4
selectr 0.4_2
sessioninfo 1,2
bentuk 1.4.6
mengilap 1.10
sourcetools 0,1
spasial 7.3_18
squarem 2021.1
stringi 1,8
stringr 1,5
bertahan hidup 3.8_3
sys 3.4
teachingdemos 2.13
testthat 3.2
tibble 3.2
tidyr 1,3
tidyselect 1,2
tidyverse 2.0
timedate 4041.110
tinytex 0,57
usethis 3.1
utf8 1,2
uuid 1.2_1
vctrs 0,6
kumis 0,4
withr 3.0
xfun 0,52
xml2 1,3
xopen 1,0
xtable 1.8_4
yaml 2.3
zip 2.3