Serverless for Apache Spark – Spark-Laufzeit 2.3.x

Komponenten der Spark-Laufzeitversion 2.3

Komponente 2.3.9
2025/08/22		 2.3.8
2025/08/14
 2.3.7
2025/08/12		 2.3.6
2025/07/31		 2.3.5
2025/07/01
Apache Spark 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage-Connector 3.1.2 3.1.2 3.1.2 3.1.2 3.1.2
BigQuery-Connector 0.42.3 0.42.3 0.42.3 0.42.3 0.42.3
Java 17 17 17 17 17
Python 3.11 3.11 3.11 3.11 3.11
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Hinweise:

  • Für die 2.3-Laufzeit wird die Standardzeichencodierung UTF-8 verwendet.

Spark-Laufzeit 2.3-Bibliotheken

Bibliotheken für maschinelles Lernen wie TensorFlow, PyTorch und XGBoost und bieten eine sofort einsatzbereite Umgebung für Anwendungen für maschinelles Lernen und Data Science.

In den folgenden Abschnitten sind die Bibliotheksversionen aufgeführt, die in der Laufzeitversion 2.3 von Serverless für Apache Spark verfügbar sind.

GPU-spezifische Bibliotheken

Für Serverless for Apache Spark-Batcharbeitslasten, die GPU-VMs verwenden, sind die folgenden NVIDIA-Treiber und ‑Bibliotheken im Serverless for Apache Spark-Container verfügbar. Sie können sie für die folgenden Aufgaben verwenden:

  • Spark-Batch-Arbeitslasten mit der NVIDIA Spark Rapids-Bibliothek beschleunigen
  • Arbeitslasten für maschinelles Lernen trainieren
  • Verteilte Batchinferenz mit Spark ausführen
Paketname Version
Spark Rapids 25.02.1
NVIDIA-Treiber 570.133.20
CUDA 12.9
cublas 12.9.0
cusolver 11.7.4
cupti 12.9
cusparse 12.5.9
cuDNN 9.10
NCCL 2,26

XGBoost-Bibliotheken

Die folgenden Maven-Paketversionen sind in der Laufzeitversion 2.2 von Serverless für Apache Spark verfügbar, um XGBoost mit Spark in Java oder Scala zu verwenden.

Gruppen-ID Paketname Version
ml.dmlc xgboost4j-gpu_2.13 2.1.4
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.4

Python-Bibliotheken

Die folgenden Python-Bibliotheksversionen sind in der Serverless for Apache Spark-Laufzeitversion 2.3 enthalten.

serverless-spark-2.2-debian-12-Python-Bibliotheken
Paketname Version
beschleunigen 1,7
bigframes 2.4
cookiecutter 2,6
cython 3.1
dask 2025.5
Datasets 3,6
deepspeed 0,16
delta-spark 3.2
evaluate 0,4
fastavro 1.9
fastparquet November 2024
gcsfs 2025.3
git 2,49
google-auth-oauthlib 1.2
google-cloud-aiplatform 1,94
google-cloud-bigquery 3,33
google-cloud-bigquery-storage 2,31
google-cloud-bigtable 2,31
google-cloud-container 2.56
google-cloud-datacatalog 3.27
google-cloud-dataproc 5.18
google-cloud-datastore 2.21
google-cloud-dlp 3,29
google-cloud-language 2,17
google-cloud-logging 3.12
google-cloud-monitoring 2.27
google-cloud-pubsub 2,29
google-cloud-redis 2,18
google-cloud-secret-manager 2.23
google-cloud-spanner 3,54
google-cloud-speech 2,32
google-cloud-storage 2,19
google-cloud-texttospeech 2.27
google-cloud-translate 3.20
google-cloud-vision 3,10
httplib2 0.22
huggingface_hub 0,31
ipyparallel 9,0
ipython-sql 0,3
ipywidgets 8.1
jupyter_http_over_ws 0,0
jupyterlab 4.4
jupyterlab-git 0,51
keyrings.google-artifactregistry-auth 1.1
langchain 0,3
lightgbm 4.6
Markdown 3,8
matplotlib 3,9
nbclassic 1,3
nbconvert 7.16
nbdime 4,0
nltk 3,9
nodejs 22.13
numba 0,61
numpy 1,26
oauth2client 4.1
onnx 1.17
openblas 0,3
opencv 4.10
orc 2.0
pandas 2,2
Ghostwriting-Agentur 2,6
pyarrow 15,0
pydot 4,0
pyhive 0,7
pyiceberg 0,9
pymongo 4.11
pynvml 12.0
pytables 3,10
pytorch-gpu 2.4
regex November 2024
Anfragen 2,32
rtree 1,4
scikit-image 0,25
scikit-learn 1,6
scipy 1.13
seaborn 0,13
sentence-transformers 4.1
shap 0,47
spark-tensorflow-distributor 1,0
sparksql-magic 0.0.3
sqlalchemy 2.0
sympy 1,14
Tokenizer 0,21
torcheval 0.0.7
torchvision 0,19
Toree 0,5
Tornado 6.5
transformers 4,52
uritemplate 4.1
virtualenv 20.31
wordcloud 1.9
xgboost 2.1
ydata-profiling 4,16

R-Bibliotheken

Die folgenden R-Bibliotheksversionen sind in der Serverless for Apache Spark-Laufzeitversion 2.3 enthalten.

serverless-spark-2.2-debian-12 r libraries
Paketname Version
askpass 1.2
assertthat 0,2
Backports 1,5
Bit 4.6
bit64 4.6
blob 1.2
Stiefel 1.3_31
aufbrühen 1.0_10
Besen 1,0
callr 3,7
Caret-Zeichen 6.0_94
cellranger 1.1
chron 2.3_62
Klasse 7.3_23
Befehlszeile 3,6
clipr 0,8
Cluster 2.1
codetools 0.2_20
colorspace 2.1_1
CommonMark 1.9
cpp11 0,5
Buntstift 1,5
curl 6.2
data.table 1.17
dbi 1.2
dbplyr 2,5
Ab 1,4
devtools 2.4
Hashwert 0,6
dplyr 1.1
Auslassungszeichen 0,3
evaluate 1,0
fansi 1,0
Fastmap 1.2
forcats 1,0
foreach 1,5
ausländisch 0.8_90
fs 1,6
future 1,49
Generika 0,1
ggplot2 3,5
gh 1,4
glmnet 4.1_8
Globale Variablen 0,18
Kleber 1.8
Gower 1,0
gtable 0,3
Haven 2,5
höher 0,11
hms 1.1
htmltools 0.5.8
htmlwidgets 1,6
httpuv 1,6
httr 1,4
hwriter 1.3.2
ini 0,3
ipred 0.9_15
isoband 0,2
Iteratoren 1,0
jsonlite 2.0
kernsmooth 2.23_26
knitr 1,50
Kennzeichnung 0,4
später 1,4
Gitter 0.22_7
Lava 1.8
Lebenszyklus 1,0
listenv 0,9
lubridate 1.9
magrittr 2.0
Markdown 2.0
Masse 7.3_60
Matrix 1.6_5
auswendig lernen 2.0
mgcv 1.9_3
Mime 0,13
modelmetrics 1.2.2
modelr 0,1
Munsell 0,5
nlme 3.1_168
nnet 7.3_20
numderiv 2016.8_1
openssl 2.3
Säule 1.10
pkgbuild 1,4
pkgconfig 2.0
pkgload 1,4
plogr 0,2
plyr 1.8
Lob 1,0
prettyunits 1.2
processx 3,8
prodlim April 2025
Fortschritt 1.2
Promise-Objekte 1,3
Proto 1,0
ps 1.9
purrr 1,0
r6 2,6
randomforest 4.7_1
rappdirs 0,3
rcmdcheck 1,4
rcolorbrewer 1.1_3
rcpp 1,0
rcurl 1.98_1
readr 2.1
readxl 1,4
Rezepte 1,3
empfohlen 4.3
Rematch 2.0
Fernbedienungen 2,5
reprex 2.1
reshape2 1,4
rlang 1.1
rmarkdown 2,29
rodbc 1.3_25
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_14
rsqlite 2.3
rstudioapi 0,170
rvest 1,0
Waagen 1,4
selectr 0.4_2
sessioninfo 1.2
Form 1.4.6
glänzend 1.10
sourcetools 0,1
räumlich 7.3_18
squarem 2021.1
stringi 1.8
stringr 1,5
Überleben 3.8_3
sys 3.4
teachingdemos 2,13
testthat 3.2
Tibble 3.2
tidyr 1,3
tidyselect 1.2
tidyverse 2.0
Datum 4041.110
tinytex 0.57
usethis 3.1
utf8 1.2
uuid 1.2_1
vctrs 0,6
Whisker 0,4
withr 3
xfun 0,52
xml2 1,3
xopen 1,0
xtable 1.8_4
yaml 2.3
zip 2.3