Serverless for Apache Spark – Spark-Laufzeitversion 1.2.x

Spark-Laufzeitversion 1.2-Komponenten

Komponente 1.2.58
2025/08/22		 1.2.57
2025/08/14
 1.2.56
2025/08/12		 1.2.55
2025/07/31		 1.2.54
2025/07/01
Apache SparkHinweis 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage-Connector 3.0.3 3.0.3 3.0.3 3.0.3 3.0.3
BigQuery-Connector 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

Hinweise:

1. Die Serverless for Apache Spark-Laufzeit 1.2 verwendet die Standardzeichencodierung UTF-8.

Spark-Laufzeit 1.2-Bibliotheken

Serverless for Apache Spark bietet eine vorinstallierte Umgebung für maschinelles Lernen und Data Science mit beliebten Bibliotheken wie TensorFlow, PyTorch und XGBoost.

In den folgenden Abschnitten sind die Bibliotheksversionen aufgeführt, die in der Laufzeitversion 1.2 von Serverless für Apache Spark verfügbar sind.

GPU-spezifische Bibliotheken

Für Serverless for Apache Spark-Batcharbeitslasten, die GPU-VMs verwenden, sind die folgenden NVIDIA-Treiber und ‑Bibliotheken im Serverless for Apache Spark-Container verfügbar. Sie können sie für die folgenden Aufgaben verwenden:

  • Spark-Batch-Arbeitslasten mit der NVIDIA Spark Rapids-Bibliothek beschleunigen
  • Arbeitslasten für maschinelles Lernen trainieren
  • Verteilte Batchinferenz mit Spark ausführen
Paketname Version
Spark Rapids 24.04.0
NVIDIA-Treiber 550.127.05
CUDA 12.6
cublas 12.8.4
cusolver 11.7.3
cupti 12,8
cusparse 12.5.8
cuDNN 9.2
NCCL 2.22

XGBoost-Bibliotheken

Die folgenden Maven-Paketversionen sind in der Laufzeitversion 1.2 von Serverless für Apache Spark verfügbar, um XGBoost mit Spark in Java oder Scala zu verwenden.

Gruppen-ID Paketname Version
ml.dmlc xgboost4j-gpu_2.12 2.0.3
ml.dmlc xgboost4j-spark-gpu_2.12 2.0.3

Python-Bibliotheken

Die folgenden Python-Bibliotheksversionen sind in der Serverless for Apache Spark-Laufzeitversion 1.2 enthalten.

serverless-spark-1.2-debian-12-Python-Bibliotheken
Paketname Version
beschleunigen 0,33
bigframes 1,7
cookiecutter 2,6
cython 3
dask 2024.5
deepspeed 0,14
delta-spark 3.2
evaluate 0,4
fastavro 1.9
fastparquet 2024.2
gcsfs 2024.5
git 2,45
google-auth-oauthlib 1.2
google-cloud-aiplatform 1,60
google-cloud-bigquery 3,23
google-cloud-bigquery-storage 2,25
google-cloud-bigtable 2.23
google-cloud-container 2,45
google-cloud-datacatalog 3.19
google-cloud-dataproc 5.9
google-cloud-datastore 2,19
google-cloud-dlp 3,22
google-cloud-language 2,13
google-cloud-logging 3,10
google-cloud-monitoring 2.21
google-cloud-pubsub 2.21
google-cloud-redis 2.15
google-cloud-secret-manager 2.20
google-cloud-spanner 3.46
google-cloud-speech 2,26
google-cloud-storage 2,16
google-cloud-texttospeech 2,16
google-cloud-translate 3,15
google-cloud-vision 3,7
httplib2 0.22
huggingface_hub 0,27
ipyparallel 8.8
ipython-sql 0,3
ipywidgets 8.1
jupyter_http_over_ws 0,0
jupyterlab 4.1
jupyterlab-git 0,50
keyrings.google-artifactregistry-auth 1.1
langchain 0,2
lightgbm 4.5
Markdown 3,6
matplotlib 3,8
nbclassic 1,0
nbconvert 7.16
nbdime 4,0
nltk 3,8
nodejs 20.12
numba 0.59
numpy 1,26
oauth2client 4.1
onnx 1.16
openblas 0,3
opencv 4,9
orc 2.0
pandas 2,2
Ghostwriting-Agentur 2,6
pyarrow 15,0
pydot 2.0
pyhive 0,7
pymongo 4.7
pynvml 11.5
pytables 3,9
pytorch-cpu 2.3
regex 2024.5
Anfragen 2,31
rtree 1.2
scikit-image 0.22
scikit-learn 1,5
scipy 1.11
seaborn 0,12
sentence-transformers 3
shap 0,45
spark-tensorflow-distributor 1,0
sparksql-magic= 0.0.3
sqlalchemy 2.0
sympy 1.12
Tokenizer 0,19
torcheval 0.0.7
torchvision 0,18
Toree 0,5
Tornado 6.4
transformers 4.43
uritemplate 4.1
virtualenv 20.26
wordcloud 1.9
xgboost 2.0
ydata-profiling 4,8

R-Bibliotheken

Die folgenden R-Bibliotheksversionen sind in der Serverless for Apache Spark-Laufzeitversion 1.2 enthalten.

serverless-spark-1.2-debian-12 r libraries
Paketname Version
askpass 1.2
assertthat 0,2
Backports 1,5
Bit 4,0
bit64 4,0
blob 1.2
Stiefel 1.3_30
aufbrühen 1.0_10
Besen 1,0
callr 3,7
Caret-Zeichen 6.0_94
cellranger 1.1
chron 2.3_61
Klasse 7.3_22
Befehlszeile 3,6
clipr 0,8
Cluster 2.1
codetools 0.2_20
colorspace 2.1_0
CommonMark 1.9
cpp11 0,4
Buntstift 1,5
curl 5.1
data.table 1,15
dbi 1.2
dbplyr 2,5
Ab 1,4
devtools 2.4
Hashwert 0,6
dplyr 1.1
Auslassungszeichen 0,3
evaluate 0,23
fansi 1,0
Fastmap 1.2
forcats 1,0
foreach 1,5
ausländisch 0,8_86
fs 1,6
future 1.33
Generika 0,1
ggplot2 3,5
gh 1,4
glmnet 4.1_8
Globale Variablen 0,16
Kleber 1,7
Gower 1,0
gtable 0,3
Haven 2,5
höher 0,10
hms 1.1
htmltools 0.5.8
htmlwidgets 1,6
httpuv 1,6
httr 1,4
hwriter 1.3.2
ini 0,3
ipred 0.9_14
isoband 0,2
Iteratoren 1,0
jsonlite 1.8
kernsmooth 2.23_24
knitr 1,46
Kennzeichnung 0,4
später 1,3
Gitter 0.22_6
Lava 1,7
Lebenszyklus 1,0
listenv 0,9
lubridate 1.9
magrittr 2.0
Markdown 1.12
Masse 7.3_60
Matrix 1.6_5
auswendig lernen 2.0
mgcv 1.9_1
Mime 0,12
modelmetrics 1.2.2
modelr 0,1
Munsell 0,5
nlme 3.1_164
nnet 7.3_19
numderiv 2016.8_1
openssl 2,2
Säule 1.9
pkgbuild 1,4
pkgconfig 2.0
pkgload 1,3
plogr 0,2
plyr 1.8
Lob 1,0
prettyunits 1.2
processx 3,8
prodlim August 2023
Fortschritt 1.2
Promise-Objekte 1,3
Proto 1,0
ps 1,7
purrr 1,0
r6 2,5
randomforest 4.7_1
rappdirs 0,3
rcmdcheck 1,4
rcolorbrewer 1.1_3
rcpp 1,0
rcurl 1.98_1
readr 2.1
readxl 1,4
Rezepte 1,0
Rematch 2.0
Fernbedienungen 2,5
reprex 2.1
reshape2 1,4
rlang 1.1
rmarkdown 2.27
rodbc 1.3_23
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_7
rsqlite 2.3
rstudioapi 0,16
rvest 1,0
Waagen 1,3
selectr 0.4_2
sessioninfo 1.2
Form 1.4.6
glänzend 1.8.1
sourcetools 0,1
räumlich 7.3_17
squarem 2021.1
stringi 1.8
stringr 1,5
Überleben 3.6_4
sys 3.4
teachingdemos 2,12
testthat 3.2.1
Tibble 3.2
tidyr 1,3
tidyselect 1.2
tidyverse 2.0
Datum 4032.109
tinytex 0,51
usethis 2,2
utf8 1.2
uuid 1.2_0
vctrs 0,6
Whisker 0,4
withr 3
xfun 0.44
xml2 1,3
xopen 1,0
xtable 1.8_4
yaml 2.3
zip 2.3