Serverless pour Apache Spark : environnement d'exécution Spark 2.2.x

Composants de la version d'exécution Spark 2.2

Composant 2.2.58
2025/08/22		 2.2.57
2025/08/14
 2.2.56
2025/08/12		 2.2.55
2025/07/31		 2.2.54
2025/07/01
Apache SparkRemarque 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Connecteur Cloud Storage 3.0.3 3.0.3 3.0.3 3.0.3 3.0.3
Connecteur BigQuery 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Remarques :

1. L'environnement d'exécution 2.2 utilise l'encodage de caractères par défaut UTF-8.

Bibliothèques du runtime Spark 2.2

Elles incluent des bibliothèques d'apprentissage telles que TensorFlow, PyTorch et XGBoost, et offrent un environnement prêt à l'emploi pour les applications de machine learning et de data science.

Les sections suivantes listent les versions de bibliothèque disponibles dans la version d'exécution 2.2 de Serverless pour Apache Spark.

Bibliothèques spécifiques aux GPU

Pour les charges de travail par lot Serverless pour Apache Spark qui utilisent des VM GPU, les pilotes et bibliothèques NVIDIA suivants sont disponibles dans le conteneur Serverless pour Apache Spark. Vous pouvez les utiliser pour effectuer les tâches suivantes :

  • Accélérer les charges de travail Spark par lot avec la bibliothèque NVIDIA Spark Rapids
  • Entraîner des charges de travail de machine learning
  • Exécuter l'inférence par lots distribuée à l'aide de Spark
Nom du package Version
Spark Rapids 24.04.0
Pilote NVIDIA 550.127.05
CUDA 12.6
cublas 12.8.4
cusolver 11.7.3
cupti 12.8.90
cusparse 12.5.8
cuDNN 9.2
NCCL 2,22

Bibliothèques XGBoost

Les versions de package Maven suivantes sont disponibles dans la version 2.2 de l'environnement d'exécution Serverless pour Apache Spark afin d'utiliser XGBoost avec Spark en Java ou Scala.

ID du groupe Nom du package Version
ml.dmlc xgboost4j-gpu_2.13 2.1.1
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.1

Bibliothèques Python

Les versions suivantes de la bibliothèque Python sont incluses dans la version 2.2 de l'environnement d'exécution Serverless pour Apache Spark.

Bibliothèques Python serverless-spark-2.2-debian-12
Nom du package Version
accélérer 0,33
bigframes 1,7
cookiecutter 2,6
cython 3,0
dask 2024.5
deepspeed 0,14
delta-spark 3.2
evaluate 0,4
fastavro 1.9
fastparquet 2024.2
gcsfs 2024.5
git 2,45
google-auth-oauthlib 1.2
google-cloud-aiplatform 1,60
google-cloud-bigquery 3.23
google-cloud-bigquery-storage 2,25
google-cloud-bigtable 2.23
google-cloud-container 2,45
google-cloud-datacatalog 3.19
google-cloud-dataproc 5,9
google-cloud-datastore 2,19
google-cloud-dlp 3,22
google-cloud-language 2,13
google-cloud-logging 3,10
google-cloud-monitoring 2.21
google-cloud-pubsub 2.21
google-cloud-redis 2.15
google-cloud-secret-manager 2.20
google-cloud-spanner 3.46
google-cloud-speech 2.26
google-cloud-storage 2,16
google-cloud-texttospeech 2,16
google-cloud-translate 3,15
google-cloud-vision 3.7
httplib2 0.22
huggingface_hub 0,27
ipyparallel 8,8
ipython-sql 0,3
ipywidgets 8.1
jupyter_http_over_ws 0,0
jupyterlab 4.1
jupyterlab-git 0.50
keyrings.google-artifactregistry-auth 1.1
langchain 0,2
lightgbm 4.5
markdown 3.6
matplotlib 3.8
nbclassic 1.0
nbconvert 7.16
nbdime 4.0
nltk 3.8
nodejs 20.12
numba 0.59
numpy 1,26
oauth2client 4.1
onnx 1.16
openblas 0,3
opencv 4.9
orc 2.0
pandas 2.2
papermill 2,6
pyarrow 15,0
pydot 2.0
pyhive 0,7
pymongo 4.7
pynvml 11.5
pytables 3.9
pytorch-cpu 2.3
regex 2024.5
requêtes 2,31
rtree 1.2
scikit-image 0.22
scikit-learn 1,5
scipy 1.11
seaborn 0,12
sentence-transformers 3,0
shap 0,45
spark-tensorflow-distributor 1.0
sparksql-magic 0.0.3
sqlalchemy 2.0
sympy 1.12
tokenizers 0.19
torcheval 0.0.7
torchvision 0.18
toree 0,5
tornade 6.4
transformers 4,43
uritemplate 4.1
virtualenv 20.26
wordcloud 1.9
xgboost 2.0
ydata-profiling 4,8

Bibliothèques R

Les versions suivantes de la bibliothèque R sont incluses dans la version d'exécution 2.2 de Serverless pour Apache Spark.

Bibliothèques R serverless-spark-2.2-debian-12
Nom du package Version
askpass 1.2
assertthat 0,2
rétroportages 1,5
bit 4.0
bit64 4.0
blob 1.2
boot 1.3_30
préparer 1.0_10
balai 1.0
callr 3.7
curseur de saisie 6.0_94
cellranger 1.1
chron 2.3_61
classe 7.3_22
cli 3.6
clipr 0,8
cluster 2.1
codetools 0.2_20
espace colorimétrique 2.1_0
commonmark 1.9
cpp11 0,4
crayon gras 1,5
curl 5.1
data.table 1.15
dbi 1.2
dbplyr 2.5
décroiss. 1.4
outils de développement 2.4
condensé 0,6
dplyr 1.1
points de suspension 0,3
evaluate 0,23
fansi 1.0
fastmap 1.2
forcats 1.0
foreach 1,5
foreign 0.8_86
fs 1,6
future 1.33
génériques ; 0,1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
globals 0,16
colle 1,7
gower 1.0
gtable 0,3
havre 2.5
highr 0,10
hms 1.1
htmltools 0.5.8
htmlwidgets 1,6
httpuv 1,6
httr 1.4
hwriter 1.3.2
ini 0,3
ipred 0.9_14
isobande 0,2
itérateurs 1.0
jsonlite 1,8
kernsmooth 2.23_24
knitr 1,46
étiquetage 0,4
plus tard 1.3
réseau 0.22_6
lave 1,7
lifecycle 1.0
listenv 0,9
lubridate 1.9
magrittr 2.0
markdown 1.12
masse 7.3_60
matrice 1.6_5
mémoriser 2.0
mgcv 1.9_1
mime 0,12
modelmetrics 1.2.2
modelr 0,1
munsell 0,5
nlme 3.1_164
nnet 7.3_19
numderiv 2016.8_1
openssl 2.2
pilier 1.9
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.3
plogr 0,2
plyr 1,8
louange 1.0
prettyunits 1.2
processx 3.8
prodlim 2023.08
progress 1.2
promesses 1.3
proto 1.0
ps 1,7
purrr 1.0
r6 2.5
randomforest 4.7_1
rappdirs 0,3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1.0
rcurl 1.98_1
readr 2.1
readxl 1.4
recipes 1.0
rematch 2.0
télécommandes 2.5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2.27
rodbc 1.3_23
roxygen2 7,3
rpart 4.1
rprojroot 2.0
rserve 1.8_7
rsqlite 2.3
rstudioapi 0,16
rvest 1.0
échelles 1.3
selectr 0.4_2
sessioninfo 1.2
forme 1.4.6
brillant 1.8.1
sourcetools 0,1
spatial 7.3_17
squarem 2021.1
stringi 1,8
stringr 1,5
survie 3.6_4
sys 3.4
teachingdemos 2.12
testthat 3.2.1
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
timedate 4032.109
tinytex 0,51
usethis 2.2
utf8 1.2
uuid 1.2_0
vctrs 0,6
moustache 0,4
withr 3,0
xfun 0,44
xml2 1.3
xopen 1.0
xtable 1.8_4
yaml 2.3
zip 2.3