Serverless for Apache Spark Spark 运行时 1.2.x

Spark 运行时版本 1.2 组件

组件 1.2.58
2025/08/22		 1.2.57
2025/08/14
 1.2.56
2025/08/12		 1.2.55
2025/07/31		 1.2.54
2025/07/01
Apache Spark注意 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.3 3.0.3 3.0.3 3.0.3 3.0.3
BigQuery 连接器 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

注意：

1. Serverless for Apache Spark 1.2 运行时使用 UTF-8 默认字符编码。

Spark 运行时 1.2 库

Serverless for Apache Spark 提供预安装的环境，其中包含 TensorFlow、PyTorch 和 XGBoost 等热门库，可用于机器学习和数据科学。

以下部分列出了在无服务器版 Apache Spark 运行时版本 1.2 中可用的库版本。

GPU 专用库

对于使用 GPU 虚拟机的 Serverless for Apache Spark 批量工作负载，Serverless for Apache Spark 容器中提供了以下 NVIDIA 驱动程序和库。您可以使用这些工具完成以下任务：

  • 使用 NVIDIA Spark Rapids 库加速 Spark 批处理工作负载
  • 训练机器学习工作负载
  • 使用 Spark 运行分布式批量推理
软件包名称 版本
Spark Rapids 24.04.0
NVIDIA 驱动程序 550.127.05
CUDA 12.6
cublas 12.8.4
cusolver 11.7.3
cupti 12.8
cusparse 12.5.8
cuDNN 9.2
NCCL 2.22

XGBoost 库

在 Serverless for Apache Spark 运行时版本 1.2 中，提供了以下 Maven 软件包版本，可让您在 Java 或 Scala 中将 XGBoost 与 Spark 搭配使用。

群组 ID 软件包名称 版本
ml.dmlc xgboost4j-gpu_2.12 2.0.3
ml.dmlc xgboost4j-spark-gpu_2.12 2.0.3

Python 库

Serverless for Apache Spark 运行时版本 1.2 中包含以下 Python 库版本。

serverless-spark-1.2-debian-12 Python 库
软件包名称 版本
accelerate 0.33
bigframes 1.7
cookiecutter 2.6
cython 3.0
dask 2024.5
deepspeed 0.14
delta-spark 3.2
evaluate 0.4
fastavro 1.9
fastparquet 2024.2
gcsfs 2024.5
git 2.45
google-auth-oauthlib 1.2
google-cloud-aiplatform 1.60
google-cloud-bigquery 3.23
google-cloud-bigquery-storage 2.25
google-cloud-bigtable 2.23
google-cloud-container 2.45
google-cloud-datacatalog 3.19
google-cloud-dataproc 5.9
google-cloud-datastore 2.19
google-cloud-dlp 3.22
google-cloud-language 2.13
google-cloud-logging 3.10
google-cloud-monitoring 2.21
google-cloud-pubsub 2.21
google-cloud-redis 2.15
google-cloud-secret-manager 2.20
google-cloud-spanner 3.46
google-cloud-speech 2.26
google-cloud-storage 2.16
google-cloud-texttospeech 2.16
google-cloud-translate 3.15
google-cloud-vision 3.7
httplib2 0.22
huggingface_hub 0.27
ipyparallel 8.8
ipython-sql 0.3
ipywidgets 8.1
jupyter_http_over_ws 0.0
jupyterlab 4.1
jupyterlab-git 0.50
keyrings.google-artifactregistry-auth 1.1
langchain 0.2
lightgbm 4.5
markdown 3.6
matplotlib 3.8
nbclassic 1.0
nbconvert 7.16
nbdime 4.0
nltk 3.8
nodejs 20.12
numba 0.59
numpy 1.26
oauth2client 4.1
onnx 1.16
openblas 0.3
opencv 4.9
orc 2.0
pandas 2.2
papermill 2.6
pyarrow 15.0
pydot 2.0
pyhive 0.7
pymongo 4.7
pynvml 11.5
pytables 3.9
pytorch-cpu 2.3
regex 2024.5
请求 2.31
rtree 1.2
scikit-image 0.22
scikit-learn 1.5
scipy 1.11
seaborn 0.12
sentence-transformers 3.0
shap 0.45
spark-tensorflow-distributor 1.0
sparksql-magic= 0.0.3
sqlalchemy 2.0
sympy 1.12
tokenizers 0.19
torcheval 0.0.7
torchvision 0.18
toree 0.5
龙卷风 6.4
transformers 4.43
uritemplate 4.1
virtualenv 20.26
wordcloud 1.9
xgboost 2.0
ydata-profiling 4.8

R 库

Serverless for Apache Spark 运行时版本 1.2 中包含以下 R 库版本。

serverless-spark-1.2-debian-12 R 库
软件包名称 版本
askpass 1.2
assertthat 0.2
向后移植 1.5
位 4.0
bit64 4.0
blob 1.2
启动 1.3_30
冲泡 1.0_10
扫帚 1.0
callr 3.7
脱字符号 6.0_94
cellranger 1.1
chron 2.3_61
class 7.3_22
CLI 3.6
clipr 0.8
集群 2.1
codetools 0.2_20
色彩空间 2.1_0
CommonMark 1.9
cpp11 0.4
蜡笔 1.5
curl 5.1
data.table 1.15
dbi 1.2
dbplyr 2.5
降序 1.4
devtools 2.4
摘要 0.6
dplyr 1.1
省略号 0.3
evaluate 0.23
fansi 1.0
fastmap 1.2
forcats 1.0
foreach 1.5
外语 0.8_86
fs 1.6
future 1.33
泛型 0.1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
全局变量 0.16
glue 1.7
gower 1.0
gtable 0.3
haven 2.5
highr 0.10
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0.3
ipred 0.9_14
isoband 0.2
迭代器 1.0
jsonlite 1.8
kernsmooth 2.23_24
knitr 1.46
加标签 0.4
稍后 1.3
网格 0.22_6
lava 1.7
生命周期 1.0
listenv 0.9
lubridate 1.9
magrittr 2.0
markdown 1.12
mass 7.3_60
矩阵 1.6_5
memoise 2.0
mgcv 1.9_1
mime 0.12
modelmetrics 1.2.2
modelr 0.1
munsell 0.5
nlme 3.1_164
nnet 7.3_19
numderiv 2016.8_1
openssl 2.2
支柱 1.9
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.3
plogr 0.2
plyr 1.8
赞美 1.0
prettyunits 1.2
processx 3.8
prodlim 2023.08
进度 1.2
承诺 1.3
proto 1.0
ps 1.7
purrr 1.0
r6 2.5
randomforest 4.7_1
rappdirs 0.3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1.0
rcurl 1.98_1
readr 2.1
readxl 1.4
食谱 1.0
rematch 2.0
遥控器 2.5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2.27
rodbc 1.3_23
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_7
rsqlite 2.3
rstudioapi 0.16
rvest 1.0
体重秤 1.3
selectr 0.4_2
sessioninfo 1.2
shape 1.4.6
闪亮 1.8.1
sourcetools 0.1
空间 7.3_17
squarem 2021.1
stringi 1.8
stringr 1.5
生存 3.6_4
sys 3.4
教学演示 2.12
testthat 3.2.1
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
timedate 4032.109
tinytex 0.51
usethis 2.2
utf8 1.2
uuid 1.2_0
vctrs 0.6
胡须 0.4
withr 3.0
xfun 0.44
xml2 1.3
xopen 1.0
xtable 1.8_4
yaml 2.3
zip 2.3