Sem servidor para Apache Spark Spark runtime 2.3.x

Componentes da versão 2.3 do ambiente de execução do Spark

Componente 2.3.9
2025/08/22		 2.3.8
14/08/2025
 2.3.7
2025/08/12		 2.3.6
2025/07/31		 2.3.5
2025/07/01
Apache Spark 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Conector do Cloud Storage 3.1.2 3.1.2 3.1.2 3.1.2 3.1.2
Conector do BigQuery 0.42.3 0.42.3 0.42.3 0.42.3 0.42.3
Java 17 17 17 17 17
Python 3.11 3.11 3.11 3.11 3.11
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Observações:

  • O ambiente de execução 2.3 usa a codificação de caracteres padrão UTF-8.

Bibliotecas do ambiente de execução do Spark 2.3

bibliotecas de aprendizado, como TensorFlow, PyTorch e XGBoost, e oferecem um ambiente pronto para uso em aplicativos de machine learning e ciência de dados.

As seções a seguir listam as versões de biblioteca disponíveis na versão 2.3 do ambiente de execução sem servidor para Apache Spark.

Bibliotecas específicas da GPU

Para cargas de trabalho em lote do Serverless para Apache Spark que usam VMs de GPU, o seguinte driver e bibliotecas da NVIDIA estão disponíveis no contêiner do Serverless para Apache Spark. Você pode usá-las para realizar as seguintes tarefas:

  • Acelere as cargas de trabalho em lote do Spark com a biblioteca NVIDIA Spark Rapids
  • Treinar cargas de trabalho de machine learning
  • Executar inferência em lote distribuída usando o Spark
Nome do pacote Versão
Spark Rapids 25.02.1
Driver NVIDIA 570.133.20
CUDA 12,9
cublas 12.9.0
cusolver 11.7.4
cupti 12,9
cusparse 12.5.9
cuDNN 9.10
NCCL 2,26

Bibliotecas XGBoost

As seguintes versões de pacote do Maven estão disponíveis na versão 2.2 do ambiente de execução sem servidor para Apache Spark para usar o XGBoost com o Spark em Java ou Scala.

ID do grupo Nome do pacote Versão
ml.dmlc xgboost4j-gpu_2.13 2.1.4
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.4

Bibliotecas do Python

As seguintes versões da biblioteca Python estão incluídas na versão 2.3 do ambiente de execução sem servidor para Apache Spark.

Bibliotecas Python serverless-spark-2.2-debian-12
Nome do pacote Versão
acelerar 1,7
bigframes 2.4
cookiecutter 2,6
cython 3.1
dask 2025.5
conjuntos de dados 3.6
deepspeed 0,16
delta-spark 3.2
evaluate 0,4
fastavro 1.9
fastparquet 2024.11
gcsfs 2025.3
git 2,49
google-auth-oauthlib 1.2
google-cloud-aiplatform 1,94
google-cloud-bigquery 3,33
google-cloud-bigquery-storage 2,31
google-cloud-bigtable 2,31
google-cloud-container 2,56
google-cloud-datacatalog 3,27
google-cloud-dataproc 5.18
google-cloud-datastore 2,21
google-cloud-dlp 3,29
google-cloud-language 2,17
google-cloud-logging 3.12
google-cloud-monitoring 2,27
google-cloud-pubsub 2,29
google-cloud-redis 2,18
google-cloud-secret-manager 2,23
google-cloud-spanner 3,54
google-cloud-speech 2,32
google-cloud-storage 2,19
google-cloud-texttospeech 2,27
google-cloud-translate 3,20
google-cloud-vision 3.10
httplib2 0.22
huggingface_hub 0,31
ipyparallel 9,0
ipython-sql 0,3
ipywidgets 8.1
jupyter_http_over_ws 0,0
jupyterlab 4.4
jupyterlab-git 0,51
keyrings.google-artifactregistry-auth 1.1
langchain 0,3
lightgbm 4,6
markdown 3,8
matplotlib 3,9
nbclassic 1.3
nbconvert 7.16
nbdime 4.0
nltk 3,9
nodejs 22.13
numba 0.61
numpy 1,26
oauth2client 4.1
onnx 1.17
openblas 0,3
opencv 4.10
orc 2.0
pandas 2.2
fábrica de papel 2,6
pyarrow 15
pydot 4.0
pyhive 0,7
pyiceberg 0,9
pymongo 4.11
pynvml 12.0
pytables 3.10
pytorch-gpu 2.4
Regex 2024.11
solicitações 2,32
rtree 1.4
scikit-image 0,25
scikit-learn 1.6
scipy 1.13
seaborn 0,13
sentence-transformers 4.1
shap 0,47
spark-tensorflow-distributor 1,0
sparksql-magic 0.0.3
sqlalchemy 2.0
sympy 1.14
tokenizadores 0,21
torcheval 0.0.7
torchvision 0,19
toree 0,5
tornado 6,5
transformadores 4,52
uritemplate 4.1
virtualenv 20.31
wordcloud 1.9
XGBoost 2.1
ydata-profiling 4,16

Bibliotecas R

As seguintes versões da biblioteca R estão incluídas na versão 2.3 do ambiente de execução do Serverless para Apache Spark.

serverless-spark-2.2-debian-12 r libraries
Nome do pacote Versão
askpass 1.2
assertthat 0,2
backports 1.5
bit 4,6
bit64 4,6
blob 1.2
boot 1.3_31
preparar 1.0_10
vassoura 1,0
callr 3.7
acento circunflexo 6.0_94
cellranger 1.1
chron 2.3_62
classe 7.3_23
CLI 3.6
clipr 0,8
cluster 2.1
codetools 0.2_20
colorspace 2.1_1
commonmark 1.9
cpp11 0,5
giz de cera 1.5
curl 6,2
data.table 1.17
dbi 1.2
dbplyr 2,5
desc 1.4
devtools 2.4
resumo 0,6
dplyr 1.1
reticências 0,3
evaluate 1,0
fansi 1,0
fastmap 1.2
forcats 1,0
foreach 1.5
estrangeiro 0.8_90
fs 1.6
future 1,49
genéricos 0,1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
globais 0,18
cola 1,8
gower 1,0
gtable 0,3
haven 2,5
highr 0,11
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0,3
ipred 0.9_15
isoband 0,2
iteradores 1,0
jsonlite 2.0
kernsmooth 2.23_26
knitr 1,50
marcação 0,4
depois 1.4
rede 0.22_7
lava 1,8
lifecycle 1,0
listenv 0,9
lubridate 1.9
magrittr 2.0
markdown 2.0
massa 7.3_60
matriz 1.6_5
memoize 2.0
mgcv 1.9_3
mime 0,13
modelmetrics 1.2.2
modelr 0,1
munsell 0,5
nlme 3.1_168
nnet 7.3_20
numderiv 2016.8_1
openssl 2.3
pilar 1.10
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.4
plogr 0,2
plyr 1,8
louvor 1,0
prettyunits 1.2
processx 3,8
prodlim 04/2025
para indicar seu progresso 1.2
promete 1.3
proto 1,0
ps 1.9
purrr 1,0
r6 2,6
randomforest 4.7_1
rappdirs 0,3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1,0
rcurl 1.98_1
readr 2.1
readxl 1.4
recipes 1.3
recomendado 4.3
rematch 2.0
controles remotos 2,5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2,29
rodbc 1.3_25
roxygen2 7,3
rpart 4.1
rprojroot 2.0
rserve 1.8_14
rsqlite 2.3
rstudioapi 0,17
rvest 1,0
escalas 1.4
selectr 0.4_2
sessioninfo 1.2
forma 1.4.6
brilhante 1.10
sourcetools 0,1
espacial 7.3_18
squarem 2021.1
stringi 1,8
stringr 1.5
sobrevida 3.8_3
sys 3.4
teachingdemos 2,13
testthat 3.2
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
timedate 4041.110
tinytex 0,57
usethis 3.1
utf8 1.2
uuid 1.2_1
vctrs 0,6
bigode 0,4
withr 3.0
xfun 0,52
xml2 1.3
xopen 1,0
xtable 1.8_4
yaml 2.3
zip 2.3