Serverless para Apache Spark, entorno de ejecución de Spark 2.2.x

Componentes de la versión 2.2 del entorno de ejecución de Spark

Componente 2.2.58
2025/08/22		 2.2.57
2025/08/14
 2.2.56
2025/08/12		 2.2.55
2025/07/31		 2.2.54
2025/07/01
Apache SparkNota 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Conector de Cloud Storage 3.0.3 3.0.3 3.0.3 3.0.3 3.0.3
Conector de BigQuery 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Notas:

1. El entorno de ejecución de 2.2 usa la codificación de caracteres predeterminada UTF-8.

Bibliotecas de Spark Runtime 2.2

bibliotecas de aprendizaje, como TensorFlow, PyTorch y XGBoost, y ofrecen un entorno listo para usar para aplicaciones de aprendizaje automático y ciencia de datos.

En las siguientes secciones, se enumeran las versiones de las bibliotecas disponibles en la versión 2.2 del entorno de ejecución de Serverless para Apache Spark.

Bibliotecas específicas de la GPU

Para las cargas de trabajo por lotes de Serverless for Apache Spark que usan VMs con GPU, los siguientes controladores y bibliotecas de NVIDIA están disponibles en el contenedor de Serverless for Apache Spark. Puedes usarlos para realizar las siguientes tareas:

  • Acelera las cargas de trabajo por lotes de Spark con la biblioteca NVIDIA Spark Rapids
  • Entrena cargas de trabajo de aprendizaje automático
  • Ejecuta la inferencia por lotes distribuida con Spark
Nombre del paquete Versión
Spark Rapids 24.04.0
Controlador de NVIDIA 550.127.05
CUDA 12.6
cublas 12.8.4
cusolver 11.7.3
cupti 12.8.90
cusparse 12.5.8
cuDNN 9.2
NCCL 2.22

Bibliotecas de XGBoost

Las siguientes versiones de paquetes de Maven están disponibles en la versión 2.2 del entorno de ejecución de Serverless for Apache Spark para usar XGBoost con Spark en Java o Scala.

ID del grupo Nombre del paquete Versión
ml.dmlc xgboost4j-gpu_2.13 2.1.1
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.1

Bibliotecas de Python

Las siguientes versiones de la biblioteca de Python se incluyen en la versión 2.2 del entorno de ejecución de Serverless para Apache Spark.

Bibliotecas de Python de serverless-spark-2.2-debian-12
Nombre del paquete Versión
acelerar 0.33
bigframes 1.7
cookiecutter 2.6
cython 3.0
dask 2024.5
deepspeed 0.14
delta-spark 3.2
evaluate 0.4
fastavro 1.9
fastparquet 2024.2
gcsfs 2024.5
git 2.45
google-auth-oauthlib 1.2
google-cloud-aiplatform 1.60
google-cloud-bigquery 3.23
google-cloud-bigquery-storage 2.25
google-cloud-bigtable 2.23
google-cloud-container 2.45
google-cloud-datacatalog 3.19
google-cloud-dataproc 5.9
google-cloud-datastore 2.19
google-cloud-dlp 3.22
google-cloud-language 2.13
google-cloud-logging 3.10
google-cloud-monitoring 2.21
google-cloud-pubsub 2.21
google-cloud-redis 2.15
google-cloud-secret-manager 2.20
google-cloud-spanner 3.46
google-cloud-speech 2.26
google-cloud-storage 2.16
google-cloud-texttospeech 2.16
google-cloud-translate 3.15
google-cloud-vision 3.7
httplib2 0.22
huggingface_hub 0.27
ipyparallel 8.8
ipython-sql 0.3
ipywidgets 8.1
jupyter_http_over_ws 0.0
jupyterlab 4.1
jupyterlab-git 0.50
keyrings.google-artifactregistry-auth 1.1
langchain 0.2
lightgbm 4.5
markdown 3.6
matplotlib 3.8
nbclassic 1.0
nbconvert 7.16
nbdime 4.0
nltk 3.8
nodejs 20.12
numba 0.59
numpy 1.26
oauth2client 4.1
onnx 1.16
openblas 0.3
opencv 4.9
orc 2.0
pandas 2.2
papelera 2.6
pyarrow 15.0
pydot 2.0
pyhive 0.7
pymongo 4.7
pynvml 11.5
pytables 3.9
pytorch-cpu 2.3
regex 2024.5
solicitudes 2.31
rtree 1.2
scikit-image 0.22
scikit-learn 1.5
scipy 1.11
seaborn 0.12
sentence-transformers 3.0
shap 0.45
spark-tensorflow-distributor 1.0
sparksql-magic 0.0.3
sqlalchemy 2.0
sympy 1.12
tokenizadores 0.19
torcheval 0.0.7
torchvision 0.18
toree 0.5
tornado 6.4
transformadores 4.43
uritemplate 4.1
virtualenv 20.26
wordcloud 1.9
xgboost 2.0
ydata-profiling 4.8

Bibliotecas de R

Las siguientes versiones de la biblioteca de R se incluyen en la versión del entorno de ejecución 2.2 de Serverless para Apache Spark.

bibliotecas de R de serverless-spark-2.2-debian-12
Nombre del paquete Versión
askpass 1.2
assertthat 0.2
Backports 1.5
bit 4.0
bit64 4.0
blob 1.2
boot 1.3_30
preparar 1.0_10
escoba 1.0
callr 3.7
signo de intercalación 6.0_94
cellranger 1.1
chron 2.3_61
clase 7.3_22
CLI 3.6
clipr 0.8
clúster 2.1
codetools 0.2_20
colorspace 2.1_0
CommonMark 1.9
cpp11 0.4
crayón 1.5
curl 5.1
data.table 1.15
dbi 1.2
dbplyr 2.5
desc 1.4
Herramientas para desarrolladores 2.4
resumen 0.6
dplyr 1.1
elipsis 0.3
evaluate 0.23
fansi 1.0
fastmap 1.2
forcats 1.0
foreach 1.5
extranjero 0.8_86
fs 1.6
future 1.33
genéricos 0.1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
globals 0.16
pegamento 1.7
Gower 1.0
gtable 0.3
refugio 2.5
highr 0.10
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0.3
ipred 0.9_14
isoband 0.2
iteradores 1.0
jsonlite 1.8
kernsmooth 2.23_24
knitr 1.46
etiquetado 0.4
más tarde 1.3
celosía 0.22_6
lava 1.7
lifecycle 1.0
listenv 0.9
lubridate 1.9
magrittr 2.0
markdown 1.12
masa 7.3_60
matriz 1.6_5
memoise 2.0
mgcv 1.9_1
mime 0.12
modelmetrics 1.2.2
modelr 0.1
munsell 0.5
nlme 3.1_164
nnet 7.3_19
numderiv 2016.8_1
openssl 2.2
pilar 1.9
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.3
plogr 0.2
plyr 1.8
alabanza 1.0
prettyunits 1.2
processx 3.8
prodlim 2023.08
#googlecloudcertified 1.2
promesas 1.3
protocolo 1.0
ps 1.7
purrr 1.0
r6 2.5
randomforest 4.7_1
rappdirs 0.3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1.0
rcurl 1.98_1
readr 2.1
readxl 1.4
recipes 1.0
revancha 2.0
Controles remotos 2.5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2.27
rodbc 1.3_23
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_7
rsqlite 2.3
rstudioapi 0.16
rvest 1.0
Escalas 1.3
selectr 0.4_2
sessioninfo 1.2
forma 1.4.6
brillante 1.8.1
sourcetools 0.1
espacial 7.3_17
squarem 2021.1
stringi 1.8
stringr 1.5
supervivencia 3.6_4
sys 3.4
teachingdemos 2.12
testthat 3.2.1
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
fechahora 4032.109
tinytex 0.51
usethis 2.2
utf8 1.2
uuid 1.2_0
vctrs 0.6
bigote 0.4
withr 3.0
xfun 0.44
xml2 1.3
xopen 1.0
xtable 1.8_4
yaml 2.3
zip 2.3