Éditeur d'exécution Spark sans serveur Dataproc 2.2.x

Consultez les notes de version de Dataproc sans serveur pour obtenir les derniers avis de mise à jour de l'environnement d'exécution Dataproc sans serveur.

Composants de la version d'exécution Spark 2.2

Composant	2.2.30 2024/10/31	2.2.29 2024/10/25	2.2.28 2024/10/17	2.2.27 2024/10/11	2.2.26 2024/10/04
Apache Spark^Remarque 1	3.5.1	3.5.1	3.5.1	3.5.1	3.5.1
Connecteur Cloud Storage	3.0.3	3.0.3	3.0.0	3.0.0	3.0.0
Connecteur BigQuery	0.36.4	0.36.4	0.36.4	0.36.4	0.36.4
Java	17	17	17	17	17
Conda	24.1	24.1	24.1	24.1	24.1
Python	3.12	3.12	3.12	3.12	3.12
R	4.3	4.3	4.3	4.3	4.3
Scala	2.13	2.13	2.13	2.13	2.13

Remarques :

1. L'environnement d'exécution 2.2 utilise l'encodage de caractères par défaut UTF-8.

Bibliothèques d'exécution Spark 2.2

de bibliothèques de machine learning telles que TensorFlow, PyTorch et XGBoost, et offrent un environnement prêt à l'emploi pour les applications de machine learning et de data science.

Les sections suivantes répertorient les versions de bibliothèque disponibles dans Dataproc sans serveur pour la version d'exécution Spark 2.2.

Bibliothèques spécifiques au GPU

Les pilotes NVIDIA et les versions de la bibliothèque Spark Rapids suivants sont disponibles dans le conteneur Dataproc sans serveur pour accélérer les charges de travail par lot Spark à l'aide de la bibliothèque NVIDIA Spark Rapids.

Nom du package	Version
Spark Rapids	24.04.0
Pilote NVIDIA	550.127.05

Bibliothèques XGBoost

Les versions de paquet Maven suivantes sont disponibles dans la version d'exécution 2.2 de Dataproc sans serveur pour Spark pour utiliser XGBoost avec Spark en Java ou Scala.

Remarque :Vous ne pouvez pas utiliser XGBoost distribué sur une charge de travail par lot sans serveur Dataproc pour laquelle l'autoscaling est activé (comportement par défaut), car les nouveaux nœuds qui démarrent l'ajustement élastique ne peuvent pas recevoir de nouvelles tâches et restent inactifs. Pour utiliser XGBoost avec une charge de travail par lot, vous pouvez définir la propriété spark.dynamicAllocation.enabled = false sur une charge de travail par lot pour désactiver l'allocation dynamique.

ID du groupe	Nom du package
ml.dmlc	xgboost4j-gpu_2.12
ml.dmlc	xgboost4j-spark-gpu_2.12

Bibliothèques Python

Les versions de bibliothèque Python suivantes sont incluses dans la version d'exécution 2.2 de Dataproc sans serveur pour Spark.

Nom du package	Version
accélérer	0,33
bigframes	1,7
cookiecutter	2,6
cython	3,0
dask	2024.5
deepspeed	0,14
evaluate	0,4
fastavro	1.9
fastparquet	2024.2
gcsfs	2024.5
git	2,45
google-auth-oauthlib	1.2
google-cloud-aiplatform	1,60
google-cloud-bigquery	3.23
google-cloud-bigquery-storage	2,25
google-cloud-bigtable	2,23
google-cloud-container	2,45
google-cloud-datacatalog	3.19
google-cloud-dataproc	5,9
google-cloud-datastore	2,19
google-cloud-dlp	3,22
google-cloud-language	2,13
google-cloud-logging	3,10
google-cloud-monitoring	2.21
google-cloud-pubsub	2.21
google-cloud-redis	2.15
google-cloud-secret-manager	2.20
google-cloud-spanner	3.46
google-cloud-speech	2.26
google-cloud-storage	2,16
google-cloud-texttospeech	2,16
google-cloud-translate	3,15
google-cloud-vision	3.7
httplib2	0.22
ipyparallel	8,8
ipython-sql	0,3
ipywidgets	8.1
jupyter_http_over_ws	0,0
jupyterlab	4.1
jupyterlab-git	0.50
keyrings.google-artifactregistry-auth	1.1
langchain	0,2
lightgbm	4.5
Markdown	3.6
matplotlib	3.8
nbclassic	1.0
nbconvert	7.16
nbdime	4.0
nltk	3.8
nodejs	20.12
numba	0.59
numpy	1,26
oauth2client	4.1
openblas	0,3
opencv	4.9
orc	2.0
pandas	2.2
papeterie	2,6
pyarrow	15,0
pydot	2.0
pyhive	0,7
pymongo	4.7
pynvml	11.5
pytables	3.9
pytorch-cpu	2.3
regex	2024.5
requêtes	2,31
rtree	1.2
scikit-image	0.22
scikit-learn	1,5
scipy	1.11
nés en mer	0,12
sentence-transformers	3,0
sqlalchemy	2.0
sympy	1.12
tokenizers	0.19
transformateurs	4,43
tornade	6.4
uritemplate	4.1
virtualenv	20.26
nuage de mots	1.9
xgboost	2.0
ydata-profiling	4,8

Bibliothèques R

Les versions de bibliothèque R suivantes sont incluses dans la version d'exécution 2.2 de Dataproc sans serveur pour Spark.

Nom du package	Version
askpass	1.2
assertthat	0,2
rétroports	1,5
bit	4.0
bit64	4.0
blob	1.2
boot	1.3_30
brasser	1.0_10
balai	1.0
callr	3.7
curseur de saisie	6.0_94
cellranger	1.1
chron	2.3_61
classe	7.3_22
cli	3.6
clipr	0,8
cluster	2.1
codetools	0.2_20
espace colorimétrique	2.1_0
commonmark	1.9
cpp11	0,4
crayon gras	1,5
curl	5,1
data.table	1.15
dbi	1.2
dbplyr	2.5
décroiss.	1.4
devtools	2.4
condensé	0,6
dplyr	1.1
points de suspension	0,3
evaluate	0,23
fansi	1.0
fastmap	1.2
forcats	1.0
foreach	1,5
foreign	0,8_86
fs	1,6
future	1.33
génériques	0,1
ggplot2	3.5
gh	1.4
glmnet	4.1_8
globals	0,16
colle	1,7
gower	1.0
gtable	0,3
refuge	2.5
highr	0,10
hms	1.1
htmltools	0.5.8
htmlwidgets	1,6
httpuv	1,6
httr	1.4
hwriter	1.3.2
ini	0,3
ipred	0.9_14
isoband	0,2
itérateurs	1.0
jsonlite	1,8
kernsmooth	2.23_24
knitr	1,46
Étiquetage	0,4
plus tard	1.3
réseau	0.22_6
lave	1,7
lifecycle	1.0
listenv	0,9
lubridate	1.9
magrittr	2.0
Markdown	1.12
masse	7.3_60
matrice	1.6_5
memoise	2.0
mgcv	1.9_1
mime	0,12
modelmetrics	1.2.2
modelr	0,1
Munsell	0,5
nlme	3.1_164
nnet	7.3_19
numderiv	2016.8_1
openssl	2.2
pilier	1.9
pkgbuild	1.4
pkgconfig	2.0
pkgload	1.3
plogr	0,2
plyr	1,8
éloge	1.0
prettyunits	1.2
processx	3.8
prodlim	08/2023
progression	1.2
promesses	1.3
proto	1.0
ps	1,7
purrr	1.0
r6	2.5
randomforest	4.7_1
rappdirs	0,3
rcmdcheck	1.4
rcolorbrewer	1.1_3
rcpp	1.0
rcurl	1.98_1
readr	2.1
readxl	1.4
recipes	1.0
Rematch	2.0
télécommandes	2.5
reprex	2.1
reshape2	1.4
rlang	1.1
rmarkdown	2,27
rodbc	1.3_23
roxygen2	7,3
rpart	4.1
rprojroot	2.0
rserve	1.8_7
rsqlite	2.3
rstudioapi	0,16
rvest	1.0
écailles	1.3
sélecteur	0.4_2
sessioninfo	1.2
forme	1.4.6
brillant	1.8.1
sourcetools	0,1
spatial	7.3_17
m²	2021.1
stringi	1,8
stringr	1,5
survie	3.6_4
sys	3.4
teachingdemos	2.12
testthat	3.2.1
tibble	3.2
tidyr	1.3
tidyselect	1.2
tidyverse	2.0
timedate	4032.109
tinytex	0,51
usethis	2.2
utf8	1.2
uuid	1.2_0
vctrs	0,6
whisker	0,4
withr	3,0
xfun	0,44
xml2	1.3
xopen	1.0
xtable	1.8_4
yaml	2.3
zip	2.3