Dataproc Serverless Spark-Laufzeitversion 1.2.x

In den Versionshinweisen für Dataproc Serverless finden Sie die neuesten Benachrichtigungen zu Updates der Dataproc Serverless-Laufzeit.

Komponenten der Spark-Laufzeitversion 1.2

Komponente	1.2.30 2024/10/31	1.2.29 2024/10/25	1.2.28 2024/10/17	1.2.27 2024/10/11	1.2.26 2024/10/04
Apache Spark^Hinweis 1	3.5.1	3.5.1	3.5.1	3.5.1	3.5.1
Cloud Storage-Connector	3.0.3	3.0.3	3.0.0	3.0.0	3.0.0
BigQuery-Connector	0.36.4	0.36.4	0.36.4	0.36.4	0.36.4
Java	17	17	17	17	17
Conda	24.1	24.1	24.1	24.1	24.1
Python	3.12	3.12	3.12	3.12	3.12
R	4.3	4.3	4.3	4.3	4.3
Scala	2.12	2.12	2.12	2.12	2.12

Hinweise:

1. Die Dataproc Serverless-Laufzeit 1.2 verwendet die Standardzeichencodierung UTF-8.

Spark Runtime 1.2-Bibliotheken

Bibliotheken für maschinelles Lernen wie TensorFlow, PyTorch und XGBoost und bieten eine sofort einsatzbereite Umgebung für Anwendungen für maschinelles Lernen und Data Science.

In den folgenden Abschnitten sind die Bibliotheksversionen aufgeführt, die in Dataproc Serverless für die Spark-Laufzeitversion 1.2 verfügbar sind.

GPU-spezifische Bibliotheken

Die folgenden NVIDIA-Treiber und Spark Rapids-Bibliotheksversionen sind im serverlosen Dataproc-Container verfügbar, um Spark-Batcharbeitslasten mithilfe der NVIDIA Spark Rapids-Bibliothek zu beschleunigen.

Paketname	Version
Spark Rapids	24.04.0
NVIDIA-Treiber	550.127.05

XGBoost-Bibliotheken

Die folgenden Maven-Paketversionen sind in der serverlosen Dataproc-Spark-Laufzeitversion 1.2 verfügbar, um XGBoost mit Spark in Java oder Scala zu verwenden.

Hinweis: Sie können verteilten XGBoost nicht für eine Dataproc-serverlose Batch-Arbeitslast verwenden, für die Autoscaling aktiviert ist (Standardverhalten). Neue Knoten, die die elastische Skalierung starten, können keine neuen Aufgaben erhalten und bleiben inaktiv. Wenn Sie XGBoost mit einer Batch-Arbeitslast verwenden möchten, können Sie die Eigenschaft spark.dynamicAllocation.enabled = false für eine Batch-Arbeitslast festlegen, um die dynamische Zuordnung zu deaktivieren.

Gruppen-ID	Paketname	Version
ml.dmlc	xgboost4j-gpu_2.12	2.0.3
ml.dmlc	xgboost4j-spark-gpu_2.12	2.0.3

Python-Bibliotheken

Die folgenden Python-Bibliotheksversionen sind in der serverlosen Dataproc-Version für Spark 1.2 enthalten.

Paketname	Version
beschleunigen	0,33
Bigframes	1,7
cookiecutter	2,6
cython	3
dask	2024.5
deepspeed	0,14
evaluate	0,4
fastavro	1.9
fastparquet	2024.2
gcsfs	2024.5
git	2,45
google-auth-oauthlib	1.2
google-cloud-aiplatform	1,60
google-cloud-bigquery	3,23
google-cloud-bigquery-storage	2,25
google-cloud-bigtable	2,23
google-cloud-container	2,45
google-cloud-datacatalog	3.19
google-cloud-dataproc	5.9
google-cloud-datastore	2,19
google-cloud-dlp	3,22
google-cloud-language	2,13
google-cloud-logging	3,10
google-cloud-monitoring	2.21
google-cloud-pubsub	2.21
google-cloud-redis	2.15
google-cloud-secret-manager	2.20
google-cloud-spanner	3.46
google-cloud-speech	2,26
google-cloud-storage	2,16
google-cloud-texttospeech	2,16
google-cloud-translate	3,15
google-cloud-vision	3,7
httplib2	0.22
ipyparallel	8.8
ipython-sql	0,3
ipywidgets	8.1
jupyter_http_over_ws	0,0
jupyterlab	4.1
jupyterlab-git	0,50
keyrings.google-artifactregistry-auth	1.1
langchain	0,2
lightgbm	4.5
Markdown	3,6
matplotlib	3,8
nbclassic	1
nbconvert	7.16
nbdime	4,0
nltk	3,8
nodejs	20.12
numba	0.59
numpy	1,26
oauth2client	4.1
openblas	0,3
opencv	4.9
orc	2.0
pandas	2.2
Papierfabrik	2,6
pyarrow	15.0
pydot	2.0
pyhive	0,7
pymongo	4.7
pynvml	11.5
pytables	3,9
pytorch-cpu	2.3
regex	2024.5
Anfragen	2,31
Rtree	1.2
scikit-image	0.22
scikit-learn	1,5
scipy	1.11
seaborn	0,12
sentence-transformers	3
sqlalchemy	2.0
sympy	1.12
Tokenizer	0,19
Transformatoren	4,43
Tornado	6.4
uritemplate	4.1
virtualenv	20,26
Wortwolke	1.9
xgboost	2.0
ydata-profiling	4,8

R-Bibliotheken

Die folgenden R-Bibliotheksversionen sind in der Dataproc Serverless for Spark-Laufzeitversion 1.2 enthalten.

Paketname	Version
askpass	1.2
assertthat	0,2
Backports	1,5
Bit	4,0
bit64	4,0
blob	1.2
Stiefel	1.3_30
brew	1.0_10
Besen	1
callr	3,7
Caret-Zeichen	6.0_94
cellranger	1.1
chron	2.3_61
Klasse	7.3_22
Befehlszeile	3,6
clipr	0,8
Cluster	2.1
codetools	0.2_20
colorspace	2.1_0
commonmark	1.9
cpp11	0,4
Buntstift	1,5
curl	5.1
data.table	1,15
dbi	1.2
dbplyr	2,5
Ab	1,4
devtools	2.4
Hashwert	0,6
dplyr	1.1
Auslassungszeichen	0,3
evaluate	0,23
fansi	1
Fastmap	1.2
forcats	1
foreach	1,5
Fremdsprachig	0,8_86
fs	1,6
future	1.33
Generika	0,1
ggplot2	3,5
gh	1,4
glmnet	4.1_8
globals	0,16
Kleber	1,7
Gower	1
gtable	0,3
Haven	2,5
highr	0,10
hms	1.1
htmltools	0.5.8
htmlwidgets	1,6
httpuv	1,6
httr	1,4
hwriter	1.3.2
ini	0,3
ipred	0.9_14
isoband	0,2
Iteratoren	1
jsonlite	1.8
kernsmooth	2.23_24
knitr	1,46
Kennzeichnung	0,4
später	1,3
Gitter	0.22_6
Lava	1,7
lifecycle	1
listenv	0,9
lubridate	1.9
magrittr	2.0
Markdown	1.12
Masse	7.3_60
Matrix	1.6_5
Memoize	2.0
mgcv	1.9_1
mime	0,12
modelmetrics	1.2.2
modelr	0,1
Munsell	0,5
nlme	3.1_164
nnet	7.3_19
numderiv	2016.8_1
openssl	2.2
Säule	1.9
pkgbuild	1,4
pkgconfig	2.0
pkgload	1,3
plogr	0,2
plyr	1.8
Lob	1
prettyunits	1.2
processx	3,8
prodlim	2023.08
Fortschritt	1.2
Versprechen	1,3
Proto	1
ps	1,7
purrr	1
r6	2,5
randomforest	4.7_1
rappdirs	0,3
rcmdcheck	1,4
rcolorbrewer	1.1_3
rcpp	1
rcurl	1.98_1
readr	2.1
readxl	1,4
Rezepte	1
Rematch	2.0
Fernbedienungen	2,5
reprex	2.1
reshape2	1,4
rlang	1.1
rmarkdown	2,27
rodbc	1.3_23
roxygen2	7.3
rpart	4.1
rprojroot	2.0
rserve	1.8_7
rsqlite	2.3
rstudioapi	0,16
rvest	1
Skalen	1,3
selectr	0.4_2
sessioninfo	1.2
Form	1.4.6
glänzend	1.8.1
sourcetools	0,1
räumlich	7.3_17
Quadratmeter	2021.1
stringi	1.8
stringr	1,5
Überleben	3.6_4
SYS	3.4
teachingdemos	2,12
testthat	3.2.1
Tibble	3.2
tidyr	1,3
tidyselect	1.2
tidyverse	2.0
timedate	4032.109
tinytex	0,51
usethis	2.2
utf8	1.2
uuid	1.2_0
vctrs	0,6
Whisker	0,4
withr	3
xfun	0.44
xml2	1,3
xopen	1
xtable	1.8_4
yaml	2.3
ZIP	2.3