Ambiente de execução do Spark sem servidor do Dataproc 1.2.x

Consulte as Notas da versão do Dataproc sem servidor para conferir os avisos mais recentes de atualização do ambiente de execução do Dataproc sem servidor.

Componentes do ambiente de execução do Spark versão 1.2

Componente	1.2.30 2024/10/31	1.2.29 2024/10/25	1.2.28 2024/10/17	1.2.27 2024/10/11	1.2.26 2024/10/04
Apache Spark^Observação 1	3.5.1	3.5.1	3.5.1	3.5.1	3.5.1
Conector do Cloud Storage	3.0.3	3.0.3	3.0.0	3.0.0	3.0.0
Conector do BigQuery	0.36.4	0.36.4	0.36.4	0.36.4	0.36.4
Java	17	17	17	17	17
Conda	24.1	24.1	24.1	24.1	24.1
Python	3.12	3.12	3.12	3.12	3.12
R	4.3	4.3	4.3	4.3	4.3
Scala	2.12	2.12	2.12	2.12	2.12

Observações:

1. O ambiente de execução 1.2 do Dataproc sem servidor usa a codificação de caracteres padrão UTF-8.

Bibliotecas do ambiente de execução do Spark 1.2

de aprendizado de máquina, como TensorFlow, PyTorch e XGBoost, e oferecem um ambiente pronto para uso em aplicativos de ciência de dados e machine learning.

As seções a seguir listam as versões da biblioteca disponíveis na versão 1.2 do ambiente de execução do Dataproc sem servidor para Spark.

Bibliotecas específicas da GPU

As versões dos drivers NVIDIA e da biblioteca Spark Rapids a seguir estão disponíveis no contêiner do Dataproc Serverless para acelerar as cargas de trabalho em lote do Spark usando a biblioteca NVIDIA Spark Rapids.

Nome do pacote	Versão
Spark Rapids	24.04.0
Driver NVIDA	550.127.05

Bibliotecas XGBoost

As seguintes versões do pacote do Maven estão disponíveis no Dataproc sem servidor para a versão 1.2 do ambiente de execução do Spark para usar o XGBoost com o Spark em Java ou Scala.

ID do grupo	Nome do pacote	Versão
ml.dmlc	xgboost4j-gpu_2.12	2.0.3
ml.dmlc	xgboost4j-spark-gpu_2.12	2.0.3

Observação: não é possível usar o Spark XGBoost distribuído em uma carga de trabalho em lote do Dataproc Serverless que tenha o escalonamento automático ativado (o comportamento padrão), porque novos nós que iniciam o escalonamento elástico não podem receber novas tarefas e permanecem inativos. Para usar o XGBoost com uma carga de trabalho em lote, defina a propriedade spark.dynamicAllocation.enabled = false em uma carga de trabalho em lote para desativar a alocação dinâmica.

Bibliotecas do Python

As versões da biblioteca Python a seguir estão incluídas na versão 1.2 do ambiente de execução do Dataproc Serverless para Spark.

Nome do pacote	Versão
acelerar	0.33
bigframes	1,7
cookiecutter	2,6
cython	3.0
dask	2024.5
deepspeed	0,14
evaluate	0,4
fastavro	1.9
fastparquet	2024.2
gcsfs	2024.5
git	2,45
google-auth-oauthlib	1.2
google-cloud-aiplatform	1,60
google-cloud-bigquery	3,23
google-cloud-bigquery-storage	2,25
google-cloud-bigtable	2.23
google-cloud-container	2,45
google-cloud-datacatalog	3.19
google-cloud-dataproc	5,9
google-cloud-datastore	2,19
google-cloud-dlp	3,22
google-cloud-language	2,13
google-cloud-logging	3.10
google-cloud-monitoring	2,21
google-cloud-pubsub	2,21
google-cloud-redis	2.15
google-cloud-secret-manager	2,20
google-cloud-spanner	3,46
google-cloud-speech	2,26
google-cloud-storage	2,16
google-cloud-texttospeech	2,16
google-cloud-translate	3,15
google-cloud-vision	3.7
httplib2	0.22
ipyparallel	8.8
ipython-sql	0,3
ipywidgets	8.1
jupyter_http_over_ws	0,0
jupyterlab	4.1
jupyterlab-git	0,50
keyrings.google-artifactregistry-auth	1.1
langchain	0,2
lightgbm	4.5
Markdown	3.6
matplotlib	3,8
nbclassic	1.0
nbconvert	7.16
nbdime	4.0
nltk	3,8
nodejs	20.12
numba	0,59
numpy	1,26
oauth2client	4.1
openblas	0,3
opencv	4.9
orc	2.0
pandas	2.2
fábrica de papel	2,6
pyarrow	15
pydot	2.0
pyhive	0,7
pymongo	4.7
pynvml	11.5
pytables	3,9
pytorch-cpu	2.3
Regex	2024.5
solicitações	2,31
rtree	1.2
scikit-image	0.22
scikit-learn	1.5
scipy	1.11
marinho	0,12
sentence-transformers	3.0
sqlalchemy	2.0
sympy	1.12
tokenizadores	0,19
transformadores	4,43
tornado	6,4
uritemplate	4.1
virtualenv	20,26
wordcloud	1.9
XGBoost	2.0
ydata-profiling	4,8

Bibliotecas R

As versões da biblioteca R a seguir estão incluídas na versão 1.2 do ambiente de execução do Dataproc Serverless para Spark.

Nome do pacote	Versão
askpass	1.2
assertthat	0,2
backports	1.5
bit	4.0
bit64	4.0
blob	1.2
boot	1.3_30
cerveja	1.0_10
vassoura	1.0
callr	3.7
acento circunflexo	6.0_94
cellranger	1.1
chron	2.3_61
classe	7.3_22
cli	3.6
clipper	0,8
cluster	2.1
codetools	0.2_20
espaço de cores	2.1_0
marca comum	1.9
cpp11	0,4
giz de cera	1.5
curl	5.1
data.table	1.15
dbi	1.2
dbplyr	2,5
desc	1.4
devtools	2.4
resumo	0,6
dplyr	1.1
reticências	0,3
evaluate	0,23
fãsi	1.0
fastmap	1.2
forcats	1.0
foreach	1.5
estrangeiro	0,8_86
fs	1.6
future	1,33
genéricos	0,1
ggplot2	3.5
gh	1.4
glmnet	4.1_8
globais	0,16
cola	1,7
gower	1.0
gtable	0,3
porto seguro	2,5
mais alto	0,10
hms	1.1
htmltools	0.5.8
htmlwidgets	1.6
httpuv	1.6
httr	1.4
hwriter	1.3.2
ini	0,3
ipred	0.9_14
isoband	0,2
iteradores	1.0
jsonlite	1,8
kernsmooth	2.23_24
knitr	1,46
rotulagem	0,4
depois	1.3
grade	0.22_6
lava	1,7
lifecycle	1.0
listenv	0,9
lubridate	1.9
Magritte	2.0
Markdown	1.12
massa	7.3_60
matriz	1.6_5
memoise	2.0
mgcv	1.9_1
mime	0,12
modelmetrics	1.2.2
modelr	0,1
munsell	0,5
nlme	3.1_164
nnet	7.3_19
numderiv	2016.8_1
openssl	2.2
pilar	1.9
pkgbuild	1.4
pkgconfig	2.0
pkgload	1.3
plogr	0,2
plyr	1,8
louvor	1.0
prettyunits	1.2
processx	3,8
prodlim	2023.08
para indicar seu progresso	1.2
promessas	1.3
proto	1.0
ps	1,7
ronron	1.0
r6	2,5
randomforest	4.7_1
rappdirs	0,3
rcmdcheck	1.4
rcolorbrewer	1.1_3
rcpp	1.0
rcurl	1.98_1
readr	2.1
readxl	1.4
recipes	1.0
revanche	2.0
controles remotos	2,5
reprex	2.1
reshape2	1.4
rlang	1.1
rmarkdown	2,27
rodbc	1.3_23
roxygen2	7,3
rpart	4.1
rprojroot	2.0
rserve	1.8_7
rsqlite	2.3
rstudioapi	0,16
rvest	1.0
escamas	1.3
seletor	0.4_2
sessioninfo	1.2
forma	1.4.6
brilhante	1.8.1
sourcetools	0,1
espacial	7.3_17
quadrado	2021.1
stringi	1,8
stringr	1.5
sobrevivência	3.6_4
sys	3.4
teachingdemos	2,12
testthat	3.2.1
Tibble	3.2
tidyr	1.3
tidyselect	1.2
tidyverse	2.0
timedate	4032,109
tinytex	0,51
usethis	2.2
utf8	1.2
uuid	1.2_0
vctrs	0,6
bigode	0,4
withr	3.0
xfun	0,44
xml2	1.3
xopen	1.0
xtable	1.8_4
yaml	2.3
zip	2.3