Spark 运行时版本 1.2 组件
注意：
1. Dataproc Serverless 1.2 运行时使用 UTF-8 默认字符编码。
Spark 运行时 1.2 库
学习库（例如 TensorFlow、PyTorch 和 XGBoost），并为机器学习和数据科学应用提供可供直接使用的环境。
以下部分列出了 Dataproc Serverless for Spark 运行时版本 1.2 中提供的库版本。
GPU 专用库
Dataproc Serverless 容器中提供了以下 NVIDIA 驱动程序和 Spark Rapids 库版本，以便使用 NVIDIA Spark Rapids 库加速 Spark 批处理工作负载。
| 软件包名称 | 版本 |
|---|---|
| Spark Rapids | 24.04.0 |
| NVIDA 驱动程序 | 550.127.05 |
XGBoost 库
Dataproc Serverless for Spark 运行时版本 1.2 中提供了以下 Maven 软件包版本，以便在 Java 或 Scala 中将 XGBoost 与 Spark 搭配使用。
| 群组 ID | 软件包名称 | 版本 |
|---|---|---|
| ml.dmlc | xgboost4j-gpu_2.12 | 2.0.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 2.0.3 |
Python 库
Dataproc Serverless for Spark 运行时版本 1.2 包含以下 Python 库版本。
| 软件包名称 | 版本 |
|---|---|
| 加速 | 0.33 |
| bigframes | 1.7 |
| cookiecutter | 2.6 |
| cython | 3.0 |
| dask | 2024.5 |
| deepspeed | 0.14 |
| evaluate | 0.4 |
| fastavro | 1.9 |
| fastparquet | 2024.2 |
| gcsfs | 2024.5 |
| git | 2.45 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1.60 |
| google-cloud-bigquery | 3.23 |
| google-cloud-bigquery-storage | 2.25 |
| google-cloud-bigtable | 2.23 |
| google-cloud-container | 2.45 |
| google-cloud-datacatalog | 3.19 |
| google-cloud-dataproc | 5.9 |
| google-cloud-datastore | 2.19 |
| google-cloud-dlp | 3.22 |
| google-cloud-language | 2.13 |
| google-cloud-logging | 3.10 |
| google-cloud-monitoring | 2.21 |
| google-cloud-pubsub | 2.21 |
| google-cloud-redis | 2.15 |
| google-cloud-secret-manager | 2.20 |
| google-cloud-spanner | 3.46 |
| google-cloud-speech | 2.26 |
| google-cloud-storage | 2.16 |
| google-cloud-texttospeech | 2.16 |
| google-cloud-translate | 3.15 |
| google-cloud-vision | 3.7 |
| httplib2 | 0.22 |
| ipyparallel | 8.8 |
| ipython-sql | 0.3 |
| ipywidgets | 8.1 |
| jupyter_http_over_ws | 0.0 |
| jupyterlab | 4.1 |
| jupyterlab-git | 0.50 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 0.2 |
| lightgbm | 4.5 |
| Markdown | 3.6 |
| matplotlib | 3.8 |
| nbclassic | 1.0 |
| nbconvert | 7.16 |
| nbdime | 4.0 |
| nltk | 3.8 |
| nodejs | 20.12 |
| numba | 0.59 |
| numpy | 1.26 |
| oauth2client | 4.1 |
| openblas | 0.3 |
| opencv | 4.9 |
| orc | 2.0 |
| pandas | 2.2 |
| 造纸厂 | 2.6 |
| pyarrow | 15.0 |
| pydot | 2.0 |
| pyhive | 0.7 |
| pymongo | 4.7 |
| pynvml | 11.5 |
| pytables | 3.9 |
| pytorch-cpu | 2.3 |
| regex | 2024.5 |
| 请求 | 2.31 |
| rtree | 1.2 |
| scikit-image | 0.22 |
| scikit-learn | 1.5 |
| scipy | 1.11 |
| seaborn | 0.12 |
| sentence-transformers | 3.0 |
| Sqlalchemy | 2.0 |
| sympy | 1.12 |
| 词元化器 | 0.19 |
| transformers | 4.43 |
| 龙卷风 | 6.4 |
| uritemplate | 4.1 |
| virtualenv | 20.26 |
| 词云 | 1.9 |
| xgboost | 2.0 |
| ydata-profiling | 4.8 |
R 库
Dataproc Serverless for Spark 运行时版本 1.2 包含以下 R 库版本。
| 软件包名称 | 版本 |
|---|---|
| askpass | 1.2 |
| assertthat | 0.2 |
| 向后移植 | 1.5 |
| 位 | 4.0 |
| bit64 | 4.0 |
| blob | 1.2 |
| 启动 | 1.3_30 |
| 冲泡 | 1.0_10 |
| 扫帚 | 1.0 |
| callr | 3.7 |
| 脱字符号 | 6.0_94 |
| cellranger | 1.1 |
| chron | 2.3_61 |
| class | 7.3_22 |
| CLI | 3.6 |
| clipr | 0.8 |
| 集群 | 2.1 |
| codetools | 0.2_20 |
| colorspace | 2.1_0 |
| commonmark | 1.9 |
| cpp11 | 0.4 |
| 蜡笔 | 1.5 |
| curl | 5.1 |
| data.table | 1.15 |
| dbi | 1.2 |
| dbplyr | 2.5 |
| 降序 | 1.4 |
| devtools | 2.4 |
| 摘要 | 0.6 |
| dplyr | 1.1 |
| ellipsis | 0.3 |
| evaluate | 0.23 |
| fansi | 1.0 |
| fastmap | 1.2 |
| forcats | 1.0 |
| foreach | 1.5 |
| 外部 | 0.8_86 |
| fs | 1.6 |
| future | 1.33 |
| 泛型 | 0.1 |
| ggplot2 | 3.5 |
| gh | 1.4 |
| glmnet | 4.1_8 |
| 全局变量 | 0.16 |
| 胶水 | 1.7 |
| gower | 1.0 |
| gtable | 0.3 |
| 避风港 | 2.5 |
| highr | 0.10 |
| hms | 1.1 |
| htmltools | 0.5.8 |
| htmlwidgets | 1.6 |
| httpuv | 1.6 |
| httr | 1.4 |
| hwriter | 1.3.2 |
| ini | 0.3 |
| ipred | 0.9_14 |
| isoband | 0.2 |
| 迭代器 | 1.0 |
| jsonlite | 1.8 |
| kernsmooth | 2.23_24 |
| knitr | 1.46 |
| 标签 | 0.4 |
| 稍后 | 1.3 |
| 晶格 | 0.22_6 |
| lava | 1.7 |
| 生命周期 | 1.0 |
| listenv | 0.9 |
| lubridate | 1.9 |
| magrittr | 2.0 |
| Markdown | 1.12 |
| 质量 | 7.3_60 |
| 矩阵 | 1.6_5 |
| memoise | 2.0 |
| mgcv | 1.9_1 |
| MIME | 0.12 |
| modelmetrics | 1.2.2 |
| modelr | 0.1 |
| Munsell | 0.5 |
| nlme | 3.1_164 |
| nnet | 7.3_19 |
| numderiv | 2016.8_1 |
| openssl | 2.2 |
| 支柱 | 1.9 |
| pkgbuild | 1.4 |
| pkgconfig | 2.0 |
| pkgload | 1.3 |
| plogr | 0.2 |
| plyr | 1.8 |
| 赞美 | 1.0 |
| prettyunits | 1.2 |
| processx | 3.8 |
| prodlim | 2023.08 |
| #googlecloudcertifiedprogress 标签 | 1.2 |
| promise | 1.3 |
| proto | 1.0 |
| ps | 1.7 |
| purrr | 1.0 |
| r6 | 2.5 |
| randomforest | 4.7_1 |
| rappdirs | 0.3 |
| rcmdcheck | 1.4 |
| rcolorbrewer | 1.1_3 |
| rcpp | 1.0 |
| rcurl | 1.98_1 |
| readr | 2.1 |
| readxl | 1.4 |
| 食谱 | 1.0 |
| 再玩一局 | 2.0 |
| 遥控器 | 2.5 |
| reprex | 2.1 |
| reshape2 | 1.4 |
| rlang | 1.1 |
| rmarkdown | 2.27 |
| rodbc | 1.3_23 |
| roxygen2 | 7.3 |
| rpart | 4.1 |
| rprojroot | 2.0 |
| rserve | 1.8_7 |
| rsqlite | 2.3 |
| rstudioapi | 0.16 |
| rvest | 1.0 |
| 鳞片 | 1.3 |
| selectr | 0.4_2 |
| sessioninfo | 1.2 |
| shape | 1.4.6 |
| 闪亮 | 1.8.1 |
| sourcetools | 0.1 |
| 空间 | 7.3_17 |
| 平方米 | 2021.1 |
| stringi | 1.8 |
| stringr | 1.5 |
| 生存 | 3.6_4 |
| sys | 3.4 |
| teachingdemos | 2.12 |
| testthat | 3.2.1 |
| tibble | 3.2 |
| tidyr | 1.3 |
| tidyselect | 1.2 |
| tidyverse | 2.0 |
| timedate | 4032.109 |
| tinytex | 0.51 |
| usethis | 2.2 |
| utf8 | 1.2 |
| uuid | 1.2_0 |
| vctrs | 0.6 |
| 胡须 | 0.4 |
| withr | 3.0 |
| xfun | 0.44 |
| xml2 | 1.3 |
| xopen | 1.0 |
| xtable | 1.8_4 |
| yaml | 2.3 |
| zip | 2.3 |