Spark 런타임 버전 1.2 구성요소
참고:
1. Dataproc Serverless 1.2 런타임은 UTF-8 기본 문자 인코딩을 사용합니다.
Spark 런타임 1.2 라이브러리
머신러닝 라이브러리(예: TensorFlow, PyTorch, XGBoost)를 지원하고 머신러닝 및 데이터 과학 애플리케이션을 위한 바로 사용할 수 있는 환경을 제공합니다.
다음 섹션에는 Spark를 위한 Dataproc Serverless 런타임 버전 1.2에서 사용할 수 있는 라이브러리 버전이 나와 있습니다.
GPU별 라이브러리
다음 NVIDIA 드라이버 및 Spark Rapids 라이브러리 버전은 Dataproc Serverless 컨테이너에서 NVIDIA Spark Rapids 라이브러리를 사용하여 Spark 배치 워크로드를 가속화하는 데 사용할 수 있습니다.
| 패키지 이름 | 버전 |
|---|---|
| Spark Rapids | 24.04.0 |
| NVIDA 드라이버 | 550.127.05 |
XGBoost 라이브러리
다음 Maven 패키지 버전은 Spark용 Dataproc Serverless 런타임 버전 1.2에서 Java 또는 Scala의 Spark와 함께 XGBoost를 사용하기 위해 사용할 수 있습니다.
| 그룹 ID | 패키지 이름 | 버전 |
|---|---|---|
| ml.dmlc | xgboost4j-gpu_2.12 | 2.0.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 2.0.3 |
Python 라이브러리
다음 Python 라이브러리 버전은 Spark를 위한 Dataproc Serverless 런타임 버전 1.2에 포함되어 있습니다.
| 패키지 이름 | 버전 |
|---|---|
| accelerate | 0.33 |
| bigframes | 1.7 |
| cookiecutter | 2.6 |
| cython | 3.0 |
| dask | 2024.5 |
| deepspeed | 0.14 |
| evaluate | 0.4 |
| fastavro | 1.9 |
| fastparquet | 2024.2 |
| gcsfs | 2024.5 |
| git | 2.45 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1.60 |
| google-cloud-bigquery | 3.23 |
| google-cloud-bigquery-storage | 2.25 |
| google-cloud-bigtable | 2.23 |
| google-cloud-container | 2.45 |
| google-cloud-datacatalog | 3.19 |
| google-cloud-dataproc | 5.9 |
| google-cloud-datastore | 2.19 |
| google-cloud-dlp | 3.22 |
| google-cloud-language | 2.13 |
| google-cloud-logging | 3.10 |
| google-cloud-monitoring | 2.21 |
| google-cloud-pubsub | 2.21 |
| google-cloud-redis | 2.15 |
| google-cloud-secret-manager | 2.20 |
| google-cloud-spanner | 3.46 |
| google-cloud-speech | 2.26 |
| google-cloud-storage | 2.16 |
| google-cloud-texttospeech | 2.16 |
| google-cloud-translate | 3.15 |
| google-cloud-vision | 3.7 |
| httplib2 | 0.22 |
| ipyparallel | 8.8 |
| ipython-sql | 0.3 |
| ipywidgets | 8.1 |
| jupyter_http_over_ws | 0.0 |
| jupyterlab | 4.1 |
| jupyterlab-git | 0.50 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 0.2 |
| lightgbm | 4.5 |
| 마크다운 | 3.6 |
| matplotlib | 3.8 |
| nbclassic | 1.0 |
| nbconvert | 7.16 |
| nbdime | 4.0 |
| nltk | 3.8 |
| nodejs | 20.12 |
| numba | 0.59 |
| numpy | 1.26 |
| oauth2client | 4.1 |
| openblas | 0.3 |
| opencv | 4.9 |
| orc | 2.0 |
| pandas | 2.2 |
| papermill | 2.6 |
| pyarrow | 15.0 |
| pydot | 2.0 |
| pyhive | 0.7 |
| pymongo | 4.7 |
| pynvml | 11.5 |
| pytables | 3.9 |
| pytorch-cpu | 2.3 |
| regex | 2024.5 |
| 요청 | 2.31 |
| rtree | 1.2 |
| scikit-image | 0.22 |
| scikit-learn | 1.5 |
| scipy | 1.11 |
| seaborn | 0.12 |
| sentence-transformers | 3.0 |
| sqlalchemy | 2.0 |
| sympy | 1.12 |
| 토크나이저 | 0.19 |
| transformers | 4.43 |
| 토네이도 | 6.4 |
| uritemplate | 4.1 |
| virtualenv | 20.26 |
| wordcloud | 1.9 |
| xgboost | 2.0 |
| ydata-profiling | 4.8 |
R 라이브러리
다음 R 라이브러리 버전은 Spark를 위한 Dataproc Serverless 런타임 버전 1.2에 포함되어 있습니다.
| 패키지 이름 | 버전 |
|---|---|
| askpass | 1.2 |
| assertthat | 0.2 |
| 백포팅 | 1.5 |
| 비트 | 4.0 |
| bit64 | 4.0 |
| blob | 1.2 |
| boot | 1.3_30 |
| 양조 | 1.0_10 |
| 빗자루 | 1.0 |
| callr | 3.7 |
| 캐럿 | 6.0_94 |
| cellranger | 1.1 |
| chron | 2.3_61 |
| 클래스 | 7.3_22 |
| CLI | 3.6 |
| clipr | 0.8 |
| 클러스터 | 2.1 |
| codetools | 0.2_20 |
| colorspace | 2.1_0 |
| commonmark | 1.9 |
| cpp11 | 0.4 |
| 크레용 | 1.5 |
| curl | 5.1 |
| data.table | 1.15 |
| dbi | 1.2 |
| dbplyr | 2.5 |
| 내림차순 | 1.4 |
| devtools | 2.4 |
| 다이제스트 | 0.6 |
| dplyr | 1.1 |
| 생략 기호 | 0.3 |
| evaluate | 0.23 |
| fansi | 1.0 |
| fastmap | 1.2 |
| forcats | 1.0 |
| foreach | 1.5 |
| 외국 | 0.8_86 |
| fs | 1.6 |
| future | 1.33 |
| 제네릭 | 0.1 |
| ggplot2 | 3.5 |
| gh | 1.4 |
| glmnet | 4.1_8 |
| 전역 | 0.16 |
| 풀 | 1.7 |
| 가워 | 1.0 |
| gtable | 0.3 |
| 피난처 | 2.5 |
| highr | 0.10 |
| hms | 1.1 |
| htmltools | 0.5.8 |
| htmlwidgets | 1.6 |
| httpuv | 1.6 |
| httr | 1.4 |
| hwriter | 1.3.2 |
| ini | 0.3 |
| ipred | 0.9_14 |
| isoband | 0.2 |
| iterators | 1.0 |
| jsonlite | 1.8 |
| kernsmooth | 2.23_24 |
| knitr | 1.46 |
| 라벨 지정 | 0.4 |
| 나중에 | 1.3 |
| 격자 | 0.22_6 |
| 용암 | 1.7 |
| 수명 주기 | 1.0 |
| listenv | 0.9 |
| lubridate | 1.9 |
| magrittr | 2.0 |
| 마크다운 | 1.12 |
| 질량 | 7.3_60 |
| 행렬 | 1.6_5 |
| memoise | 2.0 |
| mgcv | 1.9_1 |
| mime | 0.12 |
| modelmetrics | 1.2.2 |
| modelr | 0.1 |
| munsell | 0.5 |
| nlme | 3.1_164 |
| nnet | 7.3_19 |
| numderiv | 2016.8_1 |
| openssl | 2.2 |
| 핵심 요소 | 1.9 |
| pkgbuild | 1.4 |
| pkgconfig | 2.0 |
| pkgload | 1.3 |
| plogr | 0.2 |
| plyr | 1.8 |
| 칭찬 | 1.0 |
| prettyunits | 1.2 |
| processx | 3.8 |
| prodlim | 2023년 8월 |
| progress | 1.2 |
| 약속 | 1.3 |
| proto | 1.0 |
| ps | 1.7 |
| purrr | 1.0 |
| r6 | 2.5 |
| randomforest | 4.7_1 |
| rappdirs | 0.3 |
| rcmdcheck | 1.4 |
| rcolorbrewer | 1.1_3 |
| rcpp | 1.0 |
| rcurl | 1.98_1 |
| readr | 2.1 |
| readxl | 1.4 |
| 레시피 | 1.0 |
| 재대결 | 2.0 |
| 리모컨 | 2.5 |
| reprex | 2.1 |
| reshape2 | 1.4 |
| rlang | 1.1 |
| rmarkdown | 2.27 |
| rodbc | 1.3_23 |
| roxygen2 | 7.3 |
| rpart | 4.1 |
| rprojroot | 2.0 |
| rserve | 1.8_7 |
| rsqlite | 2.3 |
| rstudioapi | 0.16 |
| rvest | 1.0 |
| 비늘 | 1.3 |
| selectr | 0.4_2 |
| sessioninfo | 1.2 |
| 도형 | 1.4.6 |
| 반짝임 | 1.8.1 |
| sourcetools | 0.1 |
| 공간 | 7.3_17 |
| squarem | 2021.1 |
| stringi | 1.8 |
| stringr | 1.5 |
| 생존 | 3.6_4 |
| sys | 3.4 |
| teachingdemos | 2.12 |
| testthat | 3.2.1 |
| tibble | 3.2 |
| tidyr | 1.3 |
| tidyselect | 1.2 |
| tidyverse | 2.0 |
| timedate | 4032.109 |
| tinytex | 0.51 |
| usethis | 2.2 |
| utf8 | 1.2 |
| uuid | 1.2_0 |
| vctrs | 0.6 |
| 수염 | 0.4 |
| withr | 3.0 |
| xfun | 0.44 |
| xml2 | 1.3 |
| xopen | 1.0 |
| xtable | 1.8_4 |
| yaml | 2.3 |
| 우편번호 | 2.3 |