Dataproc Serverless for Spark führt Arbeitslasten in Docker-Containern aus. Der Container stellt die Laufzeitumgebung für die Treiber- und Executor-Prozesse der Arbeitslast bereit. Standardmäßig verwendet Dataproc Serverless for Spark ein Container-Image, das die standardmäßigen Spark-, Java-, Python- und R-Pakete enthält, die einer Laufzeitversion zugeordnet sind. Mit der Batches von Dataproc Serverless for Spark können Sie anstelle des Standard-Images ein benutzerdefiniertes Container-Image verwenden. In der Regel fügt ein benutzerdefiniertes Container-Image Spark-Arbeitslast-Abhängigkeiten für Java oder Python hinzu, die nicht vom Standard-Container-Image bereitgestellt werden. Wichtig: Binden Sie Spark nicht in Ihr benutzerdefiniertes Container-Image ein. Dataproc Serverless for Spark stellt Spark zur Laufzeit im Container bereit.
Spark-Batcharbeitslast mit einem benutzerdefinierten Container-Image senden
gcloud
Verwenden Sie den Befehl gcloud dataproc Batches submit spark mit dem Flag --container-image, um Ihr benutzerdefiniertes Container-Image anzugeben, wenn Sie eine Spark-Batcharbeitslast senden.
gcloud dataproc batches submit spark \ --container-image=custom-image, for example, "gcr.io/my-project-id/my-image:1.0.1" \ --region=region \ --jars=path to user workload jar located in Cloud Storage or included in the custom container \ --class=The fully qualified name of a class in the jar file, such as org.apache.spark.examples.SparkPi \ -- add any workload arguments here
Hinweise:
- Custom-Image: Geben Sie das benutzerdefinierte Container-Image im folgenden Namensformat für Container Registry-Images an:
{hostname}/{project-id}/{image}:{tag}, z. B. „gcr.io/my-project-id/my-image:1.0.1“. Hinweis: Das benutzerdefinierte Container-Image muss in Container Registry oder Artifact Registry gehostet werden. (Dataproc Serverless kann keine Container aus anderen Registries abrufen.) --jars: Geben Sie einen Pfad zu einer Nutzerarbeitslast an, die in Ihrem benutzerdefinierten Container-Image enthalten ist oder sich in Cloud Storage befindet, z. B./opt/spark/jars/spark-examples.jarodergs://my-bucket/spark/jars/spark-examples.jar.- Weitere Optionen für Batch-Befehle: Sie können weitere optionale Batch-Befehls-Flags hinzufügen, z. B. um einen Persistent History Server (PHS) zu verwenden. Hinweis: Die PHS muss sich in der Region befinden, in der Sie Batcharbeitslasten ausführen.
- Arbeitslastargumente Sie können beliebige Arbeitslastargumente hinzufügen, indem Sie „--“ am Ende des Befehls gefolgt von den Arbeitslastargumenten einfügen.
REST
Das benutzerdefinierte Container-Image wird über das Feld RuntimeConfig.containerImage als Teil der API-Anfrage batches.create bereitgestellt.
Das folgende Beispiel zeigt, wie Sie einen benutzerdefinierten Container verwenden, um eine Batcharbeitslast über die Dataproc Serverless for Spark API batches.create zu senden.
Bevor Sie die Anfragedaten verwenden, ersetzen Sie die folgenden Werte:
- project-id: ID des Google Cloud-Projekts.
- region: Region
- custom-container-image: Geben Sie das benutzerdefinierte Container-Image im folgenden Namensformat für Container Registry-Images an:
{hostname}/{project-id}/{image}:{tag}, z. B. „gcr.io/my-project-id/my-image:1.0.1“. Hinweis: Der benutzerdefinierte Container muss in Container Registry oder Artifact Registry gehostet werden. (Dataproc Serverless kann keine Container aus anderen Registries abrufen.) jar-uri: Geben Sie einen Pfad zu einer Arbeitslast-JAR-Datei an, die in Ihrem benutzerdefinierten Container-Image enthalten ist oder sich in Cloud Storage befindet, z. B. „/opt/spark/jars/spark-examples.jar“ oder „gs:///spark/jars/spark-examples.jar“.class:Der voll qualifizierte Name einer Klasse in der JAR-Datei, z. B. „org.apache.spark.examples.SparkPi“.- Weitere Optionen: Sie können andere Ressourcenfelder für Batcharbeitslasten verwenden. Beispielsweise können Sie mit dem Feld
sparkBatch.argsArgumente an Ihre Arbeitslast übergeben. Weitere Informationen finden Sie in der Dokumentation zur RessourceBatch. Informationen zur Verwendung eines Persistent History Servers (PHS) finden Sie unter Nichtflüchtigen Verlaufsserver einrichten. Hinweis: Die PHS muss sich in der Region befinden, in der Sie Batcharbeitslasten ausführen.
HTTP-Methode und URL:
POST https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches
JSON-Text der Anfrage:
{
"runtimeConfig":{
"containerImage":"custom-container-image
},
"sparkBatch":{
"jarFileUris":[
"jar-uri"
],
"mainClass":"class"
}
}
Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:
Sie sollten in etwa folgende JSON-Antwort erhalten:
{
"name":"projects/project-id/locations/region/batches/batch-id",
"uuid":",uuid",
"createTime":"2021-07-22T17:03:46.393957Z",
"runtimeConfig":{
"containerImage":"gcr.io/my-project/my-image:1.0.1"
},
"sparkBatch":{
"mainClass":"org.apache.spark.examples.SparkPi",
"jarFileUris":[
"/opt/spark/jars/spark-examples.jar"
]
},
"runtimeInfo":{
"outputUri":"gs://dataproc-.../driveroutput"
},
"state":"SUCCEEDED",
"stateTime":"2021-07-22T17:06:30.301789Z",
"creator":"account-email-address",
"runtimeConfig":{
"properties":{
"spark:spark.executor.instances":"2",
"spark:spark.driver.cores":"2",
"spark:spark.executor.cores":"2",
"spark:spark.app.name":"projects/project-id/locations/region/batches/batch-id"
}
},
"environmentConfig":{
"peripheralsConfig":{
"sparkHistoryServerConfig":{
}
}
},
"operation":"projects/project-id/regions/region/operation-id"
}
Benutzerdefiniertes Container-Image erstellen
Benutzerdefinierte Container-Images von Dataproc Serverless for Spark sind Docker-Images. Sie können die Tools zum Erstellen von Docker-Images verwenden, um benutzerdefinierte Container-Images zu erstellen. Die Images müssen jedoch bestimmte Bedingungen erfüllen, um mit Dataproc Serverless for Spark kompatibel zu sein. In den folgenden Abschnitten werden diese Bedingungen erläutert.
Betriebssystem
Sie können ein beliebiges Betriebssystem-Image als Basis-Image Ihres benutzerdefinierten Container-Images auswählen.
Empfehlung: Die Debian 11-Standard-Images werden bevorzugt (z. B. debian:11-slim), da sie getestet wurden, um Kompatibilitätsprobleme zu vermeiden.
Dienstprogramme
Sie müssen in Ihrem benutzerdefinierten Container-Image die folgenden Dienstprogrammpakete hinzufügen, die zum Ausführen von Spark erforderlich sind:
procpstini
Zum Ausführen von XGBoost über Spark (Java oder Scala) müssen Sie libgomp1 angeben
Containernutzer
Dataproc Serverless for Spark führt Container als spark-Linux-Nutzer mit einer 1099-UID und einer 1099-GID aus. USER-Anweisungen, die in Dockerfiles für benutzerdefinierte Container-Images festgelegt sind, werden zur Laufzeit ignoriert. Verwenden Sie die UID und die GID für Dateisystemberechtigungen.
Wenn Sie beispielsweise eine JAR-Datei unter /opt/spark/jars/my-lib.jar im Image als Arbeitslastabhängigkeit hinzufügen, müssen Sie dem Nutzer spark Leseberechtigung für die Datei erteilen.
Image-Streaming
Dataproc Serverless for Spark startet normalerweise eine Arbeitslast, die ein benutzerdefiniertes Container-Image erfordert, indem das gesamte Image auf das Laufwerk heruntergeladen wird. Dies kann insbesondere bei Kunden mit großen Images zu einer Verzögerung der Initialisierung führen.
Sie können stattdessen Imagestreaming verwenden, eine Methode, um bei Bedarf Bilddaten abzurufen. Dadurch kann die Arbeitslast gestartet werden, ohne auf den Download des gesamten Images warten zu müssen, was möglicherweise die Initialisierungszeit verkürzt. Zum Aktivieren des Image-Streamings müssen Sie die Container Filesystem API aktivieren. Außerdem müssen Sie die Container-Images in Artifact Registry speichern. Das Artifact Registry-Repository muss sich in derselben Region wie Ihre Dataproc-Arbeitslast oder an einem multiregionalen Standort wie der Region befinden, in der die Arbeitslast ausgeführt wird. Wenn Dataproc das Image nicht unterstützt oder der Image-Streamingdienst nicht verfügbar ist, lädt unsere Streamingimplementierung das gesamte Image herunter. Beachten Sie, dass folgendes Bildstreaming nicht unterstützt wird:
- Bilder mit leeren oder doppelten Ebenen
- Images, die das V2 Image Manifest, Schemaversion 1 verwenden
In diesen Fällen ruft Dataproc das gesamte Image ab, bevor die Arbeitslast gestartet wird.
Spark
Fügen Sie Spark nicht in Ihr benutzerdefiniertes Container-Image ein. Während der Laufzeit stellt Dataproc Serverless for Spark Spark-Binärdateien und -Konfigurationen vom Host im Container bereit: Binärdateien werden im Verzeichnis /usr/lib/spark und Konfigurationen im Verzeichnis /etc/spark/conf bereitgestellt. Vorhandene Dateien in diesen Verzeichnissen werden zur Laufzeit von Dataproc Serverless for Spark überschrieben.
Java-Laufzeitumgebung
Fügen Sie keine eigene Java-Laufzeitumgebung (JRE) in Ihr benutzerdefiniertes Container-Image ein.
Zur Laufzeit stellt Dataproc Serverless for Spark OpenJDK vom Host im Container bereit. Wenn Sie eine JRE in Ihr benutzerdefiniertes Container-Image aufnehmen, wird diese ignoriert.
Java-Pakete
Sie können JAR-Dateien als Spark-Arbeitslastabhängigkeiten in Ihr benutzerdefiniertes Container-Image einfügen und die Umgebungsvariable SPARK_EXTRA_CLASSPATH so festlegen, dass die JAR-Dateien einbezogen werden. Dataproc Serverless for Spark fügt den Wert der Umgebungsvariable in den Klassenpfad von Spark-JVM-Prozessen ein. Empfehlung: Speichern Sie JAR-Dateien im Verzeichnis /opt/spark/jars und legen Sie SPARK_EXTRA_CLASSPATH auf /opt/spark/jars/* fest.
Sie können die JAR-Datei für die Arbeitslast in Ihr benutzerdefiniertes Container-Image aufnehmen und dann beim Senden der Arbeitslast mit einem lokalen Pfad darauf verweisen. Beispiel: file:///opt/spark/jars/my-spark-job.jar. Ein Beispiel finden Sie unter Spark-Batcharbeitslast mit einem benutzerdefinierten Container-Image senden.
Python-Pakete
Standardmäßig stellt Dataproc Serverless for Spark Conda zur Laufzeit vom Host im Verzeichnis /opt/dataproc/conda im Container bereit.
PYSPARK_PYTHON ist auf /opt/dataproc/conda/bin/python gesetzt. Das Basisverzeichnis /opt/dataproc/conda/bin ist in PATH enthalten.
Sie können Ihre Python-Umgebung mit Paketen in einem anderen Verzeichnis in Ihrem benutzerdefinierten Container-Image einfügen, z. B. in /opt/conda, und die Umgebungsvariable PYSPARK_PYTHON auf /opt/conda/bin/python festlegen.
Ihr benutzerdefiniertes Container-Image kann andere Python-Module enthalten, die nicht Teil der Python-Umgebung sind, z. B. Python-Skripts mit Dienstfunktionen.
Legen Sie in der Umgebungsvariable PYTHONPATH die Verzeichnisse fest, in denen sich die Module befinden.
R-Umgebung
Sie können die R-Umgebung in Ihrem benutzerdefinierten Container-Image mit einer der folgenden Optionen anpassen:
– mit Conda R-Pakete vom Kanal conda-forge verwalten und installieren
– ein R-Repository für Ihr Container-Image unter Linux-Betriebssystem hinzufügen und R-Pakete über den Linux OS-Paketmanager installieren (siehe R-Softwarepaketindex)
Wenn Sie eine der beiden Optionen verwenden, müssen Sie die Umgebungsvariable R_HOME so festlegen, dass sie auf Ihre benutzerdefinierte R-Umgebung verweist. Ausnahme: Wenn Sie Conda sowohl zum Verwalten Ihrer R-Umgebung als auch zum Anpassen der Python-Umgebung verwenden, müssen Sie die Umgebungsvariable R_HOME nicht festlegen. Sie wird automatisch anhand der Umgebungsvariablen PYSPARK_PYTHON festgelegt.
Beispiel für den Build eines benutzerdefinierten Container-Images
Dockerfile
# Debian 11 is recommended.
FROM debian:11-slim
# Suppress interactive prompts
ENV DEBIAN_FRONTEND=noninteractive
# (Required) Install utilities required by Spark scripts.
RUN apt update && apt install -y procps tini libjemalloc2
# (Optiona) Install utilities required by XGBoost for Spark.
RUN apt install -y procps libgomp1
# Enable jemalloc2 as default memory allocator
ENV LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so.2
# (Optional) Add extra jars.
ENV SPARK_EXTRA_JARS_DIR=/opt/spark/jars/
ENV SPARK_EXTRA_CLASSPATH='/opt/spark/jars/*'
RUN mkdir -p "${SPARK_EXTRA_JARS_DIR}"
COPY spark-bigquery-with-dependencies_2.12-0.22.2.jar "${SPARK_EXTRA_JARS_DIR}"
# (Optional) Install and configure Miniconda3.
ENV CONDA_HOME=/opt/miniconda3
ENV PYSPARK_PYTHON=${CONDA_HOME}/bin/python
ENV PATH=${CONDA_HOME}/bin:${PATH}
COPY Miniconda3-py39_4.10.3-Linux-x86_64.sh .
RUN bash Miniconda3-py39_4.10.3-Linux-x86_64.sh -b -p /opt/miniconda3 \
&& ${CONDA_HOME}/bin/conda config --system --set always_yes True \
&& ${CONDA_HOME}/bin/conda config --system --set auto_update_conda False \
&& ${CONDA_HOME}/bin/conda config --system --prepend channels conda-forge \
&& ${CONDA_HOME}/bin/conda config --system --set channel_priority strict
# Packages ipython and ipykernel are required if using custom conda and want to
# use this container for running notebooks.
RUN ${CONDA_HOME}/bin/conda install ipython ipykernel
# (Optional) Install Conda packages.
#
# The following packages are installed in the default image, it is strongly
# recommended to include all of them.
#
# Use mamba to install packages quickly.
RUN ${CONDA_HOME}/bin/conda install mamba -n base -c conda-forge \
&& ${CONDA_HOME}/bin/mamba install \
conda \
cython \
fastavro \
fastparquet \
gcsfs \
google-cloud-bigquery-storage \
google-cloud-bigquery[pandas] \
google-cloud-bigtable \
google-cloud-container \
google-cloud-datacatalog \
google-cloud-dataproc \
google-cloud-datastore \
google-cloud-language \
google-cloud-logging \
google-cloud-monitoring \
google-cloud-pubsub \
google-cloud-redis \
google-cloud-spanner \
google-cloud-speech \
google-cloud-storage \
google-cloud-texttospeech \
google-cloud-translate \
google-cloud-vision \
koalas \
matplotlib \
nltk \
numba \
numpy \
openblas \
orc \
pandas \
pyarrow \
pysal \
pytables \
python \
regex \
requests \
rtree \
scikit-image \
scikit-learn \
scipy \
seaborn \
sqlalchemy \
sympy \
virtualenv
# (Optional) Add extra Python modules.
ENV PYTHONPATH=/opt/python/packages
RUN mkdir -p "${PYTHONPATH}"
COPY test_util.py "${PYTHONPATH}"
# (Optional) Install R and R libraries.
RUN apt update \
&& apt install -y gnupg \
&& apt-key adv --no-tty \
--keyserver "hkp://keyserver.ubuntu.com:80" \
--recv-keys E19F5F87128899B192B1A2C2AD5F960A256A04AF \
&& echo "deb http://cloud.r-project.org/bin/linux/debian bullseye-cran40/" \
>/etc/apt/sources.list.d/cran-r.list \
&& apt update \
&& apt install -y \
libopenblas-base \
libssl-dev \
r-base \
r-base-dev \
r-recommended \
r-cran-blob
ENV R_HOME=/usr/lib/R
# (Required) Create the 'spark' group/user.
# The GID and UID must be 1099. Home directory is required.
RUN groupadd -g 1099 spark
RUN useradd -u 1099 -g 1099 -d /home/spark -m spark
USER spark
Build-Befehle
Führen Sie die Ausführung im Dockerfile-Verzeichnis aus.
IMAGE=gcr.io/my-project/my-image:1.0.1
# Download the BigQuery connector.
gsutil cp \
gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.22.2.jar .
# Download the Miniconda3 installer.
wget https://repo.anaconda.com/miniconda/Miniconda3-py39_4.10.3-Linux-x86_64.sh
# Python module example
cat >test_util.py <<EOF
def hello(name):
print("hello {}".format(name))
def read_lines(path):
with open(path) as f:
return f.readlines()
EOF
# Build and push the image.
docker build -t "${IMAGE}" .
docker push "${IMAGE}"