Ressource: Batch
Eine Darstellung einer Batcharbeitslast im Dienst.
JSON-Darstellung |
---|
{ "name": string, "uuid": string, "createTime": string, "runtimeInfo": { object ( |
Felder | |
---|---|
name |
Nur Ausgabe. Der Ressourcenname des Batches. |
uuid |
Nur Ausgabe. Eine Batch-UUID (Unique Universal Identifier). Dieser Wert wird vom Dienst generiert, wenn der Batch erstellt wird. |
create |
Nur Ausgabe. Die Uhrzeit, zu der der Batch erstellt wurde. Ein Zeitstempel im Format RFC3339 UTC "Zulu" mit einer Auflösung im Nanosekundenbereich und bis zu neun Nachkommastellen. Beispiele: |
runtime |
Nur Ausgabe. Laufzeitinformationen zur Batchausführung. |
state |
Nur Ausgabe. Der Status des Batches. |
state |
Nur Ausgabe. Details zum Batchstatus, z. B. eine Fehlerbeschreibung, wenn der Status |
state |
Nur Ausgabe. Der Zeitpunkt, zu dem der Batch den aktuellen Status erreicht hat. Ein Zeitstempel im Format RFC3339 UTC "Zulu" mit einer Auflösung im Nanosekundenbereich und bis zu neun Nachkommastellen. Beispiele: |
creator |
Nur Ausgabe. Die E-Mail-Adresse des Nutzers, der den Batch erstellt hat. |
labels |
Optional. Die Labels, die mit diesem Batch verknüpft werden sollen. Labelschlüssel müssen zwischen 1 und 63 Zeichen lang sein und RFC 1035 entsprechen. Labelwerte können leer sein. Wenn sie vorhanden sind, müssen sie zwischen 1 und 63 Zeichen lang sein und RFC 1035 entsprechen. Einem Batch können maximal 32 Labels zugeordnet werden. Ein Objekt, das eine Liste von |
runtime |
Optional. Laufzeitkonfiguration für die Batchausführung. |
environment |
Optional. Umgebungskonfiguration für die Batchausführung. |
operation |
Nur Ausgabe. Der Ressourcenname des Vorgangs, der mit diesem Batch verknüpft ist. |
state |
Nur Ausgabe. Informationen zum bisherigen Status des Batches. |
Union-Feld batch_config . Der anwendungs-/frameworkspezifische Teil der Batchkonfiguration. Für batch_config ist nur einer der folgenden Werte zulässig: |
|
pyspark |
Optional. PySpark-Batchkonfiguration |
spark |
Optional. Spark-Batchkonfiguration |
spark |
Optional. SparkR-Batchkonfiguration |
spark |
Optional. SparkSql-Batchkonfiguration |
PySparkBatch
Eine Konfiguration zum Ausführen einer Apache PySpark-Batcharbeitslast.
JSON-Darstellung |
---|
{ "mainPythonFileUri": string, "args": [ string ], "pythonFileUris": [ string ], "jarFileUris": [ string ], "fileUris": [ string ], "archiveUris": [ string ] } |
Felder | |
---|---|
main |
Pflichtangabe. Der HCFS-URI der Python-Hauptdatei, die als Spark-Treiber verwendet werden soll. Muss eine .py-Datei sein. |
args[] |
Optional. Argumente, die an den Treiber übergeben werden sollen. Fügen Sie keine Argumente hinzu, die als Batch-Eigenschaften festgelegt werden können, z. B. |
python |
Optional. HCFS-Datei-URIs von Python-Dateien, die an das PySpark-Framework übergeben werden sollen. Unterstützte Dateitypen: |
jar |
Optional. HCFS-URIs von JAR-Dateien, die dem Klassenpfad des Spark-Treibers und der Spark-Aufgaben hinzugefügt werden sollen. |
file |
Optional. HCFS-URIs von Dateien, die im Arbeitsverzeichnis jedes Executors abgelegt werden sollen. |
archive |
Optional. HCFS-URIs von Archiven, die in das Arbeitsverzeichnis jedes Executors extrahiert werden sollen. Unterstützte Dateitypen: |
SparkBatch
Eine Konfiguration zum Ausführen einer Apache Spark-Batcharbeitslast.
JSON-Darstellung |
---|
{ "args": [ string ], "jarFileUris": [ string ], "fileUris": [ string ], "archiveUris": [ string ], // Union field |
Felder | |
---|---|
args[] |
Optional. Argumente, die an den Treiber übergeben werden sollen. Fügen Sie keine Argumente hinzu, die als Batch-Eigenschaften festgelegt werden können, z. B. |
jar |
Optional. HCFS-URIs von JAR-Dateien, die dem Klassenpfad des Spark-Treibers und der Spark-Aufgaben hinzugefügt werden sollen. |
file |
Optional. HCFS-URIs von Dateien, die im Arbeitsverzeichnis jedes Executors abgelegt werden sollen. |
archive |
Optional. HCFS-URIs von Archiven, die in das Arbeitsverzeichnis jedes Executors extrahiert werden sollen. Unterstützte Dateitypen: |
Union-Feld driver . Die Angabe der Hauptmethode, die zum Ausführen der Spark-Arbeitslast aufgerufen werden soll. Geben Sie entweder die JAR-Datei mit der Hauptklasse oder den Namen der Hauptklasse an. Wenn Sie sowohl eine Haupt-JAR-Datei als auch eine Hauptklasse in dieser JAR-Datei übergeben möchten, fügen Sie die JAR-Datei zu jar_file_uris hinzu und geben Sie dann den Namen der Hauptklasse in main_class an. Für driver ist nur einer der folgenden Werte zulässig: |
|
main |
Optional. Der HCFS-URI der JAR-Datei, die die Hauptklasse enthält. |
main |
Optional. Der Name der Hauptklasse des Treibers. Die JAR-Datei, die die Klasse enthält, muss sich im Klassenpfad befinden oder in |
SparkRBatch
Eine Konfiguration zum Ausführen einer Apache SparkR-Batcharbeitslast.
JSON-Darstellung |
---|
{ "mainRFileUri": string, "args": [ string ], "fileUris": [ string ], "archiveUris": [ string ] } |
Felder | |
---|---|
main |
Pflichtangabe. Der HCFS-URI der Haupt-R-Datei, die als Treiber verwendet werden soll. Muss eine |
args[] |
Optional. Argumente, die an den Spark-Treiber übergeben werden. Fügen Sie keine Argumente hinzu, die als Batch-Eigenschaften festgelegt werden können, z. B. |
file |
Optional. HCFS-URIs von Dateien, die im Arbeitsverzeichnis jedes Executors abgelegt werden sollen. |
archive |
Optional. HCFS-URIs von Archiven, die in das Arbeitsverzeichnis jedes Executors extrahiert werden sollen. Unterstützte Dateitypen: |
SparkSqlBatch
Eine Konfiguration zum Ausführen von Apache Spark SQL-Abfragen als Batch-Arbeitslast.
JSON-Darstellung |
---|
{ "queryFileUri": string, "queryVariables": { string: string, ... }, "jarFileUris": [ string ] } |
Felder | |
---|---|
query |
Pflichtangabe. Die HCFS-URI des Scripts, das die auszuführenden Spark SQL-Abfragen enthält. |
query |
Optional. Zuordnung von Namen von Abfragevariablen zu Werten (entspricht dem Spark SQL-Befehl Ein Objekt, das eine Liste von |
jar |
Optional. HCFS-URIs von JAR-Dateien, die dem Spark-CLASSPATH hinzugefügt werden sollen. |
Bundesland
Der Batchstatus.
Enums | |
---|---|
STATE_UNSPECIFIED |
Der Batch-Status ist unbekannt. |
PENDING |
Der Batch wird vor der Ausführung erstellt. |
RUNNING |
Der Batch wird ausgeführt. |
CANCELLING |
Der Batch wird abgebrochen. |
CANCELLED |
Die Batch-Kündigung war erfolgreich. |
SUCCEEDED |
Die Batch-Datei wurde erfolgreich abgeschlossen. |
FAILED |
Der Batch wird aufgrund eines Fehlers nicht mehr ausgeführt. |
StateHistory
Informationen zum bisherigen Status.
JSON-Darstellung |
---|
{
"state": enum ( |
Felder | |
---|---|
state |
Nur Ausgabe. Der Status des Batches zu diesem Zeitpunkt. |
state |
Nur Ausgabe. Details zum Status zu diesem Zeitpunkt. |
state |
Nur Ausgabe. Der Zeitpunkt, zu dem der Batch in den Status „Vergangen“ gewechselt ist. Ein Zeitstempel im Format RFC3339 UTC "Zulu" mit einer Auflösung im Nanosekundenbereich und bis zu neun Nachkommastellen. Beispiele: |
Methoden |
|
---|---|
|
Erstellt eine Batcharbeitslast, die asynchron ausgeführt wird. |
|
Löscht die Batch-Arbeitslastressource. |
|
Ruft die Ressourcendarstellung der Batcharbeitslast ab. |
|
Listet Batcharbeitslasten auf. |