REST Resource: projects.locations.batches

Ressource: Batch

Eine Darstellung einer Batcharbeitslast im Dienst.

JSON-Darstellung 
{
  "name": string,
  "uuid": string,
  "createTime": string,
  "runtimeInfo": {
    object (RuntimeInfo)
  },
  "state": enum (State),
  "stateMessage": string,
  "stateTime": string,
  "creator": string,
  "labels": {
    string: string,
    ...
  },
  "runtimeConfig": {
    object (RuntimeConfig)
  },
  "environmentConfig": {
    object (EnvironmentConfig)
  },
  "operation": string,
  "stateHistory": [
    {
      object (StateHistory)
    }
  ],

  // Union field batch_config can be only one of the following:
  "pysparkBatch": {
    object (PySparkBatch)
  },
  "sparkBatch": {
    object (SparkBatch)
  },
  "sparkRBatch": {
    object (SparkRBatch)
  },
  "sparkSqlBatch": {
    object (SparkSqlBatch)
  }
  // End of list of possible types for union field batch_config.
}
Felder
name

string

Nur Ausgabe. Der Ressourcenname des Batches.
uuid

string

Nur Ausgabe. Eine Batch-UUID (Unique Universal Identifier). Dieser Wert wird vom Dienst generiert, wenn der Batch erstellt wird.
createTime

string (Timestamp format)

Nur Ausgabe. Die Uhrzeit, zu der der Batch erstellt wurde.

Ein Zeitstempel im Format RFC3339 UTC "Zulu" mit einer Auflösung im Nanosekundenbereich und bis zu neun Nachkommastellen. Beispiele: "2014-10-02T15:01:23Z" und "2014-10-02T15:01:23.045123456Z".
runtimeInfo

object (RuntimeInfo)

Nur Ausgabe. Laufzeitinformationen zur Batchausführung.
state

enum (State)

Nur Ausgabe. Der Status des Batches.
stateMessage

string

Nur Ausgabe. Details zum Batchstatus, z. B. eine Fehlerbeschreibung, wenn der Status FAILED ist.
stateTime

string (Timestamp format)

Nur Ausgabe. Der Zeitpunkt, zu dem der Batch den aktuellen Status erreicht hat.

Ein Zeitstempel im Format RFC3339 UTC "Zulu" mit einer Auflösung im Nanosekundenbereich und bis zu neun Nachkommastellen. Beispiele: "2014-10-02T15:01:23Z" und "2014-10-02T15:01:23.045123456Z".
creator

string

Nur Ausgabe. Die E-Mail-Adresse des Nutzers, der den Batch erstellt hat.
labels

map (key: string, value: string)

Optional. Die Labels, die mit diesem Batch verknüpft werden sollen. Labelschlüssel müssen zwischen 1 und 63 Zeichen lang sein und RFC 1035 entsprechen. Labelwerte können leer sein. Wenn sie vorhanden sind, müssen sie zwischen 1 und 63 Zeichen lang sein und RFC 1035 entsprechen. Einem Batch können maximal 32 Labels zugeordnet werden.

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
runtimeConfig

object (RuntimeConfig)

Optional. Laufzeitkonfiguration für die Batchausführung.
environmentConfig

object (EnvironmentConfig)

Optional. Umgebungskonfiguration für die Batchausführung.
operation

string

Nur Ausgabe. Der Ressourcenname des Vorgangs, der mit diesem Batch verknüpft ist.
stateHistory[]

object (StateHistory)

Nur Ausgabe. Informationen zum bisherigen Status des Batches.
Union-Feld batch_config. Der anwendungs-/frameworkspezifische Teil der Batchkonfiguration. Für batch_config ist nur einer der folgenden Werte zulässig:
pysparkBatch

object (PySparkBatch)

Optional. PySpark-Batchkonfiguration
sparkBatch

object (SparkBatch)

Optional. Spark-Batchkonfiguration
sparkRBatch

object (SparkRBatch)

Optional. SparkR-Batchkonfiguration
sparkSqlBatch

object (SparkSqlBatch)

Optional. SparkSql-Batchkonfiguration

PySparkBatch

Eine Konfiguration zum Ausführen einer Apache PySpark-Batcharbeitslast.

JSON-Darstellung 
{
  "mainPythonFileUri": string,
  "args": [
    string
  ],
  "pythonFileUris": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Felder
mainPythonFileUri

string

Pflichtangabe. Der HCFS-URI der Python-Hauptdatei, die als Spark-Treiber verwendet werden soll. Muss eine .py-Datei sein.
args[]

string

Optional. Argumente, die an den Treiber übergeben werden sollen. Fügen Sie keine Argumente hinzu, die als Batch-Eigenschaften festgelegt werden können, z. B. --conf, da es sonst zu einer Kollision kommen kann, die eine falsche Batch-Einreichung verursacht.
pythonFileUris[]

string

Optional. HCFS-Datei-URIs von Python-Dateien, die an das PySpark-Framework übergeben werden sollen. Unterstützte Dateitypen: .py, .egg und .zip.
jarFileUris[]

string

Optional. HCFS-URIs von JAR-Dateien, die dem Klassenpfad des Spark-Treibers und der Spark-Aufgaben hinzugefügt werden sollen.
fileUris[]

string

Optional. HCFS-URIs von Dateien, die im Arbeitsverzeichnis jedes Executors abgelegt werden sollen.
archiveUris[]

string

Optional. HCFS-URIs von Archiven, die in das Arbeitsverzeichnis jedes Executors extrahiert werden sollen. Unterstützte Dateitypen: .jar, .tar, .tar.gz, .tgz und .zip.

SparkBatch

Eine Konfiguration zum Ausführen einer Apache Spark-Batcharbeitslast.

JSON-Darstellung 
{
  "args": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ],

  // Union field driver can be only one of the following:
  "mainJarFileUri": string,
  "mainClass": string
  // End of list of possible types for union field driver.
}
Felder
args[]

string

Optional. Argumente, die an den Treiber übergeben werden sollen. Fügen Sie keine Argumente hinzu, die als Batch-Eigenschaften festgelegt werden können, z. B. --conf, da es sonst zu einer Kollision kommen kann, die eine falsche Batch-Einreichung verursacht.
jarFileUris[]

string

Optional. HCFS-URIs von JAR-Dateien, die dem Klassenpfad des Spark-Treibers und der Spark-Aufgaben hinzugefügt werden sollen.
fileUris[]

string

Optional. HCFS-URIs von Dateien, die im Arbeitsverzeichnis jedes Executors abgelegt werden sollen.
archiveUris[]

string

Optional. HCFS-URIs von Archiven, die in das Arbeitsverzeichnis jedes Executors extrahiert werden sollen. Unterstützte Dateitypen: .jar, .tar, .tar.gz, .tgz und .zip.
Union-Feld driver. Die Angabe der Hauptmethode, die zum Ausführen der Spark-Arbeitslast aufgerufen werden soll. Geben Sie entweder die JAR-Datei mit der Hauptklasse oder den Namen der Hauptklasse an. Wenn Sie sowohl eine Haupt-JAR-Datei als auch eine Hauptklasse in dieser JAR-Datei übergeben möchten, fügen Sie die JAR-Datei zu jar_file_uris hinzu und geben Sie dann den Namen der Hauptklasse in main_class an. Für driver ist nur einer der folgenden Werte zulässig:
mainJarFileUri

string

Optional. Der HCFS-URI der JAR-Datei, die die Hauptklasse enthält.
mainClass

string

Optional. Der Name der Hauptklasse des Treibers. Die JAR-Datei, die die Klasse enthält, muss sich im Klassenpfad befinden oder in jarFileUris angegeben sein.

SparkRBatch

Eine Konfiguration zum Ausführen einer Apache SparkR-Batcharbeitslast.

JSON-Darstellung 
{
  "mainRFileUri": string,
  "args": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Felder
mainRFileUri

string

Pflichtangabe. Der HCFS-URI der Haupt-R-Datei, die als Treiber verwendet werden soll. Muss eine .R- oder .r-Datei sein.
args[]

string

Optional. Argumente, die an den Spark-Treiber übergeben werden. Fügen Sie keine Argumente hinzu, die als Batch-Eigenschaften festgelegt werden können, z. B. --conf, da es sonst zu einer Kollision kommen kann, die eine falsche Batch-Einreichung verursacht.
fileUris[]

string

Optional. HCFS-URIs von Dateien, die im Arbeitsverzeichnis jedes Executors abgelegt werden sollen.
archiveUris[]

string

Optional. HCFS-URIs von Archiven, die in das Arbeitsverzeichnis jedes Executors extrahiert werden sollen. Unterstützte Dateitypen: .jar, .tar, .tar.gz, .tgz und .zip.

SparkSqlBatch

Eine Konfiguration zum Ausführen von Apache Spark SQL-Abfragen als Batch-Arbeitslast.

JSON-Darstellung 
{
  "queryFileUri": string,
  "queryVariables": {
    string: string,
    ...
  },
  "jarFileUris": [
    string
  ]
}
Felder
queryFileUri

string

Pflichtangabe. Die HCFS-URI des Scripts, das die auszuführenden Spark SQL-Abfragen enthält.
queryVariables

map (key: string, value: string)

Optional. Zuordnung von Namen von Abfragevariablen zu Werten (entspricht dem Spark SQL-Befehl SET name="value";).

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
jarFileUris[]

string

Optional. HCFS-URIs von JAR-Dateien, die dem Spark-CLASSPATH hinzugefügt werden sollen.

Bundesland

Der Batchstatus.

Enums
STATE_UNSPECIFIED Der Batch-Status ist unbekannt.
PENDING Der Batch wird vor der Ausführung erstellt.
RUNNING Der Batch wird ausgeführt.
CANCELLING Der Batch wird abgebrochen.
CANCELLED Die Batch-Kündigung war erfolgreich.
SUCCEEDED Die Batch-Datei wurde erfolgreich abgeschlossen.
FAILED Der Batch wird aufgrund eines Fehlers nicht mehr ausgeführt.

StateHistory

Informationen zum bisherigen Status.

JSON-Darstellung 
{
  "state": enum (State),
  "stateMessage": string,
  "stateStartTime": string
}
Felder
state

enum (State)

Nur Ausgabe. Der Status des Batches zu diesem Zeitpunkt.
stateMessage

string

Nur Ausgabe. Details zum Status zu diesem Zeitpunkt.
stateStartTime

string (Timestamp format)

Nur Ausgabe. Der Zeitpunkt, zu dem der Batch in den Status „Vergangen“ gewechselt ist.

Ein Zeitstempel im Format RFC3339 UTC "Zulu" mit einer Auflösung im Nanosekundenbereich und bis zu neun Nachkommastellen. Beispiele: "2014-10-02T15:01:23Z" und "2014-10-02T15:01:23.045123456Z".

Methoden

create

 Erstellt eine Batcharbeitslast, die asynchron ausgeführt wird.

delete

 Löscht die Batch-Arbeitslastressource.

get

 Ruft die Ressourcendarstellung der Batcharbeitslast ab.

list

 Listet Batcharbeitslasten auf.