REST Resource: projects.locations.batches

Risorsa: batch

Una rappresentazione di un carico di lavoro batch nel servizio.

Rappresentazione JSON 
{
  "name": string,
  "uuid": string,
  "createTime": string,
  "runtimeInfo": {
    object (RuntimeInfo)
  },
  "state": enum (State),
  "stateMessage": string,
  "stateTime": string,
  "creator": string,
  "labels": {
    string: string,
    ...
  },
  "runtimeConfig": {
    object (RuntimeConfig)
  },
  "environmentConfig": {
    object (EnvironmentConfig)
  },
  "operation": string,
  "stateHistory": [
    {
      object (StateHistory)
    }
  ],

  // Union field batch_config can be only one of the following:
  "pysparkBatch": {
    object (PySparkBatch)
  },
  "sparkBatch": {
    object (SparkBatch)
  },
  "sparkRBatch": {
    object (SparkRBatch)
  },
  "sparkSqlBatch": {
    object (SparkSqlBatch)
  }
  // End of list of possible types for union field batch_config.
}
Campi
name

string

Solo output. Il nome della risorsa del batch.
uuid

string

Solo output. Un UUID (Universal Unique Identifier) del batch. Il servizio genera questo valore quando crea il batch.
createTime

string (Timestamp format)

Solo output. L'ora in cui è stato creato il batch.

Un timestamp in formato "Zulu" UTC RFC3339, con risoluzione a livello di nanosecondo e fino a nove cifre frazionarie. Esempi: "2014-10-02T15:01:23Z" e "2014-10-02T15:01:23.045123456Z".
runtimeInfo

object (RuntimeInfo)

Solo output. Informazioni di runtime sull'esecuzione batch.
state

enum (State)

Solo output. Lo stato del batch.
stateMessage

string

Solo output. Dettagli dello stato del batch, ad esempio una descrizione dell'errore se lo stato è FAILED.
stateTime

string (Timestamp format)

Solo output. L'ora in cui il batch è passato a uno stato corrente.

Un timestamp in formato "Zulu" UTC RFC3339, con risoluzione a livello di nanosecondo e fino a nove cifre frazionarie. Esempi: "2014-10-02T15:01:23Z" e "2014-10-02T15:01:23.045123456Z".
creator

string

Solo output. L'indirizzo email dell'utente che ha creato il batch.
labels

map (key: string, value: string)

Facoltativo. Le etichette da associare a questo batch. Le chiavi delle etichette devono contenere da 1 a 63 caratteri e devono essere conformi allo standard RFC 1035. I valori delle etichette possono essere vuoti, ma, se presenti, devono contenere da 1 a 63 caratteri e devono essere conformi allo standard RFC 1035. Non è possibile associare più di 32 etichette a un batch.

Un oggetto contenente un elenco di coppie "key": value. Esempio: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
runtimeConfig

object (RuntimeConfig)

Facoltativo. Configurazione di runtime per l'esecuzione batch.
environmentConfig

object (EnvironmentConfig)

Facoltativo. Configurazione dell'ambiente per l'esecuzione batch.
operation

string

Solo output. Il nome della risorsa dell'operazione associata a questo batch.
stateHistory[]

object (StateHistory)

Solo output. Informazioni sullo stato storico del batch.
Campo unione batch_config. La parte specifica dell'applicazione/del framework della configurazione batch. batch_config può essere solo uno dei seguenti:
pysparkBatch

object (PySparkBatch)

Facoltativo. Configurazione batch di PySpark.
sparkBatch

object (SparkBatch)

Facoltativo. Configurazione del batch Spark.
sparkRBatch

object (SparkRBatch)

Facoltativo. Configurazione batch SparkR.
sparkSqlBatch

object (SparkSqlBatch)

Facoltativo. Configurazione batch SparkSql.

PySparkBatch

Una configurazione per l'esecuzione di un workload batch Apache PySpark.

Rappresentazione JSON 
{
  "mainPythonFileUri": string,
  "args": [
    string
  ],
  "pythonFileUris": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Campi
mainPythonFileUri

string

Obbligatorio. L'URI HCFS del file Python principale da utilizzare come driver Spark. Deve essere un file .py.
args[]

string

Facoltativo. Gli argomenti da passare al driver. Non includere argomenti che possono essere impostati come proprietà batch, ad esempio --conf, poiché può verificarsi una collisione che causa l'invio di un batch errato.
pythonFileUris[]

string

Facoltativo. URI file HCFS dei file Python da passare al framework PySpark. Tipi di file supportati: .py, .egg e .zip.
jarFileUris[]

string

Facoltativo. URI HCFS dei file JAR da aggiungere al percorso di classe del driver e delle attività Spark.
fileUris[]

string

Facoltativo. URI HCFS dei file da inserire nella directory di lavoro di ciascun esecutore.
archiveUris[]

string

Facoltativo. URI HCFS degli archivi da estrarre nella directory di lavoro di ciascun esecutore. Tipi di file supportati: .jar, .tar, .tar.gz, .tgz e .zip.

SparkBatch

Una configurazione per l'esecuzione di un workload batch Apache Spark.

Rappresentazione JSON 
{
  "args": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ],

  // Union field driver can be only one of the following:
  "mainJarFileUri": string,
  "mainClass": string
  // End of list of possible types for union field driver.
}
Campi
args[]

string

Facoltativo. Gli argomenti da passare al driver. Non includere argomenti che possono essere impostati come proprietà batch, ad esempio --conf, poiché può verificarsi una collisione che causa l'invio di un batch errato.
jarFileUris[]

string

Facoltativo. URI HCFS dei file JAR da aggiungere al percorso di classe del driver e delle attività Spark.
fileUris[]

string

Facoltativo. URI HCFS dei file da inserire nella directory di lavoro di ciascun esecutore.
archiveUris[]

string

Facoltativo. URI HCFS degli archivi da estrarre nella directory di lavoro di ciascun esecutore. Tipi di file supportati: .jar, .tar, .tar.gz, .tgz e .zip.
Campo unione driver. La specifica del metodo principale da chiamare per gestire il workload Spark. Specifica il file jar contenente la classe principale o il nome della classe principale. Per passare sia un jar principale che una classe principale in quel jar, aggiungi il jar a jar_file_uris e specifica il nome della classe principale in main_class. driver può essere solo uno dei seguenti:
mainJarFileUri

string

Facoltativo. L'URI HCFS del file jar contenente la classe principale.
mainClass

string

Facoltativo. Il nome della classe principale del driver. Il file jar che contiene la classe deve trovarsi nel percorso di classe o essere specificato in jarFileUris.

SparkRBatch

Una configurazione per l'esecuzione di un workload batch Apache SparkR.

Rappresentazione JSON 
{
  "mainRFileUri": string,
  "args": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Campi
mainRFileUri

string

Obbligatorio. L'URI HCFS del file R principale da utilizzare come driver. Deve essere un file .R o .r.
args[]

string

Facoltativo. Gli argomenti da passare al driver Spark. Non includere argomenti che possono essere impostati come proprietà batch, ad esempio --conf, poiché può verificarsi una collisione che causa l'invio di un batch errato.
fileUris[]

string

Facoltativo. URI HCFS dei file da inserire nella directory di lavoro di ciascun esecutore.
archiveUris[]

string

Facoltativo. URI HCFS degli archivi da estrarre nella directory di lavoro di ciascun esecutore. Tipi di file supportati: .jar, .tar, .tar.gz, .tgz e .zip.

SparkSqlBatch

Una configurazione per l'esecuzione di query Apache Spark SQL come workload batch.

Rappresentazione JSON 
{
  "queryFileUri": string,
  "queryVariables": {
    string: string,
    ...
  },
  "jarFileUris": [
    string
  ]
}
Campi
queryFileUri

string

Obbligatorio. L'URI HCFS dello script contenente le query Spark SQL da eseguire.
queryVariables

map (key: string, value: string)

Facoltativo. Mappatura dei nomi delle variabili di query ai valori (equivalente al comando Spark SQL: SET name="value";).

Un oggetto contenente un elenco di coppie "key": value. Esempio: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
jarFileUris[]

string

Facoltativo. URI HCFS dei file jar da aggiungere al CLASSPATH di Spark.

Stato

Lo stato del batch.

Enum
STATE_UNSPECIFIED Lo stato del batch è sconosciuto.
PENDING Il batch viene creato prima dell'esecuzione.
RUNNING Il batch è in esecuzione.
CANCELLING L'annullamento del batch è in corso.
CANCELLED L'annullamento collettivo è andato a buon fine.
SUCCEEDED Il batch è stato completato correttamente.
FAILED Il batch non è più in esecuzione a causa di un errore.

StateHistory

Informazioni sullo stato storico.

Rappresentazione JSON 
{
  "state": enum (State),
  "stateMessage": string,
  "stateStartTime": string
}
Campi
state

enum (State)

Solo output. Lo stato del batch in questo momento della cronologia.
stateMessage

string

Solo output. Dettagli sullo stato in questo momento della cronologia.
stateStartTime

string (Timestamp format)

Solo output. L'ora in cui il batch è passato allo stato storico.

Un timestamp in formato "Zulu" UTC RFC3339, con risoluzione a livello di nanosecondo e fino a nove cifre frazionarie. Esempi: "2014-10-02T15:01:23Z" e "2014-10-02T15:01:23.045123456Z".

Metodi

create

 Crea un carico di lavoro batch che viene eseguito in modo asincrono.

delete

 Elimina la risorsa del carico di lavoro batch.

get

 Recupera la rappresentazione della risorsa del carico di lavoro batch.

list

 Elenca i workload batch.