REST Resource: projects.locations.batches

Recurso: lote

Representação de uma carga de trabalho em lote no serviço.

Representação JSON 
{
  "name": string,
  "uuid": string,
  "createTime": string,
  "runtimeInfo": {
    object (RuntimeInfo)
  },
  "state": enum (State),
  "stateMessage": string,
  "stateTime": string,
  "creator": string,
  "labels": {
    string: string,
    ...
  },
  "runtimeConfig": {
    object (RuntimeConfig)
  },
  "environmentConfig": {
    object (EnvironmentConfig)
  },
  "operation": string,
  "stateHistory": [
    {
      object (StateHistory)
    }
  ],

  // Union field batch_config can be only one of the following:
  "pysparkBatch": {
    object (PySparkBatch)
  },
  "sparkBatch": {
    object (SparkBatch)
  },
  "sparkRBatch": {
    object (SparkRBatch)
  },
  "sparkSqlBatch": {
    object (SparkSqlBatch)
  }
  // End of list of possible types for union field batch_config.
}
Campos
name

string

Apenas saída. O nome do recurso do lote.
uuid

string

Apenas saída. Um UUID de lote (identificador universal exclusivo). O serviço gera esse valor quando cria o lote.
createTime

string (Timestamp format)

Apenas saída. O horário em que o lote foi criado.

Um carimbo de data/hora no formato RFC3339 UTC "Zulu", com resolução de nanossegundos e até nove dígitos fracionários. Exemplos: "2014-10-02T15:01:23Z" e "2014-10-02T15:01:23.045123456Z".
runtimeInfo

object (RuntimeInfo)

Apenas saída. Informações de execução sobre a execução em lote.
state

enum (State)

Apenas saída. O estado do lote.
stateMessage

string

Apenas saída. Detalhes do estado do lote, como uma descrição de falha se o estado for FAILED.
stateTime

string (Timestamp format)

Apenas saída. A hora em que o lote entrou em um estado atual.

Um carimbo de data/hora no formato RFC3339 UTC "Zulu", com resolução de nanossegundos e até nove dígitos fracionários. Exemplos: "2014-10-02T15:01:23Z" e "2014-10-02T15:01:23.045123456Z".
creator

string

Apenas saída. O endereço de e-mail do usuário que criou o lote.
labels

map (key: string, value: string)

Opcional. Os rótulos a serem associados a este lote. As chaves de identificador precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Os valores do marcador podem estar vazios, mas, se estiverem presentes, precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Não é possível associar mais de 32 rótulos a um lote.

Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
runtimeConfig

object (RuntimeConfig)

Opcional. Configuração do ambiente de execução para a execução em lote.
environmentConfig

object (EnvironmentConfig)

Opcional. Configuração do ambiente para a execução em lote.
operation

string

Apenas saída. O nome do recurso da operação associada a esse lote.
stateHistory[]

object (StateHistory)

Apenas saída. Informações de estado histórico do lote.
Campo de união batch_config. Parte específica do aplicativo/framework da configuração em lote. batch_config pode ser apenas de um dos tipos a seguir:
pysparkBatch

object (PySparkBatch)

Opcional. Configuração de lote do PySpark.
sparkBatch

object (SparkBatch)

Opcional. Configuração de lote do Spark.
sparkRBatch

object (SparkRBatch)

Opcional. Configuração de lote do SparkR.
sparkSqlBatch

object (SparkSqlBatch)

Opcional. Configuração de lote do SparkSql.

PySparkBatch

Uma configuração para executar uma carga de trabalho em lote do Apache PySpark.

Representação JSON 
{
  "mainPythonFileUri": string,
  "args": [
    string
  ],
  "pythonFileUris": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Campos
mainPythonFileUri

string

Obrigatório. O URI do HCFS do arquivo Python principal a ser usado como driver do Spark. Precisa ser um arquivo .py.
args[]

string

Opcional. Os argumentos a serem transmitidos ao driver. Não inclua argumentos que podem ser definidos como propriedades de lote, como --conf, porque pode ocorrer uma colisão que causa um envio incorreto de lote.
pythonFileUris[]

string

Opcional. URIs de arquivos HCFS de Python para transmitir ao framework PySpark. Tipos de arquivos com suporte: .py, .egg e .zip.
jarFileUris[]

string

Opcional. URIs do HCFS de arquivos JAR a serem adicionados ao caminho de classe do driver e das tarefas do Spark.
fileUris[]

string

Opcional. URIs do HCFS de arquivos a serem colocados no diretório de trabalho de cada executor.
archiveUris[]

string

Opcional. URIs do HCFS de arquivos a serem extraídos para o diretório de trabalho de cada executor. Tipos de arquivos com suporte: .jar, .tar, .tar.gz, .tgz e .zip.

SparkBatch

Uma configuração para executar uma carga de trabalho em lote do Apache Spark.

Representação JSON 
{
  "args": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ],

  // Union field driver can be only one of the following:
  "mainJarFileUri": string,
  "mainClass": string
  // End of list of possible types for union field driver.
}
Campos
args[]

string

Opcional. Os argumentos a serem transmitidos ao driver. Não inclua argumentos que podem ser definidos como propriedades de lote, como --conf, porque pode ocorrer uma colisão que causa um envio incorreto de lote.
jarFileUris[]

string

Opcional. URIs do HCFS de arquivos JAR a serem adicionados ao caminho de classe do driver e das tarefas do Spark.
fileUris[]

string

Opcional. URIs do HCFS de arquivos a serem colocados no diretório de trabalho de cada executor.
archiveUris[]

string

Opcional. URIs do HCFS de arquivos a serem extraídos para o diretório de trabalho de cada executor. Tipos de arquivos com suporte: .jar, .tar, .tar.gz, .tgz e .zip.
Campo de união driver. A especificação do método principal a ser chamado para direcionar a carga de trabalho do Spark. Especifique o arquivo jar que contém a classe principal ou o nome da classe principal. Para transmitir um jar principal e uma classe principal nesse jar, adicione o jar a jar_file_uris e especifique o nome da classe principal em main_class. driver pode ser apenas um dos seguintes:
mainJarFileUri

string

Opcional. O URI do HCFS do arquivo jar que contém a classe principal.
mainClass

string

Opcional. O nome da classe principal do driver. O arquivo JAR que contém a classe precisa estar no classpath ou especificado em jarFileUris.

SparkRBatch

Uma configuração para executar uma carga de trabalho em lote do Apache SparkR.

Representação JSON 
{
  "mainRFileUri": string,
  "args": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Campos
mainRFileUri

string

Obrigatório. O URI do HCFS do arquivo R principal a ser usado como driver. Precisa ser um arquivo .R ou .r.
args[]

string

Opcional. Os argumentos a serem transmitidos ao driver do Spark. Não inclua argumentos que podem ser definidos como propriedades de lote, como --conf, porque pode ocorrer uma colisão que causa um envio incorreto de lote.
fileUris[]

string

Opcional. URIs do HCFS de arquivos a serem colocados no diretório de trabalho de cada executor.
archiveUris[]

string

Opcional. URIs do HCFS de arquivos a serem extraídos para o diretório de trabalho de cada executor. Tipos de arquivos com suporte: .jar, .tar, .tar.gz, .tgz e .zip.

SparkSqlBatch

Uma configuração para executar consultas do Apache Spark SQL como uma carga de trabalho em lote.

Representação JSON 
{
  "queryFileUri": string,
  "queryVariables": {
    string: string,
    ...
  },
  "jarFileUris": [
    string
  ]
}
Campos
queryFileUri

string

Obrigatório. O URI do HCFS do script que contém as consultas do Spark SQL a serem executadas.
queryVariables

map (key: string, value: string)

Opcional. Mapeamento de nomes de variáveis de consulta para valores (equivalente ao comando Spark SQL: SET name="value";).

Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
jarFileUris[]

string

Opcional. URIs do HCFS de arquivos JAR a serem adicionados ao CLASSPATH do Spark.

Estado

O estado do lote.

Enums
STATE_UNSPECIFIED O estado do lote é desconhecido.
PENDING O lote é criado antes da execução.
RUNNING O lote está em execução.
CANCELLING O lote está sendo cancelado.
CANCELLED O cancelamento em lote foi concluído.
SUCCEEDED O lote foi concluído.
FAILED O lote não está mais em execução devido a um erro.

StateHistory

Informações de estado histórico.

Representação JSON 
{
  "state": enum (State),
  "stateMessage": string,
  "stateStartTime": string
}
Campos
state

enum (State)

Apenas saída. O estado do lote neste ponto do histórico.
stateMessage

string

Apenas saída. Detalhes sobre o estado nesse ponto do histórico.
stateStartTime

string (Timestamp format)

Apenas saída. A hora em que o lote entrou no estado histórico.

Um carimbo de data/hora no formato RFC3339 UTC "Zulu", com resolução de nanossegundos e até nove dígitos fracionários. Exemplos: "2014-10-02T15:01:23Z" e "2014-10-02T15:01:23.045123456Z".

Métodos

create

 Cria uma carga de trabalho em lote que é executada de forma assíncrona.

delete

 Exclui o recurso de carga de trabalho em lote.

get

 Recebe a representação do recurso de carga de trabalho em lote.

list

 Lista cargas de trabalho em lote.