REST Resource: projects.locations.batches

Recurso: Lote

Es una representación de una carga de trabajo por lotes en el servicio.

Representación JSON 
{
  "name": string,
  "uuid": string,
  "createTime": string,
  "runtimeInfo": {
    object (RuntimeInfo)
  },
  "state": enum (State),
  "stateMessage": string,
  "stateTime": string,
  "creator": string,
  "labels": {
    string: string,
    ...
  },
  "runtimeConfig": {
    object (RuntimeConfig)
  },
  "environmentConfig": {
    object (EnvironmentConfig)
  },
  "operation": string,
  "stateHistory": [
    {
      object (StateHistory)
    }
  ],

  // Union field batch_config can be only one of the following:
  "pysparkBatch": {
    object (PySparkBatch)
  },
  "sparkBatch": {
    object (SparkBatch)
  },
  "sparkRBatch": {
    object (SparkRBatch)
  },
  "sparkSqlBatch": {
    object (SparkSqlBatch)
  }
  // End of list of possible types for union field batch_config.
}
Campos
name

string

Solo salida. Es el nombre del recurso del lote.
uuid

string

Solo salida. Un UUID por lotes (identificador único universal). El servicio genera este valor cuando crea el lote.
createTime

string (Timestamp format)

Solo salida. Es la hora en la que se creó el lote.

Una marca de tiempo en formato RFC3339 UTC “Zulú”, con una resolución de nanosegundos y hasta nueve dígitos fraccionarios. Ejemplos: "2014-10-02T15:01:23Z" y "2014-10-02T15:01:23.045123456Z".
runtimeInfo

object (RuntimeInfo)

Solo salida. Información del entorno de ejecución sobre la ejecución por lotes
state

enum (State)

Solo salida. Es el estado del lote.
stateMessage

string

Solo salida. Detalles del estado del lote, como una descripción de la falla si el estado es FAILED
stateTime

string (Timestamp format)

Solo salida. La hora en que el lote entró en un estado actual.

Una marca de tiempo en formato RFC3339 UTC “Zulú”, con una resolución de nanosegundos y hasta nueve dígitos fraccionarios. Ejemplos: "2014-10-02T15:01:23Z" y "2014-10-02T15:01:23.045123456Z".
creator

string

Solo salida. La dirección de correo electrónico del usuario que creó el lote
labels

map (key: string, value: string)

Opcional. Las etiquetas que se asociarán con este lote. Las claves de etiqueta deben contener entre 1 y 63 caracteres y cumplir con la RFC 1035. Los valores de la etiqueta pueden estar vacíos, pero, si están presentes, deben contener entre 1 y 63 caracteres y cumplir con la RFC 1035. No se pueden asociar más de 32 etiquetas a un lote.

Un objeto que contiene una lista de pares "key": value. Ejemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
runtimeConfig

object (RuntimeConfig)

Opcional. Configuración del entorno de ejecución para la ejecución por lotes.
environmentConfig

object (EnvironmentConfig)

Opcional. Configuración del entorno para la ejecución por lotes
operation

string

Solo salida. El nombre del recurso de la operación asociada con este lote.
stateHistory[]

object (StateHistory)

Solo salida. Información histórica del estado del lote.
Campo de unión batch_config. Es la parte específica de la aplicación o el framework de la configuración por lotes. batch_config puede ser solo uno de los siguientes:
pysparkBatch

object (PySparkBatch)

Opcional. Configuración por lotes de PySpark
sparkBatch

object (SparkBatch)

Opcional. Configuración por lotes de Spark
sparkRBatch

object (SparkRBatch)

Opcional. Configuración por lotes de SparkR
sparkSqlBatch

object (SparkSqlBatch)

Opcional. Configuración por lotes de SparkSql.

PySparkBatch

Una configuración para ejecutar una carga de trabajo por lotes de Apache PySpark

Representación JSON 
{
  "mainPythonFileUri": string,
  "args": [
    string
  ],
  "pythonFileUris": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Campos
mainPythonFileUri

string

Obligatorio. Es el URI de HCFS del archivo principal de Python que se usará como controlador de Spark. Debe ser un archivo .py.
args[]

string

Opcional. Los argumentos que se pasarán al controlador. No incluyas argumentos que se puedan establecer como propiedades de lotes, como --conf, ya que puede producirse una colisión que cause un envío incorrecto de lotes.
pythonFileUris[]

string

Opcional. URIs de archivos HCFS de archivos de Python para pasar al framework de PySpark Tipos de archivos compatibles: .py, .egg y .zip.
jarFileUris[]

string

Opcional. URIs de HCFS de archivos JAR para agregar a la ruta de acceso de clases del controlador y las tareas de Spark.
fileUris[]

string

Opcional. Los URIs de HCFS de los archivos que se colocarán en el directorio de trabajo de cada ejecutor.
archiveUris[]

string

Opcional. Los URIs de HCFS de los archivos que se extraerán en el directorio de trabajo de cada ejecutor. Tipos de archivos compatibles: .jar, .tar, .tar.gz, .tgz y .zip.

SparkBatch

Una configuración para ejecutar una carga de trabajo por lotes de Apache Spark

Representación JSON 
{
  "args": [
    string
  ],
  "jarFileUris": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ],

  // Union field driver can be only one of the following:
  "mainJarFileUri": string,
  "mainClass": string
  // End of list of possible types for union field driver.
}
Campos
args[]

string

Opcional. Los argumentos que se pasarán al controlador. No incluyas argumentos que se puedan establecer como propiedades de lote, como --conf, ya que puede producirse una colisión que provoque un envío incorrecto del lote.
jarFileUris[]

string

Opcional. URIs de HCFS de archivos JAR para agregarlos a la ruta de acceso de clases del controlador y las tareas de Spark.
fileUris[]

string

Opcional. Los URIs de HCFS de los archivos que se colocarán en el directorio de trabajo de cada ejecutor.
archiveUris[]

string

Opcional. Los URIs de HCFS de los archivos que se extraerán en el directorio de trabajo de cada ejecutor. Tipos de archivos compatibles: .jar, .tar, .tar.gz, .tgz y .zip.
Campo de unión driver. La especificación del método principal al que se debe llamar para dirigir la carga de trabajo de Spark. Especifica el archivo jar que contiene la clase principal o el nombre de la clase principal. Para pasar un jar principal y una clase principal en ese jar, agrega el jar a jar_file_uris y, luego, especifica el nombre de la clase principal en main_class. driver solo puede ser una de las siguientes opciones:
mainJarFileUri

string

Opcional. El URI de HCFS del archivo JAR que contiene la clase principal.
mainClass

string

Opcional. Es el nombre de la clase principal del controlador. El archivo jar que contiene la clase debe estar en el classpath o especificarse en jarFileUris.

SparkRBatch

Una configuración para ejecutar una carga de trabajo por lotes de Apache SparkR

Representación JSON 
{
  "mainRFileUri": string,
  "args": [
    string
  ],
  "fileUris": [
    string
  ],
  "archiveUris": [
    string
  ]
}
Campos
mainRFileUri

string

Obligatorio. Es el URI de HCFS del archivo R principal que se usará como controlador. Debe ser un archivo .R o .r.
args[]

string

Opcional. Los argumentos que se pasarán al controlador de Spark. No incluyas argumentos que se puedan establecer como propiedades de lote, como --conf, ya que puede producirse una colisión que provoque un envío incorrecto del lote.
fileUris[]

string

Opcional. Los URIs de HCFS de los archivos que se colocarán en el directorio de trabajo de cada ejecutor.
archiveUris[]

string

Opcional. Los URIs de HCFS de los archivos que se extraerán en el directorio de trabajo de cada ejecutor. Tipos de archivos compatibles: .jar, .tar, .tar.gz, .tgz y .zip.

SparkSqlBatch

Es una configuración para ejecutar consultas de Apache Spark SQL como una carga de trabajo por lotes.

Representación JSON 
{
  "queryFileUri": string,
  "queryVariables": {
    string: string,
    ...
  },
  "jarFileUris": [
    string
  ]
}
Campos
queryFileUri

string

Obligatorio. Es el URI de HCFS de la secuencia de comandos que contiene las consultas de Spark SQL que se ejecutarán.
queryVariables

map (key: string, value: string)

Opcional. Asignación de nombres de variables de consulta a valores (equivalente al comando Spark SQL: SET name="value";).

Un objeto que contiene una lista de pares "key": value. Ejemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
jarFileUris[]

string

Opcional. URIs de HCFS de los archivos JAR que se agregarán al CLASSPATH de Spark.

Estado

El estado del lote.

Enums
STATE_UNSPECIFIED Se desconoce el estado del lote.
PENDING El lote se crea antes de ejecutarse.
RUNNING El lote se está ejecutando.
CANCELLING Se cancela el lote.
CANCELLED La cancelación masiva se realizó correctamente.
SUCCEEDED El lote se completó correctamente.
FAILED El lote ya no se ejecuta debido a un error.

StateHistory

Información histórica del estado.

Representación JSON 
{
  "state": enum (State),
  "stateMessage": string,
  "stateStartTime": string
}
Campos
state

enum (State)

Solo salida. Es el estado del lote en este punto del historial.
stateMessage

string

Solo salida. Detalles sobre el estado en este momento de la historia.
stateStartTime

string (Timestamp format)

Solo salida. Es la hora en la que el lote entró en el estado histórico.

Una marca de tiempo en formato RFC3339 UTC “Zulú”, con una resolución de nanosegundos y hasta nueve dígitos fraccionarios. Ejemplos: "2014-10-02T15:01:23Z" y "2014-10-02T15:01:23.045123456Z".

Métodos

create

 Crea una carga de trabajo por lotes que se ejecuta de forma asíncrona.

delete

 Borra el recurso de carga de trabajo por lotes.

get

 Obtiene la representación del recurso de la carga de trabajo por lotes.

list

 Muestra una lista de cargas de trabajo por lotes.