Recurso: lote
Representação de uma carga de trabalho em lote no serviço.
Representação JSON |
---|
{ "name": string, "uuid": string, "createTime": string, "runtimeInfo": { object ( |
Campos | |
---|---|
name |
Apenas saída. O nome do recurso do lote. |
uuid |
Apenas saída. Um UUID de lote (identificador universal exclusivo). O serviço gera esse valor quando cria o lote. |
create |
Apenas saída. O horário em que o lote foi criado. Um carimbo de data/hora no formato RFC3339 UTC "Zulu", com resolução de nanossegundos e até nove dígitos fracionários. Exemplos: |
runtime |
Apenas saída. Informações de execução sobre a execução em lote. |
state |
Apenas saída. O estado do lote. |
state |
Apenas saída. Detalhes do estado do lote, como uma descrição de falha se o estado for |
state |
Apenas saída. A hora em que o lote entrou em um estado atual. Um carimbo de data/hora no formato RFC3339 UTC "Zulu", com resolução de nanossegundos e até nove dígitos fracionários. Exemplos: |
creator |
Apenas saída. O endereço de e-mail do usuário que criou o lote. |
labels |
Opcional. Os rótulos a serem associados a este lote. As chaves de identificador precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Os valores do marcador podem estar vazios, mas, se estiverem presentes, precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Não é possível associar mais de 32 rótulos a um lote. Um objeto com uma lista de pares |
runtime |
Opcional. Configuração do ambiente de execução para a execução em lote. |
environment |
Opcional. Configuração do ambiente para a execução em lote. |
operation |
Apenas saída. O nome do recurso da operação associada a esse lote. |
state |
Apenas saída. Informações de estado histórico do lote. |
Campo de união batch_config . Parte específica do aplicativo/framework da configuração em lote. batch_config pode ser apenas de um dos tipos a seguir: |
|
pyspark |
Opcional. Configuração de lote do PySpark. |
spark |
Opcional. Configuração de lote do Spark. |
spark |
Opcional. Configuração de lote do SparkR. |
spark |
Opcional. Configuração de lote do SparkSql. |
PySparkBatch
Uma configuração para executar uma carga de trabalho em lote do Apache PySpark.
Representação JSON |
---|
{ "mainPythonFileUri": string, "args": [ string ], "pythonFileUris": [ string ], "jarFileUris": [ string ], "fileUris": [ string ], "archiveUris": [ string ] } |
Campos | |
---|---|
main |
Obrigatório. O URI do HCFS do arquivo Python principal a ser usado como driver do Spark. Precisa ser um arquivo .py. |
args[] |
Opcional. Os argumentos a serem transmitidos ao driver. Não inclua argumentos que podem ser definidos como propriedades de lote, como |
python |
Opcional. URIs de arquivos HCFS de Python para transmitir ao framework PySpark. Tipos de arquivos com suporte: |
jar |
Opcional. URIs do HCFS de arquivos JAR a serem adicionados ao caminho de classe do driver e das tarefas do Spark. |
file |
Opcional. URIs do HCFS de arquivos a serem colocados no diretório de trabalho de cada executor. |
archive |
Opcional. URIs do HCFS de arquivos a serem extraídos para o diretório de trabalho de cada executor. Tipos de arquivos com suporte: |
SparkBatch
Uma configuração para executar uma carga de trabalho em lote do Apache Spark.
Representação JSON |
---|
{ "args": [ string ], "jarFileUris": [ string ], "fileUris": [ string ], "archiveUris": [ string ], // Union field |
Campos | |
---|---|
args[] |
Opcional. Os argumentos a serem transmitidos ao driver. Não inclua argumentos que podem ser definidos como propriedades de lote, como |
jar |
Opcional. URIs do HCFS de arquivos JAR a serem adicionados ao caminho de classe do driver e das tarefas do Spark. |
file |
Opcional. URIs do HCFS de arquivos a serem colocados no diretório de trabalho de cada executor. |
archive |
Opcional. URIs do HCFS de arquivos a serem extraídos para o diretório de trabalho de cada executor. Tipos de arquivos com suporte: |
Campo de união driver . A especificação do método principal a ser chamado para direcionar a carga de trabalho do Spark. Especifique o arquivo jar que contém a classe principal ou o nome da classe principal. Para transmitir um jar principal e uma classe principal nesse jar, adicione o jar a jar_file_uris e especifique o nome da classe principal em main_class . driver pode ser apenas um dos seguintes: |
|
main |
Opcional. O URI do HCFS do arquivo jar que contém a classe principal. |
main |
Opcional. O nome da classe principal do driver. O arquivo JAR que contém a classe precisa estar no classpath ou especificado em |
SparkRBatch
Uma configuração para executar uma carga de trabalho em lote do Apache SparkR.
Representação JSON |
---|
{ "mainRFileUri": string, "args": [ string ], "fileUris": [ string ], "archiveUris": [ string ] } |
Campos | |
---|---|
main |
Obrigatório. O URI do HCFS do arquivo R principal a ser usado como driver. Precisa ser um arquivo |
args[] |
Opcional. Os argumentos a serem transmitidos ao driver do Spark. Não inclua argumentos que podem ser definidos como propriedades de lote, como |
file |
Opcional. URIs do HCFS de arquivos a serem colocados no diretório de trabalho de cada executor. |
archive |
Opcional. URIs do HCFS de arquivos a serem extraídos para o diretório de trabalho de cada executor. Tipos de arquivos com suporte: |
SparkSqlBatch
Uma configuração para executar consultas do Apache Spark SQL como uma carga de trabalho em lote.
Representação JSON |
---|
{ "queryFileUri": string, "queryVariables": { string: string, ... }, "jarFileUris": [ string ] } |
Campos | |
---|---|
query |
Obrigatório. O URI do HCFS do script que contém as consultas do Spark SQL a serem executadas. |
query |
Opcional. Mapeamento de nomes de variáveis de consulta para valores (equivalente ao comando Spark SQL: Um objeto com uma lista de pares |
jar |
Opcional. URIs do HCFS de arquivos JAR a serem adicionados ao CLASSPATH do Spark. |
Estado
O estado do lote.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado do lote é desconhecido. |
PENDING |
O lote é criado antes da execução. |
RUNNING |
O lote está em execução. |
CANCELLING |
O lote está sendo cancelado. |
CANCELLED |
O cancelamento em lote foi concluído. |
SUCCEEDED |
O lote foi concluído. |
FAILED |
O lote não está mais em execução devido a um erro. |
StateHistory
Informações de estado histórico.
Representação JSON |
---|
{
"state": enum ( |
Campos | |
---|---|
state |
Apenas saída. O estado do lote neste ponto do histórico. |
state |
Apenas saída. Detalhes sobre o estado nesse ponto do histórico. |
state |
Apenas saída. A hora em que o lote entrou no estado histórico. Um carimbo de data/hora no formato RFC3339 UTC "Zulu", com resolução de nanossegundos e até nove dígitos fracionários. Exemplos: |
Métodos |
|
---|---|
|
Cria uma carga de trabalho em lote que é executada de forma assíncrona. |
|
Exclui o recurso de carga de trabalho em lote. |
|
Recebe a representação do recurso de carga de trabalho em lote. |
|
Lista cargas de trabalho em lote. |