Package google.cloud.dataproc.v1

Índice

BatchController

O BatchController fornece métodos para gerenciar cargas de trabalho em lote.

CreateBatch

rpc CreateBatch(CreateBatchRequest) returns (Operation)

Cria uma carga de trabalho em lote que é executada de forma assíncrona.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
DeleteBatch

rpc DeleteBatch(DeleteBatchRequest) returns (Empty)

Exclui o recurso de carga de trabalho em lote. Se o lote não estiver em um CANCELLED, SUCCEEDED ou FAILED State, a operação de exclusão vai falhar e a resposta vai retornar FAILED_PRECONDITION.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
GetBatch

rpc GetBatch(GetBatchRequest) returns (Batch)

Recebe a representação do recurso de carga de trabalho em lote.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
ListBatches

rpc ListBatches(ListBatchesRequest) returns (ListBatchesResponse)

Lista cargas de trabalho em lote.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.

SessionController

O SessionController fornece métodos para gerenciar sessões interativas.

CreateSession

rpc CreateSession(CreateSessionRequest) returns (Operation)

Crie uma sessão interativa de maneira assíncrona.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
DeleteSession

rpc DeleteSession(DeleteSessionRequest) returns (Operation)

Exclui o recurso de sessão interativa. Se a sessão não estiver no estado terminal, ela será encerrada e excluída.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
GetSession

rpc GetSession(GetSessionRequest) returns (Session)

Busca a representação de recurso de uma sessão interativa.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
ListSessions

rpc ListSessions(ListSessionsRequest) returns (ListSessionsResponse)

Lista sessões interativas.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
TerminateSession

rpc TerminateSession(TerminateSessionRequest) returns (Operation)

Encerra a sessão interativa.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.

SessionTemplateController

O SessionTemplateController fornece métodos para gerenciar modelos de sessão.

CreateSessionTemplate

rpc CreateSessionTemplate(CreateSessionTemplateRequest) returns (SessionTemplate)

Crie um modelo de sessão de forma síncrona.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
DeleteSessionTemplate

rpc DeleteSessionTemplate(DeleteSessionTemplateRequest) returns (Empty)

Exclui um modelo de sessão.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
GetSessionTemplate

rpc GetSessionTemplate(GetSessionTemplateRequest) returns (SessionTemplate)

Recebe a representação de recursos de um modelo de sessão.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
ListSessionTemplates

rpc ListSessionTemplates(ListSessionTemplatesRequest) returns (ListSessionTemplatesResponse)

Lista modelos de sessão.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.
UpdateSessionTemplate

rpc UpdateSessionTemplate(UpdateSessionTemplateRequest) returns (SessionTemplate)

Atualiza o modelo de sessão de forma síncrona.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para saber mais, consulte a Visão geral da autenticação.

AnalyzeOperationMetadata

Metadados que descrevem a operação de análise.

Campos
analyzed_workload_name

string

Somente saída: nome da carga de trabalho que está sendo analisada.
analyzed_workload_type

WorkloadType

Apenas saída. Tipo da carga de trabalho que está sendo analisada.
analyzed_workload_uuid

string

Somente saída. Identificador exclusivo da carga de trabalho normalmente gerado pelo plano de controle. Por exemplo, o UUID do lote.
create_time

Timestamp

Apenas saída. O horário em que a operação foi criada.
done_time

Timestamp

Apenas saída. A hora em que a operação foi concluída.
description

string

Apenas saída. Breve descrição da operação.
labels

map<string, string>

Apenas saída. Rótulos associados à operação.
warnings[]

string

Apenas saída. Avisos encontrados durante a execução da operação.

WorkloadType

Tipo de carga de trabalho

Enums
WORKLOAD_TYPE_UNSPECIFIED Opção indefinida
BATCH Job em lote sem servidor

AutotuningConfig

Configuração de ajuste automático da carga de trabalho.

Campos
scenarios[]

Scenario

Opcional. Cenários em que os ajustes são aplicados.

Cenário

O cenário representa uma meta específica que o ajuste automático vai tentar alcançar modificando as cargas de trabalho.

Enums
SCENARIO_UNSPECIFIED Valor padrão.
SCALING Recomendações de escalonamento, como initialExecutors.
BROADCAST_HASH_JOIN Adicionamos dicas para possíveis transmissões de relações.
MEMORY Gerenciamento de memória para cargas de trabalho.

Lote

Representação de uma carga de trabalho em lote no serviço.

Campos
name

string

Apenas saída. O nome do recurso do lote.
uuid

string

Apenas saída. Um UUID de lote (identificador universal exclusivo). O serviço gera esse valor quando cria o lote.
create_time

Timestamp

Apenas saída. O horário em que o lote foi criado.
runtime_info

RuntimeInfo

Apenas saída. Informações de execução sobre a execução em lote.
state

State

Apenas saída. O estado do lote.
state_message

string

Apenas saída. Detalhes do estado do lote, como uma descrição de falha se o estado for FAILED.
state_time

Timestamp

Apenas saída. A hora em que o lote entrou em um estado atual.
creator

string

Apenas saída. O endereço de e-mail do usuário que criou o lote.
labels

map<string, string>

Opcional. Os rótulos a serem associados a este lote. As chaves de identificador precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Os valores do marcador podem estar vazios, mas, se estiverem presentes, precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Não é possível associar mais de 32 rótulos a um lote.
runtime_config

RuntimeConfig

Opcional. Configuração do ambiente de execução para a execução em lote.
environment_config

EnvironmentConfig

Opcional. Configuração do ambiente para a execução em lote.
operation

string

Apenas saída. O nome do recurso da operação associada a esse lote.
state_history[]

StateHistory

Apenas saída. Informações de estado histórico do lote.
Campo de união batch_config. Parte específica do aplicativo/framework da configuração em lote. batch_config pode ser apenas de um dos tipos a seguir:
pyspark_batch

PySparkBatch

Opcional. Configuração de lote do PySpark.
spark_batch

SparkBatch

Opcional. Configuração de lote do Spark.
spark_r_batch

SparkRBatch

Opcional. Configuração de lote do SparkR.
spark_sql_batch

SparkSqlBatch

Opcional. Configuração de lote do SparkSql.

Estado

O estado do lote.

Enums
STATE_UNSPECIFIED O estado do lote é desconhecido.
PENDING O lote é criado antes da execução.
RUNNING O lote está em execução.
CANCELLING O lote está sendo cancelado.
CANCELLED O cancelamento em lote foi concluído.
SUCCEEDED O lote foi concluído.
FAILED O lote não está mais em execução devido a um erro.

StateHistory

Informações de estado histórico.

Campos
state

State

Apenas saída. O estado do lote neste ponto do histórico.
state_message

string

Apenas saída. Detalhes sobre o estado nesse ponto do histórico.
state_start_time

Timestamp

Apenas saída. A hora em que o lote entrou no estado histórico.

BatchOperationMetadata

Metadados que descrevem a operação em lote.

Campos
batch

string

Nome do lote da operação.
batch_uuid

string

UUID do lote para a operação.
create_time

Timestamp

O horário em que a operação foi criada.
done_time

Timestamp

A hora em que a operação foi concluída.
operation_type

BatchOperationType

O tipo de operação.
description

string

Breve descrição da operação.
labels

map<string, string>

Rótulos associados à operação.
warnings[]

string

Avisos encontrados durante a execução da operação.

BatchOperationType

Tipo de operação para recursos em lote

Enums
BATCH_OPERATION_TYPE_UNSPECIFIED O tipo de operação em lote é desconhecido.
BATCH Tipo de operação em lote.

CreateBatchRequest

Uma solicitação para criar uma carga de trabalho em lote.

Campos
parent

string

Obrigatório. O recurso pai em que esse lote será criado.

A autorização requer a seguinte permissão do IAM no recurso especificado parent:

  • dataproc.batches.create
batch

Batch

Obrigatório. O lote a ser criado.
batch_id

string

Opcional. O ID a ser usado no lote, que se tornará o componente final do nome do recurso do lote.

Esse valor precisa ter de 4 a 63 caracteres. Os caracteres válidos são /[a-z][0-9]-/.
request_id

string

Opcional. Um ID exclusivo usado para identificar a solicitação. Se o serviço receber duas CreateBatchRequests com o mesmo request_id, a segunda solicitação será ignorada, e a operação que corresponde ao primeiro lote criado e armazenado no back-end será retornada.

Recomendação: defina esse valor como um UUID.

O valor precisa conter apenas letras (a-z, A-Z), números (0-9), sublinhados (_) e hifens (-). O comprimento máximo é de 40 caracteres.

CreateSessionRequest

Uma solicitação para criar uma sessão.

Campos
parent

string

Obrigatório. O recurso pai em que essa sessão será criada.

A autorização requer a seguinte permissão do IAM no recurso especificado parent:

  • dataproc.sessions.create
session

Session

Obrigatório. A sessão interativa a ser criada.
session_id

string

Obrigatório. O ID a ser usado na sessão, que se torna o componente final do nome do recurso da sessão.

Esse valor precisa ter de 4 a 63 caracteres. Os caracteres válidos são /[a-z][0-9]-/.
request_id

string

Opcional. Um ID exclusivo usado para identificar a solicitação. Se o serviço receber duas CreateSessionRequests com o mesmo ID, a segunda solicitação será ignorada, e a primeira Session será criada e armazenada no back-end.

Recomendação: defina esse valor como um UUID.

O valor precisa conter apenas letras (a-z, A-Z), números (0-9), sublinhados (_) e hifens (-). O comprimento máximo é de 40 caracteres.

CreateSessionTemplateRequest

Uma solicitação para criar um modelo de sessão.

Campos
parent

string

Obrigatório. O recurso pai em que esse modelo de sessão será criado.

A autorização requer a seguinte permissão do IAM no recurso especificado parent:

  • dataproc.sessionTemplates.create
session_template

SessionTemplate

Obrigatório. O modelo de sessão a ser criado.

DeleteBatchRequest

Uma solicitação para excluir uma carga de trabalho em lote.

Campos
name

string

Obrigatório. O nome totalmente qualificado do lote a ser recuperado no formato "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID"

A autorização requer a seguinte permissão do IAM no recurso especificado name:

  • dataproc.batches.delete

DeleteSessionRequest

Uma solicitação para excluir uma sessão.

Campos
name

string

Obrigatório. O nome do recurso da sessão a ser excluído.

A autorização requer a seguinte permissão do IAM no recurso especificado name:

  • dataproc.sessions.delete
request_id

string

Opcional. Um ID exclusivo usado para identificar a solicitação. Se o serviço receber duas DeleteSessionRequests com o mesmo ID, a segunda solicitação será ignorada.

Recomendação: defina esse valor como um UUID.

O valor precisa conter apenas letras (a-z, A-Z), números (0-9), sublinhados (_) e hifens (-). O comprimento máximo é de 40 caracteres.

DeleteSessionTemplateRequest

Uma solicitação para excluir um modelo de sessão.

Campos
name

string

Obrigatório. O nome do recurso do modelo de sessão a ser excluído.

A autorização requer a seguinte permissão do IAM no recurso especificado name:

  • dataproc.sessionTemplates.delete

DiagnoseClusterResults

O local da saída do diagnóstico.

Campos
output_uri

string

Apenas saída. O URI do Cloud Storage da saída do diagnóstico. O relatório de saída é um arquivo de texto simples com um resumo dos diagnósticos coletados.

EnvironmentConfig

Configuração do ambiente para uma carga de trabalho.

Campos
execution_config

ExecutionConfig

Opcional. Configuração de execução de uma carga de trabalho.
peripherals_config

PeripheralsConfig

Opcional. Configuração de periféricos a que a carga de trabalho tem acesso.

ExecutionConfig

Configuração de execução de uma carga de trabalho.

Campos
service_account

string

Opcional. Conta de serviço usada para executar a carga de trabalho.
network_tags[]

string

Opcional. Tags usadas para controlar o tráfego de rede.
kms_key

string

Opcional. A chave do Cloud KMS a ser usada para criptografia.
idle_ttl

Duration

Opcional. Aplicável apenas a sessões. A duração para manter a sessão ativa enquanto ela está inativa. O limite é excedido quando a sessão é encerrada. Não é possível definir esse campo em uma carga de trabalho em lote. O valor mínimo é 10 minutos, e o máximo é 14 dias (consulte a representação em JSON de Duração). O padrão é 1 hora, se não estiver definido. Se ttl e idle_ttl forem especificados para uma sessão interativa, as condições serão tratadas como OR: a carga de trabalho será encerrada quando estiver inativa por idle_ttl ou quando ttl for excedido, o que ocorrer primeiro.
ttl

Duration

Opcional. A duração após a qual a carga de trabalho será encerrada, especificada como a representação JSON de Duração. Quando a carga de trabalho exceder essa duração, ela será encerrada incondicionalmente sem esperar que o trabalho em andamento seja concluído. Se ttl não for especificado para uma carga de trabalho em lote, ela poderá ser executada até sair naturalmente (ou ser executada para sempre sem sair). Se ttl não for especificado para uma sessão interativa, o padrão será 24 horas. Se ttl não for especificado para um lote que usa a versão 2.1 ou mais recente do ambiente de execução, o padrão será 4 horas. O valor mínimo é 10 minutos, e o máximo é 14 dias. Se ttl e idle_ttl forem especificados (para uma sessão interativa), as condições serão tratadas como OR: a carga de trabalho será encerrada quando estiver inativa por idle_ttl ou quando ttl for excedido, o que ocorrer primeiro.
staging_bucket

string

Opcional. Um bucket do Cloud Storage usado para preparar dependências de carga de trabalho, arquivos de configuração e armazenar a saída da carga de trabalho e outros dados temporários, como arquivos de histórico do Spark. Se você não especificar um bucket de preparo, o Cloud Dataproc vai determinar um local do Cloud Storage de acordo com a região em que a carga de trabalho está em execução e, em seguida, criar e gerenciar buckets temporários e de preparo por local no nível do projeto. Este campo exige um nome de bucket do Cloud Storage, não um URI gs://... para um bucket do Cloud Storage.
Campo de união network. Configuração de rede para a execução da carga de trabalho. network pode ser apenas de um dos tipos a seguir:
network_uri

string

Opcional. URI de rede para conectar a carga de trabalho.
subnetwork_uri

string

Opcional. URI da sub-rede para conectar a carga de trabalho.

GetBatchRequest

Uma solicitação para receber a representação do recurso de uma carga de trabalho em lote.

Campos
name

string

Obrigatório. O nome totalmente qualificado do lote a ser recuperado no formato "projects/PROJECT_ID/locations/DATAPROC_REGION/batches/BATCH_ID"

A autorização requer a seguinte permissão do IAM no recurso especificado name:

  • dataproc.batches.get

GetSessionRequest

Uma solicitação para receber a representação do recurso de uma sessão.

Campos
name

string

Obrigatório. O nome da sessão a ser recuperada.

A autorização requer a seguinte permissão do IAM no recurso especificado name:

  • dataproc.sessions.get

GetSessionTemplateRequest

Uma solicitação para receber a representação de recurso de um modelo de sessão.

Campos
name

string

Obrigatório. O nome do modelo de sessão a ser recuperado.

A autorização requer a seguinte permissão do IAM no recurso especificado name:

  • dataproc.sessionTemplates.get

JupyterConfig

Configuração do Jupyter para uma sessão interativa.

Campos
kernel

Kernel

Opcional. Kernel
display_name

string

Opcional. Nome de exibição, mostrado no card kernelspec do Jupyter.

Kernel

Tipos de kernel do Jupyter.

Enums
KERNEL_UNSPECIFIED O kernel é desconhecido.
PYTHON Kernel do Python.
SCALA Kernel do Scala.

ListBatchesRequest

Uma solicitação para listar cargas de trabalho em lote em um projeto.

Campos
parent

string

Obrigatório. O pai, que é proprietário dessa coleção de lotes.

A autorização requer a seguinte permissão do IAM no recurso especificado parent:

  • dataproc.batches.list
page_size

int32

Opcional. O número máximo de lotes a serem retornados em cada resposta. O serviço pode retornar menos que esse valor. O tamanho de página padrão é 20, e o máximo é 1.000.
page_token

string

Opcional. Um token de página recebido de uma chamada ListBatches anterior. Forneça este token para recuperar a página seguinte.
filter

string

Opcional. Um filtro para que os lotes sejam retornados na resposta.

Um filtro é uma expressão lógica que restringe os valores de vários campos em cada recurso de lote. Os filtros diferenciam maiúsculas de minúsculas e podem conter várias cláusulas combinadas com operadores lógicos (E/OU). Os campos aceitos são batch_id, batch_uuid, state, create_time e labels.

Por exemplo, state = RUNNING and create_time < "2023-01-01T00:00:00Z" filtra lotes no estado EXECUÇÃO que foram criados antes de 01/01/2023. state = RUNNING and labels.environment=production filtra lotes em execução que têm um rótulo de ambiente de produção.

Consulte https://google.aip.dev/assets/misc/ebnf-filtering.txt para conferir uma descrição detalhada da sintaxe do filtro e uma lista de comparações compatíveis.
order_by

string

Opcional. Campos para classificar a lista de lotes.

No momento, as únicas ordenações de classificação compatíveis são não especificadas (vazias) e create_time desc para classificar primeiro os lotes mais recentes.

Consulte https://google.aip.dev/132#ordering para mais detalhes.

ListBatchesResponse

Uma lista de cargas de trabalho em lote.

Campos
batches[]

Batch

Apenas saída. Os lotes da coleção especificada.
next_page_token

string

Um token, que pode ser enviado como page_token para recuperar a próxima página. Se esse campo for omitido, não haverá páginas subsequentes.
unreachable[]

string

Apenas saída. Lista de lotes que não puderam ser incluídos na resposta. A tentativa de acessar um desses recursos pode indicar por que ele não foi incluído na resposta da lista.

ListSessionTemplatesRequest

Uma solicitação para listar modelos de sessão em um projeto.

Campos
parent

string

Obrigatório. O pai que é proprietário dessa coleção de modelos de sessão.

A autorização requer a seguinte permissão do IAM no recurso especificado parent:

  • dataproc.sessionTemplates.list
page_size

int32

Opcional. O número máximo de sessões a serem retornadas em cada resposta. O serviço pode retornar menos que esse valor.
page_token

string

Opcional. Um token de página recebido de uma chamada ListSessions anterior. Forneça este token para recuperar a página seguinte.
filter

string

Opcional. Um filtro para que os modelos de sessão sejam retornados na resposta. Os filtros diferenciam maiúsculas de minúsculas e têm a seguinte sintaxe:

[field = value] AND [field [= value]] ...

ListSessionTemplatesResponse

Uma lista de modelos de sessão.

Campos
session_templates[]

SessionTemplate

Apenas saída. Lista de modelos de sessão
next_page_token

string

Um token, que pode ser enviado como page_token para recuperar a próxima página. Se esse campo for omitido, não haverá páginas subsequentes.

ListSessionsRequest

Uma solicitação para listar sessões em um projeto.

Campos
parent

string

Obrigatório. O pai, que é proprietário dessa coleção de sessões.

A autorização requer a seguinte permissão do IAM no recurso especificado parent:

  • dataproc.sessions.list
page_size

int32

Opcional. O número máximo de sessões a serem retornadas em cada resposta. O serviço pode retornar menos que esse valor.
page_token

string

Opcional. Um token de página recebido de uma chamada ListSessions anterior. Forneça este token para recuperar a página seguinte.
filter

string

Opcional. Um filtro para as sessões retornarem na resposta.

Um filtro é uma expressão lógica que restringe os valores de vários campos em cada recurso de sessão. Os filtros diferenciam maiúsculas de minúsculas e podem conter várias cláusulas combinadas com operadores lógicos (AND, OR). Os campos aceitos são session_id, session_uuid, state, create_time e labels.

Exemplo: state = ACTIVE and create_time < "2023-01-01T00:00:00Z" é um filtro para sessões no estado ACTIVE que foram criadas antes de 01-01-2023. state = ACTIVE and labels.environment=production é um filtro para sessões no estado ACTIVE que têm um rótulo de ambiente de produção.

Consulte https://google.aip.dev/assets/misc/ebnf-filtering.txt para uma descrição detalhada da sintaxe do filtro e uma lista de comparadores compatíveis.

ListSessionsResponse

Uma lista de sessões interativas.

Campos
sessions[]

Session

Apenas saída. As sessões da coleção especificada.
next_page_token

string

Um token, que pode ser enviado como page_token, para recuperar a próxima página. Se esse campo for omitido, não haverá páginas subsequentes.

PeripheralsConfig

Configuração de serviços auxiliares para uma carga de trabalho.

Campos
metastore_service

string

Opcional. Nome do recurso de um serviço do metastore do Dataproc.

Exemplo:

  • projects/[project_id]/locations/[region]/services/[service_id]
spark_history_server_config

SparkHistoryServerConfig

Opcional. A configuração do servidor de histórico do Spark para a carga de trabalho.

PyPiRepositoryConfig

Configuração do repositório PyPi

Campos
pypi_repository

string

Opcional. Endereço do repositório PyPi

PySparkBatch

Uma configuração para executar uma carga de trabalho em lote do Apache PySpark.

Campos
main_python_file_uri

string

Obrigatório. O URI do HCFS do arquivo Python principal a ser usado como driver do Spark. Precisa ser um arquivo .py.
args[]

string

Opcional. Os argumentos a serem transmitidos ao driver. Não inclua argumentos que podem ser definidos como propriedades de lote, como --conf, porque pode ocorrer uma colisão que causa um envio incorreto de lote.
python_file_uris[]

string

Opcional. URIs de arquivos HCFS de Python para transmitir ao framework PySpark. Tipos de arquivos com suporte: .py, .egg e .zip.
jar_file_uris[]

string

Opcional. URIs do HCFS de arquivos JAR a serem adicionados ao caminho de classe do driver e das tarefas do Spark.
file_uris[]

string

Opcional. URIs do HCFS de arquivos a serem colocados no diretório de trabalho de cada executor.
archive_uris[]

string

Opcional. URIs do HCFS de arquivos a serem extraídos para o diretório de trabalho de cada executor. Tipos de arquivos com suporte: .jar, .tar, .tar.gz, .tgz e .zip.

RepositoryConfig

Configuração para repositórios de dependências

Campos
pypi_repository_config

PyPiRepositoryConfig

Opcional. Configuração para o repositório PyPi.

RuntimeConfig

Configuração de execução para uma carga de trabalho.

Campos
version

string

Opcional. Versão do ambiente de execução em lote.
container_image

string

Opcional. Imagem de contêiner personalizada opcional para o ambiente de execução do job. Se não for especificado, uma imagem de contêiner padrão será usada.
properties

map<string, string>

Opcional. Um mapeamento de nomes de propriedades para valores, que são usados para configurar a execução da carga de trabalho.
repository_config

RepositoryConfig

Opcional. Configuração do repositório de dependências.
autotuning_config

AutotuningConfig

Opcional. Configuração de ajuste automático da carga de trabalho.
cohort

string

Opcional. Identificador da coorte. Identifica famílias de cargas de trabalho com a mesma forma, por exemplo, jobs ETL diários.

RuntimeInfo

Informações de execução sobre a execução da carga de trabalho.

Campos
endpoints

map<string, string>

Apenas saída. Mapeamento de endpoints de acesso remoto (como interfaces da Web e APIs) para os URIs deles.
output_uri

string

Apenas saída. Um URI que aponta para o local do stdout e do stderr da carga de trabalho.
diagnostic_output_uri

string

Apenas saída. Um URI que aponta para o local do tarball de diagnóstico.
approximate_usage

UsageMetrics

Apenas saída. Uso aproximado de recursos da carga de trabalho, calculado quando a carga de trabalho é concluída (consulte Preços do Dataproc sem servidor).

Observação:esse cálculo de métrica pode mudar no futuro, por exemplo, para capturar o consumo cumulativo de recursos de carga de trabalho durante a execução da carga de trabalho. Consulte as notas da versão do Dataproc Serverless para conferir anúncios, mudanças, correções e outros desenvolvimentos do Dataproc.
current_usage

UsageSnapshot

Apenas saída. Snapshot do uso de recursos da carga de trabalho atual.

Sessão

Uma representação de uma sessão.

Campos
name

string

Obrigatório. O nome do recurso da sessão.
uuid

string

Apenas saída. Um UUID de sessão (identificador universal exclusivo). O serviço gera esse valor quando cria a sessão.
create_time

Timestamp

Apenas saída. O horário em que a sessão foi criada.
runtime_info

RuntimeInfo

Apenas saída. Informações de execução sobre a execução da sessão.
state

State

Apenas saída. Um estado da sessão.
state_message

string

Apenas saída. Detalhes do estado da sessão, como a descrição da falha se o estado for FAILED.
state_time

Timestamp

Apenas saída. O horário em que a sessão entrou no estado atual.
creator

string

Apenas saída. O endereço de e-mail do usuário que criou a sessão.
labels

map<string, string>

Opcional. Os rótulos a serem associados à sessão. As chaves de identificador precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Os valores do marcador podem estar vazios, mas, se estiverem presentes, precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Não é possível associar mais de 32 rótulos a uma sessão.
runtime_config

RuntimeConfig

Opcional. Configuração do ambiente de execução para a execução da sessão.
environment_config

EnvironmentConfig

Opcional. Configuração do ambiente para a execução da sessão.
user

string

Opcional. O endereço de e-mail do usuário proprietário da sessão.
state_history[]

SessionStateHistory

Apenas saída. Informações de estado histórico da sessão.
session_template

string

Opcional. O modelo de sessão usado pela sessão.

Somente os nomes dos recursos, incluindo o ID e o local do projeto, são válidos.

Exemplo: * https://www.googleapis.com/compute/v1/projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id] * projects/[project_id]/locations/[dataproc_region]/sessionTemplates/[template_id]

O modelo precisa estar no mesmo projeto e região do Dataproc da sessão.
Campo de união session_config. A configuração da sessão. session_config pode ser apenas de um dos tipos a seguir:
jupyter_session

JupyterConfig

Opcional. Configuração da sessão do Jupyter.
spark_connect_session

SparkConnectConfig

Opcional. Configuração da sessão do Spark Connect.

SessionStateHistory

Informações de estado histórico.

Campos
state

State

Apenas saída. O estado da sessão neste ponto do histórico.
state_message

string

Apenas saída. Detalhes sobre o estado nesse ponto do histórico da sessão.
state_start_time

Timestamp

Apenas saída. O horário em que a sessão entrou no estado histórico.

Estado

O estado da sessão.

Enums
STATE_UNSPECIFIED O estado da sessão é desconhecido.
CREATING A sessão é criada antes da execução.
ACTIVE A sessão está em execução.
TERMINATING A sessão está sendo encerrada.
TERMINATED A sessão é encerrada.
FAILED A sessão não está mais em execução devido a um erro.

SessionOperationMetadata

Metadados que descrevem a operação da sessão.

Campos
session

string

Nome da sessão da operação.
session_uuid

string

UUID da sessão para a operação.
create_time

Timestamp

O horário em que a operação foi criada.
done_time

Timestamp

A hora em que a operação foi concluída.
operation_type

SessionOperationType

O tipo de operação.
description

string

Breve descrição da operação.
labels

map<string, string>

Rótulos associados à operação.
warnings[]

string

Avisos encontrados durante a execução da operação.

SessionOperationType

Tipo de operação para recursos de sessão

Enums
SESSION_OPERATION_TYPE_UNSPECIFIED O tipo de operação da sessão é desconhecido.
CREATE Tipo de operação "Criar sessão".
TERMINATE Tipo de operação "Encerrar sessão".
DELETE Tipo de operação "Excluir sessão".

SessionTemplate

Uma representação de um modelo de sessão.

Campos
name

string

Obrigatório. O nome do recurso do modelo de sessão.
description

string

Opcional. Breve descrição do modelo.
create_time

Timestamp

Apenas saída. O horário em que o modelo foi criado.
creator

string

Apenas saída. O endereço de e-mail do usuário que criou o modelo.
labels

map<string, string>

Opcional. Rótulos para associar às sessões criadas usando este modelo. As chaves de identificador precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Os valores do rótulo podem estar vazios, mas, se estiverem presentes, precisam conter de 1 a 63 caracteres e estar em conformidade com o RFC 1035. Não é possível associar mais de 32 rótulos a uma sessão.
runtime_config

RuntimeConfig

Opcional. Configuração do ambiente de execução para a execução da sessão.
environment_config

EnvironmentConfig

Opcional. Configuração do ambiente para a execução da sessão.
update_time

Timestamp

Apenas saída. O horário em que o modelo foi atualizado pela última vez.
uuid

string

Apenas saída. Um UUID (identificador universal exclusivo) de modelo de sessão. O serviço gera esse valor ao criar o modelo de sessão.
Campo de união session_config. A configuração da sessão. session_config pode ser apenas de um dos tipos a seguir:
jupyter_session

JupyterConfig

Opcional. Configuração da sessão do Jupyter.
spark_connect_session

SparkConnectConfig

Opcional. Configuração da sessão do Spark Connect.

SparkBatch

Uma configuração para executar uma carga de trabalho em lote do Apache Spark.

Campos
args[]

string

Opcional. Os argumentos a serem transmitidos ao driver. Não inclua argumentos que podem ser definidos como propriedades de lote, como --conf, porque pode ocorrer uma colisão que causa um envio incorreto de lote.
jar_file_uris[]

string

Opcional. URIs do HCFS de arquivos JAR a serem adicionados ao caminho de classe do driver e das tarefas do Spark.
file_uris[]

string

Opcional. URIs do HCFS de arquivos a serem colocados no diretório de trabalho de cada executor.
archive_uris[]

string

Opcional. URIs do HCFS de arquivos a serem extraídos para o diretório de trabalho de cada executor. Tipos de arquivos com suporte: .jar, .tar, .tar.gz, .tgz e .zip.
Campo de união driver. A especificação do método principal a ser chamado para direcionar a carga de trabalho do Spark. Especifique o arquivo jar que contém a classe principal ou o nome da classe principal. Para transmitir um jar principal e uma classe principal nesse jar, adicione o jar a jar_file_uris e especifique o nome da classe principal em main_class. driver pode ser apenas um dos seguintes:
main_jar_file_uri

string

Opcional. O URI do HCFS do arquivo jar que contém a classe principal.
main_class

string

Opcional. O nome da classe principal do driver. O arquivo JAR que contém a classe precisa estar no classpath ou especificado em jar_file_uris.

SparkConnectConfig

Esse tipo não tem campos.

Configuração do Spark Connect para uma sessão interativa.

SparkHistoryServerConfig

Configuração do servidor de histórico do Spark para a carga de trabalho.

Campos
dataproc_cluster

string

Opcional. Nome de recurso de um cluster do Dataproc para atuar como um servidor de histórico do Spark para a carga de trabalho.

Exemplo:

  • projects/[project_id]/regions/[region]/clusters/[cluster_name]

SparkRBatch

Uma configuração para executar uma carga de trabalho em lote do Apache SparkR.

Campos
main_r_file_uri

string

Obrigatório. O URI do HCFS do arquivo R principal a ser usado como driver. Precisa ser um arquivo .R ou .r.
args[]

string

Opcional. Os argumentos a serem transmitidos ao driver do Spark. Não inclua argumentos que podem ser definidos como propriedades de lote, como --conf, porque pode ocorrer uma colisão que causa um envio incorreto de lote.
file_uris[]

string

Opcional. URIs do HCFS de arquivos a serem colocados no diretório de trabalho de cada executor.
archive_uris[]

string

Opcional. URIs do HCFS de arquivos a serem extraídos para o diretório de trabalho de cada executor. Tipos de arquivos com suporte: .jar, .tar, .tar.gz, .tgz e .zip.

SparkSqlBatch

Uma configuração para executar consultas do Apache Spark SQL como uma carga de trabalho em lote.

Campos
query_file_uri

string

Obrigatório. O URI do HCFS do script que contém as consultas do Spark SQL a serem executadas.
query_variables

map<string, string>

Opcional. Mapeamento de nomes de variáveis de consulta para valores (equivalente ao comando Spark SQL: SET name="value";).
jar_file_uris[]

string

Opcional. URIs do HCFS de arquivos JAR a serem adicionados ao CLASSPATH do Spark.

TerminateSessionRequest

Uma solicitação para encerrar uma sessão interativa.

Campos
name

string

Obrigatório. O nome do recurso de sessão a ser encerrado.

A autorização requer a seguinte permissão do IAM no recurso especificado name:

  • dataproc.sessions.terminate
request_id

string

Opcional. Um ID exclusivo usado para identificar a solicitação. Se o serviço receber duas TerminateSessionRequests com o mesmo ID, a segunda solicitação será ignorada.

Recomendação: defina esse valor como um UUID.

O valor precisa conter apenas letras (a-z, A-Z), números (0-9), sublinhados (_) e hifens (-). O comprimento máximo é de 40 caracteres.

UpdateSessionTemplateRequest

Uma solicitação para atualizar um modelo de sessão.

Campos
session_template

SessionTemplate

Obrigatório. O modelo de sessão atualizado.

A autorização requer a seguinte permissão do IAM no recurso especificado sessionTemplate:

  • dataproc.sessionTemplates.update

UsageMetrics

As métricas de uso representam o total aproximado de recursos consumidos por uma carga de trabalho.

Campos
milli_dcu_seconds

int64

Opcional. Uso de unidades de computação do Dataproc (DCU) em (milliDCU x seconds) (consulte Preços do Dataproc sem servidor).
shuffle_storage_gb_seconds

int64

Opcional. Use o shuffle de armazenamento em (GB x seconds). Consulte Preços do Dataproc sem servidor.
milli_accelerator_seconds

int64

Opcional. Uso do acelerador em (milliAccelerator x seconds) (consulte Preços do Dataproc sem servidor).
accelerator_type

string

Opcional. Tipo de acelerador usado, se houver

UsageSnapshot

O snapshot de uso representa os recursos consumidos por uma carga de trabalho em um momento especificado.

Campos
milli_dcu

int64

Opcional. Unidades de computação (DCU) do Dataproc de um milésimo (consulte Preços do Dataproc sem servidor).
shuffle_storage_gb

int64

Opcional. Armazenamento em gigabytes (GB). Consulte Preços do Dataproc sem servidor.
milli_dcu_premium

int64

Opcional. Unidades de computação de dados (DCUs) de milésimo (1/1.000) do Dataproc cobradas no nível premium (consulte Preços do Dataproc sem servidor).
shuffle_storage_gb_premium

int64

Opcional. Armazenamento do Shuffle em gigabytes (GB) cobrado no nível Premium. Consulte Preços do Dataproc sem servidor.
milli_accelerator

int64

Opcional. Acelerador de mili (um milésimo). Consulte Preços do Dataproc sem servidor.
accelerator_type

string

Opcional. Tipo de acelerador usado, se houver
snapshot_time

Timestamp

Opcional. O carimbo de data/hora do snapshot de uso.