Índice
DataSourceService(interface)DataTransferService(interface)CheckValidCredsRequest(mensagem)CheckValidCredsResponse(mensagem)CreateDataSourceDefinitionRequest(mensagem)CreateTransferConfigRequest(mensagem)DataSource(mensagem)DataSource.AuthorizationType(enum)DataSource.DataRefreshType(enum)DataSourceDefinition(mensagem)DataSourceParameter(mensagem)DataSourceParameter.Type(enum)DeleteDataSourceDefinitionRequest(mensagem)DeleteTransferConfigRequest(mensagem)DeleteTransferRunRequest(mensagem)EnableDataTransferServiceRequest(mensagem)FinishRunRequest(mensagem)GetDataSourceDefinitionRequest(mensagem)GetDataSourceRequest(mensagem)GetTransferConfigRequest(mensagem)GetTransferRunRequest(mensagem)ImportedDataInfo(mensagem)ImportedDataInfo.Encoding(enum)ImportedDataInfo.FieldSchema(mensagem)ImportedDataInfo.FieldSchema.Type(enum)ImportedDataInfo.Format(enum)ImportedDataInfo.RecordSchema(mensagem)ImportedDataInfo.TableDefinition(mensagem)ImportedDataInfo.TableDefinition.CsvOptions(mensagem)IsDataTransferServiceEnabledRequest(mensagem)IsDataTransferServiceEnabledResponse(mensagem)ListDataSourceDefinitionsRequest(mensagem)ListDataSourceDefinitionsResponse(mensagem)ListDataSourcesRequest(mensagem)ListDataSourcesResponse(mensagem)ListTransferConfigsRequest(mensagem)ListTransferConfigsResponse(mensagem)ListTransferLogsRequest(mensagem)ListTransferLogsResponse(mensagem)ListTransferRunsRequest(mensagem)ListTransferRunsRequest.RunAttempt(enum)ListTransferRunsResponse(mensagem)LogTransferRunMessagesRequest(mensagem)ScheduleTransferRunsRequest(mensagem)ScheduleTransferRunsResponse(mensagem)StartBigQueryJobsRequest(mensagem)TransferConfig(mensagem)TransferMessage(mensagem)TransferMessage.MessageSeverity(enum)TransferRun(mensagem)TransferState(enum)TransferType(enum) (obsoleto)UpdateDataSourceDefinitionRequest(mensagem)UpdateTransferConfigRequest(mensagem)UpdateTransferRunRequest(mensagem)WriteDisposition(enum)
DataSourceService
A Data Transfer API do Google BigQuery permite que os usuários do BigQuery configurem a transferência de dados de outros produtos do Google para o BigQuery. Esse serviço expõe métodos que precisam ser usados pelo back-end da fonte de dados.
| CreateDataSourceDefinition | |
|---|---|
|
Cria uma definição de fonte de dados. Se você chamar este método, suas credenciais serão usadas automaticamente para criar os seguintes recursos do Google Cloud no SEU projeto. 1. Cliente OAuth 2. Tópicos e assinaturas do Pub/Sub em cada supported_location_ids, por exemplo, projects/{project_id}/{topics|subscriptions}/bigquerydatatransfer.{data_source_id}.{location_id}.run. O campo data_source.client_id deve permanecer vazio na solicitação de entrada, já que a API cria um novo cliente OAuth em nome do usuário. Por outro lado, geralmente é necessário definir o campo data_source.scopes quando há escopos OAuth que precisam ser concedidos por usuários finais.
|
|
| DeleteDataSourceDefinition | |
|---|---|
|
Exclui uma definição de fonte de dados. Para que a fonte de dados possa ser excluída, todas as configurações de transferência associadas à definição de fonte de dados (se houver) precisam ser excluídas pelo usuário em TODAS as regiões. Esse método está relacionado principalmente à exclusão de fontes de dados criadas durante a fase de testes. Se a fonte de dados for referenciada por configurações de transferência na região especificada na URL de solicitação, o método falhará imediatamente. Se estiver na região atual (por exemplo, EUA) ele não for usado por configurações de transferência, mas for usado em outra região (por exemplo, UE), então o método será bem-sucedido na região dos EUA, mas falhará quando a operação de exclusão for replicada para a região da UE. Por fim, o sistema replicará a definição da fonte de dados da UE para os EUA para tornar todas as regiões consistentes. Dessa forma, a fonte de dados parece ter a exclusão cancelada na região dos EUA.
|
|
| FinishRun | |
|---|---|
|
Notifica o serviço de transferência de dados de que a fonte de dados já processou a execução. Não serão aceitas mais atualizações de status ou solicitações para iniciar/monitorar jobs. A execução será finalizada pelo serviço de transferência de dados quando todos os jobs em andamento forem concluídos. Não precisa ser chamado quando a execução está definida como "FAILED".
|
|
| GetDataSourceDefinition | |
|---|---|
|
Recupera uma definição de fonte de dados atual.
|
|
| ListDataSourceDefinitions | |
|---|---|
|
Lista as definições de fontes de dados compatíveis.
|
|
| LogTransferRunMessages | |
|---|---|
|
Registra mensagens de uma execução de transferência. Se for bem-sucedido, pelo menos uma mensagem, redefinirá o timer data_source.update_deadline_seconds.
|
|
| StartBigQueryJobs | |
|---|---|
|
Notifica o serviço de transferência de dados que os dados estão prontos para carregamento. O serviço iniciará e monitorará vários jobs de carregamento do BigQuery relativos a uma execução de transferência. Os jobs monitorados serão repetidos automaticamente e produzirão mensagens de registro no início e no término de cada job. Pode ser chamado várias vezes para a mesma execução de transferência.
|
|
| UpdateDataSourceDefinition | |
|---|---|
|
Atualiza uma definição de fonte de dados atual. Se supported_location_ids for alterado, serão acionados os mesmos efeitos mencionados em "Criar uma definição de fonte de dados".
|
|
| UpdateTransferRun | |
|---|---|
|
Atualiza uma execução de transferência. Se for bem-sucedido, redefinirá o timer data_source.update_deadline_seconds.
|
|
DataTransferService
A Data Transfer Service API do Google BigQuery permite que os usuários do BigQuery configurem a transferência de dados de outros produtos do Google para o BigQuery. Este serviço contém métodos que são expostos ao usuário final. Além disso, ele faz o back-up do front-end.
| CheckValidCreds | |
|---|---|
|
Retornará verdadeiro caso haja credenciais válidas para a fonte de dados e o usuário solicitante. Algumas fontes de dados não são compatíveis com conta de serviço, por isso é necessário se referir a elas em nome do usuário final. Essa API apenas verifica se temos o token OAuth para o usuário específico, que é um pré-requisito para que o usuário possa criar uma configuração de transferência.
|
|
| CreateTransferConfig | |
|---|---|
|
Cria uma nova configuração de transferência de dados.
|
|
| DeleteTransferConfig | |
|---|---|
|
Exclui uma configuração de transferência de dados, como execuções de transferência e registros associados.
|
|
| DeleteTransferRun | |
|---|---|
|
Exclui a execução de transferência especificada.
|
|
| EnableDataTransferService | |
|---|---|
|
Ativa o serviço de transferência de dados para um determinado projeto. Esse método exige o escopo extra de "https://www.googleapis.com/auth/cloudplatformprojects" para gerenciar as permissões do projeto em nuvem.
|
|
| GetDataSource | |
|---|---|
|
Recupera uma fonte de dados compatível e retorna suas configurações, que podem ser usadas para renderização da IU.
|
|
| GetTransferConfig | |
|---|---|
|
Retorna informações sobre uma configuração de transferência de dados.
|
|
| GetTransferRun | |
|---|---|
|
Retorna informações sobre a execução de transferência específica.
|
|
| IsDataTransferServiceEnabled | |
|---|---|
|
Retorna verdadeiro se a transferência de dados estiver ativada para um projeto.
|
|
| ListDataSources | |
|---|---|
|
Lista as fontes de dados compatíveis e retorna as configurações delas, que podem ser usadas para renderização da IU.
|
|
| ListTransferConfigs | |
|---|---|
|
Retorna informações sobre todas as transferências de dados no projeto.
|
|
| ListTransferLogs | |
|---|---|
|
Retorna mensagens de registro do usuário para a execução da transferência de dados.
|
|
| ListTransferRuns | |
|---|---|
|
Retorna informações sobre jobs em execução e concluídos.
|
|
| ScheduleTransferRuns | |
|---|---|
|
Cria execuções de transferência para um intervalo de tempo [start_time, end_time]. Para cada data (ou qualquer granularidade compatível com a fonte de dados) no intervalo, uma execução de transferência é criada. As execuções são criadas no horário UTC no intervalo de tempo.
|
|
| UpdateTransferConfig | |
|---|---|
|
Atualiza uma configuração de transferência de dados. Todos os campos precisam ser definidos, mesmo que não estejam atualizados.
|
|
CheckValidCredsRequest
Uma solicitação para determinar se o usuário tem credenciais válidas. Esse método é usado para limitar o número de pop-ups OAuth na interface do usuário. O código do usuário é inferido do contexto da chamada da API. Se a fonte de dados tiver o tipo de autorização do Google+, esse método retornará falso, porque não é possível determinar se as credenciais já são válidas apenas com base no código do usuário.
| Campos | |
|---|---|
name |
A fonte de dados no formato: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
CheckValidCredsResponse
Uma resposta indicando se as credenciais existem e são válidas.
| Campos | |
|---|---|
has_valid_creds |
Se definido como |
CreateDataSourceDefinitionRequest
Representa a solicitação do método CreateDataSourceDefinition.
| Campos | |
|---|---|
parent |
O ID do projeto do BigQuery a que a definição da fonte de dados está associada. Precisa estar no formato: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
data_source_definition |
Definição da fonte de dados. |
CreateTransferConfigRequest
Uma solicitação para criar uma configuração de transferência de dados. Se novas credenciais forem necessárias para essa configuração de transferência, um código de autorização precisa ser fornecido. Se um código de autorização for fornecido, a configuração de transferência será associada ao código do usuário correspondente ao código de autorização. Caso contrário, a configuração de transferência será associada ao usuário chamador.
| Campos | |
|---|---|
parent |
O código do projeto do BigQuery em que a configuração de transferência precisa ser criada. Precisa estar no formato projects/{project_id}/locations/{location_id}. A solicitação falhará se o local especificado e o local do conjunto de dados do BigQuery de destino não coincidirem. A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
transfer_config |
Configuração de transferência de dados a ser criada. |
authorization_code |
Código de autorização OAuth2 opcional para usar com essa configuração de transferência. Será obrigatório caso sejam necessárias novas credenciais, conforme indicado por
|
DataSource
Representa os metadados da fonte de dados. Os metadados são suficientes para renderizar a interface do usuário e solicitar tokens OAuth adequados.
| Campos | |
|---|---|
name |
Apenas saída. Nome do recurso de fonte de dados. |
data_source_id |
Código da fonte de dados. |
display_name |
Nome da fonte de dados amigável. |
description |
String de descrição da fonte de dados amigável. |
client_id |
ID do cliente da fonte de dados que precisa ser usado para recebimento do token de atualização. |
scopes[] |
Escopos de autenticação da API que precisam ser usados para recebimento do token de atualização. Esses são os escopos necessários para que uma fonte de dados prepare dados e ingira-os no BigQuery, por exemplo, https://www.googleapis.com/auth/bigquery |
transfer_type |
Obsoleto. Esse campo não tem efeito. |
supports_multiple_transfers |
Obsoleto. Esse campo não tem efeito. |
update_deadline_seconds |
O número de segundos a aguardar por uma atualização da fonte de dados antes que o serviço de transferência de dados marque a transferência como FAILED. |
default_schedule |
Horário padrão de transferência de dados. Exemplos de programações válidas incluem: |
supports_custom_schedule |
Especifica se a fonte de dados é compatível com uma programação definida pelo usuário ou se opera na programação padrão. Quando definido como |
parameters[] |
Parâmetros da fonte de dados. |
help_url |
URL para o documento de ajuda para essa fonte de dados. |
authorization_type |
Indica o tipo de autorização. |
data_refresh_type |
Especifica se (e como) a fonte de dados é compatível com atualização automática de dados nos últimos dias. Em algumas fontes, os dados só ficam completos alguns dias depois. Por isso, é útil atualizá-los automaticamente. |
default_data_refresh_window_days |
Janela de atualização de dados padrão em dias. Significativa apenas quando |
manual_runs_disabled |
Desativa o preenchimento e a programação de execução manual da fonte de dados. |
minimum_schedule_interval |
O intervalo mínimo para o programador agendar execuções. |
partner_legal_name |
Nome jurídico do parceiro da fonte de dados |
redirect_url |
URL de redirecionamento para concluir a configuração de transferência para fontes de dados de terceiros. |
AuthorizationType
O tipo de autorização necessária para essa fonte de dados.
| Enums | |
|---|---|
AUTHORIZATION_TYPE_UNSPECIFIED |
Tipo não especificado. |
AUTHORIZATION_CODE |
Usa os códigos de autorização do OAuth 2 que podem ser trocados por um token de atualização no back-end. |
GOOGLE_PLUS_AUTHORIZATION_CODE |
Retorna um código de autorização para uma determinada página do Google+ que pode ser trocado por um token de atualização no back-end. |
DataRefreshType
Representa como a fonte de dados oferece suporte à atualização automática de dados.
| Enums | |
|---|---|
DATA_REFRESH_TYPE_UNSPECIFIED |
A fonte de dados não é compatível com a atualização automática de dados, que é o valor padrão. |
SLIDING_WINDOW |
A fonte de dados é compatível com a atualização automática de dados, e as execuções serão programadas para os últimos dias. Não permite que valores personalizados sejam configurados para cada configuração de transferência. |
CUSTOM_SLIDING_WINDOW |
A fonte de dados é compatível com a atualização automática de dados, e as execuções serão programadas para os últimos dias. Permite que valores personalizados sejam definidos para cada configuração de transferência. |
DataSourceDefinition
Representa a definição da fonte de dados.
| Campos | |
|---|---|
name |
O nome do recurso da definição da fonte de dados. Os nomes das definições de fonte de dados têm o formato |
data_source |
Metadados da fonte de dados. |
transfer_run_pubsub_topic |
O tópico do Pub/Sub que será usado para fazer o broadcast de uma mensagem quando uma execução de transferência é criada. Esse tópico e o transfer_config_pubsub_topic podem ser definidos como um tópico personalizado. Por padrão, os dois tópicos serão gerados automaticamente se nenhum deles for especificado ao criar a definição. No entanto, se um tópico for definido manualmente, o outro também precisará ser. A única diferença é que o transfer_run_pubsub_topic precisa ser um tópico do Pub/Sub preenchido, mas o transfer_config_pubsub_topic pode ficar vazio. Os comentários sobre "{location}" para transfer_config_pubsub_topic também se aplicam aqui. |
run_time_offset |
Duração que precisa ser adicionada a schedule_time para calcular run_time quando o job é programado. Aplicável apenas para execuções de transferência programadas automaticamente. Usado para iniciar uma execução antecipadamente em uma fonte de dados compatível com a atualização contínua de dados para compensar desvios de fuso horário desconhecidos. Use um número negativo para iniciar uma execução atrasada para fontes de dados incompatíveis com a atualização contínua de dados. |
support_email |
Suporte para endereço de e-mail da marca do cliente OAuth, que contém os dados da tela de consentimento. |
service_account |
Quando a conta de serviço for especificada, o BigQuery compartilhará o conjunto de dados criado com a conta de serviço especificada. Além disso, essa conta de serviço estará qualificada para executar atualizações de status e registro de mensagens para execuções de transferência de dados para o data_source_id correspondente. |
disabled |
A fonte de dados está desativada? Se estiver, data_source não estará visível. A API também para de retornar configurações de transferência de dados e/ou execuções associadas à fonte de dados. Essa configuração tem prioridade sobre whitelisted_project_ids. |
transfer_config_pubsub_topic |
O tópico do Pub/Sub que será usado para fazer o broadcast de uma mensagem para a configuração de transferência. Se estiver vazio, a mensagem não será transmitida. Esse tópico e o transfer_run_pubsub_topic são gerados automaticamente se nenhum deles for especificado ao criar a definição. É recomendado inserir o transfer_config_pubsub_topic se um transfer_run_pubsub_topic pertencente ao usuário for especificado. Caso contrário, ele será definido como vazio. Se "{location}" for encontrado no valor, isso significa que a fonte de dados quer processar a mensagem separadamente para conjuntos de dados em regiões diferentes. Substituiremos {location} pelo local real do conjunto de dados, como o nome do tópico legítimo. Por exemplo, projects/connector/topics/scheduler-{location} passa a ser projects/connector/topics/scheduler-us. Se "{location}" não for encontrado, usaremos o valor de entrada como nome do tópico. |
supported_location_ids[] |
location_ids compatíveis usados para decidir em quais locais os tópicos do Pub/Sub precisam ser criados. Se os tópicos personalizados do Pub/Sub forem usados e contiverem "{location}", os location_ids serão usados para validar os tópicos, substituindo "{location}" pelo local individual na lista. Os valores válidos são o campo "location_id" da resposta de |
DataSourceParameter
Representa um parâmetro de fonte de dados com regras de validação para que os parâmetros possam ser renderizados na IU. Esses parâmetros são fornecidos por fontes de dados compatíveis e incluem todas as informações necessárias para renderização e validação. Portanto, quem usa essa API pode decidir gerar formulários específicos de IU genérica ou de fonte de dados personalizada.
| Campos | |
|---|---|
param_id |
Parâmetro identificador. |
display_name |
Nome de exibição do parâmetro na interface do usuário. |
description |
Descrição do parâmetro. |
type |
Tipo de parâmetro. |
required |
É um parâmetro obrigatório. |
repeated |
Obsoleto. Esse campo não tem efeito. |
validation_regex |
Expressão regular que pode ser usada para validação de parâmetros. |
allowed_values[] |
Todos os valores possíveis para o parâmetro. |
min_value |
Para valores inteiros e duplos, especifica o valor mínimo permitido. |
max_value |
Para valores inteiros e duplos, especifica o valor máximo permitido. |
fields[] |
Obsoleto. Esse campo não tem efeito. |
validation_description |
Descrição dos requisitos deste campo, caso a entrada do usuário não atenda ao padrão da expressão regular ou aos valores de mínimo/máximo. |
validation_help_url |
URL de um documento de ajuda para explicar melhor os requisitos de nomenclatura. |
immutable |
Não pode ser alterado após a criação inicial. |
recurse |
Obsoleto. Esse campo não tem efeito. |
Tipo
Tipo de parâmetro.
| Enums | |
|---|---|
TYPE_UNSPECIFIED |
Tipo não especificado. |
STRING |
Parâmetro de string. |
INTEGER |
Parâmetro inteiro (64 bits). Será serializado para json como string. |
DOUBLE |
Parâmetro de ponto flutuante de precisão dupla. |
BOOLEAN |
Parâmetro booleano. |
RECORD |
Obsoleto. Esse campo não tem efeito. |
PLUS_PAGE |
ID de uma página do Google+. |
DeleteDataSourceDefinitionRequest
Representa a solicitação do método DeleteDataSourceDefinition. Todas as configurações de transferência associadas à fonte de dados precisam ser excluídas antes da fonte.
| Campos | |
|---|---|
name |
O campo incluirá o nome do recurso solicitado, por exemplo: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
DeleteTransferConfigRequest
Uma solicitação para excluir informações de transferência de dados. Todas as execuções de transferência e mensagens de registro associadas serão excluídas também.
| Campos | |
|---|---|
name |
O campo incluirá o nome do recurso solicitado, por exemplo: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
DeleteTransferRunRequest
Uma solicitação para excluir informações de execução de transferência de dados.
| Campos | |
|---|---|
name |
O campo incluirá o nome do recurso solicitado, por exemplo: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
EnableDataTransferServiceRequest
Uma solicitação para ativar o serviço de transferência de dados para um projeto.
| Campos | |
|---|---|
name |
O nome do recurso do projeto no formato: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
FinishRunRequest
Uma solicitação para terminar uma execução.
| Campos | |
|---|---|
name |
Nome do recurso no formato: "projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}" |
GetDataSourceDefinitionRequest
Representa a solicitação do método GetDataSourceDefinition.
| Campos | |
|---|---|
name |
O campo conterá o nome do recurso solicitado. A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
GetDataSourceRequest
Uma solicitação para receber informações da fonte de dados.
| Campos | |
|---|---|
name |
O campo incluirá o nome do recurso solicitado, por exemplo: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
GetTransferConfigRequest
Uma solicitação para receber informações de transferência de dados.
| Campos | |
|---|---|
name |
O campo incluirá o nome do recurso solicitado, por exemplo: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
GetTransferRunRequest
Uma solicitação para receber informações sobre a execução de transferência de dados.
| Campos | |
|---|---|
name |
O campo incluirá o nome do recurso solicitado, por exemplo: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
ImportedDataInfo
Descreve os dados que precisam ser importados.
| Campos | |
|---|---|
sql |
Consulta SQL a ser executada. Quando vazia, a API verifica se existe apenas um table_def especificado e carrega essa tabela. Apenas consultas SQL padrão são aceitas. Não é permitido SQL legado. |
destination_table_id |
Tabela em que os resultados precisam ser gravados. |
destination_table_description |
A descrição de uma tabela de destino. Pode ser várias frases ou parágrafos descrevendo o conteúdo da tabela em detalhes. |
table_defs[] |
Quando usado SEM o parâmetro "sql", descreve o esquema da tabela de destino. Quando usado COM o parâmetro "sql", descreve tabelas com dados armazenados fora do BigQuery. |
user_defined_functions[] |
Código in-line para recursos de função definidos pelo usuário. Ignorado quando o parâmetro "sql" está vazio. |
write_disposition |
Especifica a ação caso a tabela de destino já exista. |
Codificação
Codificação de dados de entrada no formato CSV/JSON.
| Enums | |
|---|---|
ENCODING_UNSPECIFIED |
Codificação padrão (UTF8). |
ISO_8859_1 |
Codificação ISO_8859_1. |
UTF8 |
Codificação UTF8. |
FieldSchema
Define o esquema de um campo nos dados importados.
| Campos | |
|---|---|
field_name |
Nome do campo. Correspondências: [A-Za-z_][A-Za-z_0-9]{0,127} |
type |
Tipo de campo |
is_repeated |
É um campo repetido. |
description |
Descrição para este campo. |
schema |
Presente se tipo == RECORD. |
Tipo
Tipo de campo LINT.IfChange
| Enums | |
|---|---|
TYPE_UNSPECIFIED |
Valor ilegal. |
STRING |
64K, UTF8. |
INTEGER |
64 bits, assinado. |
FLOAT |
Ponto flutuante IEEE de 64 bits. |
RECORD |
Tipo de agregação. |
BYTES |
64K, binário. |
BOOLEAN |
Valor duplo. |
TIMESTAMP |
Usec assinado de 64 bits desde a época UTC. |
DATE |
Data civil: ano, mês, dia. |
TIME |
Hora civil: hora, minuto, segundo, microssegundos. |
DATETIME |
Combinação de data e hora civil. |
NUMERIC |
Tipo numérico com 38 dígitos decimais de precisão e 9 dígitos decimais de escala. |
GEOGRAPHY |
Objeto de geografia (go/googlesql_geography). |
Formato
Formato de dados.
| Enums | |
|---|---|
FORMAT_UNSPECIFIED |
Formato não especificado. Nesse caso, temos que inferir o formato da fonte de dados. |
CSV |
Formato CSV. |
JSON |
JSON delimitado por nova linha. |
AVRO |
Formato Avro. Consulte http://avro.apache.org. |
RECORDIO |
RecordIO. |
COLUMNIO |
ColumnIO. |
CAPACITOR |
Capacitor. |
PARQUET |
Formato de parquet. Consulte https://parquet.apache.org. |
ORC |
Formato ORC. Consulte https://orc.apache.org. |
RecordSchema
Descreve o esquema dos dados a serem ingeridos.
| Campos | |
|---|---|
fields[] |
Um campo por coluna no registro. |
TableDefinition
Definição de tabela externa. Essas tabelas podem ser referenciadas com "name" na consulta e podem ser lidas como qualquer outra tabela.
| Campos | |
|---|---|
table_id |
table_id do BigQuery (obrigatório). Será usado para referenciar essa tabela na consulta. |
source_uris[] |
URIs para os dados que precisam ser importados. Todos os URIs precisam ser do mesmo sistema de armazenamento. |
format |
Descreve o formato dos dados em source_uri. |
max_bad_records |
Especifica o número máximo de registros inválidos que podem ser ignorados. Se os registros inválidos excederem esse limite, a consulta será cancelada. |
encoding |
Codificação de caracteres da entrada quando aplicável (CSV, JSON). O padrão é UTF8. |
csv_options |
Opções específicas de CSV. |
schema |
Esquema opcional para os dados. Quando não especificado para os formatos JSON e CSV, tentaremos detectá-lo automaticamente. |
ignore_unknown_values |
Indica se valores extras que não estão representados no esquema da tabela são permitidos. |
CsvOptions
Opções específicas de CSV.
| Campos | |
|---|---|
field_delimiter |
O delimitador. No momento, restringimos a U+0001 para U+00FF e aplicamos restrições extras durante a validação. |
allow_quoted_newlines |
Se arquivos CSV podem ter novas linhas citadas. Se as novas linhas citadas forem permitidas, não será possível dividir os arquivos CSV. |
quote_char |
O caractere de citação. No momento, restringimos a U+0000 para U+00FF e aplicamos restrições extras durante a validação. Defina como "\0" para indicar que nenhuma citação é usada. |
skip_leading_rows |
Número de linhas principais a serem ignoradas. |
allow_jagged_rows |
Aceita linhas que não têm colunas opcionais posteriores. |
IsDataTransferServiceEnabledRequest
Uma solicitação para determinar se a transferência de dados está ativada para o projeto.
| Campos | |
|---|---|
name |
O nome do recurso do projeto no formato: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
IsDataTransferServiceEnabledResponse
Uma resposta para indicar se o serviço de transferência de dados está ativado para o projeto.
| Campos | |
|---|---|
enabled |
Indica se o serviço de transferência de dados está ativado para o projeto. |
reason |
Uma string que contém informações extras sobre porque o serviço é considerado não ativado. Disponível apenas quando |
ListDataSourceDefinitionsRequest
Representa a solicitação do método ListDataSourceDefinitions.
| Campos | |
|---|---|
parent |
O ID do projeto do BigQuery para onde as fontes de dados precisam ser retornadas. Precisa estar no formato: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
page_token |
O token de paginação, que pode ser usado para solicitar uma página específica de resultados da lista |
page_size |
Tamanho da página. O tamanho de página padrão é o valor máximo de 1.000 resultados. |
ListDataSourceDefinitionsResponse
Retorna uma lista de definições de fontes de dados compatíveis.
| Campos | |
|---|---|
data_source_definitions[] |
Lista de definições de fontes de dados compatíveis. |
next_page_token |
Apenas saída. O próximo token de paginação. Para listas de resultados com várias páginas, esse token pode ser usado como |
ListDataSourcesRequest
Uma solicitação para listar fontes de dados compatíveis e suas configurações de transferência.
| Campos | |
|---|---|
parent |
O ID do projeto do BigQuery para onde as fontes de dados precisam ser retornadas. Precisa estar no formato: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
page_token |
O token de paginação, que pode ser usado para solicitar uma página específica de resultados da lista |
page_size |
Tamanho da página. O tamanho de página padrão é o valor máximo de 1.000 resultados. |
ListDataSourcesResponse
Retorna a lista de fontes de dados compatíveis e seus metadados.
| Campos | |
|---|---|
data_sources[] |
Lista de fontes de dados compatíveis e suas configurações de transferência. |
next_page_token |
Apenas saída. O próximo token de paginação. Para listas de resultados com várias páginas, esse token pode ser usado como |
ListTransferConfigsRequest
Uma solicitação para listar as transferências de dados configuradas para um projeto do BigQuery.
| Campos | |
|---|---|
parent |
O ID do projeto do BigQuery para onde as fontes de dados precisam ser retornadas: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
data_source_ids[] |
Quando especificado, somente configurações de fontes de dados solicitadas são retornadas. |
page_token |
O token de paginação, que pode ser usado para solicitar uma página específica de resultados da lista |
page_size |
Tamanho da página. O tamanho de página padrão é o valor máximo de 1.000 resultados. |
ListTransferConfigsResponse
A lista retornada de canais no projeto.
| Campos | |
|---|---|
transfer_configs[] |
Apenas saída. As configurações de transferência de canal armazenadas. |
next_page_token |
Apenas saída. O próximo token de paginação. Para listas de resultados com várias páginas, esse token pode ser usado como |
ListTransferLogsRequest
Uma solicitação para receber mensagens de registro do usuário associadas à transferência de dados é executada.
| Campos | |
|---|---|
parent |
O nome da execução de transferência no formato: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
page_token |
O token de paginação, que pode ser usado para solicitar uma página específica de resultados da lista |
page_size |
Tamanho da página. O tamanho de página padrão é o valor máximo de 1.000 resultados. |
message_types[] |
Tipos de mensagens para retornar. Se não preenchido, as mensagens INFO, WARNING e ERROR são retornadas. |
ListTransferLogsResponse
A lista retornada de mensagens de execução de transferência.
| Campos | |
|---|---|
transfer_messages[] |
Apenas saída. As mensagens de transferência de canal armazenadas. |
next_page_token |
Apenas saída. O próximo token de paginação. Para listas de resultados com várias páginas, esse token pode ser usado como |
ListTransferRunsRequest
Uma solicitação para listar execuções de transferência de dados. A interface do usuário pode usar esse método para mostrar/filtrar execuções de transferência de dados específicas. A fonte de dados pode usar esse método para solicitar todas as execuções de transferência programadas.
| Campos | |
|---|---|
parent |
Nome da configuração de transferência para que as execuções de transferência precisam ser recuperadas. O formato do nome do recurso da configuração de transferência é: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
states[] |
Quando especificado, apenas as execuções de transferência com estados solicitados são retornadas. |
page_token |
O token de paginação, que pode ser usado para solicitar uma página específica de resultados da lista |
page_size |
Tamanho da página. O tamanho de página padrão é o valor máximo de 1.000 resultados. |
run_attempt |
Indica como as tentativas de execução precisam ser retornadas. |
RunAttempt
Representa quais execuções precisam ser retornadas.
| Enums | |
|---|---|
RUN_ATTEMPT_UNSPECIFIED |
Todas as execuções precisam ser retornadas. |
LATEST |
Apenas a última execução por dia precisa ser retornada. |
ListTransferRunsResponse
A lista retornada de canais no projeto.
| Campos | |
|---|---|
transfer_runs[] |
Apenas saída. A transferência de canais armazenada é executada. |
next_page_token |
Apenas saída. O próximo token de paginação. Para listas de resultados com várias páginas, esse token pode ser usado como |
LogTransferRunMessagesRequest
Uma solicitação para adicionar mensagens de status de transferência à execução.
| Campos | |
|---|---|
name |
Nome do recurso no formato: "projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}" |
transfer_messages[] |
Mensagens a serem anexadas. |
ScheduleTransferRunsRequest
Uma solicitação para programar execuções de transferência para um intervalo de tempo.
| Campos | |
|---|---|
parent |
O nome da configuração da transferência no formato: A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
labels |
Rótulos de usuário que precisam ser adicionados às execuções programadas. |
start_time |
Horário de início do intervalo de execuções de transferência. Por exemplo, |
end_time |
Horário de término do intervalo de execuções de transferência. Por exemplo, |
ScheduleTransferRunsResponse
Uma resposta para programar execuções de transferência por um período.
| Campos | |
|---|---|
runs[] |
As execuções de transferência que foram programadas. |
StartBigQueryJobsRequest
Uma solicitação para iniciar e monitorar um job de carga do BigQuery.
| Campos | |
|---|---|
name |
Nome do recurso no formato: "projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}" |
imported_data[] |
Importa jobs que precisam ser iniciados e monitorados. |
user_credentials |
Credenciais do usuário que precisam ser usadas para iniciar/monitorar jobs do BigQuery. Se não forem especificadas, os jobs serão iniciados usando as credenciais da conta de serviço da fonte de dados. Pode ser o token OAuth ou JWT. |
TransferConfig
Representa uma configuração de transferência de dados. Uma configuração de transferência contém todos os metadados necessários para realizar uma transferência de dados. Por exemplo, destination_dataset_id especifica onde os dados precisam ser armazenados. Quando uma nova configuração de transferência é criada, o destination_dataset_id especificado é criado quando necessário e compartilhado com a conta de serviço da fonte de dados apropriada.
| Campos | |
|---|---|
name |
O nome do recurso da configuração de transferência. Os nomes de configuração de transferência têm o formato |
destination_dataset_id |
O ID do conjunto de dados de destino do BigQuery. |
display_name |
Nome de exibição especificado pelo usuário para a transferência de dados. |
data_source_id |
Código da fonte de dados. Não pode ser alterado depois que a transferência de dados é criada. |
params |
Parâmetros específicos de transferência de dados. |
schedule |
Programação da transferência de dados. Se a fonte de dados não for compatível com um agendamento personalizado, este parâmetro precisa ficar vazio. Nesse caso, o valor padrão para a fonte de dados será usado. Os horários especificados estão em UTC. Exemplos de formato válido: |
data_refresh_window_days |
O número de dias transcorridos para atualizar automaticamente os dados. Por exemplo, se |
disabled |
Esta configuração está desativada. Quando definido como verdadeiro, nenhuma execução é planejada para uma determinada transferência. |
update_time |
Apenas saída. Horário de modificação da transferência de dados. Ignorado pelo servidor na entrada. |
next_run_time |
Apenas saída. A próxima vez que a transferência de dados será executada. |
state |
Apenas saída. Estado da execução de transferência atualizada mais recentemente. |
user_id |
Obsoleto. ID exclusivo do usuário que tem a transferência feita em seu nome. |
dataset_region |
Apenas saída. Região onde o conjunto de dados do BigQuery está localizado. |
partner_token |
Um identificador exclusivo usado para identificar uma configuração de transferência armazenada no lado do parceiro externo. O token é opaco para DTS e só pode ser interpretado pelo parceiro. A fonte de dados do parceiro precisa criar um mapeamento entre o ID do config e o token para confirmar que um config/execução de transferência é legítimo. |
partner_connection_info |
Configurações de transferência gerenciadas por fontes de dados do parceiro. É armazenado como pares de chave-valor e é usado apenas para fins de exibição de IU do DTS. Há dois motivos para não querer armazená-los com os "params": as informações de conexão são fornecidas pelo parceiro e não podem ser editadas na IU do DTS, o que é diferente do parâmetro imutável. A adição de outro booleano ao DataSourceParameter para diferenciá-los provocará confusão. As informações de conexão podem ser qualquer par de chave-valor arbitrário. Para adicioná-los aos campos de parâmetros, o parceiro precisa inserir a definição da fonte de dados para eles. É recomendado que os parceiros evitem isso. |
TransferMessage
Representa uma mensagem do usuário para uma determinada execução de transferência de dados.
| Campos | |
|---|---|
message_time |
Horário em que a mensagem foi registrada. |
severity |
Gravidade da mensagem. |
message_text |
Texto da mensagem. |
MessageSeverity
Representa a gravidade da mensagem do usuário da transferência de dados.
| Enums | |
|---|---|
MESSAGE_SEVERITY_UNSPECIFIED |
Nenhuma gravidade especificada. |
INFO |
Mensagem informativa. |
WARNING |
Mensagem de alerta. |
ERROR |
Mensagem de erro. |
DEBUG |
Mensagem de depuração. |
TransferRun
Representa uma execução de transferência de dados.
| Campos | |
|---|---|
name |
O nome do recurso da execução de transferência. Os nomes das execuções de transferência têm o formato |
labels |
Rótulos do usuário. |
schedule_time |
Tempo mínimo após o qual uma execução de transferência pode ser iniciada. |
run_time |
Para execuções de transferência em lote, especifica a data e a hora em que a ingestão de dados precisa ocorrer. |
error_status |
Status da execução da transferência. |
start_time |
Apenas saída. Hora em que a execução da transferência foi iniciada. Parâmetro ignorado pelo servidor para solicitações de entrada. |
end_time |
Apenas saída. Hora em que a execução da transferência foi finalizada. Parâmetro ignorado pelo servidor para solicitações de entrada. |
update_time |
Apenas saída. Última vez que o estado de execução da transferência de dados foi atualizado. |
params |
Apenas saída. Parâmetros específicos de transferência de dados. |
destination_dataset_id |
Apenas saída. O código do conjunto de dados de destino do BigQuery. |
data_source_id |
Apenas saída. Código da fonte de dados. |
state |
Estado de execução da transferência de dados. Ignorado para solicitações de entrada. |
user_id |
Obsoleto. ID exclusivo do usuário que tem a transferência feita em seu nome. |
schedule |
Apenas saída. Descreve a programação dessa execução de transferência se ela foi criada como parte de uma programação regular. Para execuções de transferência em lote programadas manualmente, este parâmetro fica vazio. Observação: o sistema pode atrasar a programação, dependendo da carga atual. Portanto, |
partner_token |
Apenas saída. Esse é o mesmo token inicializado em TransferConfig. O token de parceiro é um identificador exclusivo usado para identificar uma configuração de transferência armazenada no lado do parceiro externo. O token é opaco para DTS e só pode ser interpretado pelo parceiro. A fonte de dados do parceiro precisa criar um mapeamento entre o ID do config e o token para confirmar que um config/execução de transferência é legítimo. |
TransferState
Representa o estado de execução da transferência de dados.
| Enums | |
|---|---|
TRANSFER_STATE_UNSPECIFIED |
Marcador para o estado. |
PENDING |
A transferência de dados está programada e está aguardando para ser retirada pelo back-end de transferência de dados. |
RUNNING |
Transferência de dados em andamento. |
SUCCEEDED |
Transferência de dados concluída com sucesso. |
FAILED |
Falha na transferência de dados. |
CANCELLED |
Transferência de dados foi cancelada. |
TransferType
OBSOLETO. Representa o tipo de transferência de dados.
| Enums | |
|---|---|
TRANSFER_TYPE_UNSPECIFIED |
Marcador para tipo de transferência inválido ou desconhecido. |
BATCH |
Transferência de dados em lote. |
STREAMING |
Transmissão de dados por streaming. Atualmente, a fonte de dados de streaming não é compatível com várias configurações de transferência por projeto. |
UpdateDataSourceDefinitionRequest
Representa a solicitação do método UpdateDataSourceDefinition.
| Campos | |
|---|---|
data_source_definition |
Definição da fonte de dados. A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
update_mask |
Atualiza a máscara de campo. |
UpdateTransferConfigRequest
Solicitação para atualizar uma configuração de transferência. Para atualizar o código do usuário da configuração de transferência, um código de autorização precisa ser fornecido.
| Campos | |
|---|---|
transfer_config |
Configuração de transferência de dados a ser criada. A autorização requer a seguinte permissão do Google IAM no recurso especificado
|
authorization_code |
Código de autorização OAuth2 opcional para usar com essa configuração de transferência. Se for fornecido, a configuração de transferência será associada ao usuário que autoriza. Para receber o authorization_code, faça uma solicitação para https://www.gstatic.com/bigquerydatatransfer/oauthz/auth?client_id=
|
update_mask |
Lista obrigatória de campos a serem atualizados nesta solicitação. |
UpdateTransferRunRequest
Solicitação para atualizar uma execução de transferência.
| Campos | |
|---|---|
transfer_run |
O nome da execução precisa ser definido e corresponder a uma execução já existente. Apenas os campos state, error_status e data_version serão atualizados. Todos os outros campos serão ignorados. |
update_mask |
Lista obrigatória de campos a serem atualizados nesta solicitação. |
WriteDisposition
Opções para gravar na tabela. A opção WRITE_EMPTY é intencionalmente excluída do enum e é incompatível com o serviço de transferência de dados.
| Enums | |
|---|---|
WRITE_DISPOSITION_UNSPECIFIED |
O padrão writeDispostion |
WRITE_TRUNCATE |
substitui os dados da tabela. |
WRITE_APPEND |
os dados são anexados à tabela. Usar esse modo pode resultar em duplicação. |