- Recurso: MigrationWorkflow
- MigrationTask
- AssessmentTaskDetails
- TranslationTaskDetails
- TeradataOptions
- BteqOptions
- DatasetReference
- TranslationFileMapping
- FileEncoding
- IdentifierSettings
- IdentifierCase
- IdentifierRewriteMode
- TokenType
- Filtrar
- TranslationConfigDetails
- Dialeto
- BigQueryDialect
- HiveQLDialect
- RedshiftDialect
- TeradataDialect
- Mode
- OracleDialect
- SparkSQLDialect
- SnowflakeDialect
- NetezzaDialect
- AzureSynapseDialect
- VerticaDialect
- SQLServerDialect
- PostgresqlDialect
- PrestoDialect
- MySQLDialect
- SourceEnv
- SourceTargetLocationMapping
- SourceLocation
- TargetLocation
- TranslationDetails
- SourceTargetMapping
- SourceSpec
- Literal
- TargetSpec
- Estado
- MigrationTaskOrchestrationResult
- AssessmentOrchestrationResultDetails
- TranslationTaskResult
- GcsReportLogMessage
- Estado
- Métodos
Recurso: MigrationWorkflow
Um fluxo de trabalho de migração que especifica o que precisa ser feito para uma migração do EDW.
Representação JSON |
---|
{ "name": string, "displayName": string, "tasks": { string: { object ( |
Campos | |
---|---|
name |
Apenas saída. Imutável. Identificador. O identificador exclusivo do fluxo de trabalho de migração. O ID é gerado pelo servidor. Exemplo: |
displayName |
O nome de exibição do fluxo de trabalho. Isso pode ser definido para dar um nome descritivo a um fluxo de trabalho. Não há garantia ou aplicação de exclusividade. |
tasks |
As tarefas em um fluxo de trabalho em um mapa nomeado. O nome (ou seja, chave) não tem significado e é meramente uma maneira conveniente de abordar uma tarefa específica em um fluxo de trabalho. |
state |
Apenas saída. Esse status do fluxo de trabalho. |
createTime |
Hora em que o fluxo de trabalho foi criado. |
lastUpdateTime |
Hora em que o fluxo de trabalho foi atualizado pela última vez. |
MigrationTask
Uma única tarefa para uma migração que tem detalhes sobre a configuração da tarefa.
Representação JSON |
---|
{ "id": string, "type": string, "details": { "@type": string, field1: ..., ... }, "state": enum ( |
Campos | |
---|---|
id |
Apenas saída. Imutável. O identificador exclusivo da tarefa de migração. O ID é gerado pelo servidor. |
type |
O tipo da tarefa. Precisa ser um dos tipos de tarefas compatíveis: Translation_Teradata2BQ, Translation_Redshift2BQ, Translation_Bteq2BQ, Translation_Oracle2BQ, Translation_HiveQL2BQ, Translation_SparkSQL2BQ, Translation_Snowflake2BQ, Translation_Netezza2BQ, Translation_AzureSynapse2BQ, Translation_Vertica2BQ, Translation_SQLServer2BQ, Translation_Presto2BQ, Translation_MySQL2BQ, Translation_Postgresql2BQ. |
details |
DESCONTINUADO! Use um dos task_details abaixo. Os detalhes da tarefa. O URL do tipo precisa ser uma das mensagens de detalhes da tarefa compatíveis e corresponder ao tipo da tarefa. |
state |
Apenas saída. O estado atual da tarefa. |
processingError |
Apenas saída. Uma explicação que pode ser preenchida quando a tarefa está no estado FAILED. |
createTime |
Hora em que a tarefa foi criada. |
lastUpdateTime |
Hora em que a tarefa foi atualizada pela última vez. |
orchestrationResult |
Apenas saída. Outras informações sobre a orquestração. |
resourceErrorDetails[] |
Apenas saída. Fornece detalhes dos erros e problemas encontrados durante o processamento da tarefa. A presença de detalhes do erro não significa que a tarefa falhou. |
resourceErrorCount |
O número de recursos com erros. Observação: esse não é o número total de erros, já que cada recurso pode ter mais de um erro. Isso é usado para indicar truncamento, tendo um |
metrics[] |
As métricas da tarefa. |
Campo de união task_details . Os detalhes da tarefa. task_details pode ser apenas de um dos tipos a seguir: |
|
assessmentTaskDetails |
Configuração de tarefas para avaliação. |
translationTaskDetails |
Configuração de tarefas para tradução de SQL em lote. |
translationConfigDetails |
Configuração de tarefas para tradução de SQL off-line/em lote do CW. |
translationDetails |
Detalhes da tarefa para conversão unificada de SQL. |
AssessmentTaskDetails
Configuração da tarefa de avaliação.
Representação JSON |
---|
{ "inputPath": string, "outputDataset": string, "querylogsPath": string, "dataSource": string } |
Campos | |
---|---|
inputPath |
Obrigatório. O caminho do Cloud Storage para os arquivos de entrada da avaliação. |
outputDataset |
Obrigatório. O conjunto de dados do BigQuery para saída. |
querylogsPath |
Opcional. Um caminho opcional do Cloud Storage para gravar os registros de consulta (que será usado como um caminho de entrada na tarefa de tradução) |
dataSource |
Obrigatório. A fonte de dados ou o tipo de data warehouse (por exemplo: TERADATA/REDSHIFT) de onde os dados de entrada são extraídos. |
TranslationTaskDetails
A configuração da tarefa de tradução para capturar as configurações necessárias para uma tarefa de tradução e uma subtarefa.
Representação JSON |
---|
{ "inputPath": string, "outputPath": string, "filePaths": [ { object ( |
Campos | |
---|---|
inputPath |
O caminho do Cloud Storage para arquivos de entrada de tradução. |
outputPath |
O caminho do Cloud Storage para arquivos de saída da tradução. |
filePaths[] |
Arquivos do Cloud Storage a serem processados para tradução. |
schemaPath |
O caminho do Cloud Storage para arquivos DDL como esquema de tabela para auxiliar na tradução semântica. |
fileEncoding |
O tipo de codificação do arquivo. |
identifierSettings |
As configurações de identificadores SQL. |
specialTokenMap |
O mapa que captura tokens especiais a serem substituídos durante a tradução. A chave é um token especial na string. O valor é o tipo de dados do token. Isso é usado para converter um modelo de consulta SQL que contém um token especial como espaço reservado. O token especial invalida uma consulta para análise. Esse mapa será aplicado para anotar esses tokens especiais com tipos, permitindo que o analisador entenda como analisá-los em uma estrutura adequada com informações de tipo. |
filter |
O filtro aplicado aos detalhes da tradução. |
translationExceptionTable |
Especifica o nome exato da tabela do BigQuery ("dataset.table") a ser usada para exibir erros brutos de tradução. Se a tabela não existir, vamos criá-la. Se já existir, e o esquema for o mesmo, vamos usá-lo novamente. Se a tabela existir, e o esquema for diferente, um erro será gerado. |
Campo de união language_options . As configurações específicas do idioma para a tarefa de tradução. language_options pode ser apenas de um dos tipos a seguir: |
|
teradataOptions |
As configurações específicas do Teradata SQL para a tarefa de tradução. |
bteqOptions |
As configurações específicas do BTEQ para a tarefa de tradução. |
TeradataOptions
Esse tipo não tem campos.
Configurações relacionadas à tarefa de conversão específica do Teradata SQL.
BteqOptions
Configurações relacionadas à tarefa de tradução com BTEQ.
Representação JSON |
---|
{
"projectDataset": {
object ( |
Campos | |
---|---|
projectDataset |
Especifica o projeto e o conjunto de dados no BigQuery que serão usados para a criação de tabelas externas durante a tradução. |
defaultPathUri |
O local do Cloud Storage a ser usado como o caminho padrão para arquivos que não estão especificados no mapa de substituição de arquivos. |
fileReplacementMap |
Mapeia os caminhos locais usados nos scripts de BTEQ (as chaves) para os caminhos no Cloud Storage que devem ser usados no lugar da conversão (o valor). |
DatasetReference
Referência a um conjunto de dados do BigQuery.
Representação JSON |
---|
{ "datasetId": string, "projectId": string, "datasetIdAlternative": [ string ], "projectIdAlternative": [ string ] } |
Campos | |
---|---|
datasetId |
Um ID exclusivo deste conjunto de dados, sem o nome do projeto. O ID precisa conter apenas letras (a-z, A-Z), números (0-9) ou sublinhados (_). O comprimento máximo é de 1.024 caracteres. |
TranslationFileMapping
Mapeamento entre um arquivo de entrada e saída a ser traduzido em uma subtarefa.
Representação JSON |
---|
{ "inputPath": string, "outputPath": string } |
Campos | |
---|---|
inputPath |
O caminho do Cloud Storage para a tradução de um arquivo em uma subtarefa. |
outputPath |
O caminho do Cloud Storage em que o arquivo de entrada correspondente será gravado. |
FileEncoding
Os tipos de codificação de arquivo.
Enums | |
---|---|
FILE_ENCODING_UNSPECIFIED |
A configuração de codificação do arquivo não foi especificada. |
UTF_8 |
A codificação do arquivo é UTF_8. |
ISO_8859_1 |
A codificação do arquivo é ISO_8859_1. |
US_ASCII |
A codificação de arquivo é US_ASCII. |
UTF_16 |
A codificação do arquivo é UTF_16. |
UTF_16LE |
A codificação do arquivo é UTF_16LE. |
UTF_16BE |
A codificação do arquivo é UTF_16BE. |
IdentifierSettings
Configurações relacionadas aos identificadores SQL.
Representação JSON |
---|
{ "outputIdentifierCase": enum ( |
Campos | |
---|---|
outputIdentifierCase |
A configuração para controlar o caso do identificador das consultas de saída. |
identifierRewriteMode |
Especifica o modo de regravação para identificadores SQL. |
IdentifierCase
O tipo de caso do identificador.
Enums | |
---|---|
IDENTIFIER_CASE_UNSPECIFIED |
O caso do identificador não está especificado. |
ORIGINAL |
Os casos dos identificadores serão mantidos como os originais. |
UPPER |
Os identificadores estarão em letras maiúsculas. |
LOWER |
Os identificadores estarão em letras minúsculas. |
IdentifierRewriteMode
O modo de regravação do identificador SQL.
Enums | |
---|---|
IDENTIFIER_REWRITE_MODE_UNSPECIFIED |
O modo de regravação do identificador SQL não foi especificado. |
NONE |
Os identificadores SQL não serão regravados. |
REWRITE_ALL |
Todos os identificadores SQL serão reescritos. |
TokenType
O tipo de dados de token especial.
Enums | |
---|---|
TOKEN_TYPE_UNSPECIFIED |
O tipo de token não foi especificado. |
STRING |
Tipo de token como string. |
INT64 |
Tipo de token como número inteiro. |
NUMERIC |
Tipo de token como numérico. |
BOOL |
Tipo de token como booleano. |
FLOAT64 |
Tipo de token como flutuante. |
DATE |
Tipo de token como data. |
TIMESTAMP |
Tipo de token como carimbo de data/hora. |
Filtro
O filtro aplicado aos campos de detalhes da tradução.
Representação JSON |
---|
{ "inputFileExclusionPrefixes": [ string ] } |
Campos | |
---|---|
inputFileExclusionPrefixes[] |
A lista de prefixos usados para excluir o processamento de arquivos de entrada. |
TranslationConfigDetails
A configuração de tradução para capturar as configurações necessárias para uma tarefa e subtarefa de tradução.
Representação JSON |
---|
{ "sourceDialect": { object ( |
Campos | |
---|---|
sourceDialect |
O dialeto dos arquivos de entrada. |
targetDialect |
O dialeto de destino para o qual o mecanismo traduzirá a entrada. |
sourceEnv |
Os valores padrão do ambiente de origem para a tradução. |
sourceTargetLocationMapping[] |
O mapeamento dos caminhos do local de origem para os caminhos do local de destino. |
requestSource |
O indicador que mostra o iniciador da solicitação de tradução. |
Campo de união source_location . O caminho escolhido em que a origem dos arquivos de entrada será encontrada. source_location pode ser apenas de um dos tipos a seguir: |
|
gcsSourcePath |
O caminho do Cloud Storage para um diretório de arquivos a serem convertidos em uma tarefa. |
Campo de união target_location . O caminho escolhido em que o destino dos arquivos de saída será encontrado. target_location pode ser apenas de um dos tipos a seguir: |
|
gcsTargetPath |
O caminho do Cloud Storage em que os arquivos de entrada correspondentes serão gravados. |
Dialeto
As possíveis opções de dialeto para tradução.
Representação JSON |
---|
{ // Union field |
Campos | |
---|---|
Campo de união dialect_value . As possíveis opções de dialeto que esta mensagem representa. dialect_value pode ser apenas de um dos tipos a seguir: |
|
bigqueryDialect |
O dialeto do BigQuery |
hiveqlDialect |
O dialeto do HiveQL |
redshiftDialect |
O dialeto do Redshift |
teradataDialect |
O dialeto do Teradata |
oracleDialect |
O dialeto do Oracle |
sparksqlDialect |
O dialeto do SparkSQL |
snowflakeDialect |
O dialeto do Snowflake |
netezzaDialect |
O dialeto do Netezza |
azureSynapseDialect |
O dialeto do Azure Synapse |
verticaDialect |
O dialeto do Vertica |
sqlServerDialect |
O dialeto do SQL Server |
postgresqlDialect |
O dialeto do Postgresql |
prestoDialect |
O dialeto do Presto |
mysqlDialect |
O dialeto do MySQL |
BigQueryDialect
Esse tipo não tem campos.
A definição do dialeto para o BigQuery.
HiveQLDialect
Esse tipo não tem campos.
A definição do dialeto para o HiveQL.
RedshiftDialect
Esse tipo não tem campos.
A definição do dialeto para o Redshift.
TeradataDialect
A definição do dialeto para o Teradata.
Representação JSON |
---|
{
"mode": enum ( |
Campos | |
---|---|
mode |
Qual modo de subdialeto do Teradata o usuário especifica. |
Modo
As opções de subdialetos para o Teradata.
Enums | |
---|---|
MODE_UNSPECIFIED |
Modo não especificado. |
SQL |
Modo SQL do Teradata. |
BTEQ |
Modo BTEQ (que inclui SQL). |
OracleDialect
Esse tipo não tem campos.
A definição do dialeto para o Oracle.
SparkSQLDialect
Esse tipo não tem campos.
A definição do dialeto para o SparkSQL.
SnowflakeDialect
Esse tipo não tem campos.
A definição do dialeto para o Snowflake.
NetezzaDialect
Esse tipo não tem campos.
A definição do dialeto para o Netezza.
AzureSynapseDialect
Esse tipo não tem campos.
A definição do dialeto para o Azure Synapse.
VerticaDialect
Esse tipo não tem campos.
A definição do dialeto para o Vertica.
SQLServerDialect
Esse tipo não tem campos.
A definição do dialeto para o SQL Server.
PostgresqlDialect
Esse tipo não tem campos.
A definição do dialeto para Postgresql.
PrestoDialect
Esse tipo não tem campos.
A definição do dialeto para o Presto.
MySQLDialect
Esse tipo não tem campos.
A definição do dialeto para o MySQL.
SourceTargetLocationMapping
Representa um mapeamento de um caminho de local de origem para um caminho de local de destino opcional.
Representação JSON |
---|
{ "sourceLocation": { object ( |
Campos | |
---|---|
sourceLocation |
O caminho para o local dos dados de origem. |
targetLocation |
O caminho para o local dos dados de destino. |
SourceLocation
Representa um caminho para o local que contém os dados de origem.
Representação JSON |
---|
{ // Union field |
Campos | |
---|---|
Campo de união location . A localização dos dados de origem. location pode ser apenas de um dos tipos a seguir: |
|
gcsPath |
O caminho do Cloud Storage para um diretório de arquivos. |
TargetLocation
// Representa um caminho para o local que contém dados de destino.
Representação JSON |
---|
{ // Union field |
Campos | |
---|---|
Campo de união location . O local dos dados de destino. location pode ser apenas de um dos tipos a seguir: |
|
gcsPath |
O caminho do Cloud Storage para um diretório de arquivos. |
TranslationDetails
Os detalhes da tradução para capturar as configurações necessárias para um job de tradução.
Representação JSON |
---|
{ "sourceTargetMapping": [ { object ( |
Campos | |
---|---|
sourceTargetMapping[] |
Mapeamento do SQL de origem para o de destino. |
targetBaseUri |
O URI de base de todas as gravações no armazenamento permanente. |
sourceEnvironment |
Os valores padrão do ambiente de origem para a tradução. |
targetReturnLiterals[] |
A lista de destinos literais que serão retornados diretamente para a resposta. Cada entrada consiste no caminho construído, EXCLUINDO o caminho base. Não fornecer um targetBaseUri impedirá a gravação no armazenamento permanente. |
targetTypes[] |
Os tipos de saída a serem gerados, por exemplo, sql, sqlx, linhagem, análise etc. Se não forem especificados, será gerado um conjunto padrão de destinos. A geração de alguns outros tipos de de destino pode ser mais lenta. Consulte a documentação para conhecer o conjunto de tipos de destinos disponíveis. |
SourceTargetMapping
Representa um mapeamento de um SQL de origem para um SQL de destino.
Representação JSON |
---|
{ "sourceSpec": { object ( |
Campos | |
---|---|
sourceSpec |
O SQL de origem ou o caminho para ele. |
targetSpec |
O SQL de destino ou o caminho para ele. |
SourceSpec
Representa um caminho para o local que contém os dados de origem.
Representação JSON |
---|
{ "encoding": string, // Union field |
Campos | |
---|---|
encoding |
Opcional. O campo opcional para especificar a codificação dos bytes sql. |
Campo de união source . O SQL de origem específico. source pode ser apenas de um dos tipos a seguir: |
|
baseUri |
O URI de base de todos os arquivos que serão lidos como origens para tradução. |
literal |
Literal de origem. |
Literal
Dados literais.
Representação JSON |
---|
{ "relativePath": string, // Union field |
Campos | |
---|---|
relativePath |
Obrigatório. O identificador da entrada literal. |
Campo de união literal_data . O conteúdo SQL literal. literal_data pode ser apenas de um dos tipos a seguir: |
|
literalString |
Dados de string literal. |
literalBytes |
Dados de bytes literais. |
TargetSpec
Representa um caminho para o local que contém os dados de destino.
Representação JSON |
---|
{ "relativePath": string } |
Campos | |
---|---|
relativePath |
O caminho relativo para os dados de destino. Dado o arquivo de origem |
SourceEnvironment
Representa os valores padrão do ambiente de origem para a tradução.
Representação JSON |
---|
{ "defaultDatabase": string, "schemaSearchPath": [ string ], "metadataStoreDataset": string } |
Campos | |
---|---|
defaultDatabase |
O nome padrão do banco de dados para qualificar totalmente objetos SQL quando o nome do banco de dados está ausente. |
schemaSearchPath[] |
O caminho de pesquisa do esquema. Quando os objetos SQL não têm o nome do esquema, o mecanismo de tradução pesquisará essa lista para encontrar o valor. |
metadataStoreDataset |
Opcional. Espera-se um ID válido do conjunto de dados do BigQuery existente, por exemplo, project-123.metadata_store_123. Se especificado, a tradução vai pesquisar e ler as informações de esquema necessárias de um repositório de metadados neste conjunto de dados. Se o repositório de metadados não existir, a tradução analisará o arquivo de metadados e fará upload das informações do esquema para uma tabela temporária no conjunto de dados para acelerar jobs de tradução futuros. |
Estado
Os estados possíveis de uma tarefa de migração.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado não está especificado. |
PENDING |
A tarefa está aguardando a orquestração. |
ORCHESTRATING |
A tarefa é atribuída a um orquestrador. |
RUNNING |
A tarefa está em execução, ou seja, suas subtarefas estão prontas para execução. |
PAUSED |
A tarefa está pausada. As subtarefas atribuídas podem continuar, mas nenhuma subtarefa nova será agendada. |
SUCCEEDED |
A tarefa foi concluída. |
FAILED |
A tarefa foi concluída sem sucesso. |
MigrationTaskOrchestrationResult
Informações adicionais do orquestrador quando concluído na orquestração de tarefas.
Representação JSON |
---|
{ // Union field |
Campos | |
---|---|
Campo de união details . Detalhes específicos para o tipo de tarefa. details pode ser apenas de um dos tipos a seguir: |
|
assessmentDetails |
Detalhes específicos para os tipos de tarefas de avaliação. |
translationTaskResult |
Detalhes específicos para os tipos de tarefas de tradução. |
AssessmentOrchestrationResultDetails
Detalhes do resultado da orquestração de uma tarefa de avaliação.
Representação JSON |
---|
{ "outputTablesSchemaVersion": string, "reportUri": string } |
Campos | |
---|---|
outputTablesSchemaVersion |
Opcional. A versão usada para os esquemas da tabela de saída. |
reportUri |
Opcional. O URI do relatório do Data Studio. |
TranslationTaskResult
Detalhes dos resultados específicos da tradução da tarefa de migração.
Representação JSON |
---|
{ "translatedLiterals": [ { object ( |
Campos | |
---|---|
translatedLiterals[] |
A lista dos literais traduzidos. |
reportLogMessages[] |
Os registros do relatório CSV agregado de um fluxo de trabalho de migração. |
GcsReportLogMessage
Um registro no relatório CSV agregado de um fluxo de trabalho de migração
Representação JSON |
---|
{ "severity": string, "category": string, "filePath": string, "filename": string, "sourceScriptLine": integer, "sourceScriptColumn": integer, "message": string, "scriptContext": string, "action": string, "effect": string, "objectName": string } |
Campos | |
---|---|
severity |
Gravidade do registro de tradução. |
category |
Categoria do erro/aviso. Exemplo: SyntaxError |
filePath |
O caminho do arquivo em que o erro ocorreu |
filename |
O nome do arquivo em que o erro ocorreu |
sourceScriptLine |
Especifica a linha do texto de origem em que o erro ocorreu (baseado em 0, -1 para mensagens sem localização de linha). Exemplo: 2 |
sourceScriptColumn |
Especifica a coluna dos textos de origem em que o erro ocorreu. Exemplo (baseado em 0, -1 para mensagens sem local da coluna): 6 |
message |
Mensagem detalhada do registro. |
scriptContext |
O contexto do script (ofuscado) em que o erro ocorreu |
action |
Categoria do erro/aviso. Exemplo: SyntaxError |
effect |
Categoria do erro/aviso. Exemplo: SyntaxError |
objectName |
Nome do objeto afetado na mensagem de registro. |
Estado
Possíveis estados do fluxo de trabalho de migração.
Enums | |
---|---|
STATE_UNSPECIFIED |
O estado do fluxo de trabalho não foi especificado. |
DRAFT |
O fluxo de trabalho está com status rascunho, ou seja, as tarefas ainda não estão qualificadas para execução. |
RUNNING |
O fluxo de trabalho está em execução (ou seja, as tarefas estão qualificadas para execução). |
PAUSED |
O fluxo de trabalho está pausado. As tarefas em andamento podem continuar, mas nenhuma outra tarefa será agendada. |
COMPLETED |
O fluxo de trabalho foi concluído. Não deve haver tarefas em estado não terminal, mas se houver (por exemplo, encerramento forçado), elas não serão programadas. |
Métodos |
|
---|---|
|
Cria um fluxo de trabalho de migração. |
|
Exclui um fluxo de trabalho de migração por nome. |
|
Recebe um fluxo de trabalho de migração criado anteriormente. |
|
Lista o fluxo de trabalho de migração criado anteriormente. |
|
Inicia um fluxo de trabalho de migração criado anteriormente. |