- Recurso: MigrationWorkflow
- MigrationTask
- AssessmentTaskDetails
- TranslationTaskDetails
- TeradataOptions
- BteqOptions
- DatasetReference
- TranslationFileMapping
- FileEncoding
- IdentifierSettings
- IdentifierCase
- IdentifierRewriteMode
- TokenType
- Filtro
- TranslationConfigDetails
- Dialecto
- BigQueryDialect
- HiveQLDialect
- RedshiftDialect
- TeradataDialect
- Modo
- OracleDialect
- SparkSQLDialect
- SnowflakeDialect
- NetezzaDialect
- AzureSynapseDialect
- VerticaDialect
- SQLServerDialect
- PostgresqlDialect
- PrestoDialect
- MySQLDialect
- SourceEnv
- SourceTargetLocationMapping
- SourceLocation
- TargetLocation
- TranslationDetails
- SourceTargetMapping
- SourceSpec
- Literal
- TargetSpec
- Estado
- MigrationTaskOrchestrationResult
- AssessmentOrchestrationResultDetails
- TranslationTaskResult
- GcsReportLogMessage
- Estado
- Métodos
Recurso: MigrationWorkflow
Un flujo de trabajo de migración que especifica qué se debe hacer para una migración de EDW.
Representación JSON |
---|
{ "name": string, "displayName": string, "tasks": { string: { object ( |
Campos | |
---|---|
name |
Solo salida. Inmutable. Identificador. El identificador único del flujo de trabajo de migración. El ID lo genera el servidor. Ejemplo: |
displayName |
El nombre visible del flujo de trabajo. Se puede configurar para darle a un flujo de trabajo un nombre descriptivo. No se garantiza ni se aplica la exclusividad. |
tasks |
Las tareas de un flujo de trabajo en un mapa con nombre. El nombre (es decir, la clave) no tiene sentido y es solo una forma conveniente de abordar una tarea específica en un flujo de trabajo. |
state |
Solo salida. Ese estado del flujo de trabajo. |
createTime |
Hora en la que se creó el flujo de trabajo. |
lastUpdateTime |
Hora a la que se actualizó el flujo de trabajo por última vez. |
MigrationTask
Una sola tarea para una migración que tiene detalles sobre la configuración de la tarea.
Representación JSON |
---|
{ "id": string, "type": string, "details": { "@type": string, field1: ..., ... }, "state": enum ( |
Campos | |
---|---|
id |
Solo salida. Inmutable. El identificador único de la tarea de migración. El ID lo genera el servidor. |
type |
El tipo de tarea. Debe ser uno de los tipos de tareas compatibles: Translation_Teradata2BQ, Translation_Redshift2BQ, Translation_Bteq2BQ, Translation_Oracle2BQ, Translation_HiveQL2BQ, Translation_SparkSQL2BQ, Translation_Snowflake2BQ, Translation_Netezza2BQ, Translation_AzureSynapse2BQ, Translation_Vertica2BQ, Translation_SQLServer2BQ, Translation_Presto2BQ, Translation_MySQL2BQ, Translation_Postgresql2BQ. |
details |
DEPRECATED! Utiliza uno de los task_details que aparecen a continuación. Los detalles de la tarea. La URL del tipo debe ser uno de los mensajes de detalles de la tarea admitidos y corresponder al tipo de la tarea. |
state |
Solo salida. El estado actual de la tarea. |
processingError |
Solo salida. Una explicación que se puede propagar cuando la tarea está en estado FAILED. |
createTime |
Hora en la que se creó la tarea. |
lastUpdateTime |
Hora a la que se actualizó la tarea por última vez. |
orchestrationResult |
Solo salida. Información adicional sobre la organización. |
resourceErrorDetails[] |
Solo salida. Proporciona detalles sobre los errores y problemas detectados mientras se procesa la tarea. La presencia de detalles de errores no significa que la tarea falló. |
resourceErrorCount |
La cantidad o los recursos con errores. Nota: Esta no es la cantidad total de errores, ya que cada recurso puede tener más de un error. Esto se usa para indicar el truncamiento con un |
metrics[] |
Las métricas de la tarea. |
Campo de unión task_details . Los detalles de la tarea. task_details puede ser solo uno de los siguientes: |
|
assessmentTaskDetails |
Configuración de tareas para la evaluación. |
translationTaskDetails |
Configuración de tareas para la traducción de SQL por lotes. |
translationConfigDetails |
Configuración de tareas para la traducción de SQL por lotes/sin conexión de CW. |
translationDetails |
Detalles de la tarea para la traducción de SQL unificada. |
AssessmentTaskDetails
Configuración de la tarea de evaluación.
Representación JSON |
---|
{ "inputPath": string, "outputDataset": string, "querylogsPath": string, "dataSource": string } |
Campos | |
---|---|
inputPath |
Obligatorio. La ruta de Cloud Storage para los archivos de entrada de evaluación. |
outputDataset |
Obligatorio. El conjunto de datos de BigQuery para la salida. |
querylogsPath |
Opcional. Una ruta de acceso opcional de Cloud Storage para escribir los registros de consultas (que luego se usa como ruta de acceso de entrada en la tarea de traducción) |
dataSource |
Obligatorio. El tipo de fuente de datos o almacén de datos (p. ej., TERADATA/REDSHIFT) del que se extraen los datos de entrada. |
TranslationTaskDetails
La configuración de la tarea de traducción para capturar la configuración necesaria para una tarea de traducción y una subtarea.
Representación JSON |
---|
{ "inputPath": string, "outputPath": string, "filePaths": [ { object ( |
Campos | |
---|---|
inputPath |
La ruta de Cloud Storage para archivos de entrada de traducción. |
outputPath |
La ruta de Cloud Storage para archivos de salida de traducción. |
filePaths[] |
Los archivos de Cloud Storage que se procesarán para la traducción. |
schemaPath |
La ruta de Cloud Storage a los archivos DDL como esquema de tabla para ayudar con la traducción semántica. |
fileEncoding |
El tipo de codificación de archivo. |
identifierSettings |
Es la configuración para los identificadores de SQL. |
specialTokenMap |
El mapa que captura tokens especiales que se reemplazarán durante la traducción. La clave es un token especial en la cadena. El valor es el tipo de datos del token. Se usa para traducir una plantilla de consulta en SQL que contiene un token especial como marcador de posición. El token especial hace que una consulta no sea válida para analizar. Este mapa se aplicará para anotar esos tokens especiales con tipos para permitir que el analizador comprenda cómo analizarlos en una estructura adecuada con información de tipo. |
filter |
El filtro que se aplica a los detalles de la traducción. |
translationExceptionTable |
Especifica el nombre exacto de la tabla de BigQuery (“dataset.table”) que se usará para mostrar errores de traducción sin procesar. Si la tabla no existe, la crearemos. Si ya existe y el esquema es el mismo, lo volveremos a usar. Si la tabla existe y el esquema es diferente, arrojaremos un error. |
Campo de unión language_options . La configuración específica del idioma para la tarea de traducción. language_options puede ser solo uno de los siguientes: |
|
teradataOptions |
La configuración específica del SQL de Teradata para la tarea de traducción. |
bteqOptions |
La configuración específica de BTEQ para la tarea de traducción. |
TeradataOptions
Este tipo no tiene campos.
Configuración relacionada con la tarea de traducción específica de SQL de Teradata.
BteqOptions
Configuración relacionada con la tarea de traducción de BTEQ.
Representación JSON |
---|
{
"projectDataset": {
object ( |
Campos | |
---|---|
projectDataset |
Especifica el proyecto y el conjunto de datos en BigQuery que se usarán para crear tablas externas durante la traducción. |
defaultPathUri |
La ubicación de Cloud Storage que se usará como ruta de acceso predeterminada para los archivos que no se especifiquen en el mapa de reemplazo de archivos. |
fileReplacementMap |
Asigna las rutas locales que se usan en las secuencias de comandos de BTEQ (las claves) a las rutas en Cloud Storage que deberían usarse en su lugar en la traducción (el valor). |
DatasetReference
Referencia a un conjunto de datos de BigQuery.
Representación JSON |
---|
{ "datasetId": string, "projectId": string, "datasetIdAlternative": [ string ], "projectIdAlternative": [ string ] } |
Campos | |
---|---|
datasetId |
Un ID único para este conjunto de datos, sin el nombre del proyecto. El ID debe contener solo letras (a-z, A-Z), números (0-9) o guiones bajos (_). La longitud máxima es de 1,024 caracteres. |
TranslationFileMapping
Asignación entre un archivo de entrada y uno de salida para traducir en una subtarea.
Representación JSON |
---|
{ "inputPath": string, "outputPath": string } |
Campos | |
---|---|
inputPath |
La ruta de Cloud Storage para que un archivo traduzca en una subtarea. |
outputPath |
La ruta de Cloud Storage en la que se vuelve a escribir el archivo de entrada correspondiente. |
FileEncoding
Los tipos de codificación de archivos.
Enums | |
---|---|
FILE_ENCODING_UNSPECIFIED |
No se especificó la configuración de codificación de archivos. |
UTF_8 |
La codificación del archivo es UTF_8. |
ISO_8859_1 |
La codificación del archivo es ISO_8859_1. |
US_ASCII |
La codificación del archivo es US_ASCII. |
UTF_16 |
La codificación del archivo es UTF_16. |
UTF_16LE |
La codificación del archivo es UTF_16LE. |
UTF_16BE |
La codificación del archivo es UTF_16BE. |
IdentifierSettings
Configuración relacionada con los identificadores de SQL.
Representación JSON |
---|
{ "outputIdentifierCase": enum ( |
Campos | |
---|---|
outputIdentifierCase |
La configuración para controlar el caso del identificador de las consultas de salida. |
identifierRewriteMode |
Especifica el modo de reescritura de los identificadores de SQL. |
IdentifierCase
El tipo de caso del identificador.
Enums | |
---|---|
IDENTIFIER_CASE_UNSPECIFIED |
No se especificaron las mayúsculas del identificador. |
ORIGINAL |
Las mayúsculas de los identificadores se conservarán como las originales. |
UPPER |
Los identificadores se mostrarán en mayúsculas. |
LOWER |
Los identificadores se mostrarán en minúsculas. |
IdentifierRewriteMode
El modo de reescritura del identificador de SQL.
Enums | |
---|---|
IDENTIFIER_REWRITE_MODE_UNSPECIFIED |
No se especifica el modo de reescritura del identificador de SQL. |
NONE |
Los identificadores de SQL no se reescribirán. |
REWRITE_ALL |
Se reescribirán todos los identificadores de SQL. |
TokenType
El tipo de datos del token especial.
Enums | |
---|---|
TOKEN_TYPE_UNSPECIFIED |
No se especificó el tipo de token. |
STRING |
Tipo de token como cadena. |
INT64 |
Tipo de token como número entero. |
NUMERIC |
Tipo de token como numérico. |
BOOL |
Tipo de token como booleano. |
FLOAT64 |
Tipo de token como número de punto flotante. |
DATE |
Tipo de token como fecha. |
TIMESTAMP |
Tipo de token como marca de tiempo. |
Filtro
El filtro aplicado a los campos de detalles de la traducción.
Representación JSON |
---|
{ "inputFileExclusionPrefixes": [ string ] } |
Campos | |
---|---|
inputFileExclusionPrefixes[] |
La lista de prefijos usados para excluir el procesamiento de archivos de entrada. |
TranslationConfigDetails
La configuración de traducción para capturar la configuración necesaria para una tarea de traducción y una subtarea.
Representación JSON |
---|
{ "sourceDialect": { object ( |
Campos | |
---|---|
sourceDialect |
Es el dialecto de los archivos de entrada. |
targetDialect |
El dialecto de destino al que el motor traduce la entrada. |
sourceEnv |
Los valores del entorno de origen predeterminados para la traducción. |
sourceTargetLocationMapping[] |
La asignación de las rutas de ubicación de origen a las rutas de ubicación de destino. |
requestSource |
El indicador para mostrar el iniciador de la solicitud de traducción. |
Campo de unión source_location . La ruta de acceso elegida donde se encontrará el origen de los archivos de entrada. source_location puede ser solo uno de los siguientes: |
|
gcsSourcePath |
La ruta de Cloud Storage para un directorio de archivos que se traducirán en una tarea. |
Campo de unión target_location . La ruta de acceso elegida donde se encontrará el destino de los archivos de salida. target_location puede ser solo uno de los siguientes: |
|
gcsTargetPath |
La ruta de Cloud Storage en la que se vuelven a escribir los archivos de entrada correspondientes. |
Dialecto
Las posibles opciones de dialecto para la traducción.
Representación JSON |
---|
{ // Union field |
Campos | |
---|---|
Campo de unión dialect_value . Las posibles opciones de dialecto que representa este mensaje. dialect_value puede ser solo uno de los siguientes: |
|
bigqueryDialect |
El dialecto de BigQuery |
hiveqlDialect |
El dialecto de HiveQL |
redshiftDialect |
El dialecto de Redshift |
teradataDialect |
El dialecto de Teradata |
oracleDialect |
El dialecto de Oracle |
sparksqlDialect |
El dialecto de SparkSQL |
snowflakeDialect |
El dialecto de Snowflake |
netezzaDialect |
El dialecto de Netezza |
azureSynapseDialect |
El dialecto de Azure Synapse |
verticaDialect |
El dialecto de Vertica |
sqlServerDialect |
El dialecto de SQL Server |
postgresqlDialect |
El dialecto de Postgresql |
prestoDialect |
El dialecto de Presto |
mysqlDialect |
El dialecto de MySQL |
BigQueryDialect
Este tipo no tiene campos.
Es la definición del dialecto para BigQuery.
HiveQLDialect
Este tipo no tiene campos.
La definición del dialecto de HiveQL.
RedshiftDialect
Este tipo no tiene campos.
La definición del dialecto para Redshift.
TeradataDialect
Es la definición del dialecto para Teradata.
Representación JSON |
---|
{
"mode": enum ( |
Campos | |
---|---|
mode |
El modo de subdialecto de Teradata que especifica el usuario. |
Modo
Las opciones del subdialecto para Teradata.
Enums | |
---|---|
MODE_UNSPECIFIED |
Modo sin especificar. |
SQL |
Modo SQL de Teradata. |
BTEQ |
Modo BTEQ (que incluye SQL). |
OracleDialect
Este tipo no tiene campos.
La definición del dialecto para Oracle.
SparkSQLDialect
Este tipo no tiene campos.
La definición del dialecto para SparkSQL.
SnowflakeDialect
Este tipo no tiene campos.
La definición del dialecto para Snowflake.
NetezzaDialect
Este tipo no tiene campos.
La definición del dialecto para Netezza.
AzureSynapseDialect
Este tipo no tiene campos.
La definición del dialecto para Azure Synapse.
VerticaDialect
Este tipo no tiene campos.
Es la definición del dialecto para Vertica.
SQLServerDialect
Este tipo no tiene campos.
Es la definición del dialecto para SQL Server.
PostgresqlDialect
Este tipo no tiene campos.
La definición del dialecto para Postgresql.
PrestoDialect
Este tipo no tiene campos.
La definición del dialecto de Presto.
MySQLDialect
Este tipo no tiene campos.
La definición del dialecto para MySQL.
SourceTargetLocationMapping
Representa una asignación de una ruta de ubicación de origen a una ruta de ubicación de destino opcional.
Representación JSON |
---|
{ "sourceLocation": { object ( |
Campos | |
---|---|
sourceLocation |
La ruta de acceso a la ubicación de los datos de origen. |
targetLocation |
La ruta a la ubicación de los datos de destino. |
SourceLocation
Representa una ruta de acceso a la ubicación que contiene los datos de origen.
Representación JSON |
---|
{ // Union field |
Campos | |
---|---|
Campo de unión location . La ubicación de los datos de origen. location puede ser solo uno de los siguientes: |
|
gcsPath |
La ruta de Cloud Storage de un directorio de archivos. |
TargetLocation
// Representa una ruta a la ubicación que contiene los datos de destino.
Representación JSON |
---|
{ // Union field |
Campos | |
---|---|
Campo de unión location . La ubicación de los datos de destino. location puede ser solo uno de los siguientes: |
|
gcsPath |
La ruta de Cloud Storage de un directorio de archivos. |
TranslationDetails
Los detalles de la traducción para capturar la configuración necesaria para un trabajo de traducción.
Representación JSON |
---|
{ "sourceTargetMapping": [ { object ( |
Campos | |
---|---|
sourceTargetMapping[] |
La asignación de SQL de origen al de destino. |
targetBaseUri |
El URI base para todas las operaciones de escritura en el almacenamiento persistente. |
sourceEnvironment |
Los valores del entorno de origen predeterminados para la traducción. |
targetReturnLiterals[] |
La lista de objetivos literales que se mostrarán directamente en la respuesta. Cada entrada consiste en la ruta construida, EXCLUIDA la ruta base. Si no se proporciona un targetBaseUri, no se podrá escribir en el almacenamiento persistente. |
targetTypes[] |
Los tipos de resultados que se generarán, p. ej., sql, sqlx, linaje, análisis, etc. Si no se especifica, se generará un conjunto predeterminado de objetivos. Algunos tipos de objetivos adicionales pueden ser más lentos de generar. Consulta la documentación para ver el conjunto de tipos de objetivos disponibles. |
SourceTargetMapping
Representa una asignación de un SQL de origen a un SQL de destino.
Representación JSON |
---|
{ "sourceSpec": { object ( |
Campos | |
---|---|
sourceSpec |
El SQL de origen o la ruta a él. |
targetSpec |
El SQL de destino o la ruta de acceso para él. |
SourceSpec
Representa una ruta de acceso a la ubicación que contiene los datos de origen.
Representación JSON |
---|
{ "encoding": string, // Union field |
Campos | |
---|---|
encoding |
Opcional. El campo opcional para especificar la codificación de los bytes de sql. |
Campo de unión source . El SQL de origen específico. source puede ser solo uno de los siguientes: |
|
baseUri |
El URI base para todos los archivos que se leerán como fuentes de traducción. |
literal |
Literal de origen. |
Literal
Datos literales.
Representación JSON |
---|
{ "relativePath": string, // Union field |
Campos | |
---|---|
relativePath |
Obligatorio. El identificador de la entrada literal. |
Campo de unión literal_data . El contenido de SQL literal. literal_data puede ser solo uno de los siguientes: |
|
literalString |
Datos de cadenas literales. |
literalBytes |
Datos de bytes literales. |
TargetSpec
Representa una ruta a la ubicación que contiene los datos de destino.
Representación JSON |
---|
{ "relativePath": string } |
Campos | |
---|---|
relativePath |
La ruta de acceso relativa para los datos de destino. Dado el archivo de origen |
SourceEnvironment
Representa los valores del entorno de origen predeterminados para la traducción.
Representación JSON |
---|
{ "defaultDatabase": string, "schemaSearchPath": [ string ], "metadataStoreDataset": string } |
Campos | |
---|---|
defaultDatabase |
El nombre de la base de datos predeterminada para calificar completamente los objetos SQL cuando falta el nombre de su base de datos. |
schemaSearchPath[] |
La ruta de búsqueda del esquema. Cuando a los objetos SQL les falta el nombre de esquema, el motor de traducción buscará en esta lista para encontrar el valor. |
metadataStoreDataset |
Opcional. Espera un ID de conjunto de datos de BigQuery válido que exista, p. ej., project-123.metadata_store_123. Si se especifica, la traducción buscará y leerá la información del esquema requerida de un almacén de metadatos en este conjunto de datos. Si no existe un almacén de metadatos, la traducción analizará el archivo de metadatos y subirá la información del esquema a una tabla temporal en el conjunto de datos para acelerar los trabajos de traducción futuros. |
Estado
Estados posibles de una tarea de migración.
Enums | |
---|---|
STATE_UNSPECIFIED |
El estado no se especifica. |
PENDING |
La tarea está esperando la organización. |
ORCHESTRATING |
La tarea se asigna a un organizador. |
RUNNING |
La tarea está en ejecución, es decir, sus subtareas están listas para ejecutarse. |
PAUSED |
Esta tarea está pausada. Las subtareas asignadas pueden continuar, pero no se programarán subtareas nuevas. |
SUCCEEDED |
La tarea finalizó correctamente. |
FAILED |
La tarea no se completó correctamente. |
MigrationTaskOrchestrationResult
Información adicional del organizador cuando finaliza la organización de la tarea.
Representación JSON |
---|
{ // Union field |
Campos | |
---|---|
Campo de unión details . Detalles específicos del tipo de tarea. details puede ser solo uno de los siguientes: |
|
assessmentDetails |
Detalles específicos de los tipos de tareas de evaluación. |
translationTaskResult |
Detalles específicos de los tipos de tareas de traducción. |
AssessmentOrchestrationResultDetails
Detalles del resultado de la organización de una tarea de evaluación.
Representación JSON |
---|
{ "outputTablesSchemaVersion": string, "reportUri": string } |
Campos | |
---|---|
outputTablesSchemaVersion |
Opcional. La versión que se usa para los esquemas de tabla de salida. |
reportUri |
Opcional. El URI del informe de Data Studio. |
TranslationTaskResult
Detalles del resultado específico de traducción de la tarea de migración.
Representación JSON |
---|
{ "translatedLiterals": [ { object ( |
Campos | |
---|---|
translatedLiterals[] |
La lista de los literales traducidos. |
reportLogMessages[] |
Los registros del informe total de CSV para un flujo de trabajo de migración. |
GcsReportLogMessage
Un registro en el informe de CSV agregado para un flujo de trabajo de migración
Representación JSON |
---|
{ "severity": string, "category": string, "filePath": string, "filename": string, "sourceScriptLine": integer, "sourceScriptColumn": integer, "message": string, "scriptContext": string, "action": string, "effect": string, "objectName": string } |
Campos | |
---|---|
severity |
Gravedad del registro de traducción. |
category |
Categoría del error o la advertencia. Ejemplo: SyntaxError |
filePath |
La ruta de acceso del archivo en la que se produjo el error |
filename |
El nombre del archivo en el que se produjo el error |
sourceScriptLine |
Especifica la fila del texto de origen donde ocurrió el error (basado en 0, -1 para los mensajes sin ubicación de línea). Ejemplo: 2 |
sourceScriptColumn |
Especifica la columna de los textos de origen donde se produjo el error. Ejemplo (basado en 0, -1 para los mensajes sin ubicación de columna): 6 |
message |
Mensaje detallado del registro. |
scriptContext |
El contexto de la secuencia de comandos (ofuscado) en el que se produjo el error |
action |
Categoría del error o la advertencia. Ejemplo: SyntaxError |
effect |
Categoría del error o la advertencia. Ejemplo: SyntaxError |
objectName |
Nombre del objeto afectado en el mensaje de registro. |
Estado
Estados posibles del flujo de trabajo de migración.
Enums | |
---|---|
STATE_UNSPECIFIED |
El estado del flujo de trabajo no está especificado. |
DRAFT |
El flujo de trabajo está en estado de borrador, es decir, las tareas aún no son aptas para ejecutarse. |
RUNNING |
El flujo de trabajo está en ejecución (es decir, las tareas son aptas para ejecutarse). |
PAUSED |
El flujo de trabajo está pausado. Es posible que las tareas actualmente en curso continúen, pero no se programarán más tareas. |
COMPLETED |
El flujo de trabajo está completo. No debería haber ninguna tarea en un estado no terminal, pero si la hay (p. ej., finalización forzada), no se programarán. |
Métodos |
|
---|---|
|
Crea un flujo de trabajo de migración. |
|
Borra un flujo de trabajo de migración por nombre. |
|
Obtiene un flujo de trabajo de migración creado con anterioridad. |
|
Enumera el flujo de trabajo de migración creado antes. |
|
Inicia un flujo de trabajo de migración creado con anterioridad. |