Migra datos desde Teradata

La combinación del Servicio de transferencia de datos BigQuery y un agente de migración especial le permite copiar sus datos desde una instancia de depósito de datos local de Teradata a BigQuery. Este documento describe el proceso paso a paso de migrar datos desde Teradata utilizando el Servicio de transferencia de datos BigQuery.

Antes de comenzar

Para garantizar una migración exitosa del almacén de datos de Teradata, asegúrese de cumplir con los siguientes requisitos previos.

Requisitos de Google Cloud

  1. Elige o crea un proyecto de Google Cloud para almacenar tus datos de migración. Debes tener permisos owner en el proyecto de Google Cloud para configurar la transferencia.

    • En Cloud Console, ve a la página Selector de proyectos.

      Ir a la página Selector de proyectos

    • Selecciona o crea un proyecto de Cloud.

  2. Habilite estas API de Google Cloud.

    Console

    En Google Cloud Console, haz clic en el botón HABILITAR en las dos páginas siguientes.

    BigQuery se habilita automáticamente en proyectos nuevos. Para un proyecto existente, es posible que debas habilitar la API de BigQuery.

    Ejemplo:

    Habilita la API.

    Una marca de verificación verde indica que ya habilitaste la API.

    API habilitada.

    CLI

    De forma opcional, puedes usar la interfaz de línea de comandos (CLI) de gcloud para habilitar las API.

    Puedes emitir comandos gcloud en Cloud Shell o descargar la herramienta de la CLI y, luego, instalarla en la máquina local de la siguiente manera:

    Ingrese los siguientes comandos gcloud.

      `gcloud services enable bigquerydatatransfer.googleapis.com`
      `gcloud services enable storage-component.googleapis.com`
      `gcloud services enable pubsub.googleapis.com`
    

    BigQuery se habilita automáticamente en proyectos nuevos. Para un proyecto existente, habilite también la API BigQuery.

      `gcloud services enable bigquery.googleapis.com`
    
  3. Crear un conjunto de datos de BigQuery para almacenar tus datos. No es necesario crear ninguna tabla.

  4. Crear una cuenta de servicio de Cloud Identity and Access Management Consulte Crear y administrar cuentas de servicio para obtener información sobre cómo crear una cuenta de servicio.

  5. Otorgue a la cuenta de servicio los siguientes roles de Cloud IAM. Consulte Otorgar roles a una cuenta de servicio.

    • BigQuery: La función predefinida de Cloud IAM bigquery.admin.
    • Cloud Storage: la función predefinida de Cloud IAM storage.objectAdmin.
  6. Cree un depósito de almacenamiento en la nube para organizar los datos. Utiliza este nombre de depósito más adelante en el proceso de migración.

  7. Permite las ventanas emergentes en tu navegador desde bigquery.cloud.google.com para que puedas ver la ventana de permisos cuando configures la transferencia. Debes otorgar permiso al Servicio de transferencia de datos de BigQuery para que administre tu transferencia.

Requisitos locales

  1. Requisitos de la máquina local
    • El agente de migración utiliza una conexión JDBC con la instancia de Teradata y las API de Google Cloud. Asegúrese de que el firewall no bloquee el acceso a la red.
    • Asegúrate de tener instalado Java Runtime Environment 8 o una versión posterior.
    • Asegúrate de tener el espacio de almacenamiento mínimo recomendado como se describe en los requisitos de espacio de la etapa de pruebas.
  2. Detalles de la conexión de Teradata
    • Nombre y contraseña de un usuario con acceso de lectura a las tablas del sistema y las tablas que se están migrando.
    • Nombre de host y número de puerto para conectarse a la instancia de Teradata.
  3. Descarga los controladores JDBC necesarios desde Teradata: tdgssconfig.jar y terajdbc4.jar.
  4. Descarga tus credenciales de Google Cloud.

Opciones y modos de transferencia

Debido a que cada migración tiene requisitos únicos, el agente de migración se puede personalizar de las siguientes maneras. Cuando configuras una transferencia de datos de Teradata a BigQuery, existen tres opciones principales:

Método de extracción

El Servicio de transferencia de datos de BigQuery admite dos métodos de extracción diferentes para transferir datos de Teradata a BigQuery:

  1. Extracción mediante un controlador JDBC con conexión FastExport: En este modo, se extrae una tabla de una colección de archivos AVRO a una ubicación especificada en un sistema de archivos local. Los archivos extraídos luego se suben a un depósito de Cloud Storage especificado y, después de una transferencia correcta, se borran del sistema de archivos local.
    • Las limitaciones de la cantidad de espacio en un sistema de archivos local se aplican con rigor y la extracción se detiene hasta que los archivos extraídos se cargan y se borran del sistema de archivos local.
    • Si hay restricciones estrictas en el espacio de almacenamiento local o si el TPT no está disponible, usa este método de extracción.
    • El controlador JDBC con FastExport es el método de extracción predeterminado.
  2. Extracción mediante el servicio tbuild del Transportador paralelo de Teradata (TPT): En este modo, un agente intenta calcular lotes de extracción mediante filas distribuidas por particiones. Para cada lote, se emite y ejecuta una secuencia de datos de extracción TPT, y se produce un conjunto de archivos delimitados por canalizaciones. Después de extraer cada lote, los archivos se suben a un depósito de Cloud Storage especificado y se eliminan del sistema de archivos local. No se aplican las limitaciones en la cantidad de espacio del sistema de archivos de forma forzosa, así que asegúrate de que el sistema de archivos local tenga suficiente espacio para extraer la partición más grande en una tabla de Teradata.
    • Recomendamos extraer con TPT y personalizar tu esquema para indicar columnas de partición. Esto da como resultado la extracción de datos más rápida.

Obtén más información sobre cómo especificar el método de extracción en la sección de configuración del agente de migración de las instrucciones de configuración de transferencia paso a paso.

Archivo de esquema personalizado

Un archivo de esquema es un archivo JSON que describe objetos de base de datos. El esquema incluye un conjunto de bases de datos, cada una de las cuales tiene un conjunto de tablas, y cada una de las tablas contiene un conjunto de columnas. Cada columna tiene un campo type: un tipo que se asigna a una columna en BigQuery.

En un archivo de esquema, cada objeto tiene un campo name: el nombre que se le asignará en BigQuery. Cada objeto también tiene un campo originalName: el nombre del objeto que coincide en la base de datos de Teradata.

El Servicio de transferencia de datos de BigQuery proporciona detección automática de esquemas y conversión de datos durante una transferencia de datos de Teradata a BigQuery. De manera opcional, también puedes especificar un archivo de esquema personalizado. En algunas situaciones, se recomienda la personalización del esquema. Ejemplos:

  • Un archivo de esquema personalizado es especialmente útil para incluir información adicional sobre una tabla (como las particiones) que, si no se especificara ningún archivo de esquema, se perdería en la migración.
  • Puedes proporcionar un archivo de esquema personalizado para transformar los campos, como el campo name de cualquier objeto o el arreglo usageType de cualquier columna, durante la transferencia de datos.
  • Consulta la sección sobre el archivo de esquema personalizado para obtener más detalles.

Transferencias a pedido o incrementales

Cuando se migran datos de una instancia de base de datos de Teradata a BigQuery, el Servicio de transferencia de datos de BigQuery admite una sola transferencia de datos instantánea (transferencia “a pedido”) y, también, transferencias periódicas recurrentes de filas nuevas y actualizadas (“transferencias incrementales”) (Beta). Cuando configures una transferencia, puedes designarla como a pedido o de forma incremental en las opciones de programación.

  • Transferencia de datos a pedido
    • Si tu tabla es muy grande y puedes extraer el contenido con TPT para un rendimiento más alto, te recomendamos que particiones tu tabla de Teradata para permitir la extracción partición por partición. Para obtener más detalles, consulta la sección sobre el archivo de esquema personalizado.
    • Si tus tablas son pequeñas o no puedes usar TPT, sigue las instrucciones básicas. No se requiere la personalización del esquema.
  • Transferencia de datos incremental
    • Si deseas migrar cambios de Teradata a BigQuery de forma periódica, puedes usar el modo incremental. De forma recurrente, se agregan los registros nuevos y las modificados de Teradata a las tablas de BigQuery.
    • Este método requiere que personalices tu esquema para anotar las columnas de COMMIT_TIMESTAMP.
    • Se aplican ciertas condiciones cuando se configuran las transferencias incrementales. Para obtener más información, consulta las transferencias incrementales.

Configurar una migración de Teradata

En esta sección, se describe el proceso paso a paso de configuración de una migración de datos de Teradata a BigQuery. Estos son los pasos:

  • Descargue el agente de migración.
  • Configure una transferencia del Servicio de transferencia de datos BigQuery.
  • Inicialice el agente de migración.
  • Ejecute el agente de migración.

Descarga el agente de migración

Usa este vínculo para descargar el agente de migración en la máquina local en la que se encuentra el almacén de datos.

Después de instalar el agente de migración, configurarás una transferencia del Servicio de transferencia de datos de BigQuery, inicializarás el agente de migración y ejecutarás el agente para iniciar la migración de datos.

Configura una transferencia

Cree una transferencia con el servicio de transferencia de datos BigQuery.

Console

  1. En Google Cloud Console, ve a la IU web de BigQuery.

    Ir a Cloud Console

  2. Haz clic en Transferencias.

  3. Haz clic en Crear transferencia.

  4. En Tipo de fuente, haz lo siguiente:

    • Selecciona Migración: Teradata.
    • Para Transferir nombre de configuración, ingrese un nombre para mostrar para la transferencia, como My Migration. El nombre para mostrar puede ser cualquier valor que le permita identificar fácilmente la transferencia si necesita modificarla más adelante.
    • (Opcional) Para Opciones de programación, puede dejar el valor predeterminado de Diario (según el tiempo de creación) o elegir otro momento.
    • Para Configuración de destino, elija el conjunto de datos apropiado.

      Vista general de una migración nueva de Teradata.

  5. En Detalles de la fuente de datos, continúa configurando los detalles específicos para tu transferencia de Teradata.

    • Para Tipo de base de datos, elija Teradata.
    • Para depósito de Cloud Storage, busque el nombre del depósito de Cloud Storage para organizar los datos de migración. No escriba el prefijo gs://; ingrese solo el nombre del depósito.
    • En Nombre de la base de datos, ingresa el nombre de la base de datos de origen en Teradata.
    • Para Patrones de nombre de tabla ingrese un patrón para hacer coincidir los nombres de tabla en la base de datos de origen. Puedes usar expresiones regulares para especificar el patrón. El patrón debe seguir la sintaxis de la expresión regular de Java.
    • En Correo electrónico de la cuenta de servicio, ingresa el correo electrónico adjunto a la cuenta de servicio de Cloud Identity and Access Management que creaste.
    • En Ruta del archivo de esquema, ingresa la ruta y el nombre de un archivo de esquema JSON (opcional). Si no se ingresa ningún archivo de esquema, BigQuery detectará automáticamente el esquema de la tabla mediante los datos de origen que se transfieren. Puedes crear tu propio archivo de esquema, como se muestra en el siguiente ejemplo de captura de pantalla, o puedes usar el agente de migración para ayudarte a crear un archivo de esquema. Para obtener información sobre cómo crear un archivo de esquema, consulta la sección de inicialización del agente de migración.

      Migración nueva de Teradata

    • (Opcional) En la sección Opciones de notificación:

      • Haz clic en el botón de activación para habilitar las notificaciones por correo electrónico. Cuando habilitas esta opción, el administrador de transferencias recibe una notificación por correo electrónico cuando falla una ejecución de transferencia.
      • En Seleccionar un tema de Cloud Pub/Sub (Select a Cloud Pub/Sub topic), elige el nombre de tu tema o haz clic en Crear un tema (Create a topic). Con esta opción, se configuran las notificaciones de ejecución de Pub/Sub para tu transferencia.

        Tema de Pub/Sub

  6. Haga clic en Save.

  7. Cloud Console muestra todos los detalles de configuración de la transferencia, incluido un Nombre de recurso para esta transferencia. Anote el nombre del recurso, ya que deberá ingresarlo más adelante cuando ejecute el agente de migración.

    Confirmación de la transferencia

IU clásica

  1. Ve a la IU web de BigQuery.

    Ir a IU web de BigQuery

  2. Haz clic en Transferencias.

  3. Haz clic en Agregar transferencia.

  4. En la página Transferencia nueva (New Transfer):

    • En Fuente, selecciona Migración: Teradata.
    • En Nombre visible, ingresa un nombre para la transferencia, como My Migration. El nombre visible puede ser cualquier valor que te permita identificar con facilidad la transferencia si necesitas modificarla más tarde.
    • En Programa (Schedule), puedes dejar el valor predeterminado de Diario (cada 24 horas, según el tiempo de creación) o puedes hacer clic en Editar (Edit) para cambiar la hora (opcional).

      Programa de consultas

    • En Conjunto de datos de destino, selecciona el conjunto de datos que corresponda.

    • Para Tipo de base de datos, elija Teradata.

    • Para Bucket de Cloud Storage, ingrese el nombre del bucket de Cloud Storage para organizar los datos de migración. No incluya el prefijo gs://: ingrese solo el nombre del depósito.

    • En Nombre de la base de datos, ingresa el nombre de la base de datos de origen en Teradata.

    • En Patrones de nombres de tablas, ingresa un patrón para hacer coincidir los nombres de tablas en la base de datos de origen. Puedes usar expresiones regulares para especificar el patrón. El patrón debe seguir la sintaxis de la expresión regular de Java.

    • En Correo electrónico de la cuenta de servicio, ingresa el correo electrónico adjunto a la cuenta de servicio de Cloud Identity and Access Management que creaste.

    • En Ruta del archivo de esquema, ingresa la ruta y el nombre de un archivo de esquema JSON (opcional). Si no se ingresa ningún archivo de esquema, BigQuery detectará automáticamente el esquema de la tabla mediante los datos de origen que se transfieren. Puedes crear tu propio archivo de esquema, como se muestra en la siguiente captura de pantalla de ejemplo, o puedes usar el agente de migración para ayudarte a crear un archivo de esquema. Para obtener información sobre cómo crear un archivo de esquema, consulta la sección de inicialización del agente de migración.

      Migración nueva de Teradata

    • De forma opcional, expande la sección Avanzado (Advanced) y configura las notificaciones de ejecución para tu transferencia.

    • En Tema de Cloud Pub/Sub (Cloud Pub/Sub topic), ingresa el nombre de tu tema de Cloud Pub/Sub, por ejemplo, projects/myproject/topics/mytopic.

    • Marca Enviar notificaciones por correo electrónico (Send email notifications) para activar las notificaciones por correo de las ejecuciones de transferencia con errores.

      Tema de Cloud Pub/Sub

  5. Haga clic en Add.

  6. Cuando se te solicite, haz clic en Permitir (Allow) para otorgarle permiso al Servicio de transferencia de datos de BigQuery a fin de que administre tu transferencia. Para ver la ventana de permisos, debes permitir las ventanas emergentes del navegador de bigquery.cloud.google.com.

    Permitir la transferencia

  7. La IU web mostrará todos los detalles de la configuración de la transferencia, incluido un Nombre del recurso (Resource Name) para esta transferencia. Anote el nombre del recurso. Debe ingresarlo más tarde cuando ejecute el agente de migración.

    Confirmación de la transferencia

CLI

Ingresa el comando bq mk y suministra la marca de creación de transferencias --transfer_config. También se requieren las siguientes marcas:

  • --data_source
  • --display_name
  • --target_dataset
  • --params
bq mk \
--transfer_config \
--project_id=project ID \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data source

Aquí:

  • ID del proyecto es el ID del proyecto. Si no proporcionas --project_id para especificar un proyecto en particular, se usa el proyecto predeterminado.
  • dataset es el conjunto de datos al que deseas seleccionar (--target_dataset) para la configuración de transferencia.
  • name es el nombre visible (--display_name) de la configuración de transferencia. El nombre visible de la transferencia puede ser cualquier valor que te permita identificar fácilmente la transferencia si necesitas modificarla más adelante.
  • parameters contiene los parámetros (--params) para la configuración de transferencia creada en formato JSON. Por ejemplo: --params='{"param":"param_value"}'.
    • Para las migraciones de Teradata, estos parámetros son obligatorios: bucket, database_type, agent_service_account, database_name, table_name_patterns.
      • bucket es el depósito de Cloud Storage que actuará como área de preparación durante la migración.
      • database_type es Teradata.
      • agent_service_account es la dirección de correo electrónico asociada con la cuenta de servicio que creó.
      • database_name es el nombre de la base de datos de origen en Teradata.
      • table_name_patterns son los patrones para hacer coincidir los nombres de las tablas en la base de datos de origen. Puedes usar expresiones regulares para especificar el patrón. El patrón debe seguir la sintaxis de la expresión regular de Java.
  • data_source es la fuente de datos (--data_source): on_premises.

Por ejemplo, el siguiente comando crea una transferencia de Teradata llamada My Transfer usando el depósito de Cloud Storage mybucket y el conjunto de datos de destino mydataset. La transferencia migrará todas las tablas del almacén de datos de Teradata mydatabase y el archivo de esquema opcional es myschemafile.json.

bq mk \
--transfer_config \
--project_id=123456789876 \
--target_dataset=MyDataset \
--display_name='My Migration' \
--params='{"bucket": "mybucket", "database_type": "Teradata",
"database_name":"mydatabase", "table_name_patterns": ".*",
"agent_service_account":"myemail@mydomain.com", "schema_file_path":
"gs://mybucket/myschemafile.json"}' \
--data_source=on_premises

Después de ejecutar el comando, recibirás un mensaje como el siguiente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Sigue las instrucciones y pega el código de autenticación en la línea de comandos.

API

Usa el método projects.locations.transferConfigs.create y suministra una instancia del recurso TransferConfig.

Agente de migración

De manera opcional, puedes crear la transferencia directamente desde el agente de migración en la sección de inicialización del agente de migración.

Para crear la transferencia desde el agente de migración, primero deberá otorgar la función Cloud IAM serviceAccessTokenCreator a la cuenta de servicio que creó.

Puedes otorgar la función de Cloud IAM de una de las siguientes dos formas:

  • En Google Cloud Console, otorgue la siguiente función de Cloud IAM: Creador de tokens de cuenta de servicio. Consulte Otorgar roles a una cuenta de servicio.

  • Puedes ejecutar el siguiente comando de gcloud en Cloud Shell o en la herramienta de la CLI:

gcloud projects add-iam-policy-binding user_project_id \
--member='serviceAccount:service-user_project_number@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com' \
--role='roles/iam.serviceAccountTokenCreator'

Una vez que hayas otorgado el permiso serviceAccessTokenCreator a la cuenta de servicio, puedes continuar con la descarga del agente de migración y, luego, la configuración de la transferencia como parte del paso de inicialización.

Inicializa el agente de migración

Cuando inicias una migración de datos por primera vez, inicializa el agente de migración. La inicialización es necesaria solo una vez por cada vez que configures una transferencia de migración, ya sea recurrente o no.

En esta sesión, no se iniciará la migración. Es solo para la configuración inicial.

  1. Abre una nueva sesión. En la línea de comando, emite un comando para ejecutar el archivo jar, con algunos indicadores particulares, de esta forma:

    java -cp \
    OS-specific-separated-paths-to-jars (JDBC and agent) \
    com.google.cloud.bigquery.dms.Agent \
    --initialize
    

    Unix, Linux, Mac OS

    java -cp \
    /usr/local/migration/Teradata/JDBC/tdgssconfig.jar:/usr/local/migration/Teradata/JDBC/terajdbc4.jar:/usr/local/migration/mirroring-agent.jar \
    com.google.cloud.bigquery.dms.Agent \
    --initialize
    

    Windows

    Copia todos los archivos en la carpeta C:\migration (o ajusta las rutas en el comando) y, luego, ejecuta lo siguiente:

    java -cp C:\migration\tdgssconfig.jar;C:\migration\terajdbc4.jar;C:\migration\mirroring-agent.jar com.google.cloud.bigquery.dms.Agent --initialize
    
  2. Cuando se te solicite, ingrese los siguientes parámetros:

    • Indica si deseas guardar la plantilla del Transportador paralelo de Teradata (TPT) en el disco. Si planeas usar el método de extracción de TPT, puedes modificar la plantilla guardada con parámetros que se adapten a tu instancia de Teradata.
    • El URI de la base de datos de origen. Incluya el número de puerto, si es necesario.
    • La ruta de acceso a un espacio temporal local para la migración. Asegúrate de tener el espacio de almacenamiento mínimo recomendado como se describe en los requisitos de espacio de la etapa de pruebas.
    • Indica si usarás el Transportador paralelo de Teradata (TPT) como método de extracción.
    • La ruta a un archivo de credenciales de la base de datos (opcional).
  3. Cuando se te solicite un Nombre de recurso del Servicio de transferencia de datos de BigQuery, haz lo siguiente:

    Puedes ingresar el Nombre de recurso de la transferencia que configuraste en la IU web de BigQuery o puedes crear la transferencia en el momento a través del agente de migración. De manera opcional, puedes usar el comando de inicialización del agente de migración para crear un archivo de esquema. Consulta la pestaña Agente de migración a continuación para conocer esta opción.

    Console

    Ingresa el Nombre de recurso de la transferencia que configuraste antes en la pestaña de Console de la sección sobre la configuración de una transferencia.

    IU clásica

    Ingresa el Nombre de recurso de la transferencia que configuraste antes en la pestaña de la IU clásica de la sección sobre la configuración de una transferencia.

    Agente de migración

    • Ingresa el ID del proyecto de Google Cloud.
    • Ingrese el nombre de la base de datos de origen en Teradata.
    • Ingrese un patrón para hacer coincidir los nombres de tablas en la base de datos de origen. Puedes usar expresiones regulares para especificar el patrón. El patrón debe seguir la sintaxis de la expresión regular de Java.
    • Opcional: ingrese la ruta a un archivo de esquema JSON local (recomendado para transferencias recurrentes). Este archivo de esquema se cargará en su depósito de Cloud Storage).
      • Elija crear un nuevo archivo de esquema. En este caso, se le pedirá un nombre de usuario y contraseña de Teradata, y el agente producirá un archivo JSON con esquema convertido. El archivo se creará en una carpeta local, siguiendo este patrón: <localpath>/schema/DO_NOT_REMOVE_td2bq_table_schemas_<string>.json. Después de cargarlo en su depósito de Cloud Storage, la ruta y el nombre del archivo seguirán este patrón: gs://mybucket/myproject_id/schema/DO_NOT_REMOVE_td2bq_table_schemas_<string>.json.
      • Modifica el archivo de esquema con el fin de marcar las particiones, los clústeres, las claves primarias y las columnas de seguimiento de cambios, y también a fin de verificar que deseas usar este esquema para la configuración de transferencia. Consulta la sección del archivo de esquema opcional para obtener sugerencias.
    • Ingrese el nombre del conjunto de datos de destino en BigQuery.
    • Ingresa el nombre del depósito de Cloud Storage en el que se almacenarán en etapa intermedia los datos de migración antes de cargarlos en BigQuery.
    • Ingresa un nombre para la configuración de la transferencia.
  4. Después de ingresar todos los parámetros solicitados, el agente de migración creará un archivo de configuración y lo colocará en la ruta local proporcionada en los parámetros. Consulta la siguiente sección para obtener más detalle del archivo de configuración.

Archivo de configuración del agente de migración

El archivo de configuración creado en el paso de inicialización se verá como el siguiente ejemplo:


   {
    "agent-id": "0eebc1ad-621d-4386-87f1-8eca96991f63",
    "transfer-configuration": {
      "project-id": "123456789876",
      "location": "us",
      "id": "5d533a90-0000-2e89-89a0-94eb2c059a76"
    },
    "source-type": "teradata",
    "console-log": false,
    "silent": false,
    "teradata-config": {
      "connection": {
       "host": "localhost"
      },
      "local-processing-space": "extracted",
      "database-credentials-file-path": "",
      "max-local-storage": "200GB",
      "use-tpt": false,
      "max-sessions": 0,
      "max-parallel-upload": 1,
      "max-unload-file-size": "2GB"
     }
   }
   

Todas las opciones para el archivo de configuración del agente de migración

  • transfer-configuration: Información sobre esta configuración de transferencia en el Servicio de transferencia de datos de BigQuery.
  • teradata-config: Información específica para esta extracción de Teradata. En ella, se incluye lo siguiente:

    • connection: Información sobre el nombre de host y el puerto.
    • local-processing-space: La carpeta de extracción en la que el agente extraerá los datos de la tabla antes de subirla a Cloud Storage.
    • database-credentials-file-path: (Opcional) La ruta a un archivo que contiene credenciales para conectarse automáticamente a la base de datos de Teradata. El archivo debe contener dos líneas, por ejemplo:
      username=abc
      password=123
      
      Cuando usas un archivo de credenciales, asegúrate de controlar el acceso a la carpeta en la que lo guardaste en el sistema de archivos local, ya que no se encriptará. Si no se proporciona ninguna ruta de acceso, se te solicitará un nombre de usuario y una contraseña cuando inicies un agente.
    • max-local-storage: la cantidad máxima de almacenamiento local que se utilizará para la extracción en el directorio de preparación especificado. El valor predeterminado es 200GB. El formato admitido es: numberKB|MB|GB|TB.

      En todos los modos de extracción, los archivos se borran de tu directorio de etapa de pruebas local después de que se suben a Cloud Storage.

      La cantidad real de espacio de preparación requerida depende del método de extracción:

      • En el método de extracción predeterminado (controlador JDBC con FastExport), se escriben pequeños fragmentos de datos y se cargan continuamente en el depósito de Cloud Storage especificado. La extracción se detiene cuando se alcanza el límite de max_local_storage especificado.
      • En la extracción con el Transportador paralelo de Teradata (TPT) sin una columna de partición, se extrae toda la tabla, sin importar la configuración max_local_storage.
      • En la extracción con el Transportador paralelo de Teradata (TPT) con una columna de partición, el agente extrae conjuntos de particiones. Los requisitos de almacenamiento de etapa de pruebas incluyen hasta el max_local_storage más grande o el tamaño de la partición más grande de la tabla en el formato CSV extraído.
    • use-tpt: Dirige el agente de migración para que use el Transportador paralelo de Teradata (TPT) como método de extracción.

      Para cada tabla, el agente de migración genera una secuencia de comandos de TPT, inicia un proceso tbuild y espera a que se complete. Una vez que el proceso tbuild se completa, el agente enumera y sube los archivos extraídos a Cloud Storage y, luego, borra la secuencia de comandos de TPT.

      Para usar el método de extracción de TPT, haz lo siguiente:

      • La utilidad tbuild debe estar instalada y disponible para que el agente de migración la use y, también, inicie el proceso tbuild.
      • La carpeta de extracción local debe tener suficiente espacio para la extracción de la partición de la tabla más grande en formato CSV. Debido al formato, el tamaño de un archivo CSV será más grande que el de la tabla original en Teradata.
    • max-sessions: Especifica la cantidad máxima de sesiones que usa el trabajo de exportación (ya sea de FastExport o TPT). Si se establece en 0, la base de datos de Teradata determinará la cantidad máxima de sesiones para cada trabajo de exportación.

    • max-parallel-uploads: Determina la cantidad de archivos subidos en paralelo a Cloud Storage. En función del ancho de banda de tu red y de otras opciones de configuración (como el análisis de DLP), el aumento de este parámetro podría mejorar el rendimiento.

    • max-unload-file-size: determina el tamaño máximo de archivo extraído. Este parámetro no se aplica para las extracciones de TPT.

Ejecutar el agente de migración

Después de inicializar el agente de migración y crear el archivo de configuración, siga los siguientes pasos para ejecutar el agente e iniciar la migración:

  1. Comience a ejecutar el agente utilizando el classpath a los controladores JDBC y la ruta al archivo de configuración creado en el paso de inicialización anterior.

  2. java -cp 
    OS-specific-separated-paths-to-jars (JDBC and agent)
    com.google.cloud.bigquery.dms.Agent
    --configuration-file=path to configuration file

    Unix, Linux, Mac OS

    java -cp \
    /usr/local/migration/Teradata/JDBC/tdgssconfig.jar:/usr/local/migration/Teradata/JDBC/terajdbc4.jar:mirroring-agent.jar \
    com.google.cloud.bigquery.dms.Agent \
    --configuration-file=config.json
    

    Windows

    Copy all the files into the C:\migration folder (or adjust the paths in the command), then run:

    java -cp C:\migration\tdgssconfig.jar;C:\migration\terajdbc4.jar;C:\migration\mirroring-agent.jar com.google.cloud.bigquery.dms.Agent --configuration-file=config.json
    

    If you are ready to proceed with the migration, press Enter and the agent will proceed if the classpath provided during initialization is valid.

  3. Cuando se le solicite, ingrese el nombre de usuario y la contraseña para la conexión de la base de datos. Si el nombre de usuario y la contraseña son válidos, comienza la migración de datos.

    Opcional En el comando para iniciar la migración, también puede usar un indicador que pasa un archivo de credenciales al agente, en lugar de ingresar el nombre de usuario y la contraseña cada vez. Consulte el parámetro opcional database-credentials-file-path en el archivo de configuración del agente para obtener más información. Cuando utilice un archivo de credenciales, tome las medidas adecuadas para controlar el acceso a la carpeta donde lo almacena en el sistema de archivos local, ya que no se cifrará.

  4. Deje esta sesión abierta hasta que se complete la migración. Si creó una transferencia de migración recurrente, mantenga esta sesión abierta indefinidamente. Si se interrumpe esta sesión, las transferencias de transferencia actuales y futuras fallarán.

  5. Monitoree periódicamente si el agente se está ejecutando. Si una ejecución de transferencia está en progreso y ningún agente responde dentro de las 24 horas, la ejecución de la transferencia fallará.

  6. Si el agente de migración muere mientras la transferencia está en curso o programada, la IU web del Servicio de transferencia de datos BigQuery muestra el estado del error y le solicita que reinicie el agente. Para iniciar nuevamente el agente de migración, reanude desde el principio de esta sección, ejecutando el agente de migración, con el comando para ejecutando el agente de migración. No necesita repetir el comando de inicialización. La transferencia se reanudará desde el punto donde no se completaron las tablas.

Realiza un seguimiento del progreso de la migración

Puede ver el estado de la migración en la interfaz de usuario web de BigQuery Data Transfer Service. También puede configurar Pub/Sub o notificaciones por correo electrónico. Consulte notificaciones del Servicio de transferencia de datos BigQuery.

El Servicio de transferencia de datos de BigQuery programa y, luego, inicia una ejecución de transferencia en función de un programa especificado durante la creación de la configuración de transferencia. Es importante que el agente de migración esté en ejecución cuando esté activa la ejecución de una transferencia. Si no hay actualizaciones del agente en un plazo de 24 horas, fallará la ejecución de una transferencia.

A continuación, se muestra un ejemplo del estado de migración en la IU web del Servicio de transferencia de datos de BigQuery:

Estado de migración

Actualiza el agente de migración

Si hay disponible una nueva versión del agente de migración, deberá actualizar manualmente el agente de migración. Para recibir avisos sobre el Servicio de transferencia de datos BigQuery, suscríbase a las notas de la versión.

Qué sigue