Esta página foi traduzida pela API Cloud Translation.
Switch to English

Como migrar dados do Teradata

A combinação do serviço de transferência de dados do BigQuery com um agente de migração especial permite que você copie seus dados de uma instância de armazenamento de dados local do Teradata para o BigQuery. Este documento descreve o processo passo a passo de migração de dados do Teradata usando o serviço de transferência de dados do BigQuery.

Antes de começar

Para garantir uma migração bem-sucedida do armazenamento de dados do Teradata, verifique se você atende aos pré-requisitos a seguir.

Requisitos do Google Cloud

  1. Escolha ou crie um projeto do Google Cloud para armazenar os dados de migração. Você precisa ter permissões owner no projeto do Google Cloud para configurar a transferência.

    • No Console do Google Cloud, acesse a página do seletor de projetos.

      Acessar o seletor de projetos

    • Selecione ou crie um projeto do Google Cloud.

  2. Ative estas APIs do Google Cloud.

    Console

    No Console do Cloud, clique no botão ATIVAR nas duas páginas a seguir.

    O BigQuery é ativado automaticamente em novos projetos. Para um projeto existente, talvez seja necessário ativar a API BigQuery.

    Exemplo:

    Ative a API.

    Uma marca de seleção verde indica que você já ativou a API.

    API ativada

    gcloud

    É possível usar a ferramenta de linha de comando gcloud para ativar as APIs.

    É possível emitir comandos gcloud no Cloud Shell ou fazer o download da ferramenta gcloud e instalá-la na máquina local da seguinte maneira:

    • É necessário instalar o Java 8 para executar a ferramenta gcloud. Use este link para fazer o download.
    • O SDK do Cloud precisa ser instalado e inicializado.

    Digite os seguintes comandos gcloud:

    gcloud services enable bigquerydatatransfer.googleapis.com
    gcloud services enable storage-component.googleapis.com
    gcloud services enable pubsub.googleapis.com
    

    O BigQuery é ativado automaticamente em novos projetos. Para um projeto existente, ative também a API BigQuery.

    gcloud services enable bigquery.googleapis.com
    
  3. Crie um conjunto de dados do BigQuery para armazenar os dados. Não é necessário criar tabelas.

  4. Crie uma conta de serviço de gerenciamento de identidade e acesso (IAM, na sigla em inglês). Consulte Como criar e gerenciar contas de serviço para informações sobre como criar uma conta de serviço.

  5. Conceda à conta de serviço os papéis do IAM a seguir. Consulte Como conceder papéis a uma conta de serviço.

    • BigQuery: o papel predefinido do IAM bigquery.admin.
    • Cloud Storage: o papel predefinido do IAM storage.objectAdmin.
  6. Crie um bucket do Cloud Storage para preparar os dados. Você usa esse nome de bucket posteriormente no processo de migração.

Requisitos locais

  1. Requisitos de máquina local
    • O agente de migração usa uma conexão JDBC com a instância do Teradata e as APIs do Google Cloud. Verifique se o acesso à rede não está bloqueado por um firewall.
    • Certifique-se de que o Java Runtime Environment 8 ou superior esteja instalado.
    • Verifique se você tem o espaço de armazenamento mínimo recomendado, conforme descrito nos requisitos de espaço de preparação.
  2. Detalhes da conexão do Teradata
    • Nome de usuário e senha de um usuário com acesso de leitura às tabelas do sistema e às tabelas que estão sendo migradas.
    • Nome do host e número da porta para se conectar à instância do Teradata.
  3. Faça o download dos drivers JDBC necessários do Teradata: tdgssconfig.jar e terajdbc4.jar.
  4. Faça o download das suas credenciais do Google Cloud.

Opções e modos de transferência

Como todas as migrações têm requisitos únicos, é possível personalizar o agente delas das seguintes maneiras. Há três opções principais para configurar uma transferência de dados do Teradata para o BigQuery:

Método de extração

O serviço do BigQuery é compatível com dois métodos de extração diferentes para transferir para ele os dados do Teradata:

  1. Extração usando o driver JDBC com a conexão FastExport. Nesse modo, uma tabela é extraída para um conjunto de arquivos AVRO em um local especificado de um sistema de arquivos local. Depois, os arquivos extraídos são enviados para um bucket especificado do Cloud Storage. Após a transferência bem-sucedida, os arquivos são excluídos do sistema local.
    • São aplicadas limitações à quantidade de espaço em um sistema de arquivos local. Além disso, a extração é interrompida até que os arquivos extraídos sejam enviados ao sistema local e removidos dele.
    • Use esse método de extração se houver fortes restrições no espaço de armazenamento local ou se o TPT não estiver disponível.
    • O driver JDBC com FastExport é o método de extração padrão.
  2. Extração usando o utilitário tbuild do Teradata Parallel Transporter (TPT). Nesse modo, um agente calcula os lotes de extração usando linhas distribuídas por partições. Um script de extração do TPT é emitido e executado para cada lote, produzindo um conjunto de arquivos delimitados por barras. Depois de cada extração em lote, os arquivos são enviados a um bucket especificado do Cloud Storage e excluídos do sistema local. Não há limitações na quantidade de espaço do sistema de arquivos local. Portanto, verifique se o sistema de arquivos local tem espaço suficiente para extrair a maior partição em uma tabela do Teradata.
    • Recomendamos a extração com o TPT e a personalização do esquema para indicar colunas de partição. Assim, você garante a extração de dados mais rápida.

Leia mais sobre como especificar o método de extração na seção Configuração do agente de migração, que está incluída nas instruções detalhadas de configuração da transferência.

Arquivo de esquema personalizado

O arquivo de esquema é JSON e descreve os objetos do banco de dados. O esquema inclui um conjunto de bancos de dados. Cada um deles tem um conjunto de tabelas com um grupo de colunas. Cada coluna tem um campo type. Ele representa um tipo atribuído a uma coluna no BigQuery.

Em um arquivo de esquema, cada objeto tem um campo name. Ele representa um nome que será atribuído ao objeto no BigQuery. Cada objeto também tem um campo originalName. Ele representa o nome do objeto correspondente no banco de dados do Teradata.

O serviço de transferência do BigQuery fornece conversão de dados e detecção de esquema automáticas durante uma transferência de dados do Teradata para o BigQuery. Também é possível especificar um arquivo de esquema personalizado. A personalização do esquema é muito recomendada em algumas situações. Exemplos:

  • Um arquivo de esquema personalizado é especialmente útil para incluir informações adicionais sobre uma tabela, como particionamento, que seriam perdidas na migração se nenhum arquivo de esquema fosse especificado.
  • Durante a transferência de dados, é possível fornecer um arquivo de esquema personalizado para transformar campos, como o name de objetos ou a matriz usageType de colunas.
  • Veja mais detalhes em Detalhes e opções de migração do Teradata.

Transferências sob demanda ou graduais

O serviço do BigQuery é compatível com duas transferências durante a migração dos dados de um banco de dados do Teradata para o BigQuery. A primeira é a transferência de dados "sob demanda", que é por snapshot e realizada uma vez. Já a segunda é chamada de "gradual" (Beta), que é a transferência periódica e recorrente de linhas novas e atualizadas. Você determina se a transferência é sob demanda ou gradual nas opções de programação ao configurar uma transferência.

  • Transferência de dados sob demanda
    • Se a tabela é muito grande, e é possível fazer a extração com o TPT para garantir o melhor desempenho, recomendamos o particionamento da tabela do Teradata para ativar a extração por partições. Para mais detalhes, consulte Detalhes e opções de migração do Teradata.
    • Se as tabelas são pequenas, ou não é possível usar o TPT, siga as instruções básicas. A personalização do esquema não é obrigatória.
  • Transferência de dados gradual
    • Se você quer migrar regularmente as alterações do Teradata para o BigQuery, use o modo gradual. Com frequência, os registros novos e alterados do Teradata são anexados às tabelas do BigQuery.
    • Esse método requer a personalização do esquema para anotar colunas COMMIT_TIMESTAMP.
    • Há algumas condições quando você configura as transferências graduais. Para mais informações, consulte Transferências graduais.

Como configurar uma migração do Teradata

Esta seção descreve o processo passo a passo de configuração de uma migração de dados do Teradata para o BigQuery. Essas etapas são:

  • Faça o download do agente de migração.
  • Configure uma transferência do serviço de transferência de dados do BigQuery.
  • Inicialize o agente de migração.
  • Execute o agente de migração.

Como fazer o download do agente de migração

Use esse link para fazer o download do agente de migração para a máquina local em que o armazenamento de dados está localizado.

Depois de instalar o agente de migração, configure uma transferência do serviço de transferência de dados do BigQuery, inicialize o agente de migração e execute-o para iniciar a migração de dados.

Como configurar uma transferência

Crie uma transferência com o serviço de transferência de dados do BigQuery.

Console

  1. No Console do Cloud, acesse a página do BigQuery.

    Acessar a página do BigQuery

  2. Clique em Transferências.

  3. Clique em Criar transferência.

  4. Em Tipo de origem:

    • Escolha Migração: Teradata.
    • Em Nome da configuração de transferência, digite um nome de exibição para a transferência, como My Migration. Ele pode ter qualquer valor facilmente identificável, caso precise modificar a transferência no futuro.
    • (Opcional) Em Opções de programação, você pode deixar o valor padrão Diariamente (com base no tempo de criação) ou escolher outro horário.
    • Para Configurações de destino, escolha o conjunto de dados apropriado.

      Novas informações gerais sobre a migração do Teradata.

  5. Em Detalhes da fonte de dados, continue com os detalhes específicos da transferência do Teradata.

    • Em Tipo de banco de dados, escolha Teradata.
    • Em bucket do Cloud Storage, procure o nome do bucket do Cloud Storage para preparar os dados de migração. Não digite o prefixo gs://: insira apenas o nome do bucket.
    • Em Nome do banco de dados, digite o nome do banco de dados de origem no Teradata.
    • Em Padrões de nome da tabela, insira um padrão para corresponder aos nomes das tabelas no banco de dados de origem. Você pode usar expressões regulares para especificar o padrão. Esse padrão precisa seguir a sintaxe da expressão regular do Java.
    • Em E-mail da conta de serviço, insira o e-mail anexado à conta de serviço do IAM criada.
    • (Opcional) Em Caminho do arquivo de esquema, insira o caminho e o nome de um arquivo de esquema JSON. Se nenhum arquivo de esquema for inserido, o BigQuery detectará automaticamente o esquema da tabela usando os dados de origem que estão sendo transferidos. Você pode criar seu próprio arquivo de esquema, como mostrado no exemplo de captura de tela abaixo, ou usar o agente de migração para criar um arquivo de esquema. Para informações sobre como criar um arquivo de esquema, consulte a seção Como inicializar o agente de migração.

      Nova migração do Teradata

    • Opcional: na seção Opções de notificação:

      • Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail se uma execução de transferência falhar.
      • Em Selecionar um tópico do Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Pub/Sub da sua transferência.

        Tópico do Pub/Sub

  6. Clique em Save.

  7. O Console do Cloud exibe todos os detalhes de configuração da transferência, incluindo um Nome de recurso para ela. Anote o nome do recurso, pois você precisará inseri-lo mais tarde ao executar o agente de migração.

    Confirmação da transferência

bq

Insira o comando bq mk e forneça a sinalização de execução da transferência --transfer_config. As sinalizações abaixo também são obrigatórias:

  • --data_source
  • --display_name
  • --target_dataset
  • --params
bq mk \
--transfer_config \
--project_id=project ID \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data source

Em que:

  • project ID é o ID do projeto. Se --project_id não for fornecido para especificar um projeto específico, o projeto padrão será usado.
  • dataset é o conjunto de dados que você quer segmentar (--target_dataset) para a configuração de transferência.
  • name é o nome de exibição (--display_name) da configuração de transferência. O nome de exibição da transferência pode ser qualquer valor que permita identificá-la facilmente se você precisar modificá-la posteriormente.
  • parameters contém os parâmetros (--params) da configuração da transferência criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'.
    • Para migrações do Teradata, estes parâmetros são obrigatórios: bucket, database_type, agent_service_account, database_name, table_name_patterns;
      • bucket é o bucket do Cloud Storage que atuará como uma área de preparo durante a migração;
      • database_type é o Teradata;
      • agent_service_account é o endereço de e-mail associado à conta de serviço que você criou;
      • database_name é o nome do banco de dados de origem no Teradata;
      • table_name_patterns é um padrão para correspondência dos nomes das tabelas no banco de dados de origem. Você pode usar expressões regulares para especificar o padrão. Esse padrão precisa seguir a sintaxe da expressão regular do Java.
  • data_source é a fonte de dados (--data_source): on_premises.

Por exemplo, o comando a seguir cria uma transferência do Teradata chamada My Transfer usando o bucket mybucket do Cloud Storage e o conjunto de dados de destino mydataset. A transferência migrará todas as tabelas do armazenamento de dados do Teradata mydatabase, e o arquivo de esquema opcional será myschemafile.json.

bq mk \
--transfer_config \
--project_id=123456789876 \
--target_dataset=MyDataset \
--display_name='My Migration' \
--params='{"bucket": "mybucket", "database_type": "Teradata",
"database_name":"mydatabase", "table_name_patterns": ".*",
"agent_service_account":"myemail@mydomain.com", "schema_file_path":
"gs://mybucket/myschemafile.json"}' \
--data_source=on_premises

Após executar o comando, você recebe uma mensagem semelhante a esta:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Siga as instruções e cole o código de autenticação na linha de comando.

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.

Java

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a teradata transfer config.
public class CreateTeradataTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String databaseType = "Teradata";
    String bucket = "cloud-sample-data";
    String databaseName = "MY_DATABASE_NAME";
    String tableNamePatterns = "*";
    String serviceAccount = "MY_SERVICE_ACCOUNT";
    String schemaFilePath = "/your-schema-path";
    Map<String, Value> params = new HashMap<>();
    params.put("database_type", Value.newBuilder().setStringValue(databaseType).build());
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("database_name", Value.newBuilder().setStringValue(databaseName).build());
    params.put("table_name_patterns", Value.newBuilder().setStringValue(tableNamePatterns).build());
    params.put("agent_service_account", Value.newBuilder().setStringValue(serviceAccount).build());
    params.put("schema_file_path", Value.newBuilder().setStringValue(schemaFilePath).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Teradata Config Name")
            .setDataSourceId("on_premises")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .setSchedule("every 24 hours")
            .build();
    createTeradataTransfer(projectId, transferConfig);
  }

  public static void createTeradataTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Cloud teradata transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Cloud teradata transfer was not created." + ex.toString());
    }
  }
}

Agente de migração

Você pode criar a transferência diretamente do agente de migração na seção Como inicializar o agente de migração.

Para criar a transferência do agente de migração, primeiro você precisa conceder o papel do IAM serviceAccessTokenCreator à conta de serviço criada.

É possível conceder o papel do IAM de uma destas duas maneiras:

gcloud projects add-iam-policy-binding user_project_id \
--member='serviceAccount:service-user_project_number@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com' \
--role='roles/iam.serviceAccountTokenCreator'

Depois de conceder a permissão serviceAccessTokenCreator à conta de serviço, faça o download do agente de migração e configure a transferência como parte da etapa de inicialização.

Como inicializar o agente de migração

Ao iniciar uma migração de dados pela primeira vez, inicialize o agente de migração. A inicialização é obrigatória somente uma vez sempre que você configura uma transferência de migração, seja ela recorrente ou não.

Esta sessão não iniciará a migração, ela serve apenas para a configuração inicial.

  1. Abra uma nova sessão. Na linha de comando, você emite um comando para executar o arquivo jar, com algumas sinalizações específicas, neste formato:

    java -cp \
    OS-specific-separated-paths-to-jars (JDBC and agent) \
    com.google.cloud.bigquery.dms.Agent \
    --initialize
    

    Unix, Linux, Mac OS

    java -cp \
    /usr/local/migration/Teradata/JDBC/tdgssconfig.jar:/usr/local/migration/Teradata/JDBC/terajdbc4.jar:/usr/local/migration/mirroring-agent.jar \
    com.google.cloud.bigquery.dms.Agent \
    --initialize
    

    Windows

    Copie todos os arquivos para a pasta C:\migration (ou ajuste os caminhos no comando) e execute:

    java -cp C:\migration\tdgssconfig.jar;C:\migration\terajdbc4.jar;C:\migration\mirroring-agent.jar com.google.cloud.bigquery.dms.Agent --initialize
    
  2. Quando solicitado, insira os seguintes parâmetros:

    • Indica se você quer salvar o modelo Teradata Parallel Transporter (TPT) no disco. Se você planeja usar o método de extração de TPT, é possível modificar o modelo salvo com parâmetros adequados à sua instância do Teradata.
    • O URI do banco de dados de origem. Inclua o número da porta, se necessário.
    • Caminho para um espaço de trabalho local para a migração. Verifique se você tem o espaço de armazenamento mínimo recomendado, conforme descrito nos requisitos de espaço de preparo.
    • Se você usará o Teradata Parallel Transporter (TPT) como o método de extração.
    • (Opcional) Caminho para um arquivo de credencial do banco de dados.
  3. Quando for solicitado um Nome de recurso do serviço de transferência de dados do BigQuery:

    É possível inserir o Nome de recurso da transferência configurada no Console do Cloud ou criar a transferência neste momento por meio do próprio agente de migração. Você pode usar o comando de inicialização do agente de migração para criar um arquivo de esquema. Consulte a guia Agente de migração abaixo para ver essa opção.

    Console

    Digite o Nome de recurso da transferência que você configurou anteriormente na guia Console da seção sobre como configurar uma transferência.

    Agente de migração

    • Digite o código do projeto do Google Cloud.
    • Digite o nome do banco de dados de origem no Teradata.
    • Insira um padrão para corresponder os nomes das tabelas no banco de dados de origem. Você pode usar expressões regulares para especificar o padrão. Esse padrão precisa seguir a sintaxe da expressão regular do Java.
    • Opcional: insira o caminho para um arquivo de esquema JSON local (recomendado para transferências recorrentes). Esse arquivo de esquema será enviado para o bucket do Cloud Storage.
      • Escolha criar um novo arquivo de esquema. Nesse caso, você será solicitado a fornecer um nome de usuário e uma senha do Teradata, e o agente produzirá um arquivo JSON com o esquema convertido. O arquivo será criado em uma pasta local, seguindo este padrão: <localpath>/schema/DO_NOT_REMOVE_td2bq_table_schemas_<string>.json. Depois de fazer upload para o bucket do Cloud Storage, o caminho e o nome do arquivo seguirão este padrão: gs://mybucket/myproject_id/schema/DO_NOT_REMOVE_td2bq_table_schemas_<string>.json.
      • Modifique o arquivo de esquema para marcar o particionamento, o clustering, as chaves primárias e as colunas de controle de alterações e verifique se você quer usar esse esquema para a configuração de transferência. Consulte a seção do arquivo de esquema opcional para obter dicas.
    • Digite o nome do conjunto de dados de destino no BigQuery.
    • Digite o nome do bucket do Cloud Storage em que os dados de migração serão organizados antes do carregamento no BigQuery.
    • Insira um nome para a configuração de transferência.
  4. Depois de inserir todos os parâmetros solicitados, o agente de migração criará um arquivo de configuração e o colocará no caminho local fornecido nos parâmetros. Consulte a próxima seção para ver mais detalhes sobre o arquivo de configuração.

Arquivo de configuração do agente de migração

O arquivo de configuração criado na etapa de inicialização terá esta aparência:


   {
    "agent-id": "0eebc1ad-621d-4386-87f1-8eca96991f63",
    "transfer-configuration": {
      "project-id": "123456789876",
      "location": "us",
      "id": "5d533a90-0000-2e89-89a0-94eb2c059a76"
    },
    "source-type": "teradata",
    "console-log": false,
    "silent": false,
    "teradata-config": {
      "connection": {
       "host": "localhost"
      },
      "local-processing-space": "extracted",
      "database-credentials-file-path": "",
      "max-local-storage": "200GB",
      "use-tpt": false,
      "max-sessions": 0,
      "max-parallel-upload": 1,
      "max-unload-file-size": "2GB"
     }
   }
   

Todas as opções do arquivo de configuração do agente de migração

  • transfer-configuration: informações sobre essa configuração de transferência no serviço de transferência de dados do BigQuery.
  • teradata-config: informações específicas para esta extração do Teradata:

    • connection: informações sobre o nome do host e a porta
    • local-processing-space: a pasta de extração em que o agente extrairá os dados da tabela antes de fazer upload para o Cloud Storage.
    • database-credentials-file-path: (Opcional) O caminho para um arquivo que contém credenciais para se conectar ao banco de dados Teradata automaticamente. O arquivo deve conter duas linhas, por exemplo:
      username=abc
      password=123
      
      Ao usar um arquivo de credenciais, tome cuidado para controlar o acesso à pasta onde você o armazena no sistema de arquivos local, pois ele não será criptografado. Se nenhum caminho for fornecido, você será solicitado a fornecer um nome de usuário e uma senha quando iniciar um agente.
    • max-local-storage: a quantidade máxima de armazenamento local a ser usada para a extração no diretório de preparo especificado. O valor padrão é 200GB. O formato compatível é: numberKB|MB|GB|TB.

      Em todos os modos de extração, os arquivos serão excluídos do diretório de preparo local após serem enviados para o Cloud Storage.

      A quantidade real de preparo necessária depende do método de extração:

      • No método de extração padrão (driver JDBC com FastExport), pequenos blocos de dados são gravados e enviados continuamente para o bucket especificado do Cloud Storage. A extração é pausada quando o limite max_local_storage especificado é atingido.
      • Na extração com o Teradata Parallel Transporter (TPT) sem uma coluna de particionamento, toda a tabela é extraída, independentemente da configuração max_local_storage.
      • Na extração com o Teradata Parallel Transporter (TPT) com uma coluna de particionamento, o agente extrai conjuntos de partições. Os requisitos de armazenamento de preparo têm até max_local_storage ou o tamanho da maior partição da sua tabela no formato extraído para CSV.
    • use-tpt: orienta o agente de migração a usar o Teradata Parallel Transporter (TPT) como um método de extração.

      Para cada tabela, o agente de migração gera um script TPT, inicia um processo tbuild e aguarda a conclusão. Depois que o processo tbuild for concluído, o agente listará e fará upload dos arquivos extraídos para o Cloud Storage e, em seguida, excluirá o script TPT.

      Para usar o método de extração TPT:

      • O utilitário tbuild deve estar instalado e disponível para o agente de migração usar e iniciar o processo tbuild.
      • A pasta de extração local deve ter espaço suficiente para extrair a maior partição da tabela no formato CSV. Devido à formatação, um arquivo CSV será maior que o tamanho da tabela original no Teradata.
    • max-sessions: especifica o número máximo de sessões usadas pelo job de exportação (FastExport ou TPT). Se definido como 0, o banco de dados do Teradata determinará o número máximo de sessões para cada job de exportação.

    • max-parallel-uploads: determina o número de arquivos enviados ao Cloud Storage em paralelo. Dependendo da largura de banda da rede e de outras configurações (como a verificação de DLP), aumentar esse parâmetro pode melhorar o desempenho.

    • max-unload-file-size: determina o tamanho máximo do arquivo extraído. Esse parâmetro não é aplicado a extrações TPT.

Como executar o agente de migração

Depois de inicializar o agente de migração e criar o arquivo de configuração, use as seguintes etapas para executar o agente e iniciar a migração:

  1. Comece a executar o agente usando o caminho de classe para os drivers JDBC e o caminho para o arquivo de configuração criado na etapa de inicialização anterior.

    java -cp \
    OS-specific-separated-paths-to-jars (JDBC and agent) \
    com.google.cloud.bigquery.dms.Agent \
    --configuration-file=path to configuration file
    

    Unix, Linux, Mac OS

    java -cp \
    /usr/local/migration/Teradata/JDBC/tdgssconfig.jar:/usr/local/migration/Teradata/JDBC/terajdbc4.jar:mirroring-agent.jar \
    com.google.cloud.bigquery.dms.Agent \
    --configuration-file=config.json
    

    Windows

    Copie todos os arquivos para a pasta C:\migration (ou ajuste os caminhos no comando) e execute:

    java -cp C:\migration\tdgssconfig.jar;C:\migration\terajdbc4.jar;C:\migration\mirroring-agent.jar com.google.cloud.bigquery.dms.Agent --configuration-file=config.json
    

    Se você estiver pronto para continuar a migração, pressione Enter, e o agente prosseguirá se o caminho de classe fornecido durante a inicialização for válido.

  2. Quando solicitado, digite o nome de usuário e a senha da conexão do banco de dados. Se o nome de usuário e a senha forem válidos, a migração de dados será iniciada.

    Opcional No comando para iniciar a migração, você também pode usar uma sinalização que transmita um arquivo de credenciais para o agente, em vez de digitar toda vez o nome de usuário e a senha. Consulte o parâmetro opcional database-credentials-file-path no arquivo de configuração do agente para obter mais informações. Ao usar um arquivo de credenciais, siga as etapas apropriadas para controlar o acesso à pasta onde você o armazena no sistema de arquivos local, porque ele não será criptografado.

  3. Deixe esta sessão aberta até que a migração seja concluída. Se você tiver criado uma transferência de migração recorrente, mantenha esta sessão aberta indefinidamente. Se esta sessão for interrompida, as execuções de transferência atuais e futuras falharão.

  4. Monitore periodicamente se o agente está em execução. Se uma execução de transferência estiver em andamento e nenhum agente responder dentro de 24 horas, ela falhará.

  5. Se o agente de migração parar de funcionar enquanto a transferência estiver em andamento ou programada, o Console do Cloud mostrará o status do erro e solicitará que você o reinicie. Para iniciar o agente de migração novamente, retome a partir do início desta seção, executando o agente de migração, com o comando para executar o agente de migração. Não é necessário repetir o comando de inicialização. A transferência será retomada a partir do ponto em que as tabelas não foram concluídas.

Como acompanhar o progresso da migração

Veja o status da migração no Console do Cloud. Também é possível configurar as notificações do Pub/Sub ou por e-mail. Consulte Notificações do serviço de transferência de dados do BigQuery.

O serviço de transferência de dados do BigQuery programa e inicia uma execução de transferência conforme uma programação especificada na criação da configuração de transferência. É importante que o agente de migração esteja em execução quando uma execução de transferência estiver ativa. Se não houver atualizações do lado do agente em 24 horas, uma execução de transferência falhará.

Exemplo de status de migração no Console do Cloud:

Status da migração

Como fazer upgrade do agente de migração

Se uma nova versão do agente de migração estiver disponível, você precisará atualizá-lo manualmente. Para receber avisos sobre o serviço de transferência de dados do BigQuery, inscreva-se nas Notas de lançamento.

A seguir