Fonte em lote do banco de dados

Nesta página, você encontra orientações sobre como configurar a origem em lote do banco de dados. plug-in do Cloud Data Fusion.

Use esta fonte genérica sempre que precisar fazer leituras em um banco de dados. Para exemplo, ele pode ser usado para criar snapshots diários de uma tabela genérica de banco de dados e gravar a saída no BigQuery.

Configurar o plug-in

  1. Acessar a interface da Web do Cloud Data Fusion e clique em Studio.
  2. Verifique se Pipeline de dados - Lote está selecionado (não Tempo real).
  3. No menu Origem, clique em Banco de dados.
  4. Para configurar o plug-in, mantenha o ponteiro do mouse sobre o nó do plug-in e clique Propriedades:

  5. Insira as propriedades a seguir. Para mais informações sobre cada propriedade, consulte Propriedades.

    1. Digite um Rótulo para o nó do banco de dados: exemplo: database tables.

    2. Insira os detalhes da conexão. Você pode configurar uma nova conexão única, ou uma conexão atual e reutilizável.

      Nova conexão

      Para adicionar uma conexão única ao banco de dados, siga estas etapas:

      1. Mantenha a opção Usar conexão desativada.
      2. Digite as seguintes propriedades de conexão:
        1. No campo "Nome do driver do JDBC", insira o nome do driver, se houver. Caso contrário, mantenha a opção Nenhum plug-in do JDBC selecionada.
        2. No campo String de conexão, insira a conexão JDBC incluindo o nome do banco de dados.
        3. Opcional: se o banco de dados exigir autenticação, digite nome de usuário e senha do banco de dados.
        4. Opcional: se o driver JDBC precisar de mais configurações, No campo Argumentos de conexão, insira a chave-valor da conexão.

      Conexão reutilizável

      Para reutilizar uma conexão, siga estas etapas:

      1. Ative a opção Usar conexão.
      2. Clique em Procurar conexões.

      3. Selecione a conexão.

      4. Opcional: se não houver uma conexão e você quiser criar uma nova conexão reutilizável, clique em Adicionar conexão e consulte Confira as etapas na guia Nova conexão nesta página.

    3. Opcional: para testar a conectividade, clique em Ver esquema. Este esquema é usada no lugar de qualquer esquema retornado da consulta. Ele deve corresponder ao esquema retornado da consulta, mas é possível marca os campos como anuláveis e pode conter um subconjunto deles.

    4. No campo Importar consulta, digite uma consulta SELECT para importar dados. da tabela especificada, por exemplo, select id, name, email, phone from users;.

    5. Opcional: no campo Consulta delimitadora, digite os valores mínimo e máximo. valores para leitura, por exemplo, SELECT * FROM table WHERE $CONDITIONS.

    6. Opcional: no campo Dividir por nome do campo, digite o nome que gera as divisões.

    7. Opcional: no campo Número de divisões a serem geradas, insira um número, por exemplo, 2.

    8. Opcional: no campo Tamanho da busca, digite um número, por exemplo, 1000

    9. Opcional: insira as Propriedades avançadas, como alterar o caso de os nomes das colunas.

  6. Opcional: clique em Validar e resolva os erros encontrados.

  7. Clique em Fechar. As propriedades serão salvas, e você poderá continuar a criar pipeline de dados no Studio do Cloud Data Fusion.

Propriedades

Propriedade Macro ativada Obrigatório Descrição
Rótulo Não Sim O nome do nó no pipeline de dados.
Usar conexão Não Não Procure uma conexão com a origem. Se Usar conexão está selecionado, você não precisa fornecer credenciais.
Conexão Sim Sim Nome da conexão a ser usada. Se Usar conexão estiver selecionada, esse campo será exibido. As informações do banco de dados e da tabela são fornecidos pela conexão.
Nome do driver JDBC Sim Sim O driver JDBC a ser usado.
O padrão é Nenhum plug-in do JDBC.
String de conexão Sim Sim String de conexão do JDBC, incluindo o nome do banco de dados.
Nome de usuário Sim Não Identidade do usuário para conexão com o banco de dados. Obrigatório para bancos de dados que precisam de autenticação. Opcional para bancos de dados que não exigem autenticação.
Senha Sim Não Senha a ser usada para se conectar ao banco de dados especificado. Obrigatório para bancos de dados que precisam de autenticação. Opcional para bancos de dados que não que exigem autenticação.
Argumentos de conexão Sim Não Uma lista de pares de tag/valor de string arbitrário como argumentos de conexão. Para drivers JDBC que precisam de configuração adicional, esses argumentos são passados para o driver JDBC como argumentos de conexão no formato: key1=value1;key2=value.
Nome de referência Não Sim Um nome que identifica exclusivamente essa origem para linhagem e anotação metadados. Geralmente é o nome da tabela ou da visualização.
Receber esquema Não Não O esquema dos registros gerados pela origem. Ela é usada no lugar esquema retornado pela consulta. Ele precisa corresponder ao esquema que vem da consulta, exceto que permite marcar campos como anuláveis e e pode conter um subconjunto dos campos.
Importar consulta Sim Sim A consulta SELECT para importar dados do tabela. Você pode especificar um número arbitrário de colunas para importar ou importar todas as colunas usando *. A consulta deve conter o String $CONDITIONS. Por exemplo: SELECT * FROM table WHERE $CONDITIONS: O A string $CONDITIONS foi substituída pelo campo splitBy limite especificado no campo Consulta delimitadora. O A string $CONDITIONS não é necessária se o Número de splits é definido como 1.
Consulta delimitadora Sim Não A consulta delimitadora que retorna o mínimo e o máximo dos valores da coluna dividida. Por exemplo: SELECT MIN(id),MAX(id) FROM table Não será necessário se o total de divisões é definido como 1.
Nome do campo dividido por Sim Não O nome do campo usado para gerar divisões. Não será necessário se o número de a ser gerada é definido como 1.
Número de divisões a serem geradas Sim Não Número de divisões a serem geradas.
O padrão é 1.
Tamanho da busca Sim Não O número de linhas a serem buscadas por vez por divisão. Um tamanho de busca maior pode resultar em uma importação mais rápida, em detrimento de um maior uso de memória.
O padrão é 1000.
Ativar a confirmação automática Não Não Define se a confirmação automática será ativada para consultas executadas por essa fonte. Manter defina como False, a menos que você use um driver JDBC que causa um erro quando a operação de confirmação é executada.
O padrão é False.
Letras maiúsculas no nome da coluna Sim Não Define o uso de maiúsculas e minúsculas nos nomes das colunas retornados da consulta. Você pode escolher maiúsculas ou minúsculas. Por padrão, ou para qualquer outra entrada, os nomes das colunas não são modificados e letras maiúsculas e minúsculas retornadas é usado. Definir essa propriedade fornece previsibilidade de letras maiúsculas no nome da coluna em diferentes bancos de dados, mas pode causar entre em conflito se os nomes de várias colunas forem iguais quando o caso é ignorado.
O padrão é Nenhuma alteração.
Nível de isolamento da transação Sim Não O nível de isolamento da transação para consultas executadas por este coletor. Para mais mais informações, consulte a setTransactionIsolation(). O driver JDBC do Phoenix gera uma exceção quando o banco de dados do Phoenix não tem transações ativadas e este campo está definido como true: Para motoristas como esse, defina o campo como TRANSACTION_NONE:
O padrão é TRANSACTION_SERIALIZABLE.
Padrão a ser substituído Não Não O padrão a ser substituído no nome do campo na tabela (normalmente usado) pela propriedade Substituir por). Se o a propriedade Substituir por não estiver definida, o padrão será removido do nome do campo.
Substituir por Não Não A string que é substituída no nome do campo na tabela. Você deve também configure o campo Padrão a ser substituído.
Esquema de saída Não Não Especifica o esquema de saída. Somente colunas definidas no esquema são incluídas no registro de saída.

Práticas recomendadas

Verifique se um plug-in mais específico está disponível para seu banco de dados. Por exemplo, se você tem uma fonte de banco de dados Oracle, em vez disso, use a fonte em lote do banco de dados Oracle porque ele foi projetado para funcionar com o esquema do Oracle.

A seguir