Ler de várias tabelas do Microsoft SQL Server

Nesta página, descrevemos como ler várias tabelas de um banco de dados do Microsoft SQL Server usando a fonte de várias tabelas. Use a fonte de várias tabelas quando quiser que o pipeline leia a partir de várias tabelas. Se você quiser que seu pipeline leia a partir de uma única tabela, consulte Como ler uma tabela do SQL Server.

A origem de várias tabelas gera dados com vários esquemas e inclui um campo de nome da tabela que indica a tabela de onde vieram os dados. Ao usar a fonte de várias tabelas, use um dos coletores de várias tabelas, BigQuery Table ou arquivo multiGCS para criar um anexo da VLAN de monitoramento.

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Data Fusion, Cloud Storage, BigQuery, and Dataproc APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  7. Crie uma instância do Cloud Data Fusion.
  8. Verifique se o banco de dados do SQL Server pode aceitar conexões do Cloud Data Fusion. Para fazer isso com segurança, recomendamos que você crie uma instância particular do Cloud Data Fusion.

    9. Ver sua instância do Cloud Data Fusion

    Ao usar o Cloud Data Fusion, você usa o console Google Cloud e a IU separada do Cloud Data Fusion. No console do Google Cloud , é possível criar um projeto Google Cloud e criar e excluir instâncias do Cloud Data Fusion. Na interface do Cloud Data Fusion, é possível usar as várias páginas, como o Studio ou o Administrador, para acessar os recursos dele.

    1. No console Google Cloud , acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

Armazenar a senha do SQL Server como uma chave segura

Adicione a senha do SQL Server como uma chave segura para criptografar na instância do Cloud Data Fusion. Posteriormente neste guia, você garantirá que sua senha seja recuperada usando o Cloud KMS.

  1. No canto superior direito de qualquer página do Cloud Data Fusion, clique em Administrador do sistema.

  2. Clique na guia Configuration.

  3. Clique em Fazer chamadas HTTP.

    Configuration do HBase.

  4. No menu suspenso, escolha PUT.

  5. No campo do caminho, digite namespaces/NAMESPACE_ID/securekeys/PASSWORD.

  6. No campo Corpo, digite {"data":"SQL_SERVER_PASSWORD"}.

  7. Clique em Enviar.

    Senha.

Verifique se a Resposta recebida é o código de status 200.

Acessar o driver JDBC para SQL Server

Como usar o Hub

  1. Na interface do Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, digite Microsoft SQL Server JDBC Driver.

  3. Clique em Driver JDBC do Microsoft SQL Server.

  4. Clique em Fazer download. Siga as etapas de download mostradas.

  5. Clique em Implantar. Faça o upload do arquivo JAR da etapa anterior.

  6. Clique em Concluir.

Como usar o Studio

  1. Acesse Microsoft.com.

  2. Escolha o download e clique em Fazer o download.

  3. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  4. Clique em Adicionar.

  5. Em Driver, clique em Fazer upload.

  6. Faça o upload do arquivo JAR baixado na etapa 2.

  7. Clique em Próxima.

  8. Configure o driver inserindo um Nome.

  9. No campo Nome da classe, insira com.microsoft.sqlserver.jdbc.SQLServerDriver.

  10. Clique em Concluir.

Implante os plug-ins de várias tabelas

  1. Na IU da Web do Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, digite Multiple table plugins.

  3. Clique em Múltiplos plug-ins de tabela.

    Senha.

  4. Clique em Implantar.

  5. Clique em Concluir.

  6. Clique em Criar um pipeline.

Conectar-se ao SQL Server

  1. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  2. No Studio, expanda o menu Origem.

  3. Clique em Várias tabelas de banco de dados.

    Várias tabelas.

  4. Coloque o ponteiro sobre o nó Várias tabelas de banco de dados e clique em Propriedades.

    Propriedades

  5. No campo Nome de referência, especifique um nome que será usado para identificar sua origem do SQL Server.

  6. No campo String de conexão JDBC, insira a string de conexão JDBC. Por exemplo, jdbc:sqlserver://mydbhost:1433. Para mais informações, consulte Como criar o URL de conexão.

  7. Insira o Nome do plug-in JDBC, o Nome de usuário do banco de dados e a Senha do usuário do banco de dados.

  8. Clique em Validate (Validar).

  9. Clique em Fechar.

Conectar-se ao BigQuery ou ao Cloud Storage

  1. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  2. Expanda Gravador.

  3. Clique em BigQuery Multi Table ou GCS Multi File.

  4. Conecte o nó Várias tabelas de banco de dados com BigQuery Multi Table ou GCS Multi File.

    Conecte o coletor.

  5. Mantenha o ponteiro sobre o nó Várias tabelas do BigQuery ou Vários arquivos do GCS, clique em Propriedades e configure o coletor.

    Para mais informações, consulte Coletor de várias tabelas do Google BigQuery e Coletor de vários arquivos do Google Cloud Storage.

  6. Clique em Validate (Validar).

  7. Clique em Fechar.

Executar a visualização do pipeline

  1. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  2. Clique em Visualização.

  3. Clique em Executar. Aguarde a conclusão da prévia.

Implante o pipeline.

  1. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  2. Clique em Implantar.

Executar o pipeline

  1. Na interface do Cloud Data Fusion, clique em Menu.

  2. Clique em Lista.

  3. Clique no pipeline.

  4. Na página de detalhes do pipeline, clique em Executar.

A seguir