Ler a partir de várias tabelas do Microsoft SQL Server

Esta página descreve como ler várias tabelas de uma base de dados do Microsoft SQL Server, usando a origem de várias tabelas. Use a origem de várias tabelas quando quiser que o pipeline leia a partir de várias tabelas. Se quiser que o pipeline leia a partir de uma única tabela, consulte o artigo Ler a partir de uma tabela do SQL Server.

A origem de várias tabelas gera dados com vários esquemas e inclui um campo de nome da tabela que indica a tabela de onde os dados provêm. Quando usar a origem de várias tabelas, use um dos destinos de várias tabelas: várias tabelas do BigQuery ou vários ficheiros do GCS.

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Data Fusion, Cloud Storage, BigQuery, and Dataproc APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  7. Crie uma instância do Cloud Data Fusion.
  8. Certifique-se de que a sua base de dados do SQL Server pode aceitar ligações do Cloud Data Fusion. Para o fazer de forma segura, recomendamos que crie uma instância do Cloud Data Fusion privada.

    9. Veja a sua instância do Cloud Data Fusion

    Quando usa o Cloud Data Fusion, usa a Google Cloud consola e a IU do Cloud Data Fusion separada. Na Google Cloud consola, pode criar um Google Cloud projeto, bem como criar e eliminar instâncias do Cloud Data Fusion. Na IU do Cloud Data Fusion, pode usar as várias páginas, como Studio ou Wrangler, para usar as funcionalidades do Cloud Data Fusion.

    1. Na Google Cloud consola, aceda à página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e, de seguida, em Ver instância.

      Aceda a Instâncias

Armazene a palavra-passe do SQL Server como uma chave segura

Adicione a sua palavra-passe do SQL Server como uma chave segura para encriptar na sua instância do Cloud Data Fusion. Mais tarde, neste guia, vai certificar-se de que a sua palavra-passe é obtida através do Cloud KMS.

  1. No canto superior direito de qualquer página do Cloud Data Fusion, clique em Administrador do sistema.

  2. Clique no separador Configuração.

  3. Clique em Fazer chamadas HTTP.

    Configuração.

  4. No menu pendente, escolha PUT.

  5. No campo do caminho, introduza namespaces/NAMESPACE_ID/securekeys/PASSWORD.

  6. No campo Corpo, introduza {"data":"SQL_SERVER_PASSWORD"}.

  7. Clique em Enviar.

    Palavra-passe.

Certifique-se de que a Resposta que recebe tem o código de estado 200.

Obtenha o controlador JDBC para o SQL Server

Usar o Hub

  1. Na IU do Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, introduza Microsoft SQL Server JDBC Driver.

  3. Clique em Controlador JDBC do Microsoft SQL Server.

  4. Clique em Transferir. Siga os passos de transferência apresentados.

  5. Clique em Implementar. Carregue o ficheiro JAR do passo anterior.

  6. Clique em Concluir.

Usar o Studio

  1. Aceda a Microsoft.com.

  2. Escolha a transferência e clique em Transferir.

  3. Na IU do Cloud Data Fusion, clique em Menu e navegue para a página Studio.

  4. Clique em Adicionar.

  5. Em Driver, clique em Carregar.

  6. Carregue o ficheiro JAR transferido no passo 2.

  7. Clicar em Seguinte.

  8. Configure o impulsionador introduzindo um Nome.

  9. No campo Nome da classe, introduza com.microsoft.sqlserver.jdbc.SQLServerDriver.

  10. Clique em Concluir.

Implemente os plug-ins de várias tabelas

  1. Na IU Web do Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, introduza Multiple table plugins.

  3. Clique em Vários plug-ins de tabelas.

    Palavra-passe.

  4. Clique em Implementar.

  5. Clique em Concluir.

  6. Clique em Criar um pipeline.

Estabeleça ligação ao SQL Server

  1. Na IU do Cloud Data Fusion, clique em Menu e navegue para a página Studio.

  2. No Studio, expanda o menu Fonte.

  3. Clique em Várias tabelas de base de dados.

    Várias tabelas.

  4. Passe o ponteiro do rato sobre o nó Várias tabelas de base de dados e clique em Propriedades.

    Propriedades.

  5. No campo Nome de referência, especifique um nome de referência que vai ser usado para identificar a sua origem do SQL Server.

  6. No campo String de ligação JDBC, introduza a string de ligação JDBC. Por exemplo, jdbc:sqlserver://mydbhost:1433. Para mais informações, consulte o artigo Criar o URL de associação.

  7. Introduza o nome do plugin JDBC, o nome de utilizador da base de dados e a palavra-passe do utilizador da base de dados.

  8. Clique em Validar.

  9. Clique em Fechar.

Associar ao BigQuery ou ao Cloud Storage

  1. Na IU do Cloud Data Fusion, clique em Menu e navegue para a página Studio.

  2. Expandir Lavatório.

  3. Clique em BigQuery Multi Table ou GCS Multi File.

  4. Associe o nó Tabelas de várias bases de dados com BigQuery Multi Table ou GCS Multi File.

    Ligue o lava-louças.

  5. Passe o ponteiro do rato sobre o nó BigQuery Multi Table ou GCS Multi File, clique em Propriedades e configure o destino.

    Para mais informações, consulte os artigos Google BigQuery Multi Table Sink e Google Cloud Storage Multi File Sink.

  6. Clique em Validar.

  7. Clique em Fechar.

Execute uma pré-visualização do pipeline

  1. Na IU do Cloud Data Fusion, clique em Menu e navegue para a página Studio.

  2. Clique em Pré-visualizar.

  3. Clique em Executar. Aguarde até que a pré-visualização seja concluída com êxito.

Implemente o pipeline

  1. Na IU do Cloud Data Fusion, clique em Menu e navegue para a página Studio.

  2. Clique em Implementar.

Execute a pipeline

  1. Na IU do Cloud Data Fusion, clique em Menu.

  2. Clique em Lista.

  3. Clique no pipeline.

  4. Na página de detalhes do pipeline, clique em Executar.

O que se segue?