Ler a partir de uma tabela do SQL Server

Esta página descreve como configurar o seu Data pipeline para ler dados de uma tabela do Microsoft SQL Server.

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  7. Crie uma instância do Cloud Data Fusion.
  8. A sua base de dados do SQL Server tem de aceitar ligações do Cloud Data Fusion. Por motivos de segurança, use uma instância privada do Cloud Data Fusion.

    9. Abra a instância do Cloud Data Fusion

    1. Na Google Cloud consola, aceda à página Instances do Cloud Data Fusion.

      Aceda a Instâncias

    2. Na coluna Ações da instância, clique em Ver instância para abrir a instância no Cloud Data Fusion.

Armazene a palavra-passe do SQL Server como uma chave segura

Adicione a palavra-passe do SQL Server como uma chave segura na sua instância do Cloud Data Fusion.

  1. No Cloud Data Fusion, clique em Administrador do sistema.

  2. Clique no separador Configuração.

  3. Clique em Fazer chamadas HTTP.

    Configuração.

  4. Selecione PUT.

  5. No campo do caminho, introduza namespaces/NAMESPACE_ID/securekeys/password .

  6. No campo Corpo, introduza {"data":"password"}. Substitua password pela palavra-passe do SQL Server.

  7. Clique em Enviar.

    Palavra-passe.

A Resposta tem de ter o código de estado 200 para continuar.

Obtenha o controlador JDBC para o SQL Server

Pode obter o controlador no Hub ou no Pipeline Studio no Cloud Data Fusion.

Centro

  1. Na IU do Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, introduza SQL Server JDBC Driver e selecione o controlador.

  3. Clique em Transferir. Siga os passos de transferência apresentados.

  4. Clique em Implementar. Carregue o ficheiro JAR do passo anterior.

  5. Clique em Concluir.

Pipeline Studio

  1. Aceda a Microsoft.com.

  2. Escolha a transferência e clique em Transferir.

  3. No Cloud Data Fusion, clique em Menu e aceda à página Pipeline Studio.

  4. Clique em Adicionar.

  5. Para o condutor, clique em Carregar.

  6. Selecione o ficheiro JAR, localizado na pasta jre7.

  7. Clicar em Seguinte.

  8. Para configurar o controlador, introduza um Nome e um Nome da classe.

  9. Clique em Concluir.

Implemente o plugin do SQL Server

  1. No Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, introduza SQL Server Plugins.

  3. Clique em Plug-ins do SQL Server.

  4. Clique em Implementar.

  5. Clique em Concluir.

  6. Clique em Criar um pipeline.

Estabeleça ligação ao SQL Server

Pode estabelecer ligação ao SQL Server a partir do Cloud Data Fusion no Wrangler ou no Pipeline Studio.

Wrangler

  1. No Cloud Data Fusion, clique em Menu e aceda à página Wrangler.

  2. Clique em Adicionar associação.

    É apresentada uma janela Adicionar associação.

  3. Clique em SQL Server para verificar se o controlador está instalado.

    JAR carregado.

  4. Introduza os detalhes nos campos de associação necessários. No campo Palavra-passe, selecione a chave segura que armazenou anteriormente. Garante que a sua palavra-passe é obtida através do Cloud KMS.

    Escolha a palavra-passe.

  5. Para verificar se é possível estabelecer uma ligação com a base de dados, clique em Testar ligação.

  6. Clique em Adicionar associação.

Depois de a base de dados do SQL Server estar ligada e de ter criado um pipeline que lê a partir da tabela do SQL Server, pode aplicar transformações e escrever o resultado num destino.

Pipeline Studio

  1. Abra a instância do Cloud Data Fusion e aceda à página Pipeline Studio.

  2. Expanda o menu Origem e clique em SQL Server.

    SQL Server.

  3. No nó SQL Server, clique em Propriedades.

    Propriedades.

  4. No campo Nome de referência, introduza um nome que identifique a sua origem do SQL Server.

  5. No campo Base de dados, introduza o nome da base de dados à qual se ligar.

  6. No campo Consulta de importação, introduza a consulta a executar. Por exemplo, SELECT * FROM table WHERE $CONDITIONS.

  7. Clique em Validar.

  8. Clique em Fechar .

Depois de a base de dados do SQL Server estar ligada e de ter criado um pipeline que lê a partir da tabela do SQL Server, adicione as transformações pretendidas e escreva o resultado num destino.

O que se segue?