Como ler de um banco de dados do PostgreSQL

Este guia mostra como ler dados de um banco de dados do PostgreSQL.

Antes de começar

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

4. Ative as APIs Cloud Data Fusion, Cloud Storage, BigQuery, and Cloud Dataproc.

   Ative as APIs

5. Crie uma instância do Cloud Data Fusion.
6. Verifique se o banco de dados do PostgreSQL aceita conexões do Cloud Data Fusion. Para fazer isso com segurança, recomendamos que você crie uma instância particular do Cloud Data Fusion.

Navegar até a IU do Cloud Data Fusion

Ao usar o Cloud Data Fusion, você usa o Console do Cloud e a IU separada do Cloud Data Fusion. No Console do Cloud, é possível criar um projeto do Google Cloud e criar e excluir instâncias do Cloud Data Fusion. Na IU do Cloud Data Fusion, é possível usar as várias páginas, como o Studio ou o Administrador, para usar os recursos do Cloud Data Fusion.

1. No Console do Cloud, abra a página Instâncias.

   Abrir a página "Instâncias"

2. Na coluna Ações da instância, clique no link Visualizar instância.

3. Na IU do Cloud Data Fusion, use o painel de navegação à esquerda para navegar até a página de que você precisa.

Armazenar a senha do PostgreSQL como uma chave segura

Adicione sua senha do PostgreSQL como uma chave segura para criptografar a instância do Cloud Data Fusion. Posteriormente neste guia, você garantirá que sua senha seja recuperada usando o Cloud KMS.

1. No canto superior direito de qualquer página do Cloud Data Fusion, clique em Administrador do sistema.

2. Clique na guia Configuration.

3. Clique em Fazer chamadas HTTP.

   

4. No menu suspenso, escolha PUT.

5. No campo do caminho, digite namespaces/default/securekeys/pg_password.

6. No campo Corpo, digite {"data":"your_password"}. Substitua your_password pela sua senha do PostgreSQL.

7. Clique em Enviar.

   

Verifique se a Resposta recebida é o código de status 200.

Receber os drivers JDBC para o PostgreSQL do Cloud SQL

Como o Cloud SQL requer o uso da biblioteca Socket Source para drivers JDBC, crie o driver JDBC usando o repositório do Socket Fabric do Cloud SQL no GitHub. Também é possível fazer o download dos drivers JDBC na página de lançamento do repositório do Socket Fabric do Cloud SQL no GitHub.

Conectar-se ao Cloud SQL para PostgreSQL

1. Na IU do Cloud Data Fusion, clique no menu e navegue até a página Administrador.

2. Clique em Adicionar conexão no canto inferior esquerdo da tela.

3. Escolha Banco de dados como o tipo de origem a ser conectado.

   

4. Em Google Cloud SQL para PostgreSQL, clique no link Fazer upload.

   

5. Faça upload de um arquivo JAR que contenha o driver do PostgreSQL. Seu arquivo JAR precisa seguir o formato name-version.jar. Se o arquivo JAR não seguir esse formato, renomeie-o antes de fazer o upload.

6. Clique em Next.

7. Digite o Nome do driver, o Nome da classe e a Versão.

8. Clique em Finish.

9. Na janela Adicionar conexão exibida, clique em Google Cloud SQL para PostgreSQL. Seu nome JAR aparecerá em Google Cloud SQL para PostgreSQL.

   

10. Preencha os campos de conexão obrigatórios. No campo Senha, selecione a chave segura armazenada anteriormente. Isso garante que sua senha seja recuperada usando o Cloud KMS.

    

11. No campo String de conexão, insira sua string de conexão como:

    jdbc:postgresql://google/database_name?cloudSqlInstance=instance_conn_name&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false
    

    Substitua:

    • database_name: o nome do banco de dados do Cloud SQL listado na guia Bancos de dados da página de detalhes da instância.
    • instance_conn_name: o nome da conexão da instância do Cloud SQL, conforme exibido na guia Visão geral da página de detalhes da instância.

    

    Exemplo:

    jdbc:postgresql://google/postgres?cloudSqlInstance=dis-demo:us-central1:pgsql-1&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false
    

12. Ative a API Cloud SQL Admin.

13. Conceda os seguintes papéis do IAM à conta de serviço [e-mail]:

    • administrador do Cloud SQL
    • Administrador do Cloud Data Fusion
    • Agente de serviço da API Cloud Data Fusion

14. Clique em Testar conexão para garantir que a conexão possa ser estabelecida com o banco de dados.

15. Clique em Adicionar conexão.

Depois que o banco de dados do PostgreSQL estiver conectado, será possível aplicar transformações aos dados (no Wrangler), criar um pipeline e gravar a saída em um coletor (no Studio).

A seguir

• Saiba mais sobre o Cloud Data Fusion.
• Siga um dos tutoriais.