Questa pagina descrive come leggere i dati da un database PostgreSQL in un dell'istanza di Cloud Data Fusion.
Prima di iniziare
- Crea un'istanza Cloud Data Fusion.
- Abilita il tuo database PostgreSQL per accettare connessioni da in Cloud Data Fusion. Per farlo in modo sicuro, ti consigliamo di utilizzare un'istanza Cloud Data Fusion privata.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per connetterti a un database PostgreSQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:
-
Worker Dataproc (
roles/dataproc.worker) nell'account di servizio Dataproc del progetto contenente il cluster -
Esecutore Cloud Data Fusion (
roles/datafusion.runner) sull'account di servizio Dataproc nel progetto che contiene il cluster -
Per utilizzare Cloud SQL senza il proxy di autenticazione Cloud SQL:
Client Cloud SQL (
roles/cloudsql.client) nel progetto che contiene l'istanza Cloud SQL
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Apri l'istanza in Cloud Data Fusion
Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.
Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.
Memorizza la password PostgreSQL come chiave sicura
Inserisci la password di PostgreSQL come chiave sicura da criptare nell'istanza Cloud Data Fusion. Per ulteriori informazioni sulle chiavi, consulta Cloud KMS.
Nell'interfaccia utente di Cloud Data Fusion, fai clic su Amministrazione sistema > Configurazione.
Fai clic su Esegui chiamate HTTP.
Nel menu a discesa, scegli PUT.
Nel campo del percorso, inserisci
namespaces/default/securekeys/pg_password.Nel campo Testo, inserisci
{"data":"POSTGRESQL_PASSWORD"}. SostituisciPOSTGRESQL_PASSWORDcon il tuo PostgreSQL password.Fai clic su Invia.
Il campo Risposta ti informa della presenza di eventuali errori.
Connettersi a Cloud SQL per PostgreSQL
Nella UI di Cloud Data Fusion, fai clic sul menu menu. e vai alla pagina Wrangler.
Fai clic su Aggiungi connessione.
Scegli Database come tipo di origine da connettere.
In Google Cloud SQL per PostgreSQL, fai clic su Carica.
Carica un file JAR contenente il driver PostgreSQL. Il file JAR deve essere in formato
NAME-VERSION.jar. Se il file JAR non segue questo formato, rinominalo prima di caricarlo.Fai clic su Avanti.
Inserisci il nome, il nome della classe e la versione del driver nei campi.
Fai clic su Fine.
Nella finestra Aggiungi connessione che si apre, fai clic su Google Cloud SQL per PostgreSQL. Il nome del file JAR dovrebbe essere visualizzato in Google Cloud SQL per PostgreSQL.
Compila i campi obbligatori per la connessione. Nel campo Password, seleziona la chiave sicura memorizzata in precedenza. In questo modo ti assicuri che la password venga recuperata utilizzando Cloud KMS.
Nel campo Stringa di connessione, inserisci la stringa di connessione come:
jdbc:postgresql://google/DATABASE_NAME?cloudSqlInstance=INSTANCE_CONNECTION_NAME&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false
Sostituisci quanto segue:
DATABASE_NAME: il nome del database Cloud SQL elencato nella scheda Database della pagina dei dettagli dell'istanza.INSTANCE_CONNECTION_NAME: l'istanza Cloud SQL nome della connessione come visualizzato nella scheda Panoramica della pagina dei dettagli dell'istanza.
Ad esempio:
jdbc:postgresql://google/postgres?cloudSqlInstance=dis-demo:us-central1:pgsql-1&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false
Abilita l'API Cloud SQL Admin.
Fai clic su Prova connessione per assicurarti che la connessione possa essere stabilita con il database.
Fai clic su Aggiungi connessione.
Dopo aver connesso il database PostgreSQL, puoi applicare le trasformazioni i tuoi dati (in Wrangler), crea una pipeline e scrivi l'output in un sink (in Studio).