Connettiti da Cloud Build

Questa pagina contiene informazioni ed esempi per la connessione a un'istanza Cloud SQL da un servizio in esecuzione in Cloud Build.

Cloud SQL è un servizio di database completamente gestito che semplifica la configurazione, la manutenzione, la gestione e l'amministrazione dei database relazionali nel cloud.

Cloud Build è un servizio che esegue le tue build sull'infrastruttura Google Cloud .

Configura un'istanza Cloud SQL

  1. Abilita l'API Cloud SQL Admin nel progetto Google Cloud da cui ti connetti, se non l'hai già fatto:

    Enable the API

  2. Crea un'istanza Cloud SQL per PostgreSQL. Per una latenza migliore, per evitare alcuni costi di networking e per ridurre i rischi di errori tra regioni, ti consigliamo di scegliere una posizione dell'istanza Cloud SQL nella stessa regione del servizio Cloud Run.

    Per impostazione predefinita, Cloud SQL assegna un indirizzo IP pubblico a una nuova istanza. Hai anche la possibilità di assegnare un indirizzo IP privato. Per ulteriori informazioni sulle opzioni di connettività per entrambi, consulta la pagina Panoramica della connessione.

  3. Quando crei l'istanza, puoi scegliere la gerarchia dei certificati server (CA) per l'istanza e poi configurare la gerarchia come serverCaMode per l'istanza. Devi selezionare l'opzione CA per istanza (GOOGLE_MANAGED_INTERNAL_CA) come modalità CA del server per le istanze a cui vuoi connetterti dalle applicazioni web.

Configura un repository Artifact Registry

  1. Se non l'hai ancora fatto, attiva l'API Artifact Registry nel progetto Google Cloud da cui ti connetti:

    Enable the API

  2. Crea un registro Docker di Artifact Registry. Per migliorare la latenza, ridurre il rischio di errori tra regioni ed evitare costi di networking aggiuntivi, ti consigliamo di scegliere una posizione di Artifact Registry nella stessa regione del tuo servizio Cloud Run.

Configura Cloud Build

I passaggi per configurare Cloud Build dipendono dal tipo di indirizzo IP assegnato all'istanza Cloud SQL.

IP pubblico (predefinito)

Assicurati che il tuo service account Cloud Build disponga dei ruoli e delle autorizzazioni IAM necessari per connettersi all'istanza Cloud SQL. L'account di servizio Cloud Build è elencato nella console Google Cloud nella pagina IAM come entità [YOUR-PROJECT-NUMBER]@cloudbuild.gserviceaccount.com.

Per visualizzare questo account di servizio nella console, seleziona la casella di controllo Includi concessioni di ruoli fornite da Google. Google Cloud

Il account di servizio Cloud Build deve disporre del Cloud SQL Client ruolo IAM.

Se il account di servizio Cloud Build appartiene a un progetto diverso dall'istanza Cloud SQL, l'API Cloud SQL Admin e il ruolo devono essere aggiunti per entrambi i progetti.

IP privato

Per connettersi all'istanza Cloud SQL tramite IP privato, Cloud Build deve trovarsi nella stessa rete VPC dell'istanza Cloud SQL. Per configurare questa impostazione:

  1. Configura una connessione privata tra la rete VPC della tua istanza Cloud SQL e la rete del producer di servizi.
  2. Crea un pool Cloud Build privato.

Una volta configurata, l'applicazione potrà connettersi direttamente utilizzando l'indirizzo IP privato e la porta 5432 dell'istanza quando la build viene eseguita nel pool.

Connettiti a Cloud SQL

Dopo aver configurato Cloud Build, puoi connetterti alla tua istanza Cloud SQL.

IP pubblico (predefinito)

Per i percorsi IP pubblici, Cloud Build supporta sia i socket Unix che TCP.

Puoi utilizzare il proxy di autenticazione Cloud SQL in un passaggio di Cloud Build per consentire le connessioni al tuo database. Questa configurazione:

  1. Crea il container ed esegue il push su Artifact Registry.
  2. Crea un secondo container, copiando il binario del proxy di autenticazione Cloud SQL.
  3. Utilizzando il secondo container, avvia il proxy di autenticazione Cloud SQL ed esegue tutti i comandi di migrazione.
steps:
  - id: install-proxy
    name: gcr.io/cloud-builders/wget
    entrypoint: sh
    args:
      - -c
      - |
        wget -O /workspace/cloud-sql-proxy https://storage.googleapis.com/cloud-sql-connectors/cloud-sql-proxy/2.17.1
        chmod +x /workspace/cloud-sql-proxy

 - id: migrate
    waitFor: ['install-proxy']
    name: YOUR_CONTAINER_IMAGE_NAME
    entrypoint: sh
    env:
      - "DATABASE_NAME=${_DATABASE_NAME}"
      - "DATABASE_USER=${_DATABASE_USER}"
      - "DATABASE_PORT=${_DATABASE_PORT}"
      - "INSTANCE_CONNECTION_NAME=${_INSTANCE_CONNECTION_NAME}"
    secretEnv:
      - DATABASE_PASS
    args:
      - "-c"
      - |
        /workspace/cloud-sql-proxy ${_INSTANCE_CONNECTION_NAME} --port ${_DATABASE_PORT} & sleep 2;
        # Cloud SQL Proxy is now up and running, add your own logic below to connect
        python migrate.py # For example

  options:
    dynamic_substitutions: true

  substitutions:
    _DATABASE_USER: myuser
    _DATABASE_NAME: mydatabase
    _INSTANCE_CONNECTION_NAME: ${PROJECT_ID}:us-central1:myinstance
    _DATABASE_PORT: '5432'
    _DATABASE_PASSWORD_KEY: database_password
    _AR_REPO_REGION: us-central1
    _AR_REPO_NAME: my-docker-repo
    _IMAGE_NAME: ${_AR_REPO_REGION}-docker.pkg.dev/${PROJECT_ID}/${_AR_REPO_NAME}/sample-sql-proxy

  availableSecrets:
    secretManager:
      - versionName: projects/$PROJECT_ID/secrets/${_DATABASE_PASSWORD_KEY}/versions/latest
        env: "DATABASE_PASS"

Il esempio di codice Cloud Build mostra come eseguire un ipotetico script migrate.py dopo aver eseguito il deployment dell'app di esempio precedente per aggiornare il database Cloud SQL utilizzando il proxy di autenticazione Cloud SQL e Cloud Build. Per eseguire questo esempio di codice Cloud Build, i passaggi di configurazione richiesti sono:

  1. Crea un nome per la cartella sql-proxy
  2. Crea un file Dockerfile nella cartella sql-proxy con la seguente riga di codice singola per i contenuti del file:
        FROM gcr.io/gcp-runtimes/ubuntu_20_0_4
        
  3. Crea un file cloudbuild.yaml nella cartella sql-proxy.
  4. Aggiorna il file cloudbuild.yaml:
    1. Copia il codice Cloud Build di esempio precedente e incollalo nel file cloudbuild.yaml.
    2. Sostituisci i seguenti valori segnaposto con i valori utilizzati nel tuo progetto:
      • mydatabase
      • myuser
      • myinstance
  5. Crea un secret denominato database_password in Secret Manager.
  6. Crea un file di script migrate.py nella cartella sql-proxy.
    • Lo script può fare riferimento alle seguenti variabili di ambiente e al secret creato nel file cloudbuild.yaml utilizzando i seguenti esempi:
      • os.getenv('DATABASE_NAME')
      • os.getenv('DATABASE_USER')
      • os.getenv('DATABASE_PASS')
      • os.getenv('INSTANCE_CONNECTION_NAME')
    • Per fare riferimento alle stesse variabili da uno script Bash (ad esempio migrate.sh), utilizza i seguenti esempi:
      • $DATABASE_NAME
      • $DATABASE_USER
      • $DATABASE_PASS
      • $INSTANCE_CONNECTION_NAME
  7. Esegui il seguente comando gcloud builds submit per creare un container con il proxy di autenticazione Cloud SQL, avviare il proxy di autenticazione Cloud SQL ed eseguire lo script migrate.py:
        gcloud builds submit --config cloudbuild.yaml
        

IP privato

Per i percorsi IP privati, l'applicazione si connette direttamente all'istanza tramite pool privati. Questo metodo utilizza TCP per connettersi direttamente all'istanza Cloud SQL senza utilizzare il proxy di autenticazione Cloud SQL.

Connettiti tramite TCP

Connettiti utilizzando l'indirizzo IP privato dell'istanza Cloud SQL come host e porta 5432.

Python

Per visualizzare questo snippet nel contesto di un'applicazione web, consulta il file README su GitHub.

import os
import ssl

import sqlalchemy


def connect_tcp_socket() -> sqlalchemy.engine.base.Engine:
    """Initializes a TCP connection pool for a Cloud SQL instance of Postgres."""
    # Note: Saving credentials in environment variables is convenient, but not
    # secure - consider a more secure solution such as
    # Cloud Secret Manager (https://cloud.google.com/secret-manager) to help
    # keep secrets safe.
    db_host = os.environ[
        "INSTANCE_HOST"
    ]  # e.g. '127.0.0.1' ('172.17.0.1' if deployed to GAE Flex)
    db_user = os.environ["DB_USER"]  # e.g. 'my-db-user'
    db_pass = os.environ["DB_PASS"]  # e.g. 'my-db-password'
    db_name = os.environ["DB_NAME"]  # e.g. 'my-database'
    db_port = os.environ["DB_PORT"]  # e.g. 5432

    pool = sqlalchemy.create_engine(
        # Equivalent URL:
        # postgresql+pg8000://<db_user>:<db_pass>@<db_host>:<db_port>/<db_name>
        sqlalchemy.engine.url.URL.create(
            drivername="postgresql+pg8000",
            username=db_user,
            password=db_pass,
            host=db_host,
            port=db_port,
            database=db_name,
        ),
        # ...
    )
    return pool

Java

Per visualizzare questo snippet nel contesto di un'applicazione web, consulta il file README su GitHub.

Nota:


import com.zaxxer.hikari.HikariConfig;
import com.zaxxer.hikari.HikariDataSource;
import javax.sql.DataSource;

public class TcpConnectionPoolFactory extends ConnectionPoolFactory {

  // Note: Saving credentials in environment variables is convenient, but not
  // secure - consider a more secure solution such as
  // Cloud Secret Manager (https://cloud.google.com/secret-manager) to help
  // keep secrets safe.
  private static final String DB_USER = System.getenv("DB_USER");
  private static final String DB_PASS = System.getenv("DB_PASS");
  private static final String DB_NAME = System.getenv("DB_NAME");

  private static final String INSTANCE_HOST = System.getenv("INSTANCE_HOST");
  private static final String DB_PORT = System.getenv("DB_PORT");


  public static DataSource createConnectionPool() {
    // The configuration object specifies behaviors for the connection pool.
    HikariConfig config = new HikariConfig();

    // The following URL is equivalent to setting the config options below:
    // jdbc:postgresql://<INSTANCE_HOST>:<DB_PORT>/<DB_NAME>?user=<DB_USER>&password=<DB_PASS>
    // See the link below for more info on building a JDBC URL for the Cloud SQL JDBC Socket Factory
    // https://github.com/GoogleCloudPlatform/cloud-sql-jdbc-socket-factory#creating-the-jdbc-url

    // Configure which instance and what database user to connect with.
    config.setJdbcUrl(String.format("jdbc:postgresql://%s:%s/%s", INSTANCE_HOST, DB_PORT, DB_NAME));
    config.setUsername(DB_USER); // e.g. "root", "postgres"
    config.setPassword(DB_PASS); // e.g. "my-password"


    // ... Specify additional connection properties here.
    // ...

    // Initialize the connection pool using the configuration object.
    return new HikariDataSource(config);
  }
}

Node.js

Per visualizzare questo snippet nel contesto di un'applicazione web, consulta il file README su GitHub.

const Knex = require('knex');
const fs = require('fs');

// createTcpPool initializes a TCP connection pool for a Cloud SQL
// instance of Postgres.
const createTcpPool = async config => {
  // Note: Saving credentials in environment variables is convenient, but not
  // secure - consider a more secure solution such as
  // Cloud Secret Manager (https://cloud.google.com/secret-manager) to help
  // keep secrets safe.
  const dbConfig = {
    client: 'pg',
    connection: {
      host: process.env.INSTANCE_HOST, // e.g. '127.0.0.1'
      port: process.env.DB_PORT, // e.g. '5432'
      user: process.env.DB_USER, // e.g. 'my-user'
      password: process.env.DB_PASS, // e.g. 'my-user-password'
      database: process.env.DB_NAME, // e.g. 'my-database'
    },
    // ... Specify additional properties here.
    ...config,
  };
  // Establish a connection to the database.
  return Knex(dbConfig);
};

Vai

Per visualizzare questo snippet nel contesto di un'applicazione web, consulta il file README su GitHub.

package cloudsql

import (
	"database/sql"
	"fmt"
	"log"
	"os"

	// Note: If connecting using the App Engine Flex Go runtime, use
	// "github.com/jackc/pgx/stdlib" instead, since v5 requires
	// Go modules which are not supported by App Engine Flex.
	_ "github.com/jackc/pgx/v5/stdlib"
)

// connectTCPSocket initializes a TCP connection pool for a Cloud SQL
// instance of Postgres.
func connectTCPSocket() (*sql.DB, error) {
	mustGetenv := func(k string) string {
		v := os.Getenv(k)
		if v == "" {
			log.Fatalf("Fatal Error in connect_tcp.go: %s environment variable not set.", k)
		}
		return v
	}
	// Note: Saving credentials in environment variables is convenient, but not
	// secure - consider a more secure solution such as
	// Cloud Secret Manager (https://cloud.google.com/secret-manager) to help
	// keep secrets safe.
	var (
		dbUser    = mustGetenv("DB_USER")       // e.g. 'my-db-user'
		dbPwd     = mustGetenv("DB_PASS")       // e.g. 'my-db-password'
		dbTCPHost = mustGetenv("INSTANCE_HOST") // e.g. '127.0.0.1' ('172.17.0.1' if deployed to GAE Flex)
		dbPort    = mustGetenv("DB_PORT")       // e.g. '5432'
		dbName    = mustGetenv("DB_NAME")       // e.g. 'my-database'
	)

	dbURI := fmt.Sprintf("host=%s user=%s password=%s port=%s database=%s",
		dbTCPHost, dbUser, dbPwd, dbPort, dbName)


	// dbPool is the pool of database connections.
	dbPool, err := sql.Open("pgx", dbURI)
	if err != nil {
		return nil, fmt.Errorf("sql.Open: %w", err)
	}

	// ...

	return dbPool, nil
}

C#

Per visualizzare questo snippet nel contesto di un'applicazione web, consulta il file README su GitHub.

using Npgsql;
using System;

namespace CloudSql
{
    public class PostgreSqlTcp
    {
        public static NpgsqlConnectionStringBuilder NewPostgreSqlTCPConnectionString()
        {
            // Equivalent connection string:
            // "Uid=<DB_USER>;Pwd=<DB_PASS>;Host=<INSTANCE_HOST>;Database=<DB_NAME>;"
            var connectionString = new NpgsqlConnectionStringBuilder()
            {
                // Note: Saving credentials in environment variables is convenient, but not
                // secure - consider a more secure solution such as
                // Cloud Secret Manager (https://cloud.google.com/secret-manager) to help
                // keep secrets safe.
                Host = Environment.GetEnvironmentVariable("INSTANCE_HOST"),     // e.g. '127.0.0.1'
                // Set Host to 'cloudsql' when deploying to App Engine Flexible environment
                Username = Environment.GetEnvironmentVariable("DB_USER"), // e.g. 'my-db-user'
                Password = Environment.GetEnvironmentVariable("DB_PASS"), // e.g. 'my-db-password'
                Database = Environment.GetEnvironmentVariable("DB_NAME"), // e.g. 'my-database'

                // The Cloud SQL proxy provides encryption between the proxy and instance.
                SslMode = SslMode.Disable,
            };
            connectionString.Pooling = true;
            // Specify additional properties here.
            return connectionString;
        }
    }
}

Ruby

Per visualizzare questo snippet nel contesto di un'applicazione web, consulta il file README su GitHub.

tcp: &tcp
  adapter: postgresql
  # Configure additional properties here.
  # Note: Saving credentials in environment variables is convenient, but not
  # secure - consider a more secure solution such as
  # Cloud Secret Manager (https://cloud.google.com/secret-manager) to help
  # keep secrets safe.
  username: <%= ENV["DB_USER"] %>  # e.g. "my-database-user"
  password: <%= ENV["DB_PASS"] %> # e.g. "my-database-password"
  database: <%= ENV.fetch("DB_NAME") { "vote_development" } %>
  host: <%= ENV.fetch("INSTANCE_HOST") { "127.0.0.1" }%> # '172.17.0.1' if deployed to GAE Flex
  port: <%= ENV.fetch("DB_PORT") { 5432 }%>

PHP

Per visualizzare questo snippet nel contesto di un'applicazione web, consulta il file README su GitHub.

namespace Google\Cloud\Samples\CloudSQL\Postgres;

use PDO;
use PDOException;
use RuntimeException;
use TypeError;

class DatabaseTcp
{
    public static function initTcpDatabaseConnection(): PDO
    {
        try {
            // Note: Saving credentials in environment variables is convenient, but not
            // secure - consider a more secure solution such as
            // Cloud Secret Manager (https://cloud.google.com/secret-manager) to help
            // keep secrets safe.
            $username = getenv('DB_USER'); // e.g. 'your_db_user'
            $password = getenv('DB_PASS'); // e.g. 'your_db_password'
            $dbName = getenv('DB_NAME'); // e.g. 'your_db_name'
            $instanceHost = getenv('INSTANCE_HOST'); // e.g. '127.0.0.1' ('172.17.0.1' for GAE Flex)

            // Connect using TCP
            $dsn = sprintf('pgsql:dbname=%s;host=%s', $dbName, $instanceHost);

            // Connect to the database
            $conn = new PDO(
                $dsn,
                $username,
                $password,
                # ...
            );
        } catch (TypeError $e) {
            throw new RuntimeException(
                sprintf(
                    'Invalid or missing configuration! Make sure you have set ' .
                        '$username, $password, $dbName, and $instanceHost (for TCP mode). ' .
                        'The PHP error was %s',
                    $e->getMessage()
                ),
                $e->getCode(),
                $e
            );
        } catch (PDOException $e) {
            throw new RuntimeException(
                sprintf(
                    'Could not connect to the Cloud SQL Database. Check that ' .
                        'your username and password are correct, that the Cloud SQL ' .
                        'proxy is running, and that the database exists and is ready ' .
                        'for use. For more assistance, refer to %s. The PDO error was %s',
                    'https://cloud.google.com/sql/docs/postgres/connect-external-app',
                    $e->getMessage()
                ),
                $e->getCode(),
                $e
            );
        }

        return $conn;
    }
}

Puoi quindi creare un passaggio di Cloud Build per eseguire il codice direttamente.

steps:
  - id: "docker-build"
    name: "gcr.io/cloud-builders/docker"
    args: ["build", "-t", "${_IMAGE_NAME}", "sql-private-pool/."]

  - id: "docker-push"
    name: "gcr.io/cloud-builders/docker"
    args: ["push", "${_IMAGE_NAME}"]

  - id: "migration"
    name: "${_IMAGE_NAME}"
    dir: sql-private-pool
    env:
      - "DATABASE_NAME=mydatabase"
      - "DATABASE_USER=myuser"
      - "DATABASE_HOST=${_DATABASE_HOST}"
      - "DATABASE_TYPE=${_DATABASE_TYPE}"
    secretEnv:
      - DATABASE_PASS
    entrypoint: python   # for example
    args: ["migrate.py"] # for example

options:
  pool:
    name: projects/$PROJECT_ID/locations/us-central1/workerPools/private-pool
  dynamicSubstitutions: true

substitutions:
  _DATABASE_PASSWORD_KEY: database_password
  _DATABASE_TYPE: postgres
  _AR_REPO_REGION: us-central1
  _AR_REPO_NAME: my-docker-repo
  _IMAGE_NAME: ${_AR_REPO_REGION}-docker.pkg.dev/${PROJECT_ID}/${_AR_REPO_NAME}/sample-private-pool

availableSecrets:
  secretManager:
    - versionName: projects/$PROJECT_ID/secrets/${_DATABASE_PASSWORD_KEY}/versions/latest
      env: DATABASE_PASS

L'esempio di codice Cloud Build riportato sopra mostra come eseguire un ipotetico script migrate dopo aver eseguito il deployment dell'app di esempio riportata sopra per aggiornare il relativo database Cloud SQL utilizzando Cloud Build. Per eseguire questo esempio di codice Cloud Build, i passaggi di configurazione richiesti sono:

  1. Crea un nome per la cartella sql-private-pool
  2. Crea un file Dockerfile nella cartella sql-private-pool con la seguente riga di codice per i contenuti del file:

    FROM gcr.io/gcp-runtimes/ubuntu_20_0_4

  3. Crea un file cloudbuild.yaml nella cartella sql-private-pool.
  4. Aggiorna il file cloudbuild.yaml:
    1. Copia il codice Cloud Build di esempio riportato sopra e incollalo nel file cloudbuild.yaml.
    2. Sostituisci i seguenti valori segnaposto con i valori utilizzati nel tuo progetto:
      • mydatabase
      • myuser
      • databasehost, nel formato host:port.
  5. Crea un secret denominato database_password in Secret Manager.
  6. Crea un file di script migrate.py nella cartella sql-proxy.
    • Lo script può fare riferimento alle seguenti variabili di ambiente e al secret creato nel file cloudbuild.yaml utilizzando i seguenti esempi:
      • os.getenv('DATABASE_NAME')
      • os.getenv('DATABASE_USER')
      • os.getenv('DATABASE_PASS')
      • os.getenv('DATABASE_HOST')
    • Per fare riferimento alle stesse variabili da uno script Bash (ad esempio migrate.sh), utilizza i seguenti esempi:
      • $DATABASE_NAME
      • $DATABASE_USER
      • $DATABASE_PASS
      • $DATABASE_HOST
  7. Esegui il seguente comando gcloud builds submit per creare un container con il proxy di autenticazione Cloud SQL, avviare il proxy di autenticazione Cloud SQL ed eseguire lo script migrate.py:

    gcloud builds submit --config cloudbuild.yaml

Best practice e altre informazioni

Puoi utilizzare il proxy di autenticazione Cloud SQL durante il test dell'applicazione in locale. Per istruzioni dettagliate, consulta la guida rapida per l'utilizzo del proxy di autenticazione Cloud SQL.

Puoi anche eseguire test utilizzando Cloud SQL Proxy tramite un container Docker.

Migrazioni dello schema del database

Se configuri Cloud Build per la connessione a Cloud SQL, puoi eseguire attività di migrazione dello schema del database in Cloud Build utilizzando lo stesso codice che distribuisci a qualsiasi altra piattaforma serverless.

Utilizzo di Secret Manager

Puoi utilizzare Secret Manager per includere informazioni sensibili nelle build.