Pianificare i backup dei database Cloud SQL

---

Questo tutorial mostra come utilizzare Cloud Scheduler e funzioni Cloud Run per pianificare i backup manuali per un database Cloud SQL.

Il completamento di questo tutorial richiede circa 30 minuti.

Innanzitutto, configura l'ambiente clonando un repository Git contenente database di test e archiviandoli in un bucket Cloud Storage.

Quindi, creerai un'istanza di database Cloud SQL per PostgreSQL e importerai i database di test dalla di bucket Cloud Storage nell'istanza.

Una volta configurato l'ambiente, creerai un job Cloud Scheduler che pubblica un messaggio di trigger di backup in una data e un'ora pianificate su un argomento Pub/Sub. Il messaggio contiene informazioni sul nome dell'istanza Cloud SQL e sul progetto ID. Il messaggio attiva una funzione Cloud Run. La funzione utilizza l'API Cloud SQL Admin per avviare un backup del database su Cloud SQL. La il seguente diagramma illustra questo flusso di lavoro:

Componenti di Google Cloud

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

• Cloud Storage Archivia i database di test importati in Cloud SQL.
• Istanza Cloud SQL: Contiene il database di cui eseguire il backup.
• Cloud Scheduler: pubblica i messaggi in un argomento Pub/Sub secondo una pianificazione impostata.
• Pub/Sub Contiene i messaggi inviati da Cloud Scheduler.
• Funzioni Cloud Run: si iscrive all'argomento Pub/Sub e, quando viene attivata, effettua una chiamata API all'istanza Cloud SQL per avviare il backup.

Una volta completate le attività descritte in questo documento, puoi evitare la fatturazione continua eliminando le risorse che hai creato. Per ulteriori informazioni, consulta la pagina Pulizia.

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Nella console Google Cloud, vai alla pagina API e abilita le seguenti API:

   • API Cloud SQL Admin
   • API Cloud Run Functions
   • API Cloud Scheduler
   • API Cloud Build
   • API App Engine Admin

   Vai alle API

Nel resto del tutorial, eseguirai tutti i comandi da Cloud Shell.

Configura l'ambiente

Per iniziare, clona il repository che contiene i dati di esempio. Poi, configura l'ambiente e crea ruoli personalizzati con le autorizzazioni necessarie per questo tutorial.

Puoi svolgere tutte le attività di questo tutorial in Cloud Shell.

1. Clona il repository che contiene i dati di esempio:

   git clone https://github.com/GoogleCloudPlatform/training-data-analyst.git
   

   Utilizza i dati del repository training-data-analyst per creare un database con alcuni record simulati.

2. Configura le seguenti variabili di ambiente:

   export PROJECT_ID=`gcloud config get-value project`
   export DEMO="sql-backup-tutorial"
   export BUCKET_NAME=${USER}-PostgreSQL-$(date +%s)
   export SQL_INSTANCE="${DEMO}-sql"
   export GCF_NAME="${DEMO}-gcf"
   export PUBSUB_TOPIC="${DEMO}-topic"
   export SCHEDULER_JOB="${DEMO}-job"
   export SQL_ROLE="sqlBackupCreator"
   export STORAGE_ROLE="simpleStorageRole"
   export REGION="us-west2"
   

3. Crea due ruoli personalizzati che abbiano solo le autorizzazioni necessarie per questo tutorial:

   gcloud iam roles create ${STORAGE_ROLE} --project ${PROJECT_ID} \
       --title "Simple Storage role" \
       --description "Grant permissions to view and create objects in Cloud Storage" \
       --permissions "storage.objects.create,storage.objects.get"
   

   gcloud iam roles create ${SQL_ROLE} --project ${PROJECT_ID} \
       --title "SQL Backup role" \
       --description "Grant permissions to backup data from a Cloud SQL instance" \
       --permissions "cloudsql.backupRuns.create"
   

   Nota: se ti viene chiesto di autorizzare Cloud Shell, fai clic su Autorizza. Inoltre, se viene visualizzato il messaggio di errore: (gcloud.iam.roles.create) You do not currently have an active account selected, esegui il comando gcloud auth login e segui i passaggi in Cloud Shell.

   Questi ruoli riducono l'ambito di accesso alle funzioni di Cloud Run gli account di servizio Cloud SQL, che seguono principio del privilegio minimo.

Crea un'istanza Cloud SQL

In questa sezione creerai un bucket Cloud Storage Cloud SQL per PostgreSQL. Quindi carichi il database di test nel bucket Cloud Storage e importa il database da lì di Cloud SQL.

Crea un bucket Cloud Storage

Utilizza il client gcloud per creare un bucket Cloud Storage.

```sh
gcloud storage buckets create gs://${BUCKET_NAME} --location=${REGION}
```

Creare un'istanza Cloud SQL e concedere le autorizzazioni al relativo account di servizio.

Successivamente, creerai un'istanza Cloud SQL e concedi il relativo account di servizio le autorizzazioni per creare esecuzioni di backup.

1. Crea un'istanza Cloud SQL per PostgreSQL:

   sh gcloud sql instances create ${SQL_INSTANCE} --database-version POSTGRES_13 --region ${REGION}

   Il completamento dell'operazione richiede alcuni minuti.

2. Verifica che l'istanza Cloud SQL sia in esecuzione:

   gcloud sql instances list --filter name=${SQL_INSTANCE}
   

   L'output è simile al seguente:

   NAME                     DATABASE_VERSION  LOCATION    TIER              PRIMARY_ADDRESS  PRIVATE_ADDRESS  STATUS
   sql-backup-tutorial      POSTGRES_13       us-west2-b  db-n1-standard-1  x.x.x.x     -                RUNNABLE
   

   Nota: per questo tutorial, il campo PRIMARY_ADDRESS è visualizzato come "x.x.x.x". Nel tuo caso, viene mostrato un indirizzo IP effettivo.

3. Concedi al tuo account di servizio Cloud SQL le autorizzazioni per l'esportazione in Cloud Storage con il ruolo Simple Storage:

   export SQL_SA=(`gcloud sql instances describe ${SQL_INSTANCE} \
       --project ${PROJECT_ID} \
       --format "value(serviceAccountEmailAddress)"`)
   
   gcloud storage buckets add-iam-policy-binding gs://${BUCKET_NAME} \
       --member=serviceAccount:${SQL_SA} \
       --role=projects/${PROJECT_ID}/roles/${STORAGE_ROLE}
   

Completa l'istanza Cloud SQL con dati di esempio

Ora puoi caricare file nel bucket e creare e compilare il tuo database di esempio.

1. Vai al repository che hai clonato:

   cd training-data-analyst/CPB100/lab3a/cloudsql
   

   IMPORTANTE: rimani in questa directory per il resto del tutorial.

2. Carica i file della directory nel nuovo bucket:

   gcloud storage cp * gs://${BUCKET_NAME}
   

3. Crea un database di esempio. Alla richiesta "Vuoi continuare (Y/n)?", digita Y (Sì) per continuare.

   gcloud sql import sql ${SQL_INSTANCE} gs://${BUCKET_NAME}/table_creation.sql --project ${PROJECT_ID}
   

4. Compila il database. Alla richiesta "Vuoi continuare (Y/n)?", invia Y (Sì) per continuare.

   gcloud sql import csv ${SQL_INSTANCE} gs://${BUCKET_NAME}/accommodation.csv \
       --database recommendation_spark \
       --table Accommodation
   

   gcloud sql import csv ${SQL_INSTANCE} gs://${BUCKET_NAME}/rating.csv \
       --database recommendation_spark \
       --table Rating
   

Crea un job per argomento, una funzione e uno scheduler

In questa sezione crei un account di servizio IAM personalizzato e lo associ al ruolo SQL personalizzato che hai creato in Configurare l'ambiente. Poi crei un argomento Pub/Sub e una funzione Cloud Run che si iscrive all'argomento e utilizza l'API Cloud SQL Admin per avviare un backup. Infine, devi creare del job Cloud Scheduler per pubblicare un messaggio Pub/Sub periodicamente.

Crea un account di servizio per la funzione Cloud Run

Il primo passaggio consiste nel creare un account di servizio personalizzato e associarlo al ruolo SQL personalizzato che hai creato in Configurare l'ambiente.

1. Crea un account di servizio IAM che verrà utilizzato dalla funzione Cloud Run:

   gcloud iam service-accounts create ${GCF_NAME} \
       --display-name "Service Account for GCF and SQL Admin API"
   

2. Concedi all'account di servizio della funzione Cloud Run l'accesso al ruolo SQL personalizzato:

   gcloud projects add-iam-policy-binding ${PROJECT_ID} \
       --member="serviceAccount:${GCF_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" \
       --role="projects/${PROJECT_ID}/roles/${SQL_ROLE}"
   

crea un argomento Pub/Sub

Il passaggio successivo consiste nel creare un argomento Pub/Sub utilizzato per attivare la funzione Cloud Run che interagisce con il database Cloud SQL.

```sh
gcloud pubsub topics create ${PUBSUB_TOPIC}
```

Crea una funzione Cloud Run

Quindi, creerai la funzione Cloud Run.

1. Crea un file main.py incollando quanto segue in Cloud Shell:

   cat <<EOF > main.py
   
   import base64
   import logging
   import json
   
   from datetime import datetime
   from httplib2 import Http
   
   from googleapiclient import discovery
   from googleapiclient.errors import HttpError
   from oauth2client.client import GoogleCredentials
   
   def main(event, context):
       pubsub_message = json.loads(base64.b64decode(event['data']).decode('utf-8'))
       credentials = GoogleCredentials.get_application_default()
   
       service = discovery.build('sqladmin', 'v1beta4', http=credentials.authorize(Http()), cache_discovery=False)
   
       try:
         request = service.backupRuns().insert(
               project=pubsub_message['project'],
               instance=pubsub_message['instance']
           )
         response = request.execute()
       except HttpError as err:
           logging.error("Could NOT run backup. Reason: {}".format(err))
       else:
         logging.info("Backup task status: {}".format(response))
   EOF
   

2. Crea un file requirements.txt incollando quanto segue in Cloud Shell:

   cat <<EOF > requirements.txt
   google-api-python-client
   Oauth2client
   EOF
   

3. Esegui il deployment del codice:

   gcloud functions deploy ${GCF_NAME} \
       --trigger-topic ${PUBSUB_TOPIC} \
       --runtime python37 \
       --entry-point main \
       --service-account ${GCF_NAME}@${PROJECT_ID}.iam.gserviceaccount.com
   

Crea un job Cloud Scheduler

Infine, crea un job Cloud Scheduler per attivare periodicamente la funzione di backup dei dati su base oraria. Cloud Scheduler utilizza un'istanza App Engine per il deployment.

1. Crea un'istanza App Engine per il job Cloud Scheduler:

   gcloud app create --region=${REGION}
   

2. Crea un job Cloud Scheduler:

   gcloud scheduler jobs create pubsub ${SCHEDULER_JOB} \
   --schedule "0 * * * *" \
   --topic ${PUBSUB_TOPIC} \
   --message-body '{"instance":'\"${SQL_INSTANCE}\"',"project":'\"${PROJECT_ID}\"'}' \
   --time-zone 'America/Los_Angeles'
   

Testa la tua soluzione

Il passaggio finale consiste nel testare la soluzione. Per iniziare, esegui il job Cloud Scheduler.

1. Esegui manualmente il job Cloud Scheduler per attivare un dump PostgreSQL del tuo database.

   gcloud scheduler jobs run ${SCHEDULER_JOB}
   

2. Elenca le operazioni eseguite sull'istanza PostgreSQL e verifica che viene eseguita un'operazione di tipo BACKUP_VOLUME:

   gcloud sql operations list --instance ${SQL_INSTANCE} --limit 1
   

   L'output mostra un job di backup completato. Ad esempio:

   NAME                                  TYPE           START                          END                            ERROR  STATUS
   8b031f0b-9d66-47fc-ba21-67dc20193749  BACKUP_VOLUME  2020-02-06T21:55:22.240+00:00  2020-02-06T21:55:32.614+00:00  -      DONE
   

Esegui la pulizia

Puoi evitare che al tuo account Google Cloud vengano addebitati costi per usate in questo tutorial seguendo questi passaggi. Il modo più semplice per eliminare la fatturazione è eliminare il progetto creato per il tutorial.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:
• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.
1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Se non vuoi eliminare l'intero progetto, elimina ogni le risorse che hai creato. Per farlo, vai alle pagine appropriate nella console Google Cloud, seleziona la risorsa ed eliminala.

• Vai alle funzioni Cloud Run

• Vai a Cloud Storage

• Vai a Istanze Cloud SQL

• Vai a Pub/Sub.

• Vai a Cloud Scheduler

Passaggi successivi

• Scopri come pianificare le istanze di calcolo con Cloud Scheduler.
• Scopri di più su Backup di Cloud SQL.
• Esplora architetture di riferimento, diagrammi e best practice su Google Cloud. Consulta il nostro Cloud Architecture Center.