Résoudre les problèmes liés à Cloud SQL

Cette page inclut des conseils pour résoudre les problèmes de Cloud SQL pour les moteurs de base de données compatibles. Certains de ces conseils ne s'appliquent qu'à des moteurs de base de données spécifiques, tandis que d'autres sont communs à tous.

Pour obtenir des conseils de dépannage pour des moteurs de base de données spécifiques, consultez leurs pages individuelles :

Vérifiez si votre question ou votre problème a déjà été résolu sur l'une des pages suivantes :

Les thèmes traités sur cette page sont les suivants :

Sauvegarde et récupération

Problème Dépannage
Vous ne pouvez pas voir l'état de l'opération en cours. Google Cloud Console signale les réussites ou les échecs d'exécution lorsque l'opération est terminée. Il n'est pas conçu pour afficher des avertissements ni d'autres mises à jour.

Exécutez la commande gcloud sql operations list pour répertorier toutes les opérations pour l'instance Cloud SQL donnée.

Vous souhaitez savoir qui a initié une opération de sauvegarde à la demande. L'interface utilisateur n'affiche pas l'utilisateur qui a lancé une opération.

Recherchez les utilisateurs dans les journaux et filtrez-les par texte. Vous devrez peut-être consulter les journaux d'audit pour obtenir des informations personnelles. Les fichiers journaux pertinents incluent :

  • Si Cloud Audit Logs est activé et que vous disposez des autorisations nécessaires pour les afficher, il est possible que cloudaudit.googleapis.com/activity soit également disponible.
Une fois qu'une instance est supprimée, vous ne pouvez plus en effectuer de sauvegarde.

Une fois qu'une instance est définitivement supprimée, la récupération de données est impossible. Toutefois, si l'instance est restaurée, ses sauvegardes sont également restaurées. Pour en savoir plus sur la récupération d'une instance supprimée, consultez la section Sauvegardes de récupération.

Si vous avez exporté les données, créez une instance puis importez les données pour recréer la base de données. Les données exportées sont écrites dans Cloud Storage, d'où sont lues les données importées.

La sauvegarde automatique demeure bloquée pendant de nombreuses heures et ne peut pas être annulée. Les sauvegardes peuvent prendre beaucoup de temps en fonction de la taille de la base de données.

Si vous devez vraiment annuler l'opération, vous pouvez demander au service client d'effectuer une opération force restart sur l'instance.

Une opération de restauration peut échouer lorsqu'un ou plusieurs utilisateurs référencés dans le fichier de vidage SQL n'existent pas. Avant de restaurer un fichier de vidage SQL, tous les utilisateurs de la base de données qui possèdent des objets ou disposent d'autorisations sur les objets qu'elle contient doivent exister dans la base de données cible. Si ce n'est pas le cas, l'opération de restauration ne recrée pas les objets avec les autorisations ou la propriété d'origine.

Créez les utilisateurs de la base de données avant d'effectuer une restauration à partir du fichier de vidage SQL.

Vous souhaitez augmenter le nombre de jours pendant lesquels vous pouvez conserver les sauvegardes automatiques de sept à 30 jours ou plus. Vous pouvez configurer le nombre de sauvegardes automatiques à conserver. Les sauvegardes automatiques sont régulièrement supprimées en fonction de la valeur de conservation configurée. Malheureusement, cela signifie que les sauvegardes visibles sont les seules sauvegardes automatiques à partir desquelles vous pourrez effectuer une restauration.

Pour conserver les sauvegardes indéfiniment, vous pouvez créer des sauvegardes à la demande, car elles ne sont pas supprimées de la même manière que les sauvegardes automatiques. Les sauvegardes à la demande sont conservées indéfiniment, c'est-à-dire jusqu'à leur suppression ou la suppression de l'instance à laquelle elles appartiennent. En revanche, comme les sauvegardes de ce type ne sont pas automatiquement supprimées, elles peuvent affecter la facturation.

La sauvegarde automatique a échoué et vous n'avez pas reçu de notification par e-mail. Pour que Cloud SQL vous informe de l'état de la sauvegarde, configurez une alerte basée sur les journaux.
Une instance échoue à plusieurs reprises, car elle passe de l'état d'échec à l'état de restauration de sauvegarde. Tentatives de connexion à la base de données et d'utilisation de la base de données après un échec de la restauration.
  • Il se peut qu'il y ait trop de connexions ouvertes. Un trop grand nombre de connexions peut entraîner des erreurs se produisant au milieu d'une connexion où aucun paramètre autovacuum n'est configuré pour nettoyer les connexions interrompues.
  • Le passage d'un état à l'autre peut se produire si un code personnalisé utilise une logique de nouvelle tentative qui ne s'arrête pas après quelques échecs.
  • Le trafic est peut-être trop important. Utilisez le pooling de connexions et d'autres bonnes pratiques de connectivité.

Solutions possibles

  1. Vérifiez que la base de données est configurée pour autovacuum.
  2. Vérifiez si une logique de nouvelle tentative de connexion est configurée dans le code personnalisé.
  3. Réduisez le trafic jusqu'à ce que la base de données récupère, puis augmentez lentement le trafic.
Vous constatez qu'il manque des données lors d'une opération de sauvegarde/restauration. Les tables ont été créées comme non consignées. Exemple :

CREATE UNLOGGED TABLE ....

Les tables suivantes ne sont pas incluses dans une restauration à partir d'une sauvegarde :

  • Le contenu des tables non consignées ne survit pas au basculement sur l'instance à haute disponibilité.
  • Les tables non consignées ne survivent pas aux plantages Postgres.
  • Les tables non consignées ne sont pas répliquées sur les instances dupliquées avec accès en lecture.
  • Les tables non consignées sont automatiquement effacées lors de la restauration de la sauvegarde.

La solution consiste à éviter d'utiliser des tables non consignées si vous souhaitez restaurer ces tables via une sauvegarde. Si vous effectuez une restauration à partir d'une base de données contenant déjà des tables non consignées, vous pouvez vider la base de données dans un fichier, puis recharger les données après avoir modifié le fichier de vidage afin de modifier la table (ALTER TABLE) pour définir ces tables comme consignées (SET LOGGED).

Clone

Problème Dépannage
Échec du clonage : erreur constraints/sql.restrictAuthorizedNetworks. L'opération de clonage est bloquée par la configuration Authorized Networks. Les Authorized Networks sont configurés pour les adresses IP publiques dans la section "Connectivité" de Google Cloud Console, et le clonage n'est pas autorisé pour des raisons de sécurité.

Si possible, supprimez toutes les entrées Authorized Networks de l'instance Cloud SQL. Sinon, créez une instance dupliquée sans aucune entrée Authorized Networks.

Message d'erreur : Failed to create subnetwork. Couldn't find free blocks in allocated IP ranges. Please allocate new ranges for this service provider. Help Token: [help-token-id].

Vous essayez d'utiliser la console Google Cloud pour cloner une instance avec une adresse IP privée, mais vous n'avez pas spécifié la plage d'adresses IP allouée que vous souhaitez utiliser et l'instance source n'est pas créée avec la plage spécifiée. Par conséquent, l'instance clonée est créée dans une plage aléatoire.

Utilisez gcloud pour cloner l'instance et indiquez une valeur pour le paramètre
--allocated-ip-range-name. Pour en savoir plus, consultez la section Cloner une instance avec une adresse IP privée.

Connect

Problème Dépannage
Aborted connection. Cause possible :
  • Instabilité du réseau.
  • Absence de réponse aux commandes keep-alive TCP (le client ou le serveur ne répond pas ou est peut-être surchargé)
  • La durée de vie de la connexion au moteur de base de données a été dépassée et le serveur met fin à la connexion.

Les applications doivent tolérer les défaillances du réseau et se baser sur les bonnes pratiques telles que le regroupement des connexions et les nouvelles tentatives. La plupart des regroupements de connexions interceptent ces erreurs lorsque cela est possible. Sinon, l'application doit réessayer ou échouer sans occasionner de blocage.

Pour effectuer de nouvelles tentatives de connexion, nous vous recommandons les techniques suivantes :

  1. Intervalle exponentiel entre les tentatives Augmentez l'intervalle de temps entre chaque nouvelle tentative, de manière exponentielle.
  2. Ajoutez également un intervalle aléatoire.

La combinaison de ces techniques permet de réduire les limitations.

FATAL: database 'user' does not exist. gcloud sql connect --user ne fonctionne qu'avec l'utilisateur postgres par défaut.

Connectez-vous avec l'utilisateur par défaut, puis changez d'utilisateur.

Vous voulez savoir qui est connecté. Connectez-vous à la base de données et exécutez la commande suivante :


SELECT datname,
usename,
application_name as appname,
client_addr,
state,
now() - backend_start as conn_age,
now() - state_change as last_activity_age
FROM pg_stat_activity
WHERE backend_type = 'client backend'
ORDER BY 6 DESC
LIMIT 20
   

Créer des instances

Problème Dépannage
Message d'erreur : Failed to create subnetwork. Router status is temporarily unavailable. Please try again later. Help Token: [token-ID]. Essayez de créer à nouveau l'instance Cloud SQL.

Exportation

Problème Dépannage
HTTP Error 409: Operation failed because another operation was already in progress. Une opération est déjà en attente pour votre instance. Il n'est possible d'exécuter qu'une seule opération à la fois. Envoyez votre requête lorsque l'opération en cours est terminée.
HTTP Error 403: The service account does not have the required permissions for the bucket. Assurez-vous que le bucket existe et que le compte de service de l'instance Cloud SQL (qui effectue l'exportation) dispose du rôle Storage Object Creator (roles/storage.objectCreator) pour autoriser l'exportation vers le bucket. Consultez la page Rôles IAM pour Cloud Storage.
L'exportation au format CSV a fonctionné, mais pas l'exportation au format SQL. Les formats CSV et SQL sont exportés de manière différente. Comme le format SQL exporte l'intégralité de la base de données, l'exportation prend probablement plus de temps. Le format CSV vous permet de définir les éléments de la base de données à exporter.

Exportez uniquement les données dont vous avez besoin à l'aide du format CSV.

L'exportation prend trop de temps. Cloud SQL n'est pas compatible avec les opérations synchrones simultanées.

Utilisez le déchargement des exportations. En règle générale, lors du déchargement des exportations, au lieu d'exécuter une exportation sur l'instance source, Cloud SQL lance une instance de déchargement pour effectuer l'exportation. Le déchargement des exportations présente plusieurs avantages, y compris une amélioration des performances sur l'instance source et le déblocage des opérations d'administration pendant l'exportation. Avec le déchargement des exportations, la latence totale peut augmenter en fonction du temps nécessaire à l'affichage de l'instance de déchargement. En règle générale, la latence n'est pas significative pour les exportations de taille raisonnable. Toutefois, si votre exportation est suffisamment petite, vous pouvez constater une augmentation de la latence.

Erreur de création de l'extension Le fichier de vidage contient des références à une extension non compatible.

Modifiez le fichier de vidage pour supprimer les références.

Erreur lors de l'utilisation de pg_dumpall. L'utilisation de l'utilitaire pg_dumpall avec l'option --global nécessite le rôle de super-utilisateur, mais ce rôle n'est pas disponible dans Cloud SQL. Pour éviter les erreurs lors de l'exécution d'opérations d'exportation incluant des noms d'utilisateur, utilisez également l'option --no-role-passwords.
L'opération d'exportation expire avant d'exporter des données et le message d'erreur Could not receive data from client: Connection reset by peer. s'affiche. Si Cloud Storage ne reçoit aucune donnée dans les délais impartis (généralement environ sept minutes), la connexion est réinitialisée. Il est possible que l'exécution de la requête d'exportation initiale soit trop longue.

Effectuez une exportation manuelle à l'aide de l'outil pg_dump.

Vous souhaitez automatiser les exportations. Cloud SQL ne permet pas d'automatiser les exportations.

Vous pouvez créer votre propre système d'exportation automatisé à l'aide de produits Google Cloud tels que Cloud Scheduler, Pub/Sub et Cloud Functions, de manière semblable à cet article sur l'automatisation des sauvegardes.

Instance principale externe

Problème Dépannage
Lost connection to MySQL server during query when dumping table. Peut-être que la source est devenue indisponible ou que le vidage contenait des paquets trop volumineux.

Assurez-vous que l'instance principale externe est disponible. Vous pouvez également modifier les valeurs des options net_read_timeout et net_write_timeout sur l'instance source afin d'arrêter l'erreur. Pour en savoir plus sur les valeurs autorisées pour ces options, consultez la page Configurer des options de base de données.

Pour en savoir plus sur l'utilisation des options de mysqldump pour la migration des importations gérées, consultez la section Options de synchronisation initiales autorisées et par défaut.

La migration initiale des données a abouti, mais aucune donnée n'est répliquée. Il se peut que votre base de données source ait défini des options de réplication qui empêchent la réplication de certaines ou de toutes les modifications de la base de données.

Assurez-vous que les options de réplication telles que binlog-do-db, binlog-ignore-db, replicate-do-db ou replicate-ignore-db ne sont pas définies de manière conflictuelle.

Exécutez la commande show master status sur l'instance principale pour afficher les paramètres actuels.

La migration initiale des données a abouti, mais la réplication des données cesse de fonctionner après un certain temps. Solutions possibles

  • Vérifiez les métriques de réplication de votre instance dupliquée dans la section "Cloud Monitoring" de Google Cloud Console.
  • Les erreurs du thread d'E/S MySQL ou du thread SQL sont disponibles dans Cloud Logging dans les fichiers mysql.err log.
  • Cette erreur peut également se produire lors de la connexion à l'instance dupliquée. Exécutez la commande SHOW SLAVE STATUS et vérifiez les champs suivants dans le résultat :
    • Slave_IO_Running
    • Slave_SQL_Running
    • Last_IO_Error
    • Last_SQL_Error
mysqld check failed: data disk is full. Le disque de données de l'instance dupliquée est saturé.

Augmentez la taille du disque de l'instance dupliquée. Vous pouvez augmenter manuellement la taille du disque ou activer l'augmentation automatique de l'espace de stockage.

Instance dupliquée externe

Problème Dépannage
Message d'erreur : The slave is connecting ... master has purged binary logs containing GTIDs that the slave requires. L'instance principale Cloud SQL dispose de sauvegardes automatiques, de journaux binaires et de la récupération à un moment précis. Elle devrait donc disposer de suffisamment de journaux pour que l'instance dupliquée puisse rattraper son retard. Toutefois, même si les journaux binaires existent, l'instance dupliquée ne sait pas sur quelle ligne commencer à lire.

Créez un nouveau fichier de vidage avec les options appropriées puis configurez l'instance dupliquée externe en utilisant ce fichier.

  1. Connectez-vous à votre client mysql via une instance Compute Engine.
  2. Exécutez mysqldump et utilisez les options --master-data=1 et --flush-privileges.

    Important : n'incluez pas l'option --set-gtid-purged=OFF.

    En savoir plus.

  3. Assurez-vous que le fichier de vidage que vous venez de créer contient la ligne SET @@GLOBAL.GTID_PURGED='...'.
  4. Importez le fichier de vidage dans un bucket Cloud Storage puis configurez l'instance dupliquée en utilisant ce fichier de vidage.

Options

Problème Dépannage

Haute disponibilité

Problème Dépannage
Vous ne trouvez pas les métriques d'un basculement manuel. Seuls les basculements automatiques sont pris en compte dans les métriques.
L'utilisation des ressources d'instance Cloud SQL (processeur et mémoire RAM) arrive bientôt à 100 %, ce qui entraîne l'arrêt de l'instance à haute disponibilité. La taille de la machine de l'instance est insuffisante pour la charge.

Modifiez l'instance en augmentant la taille de la machine afin d'obtenir plus de processeurs et de mémoire.

Import

Problème Dépannage
HTTP Error 409: Operation failed because another operation was already in progress. Une opération est déjà en attente pour votre instance. Il n'est possible d'exécuter qu'une seule opération à la fois. Envoyez votre requête lorsque l'opération en cours est terminée.
L'opération d'importation prend trop de temps. Un trop grand nombre de connexions actives peut interférer avec les opérations d'importation.

Fermez les opérations inutilisées. Vérifiez l'utilisation du processeur et de la mémoire de votre instance Cloud SQL pour vous assurer que de nombreuses ressources sont disponibles. Le meilleur moyen de s'assurer de la présence d'un nombre maximal de ressources pour l'opération d'importation consiste à redémarrer l'instance avant de lancer l'importation.

Un redémarrage :

  • ferme toutes les connexions ;
  • met fin à toutes les tâches susceptibles de consommer des ressources.
Une opération d'importation peut échouer lorsqu'un ou plusieurs utilisateurs référencés dans le fichier de vidage n'existent pas. Avant d'importer un fichier de vidage, tous les utilisateurs de la base de données qui possèdent des objets ou disposent d'autorisations sur les objets qu'elle contient doivent exister dans la base de données cible. Si ce n'est pas le cas, l'opération d'importation ne parvient pas à recréer les objets en rétablissant les propriétaires ou les autorisations d'origine.

Créez les utilisateurs de la base de données avant de l'importer.

Une importation échoue et une erreur indiquant qu'une table n'existe pas s'affiche. Les tables peuvent comporter des dépendances de clés étrangères sur d'autres tables. En fonction de l'ordre des opérations, il est possible qu'une ou plusieurs de ces tables n'existent pas encore lors de l'importation.

Solutions possibles

Ajoutez la ligne suivante au début du fichier de vidage :


SET FOREIGN_KEY_CHECKS=0;
  

Ajoutez également cette ligne à la fin du fichier de vidage :


SET FOREIGN_KEY_CHECKS=1;
  

Ces paramètres désactivent les vérifications de l'intégrité des données pendant que l'opération d'importation est en cours, et les réactivent une fois les données chargées. Cela n'affecte pas l'intégrité des données de la base de données, car elles ont déjà été validées lors de la création du fichier de vidage.

Intégration de Vertex AI

Problème Dépannage
Message d'erreur : Google ML integration API is supported only on Postgres version 12 or above. Pour activer l'intégration de Vertex AI dans Cloud SQL, vous devez disposer d'une base de données Cloud SQL pour PostgreSQL version 12 ou ultérieure. Pour mettre à niveau votre base de données vers cette version, consultez la page Mettre à niveau la version majeure de la base de données sur place.
Message d'erreur : Google ML Integration API is not supported on shared core instance. Please upsize your machine type. Si vous avez sélectionné un cœur partagé pour le type de machine de votre instance, vous ne pouvez pas activer l'intégration de Vertex AI dans Cloud SQL. Mettez à niveau votre type de machine pour utiliser un cœur dédié. Pour en savoir plus, consultez la section Type de machine.
Message d'erreur : Google ML Integration is unsupported for this maintenance version. Please follow https://cloud.google.com/sql/docs/postgres/self-service-maintenance to update the maintenance version of the instance. Pour activer l'intégration de Vertex AI dans Cloud SQL, la version de maintenance de votre instance doit être une version R20240130 ou ultérieure. Pour mettre à niveau votre instance vers cette version, consultez la section Maintenance en libre-service.
Message d'erreur : Cannot invoke ml_predict_row if 'cloudsql.enable_google_ml_integration' is off. L'option de base de données cloudsql.enable_google_ml_integration est désactivée. Cloud SQL ne peut pas intégrer Vertex AI.

Pour activer cette option, utilisez la commande gcloud sql instances patch :

gcloud sql instances patch INSTANCE_NAME --database-flags cloudsql.enable_google_ml_integration=on

Remplacez INSTANCE_NAME par le nom de l'instance Cloud SQL principale.
Message d'erreur : Failed to connect to remote host: Connection refused. L'intégration entre Cloud SQL et Vertex AI n'est pas activée. Pour activer cette intégration, utilisez la commande gcloud sql instances patch :

gcloud sql instances patch INSTANCE_NAME
--enable-google-ml-integration


Remplacez INSTANCE_NAME par le nom de l'instance Cloud SQL principale.
Message d'erreur : Vertex AI API has not been used in project PROJECT_ID before or it is disabled. Enable it by visiting /apis/api/aiplatform.googleapis.com/overview?project=PROJECT_ID then retry. L'API Vertex AI n'est pas activée. Pour en savoir plus sur l'activation de cette API, consultez la section Activer l'intégration de base de données avec Vertex AI.
Message d'erreur : Permission 'aiplatform.endpoints.predict' denied on resource. Les autorisations Vertex AI ne sont pas ajoutées au compte de service Cloud SQL pour le projet où se trouve l'instance Cloud SQL. Pour en savoir plus sur l'ajout de ces autorisations au compte de service, consultez la section Activer l'intégration de base de données avec Vertex AI.
Message d'erreur : Publisher Model `projects/PROJECT_ID/locations/REGION_NAME/publishers/google/models/MODEL_NAME` not found. Le modèle de machine learning ou le LLM n'existe pas dans Vertex AI.
Message d'erreur : Resource exhausted: grpc: received message larger than max. La taille de la requête que Cloud SQL transmet à Vertex AI dépasse la limite gRPC de 4 Mo par requête.
Message d'erreur : Cloud SQL attempts to send a request to Vertex AI. However, the instance is in the %s region, but the Vertex AI endpoint is in the %s region. Make sure the instance and endpoint are in the same region. Cloud SQL tente d'envoyer une requête à Vertex AI. Cependant, l'instance se trouve dans une région, mais le point de terminaison Vertex AI se trouve dans une région différente. Pour résoudre ce problème, l'instance et le point de terminaison doivent se trouver dans la même région.
Message d'erreur : The Vertex AI endpoint isn't formatted properly. Le format du point de terminaison Vertex AI n'est pas correct. Pour en savoir plus, consultez la section Utiliser des points de terminaison privés pour la prédiction en ligne.
Message d'erreur : Quota exceeded for aiplatform.googleapis.com/online_prediction_requests_per_base_model with base model: textembedding-gecko. Le nombre de requêtes que Cloud SQL transmet à Vertex AI dépasse la limite de 1 500 requêtes par minute par région par modèle par projet.

Serveurs associés

Message d'erreur Dépannage
Msg 7411, Level 16, State 1, Line 25

Server 'LINKED_SERVER_NAME' is not configured for DATA ACCESS.
L'option DataAccess est désactivée. Exécutez la commande suivante pour activer l'accès aux données:

EXEC sp_serveroption
    @server='LINKED_SERVER_NAME',
    @optname='data access',
    @optvalue='TRUE'

Remplacez LINKED_SERVER_NAME par le nom du serveur associé.

Access to the remote server is denied because no login-mapping exists. (Microsoft SQL Server, Error: 7416) Si vous rencontrez ce problème lors de l'établissement d'une connexion chiffrée, vous devez essayer d'une autre manière de fournir l'ID utilisateur lorsque vous accédez au serveur associé. Pour ce faire, exécutez la commande suivante :

EXEC master.dbo.sp_addlinkedserver
   @server = N'LINKED_SERVER_NAME',
   @srvproduct= N'',
   @provider= N'SQLNCLI',
   @datasrc= N'TARGET_SERVER_ID',
   @provstr= N'Encrypt=yes;TrustServerCertificate=yes;User ID=USER_ID'

Remplacez les éléments suivants :

  • LINKED_SERVER_NAME par le nom du serveur associé.
  • TARGET_SERVER_ID par le nom du serveur cible, ou par l'adresse IP et le numéro de port du serveur cible.
  • USER_ID par l'utilisateur qui se connecte.

Journalisation

Problème Dépannage
Les journaux d'audit sont introuvables. Les journaux d'accès aux données ne sont écrits que si l'opération est un appel d'API authentifié qui crée, modifie ou lit des données créées par l'utilisateur, ou si l'opération accède à des fichiers de configuration ou à des métadonnées de ressources.
Les informations sur les opérations sont introuvables dans les journaux. Vous souhaitez obtenir davantage d'informations sur une opération.

Par exemple, un utilisateur a été supprimé, mais vous ne pouvez pas savoir qui est à l'origine de cette opération. Les journaux indiquent que l'opération a commencé, mais ne fournissent pas plus d'informations. Pour obtenir des informations détaillées et des informations personnelles telles que celles-ci, vous devez activer la journalisation d'audit.

Certains journaux sont filtrés à partir du journal error.log d'une instance Cloud SQL pour SQL Server. Les journaux filtrés incluent les journaux AD sans horodatage, et incluent les éléments suivants : Login failed for user 'x'. Reason: Token-based server access validation failed with an infrastructure error. Login lacks connect endpoint permission. [CLIENT: 127.0.0.1]. Ces journaux sont filtrés, car ils peuvent prêter à confusion.
La journalisation consomme une grande quantité d'espace disque. Trois types de fichiers journaux utilisent l'espace disque : les journaux de rétablissement, les journaux généraux et les journaux binaires.

Connectez-vous à la base de données et exécutez les commandes suivantes pour en savoir plus sur chaque type :


SHOW VARIABLES LIKE 'innodb_log_file%';

SELECT ROUND(SUM(LENGTH(argument)/POW(1024,2),2)
AS GB from mysql.general_log;

SHOW BINARY LOGS;
    
Les fichiers journaux sont difficiles à lire. Vous préférez afficher les journaux au format JSON ou texte. Pour télécharger les journaux, vous pouvez utiliser la commande gcloud logging read avec les commandes Linux de post-traitement.

Pour télécharger les journaux au format JSON, procédez comme suit :


gcloud logging read \
"resource.type=cloudsql_database \
AND logName=projects/PROJECT_ID \
/logs/cloudsql.googleapis.com%2FLOG_NAME" \
--format json \
--project=PROJECT_ID \
--freshness="1d" \
> downloaded-log.json
    

Pour télécharger les journaux au format TEXT, procédez comme suit :


gcloud logging read \
"resource.type=cloudsql_database \
AND logName=projects/PROJECT_ID \
/logs/cloudsql.googleapis.com%2FLOG_NAME" \
--format json \
--project=PROJECT_ID \
--freshness="1d"| jq -rnc --stream 'fromstream(1|truncate_stream(inputs)) \
| .textPayload' \
--order=asc
> downloaded-log.txt
   
Les journaux de requêtes sont introuvables dans les journaux PostgreSQL. Vous devez activer les options pgaudit.
  1. Depuis un terminal, connectez-vous à la base de données :
    
    gcloud sql connect INSTANCE_NAME
          
  2. Exécutez la commande suivante pour créer l'extension :
    
    CREATE EXTENSION pgaudit;
          
  3. Quittez la base de données et exécutez la commande suivante à partir d'un terminal :
    
    gcloud sql instances patch INSTANCE_NAME \
    --database-flags=cloudsql.enable_pgaudit=on,pgaudit.log=all
         

Gérer les instances

Problème Dépannage
Lenteur des performances après le redémarrage de MySQL. Cloud SQL autorise la mise en cache des données dans le pool de mémoire tampon InnoDB. Cependant, après un redémarrage, ce cache est toujours vide, et toutes les lectures nécessitent un aller-retour vers le backend pour obtenir des données. Par conséquent, les requêtes peuvent être plus lentes que prévu jusqu'à ce que le cache soit rempli.
Récupération lente après un plantage Un general_log volumineux s'est peut-être accumulé. Vous pouvez réduire le temps de récupération après plantage en empêchant un general_log volumineux de s'accumuler. Si vous avez activé general_log, tronquez la table et n'activez general_log que pendant de courtes périodes.

Pour connaître la taille des journaux généraux, connectez-vous à la base de données et exécutez la requête suivante :

SELECT ROUND(SUM(LENGTH(argument)/POW(1024,2)),2) from mysql.general_log;
Vous voulez savoir ce qui consomme de l'espace de stockage. Par exemple, vous remarquez que votre base de données n'utilise que 3 Go, alors que le stockage indique que 14 Go sont utilisés. La plupart de l'espace non utilisé par les tables est utilisé par les journaux binaires et/ou les fichiers temporaires.

Solutions possibles

  • Vous pouvez vérifier l'espace de stockage occupé par les journaux binaires à l'aide de la commande suivante dans l'interface de ligne de commande MySQL : SHOW BINARY LOGS;
  • Les tables temporaires peuvent également occuper une quantité importante d'espace de stockage. Pour vérifier l'utilisation de l'espace temporaire, utilisez la commande suivante : SELECT * FROM INFORMATION_SCHEMA.FILES WHERE TABLESPACE_NAME='innodb_temporary'\G.
  • La commande suivante vous permet de vérifier la taille du journal de rétablissement : SHOW VARIABLES LIKE 'innodb_log_file%';
  • Vous pouvez vérifier la taille de general_log, s'il est activé, à l'aide de la commande suivante : SELECT ROUND(SUM(LENGTH(argument)/POW(1024,2)),2) AS GB from mysql.general_log;
  • Si nécessaire, vous pouvez tronquer vos tables de journal à l'aide de l'API. Pour plus d'informations, consultez la page de la documentation de référence sur la méthode instances.truncateLog.
  • Apprenez-en plus sur les paramètres et la configuration des journaux de requête lente.
Les requêtes sont bloquées. Les requêtes peuvent verrouiller la base de données MySQL, ce qui entraîne le blocage/l'expiration de toutes les requêtes suivantes.

Connectez-vous à la base de données et exécutez cette requête :

SHOW PROCESSLIST.

Le premier élément de la liste peut être celui conservant le verrouillage, que les éléments suivants attendent.

La requête SHOW INNODB STATUS peut également être utile.

Impossible de supprimer manuellement les journaux binaires Les journaux binaires ne peuvent pas être supprimés manuellement. Ils sont automatiquement supprimés, ainsi que leur sauvegarde automatique associée, au bout de sept jours environ.
Vous souhaitez obtenir des informations sur les fichiers temporaires. Un fichier nommé ibtmp1 est utilisé pour stocker des données temporaires. Ce fichier est réinitialisé au redémarrage de la base de données. Pour trouver des informations sur l'utilisation des fichiers temporaires, connectez-vous à la base de données et exécutez la requête suivante :

SELECT * FROM INFORMATION_SCHEMA.FILES WHERE TABLESPACE_NAME='innodb_temporary'\G

Vous souhaitez connaître les tailles des tables. Ces informations sont disponibles dans la base de données.

Connectez-vous à la base de données et exécutez la requête suivante :

SELECT TABLE_SCHEMA, TABLE_NAME, sum(DATA_LENGTH+INDEX_LENGTH)/pow(1024,2) FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA NOT IN ('PERFORMANCE_SCHEMA','INFORMATION_SCHEMA','SYS','MYSQL') GROUP BY TABLE_SCHEMA, TABLE_NAME;

mysqld a reçu un signal 11. Essayez de refactoriser les requêtes afin qu'elles ne créent pas trop de connexions. Si le problème persiste, contactez le service client. Le signal 11 représente généralement un problème logiciel MySQL.

InnoDB: page_cleaner: 1000ms intended loop took 5215ms. The settings might not be optimal. Le nettoyage de page ne peut pas suivre le rythme des changements sur l'instance. Une fois par seconde, le nettoyage de page analyse le pool de mémoire tampon pour identifier les pages modifiées afin de vider le pool de mémoire tampon sur le disque. L'avertissement vous montre qu'il contient de nombreuses pages modifiées à vider, et il faut plus d'une seconde pour vider un lot de pages sur le disque.

Si possible, segmentez l'instance. L'utilisation de nombreuses instances Cloud SQL plus petites est préférable à une instance de grande taille.

Vous souhaitez savoir quelles requêtes sont en cours d'exécution. Connectez-vous à la base de données et exécutez la requête suivante :

SELECT datname, usename, application_name as appname, client_addr, state, now() - backend_start as conn_age, now() - xact_start as xact_age, now() - query_start as query_age, now() - state_change as last_activity_age, wait_event_type, wait_event, query FROM pg_stat_activity WHERE state <> 'idle' ORDER BY 8 DESC LIMIT 20;

Vous souhaitez savoir quelles unités sont utilisées pour un champ spécifique. Connectez-vous à la base de données et exécutez la requête suivante (en utilisant votre propre valeur de FIELD_NAME) :

SELECT name, setting, unit FROM pg_settings WHERE name = 'FIELD_NAME'.

Vous souhaitez connaître la valeur actuelle d'un paramètre de base de données. Connectez-vous à la base de données et exécutez la requête suivante (en utilisant votre propre valeur de SETTING_NAME) :

SHOW SETTING_NAME;

Exécutez SHOW ALL; pour afficher tous les paramètres.

Vous souhaitez arrêter un processus en arrière-plan bloqué. L'utilisateur doit détenir le rôle pg_signal_backend.

Exécutez les commandes suivantes :

  1. 
          GRANT pg_signal_backend TO USERNAME;
          
  2. Recherchez l'ID du processus bloqué :
    
          SELECT pid, usename, state, query FROM pg_stat_activity;
          
  3. Arrêtez un processus en cours d'exécution ou inactif à l'aide des commandes suivantes :
    
          SELECT pg_cancel_backend(pid)
                FROM pg_stat_activity
                WHERE usename = 'USERNAME';
          
          
    
          SELECT pg_terminate_backend(pid)
                FROM pg_stat_activity
                WHERE usename = 'USERNAME';
          
          
L'instance consomme presque 100 % des ID de transaction. Votre système de surveillance interne vous avertit que l'instance consomme presque 100 % des ID de transaction. Il convient d'éviter la réinitialisation des transactions, qui peut bloquer les écritures.

La tâche autovacuum peut être bloquée, ou ne pas récupérer les ID de transaction assez rapidement pour suivre la charge de travail.

Afin d'éviter toute interruption de service due à un problème de réinitialisation des transactions, consultez ces conseils d'auto-assistance pour gérer la réinitialisation des TXID.

Pour obtenir des conseils généraux de paramétrage, consultez la section Optimiser, surveiller et dépanner les opérations VACUUM dans PostgreSQL.

L'espace de stockage temporaire a entraîné l'augmentation automatique de l'espace de stockage. L'augmentation automatique de l'espace de stockage est activée.

Le redémarrage supprime les fichiers temporaires sans réduire l'espace de stockage. Seul le service client est en mesure de réinitialiser la taille de l'instance.

Les données sont automatiquement supprimées. Il est probable qu'un script s'exécute quelque part dans votre environnement.

Examinez les journaux au moment de la suppression et vérifiez si un script malveillant est en cours d'exécution à partir d'un tableau de bord ou d'un autre processus automatisé.

Impossible de supprimer l'instance. Le message d'erreur ERROR: (gcloud.sql.instances.delete) HTTP Error 409: The instance or operation is not in an appropriate state to handle the request s'affiche, ou l'instance affiche INSTANCE_RISKY_FLAG_CONFIG pour l'état d'une option.

Voici quelques explications possibles :

  • Une autre opération est en cours. Les opérations Cloud SQL ne s'exécutent pas simultanément. Attendez que l'autre opération se termine.
  • L'avertissement INSTANCE_RISKY_FLAG_CONFIG est déclenché chaque fois qu'au moins une option beta est utilisée. Supprimez les paramètres risqués de l'option et redémarrez l'instance.
L'instance se bloque en raison du volume important des données temporaires. Le système peut créer plusieurs tables temporaires à la fois, en fonction des requêtes et de la charge.

Malheureusement, vous ne pouvez réduire le fichier ibtmp1 qu'en redémarrant le service.

L'une des mesures d'atténuation consiste à créer la table temporaire avec ROW_FORMAT=COMPRESSED, afin de stocker ce fichier dans des espaces de tables de type "un fichier par table" dans le répertoire de fichiers temporaires. Toutefois, cette méthode génère des coûts de performances liés à la création et à la suppression d'un espace de table de type "un fichier par table" pour chaque table temporaire.

Erreur fatale lors de la mise à niveau. Les journaux peuvent fournir davantage d'informations, mais dans tous les cas, vous devrez peut-être contacter le service client pour forcer la recréation de l'instance.
L'instance se bloque au redémarrage après avoir épuisé l'espace disque. La fonctionnalité d'augmentation automatique de l'espace de stockage n'est pas activée.

Si l'espace de stockage de votre instance est insuffisant et que la fonctionnalité d'augmentation automatique de l'espace de stockage n'est pas activée, l'instance se déconnecte. Pour éviter ce problème, vous pouvez modifier l'instance afin d'activer l'augmentation automatique de l'espace de stockage.

Blocage de l'instance principale sur site Google Cloud ne peut pas vous aider avec des instances qui ne sont pas dans Cloud SQL.
Arrêt lent au redémarrage. Lorsqu'une instance s'arrête, toutes les connexions en attente qui ne se terminent pas au bout de 60 secondes entraînent un arrêt incorrect.

En limitant les connexions à moins de 60 secondes, y compris les connexions à partir de l'invite de commande de base de données, vous pouvez éviter la plupart des arrêts non propres. Si vous laissez ces connexions ouvertes pendant des heures ou plusieurs jours, cela peut entraîner des arrêts incorrects.

Impossible de supprimer un utilisateur. L'utilisateur dispose d'objets dans la base de données qui en dépendent. Vous devez supprimer ces objets ou les réattribuer à un autre utilisateur.

Identifiez les objets qui dépendent de l'utilisateur, puis supprimez-les ou réattribuez-les à un autre utilisateur.

Certaines requêtes sont lentes. Les requêtes peuvent être lentes pour de nombreuses raisons, principalement à cause de certains aspects de la base de données. L'une des raisons pouvant impliquer Cloud SQL est la latence du réseau, lorsque la ressource source (rédacteur ou lecteur) et la ressource de destination (Cloud SQL) se trouvent dans différentes régions.

Reportez-vous aux conseils généraux sur les performances, en particulier.

Pour les insertions, mises à jour ou suppressions lentes de bases de données, envisagez les actions suivantes :

  • Vérifiez l'emplacement du rédacteur et de la base de données. L'envoi de données sur une longue distance entraîne une latence.
  • Vérifiez l'emplacement du lecteur et de la base de données. La latence affecte davantage les performances de lecture que les performances d'écriture.

Pour réduire la latence, nous vous recommandons de placer les ressources sources et de destination dans la même région.

Mémoire insuffisante signalée, mais non reportée dans les graphiques de surveillance. Une instance peut échouer et signaler Out of memory, mais les graphiques Cloud Monitoring ou Google Cloud Console semblent indiquer qu'il reste encore de la mémoire.

En dehors de votre charge de travail, d'autres facteurs peuvent avoir une incidence sur l'utilisation de la mémoire, tels que le nombre de connexions actives et les processus internes. Ils ne sont pas toujours reflétés dans les graphiques de surveillance.

Assurez-vous que l'instance dispose d'une marge suffisante pour prendre en compte votre charge de travail et une utilisation supplémentaire de la mémoire.

Récupérer une instance supprimée. Toutes les données d'une instance, y compris les sauvegardes, sont définitivement perdues lors de sa suppression.

Pour conserver vos données, exportez-les vers Cloud Storage avant de supprimer l'instance.

Le rôle d'administrateur Cloud SQL inclut l'autorisation de supprimer l'instance. Pour éviter toute suppression accidentelle, accordez ce rôle uniquement si nécessaire.

Vous souhaitez renommer une instance Cloud SQL existante. Il n'est pas possible de renommer une instance existante.

Il existe d'autres façons d'atteindre cet objectif en créant une instance.

  • Vous pouvez cloner l'instance que vous souhaitez renommer et définir un nouveau nom pour l'instance clonée. Cela vous permet de créer une instance sans avoir à importer des données manuellement. Tout comme lors de la création d'une instance, l'instance clonée possède une nouvelle adresse IP.
  • Vous pouvez exporter les données de votre instance vers un bucket Cloud Storage, créer une instance avec le nouveau nom souhaité, puis importer les données dans la nouvelle instance.

Dans les deux cas, vous pouvez supprimer votre ancienne instance une fois l'opération terminée. Nous vous recommandons d'opter pour le clonage, car il n'a aucune incidence sur les performances et ne nécessite aucune répétition des paramètres de configuration de l'instance (tels que les options, le type de machine, la taille de stockage et la mémoire).

Erreur lors de la suppression d'une instance. Si la protection contre la suppression est activée pour une instance, confirmez que vous souhaitez supprimer cette instance. Ensuite, désactivez la protection contre la suppression avant de supprimer l'instance.

Réplication

Problème Dépannage
L'instance répliquée avec accès en lecture n'a pas commencé à se répliquer lors de la création. Les fichiers journaux indiquent probablement une erreur plus spécifique. Inspectez les journaux dans Cloud Logging pour rechercher l'erreur en question.
Impossible de créer l'instance dupliquée avec accès en lecture : erreur invalidFlagValue. L'un des indicateurs de la requête n'est pas valide. Il peut s'agir d'une option que vous avez explicitement définie ou d'une option définie sur une valeur par défaut.

Tout d'abord, vérifiez que la valeur de l'option max_connections est supérieure ou égale à la valeur principale.

Si l'option max_connections est définie correctement, inspectez les journaux dans Cloud Logging pour rechercher l'erreur réelle.

Impossible de créer l'instance dupliquée avec accès en lecture : erreur inconnue. Les fichiers journaux indiquent probablement une erreur plus spécifique. Inspectez les journaux dans Cloud Logging pour rechercher l'erreur en question.

Si l'erreur est : set Service Networking service account as servicenetworking.serviceAgent role on consumer project, désactivez et réactivez Service Networking API. Cette action crée le compte de service nécessaire pour poursuivre le processus.

Le disque est saturé. Le disque de l'instance principale peut arriver à saturation lors de la création de l'instance dupliquée. Modifiez l'instance principale en augmentant la taille du disque.
L'instance dupliquée utilise trop de mémoire. L'instance dupliquée met en cache les opérations de lecture souvent demandées dans une mémoire temporaire, ce qui peut l'amener à utiliser plus de mémoire que l'instance principale.

Redémarrez l'instance dupliquée afin de récupérer l'espace de mémoire temporaire.

La duplication s'est arrêtée. La limite de stockage maximale a été atteinte et l'augmentation automatique de l'espace de stockage n'est pas activée.

Modifiez l'instance pour activer automatic storage increase.

Le délai de duplication est systématiquement long. La charge d'écriture est trop élevée pour que l'instance dupliquée puisse la traiter. Le délai de duplication s'allonge lorsque le thread SQL d'une instance dupliquée ne parvient pas à suivre le thread d'E/S. Certains types de requêtes ou de charges de travail peuvent allonger le délai de duplication de manière temporaire ou permanente pour un schéma donné. Voici quelques causes typiques affectant le délai de duplication :
  • Requêtes lentes sur l'instance dupliquée. Recherchez-les et corrigez-les.
  • Toutes les tables doivent avoir une clé unique/primaire. Chaque mise à jour d'une table sans clé unique/primaire entraîne une analyse complète des tables de l'instance dupliquée.
  • Les requêtes telles que DELETE ... WHERE field < 50000000 allongent le délai de duplication, dans le cas des duplications basées sur les lignes, car un grand nombre de mises à jour s'accumulent sur l'instance dupliquée.

Voici quelques solutions possibles :

  • Modifiez l'instance pour augmenter la taille de l'instance dupliquée.
  • Réduisez la charge sur la base de données.
  • Envoyez du trafic en lecture à l'instance dupliquée avec accès en lecture.
  • Indexez les tables.
  • Identifiez et corrigez les requêtes d'écriture lentes.
  • Recréez l'instance dupliquée.
La création d'une instance dupliquée échoue avec un délai d'expiration. Les transactions non validées de longue durée sur l'instance principale peuvent entraîner l'échec de la création d'une instance dupliquée avec accès en lecture.

Recréez l'instance dupliquée après avoir arrêté toutes les requêtes en cours d'exécution.