Sauvegarder et restaurer un schéma Ranger

Cette page explique comment sauvegarder et restaurer un schéma Ranger sur Dataproc avec des clusters Ranger.

Avant de commencer

  1. Créez un bucket si nécessaire. Vous devez avoir accès à un bucket Cloud Storage, que vous utiliserez pour stocker et restaurer un schéma Ranger.

    Pour créer un bucket :

    1. In the Google Cloud console, go to the Cloud Storage Buckets page.

      Go to Buckets page

    2. Click Create bucket.
    3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
      • For Name your bucket, enter a name that meets the bucket naming requirements.
      • For Choose where to store your data, do the following:
        • Select a Location type option.
        • Select a Location option.
      • For Choose a default storage class for your data, select a storage class.
      • For Choose how to control access to objects, select an Access control option.
      • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
    4. Click Create.

Sauvegarder un schéma Ranger

  1. Utiliser SSH pour vous connecter au nœud maître Dataproc du cluster avec le schéma Ranger. Exécutez les commandes de cette section dans la session de terminal SSH qui s'exécute sur le nœud maître.

  2. Définir des variables d'environnement.

    BUCKET_NAME=bucket name \
  MYSQL_PASSWORD=MySQL password
  SCHEMA_FILE=schema filename

    Remplacez les éléments suivants :

    • MySQL password: vous pouvez ouvrir /etc/mysql/my.cnf sur le cluster. nœud maître pour copier le mot de passe MySQL.

    • bucket name: nom du bucket Cloud Storage à pour stocker le schéma Ranger.

    • schema filename : spécifiez un nom de fichier, sans l'extension de nom de fichier .sql. Le schéma Ranger est enregistré dans ce fichier sur le nœud maître, puis dans bucket name dans Cloud Storage.

  3. Arrêtez les services Hive. 

    sudo systemctl stop hive-metastore.service
sudo systemctl stop hive-server2.service

  4. Empêcher les modifications apportées aux tables de schéma Ranger

    mysql -u root -p${MYSQL_PASSWORD}
REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost';
GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

  5. Enregistrez le schéma Ranger dans un fichier .sql.

    mysqldump -u root -p${MYSQL_PASSWORD} ranger > ${SCHEMA_FILE}.sql

  6. Réinitialisez les droits Ranger.

    mysql -u root -p${MYSQL_PASSWORD}
REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost';
GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

  7. Redémarrez les services Hive et Ranger.

    sudo systemctl start hive-metastore.service
  sudo systemctl start hive-server2.service
  sudo systemctl restart ranger-admin.service
  sudo systemctl restart ranger-usersync.service

  8. Copiez le schéma Ranger dans Cloud Storage.

    gcloud storage cp ${SCHEMA_FILE}.sql gs://${BUCKET_NAME}

Restaurer un schéma Ranger

  1. Utilisez SSH pour vous connecter au nœud maître Dataproc du cluster dans lequel vous allez restaurer le schéma du cluster. Exécutez les commandes de cette section dans la session de terminal SSH exécutée sur le nœud maître.

  2. Définir des variables d'environnement.

    BUCKET_NAME=bucket name \
  MYSQL_PASSWORD=MySQL password
  SCHEMA_FILE=schema filename

    Remplacez les éléments suivants :

    • MySQL password : vous pouvez ouvrir /etc/mysql/my.cnf sur le nœud maître du cluster pour copier le mot de passe MySQL.

    • bucket name : nom du bucket Cloud Storage contenant le schéma Ranger enregistré.

    • schema filename: nom du schéma Ranger nom de fichier, sans l'extension de nom de fichier .sql, enregistré dans bucket name dans Cloud Storage.

  3. Arrêtez les services Hive. 

    sudo systemctl stop hive-metastore.service
sudo systemctl stop hive-server2.service

  4. Empêchez la modification des tables de schéma Ranger.

    mysql -u root -p${MYSQL_PASSWORD}
REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost';
GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

  5. Copiez le fichier de schéma Ranger .sql dans Cloud Storage dans le cluster. un nœud maître.

    gcloud storage cp ${BUCKET_NAME}/${SCHEMA_FILE}.sql .

  6. Restaurez le schéma Ranger. Cette étape écrase le contenu du schéma Ranger existant.

    mysqldump -u root -p${MYSQL_PASSWORD} ranger < ${SCHEMA_FILE}.sql

  7. Réinitialisez les privilèges du ranger.

    mysql -u root -p${MYSQL_PASSWORD}
REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost';
GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

  8. Mettez à jour les fichiers de configuration de Ranger. Remplacez l'hôte de base de données Ranger par un nouveau nom d'hôte de la base de données dans les fichiers suivants avec les propriétés suivantes:

    Fichier Propriété
    ranger-hdfs-security.xml ranger.plugin.hdfs.policy.rest.url
    ranger-yarn-security.xml ranger.plugin.yarn.policy.rest.url

  9. Redémarrez les services Hive et Ranger.

    sudo systemctl start hive-metastore.service
  sudo systemctl start hive-server2.service
  sudo systemctl restart ranger-admin.service
  sudo systemctl restart ranger-usersync.service