Ranger-Schema sichern und wiederherstellen

Auf dieser Seite wird beschrieben, wie Sie ein Ranger-Schema in Dataproc mit Ranger-Clustern sichern und wiederherstellen.

Hinweise

  1. Erstellen Sie bei Bedarf einen Bucket. Sie benötigen Zugriff auf einen Cloud Storage-Bucket, den Sie zum Speichern und Wiederherstellen eines Ranger-Schemas verwenden.

    So erstellen Sie einen Bucket:

    1. Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Buckets.

      Zur Seite „Buckets“

    2. Klicken Sie auf Bucket erstellen.
    3. Geben Sie auf der Seite Bucket erstellen die Bucket-Informationen ein. Klicken Sie auf Weiter, um mit dem nächsten Schritt fortzufahren.
      • Geben Sie unter Bucket benennen einen Namen ein, der den Anforderungen für Bucket-Namen entspricht.
      • Gehen Sie unter Speicherort für Daten auswählen folgendermaßen vor:
        • Wählen Sie eine Option für Standorttyp aus.
        • Wählen Sie eine Standort-Option aus.
      • Wählen Sie unter Standardspeicherklasse für Ihre Daten auswählen eine Speicherklasse aus.
      • Wählen Sie unter Zugriffssteuerung für Objekte auswählen eine Option für die Zugriffssteuerung aus.
      • Geben Sie für Erweiterte Einstellungen (optional) eine Verschlüsselungsmethode, eine Aufbewahrungsrichtlinie oder Bucket-Labels an.
    4. Klicken Sie auf Erstellen.

Ranger-Schema sichern

  1. Stellen Sie über SSH eine Verbindung zum Dataproc-Masterknoten des Clusters mit dem Ranger-Schema her. Führen Sie die Befehle in diesem Abschnitt in der SSH-Terminalsitzung aus, die auf dem Masterknoten ausgeführt wird.

  2. Umgebungsvariablen festlegen

    BUCKET_NAME=bucket name \
  MYSQL_PASSWORD=MySQL password
  SCHEMA_FILE=schema filename

    Ersetzen Sie Folgendes:

    • MySQL password: Sie können /etc/mysql/my.cnf auf dem Clustermasterknoten öffnen, um das MySQL-Passwort zu kopieren.

    • bucket name: Der Name des Cloud Storage-Bucket, in dem das Ranger-Schema gespeichert werden soll.

    • schema filename: Geben Sie einen Dateinamen ohne die Dateiendung .sql an. Das Ranger-Schema wird in dieser Datei auf dem Masterknoten und dann in bucket name in Cloud Storage gespeichert .

  3. Hive-Dienste beenden. 

    sudo systemctl stop hive-metastore.service
sudo systemctl stop hive-server2.service

  4. Änderungen an den Ranger-Schematabellen verhindern.

    mysql -u root -p${MYSQL_PASSWORD}
REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost';
GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

  5. Speichern Sie das Ranger-Schema in einer .sql-Datei.

    mysqldump -u root -p${MYSQL_PASSWORD} ranger > ${SCHEMA_FILE}.sql

  6. Ranger-Berechtigungen zurücksetzen.

    mysql -u root -p${MYSQL_PASSWORD}
REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost';
GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

  7. Starten Sie Hive- und Ranger-Dienste neu.

    sudo systemctl start hive-metastore.service
  sudo systemctl start hive-server2.service
  sudo systemctl restart ranger-admin.service
  sudo systemctl restart ranger-usersync.service

  8. Kopieren Sie das Ranger-Schema in Cloud Storage.

    gsutil cp ${SCHEMA_FILE}.sql gs://${BUCKET_NAME}

Ranger-Schema wiederherstellen

  1. Stellen Sie mit SSH eine Verbindung zum Dataproc-Masterknoten des Clusters her, in dem Sie das Clusterschema wiederherstellen. Führen Sie die Befehle in diesem Abschnitt in der SSH-Terminalsitzung aus, die auf dem Masterknoten ausgeführt wird.

  2. Umgebungsvariablen festlegen

    BUCKET_NAME=bucket name \
  MYSQL_PASSWORD=MySQL password
  SCHEMA_FILE=schema filename

    Ersetzen Sie Folgendes:

    • MySQL password: Sie können /etc/mysql/my.cnf auf dem Clustermasterknoten öffnen, um das MySQL-Passwort zu kopieren.

    • bucket name: Der Name des Cloud Storage-Bucket, der das gespeicherte Ranger-Schema enthält.

    • schema filename: Der Name des Ranger-Schemas ohne die Dateiendung .sql, der in Cloud Storage in bucket name gespeichert ist.

  3. Hive-Dienste beenden. 

    sudo systemctl stop hive-metastore.service
sudo systemctl stop hive-server2.service

  4. Änderungen an den Ranger-Schematabellen verhindern.

    mysql -u root -p${MYSQL_PASSWORD}
REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost';
GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

  5. Kopieren Sie die Ranger-Schemadatei .sql in Cloud Storage auf den Masterknoten des Clusters.

    gsutil cp ${BUCKET_NAME}/${SCHEMA_FILE}.sql .

  6. Stellen Sie das Ranger-Schema wieder her. Mit diesem Schritt wird der Inhalt des vorhandenen Ranger-Schemas überschrieben.

    mysqldump -u root -p${MYSQL_PASSWORD} ranger < ${SCHEMA_FILE}.sql

  7. Ranger-Berechtigungen zurücksetzen.

    mysql -u root -p${MYSQL_PASSWORD}
REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost';
GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

  8. Aktualisiere die Ranger-Konfigurationsdateien. Ändern Sie den Ranger DB-Host in den folgenden Dateien mit den folgenden Attributen in einen neuen Datenbank-Hostnamen:

    Datei Attribut
    ranger-hdfs-security.xml ranger.plugin.hdfs.policy.rest.url
    ranger-yarn-security.xml ranger.plugin.yarn.policy.rest.url

  9. Starten Sie Hive- und Ranger-Dienste neu.

    sudo systemctl start hive-metastore.service
  sudo systemctl start hive-server2.service
  sudo systemctl restart ranger-admin.service
  sudo systemctl restart ranger-usersync.service