备份和恢复 Ranger 架构

本页介绍了如何在包含 Ranger 集群的 Dataproc 上备份和恢复 Ranger 架构。

准备工作

  1. 根据需要创建存储桶。您必须有权访问 Cloud Storage 存储桶,您将使用该存储分区存储和恢复 Ranger 架构。

    要创建存储桶,请按以下步骤操作:

    1. In the Google Cloud console, go to the Cloud Storage Buckets page.

      Go to Buckets page

    2. Click Create bucket.
    3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
      • For Name your bucket, enter a name that meets the bucket naming requirements.
      • For Choose where to store your data, do the following:
        • Select a Location type option.
        • Select a Location option.
      • For Choose a default storage class for your data, select a storage class.
      • For Choose how to control access to objects, select an Access control option.
      • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
    4. Click Create.

备份 Ranger 架构

  1. 使用 SSH 连接到具有 Ranger 架构的集群的 Dataproc 主节点。在主节点上运行的 SSH 终端会话中运行本部分中的命令。

  2. 设置环境变量。

    BUCKET_NAME=bucket name \
      MYSQL_PASSWORD=MySQL password
      SCHEMA_FILE=schema filename
    

    替换以下内容:

    • MySQL password:您可以在集群主节点上打开 /etc/mysql/my.cnf 以复制 MySQL 密码。

    • bucket name:用于存储 Ranger 架构的 Cloud Storage 存储桶的名称。

    • schema filename:指定文件名(不带 .sql 文件名扩展名)。Ranger 架构会保存到主节点上的此文件,然后保存到 Cloud Storage 中的 bucket name

  3. 停止 Hive 服务。

    sudo systemctl stop hive-metastore.service
    sudo systemctl stop hive-server2.service
    

  4. 防止对 Ranger 架构表进行更改。

    mysql -u root -p${MYSQL_PASSWORD}
    REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost';
    GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost';
    FLUSH PRIVILEGES;
    SHOW GRANTS FOR 'rangeradmin'@'localhost';
    exit;
    
  5. 将 Ranger 架构保存到 .sql 文件。

    mysqldump -u root -p${MYSQL_PASSWORD} ranger > ${SCHEMA_FILE}.sql
    
  6. 重置 Ranger 权限。

    mysql -u root -p${MYSQL_PASSWORD}
    REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost';
    GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost';
    FLUSH PRIVILEGES;
    SHOW GRANTS FOR 'rangeradmin'@'localhost';
    exit;
    
  7. 重启 Hive 和 Ranger 服务。

    sudo systemctl start hive-metastore.service
      sudo systemctl start hive-server2.service
      sudo systemctl restart ranger-admin.service
      sudo systemctl restart ranger-usersync.service
    
  8. 将 Ranger 架构复制到 Cloud Storage。

    gcloud storage cp ${SCHEMA_FILE}.sql gs://${BUCKET_NAME}
    

恢复 Ranger 架构

  1. 使用 SSH 连接到您要恢复集群架构的集群的 Dataproc 主节点。在主节点上运行的 SSH 终端会话中运行本部分中的命令。

  2. 设置环境变量。

    BUCKET_NAME=bucket name \
      MYSQL_PASSWORD=MySQL password
      SCHEMA_FILE=schema filename
    

    替换以下内容:

    • MySQL password:您可以在集群主节点上打开 /etc/mysql/my.cnf 以复制 MySQL 密码。

    • bucket name:包含已保存 Ranger 架构的 Cloud Storage 存储桶的名称。

    • schema filename:Ranger 架构文件名的名称(不带 .sql 文件名扩展名),保存在 Cloud Storage 中的 bucket name 中。

  3. 停止 Hive 服务。

    sudo systemctl stop hive-metastore.service
    sudo systemctl stop hive-server2.service
    

  4. 防止对 Ranger 架构表进行更改。

    mysql -u root -p${MYSQL_PASSWORD}
    REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost';
    GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost';
    FLUSH PRIVILEGES;
    SHOW GRANTS FOR 'rangeradmin'@'localhost';
    exit;
    
  5. 将 Cloud Storage 中的 Ranger 架构 .sql 文件复制到集群主节点。

    gcloud storage cp ${BUCKET_NAME}/${SCHEMA_FILE}.sql .
    
  6. 恢复 Ranger 架构。此步骤会覆盖现有 Ranger 架构的内容。

    mysqldump -u root -p${MYSQL_PASSWORD} ranger < ${SCHEMA_FILE}.sql
    
  7. 重置 Ranger 权限。

    mysql -u root -p${MYSQL_PASSWORD}
    REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost';
    GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost';
    FLUSH PRIVILEGES;
    SHOW GRANTS FOR 'rangeradmin'@'localhost';
    exit;
    
  8. 更新 Ranger 配置文件。在以下文件中,将 Ranger DB 主机更改为具有以下属性的新数据库主机名:

    文件 属性
    ranger-hdfs-security.xml ranger.plugin.hdfs.policy.rest.url
    ranger-yarn-security.xml ranger.plugin.yarn.policy.rest.url
  9. 重启 Hive 和 Ranger 服务。

    sudo systemctl start hive-metastore.service
      sudo systemctl start hive-server2.service
      sudo systemctl restart ranger-admin.service
      sudo systemctl restart ranger-usersync.service