Dataproc の Ranger オプションコンポーネント

Dataproc クラスタを作成する際には、オプションコンポーネント機能を使用して、Ranger などの追加コンポーネントをインストールできます。このページでは、Ranger コンポーネントについて説明します。

Apache Ranger コンポーネントは、Hadoop エコシステムの権限と監査を管理するためのオープンソースフレームワークです。Ranger 管理サーバーとウェブ UI は、クラスタの最初のマスターノードのポート 6080 で利用できます。

以下もご覧ください。

コンポーネントをインストールする

Dataproc クラスタの作成時にコンポーネントをインストールします。コンポーネントは、Dataproc バージョン 1.3 以降で作成されたクラスタに追加できます。Ranger コンポーネントには、次に示すように、Solr コンポーネントをインストールする必要があります。

Dataproc イメージの各リリースに含まれるコンポーネントバージョンについては、サポートされる Dataproc バージョンをご覧ください。

インストール手順:

Ranger 管理パスワードを設定します。
1. クラスタのサービスアカウントに Cloud KMS CryptoKey の暗号化 / 復号のロールを付与します。デフォルトでは、クラスタサービスアカウントは Compute Engine のデフォルトのサービスアカウントとして設定されます。このアカウントは次の形式になっています。
```
project-number-compute@developer.gserviceaccount.com
```
  以下に示すように、クラスタの作成時に別のクラスタサービスアカウントを指定できます。
  1. 例: Cloud KMS CryptoKey の暗号化 / 復号のロールを Compute Engine のデフォルトサービスアカウントに付与します。
```
gcloud projects add-iam-policy-binding project-id \
    --member=serviceAccount:project-number-compute@developer.gserviceaccount.com \
    --role=roles/cloudkms.cryptoKeyDecrypter
```
2. 鍵管理サービス（KMS）の鍵を使用して、Ranger 管理ユーザーのパスワードを暗号化します。2.2 より前のイメージバージョンのクラスタでは、パスワードは 8 文字以上にして、少なくとも 1 つの英字と数字を含める必要があります。2.2 以降のイメージバージョンのクラスタでは、パスワードは 8 文字以上にして、少なくとも 1 つの英大文字、英小文字、数字を含める必要があります。
  1. 例:
    1. キーリングを作成します。
      gcloud kms keyrings create my-keyring --location=global
    2. 鍵を作成します。
      gcloud kms keys create my-key \ --location=global \ --keyring=my-keyring \ --purpose=encryption
    3. Ranger 管理ユーザーのパスワードを暗号化します。
      echo 'my-ranger-admin-password' | \ gcloud kms encrypt \ --location=global \ --keyring=my-keyring \ --key=my-key \ --plaintext-file=- \ --ciphertext-file=admin-password.encrypted
3. 暗号化したパスワードをプロジェクトの Cloud Storage バケットにアップロードします。
  1. 例:
```
gcloud storage cp admin-password.encrypted gs://my-bucket
```
クラスタを作成します。
1. Ranger コンポーネントをインストールするときは、次に示すように、Solr コンポーネントもインストールする必要があります。
  1. Ranger コンポーネントは、Solr コンポーネントに依存して、監査ログを格納し、クエリを実行します。デフォルトでは、HDFS がストレージとして使用されます。クラスタが削除されると、この HDFS データが削除されます。Cloud Storage に Ranger 監査ログなどのデータを格納する Solr コンポーネントを構成するには、クラスタの作成時に dataproc:solr.gcs.path=gs://<bucket> クラスタプロパティを使用します。クラスタが削除されても、Cloud Storage のデータは維持されます。
2. dataproc:ranger.kms.key.uri と dataproc:ranger.admin.password.uri のクラスタプロパティを設定して、KMS の鍵とパスワードの Cloud Storage URI をクラスタ作成コマンドに渡します。
3. 必要に応じて、dataproc:ranger.db.admin.password.uri クラスタプロパティを設定し、暗号化された Cloud Storage ファイル URI を介して、Ranger データベースの管理者ユーザーパスワードを渡すことができます。
4. デフォルトでは、Ranger コンポーネントは、クラスタの最初のマスターノードで実行されている MySQL データベースインスタンスを使用します。MySQL インスタンスで、変数を ON に設定して log_bin_trust_function_creators フラグを有効にします。このフラグを設定して、ストアドファンクションの作成者を信頼できるかどうかを制御します。クラスタの作成と Ranger の構成が完了したら、log_bin_trust_function_creators を OFF にリセットできます。
5. クラスタを削除した後に Ranger データベースを保持するには、Cloud SQL インスタンスを外部 MySQL データベースとして使用します。
  1. dataproc:ranger.cloud-sql.instance.connection.name クラスタプロパティを Cloud SQL インスタンスに設定します。
  2. dataproc:ranger.cloud-sql.root.password.uri クラスタプロパティを、Cloud SQL インスタンスの KMS 鍵暗号化 root パスワードの Cloud Storage URI に設定します。
  3. Cloud SQL インスタンスへの接続がプライベート IP 経由かどうかを示すため、dataproc:ranger.cloud-sql.use-private-ip クラスタプロパティを設定します。
  Ranger コンポーネントは、Cloud SQL Auth Proxyを使用して Cloud SQL インスタンスに接続します。プロキシを使用するには:
  1. クラスタの作成時に sqlservice.admin API スコープを設定します（OAuth 2.0 を使用したリクエストの承認をご覧ください）。gcloud dataproc cluster create コマンドを使用する場合は、--scopes=default,sql-admin パラメータを追加します。
  2. プロジェクトで SQL Admin API を有効にします。
  3. クラスタサービスアカウントに Cloud SQL 編集者のロールがあることを確認します。
  4. マスターノードの Cloud SQL Auth Proxy はポート 3307 経由で Cloud SQL インスタンスへの下り（外向き）接続を作成するため、ポート 3307 経由でマスターノードから Cloud SQL インスタンスへの下り（外向き）TCP 接続が許可されていることを確認してください。詳細については、Cloud SQL Auth Proxy の仕組みをご覧ください。
  gcloud コマンド
  
  Ranger コンポーネントを含む Dataproc クラスタを作成するには、--optional-components フラグを指定して gcloud dataproc clusters create cluster-name コマンドを使用します。
  
  クラスタを作成する場合は、以下に示すように、コンポーネントゲートウェイを使用して Ranger 管理者のウェブ UI に接続ために、--enable-component-gateway フラグを指定した gcloud dataproc clusters create コマンドを使用します。
  gcloud dataproc clusters create cluster-name \ --optional-components=SOLR,RANGER \ --region=region \ --enable-component-gateway \ --properties="dataproc:ranger.kms.key.uri=projects/project-id/locations/global/keyRings/my-keyring/cryptoKeys/my-key,dataproc:ranger.admin.password.uri=gs://my-bucket/admin-password.encrypted" \ ... other flags
  REST API
  
  Dataproc API の clusters.create リクエストの一部として、SoftwareConfig.Component フィールドに Ranger コンポーネントと Solr コンポーネントを指定します。また、次のクラスタプロパティを SoftwareConfig.Component.properties フィールドに設定する必要があります。
  1. dataproc:ranger.kms.key.uri: projects/project-id/locations/global/keyRings/my-keyring/cryptoKeys/my-key
  2. dataproc:ranger.admin.password.uri : gs://my-bucket/admin-password.encrypted
  Dataproc v1 API を使用して、clusters.create リクエストの一部として EndpointConfig.enableHttpPortAccess プロパティに true を設定し、コンポーネントゲートウェイを使用した Jupyter ノートブックウェブ UI への接続を有効にします。
  コンソール
  1. コンポーネントとコンポーネントゲートウェイを有効にします。
    Google Cloud コンソールで、Dataproc の [クラスタの作成] ページを開きます。[クラスタの設定] パネルが選択されています。
    
    [コンポーネント] セクションで次の設定を行います。
    [オプションコンポーネント] で、クラスタにインストールする Ranger、Solr、他のオプションコンポーネントを選択します。
    
    [コンポーネントゲートウェイ] で [コンポーネントゲートウェイを有効にする] を選択します（コンポーネントゲートウェイの URL を表示してアクセスするをご覧ください）。

[ウェブインターフェース] タブをクリックします。[コンポーネントゲートウェイ] で [Ranger] をクリックし、Ranger ウェブインターフェースを開きます。Ranger 管理者のユーザー名（admin など）とパスワードでログインします。

Ranger 管理ログ

Ranger 管理ログは、ranger-admin-root ログとして Logging で確認できます。

Dataproc の Ranger オプション コンポーネント コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

コンポーネントをインストールする

インストール手順:

gcloud コマンド

REST API

コンソール

Ranger 管理ログ

Dataproc の Ranger オプションコンポーネント