クイックスタート: レイクの作成

クイックスタート: レイクの作成

このページでは、レイクの作成、ゾーンの追加、アセットのアタッチを通じて、Google Cloud コンソールで Dataplex を開始する方法について説明します。

始める前に

注: Dataplex のユースケースでは、ID goog-dataproc-default-lake のレイクを作成または使用しないでください。ID goog-dataproc-default-lake は、Dataproc ワークスペース専用のデフォルトのレイクとして機能します。予約済みのレイク名の使用は、Dataplex Explore ではサポートされていません。

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataplex、Dataproc、Dataproc Metastore、Data Catalog、BigQuery、Cloud Storage APIs.

   Enable the APIs

5. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      [IAM] に移動
   2. プロジェクトを選択します。
   3. [ アクセスを許可] をクリックします。

   4. [新しいプリンシパル] フィールドに、ユーザー ID を入力します。 これは通常、Google アカウントのメールアドレスです。

   5. [ロールを選択] リストでロールを選択します。
   6. 追加のロールを付与するには、 [別のロールを追加] をクリックして各ロールを追加します。
   7. [保存] をクリックします。

   8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   9. Make sure that billing is enabled for your Google Cloud project.

   10. Enable the Dataplex、Dataproc、Dataproc Metastore、Data Catalog、BigQuery、Cloud Storage APIs.

       Enable the APIs

   11. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          [IAM] に移動
       2. プロジェクトを選択します。
       3. [ アクセスを許可] をクリックします。

       4. [新しいプリンシパル] フィールドに、ユーザー ID を入力します。 これは通常、Google アカウントのメールアドレスです。

       5. [ロールを選択] リストでロールを選択します。
       6. 追加のロールを付与するには、 [別のロールを追加] をクリックして各ロールを追加します。
       7. [保存] をクリックします。
       Cloud Storage バケットの作成:
       1. In the Google Cloud console, go to the Cloud Storage Buckets page.

          Go to Buckets page

       2. Click Create bucket.
       3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
          • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
          • For Choose where to store your data, do the following:
            • Select a Location type option.
            • Select a Location option.
          • For Choose a default storage class for your data, select the following: Standard.
          • For Choose how to control access to objects, select an Access control option.
          • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
       4. Click Create.

レイクを作成する

次の手順では、Google Cloud コンソールを使用してレイクを作成する方法を説明します。

1. Google Cloud コンソールで [Dataplex] に移動します。

   Dataplex に移動

2. [管理] ビューに移動します。

3. [ 作成] をクリックします。

4. [表示名] を入力します。

5. レイク ID が自動的に生成されます。

6. レイクを作成する [リージョン] を指定します。

   所与のリージョン（たとえば、us-central1）で作成されたレイクの場合、シングルリージョン（us-central1）データとマルチリージョン（us multi-region）データの両方をゾーン設定に応じてアタッチできます。

7. [作成] をクリックします。

レイクにゾーンを追加する

レイクを作成したら、レイクにゾーンを追加できます。ゾーンは、非構造化と構造化のデータの論理グループです。

1. [管理] ビューで、ゾーンを追加するレイクの名前をクリックします。

2. [ゾーンを追加] をクリックします。

3. ゾーンの表示名を入力します。

   注: ゾーン ID は自動的に生成されます。必要に応じて、独自の ID を指定できます。

4. [タイプ] プルダウンをクリックします。[Raw Zone] または [Curated Zone] を選択します。クラスタのタイプに関する詳細を確認します。

5. [データのロケーション] で、[リージョン] または [マルチリージョン] を選択します。選択したものは後で変更できません。単一リージョンとマルチリージョンのデータを同一のゾーン内で混在させることはできません。

   注: 検出はデフォルトで有効になっています。クリックして [検出の設定] を展開し、[メタデータの検出を有効にする] が選択されていることを確認します。検出に関する詳細を確認します。

6. [作成] をクリックします。

ゾーンが作成されるまでに数分かかる場合があります。

アセットをアタッチする

データは Cloud Storage バケットまたは BigQuery データセットに格納でき、アセットとして Dataplex レイク内のデータゾーンにアタッチできます。

これらの手順に従って、前に作成した Cloud Storage バケットをアセットとしてアタッチします。

1. [管理] ビューで、Cloud Storage バケットをアタッチするレイクの名前をクリックします。

2. [ゾーン] タブで、アセットを追加するゾーンをクリックします。

3. [アセット] タブで、 [アセットを追加] をクリックします。

4. [アセットを追加] をクリックします。

5. [タイプ] で、[Storage バケット] を選択します。

6. [表示名] にアセットの名前を入力します。

   注: アセット ID は自動的に生成されます。必要に応じて、独自の ID を指定できます。

7. [バケット] フィールドで [参照] をクリックします。Cloud Storage バケットがある場合は、それを見つけて [選択] をクリックします。Cloud Storage バケットがない場合は、 ボタンをクリックして作成できます。

   1. バケットの一意の名前を入力します。[続行] をクリックします。

   2. [ロケーション タイプ] を選択します。[続行] をクリックします。

   3. データのデフォルトのストレージ クラスを選択します。[続行] をクリックします。

   4. アクセス制御レベルを選択します。[続行] をクリックします。

   5. データ保護オプションまたは [なし] を選択します。[続行] をクリックします。

   6. [作成] をクリックします。

   7. [選択] をクリックします。

8. [完了] をクリックします。

9. [続行] をクリックします。

10. [検出の設定] で [継承] を選択して、ゾーンレベルから検出の設定を継承します。

11. [続行] をクリックします。

12. [アセットを追加] で [送信] をクリックします。

クラスタの作成が完了するまで待機します。

注: レイクを使用するには、次のステップ セクションをご覧ください。

クリーンアップ

このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を行います。

注意: プロジェクトを削除すると、次のような影響があります。

• プロジェクト内のすべてのものが削除されます。このドキュメントのタスクで既存のプロジェクトを使用した場合、それを削除すると、そのプロジェクトで行った他の作業もすべて削除されます。
• カスタム プロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタム プロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（たとえば、appspot.com）を保持するには、プロジェクト全体ではなくプロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

あるいは、このチュートリアルで使用したリソースを削除することもできます。レイクは、その下のすべてのデータゾーン リソースが削除されていない限り削除できません。同様に、データゾーンは、その下のすべてのアセット リソースが削除されていない限り削除できません。

ストレージ バケットを接続解除する

次の手順では、作成した Dataplex アセットを接続解除する方法を説明します。

1. Google Cloud コンソールで [Dataplex] に移動します。

   Dataplex に移動

2. [管理] ビューで、作成したレイクの名前をクリックします。

3. [ゾーン] タブで、作成したゾーンの名前をクリックします。

4. [アセット] タブで、バケット名の左側にあるチェックボックスをオンにして、接続解除するアセットを選択します。

5. [アセットを削除] をクリックします。

6. [削除] をクリックして接続解除を確定します。

ゾーンを削除する

次の手順では、作成した Dataplex ゾーンを削除する方法について説明します。

1. Google Cloud コンソールで [Dataplex] に移動します。

   Dataplex に移動

2. [管理] ビューで、作成したレイクをクリックします。

3. [ゾーン] タブで、データゾーン名の左側にあるチェックボックスをオンにして、削除するゾーンを選択します。

4. [ゾーンを削除] をクリックします。

5. [削除] をクリックして削除を確定します。

レイクを削除する

次の手順では、作成した Dataplex レイクを削除する方法を説明します。

1. Google Cloud コンソールで [Dataplex] に移動します。

   Dataplex に移動

2. [管理] ビューで、作成したレイクをクリックします。

3. ページ上部の [削除] をクリックします。

4. テキスト ボックスに「削除」と入力して削除を確定します。

5. [レイクを削除] をクリックして削除を確定します。

次のステップ

レイク、ゾーン、アセットを作成すると、次のことができます。

• レイクとゾーンにデータを編成します。
• レイクを保護します。
• 検出されたメタデータを Google Cloud コンソールを使用して表示します。
• 検出されたメタデータを API を使用して表示します。