빠른 시작: 레이크 만들기

빠른 시작: 레이크 만들기

이 문서에서는 레이크를 만들고, 영역을 추가하고, 애셋을 연결하는 과정을 통해 Google Cloud 콘솔에서 Dataplex를 시작하는 방법을 보여줍니다.

시작하기 전에

참고: Dataplex 사용 사례의 경우 ID가 goog-dataproc-default-lake인 레이크를 만들거나 사용하지 마세요. 이 ID는 Dataproc 워크스페이스 전용 기본 레이크로 사용되기 때문입니다.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. Make sure that you have the following role or roles on the project: `roles/dataplex.admin`, `roles/dataplex.editor`

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      IAM으로 이동
   2. 프로젝트를 선택합니다.
   3. 액세스 권한 부여를 클릭합니다.

   4. 새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 Google 계정의 이메일 주소입니다.

   5. 역할 선택 목록에서 역할을 선택합니다.
   6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
   7. 저장을 클릭합니다.

   8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   9. Make sure that billing is enabled for your Google Cloud project.

   10. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

       Enable the APIs

   11. Make sure that you have the following role or roles on the project: `roles/dataplex.admin`, `roles/dataplex.editor`

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          IAM으로 이동
       2. 프로젝트를 선택합니다.
       3. 액세스 권한 부여를 클릭합니다.

       4. 새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 Google 계정의 이메일 주소입니다.

       5. 역할 선택 목록에서 역할을 선택합니다.
       6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
       7. 저장을 클릭합니다.
       Cloud Storage 버킷 만들기:
       1. In the Google Cloud console, go to the Cloud Storage Buckets page.

          Go to Buckets page

       2. Click Create bucket.
       3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
          • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
          • For Choose where to store your data, do the following:
            • Select a Location type option.
            • Select a Location option.
          • For Choose a default storage class for your data, select the following: Standard.
          • For Choose how to control access to objects, select an Access control option.
          • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
       4. Click Create.

레이크 만들기

레이크는 데이터 도메인 또는 비즈니스 단위를 나타내는 논리적 구조입니다. 예를 들어 그룹 사용 현황에 따라 데이터를 정리해야 하는 경우 각 부서 (예: 소매, 영업, 재무)에 대한 레이크를 만듭니다.

다음 단계에서는 Google Cloud 콘솔을 사용하여 레이크를 만드는 방법을 보여줍니다.

1. Google Cloud 콘솔에서 Dataplex로 이동합니다.

   Dataplex로 이동

2. 관리 뷰로 이동합니다.

3. 만들기를 클릭합니다.

4. 표시 이름을 입력합니다.

5. 레이크 ID가 자동으로 생성됩니다.

6. 레이크를 만들 리전을 지정합니다.

   지정된 리전(예: us-central1)에서 생성된 레이크의 경우 영역 설정에 따라 단일 리전(us-central1) 데이터와 멀티 리전(us multi-region) 데이터를 모두 연결할 수 있습니다.

7. 만들기를 클릭합니다.

레이크에 영역 추가

레이크를 만든 후 레이크에 영역을 추가할 수 있습니다. 영역은 레이크 내의 논리적 그룹으로, 구조화된 데이터와 비구조화된 데이터를 분류하는 데 유용합니다.

1. 관리 뷰에서 영역을 추가할 레이크의 이름을 클릭합니다.

2. 영역 추가를 클릭합니다.

3. 영역의 표시 이름을 입력합니다.

   참고: 영역 ID는 자동으로 생성됩니다. 필요한 경우 자체 ID를 제공할 수 있습니다.

4. 유형 드롭다운을 클릭합니다. 원시 영역 또는 선별된 영역을 선택합니다. 영역 유형에 대해 자세히 알아보세요.

5. 데이터 위치에서 리전 또는 멀티 리전을 선택합니다. 선택한 내용은 나중에 변경할 수 없습니다. 단일 리전 및 멀티 리전 데이터는 같은 영역에서 함께 사용할 수 없습니다.

   참고: 탐색은 기본적으로 사용 설정됩니다. 검색 설정을 클릭하여 펼치고 메타데이터 검색 사용 설정이 선택되어 있는지 확인합니다. 탐색에 대해 자세히 알아보세요.

6. 만들기를 클릭합니다.

영역이 생성되는 데 몇 분 정도 걸릴 수 있습니다.

애셋 첨부

데이터는 Cloud Storage 버킷 또는 BigQuery 데이터 세트에 저장할 수 있으며 Dataplex 레이크 내의 데이터 영역에 애셋으로 연결할 수 있습니다.

Cloud Storage 버킷을 애셋으로 연결하려면 다음 단계를 따르세요.

1. 관리 뷰에서 Cloud Storage 버킷을 연결할 레이크의 이름을 클릭합니다.

2. 영역 탭에서 애셋을 추가할 영역을 클릭합니다.

3. 애셋 탭에서 애셋 추가를 클릭합니다.

4. 애셋 추가를 클릭합니다.

5. 유형에서 스토리지 버킷을 선택합니다.

6. 표시 이름에 저작물의 이름을 입력합니다.

   참고: 확장 소재 ID는 자동으로 생성됩니다. 필요한 경우 자체 ID를 제공할 수 있습니다.

7. 버킷 필드에서 찾아보기를 클릭합니다. Cloud Storage 버킷이 있으면 버킷을 찾아 선택을 클릭합니다. Cloud Storage 버킷이 없는 경우 버튼을 클릭하여 버킷을 만들 수 있습니다.

   1. 버킷의 고유한 이름을 입력합니다. 계속을 클릭합니다.

   2. 위치 유형을 선택합니다. 계속을 클릭합니다.

   3. 데이터의 기본 스토리지 클래스를 선택합니다. 계속을 클릭합니다.

   4. 액세스 제어 수준을 선택합니다. 계속을 클릭합니다.

   5. 데이터 보호 옵션 또는 없음을 선택합니다. 계속을 클릭합니다.

   6. 만들기를 클릭합니다.

   7. 선택을 클릭합니다.

8. 완료를 클릭합니다.

9. 계속을 클릭합니다.

10. 검색 설정에서 상속을 선택하여 영역 수준에서 검색 설정을 상속합니다.

11. 계속을 클릭합니다.

12. 애셋 추가에서 제출을 클릭합니다.

애셋 생성이 완료될 때까지 기다립니다.

레이크를 사용하려면 다음 단계 섹션을 참고하세요. 그렇지 않으면 삭제 섹션의 단계에 따라 만든 리소스를 삭제합니다.

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.

주의: 프로젝트를 삭제하면 다음과 같은 효과가 발생합니다.

• 프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼, 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

또는 이 튜토리얼에서 사용된 리소스를 삭제할 수 있습니다. 데이터 영역 리소스를 모두 삭제할 때까지 레이크는 삭제되지 않습니다. 마찬가지로 데이터 영역의 모든 애셋 리소스를 삭제하지 않으면 데이터 영역이 삭제되지 않습니다.

스토리지 버킷 연결 해제

만든 Dataplex 애셋을 분리하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Dataplex로 이동합니다.

   Dataplex로 이동

2. 관리 뷰에서 자신이 만든 레이크의 이름을 클릭합니다.

3. 영역 탭에서 자신이 만든 영역의 이름을 클릭합니다.

4. 애셋 탭에서 버킷 이름 왼쪽의 체크박스를 선택하여 분리할 애셋을 선택합니다.

5. 애셋 삭제를 클릭합니다.

6. 삭제를 클릭하여 연결 해제를 확인합니다.

영역 삭제

만든 Dataplex 영역을 삭제하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Dataplex로 이동합니다.

   Dataplex로 이동

2. 관리 뷰에서 자신이 만든 레이크를 클릭합니다.

3. 영역 탭에서 데이터 영역 이름 왼쪽의 체크박스를 선택하여 삭제할 영역을 선택합니다.

4. 영역 삭제를 클릭합니다.

5. 삭제를 클릭하여 삭제를 확인합니다.

레이크 삭제

다음 단계에서는 내가 만든 Dataplex 호수를 삭제하는 방법을 보여줍니다.

1. Google Cloud 콘솔에서 Dataplex로 이동합니다.

   Dataplex로 이동

2. 관리 뷰에서 자신이 만든 레이크를 클릭합니다.

3. 페이지 상단에서 삭제를 클릭합니다.

4. 입력란에 '삭제'를 입력하여 삭제를 확인합니다.

5. 레이크 삭제를 클릭하여 삭제를 확인합니다.

다음 단계

• 레이크 및 영역으로 데이터 구성
• 레이크 보호
• Google Cloud 콘솔을 사용해 검색된 메타데이터 보기
• API를 사용하여 검색된 메타데이터 보기