Crea un lake

Questa guida mostra come creare un lake Dataplex utilizzando Console Google Cloud, gcloud CLI o il metodo API lakes.create.

Puoi creare il tuo lake in una delle regioni che supportano Dataplex.

Prima di iniziare

Nota: per i casi d'uso di Dataplex, non creare o utilizzare un lake con ID goog-dataproc-default-lake. L'ID goog-dataproc-default-lake funge da lago predefinito destinato esclusivamente agli spazi di lavoro Dataproc. L'utilizzo del nome del lake riservato non è supportato per Esplora Dataplex (ritirato).

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage. APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage. APIs.

   Enable the APIs

Controllo degli accessi

1. Assicurati di disporre dei ruoli predefiniti. roles/dataplex.admin o roles/dataplex.editor ti sono stati concessi per consentirti per creare e gestire il lake. Segui i passaggi nella documentazione IAM per assegnazione di ruoli.

2. Per collegare un bucket Cloud Storage da un altro progetto al tuo lake, concedi al seguente account di servizio Dataplex nel bucket eseguendo questo comando:

   gcloud alpha dataplex lakes authorize \
   --project PROJECT_ID_OF_LAKE \
   --storage-bucket-resource BUCKET_NAME
   

Crea un metastore

Puoi accedere ai metadati Dataplex utilizzando Hive Metastore in Spark mediante l'associazione di dell'istanza di servizio Dataproc Metastore lake Dataplex. Devi avere una rete VPC abilitata Dataproc Metastore (versione 3.1.2 o successiva) associato al lake Dataplex.

1. Crea un servizio Dataproc Metastore.

2. Configura l'istanza del servizio Dataproc Metastore in modo da esporre un endpoint gRPC (anziché l'endpoint Metastore Thrift predefinito). Esegui l' seguente richiesta API di aggiornamento:

   curl -X PATCH \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://metastore.googleapis.com/v1beta/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?updateMask=hiveMetastoreConfig.endpointProtocol" \
   -d '{"hiveMetastoreConfig": {"endpointProtocol": "GRPC"}}'
   

   Nota: il completamento di questo passaggio potrebbe richiedere alcuni minuti.

3. Visualizza l'endpoint gRPC. Esegui questo comando:

   gcloud metastore services describe SERVICE_ID \
     --project PROJECT_ID \
     --location LOCATION \
     --format "value(endpointUri)"
   

Crea un lake Dataplex

I passaggi riportati di seguito mostrano come creare un lake Dataplex.

Console

1. Vai a Dataplex nella console Google Cloud.

   Vai a Dataplex

2. Vai alla visualizzazione Gestisci.

3. Fai clic su Crea.

4. Inserisci un Nome visualizzato.

5. L'ID lago viene generato automaticamente. Se preferisci, può fornire il tuo ID. Consulta la Convenzione di denominazione delle risorse.

6. (Facoltativo) Inserisci una descrizione.

7. Specifica la Regione in cui creare il lake.

   Per i lake creati in una determinata regione (ad esempio us-central1), è possibile associare i dati sia a singola regione (us-central1) che a più regioni (us multi-region) a seconda delle impostazioni della zona.

8. (Facoltativo) Aggiungi etichette al lake.

9. (Facoltativo) Nella sezione Metastore, fai clic sul menu a discesa Servizio Metastore e seleziona il servizio che hai creato nella sezione Prima di iniziare.

10. Fai clic su Crea.

gcloud

Usa questo comando gcloud preview dataplex lake create per creare un'istanza lago:

gcloud alpha dataplex lakes create LAKE \
 --location=LOCATION \
 --labels=k1=v1,k2=v2,k3=v3 \
 --metastore-service=METASTORE_SERVICE

Sostituisci quanto segue:

• LAKE: il nome del nuovo lake.
• LOCATION: si riferisce a una regione Google Cloud.
• k1=v1,k2=v2,k3=v3: le etichette utilizzate (se presenti).
• METASTORE_SERVICE: il servizio Dataproc Metastore, se creato.

REST

Segui le istruzioni dell'API per creare un lake utilizzando Explorer API.

Nota: la creazione del lake potrebbe richiedere alcuni minuti.

Passaggi successivi

• Scopri come organizzare i dati in laghi e zone.
  • Aggiungi zone al lake.
  • Collega asset alle tue zone.
• Scopri come proteggere il tuo lake.
• Scopri come gestire il lake.