Questo documento mostra come creare un repository, impostare e modificare il repository account di servizio ed eliminare un repository in Dataform.
Quando crei un repository Dataform, devi impostare quanto segue impostazioni repository:
- ID repository
- Un ID univoco del repository. Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.
- Regione
Regione Dataform per l'archiviazione del repository e dei suoi contenuti.
Questa regione di archiviazione può essere diversa dalla regione di elaborazione in cui Dataform elabora il tuo codice e archivia l'output delle esecuzioni. Per impostazione predefinita, la regione di elaborazione è impostata sul valore predefinito di BigQuery regione del set di dati. Puoi modificare la regione di elaborazione nel file delle impostazioni del flusso di lavoro dopo aver creato il repository. Per ulteriori informazioni, vedi Configura le impostazioni di Dataform.
- Account di servizio
Account di servizio associato al repository. Puoi selezionare l'impostazione predefinita Account di servizio Dataform, un account di servizio associato progetto Google Cloud oppure inserisci manualmente un altro account di servizio. Per impostazione predefinita, Dataform utilizza un account di servizio derivato dal numero del progetto in nel seguente formato:
service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com
Dataform utilizza l'account di servizio predefinito per tutti i repository operazioni. Puoi utilizzare un account di servizio diverso per eseguire flussi di lavoro nel repository, ma l'account di servizio predefinito viene ancora utilizzato e le altre operazioni del repository.
- Crittografia
Metodo di crittografia per il repository. Puoi utilizzare lo crittografia predefinita o applicare una chiave di crittografia Cloud KMS gestita dal cliente. Per ulteriori informazioni sull'utilizzo di crittografia gestite dal cliente (CMEK) Dataform, consulta Utilizzare le chiavi di crittografia gestite dal cliente.
Dopo aver creato un repository, puoi connettilo a GitHub o GitLab.
Prima di iniziare
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
- Per utilizzare la crittografia CMEK per il repository, abilita la crittografia CMEK dei repository Dataform.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per creare ed eliminare un repository,
chiedi all'amministratore di concederti
Ruolo IAM Amministratore Dataform (roles/dataform.admin
) nei repository.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.
Per utilizzare un account di servizio diverso dal servizio Dataform predefinito concedi l'accesso all'account di servizio personalizzato.
Crea un repository
Per creare un repository Dataform:
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su Crea repository.
Nella pagina Crea repository, nel campo ID repository, inserisci un ID univoco.
Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.
Nell'elenco a discesa Regione, seleziona una regione Dataform per l'archiviazione del repository e dei suoi contenuti. Seleziona il modulo Dataform. regione più vicina alla tua posizione.
Per un elenco delle regioni Dataform disponibili, vedi Località. La regione del repository non ha in base alla località dei set di dati BigQuery.
Nel file
workflow_settings.yaml
puoi impostare la regione di elaborazione in cui Dataform elabora il tuo codice e archivia l'output delle esecuzioni. La regione di elaborazione deve corrispondere alla località in BigQuery dei set di dati, ma non è necessario che corrisponda alla regione del repository. Per ulteriori informazioni, vedi Configura le impostazioni Dataform.Nel menu a discesa Account di servizio, seleziona un account di servizio per il repository.
Nel menu a discesa, puoi selezionare l'account di servizio Dataform predefinito o a qualsiasi account di servizio associato al tuo progetto Google Cloud di cui disponi a cui accedono. Tieni presente che gli account di servizio personalizzati vengono utilizzati solo per l'esecuzione del flusso di lavoro. Tutte le altre operazioni del repository vengono comunque eseguite in base all'account di servizio Dataform predefinito.
- (Facoltativo) Per selezionare un account di servizio non visualizzato nel menu a discesa, Fai clic su Inserisci manualmente e inserisci un ID account di servizio.
Nella sezione Crittografia, seleziona il metodo di crittografia per il repository.
- Per utilizzare la crittografia predefinita, Seleziona l'opzione Chiave di crittografia gestita da Google.
Per utilizzare CMEK, seleziona l'opzione Chiavi di crittografia gestite dal cliente (CMEK).
- Nel menu a discesa Seleziona una chiave gestita dal cliente, seleziona una chiave CMEK per il repository.
Per saperne di più, vedi Limitazioni CMEK Dataform.
Fai clic su Crea, quindi su Fine.
Modifica l'account di servizio
Puoi associare un account di servizio personalizzato a un Dataform per l'esecuzione del flusso di lavoro. Tutte le altre operazioni del repository vengono è ancora eseguita dall'account di servizio Dataform predefinito.
Per modificare l'account di servizio per un repository Dataform:
Nella console Google Cloud, vai alla pagina Dataform.
Seleziona un repository e fai clic su Impostazioni.
Nel campo Account di servizio, fai clic su
Modifica account di servizio.Nel menu a discesa Account di servizio, seleziona un account di servizio per il repository.
Nel menu a discesa, puoi selezionare l'account di servizio Dataform predefinito o a qualsiasi account di servizio associato al tuo progetto Google Cloud di cui disponi a cui accedono.
- (Facoltativo) Per selezionare un account di servizio non visualizzato nel menu a discesa, Fai clic su Inserisci manualmente e inserisci un ID account di servizio.
Fai clic su Salva.
Elimina un repository
Per eliminare un repository e tutti i suoi contenuti:
Nella console Google Cloud, vai alla pagina Dataform.
In corrispondenza del repository che vuoi eliminare, fai clic sulla
Menu Altro, quindi seleziona Elimina.Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.
Fai clic su Elimina.
Passaggi successivi
Per scoprire come configurare le impostazioni di elaborazione Dataform, consulta Configurare le impostazioni Dataform.
Per scoprire come collegare un repository Dataform a un provider Git di terze parti, consulta Connettersi a un repository Git di terze parti.
Per scoprire di più sull'utilizzo di CMEK in Dataform, vedi Utilizzare le chiavi di crittografia gestite dal cliente.
Per scoprire come creare un'area di lavoro di sviluppo, consulta Crea uno spazio di lavoro.