Crea un repository

Questo documento ti aiuta a comprendere il concetto di repository in Dataform e come creare un nuovo repository.

Informazioni sui repository Dataform

Ogni repository Dataform contiene una raccolta di file SQLX e JavaScript che costituiscono il tuo flusso di lavoro, nonché pacchetti e file di configurazione Dataform. Interagisci con i contenuti del tuo repository in uno spazio di lavoro per lo sviluppo.

Dataform mostra i tuoi repository nella pagina Dataform nell'ordine alfabetico degli ID repository. Puoi ordinarli e filtrarli.

• Per visualizzare i tuoi repository, vai alla pagina Dataform nella console Google Cloud.

  Vai a Dataform

Ogni repository Dataform è collegato a un account di servizio. Puoi selezionare un account di servizio quando crei un repository o modificarlo in un secondo momento.

Per impostazione predefinita, Dataform utilizza un account di servizio derivato dal numero del progetto nel seguente formato:

[e-mail]

Dataform utilizza Git per registrare le modifiche e gestire le versioni dei file. Ogni repository Dataform corrisponde a un repository Git. Dopo aver creato un repository Dataform, puoi connetterlo a un repository GitHub, GitLab o Bitbucket remoto.

In un repository Dataform, Dataform archivia il codice del repository. In un repository collegato, il repository di terze parti memorizza il codice del repository. Dataform interagisce con il repository di terze parti per consentirti di modificare e di eseguire i relativi contenuti in uno spazio di lavoro di sviluppo Dataform.

Una pagina del repository Dataform è costituita dai seguenti componenti:

Scheda Spazio di lavoro di sviluppo

Mostra gli spazi di lavoro di sviluppo creati nel repository.

Scheda Configurazioni release

Ti consente di ispezionare, creare, modificare ed eliminare release.

Scheda Log di esecuzione del flusso di lavoro

Visualizza i log di esecuzione del flusso di lavoro Dataform.

Scheda Configurazioni dei workflow

Ti consente di ispezionare, creare, modificare ed eliminare configurazioni dei flussi di lavoro.

Scheda Impostazioni

Mostra il nome e la posizione del repository. Per un repository collegato a un repository Git di terze parti, vengono visualizzati la sorgente del repository di terze parti, il nome del ramo predefinito e il token segreto. Mostra i pulsanti per collegare il repository a un repository Git di terze parti e per modificare la connessione Git.

Pulsante Crea area di lavoro di sviluppo

Ti consente di creare uno spazio di lavoro di sviluppo.

Dopo aver creato e inizializzato un'area di lavoro di sviluppo, puoi modificare il file di impostazioni del flusso di lavoro per configurare le seguenti impostazioni Dataform del tuo repository:

• Il database predefinito (Google Cloud ID progetto).
• Lo schema predefinito (ID set di dati BigQuery).
• La posizione BigQuery predefinita.
• Lo schema predefinito (ID set di dati BigQuery) per le asserzioni.
• Il magazzino, che deve essere impostato su bigquery.
• Variabili definite dall'utente rese disponibili per il codice del progetto durante la compilazione.

Per ulteriori informazioni sulle impostazioni del repository Dataform, consulta IProjectConfig nel riferimento di Dataform Core.

Impostazioni repository

Quando crei un repository Dataform, devi impostare le seguenti impostazioni del repository:

ID repository

Un ID univoco del repository. Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.

Regione

Regione Dataform per l'archiviazione del repository e dei relativi contenuti.

Questa regione di archiviazione può essere diversa dalla regione di elaborazione in cui Dataform elabora il codice e archivia l'output delle esecuzioni. Per impostazione predefinita, la regione di elaborazione è impostata sulla regione del set di dati BigQuery predefinito. Puoi modificare la regione di elaborazione nel file delle impostazioni del workflow dopo aver creato il repository. Per ulteriori informazioni, consulta Configurare le impostazioni di Dataform.

Service account

Service account associato al repository. Puoi selezionare l'account di servizio Dataform predefinito, un account di servizio associato al tuo progetto Google Cloud o inserire manualmente un altro account di servizio. Per impostazione predefinita, Dataform utilizza un account di servizio derivato dal numero del progetto nel seguente formato:

[e-mail]

Dataform utilizza l'account di servizio predefinito per tutte le operazioni sul repository. Puoi utilizzare un account di servizio diverso per eseguire i flussi di lavoro nel tuo repository, ma l'account di servizio predefinito viene comunque utilizzato per tutte le altre operazioni del repository.

Crittografia

Metodo di crittografia per il repository. Puoi utilizzare la crittografia predefinita, una chiave di crittografia Cloud KMS gestita dal cliente univoca o una chiave CMEK predefinita di Dataform. Per ulteriori informazioni sull'utilizzo delle chiavi di crittografia gestite dal cliente (CMEK) in Dataform, consulta Utilizzare le chiavi di crittografia gestite dal cliente.

Dopo aver creato un repository, puoi connetterlo a GitHub o GitLab.

Importante: per creare un repository Dataform collegato a un repository Git remoto non presente nell'elenco consentiti delle norme dataform.restrictGitRemotes, aggiungi prima il repository Git remoto all'elenco allowedValues delle norme, poi crea un nuovo repository Dataform e collegalo al repository remoto. Per ulteriori informazioni, consulta Limitare i repository remoti.

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery and Dataform APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery and Dataform APIs.

   Enable the APIs

8. Per utilizzare la crittografia CMEK per il repository, abilita la crittografia CMEK dei repository Dataform.

Importante: prima di creare un repository Dataform da collegare a un repository Git remoto, controlla se la tua organizzazione o il tuo progetto limita i repository Git remoti con le dataform.restrictGitRemotes norme dell'organizzazione. Se il criterio è attivo, assicurati che il repository remoto sia incluso nella lista consentita prima di creare il repository Dataform e di collegarlo al repository remoto. Per ulteriori informazioni, consulta Limitare i repository remoti

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare ed eliminare un repository, chiedi all'amministratore di concederti il ruolo IAM Amministratore Dataform (roles/dataform.admin) per i repository. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per utilizzare un account di servizio diverso dall'account di servizio Dataform predefinito, concedi l'accesso all'account di servizio personalizzato.

Nota: un account di servizio personalizzato associato a un repository Dataform viene utilizzato solo per eseguire i flussi di lavoro del repository. Tutte le altre operazioni sul repository vengono comunque eseguite dall'account di servizio Dataform predefinito.

Dopo aver creato un repository Dataform, Dataform ti concede automaticamente il ruolo di amministratore Dataform in quel repository.

Crea un repository

Per creare un repository Dataform:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su Crea repository.

3. Nella pagina Crea repository, inserisci un ID univoco nel campo ID repository.

   Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.

4. Nell'elenco a discesa Regione, seleziona una regione Dataform per archiviare il repository e i relativi contenuti. Seleziona la regione Dataform più vicina alla tua località.

   Per un elenco delle regioni Dataform disponibili, consulta Località. La regione del repository non deve necessariamente corrispondere alla località dei set di dati BigQuery.

   Nel file workflow_settings.yaml, puoi impostare la regione di elaborazione in cui Dataform elabora il codice e memorizza l'output delle esecuzioni. La regione di elaborazione deve corrispondere alla posizione dei set di dati BigQuery, ma non deve corrispondere alla regione del repository. Per ulteriori informazioni, consulta Configurare le impostazioni di Dataform.

5. Nel menu a discesa Account di servizio, seleziona un account di servizio per il repository.

   Nel menu a discesa, puoi selezionare l'account di servizio Dataform predefinito o qualsiasi account di servizio associato al tuo progetto Google Cloud a cui hai accesso. Tieni presente che gli account di servizio personalizzati vengono utilizzati solo per l'esecuzione del flusso di lavoro. Tutte le altre operazioni del repository vengono comunque eseguite dall'account di servizio Dataform predefinito.

   1. (Facoltativo) Per selezionare un account di servizio non visualizzato nel menu a discesa, fai clic su Inserisci manualmente e inserisci un ID account di servizio.

6. Configura il meccanismo di crittografia selezionato per il repository:

   Attenzione: non puoi modificare il meccanismo di crittografia di un repository Dataform dopo la sua creazione. Per ulteriori informazioni, consulta Restrizioni CMEK di Dataform

   Chiave CMEK predefinita

   Dataform mostra la casella di controllo Utilizza la chiave KMS predefinita e la seleziona per impostazione predefinita.

   • Per criptare il repository con la chiave CMEK di Dataform predefinita, lascia selezionata la casella di controllo Utilizza la chiave KMS predefinita.

   Attenzione: se selezioni la casella di controllo Utilizza la chiave KMS predefinita, ma non è impostata alcuna chiave CMEK predefinita di Dataform per il progetto, Dataform applica la crittografia at-rest al repository. Utilizza le chiavi di crittografia gestite dal cliente.

   Chiave CMEK univoca

   Per criptare il repository con una chiave CMEK univoca:

   1. Se la casella di controllo Utilizza la chiave KMS predefinita è selezionata per impostazione predefinita, deselezionala.
   2. Nella sezione Crittografia, seleziona l'opzione Chiavi di crittografia gestite dal cliente (CMEK).
   3. Nel menu a discesa Seleziona una chiave gestita dal cliente, seleziona una chiave CMEK univoca.

   Crittografia dei dati inattivi

   • Per utilizzare la crittografia predefinita, nella sezione Crittografia, seleziona l'opzione Google-managed encryption key.

   Attenzione: se per la regione del tuo repository è impostata una chiave CMEK predefinita di Dataform, devi utilizzare la crittografia CMEK. Non selezionare l'opzione Google-managed encryption key. Per ulteriori informazioni, consulta le limitazioni di CMEK per Dataform.

7. Fai clic su Crea e poi su Fine.

Modifica l'account di servizio

Puoi associare un account di servizio personalizzato a un repository Dataform per l'esecuzione del flusso di lavoro. Tutte le altre operazioni del repository vengono effettuate dall'account di servizio Dataform predefinito.

Per modificare l'account di servizio per un repository Dataform:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Seleziona un repository e fai clic su Impostazioni.

3. Accanto al campo Account di servizio, fai clic su Modifica account di servizio.

4. Nel menu a discesa Account di servizio, seleziona un account di servizio per il repository.

   Nel menu a discesa, puoi selezionare l'account di servizio Dataform predefinito o qualsiasi account di servizio associato al tuo progetto Google Cloud a cui hai accesso.

   1. (Facoltativo) Per selezionare un account di servizio non visualizzato nel menu a discesa, fai clic su Inserisci manualmente e inserisci un ID account di servizio.

5. Fai clic su Salva.

Eliminare un repository

Per eliminare un repository e tutti i relativi contenuti:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Accanto al repository che vuoi eliminare, fai clic sul menu Altro e seleziona Elimina.

3. Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.

4. Fai clic su Elimina.

Passaggi successivi

• Per scoprire come collegare un repository Dataform a un repository Git di terze parti, consulta Eseguire la connessione a un repository Git di terze parti.
• Per scoprire di più su come le dimensioni del repository influiscono sullo sviluppo in Dataform, consulta Panoramica delle dimensioni del repository.
• Per scoprire di più sulla suddivisione di un repository in Dataform, consulta Introduzione alla suddivisione dei repository.
• Per scoprire come configurare le impostazioni di elaborazione di Dataform, consulta Configurare le impostazioni di Dataform.
• Per scoprire come creare e inizializzare un'area di lavoro, consulta Creare un'area di lavoro.