Gestire il pacchetto principale di Dataform

Questo documento mostra come gestire il pacchetto di dipendenze del framework Dataform core e aggiornarlo all'ultima versione.

Dataform Core è il framework Dataform open source per lo sviluppo di flussi di lavoro SQL con SQL, SQLX e JavaScript. Come best practice, utilizza sempre la versione più recente disponibile del framework di base di Dataform. Per informazioni sulle release del framework di base di Dataform, consulta Release di Dataform su GitHub.

Prima di iniziare

  1. Crea un repository.
  2. Crea e inizializza uno spazio di lavoro di sviluppo.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire e aggiornare Dataform Core, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Gestisci la posizione del pacchetto principale di Dataform: Dataform Admin (roles/dataform.admin) nei repository
  • Aggiorna il pacchetto principale di Dataform: Dataform Editor (roles/dataform.editor) negli spazi di lavoro

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Gestire la posizione del pacchetto principale di Dataform

Quando inizili la prima area di lavoro in un repository, Dataform imposta automaticamente Dataform Core come pacchetto di dipendenze. A partire da Dataform core 3.0.0, Dataform installa il pacchetto Dataform core nel workflow_settings.yaml file per impostazione predefinita. Nelle versioni precedenti di Dataform Core, Dataform Core era impostato nel file package.json.

In Dataform core 3.0.0 e versioni successive, se Dataform core è l'unico pacchetto nel tuo repository, devi impostarlo nel file workflow_settings.yaml. Per i repository creati con versioni precedenti di Dataform Core, sposta il pacchetto Dataform Core in workflow_settings.yaml.

Il file package.json è obbligatorio per installare pacchetti aggiuntivi in Dataform. Se il tuo repository utilizza pacchetti aggiuntivi, imposta il pacchetto di base Dataform in package.json in modo che tutti i pacchetti siano impostati in un unico posto. Se il tuo repository non ha package.json, crea package.json e sposta il pacchetto Dataform core per installare altri pacchetti.

Sposta il nucleo di Dataform in workflow_settings.yaml

Per i repository creati con versioni di Dataform Core precedenti a 3.0.0, se non hai pacchetti di dipendenza diversi da Dataform Core, devi spostare il pacchetto Dataform Core da package.json a workflow_settings.yaml ed eliminare il file package.json ridondante.

Per eseguire la migrazione del pacchetto principale di Dataform da package.json a workflow_settings.yaml, segui questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona un repository e poi uno spazio di lavoro.

  3. Nel riquadro File, seleziona il file workflow_settings.yaml.

  4. Nel file workflow_settings.yaml, aggiungi il pacchetto di base Dataform nel seguente formato:

    dataformCoreVersion: "VERSION"

    Sostituisci VERSION con la versione più recente di Dataform, ad esempio 3.0.0.

  5. Nel riquadro File, fai clic sul menu Altro accanto a package.json, quindi su Elimina.

  6. Per confermare l'eliminazione di dataform.json, fai clic su Elimina.

  7. Fai clic su Installa pacchetti.

Sposta il nucleo di Dataform in package.json

Il file package.json è necessario per installare pacchetti aggiuntivi in un repository. Se il tuo repository utilizza pacchetti aggiuntivi, devi archiviare tutti i pacchetti, incluso il pacchetto principale di Dataform, in package.json.

Se il tuo repository non contiene il file package.json perché il pacchetto Dataform Core è impostato nel file workflow_settings.yaml, devi creare il file package.json per installare pacchetti aggiuntivi e poi spostare il pacchetto Dataform Core da workflow_settings.yaml al nuovo file package.json.

Per creare il file package.json e spostare il pacchetto di base Dataform:

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona un repository e poi uno spazio di lavoro.

  3. Nel riquadro File, fai clic su AggiungiAggiungi, quindi su Crea file.

  4. Nel campo Aggiungi un percorso del file, inserisci package.json.

  5. Fai clic su Crea file.

  6. Nel file package.json, aggiungi il pacchetto di base Dataform nel seguente formato:

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Sostituisci VERSION con la versione più recente di Dataform, ad esempio 3.0.0.

  7. Fai clic su Installa pacchetti.

  8. Nel riquadro File, seleziona workflow_settings.yaml.

  9. Nel file workflow_settings.yaml, elimina la proprietà dataformCoreVersion.

Aggiornare il nucleo di Dataform

Testa sempre le nuove versioni del pacchetto in un ambiente non di produzione prima di eseguire il deployment nell'ambiente di produzione.

Per aggiornare il pacchetto delle dipendenze di Dataform di base:

  1. Cerca la versione più recente di @dataform/core nella pagina delle release di Dataform su GitHub.

  2. Nella console Google Cloud, vai alla pagina Dataform.

    Vai alla pagina Dataform

  3. Seleziona un repository e poi uno spazio di lavoro.

  4. Nel riquadro File, seleziona il file package.json o il workflow_settings.yaml.

    La posizione in cui è impostato il pacchetto delle dipendenze di Dataform core dipende dalla versione di Dataform core e dall'utilizzo dei pacchetti. Per ulteriori informazioni, consulta Gestire la posizione del pacchetto principale di Dataform.

  5. Aggiorna il pacchetto delle dipendenze di Dataform con la versione più recente:

    package.json

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Sostituisci VERSION con la versione più recente di Dataform, ad esempio 3.0.0. Per evitare problemi di installazione del pacchetto, specifica esplicitamente la versione del pacchetto principale di Dataform. Non utilizzare altre opzioni dependencies di package.json, ad esempio >version.

    1. Fai clic su Installa pacchetti.

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"

    Sostituisci VERSION con la versione più recente di Dataform, ad esempio 3.0.0.

    1. Fai clic su Installa pacchetti.

  6. Esegui il commit delle modifiche.

  7. Esegui il push delle modifiche nel repository.

Il seguente esempio di codice mostra la dipendenza @dataform/core aggiornata alla versione 3.0.0 nel file package.json:

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

Passaggi successivi