Installer un package dans Dataform

Ce document explique comment installer un package JavaScript dans un dépôt Dataform et l'importer dans un fichier JavaScript et un fichier SQLX afin de développer des workflows SQL dans Dataform à l'aide du package.

Pour utiliser un package dans Dataform, vous devez l'installer dans votre dépôt.

Vous pouvez installer les types de packages suivants dans Dataform:

Ensuite, pour utiliser le package dans un fichier JavaScript ou SQLX, vous devez importer le contenu sélectionné du package dans le fichier. Vous pouvez également importer un package entier dans un fichier JavaScript ou SQLX au lieu de son contenu sélectionné.

Avant de commencer

  1. Dans la console Google Cloud, accédez à la page Dataform.

    Accéder à la page Dataform

  2. Sélectionnez ou créez un dépôt.

  3. Sélectionnez ou créez un espace de travail de développement.

  4. [Facultatif] Pour installer un package privé, authentifiez-le.

Rôles requis

Pour obtenir les autorisations dont vous avez besoin pour importer un package, demandez à votre administrateur de vous attribuer le rôle IAM Éditeur Dataform (roles/dataform.editor) sur les espaces de travail. Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Installer un package dans un dépôt Dataform

Pour installer un package dans un dépôt Dataform, vous devez l'ajouter en tant que dépendance dans le fichier package.json. Le format de la définition des dépendances dans le fichier package.json dépend du type de package. Si vous n'avez pas de fichier package.json parce que votre fichier workflow_settings.yaml spécifie votre dataformCoreVersion, supprimez dataformCoreVersion de workflow_settings.yaml, puis créez un fichier package.json et ajoutez @dataform/core en tant que dépendance.

Pour installer un package dans un dépôt Dataform, procédez comme suit:

  1. Dans votre espace de travail, dans le volet Fichiers, sélectionnez package.json.

  2. Ajoutez le package au bloc dependencies:

    1. Ajoutez un package NPM public publié au format suivant:

      "PACKAGE-NAME": "PACKAGE-VERSION"

      Remplacez les éléments suivants :

      • PACKAGE-NAME par le nom du package.
      • PACKAGE-VERSION par la dernière version du package NPM public publié.

    2. Ajoutez un package NPM public non publié au format suivant:

      "PACKAGE-NAME": "PACKAGE-URL"

      Remplacez les éléments suivants :

      • PACKAGE-NAME par le nom du package.
      • PACKAGE-URL par l'URL tar.gz du dépôt de packages tiers, par exemple https://github.com/user/sample-package-repository/archive/master.tar.gz.

    3. Ajoutez un package NPM privé authentifié au format suivant:

      "REGISTRY-SCOPE/PACKAGE-NAME": "PACKAGE-URL"

      Remplacez les éléments suivants :

      • REGISTRY-SCOPE par le nom du package. REGISTRY-SCOPE doit correspondre au niveau d'accès au registre défini dans le fichier .nmprc de votre dépôt.
      • PACKAGE-NAME par le nom du package.
      • PACKAGE-URL par l'URL tar.gz du dépôt de packages, par exemple https://github.com/user/sample-package-repository/archive/master.tar.gz.

  3. Cliquez sur Installer les packages.

  4. Validez et push vos modifications.

L'exemple de code suivant montre le package de dimensions à modification lente ajouté au fichier .package.json public en Open Source:

 ```
 {
   "name": "repository-name",
   "dependencies": {
     "@dataform/core": "2.0.3",
     "dataform-scd": "https://github.com/dataform-co/dataform-scd/archive/0.3.tar.gz"
   }
 }
 ```

Importer une constante ou une fonction de package dans un fichier JavaScript dans Dataform

Pour utiliser une fonction ou une constante à partir d'un package dans un fichier JavaScript dans Dataform, vous devez d'abord l'importer dans le fichier.

Pour importer une fonction ou une constante à partir d'un package dans un fichier JavaScript, procédez comme suit:

  1. Dans le volet Files (Fichiers) de votre espace de travail, sélectionnez un fichier .js dans lequel vous souhaitez utiliser le package.

  2. Dans le fichier, importez une fonction ou une constante au format suivant:

    const { EXPORT-NAME } = require("PACKAGE-NAME");
    1. Remplacez EXPORT-NAME par le nom de la fonction ou de la constante que vous souhaitez utiliser, déclarée dans module.exports dans le fichier index.js du package.
    2. Remplacez PACKAGE-NAME par le nom du package que vous souhaitez utiliser.

  3. Validez et push vos modifications.

L'exemple de code suivant montre la fonction getDomain du package postoffice importé et utilisé dans un fichier JavaScript:

/*
 * Contents of postoffice index.js:
 * module.exports = { getDomain };
 */

const { getDomain } = require("postoffice");
getDomain();

Importer un package entier dans un fichier JavaScript dans Dataform

Pour importer l'ensemble du package dans un fichier JavaScript au lieu d'importer les fonctions ou les constantes sélectionnées dans un fichier JavaScript, procédez comme suit:

  1. Dans le volet Fichiers de votre espace de travail, sélectionnez un fichier .js dans lequel vous souhaitez utiliser le package.

  2. Dans le fichier, importez le package au format suivant:

    const CONSTANT-NAME = require("PACKAGE-NAME");
    1. Remplacez CONSTANT-NAME par le nom de la constante.
    2. Remplacez PACKAGE-NAME par le nom du package que vous souhaitez utiliser.

  3. Validez et push vos modifications.

L'exemple de code suivant montre la fonction getDomain du package postoffice importé utilisé dans un fichier JavaScript:

/*
 * Contents of postoffice index.js:
 * module.exports = { getDomain };
 */

const postoffice = require("postoffice");
postoffice.getDomain();

Importer une constante ou une fonction de package dans un fichier SQLX dans Dataform

Pour utiliser une fonction ou une constante à partir d'un package dans un fichier SQLX, vous devez d'abord l'importer dans le fichier.

Pour importer une fonction ou une constante à partir d'un package dans un fichier SQLX, procédez comme suit:

  1. Dans le volet Files (Fichiers) de votre espace de travail, sélectionnez un fichier .sqlx dans lequel vous souhaitez utiliser le package.

  2. Dans le fichier, saisissez le bloc js suivant:

    js {
  const { EXPORT-NAME } = require("PACKAGE-NAME");
}
    1. Remplacez EXPORT-NAME par le nom de la fonction ou de la constante que vous souhaitez utiliser, déclarée dans module.exports dans le fichier index.js du package.
    2. Remplacez PACKAGE-NAME par le nom du package que vous souhaitez utiliser.

  3. Validez et push vos modifications.

L'exemple de code suivant montre la fonction getDomain du package postoffice importé dans un bloc js et utilisée dans une instruction SELECT dans un fichier SQLX:

/*
 * Contents of postoffice index.js:
 * module.exports = { getDomain };
 */

config {
    type: "table",
}

js {
  const { getDomain } = require("postoffice");
}

SELECT ${getDomain("email")} as test

Importer un package entier dans un fichier SQLX dans Dataform

Pour importer l'ensemble du package dans un fichier SQLX au lieu d'importer les fonctions ou les constantes sélectionnées dans un fichier JavaScript, procédez comme suit:

  1. Dans le volet Files (Fichiers) de votre espace de travail, sélectionnez un fichier .sqlx dans lequel vous souhaitez utiliser le package.

  2. Dans le fichier, importez le package au format suivant:

    js {
  const CONSTANT-NAME = require("PACKAGE-NAME");
}
    1. Remplacez CONSTANT-NAME par le nom de la constante.
    2. Remplacez PACKAGE-NAME par le nom du package que vous souhaitez utiliser.

  3. Validez et push vos modifications.

L'exemple de code suivant montre le package postoffice importé dans un bloc js et sa fonction getDomain utilisée dans une instruction SELECT d'un fichier SQLX:

/*
 * Contents of postoffice index.js:
 * module.exports = { getDomain };
 */

config {
    type: "table",
}

js {
  const postoffice = require("postoffice");
}

SELECT ${postoffice.getDomain("email")} as test

Étapes suivantes