Guides Dataform

Découvrir

• Présentation de Dataform

  Présentation des concepts et des processus Dataform

• Présentation des fonctionnalités de Dataform

  Présentation des fonctionnalités de Dataform

• Présentation de Dataform Core

  Présentation des concepts fondamentaux de Dataform.

Premiers pas

• Guide de démarrage rapide: Créer et exécuter un workflow SQL

  Créer et exécuter un workflow SQL

• Guide de démarrage rapide: planifier des exécutions en production

  Créez un environnement de production avec une configuration de version et planifiez les exécutions en production avec une configuration de workflow.

• Guide de démarrage rapide: créer des environnements de développement

  Créez des environnements de développement avec des remplacements de compilation d'espaces de travail Dataform.

• Effectuer une migration depuis l'ancien Dataform

  Importez un ancien projet Dataform dans Dataform dans Google Cloud.

• Migrer les anciens environnements Dataform et planifications

  Migrez des environnements et des planifications de l'ancienne version de Dataform vers Dataform dans Google Cloud grâce aux configurations de publication et de workflow

Administrer des dépôts

• Introduction aux dépôts

  Découvrez les dépôts dans Dataform.

• Créer un dépôt

  Créez un dépôt, définissez et modifiez le compte de service du dépôt, puis supprimez un dépôt dans Dataform à l'aide de la console Google Cloud.

• Se connecter à un dépôt Git tiers

  Associez un dépôt Dataform à un dépôt Git distant à l'aide de la console Google Cloud.

• Configurer les paramètres Dataform

  Modifiez les paramètres Dataform pour un dépôt spécifique à l'aide de la console Google Cloud.

• Structurer le code dans un dépôt

  Découvrez les bonnes pratiques pour structurer le code de workflow SQL dans un dépôt Dataform.

• Présentation de la taille du dépôt

  Découvrez l'impact de la taille du dépôt sur l'utilisation des ressources de développement et de compilation Dataform.

• Présentation du fractionnement des dépôts

  Découvrez les stratégies de division d'un dépôt, ainsi que ses avantages et ses inconvénients.

Contrôler les accès

• Accorder l'accès requis à Dataform

  Attribuez à votre compte de service Dataform les rôles IAM requis pour utiliser Dataform avec BigQuery.

• Contrôler l'accès à Dataform avec IAM

  Contrôlez l'accès aux ressources Dataform avec IAM.

• Contrôler les accès avec IAM

  Contrôlez l'accès de BigQuery à des tables individuelles dans Dataform.

• Restreindre les dépôts distants

  Limitez le pool de dépôts distants pouvant se connecter à un dépôt Dataform pour protéger vos données.

Développer dans un espace de travail

• Présentation du développement dans un espace de travail

  Découvrez les espaces de travail dans Dataform.

• Créer un espace de travail

  Créez, initialisez et supprimez un espace de travail Dataform à l'aide de la console Google Cloud.

• Contrôler les versions de votre code

  Utilisez le contrôle des versions Git dans Dataform.

Créer des tables

• Présentation des tables

  Découvrez les tables dans Dataform.

• Créer une table

  Définissez une table, une table incrémentielle ou une vue dans Dataform à l'aide de Dataform Core.

• Créer des partitions et des clusters de table

  Créez des partitions et des clusters de table dans Dataform à l'aide de Dataform Core.

• Configurer une table incrémentielle

  Configurez une table incrémentielle dans Dataform à l'aide de Dataform Core.

• Ajouter de la documentation sur les tables

  Documentez une table, une table incrémentielle ou une vue dans Dataform à l'aide de Dataform Core.

• Ajouter des étiquettes BigQuery

  Ajoutez des étiquettes BigQuery aux tables dans Dataform avec Dataform Core.

• Ajouter des tags avec stratégie BigQuery

  Ajoutez des tags avec stratégie BigQuery dans Dataform avec Dataform Core.

• Configurer les paramètres supplémentaires du tableau

  Définissez des paramètres de table supplémentaires dans un fichier de définition de table principale Dataform.

Développer des workflows SQL

• Présentation des workflows SQL

  Découvrez les workflows SQL dans Dataform.

• Déclarer une source de données

  Déclarez une source de données dans Dataform à l'aide de Dataform Core.

• Déclarer des dépendances

  Déclarez les dépendances entre les objets de workflow SQL dans Dataform.

• Ajouter des opérations SQL personnalisées

  Définissez des opérations SQL personnalisées dans Dataform avec Dataform Core.

• Ajouter des tags d'exécution

  Ajouter des tags d'exécution aux tables dans Dataform avec Dataform Core

• Prévisualiser les requêtes SQL

  Prévisualisez les requêtes SQL dans un espace de travail Dataform avant de les exécuter dans BigQuery.

Tester les workflows SQL

• Tables de test avec des assertions

  Créer des assertions dans Dataform avec Dataform Core

Développer avec JavaScript

• Présentation de JavaScript dans Dataform

  Découvrez comment utiliser JavaScript pour développer des workflows SQL dans Dataform.

• Développer des workflows SQL avec JavaScript

  Créez des éléments de workflow SQL dans Dataform à l'aide de JavaScript.

• Réutiliser des variables et des fonctions avec des inclusions

  Créez du code réutilisable avec des inclusions JavaScript dans Dataform.

• Créer un package dans Dataform

  Créez un package dans Dataform pour l'utiliser afin de développer des workflows SQL.

• Installer un package dans Dataform

  Installez un package JavaScript dans un dépôt Dataform et utilisez-le dans un fichier JavaScript ou SQLX.

• Authentifier un package privé dans Dataform

  Authentifiez un package privé dans un dépôt Dataform pour permettre son installation.

• Utiliser des dimensions à évolution lente dans Dataform

  À titre d'exemple d'utilisation d'un package Open Source dans Dataform, utilisez le package "Dimensions à évolution lente" pour créer des tableaux.

Développer avec la CLI Dataform

• Utiliser la CLI Dataform

  Utilisez la CLI Dataform Open Source.

Exécuter des workflows SQL

• Déclencher une exécution

  Déclenchez manuellement l'exécution de l'ensemble du workflow SQL, des actions sélectionnées ou des actions avec les tags sélectionnés dans la console Google Cloud.

Gérer le cycle de vie du code

• Présentation du cycle de vie du code dans Dataform

  Découvrez comment configurer le cycle de vie du code Dataform en fonction de vos besoins.

• Configurer des remplacements de compilation d'espace de travail

  Configurez les remplacements de compilation pour tous les espaces de travail de votre dépôt. Créez des remplacements de compilation pour les exécutions de workflow Dataform.

• Créer une configuration de version

  Créez des configurations de version dans Dataform pour configurer des modèles de paramètres de compilation. Vous pouvez utiliser des configurations de version pour créer des environnements d'exécution, par exemple de préproduction.

• Configurer des remplacements de compilation avec l'API Dataform

  Configurez des remplacements de compilation pour les appels de workflow Dataform dans les requêtes de l'API Dataform.

Planifier des exécutions

• Planifier les exécutions à l'aide des configurations de workflow

  Créez des configurations de workflow dans Dataform pour planifier et configurer les exécutions.

• Planifier des exécutions avec Workflows et Cloud Scheduler

  Planifier les exécutions de Dataform avec Workflows et Cloud Scheduler

• Planifier des exécutions avec Cloud Composer

  Planifiez les exécutions Dataform avec Cloud Composer.

Surveillance

• Surveiller les journaux d'exécution

  Affichez les journaux d'exécution Dataform dans la console Google Cloud.

• Journaux d'audit

  Consultez les journaux d'audit Dataform.

• Afficher Cloud Logging pour Dataform

  Surveillez les appels de workflow Dataform avec Cloud Logging.

Entretenir

• Mettre à jour Dataform

  Installez la dernière version de Dataform.

Bonnes pratiques

• Présentation des bonnes pratiques

  Découvrez les bonnes pratiques concernant Dataform.

• Présentation de la taille du dépôt

  Découvrez l'impact de la taille du dépôt sur l'utilisation des ressources de développement et de compilation Dataform.

• Répartir des dépôts

  Découvrez les stratégies de division d'un dépôt, ainsi que ses avantages et ses inconvénients.

• Structurer le code dans un dépôt

  Découvrez les bonnes pratiques pour structurer le code de workflow SQL dans un dépôt Dataform.

• Gérer le cycle de vie du code

  Découvrez les solutions permettant de configurer des environnements de cycle de vie isolés : développement, préproduction et production.

Résoudre les problèmes

• Résoudre les problèmes liés à Dataform

  Résolvez les problèmes liés à Dataform.