Dataform
Développez et opérationnalisez des pipelines de transformation de données évolutifs dans BigQuery à l'aide du langage SQL.
-
Développez des tables sélectionnées, documentées, fiables et à jour dans BigQuery
-
Permettez aux analystes et aux ingénieurs de données de collaborer sur le même dépôt
-
Créez des pipelines de données évolutifs dans BigQuery à l'aide du langage SQL
-
Intégrez l'outil à GitHub et GitLab
-
Maintenez les tables à jour sans avoir à gérer l'infrastructure
Avantages
Simplifier l'architecture de traitement des données
Développez et opérationnalisez des pipelines de transformation de données évolutifs dans BigQuery à l'aide du langage SQL, à partir d'un environnement unique et sans dépendances supplémentaires.
Collaborer à l'aide des pratiques de développement logiciel
Avec Dataform, les équipes responsables des données gèrent le code SQL et les définitions des éléments de données conformément aux bonnes pratiques d'ingénierie logicielle, telles que le contrôle des versions, les environnements, les tests et la documentation.
Créer des pipelines SQL de production
Dataform élimine la complexité liée à la création de pipelines SQL. Les analystes de données peuvent gérer les dépendances, configurer des tests de qualité des données et orchestrer des pipelines complexes à l'aide de SQL.
Principales fonctionnalités
Principales fonctionnalités
Langage Open Source basé sur SQL pour gérer les transformations de données
Dataform Core permet aux ingénieurs et aux analystes de données de créer des définitions de table, de configurer des dépendances, d'ajouter des descriptions de colonnes et de configurer des assertions de qualité des données de manière centralisée dans un dépôt unique simplement à l'aide du langage SQL.
Les fonctionnalités de Dataform Core peuvent être adoptées progressivement et de façon complémentaire, sans modifier le code existant.
Dataform Core est un langage Open Source pouvant être utilisé localement. Les utilisateurs n'ont pas besoin de dépendre d'un fournisseur et bénéficient de plus de flexibilité pour les cas d'utilisation plus avancés.
Orchestration sans serveur entièrement gérée pour les pipelines de données
Dataform gère l'infrastructure opérationnelle pour mettre à jour vos tables en suivant les dépendances entre vos tables et en utilisant la dernière version de votre code. Vous pouvez suivre facilement les informations de traçabilité et de données grâce aux intégrations Dataform. Déclenchez des workflows SQL manuellement, ou planifiez-les via Cloud Composer, Workflows ou des services tiers.
Environnement de développement cloud complet pour développer à l'aide du langage SQL
Définissez des tables, corrigez les problèmes liés aux messages d'erreur en temps réel, visualisez les dépendances, validez les modifications dans Git et planifiez les pipelines en quelques minutes à partir d'une seule interface, sans quitter votre navigateur Web. Connectez votre dépôt à des fournisseurs tiers tels que GitHub et GitLab. Validez les modifications et envoyez ou ouvrez des demandes d'extraction depuis l'IDE.
Documentation
Documentation
Créer et exécuter un workflow SQL
Découvrez comment créer un workflow SQL et l'exécuter dans BigQuery à l'aide de Dataform et SQLX.
Contrôler les versions de votre code
Découvrez comment utiliser le contrôle des versions dans Dataform pour suivre le développement.
Tarification
Tarification
Dataform est un service gratuit.
Son utilisation peut entraîner des coûts associés à d'autres services.