Dataflow SQL

Dataflow ne sera plus compatible avec Dataflow SQL. Il s'agit d'une modification destructive.

  • À compter du 31 juillet 2024, vous ne pourrez plus accéder à Dataflow SQL dans la console Google Cloud.
  • À compter du 31 janvier 2025, vous ne pourrez plus utiliser Dataflow SQL dans Google Cloud CLI.

Remplacement : Beam SQL

Beam SQL vous permet d'interroger des PCollectionslimitées et illimitées avec des instructions SQL. Si vous utilisez un notebook Apache Beam, vous pouvez utiliser la commande magique personnalisée IPython beam_sql pour accélérer le développement de votre pipeline.

Beam SQL offre des fonctionnalités semblables à celles de Dataflow SQL, en utilisant des instructions SQL pour interroger PCollections.

Migration

Nous vous recommandons de commencer à migrer votre requête Dataflow SQL vers Beam SQL dès que possible.

Le passage à Beam SQL est une modification destructive qui affecte les tâches ou les requêtes Dataflow SQL. Vous devrez recréer ces jobs et ces requêtes.

Cette modification ne vous permet pas de créer de jobs Dataflow SQL. Toutefois, ce changement n'affecte pas les jobs Dataflow SQL qui sont déjà en cours d'exécution.

Pour en savoir plus sur la création de requêtes dans Beam SQL, consultez les pages Beam SQL et beam_sql magique et Présentation de Beam SQL.