SQL do Dataflow

O Dataflow terminou o suporte para o Dataflow SQL. Esta é uma alteração interruptiva.

  • A partir de 31 de julho de 2024, não pode aceder ao Dataflow SQL na consolaGoogle Cloud .
  • A partir de 31 de janeiro de 2025, não pode usar o Dataflow SQL na Google Cloud CLI.

Substituição: Beam SQL

O Beam SQL permite-lhe consultar PCollections limitados e ilimitados com declarações SQL. Se estiver a trabalhar num bloco de notas do Apache Beam, pode usar o custom magic do IPython beam_sqlpara acelerar o desenvolvimento do pipeline.

O Beam SQL oferece uma funcionalidade semelhante à do Dataflow SQL, usando declarações SQL para consultar PCollections.

Migração

Recomendamos que comece a migrar a sua consulta SQL do Dataflow para o SQL do Beam assim que possível.

A mudança para o Beam SQL é uma alteração interruptiva que afeta qualquer tarefa ou consulta SQL do Dataflow. Tem de recriar estas tarefas e consultas.

Com esta alteração, não pode criar novas tarefas SQL do Dataflow. No entanto, esta alteração não afeta as tarefas SQL do Dataflow que já estão em execução.

Para obter informações sobre como criar consultas no Beam SQL, consulte os artigos Beam SQL e beam_sql magic e Vista geral do Beam SQL.