Dataflow SQL

Dataflow は Dataflow SQL のサポートを終了します。これは互換性を破る変更です。

代替手段: Beam SQL

Beam SQL では、SQL ステートメントを使用して、制限付きと制限なしの PCollections をクエリできます。Apache Beam ノートブックで作業している場合は、IPython カスタムマジック beam_sql を使用して、パイプラインの開発を高速化できます。

Beam SQL は、SQL ステートメントを使用して PCollections をクエリする Dataflow SQL と同様の機能を提供します。

できるだけ早く Dataflow SQL クエリを Beam SQL に移行することをおすすめします。

Beam SQL への移行は、Dataflow SQL ジョブやクエリに影響する互換性のない変更です。これらのジョブとクエリは再構築する必要があります。

この変更により、新しい Dataflow SQL ジョブを作成できなくなります。ただし、この変更は、すでに実行中の Dataflow SQL ジョブには影響しません。

Beam SQL でクエリを作成する方法については、Beam SQL と beam_sql マジックと Beam SQL の概要をご覧ください。