Dataflow SQL

Dataflow에서 Dataflow SQL 지원이 종료됩니다. 이는 브레이킹 체인지입니다.

  • 2024년 7월 31일부터 Google Cloud 콘솔에서 Dataflow SQL에 액세스할 수 없습니다.
  • 2025년 1월 31일부터는 Google Cloud CLI에서 Dataflow SQL을 사용할 수 없습니다.

대체: Beam SQL

Beam SQL을 사용하면 SQL 문을 사용하여 바인딩 및 바인딩 되지 않은 PCollections을 쿼리할 수 있습니다. Apache Beam 노트북에서 작업하는 경우 IPython 커스텀 매직 beam_sql을 사용하여 파이프라인 개발 속도를 높일 수 있습니다.

Beam SQL은 Dataflow SQL과 유사한 기능을 제공하므로 SQL 문을 사용하여 PCollections를 쿼리할 수 있습니다.

마이그레이션

가능한 한 빨리 Dataflow SQL 쿼리를 Beam SQL로 마이그레이션하는 것이 좋습니다.

Beam SQL로 전환은 Dataflow SQL 작업이나 쿼리에 영향을 미치는 브레이킹 체인지입니다. 이러한 작업과 쿼리를 다시 빌드해야 합니다.

이번 변경으로 인해 새 Dataflow SQL 작업을 만들 수 없습니다. 하지만 이 변경사항은 이미 실행 중인 Dataflow SQL 작업에는 영향을 미치지 않습니다.

Beam SQL에서 쿼리를 만드는 방법에 대한 자세한 내용은 Beam SQL 및 beam_sql 매직 및 Beam SQL 개요를 참조하세요.