自動化された SQL 変換で BigQuery の移行時間を短縮

※この投稿は米国時間 2022 年 6 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。

Google のデータ クラウドを使用することで、お客様は、単一の統合インターフェースによる堅牢なサービスを通じて、限界のないイノベーションを推進し、自身のデータの価値を引き出すことができます。データ エコシステムを Google Cloud に移行することで、各組織はデータサイロを解消し、データの可能性を最大限に活用できます。ただし、歴史的に、データ ウェアハウスの移行は簡単な作業ではありませんでした。ウェアハウスの移行で特に難しいのは、SQL クエリ、SQL ストアド プロシージャなどの以前のビジネス ロジックをモダナイズすることです。このプロセスでは、通常かなりの量のクエリを手動で書き換え、検証する必要があります。これは、時間がかかるとともに、ミスが起こりやすいプロセスです。

Google Cloud は現在、BigQuery Migration Service（BQMS）の一部として SQL 変換を自動化し、データ ウェアハウスの移行をさらに容易にしています。お客様は、ボタンを押すだけで、幅広いデータ ウェアハウスのレガシー SQL クエリを意味的に正しく人間が判読できる形式に変換できます。BQMS は無料で利用でき、データ ウェアハウスの BigQuery への移行にかかる時間と費用を大幅に削減し、リスクを大幅に低減します。

PayPal、Bed Bath & Beyond などの業界をリードするお客様は、すでに BQMS を移行に利用しています。自動化された SQL 変換の能力をすべてのお客様とパートナーに提供できることをうれしく思います。BQMS は、SQL を 10 以上の言語から BigQuery に一括変換する機能をサポートするようになりました。

1. Amazon Redshift SQL および Teradata SQL（一般提供中）

2. Apache HiveQL、Apache Spark SQL、Azure Synapse T-SQL、Basic Teradata Query（BTEQ）、Teradata SPL、IBM Netezza SQL / NZPLSQL、Oracle SQL / Exadata、PL / SQL、Snowflake SQL、Vertica SQL（プレビュー）

さらに、こうした変換機能はインタラクティブ SQL 変換と呼ばれる Google 翻訳のようなサービスを通じて提供されます。ユーザーはリアルタイムの SQL 変換ツールを使用してセルフサービスでクエリを変換できます。これにより、クエリの移行にアナリストがかける時間や手間を省くだけでなく、BigQuery の最新の機能の活用方法を学ぶスピードを高めることができます。

SQL 変換をより簡単かつ正確に利用できるようにするために、Google は、ソース ウェアハウスから SQL とスキーマを抽出したり、ソーススキーマの命名を BigQuery の宛先スキーマに再マッピングしたりするなどの一般的なタスクを支援するオープンで柔軟なクライアント側ツールを用意する予定です。こうしたツールは、エンドツーエンドの変換サービスをさらに自動化し、手動による操作と変換後のリファクタリングを削減するうえで役立ちます。手動による操作が必要になる場合、BQMS は、正確性を確認する必要がある部分や、自動的に変換できず BQMS の外部で処理する必要がある部分を明確に示します。

BigQuery Migration Service は、オープンで強力なツールを使用して、エンドツーエンドの移行の大部分を高速化します。幅広いデータ ウェアハウスの SQL 変換を、お客様とお客様のパートナーに無料で提供できることをうれしく思います。これにより BigQuery への移行がスピードアップし、費用が削減されることを願っています。

- BigQuery プロダクト マネージャー Manish Dalwadi
- BigQuery ソフトウェア エンジニアリング マネージャー Hamza Arain