Dataform が Google Cloud の傘下に: BigQuery で SQL を使用してデータ変換をデプロイする
Google Cloud Japan Team
※この投稿は米国時間 2020 年 12 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。
データの持つ価値とそれに含まれる情報はさらに大きくなり続けています。Google は 10 年以上にわたり、チームがそのデータをさらに活用できるようにするテクノロジーに投資してきました。Google Cloud は、Gartner の初となるクラウド データベース管理システム（DBMS）のマジック クアドラントで、リーダーに選出されました。あらゆる業種でますます多くの企業が、この増加するすべてのデータを解明するために、Google のクラウド データ ウェアハウスである BigQuery を利用し続けています。
このたび、Google Cloud が Dataform を買収したことで、お客様にとってこの作業がさらに簡単になりました。Dataform は BigQuery の革新的なアーキテクチャを活用し、実質的に無制限のスケーリングを実現しているため、データ アナリストやエンジニアは BigQuery 内ですべてのデータ処理を管理できます。この組み合わせにより、ソフトウェア開発のベスト プラクティスを活用して、BigQuery 内で実行される SQL を使用したデータ変換を定義、文書化、テスト、デプロイできます。新しいプログラミング言語を習得したり、データスタック内のまったく新しいアプリケーションをデプロイして管理したりする必要はありません。快適で安全で信頼性の高いデータ ウェアハウス内でデータ変換をすべて作成、管理できるようになりました。
Dataform はデータのモデル化とパイプラインのためのソフトウェア エンジニアリング アプローチを提供し、データ変換をよりアクセスしやすく信頼性の高いものにしています。
コラボレーションとデータ パイプラインの作成 - SQL でデータ ワークフローを開発し、Git を介して他のユーザーとコラボレーションを行うことができます。自動的に他のユーザーにも表示されるデータ ドキュメントを含めることも可能です。
データ パイプラインのデプロイ - ダウンストリーム データセットを段階的に更新するデータ ワークフローをスケジュールすることで、論理データを最新の状態に保ち、コストとレイテンシを削減できます。
データ品質の確保 - SQL でデータ品質チェックを定義し、それらのチェックが不合格になったときにアラートを自動的に受信できます。ログ、変更履歴、依存関係グラフを表示して、データの変更を把握できます。
Google Cloud に Dataform を迎え入れることを嬉しく思います。組織全体ですべてのユーザーが分析情報を利用できるようにするという使命を引き続き遂行してまいります。このたび、すべてのユーザーに Dataform のサービスを無料で提供することにしました。今後、Dataform と BigQuery の優れた機能を組み合わせて利用できるようになることを楽しみにしています。詳細については、dataform.co をご覧ください。
Gartner、Magic Quadrant for Cloud Database Management Systems、2020 年 11 月 23 日、Donald Feinberg 氏、Adam Ronthal 氏、Merv Adrian 氏、Henry Cook 氏、Rick Greenwald 氏。Gartner は、リサーチに関する発行物に掲載されている特定のベンダー、製品、サービスを推奨するものではありません。また、最高の格付けまたはその他の評価を得たベンダーのみを選択するように助言するものでもありません。Gartner のリサーチに関する発行物は、Gartner のリサーチ組織の見解により構成されるものであり、事実の表明とは解釈されません。Gartner は、明示または黙示を問わず、商品性や特定の目的への適合性を含め、本リサーチに関連したいかなる保証も行いません。
-BigQuery プロダクト マネージャー Manish Dalwadi
-BigQuery エンジニアリング担当ディレクター Dan Delorey
