Cloud OnAir 番組レポート : データ ウェアハウス モダナイゼーション
Google Cloud Japan Team
Cloud OnAir は、Google Cloud の製品をわかりやすく解説し、最新の情報などをいち早く皆様にお伝えする Online 番組です。
2019 年 10 月から 12 月の放送では、課題解決の観点から関連する GCP のプロダクトを整理し、深掘りしていきます。Google Cloud の製品紹介や使い方など実際の導入事例も交え詳しく紹介していきます。
10 月 17 日の放送では、「データ ウェアハウス モダナイゼーション」をテーマにお送りしました。番組前半では、データ ウェアハウスの歴史を紐解きます。ビジネスニーズの変化とそれに合わせてアーキテクチャが変わってきた様子を振り返ります。後半では、クラウド活用時代において、データ ウェアハウスのモダナイゼーションを求める皆様にとって、最良のソリューションが何かについて、お客様事例も交えながら解説します。
データウェアハウスの歴史を振り返る
データウェアハウスの父と呼ばれている William H. Inmon 氏はその著書「Building the Data Warehouse」の中で、「データウェアハウスとは、特定の目的のために、様々なデータが統合され、保存されたデータは変更がされない、運営者の意思決定をサポートするためのものである」と述べています。
このデータウェアハウスをどのような目的で使うのか、何のために使うのかはその時代に合わせて変わってきています。番組では、データウェアハウスが提唱された 1990 年代を始まりとして、10 年ごとにビジネスニーズの変化とデータウェアハウスのアーキテクチャの変化を振り返ります。
1990 年代 - 日次の営業活動や在庫状況を把握するための運営レポートの基盤
2000 年代 - アドホックなレポーティング、刻々と変化する市場の状況をリアルタイムに分析する BI ツールの登場
2010 年代 - データマイニング、非構造化データへの注目、データレイクや Hadoop に代表される大規模分散処理
現在 - ビッグデータ分析、SaaS の活用、AI/ML による予測
さらに、現在はクラウド上にデータウェアハウス基盤を構築する流れも加速しています。オンプレミス環境をクラウド環境に移行するメリットについても番組では簡単に触れています。
クラウドへデータを移行する
番組のテーマであるデータウェアハウスのモダナイゼーションを実現するための第一歩は、今あるオンプレミス環境のデータウェアハウスをクラウドへ移行することから始まります。では、どのような手段やツール使ってクラウドへ移行すればよいのでしょうか？ その手段、ツールはさまざまなものが存在します。番組では、Cloud Dataproc と Cloud Dataprep を中心にそれぞれのツールが提供する機能、特徴を紹介します。
Cloud Dataproc - Apache Spark、Apache Hadoop のクラスタを簡単かつコスト効率の高い方法で実行するための高速で使いやすいフルマネージド クラウド サービスです。Cloud Dataproc クラスタは迅速に作成できるうえ、いつでもサイズ変更が可能で、クラスタの各操作にかかる時間は平均で 90 秒未満です。低コストで利用でき、Cloud Dataproc Spark Jobs on GKE によりコンテナ上での Spark ジョブの実行も可能です（アルファリリース）。
Cloud Dataprep - GUI で利用できるデータ クレンジング ツールです。オンプレミス上のデータウェアハウスからデータを移行する際にフォーマットを揃える場合、元データがイレギュラーな値を含んでいる場合、テキストの一部を取り出したい場合などでデータを整えることができます。クレンジング後のデータは BigQuery にエクスポートして格納することもできます。
データウェアハウスをクラウド環境へ移行する作業をサポートするために、Google Cloud ではいくつかのサービスを提供しています。
コンサルティングサービス - Google Cloud のインフラストラクチャの構築を手がけたエキスパートである Google Cloud コンサルタントがお客様と緊密に連携し、ベストプラクティスや指針に基づいてお客様をサポートします。
テクニカルアカウントマネジメント - お客様付きのサポートを長期的に実施します。
番組で説明した資料はこちらで公開しています。
Cloud OnAir では、各回 Google Cloud のエンジニアがトピックを設け、Google Cloud の最新情報を解説しています。過去の番組、説明資料、さらには視聴者からの質問と回答はこちらよりご覧いただけます。 最新の情報を得るためにもまずはご登録をお願いします。
