データベースのプロがクラウド データ ウェアハウスに適応するための 6 つのアドバイス

※この投稿は米国時間 2020 年 8 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。

データ ウェアハウスのモダナイゼーションの影響は、人と技術の両方に及んでします。従来型アーキテクチャを運用するデータベース管理者（DBA）などの IT プロフェッショナルは、クラウド データ ウェアハウスを使用することで、テスト、パッチ適用、アップグレード、バックアップ管理などの手間のかかる作業に長い時間を割くことはなくなります。より早く、より正確にデータから情報を読み取りたいという各企業からの新しい要求に直面する中、1990 年代に考案された技術を使用して絶えず要求に応えてゆくという不可能な仕事からも解放されます。

その代わりに、DBA、データ エンジニア、その他のデータの専門家は、サーバーを使用しない世の中で戦略に重点を置いた、多くの人から注目される役割を確立できます。いかにしてこの流れに乗り、頭角を表せるかについて、以下にヒントを示します。

1. 移行前にビジネス リーダーとの協力を図る

企業向けデータ ウェアハウス環境は複雑極まりないことで知られており、クラウドへの移行が困難な要因となっています。DBA だけが不規則に拡大していくこのデータ ウェアハウス環境とこの環境に依存する業務を把握できることから、DBA は、計画、実行、それ以降のプロセスを通じて自身の組織を正しい方向に導けます。DBA は、他の誰よりもデータ環境に関する日々の詳細情報を把握しており、その情報は貴重です。自社がまだクラウド環境のモダナイゼーションを開始していなくても、サーバーレスの複数のデータ ウェアハウス ソリューションを評価し、初期 TCO 分析を行い、適切な移行手法を選択または提案することで、将来に備えることができます。

次に、最初に移行するユースケースとともに、各ユースケースに実行を支えるデータセット、プロセス、パイプライン、アプリケーションを特定し、これらに優先順位を付ます。この段階で、社内各部門のリーダーと緊密に協力して、データが会社にもたらす価値を理解し、データ ウェアハウスのモダナイゼーション プロジェクトの共通目標を立てる必要があります。この対話を通じて、人々のデータに対する考え方を変えるためのデータ用途拡大構想の基礎が形作られます。ここで重要なのは、ビジネスチームにデータは単なる数字やテーブルの集まりではなく、会社で最大の戦略的資産であると認識してもらうことです。今こそ、この重要資源を守る管理者だけでなく、その潜在的魅力をすべて引き出す専門家としての役割も果たすときです。

2. 同僚に問題解決の力を与える

従来型の環境では、DBA の業務の大部分は人目につかないところで行われ、正常に機能しているデータベースを使用して業務を行っている多くの人々には認識されません。（呼び出しベルが午前 2 時に鳴るまではの話ですが）。重要度の高い情報システムの保護者としての DBA の役割のおかげで、DBA とそのチームが過度に高い基準を課している、または変革を妨げているという評判を受けることもあります。実際のところ、DBA は、従来の環境の限界について現実的になっているだけなのです。つまり、次のハードウェア更新の機会は数年先になるかもしれず、それではデータと分析情報の利用に対する需要の増大には対応できないということです。

Google は、ユーザーの皆様から、Google Cloud の BigQuery などのサーバーレスのデータ ウェアハウスがこのモデルを変えてくれる可能性があるという意見をいただいています。このようなデータ ウェアハウスでは、定型化された保守タスクと構成タスクのほとんどが自動化されているため、DBA がサーバー室にこもってトラブル対応に明け暮れることもなくなります。クラウドに元から備わっている柔軟性のおかげで、以前よりはるかに簡単に、ビジネスチームの求めに応じてリソースを拡大できます。つまり、徹夜仕事になることを恐れずに「了解しました」と言えることがこれまでと比べてやや多くなります。

3. リソースの割り振り方について戦略に基づく判断を下す

サーバーレスのクラウド データ ウェアハウスに移行すると、データベース専門家が新しいハードウェアを購入してセットアップしてノードを追加し、リソースを準備して、今後数年で必要な容量を予測する必要がなくなります。これにより、IT 部門の負荷が減る一方で、システムのダウンタイムが削減され、各組織が新しいビジネス チャンスを迅速に捉えることが可能となります。ただし、プラットフォームによっては、利用できるリソースに限界がなくなることで予期しないクエリ費用が発生し、厳格な SLA を適用したミッション クリティカルな用途が原因で予算金額を消費してしまうことにもなり得ます。

サーバーレスの環境でも、各組織はなお、費用とワークロードを管理する必要があり、DBA はこういった業務を行う上ではすでに力を発揮できます。BigQuery には、クエリ費用を見積もる計算機能や、プロジェクトごとまたはユーザーごとにプロジェクトにおけるカスタム割り当てを設定する機能など、役に立つ複数のツールと機能が搭載されています。所属する会社が BigQuery の定額課金モデルを選択している場合は、専用のクエリ実行容量のスロットを月額契約または年額契約で購入し、利用可能なリソースを複数の予約に区切って、特定のチーム、プロジェクト、またはアプリケーションに優先的に割り当てることができます。空き容量は組織内で分配され、リソースが無駄になることはありません。

4. パフォーマンス最適化に向け、積極的な手法を取る

オンプレミス環境では、DBA は、常に目の前の仕事で精一杯になり、データ ウェアハウスを正常に動作させておくための定常業務に多くの時間を費やします。サーバーレスのソリューションに移行すると、現状維持よりも、継続的なパフォーマンス改善により集中することで費用を削減し、より早くサービスを提供して、顧客満足度を向上させることができます。単にデータを提供するのではなく、組織が可能な限り効果的にデータを利用できるよう支援できます。

BigQuery のようなソリューションを導入すると管理者が最適化の取り組みを次の段階に引き上げることにつながるもう 1 つの理由があります。監査ログが各クエリをリアルタイムに捉えることで、組織全体でのデータ利用パターンの全体像を把握できます。これにより、重要なアプリケーションの動作が低下し始める前に不具合を見つけて対処できます。たとえば、あるクエリが必要以上に容量の大きなデータを検索している場合、ユーザーにパーティション フィルタを指定するよう求めることにより、処理されるバイト数を減らすことができます。また、実体化したビューの作成や一般公開データセットの検索などにより、ワークフローを拡張する方法についてチームに積極的にアドバイスを送ることもできます。

5. 最善のセキュリティ対策を確立して実行する

DBA は、サーバーレス環境でも、企業の情報と顧客の個人情報を悪意ある攻撃と過失によるデータ損失から保護する責任を負います。BigQuery のようなソリューションは、自動データ複製機能と暗号化機能により、面倒な作業を一部削減してくれますが、引き続きセキュリティと統制の基盤をカスタマイズすることで、ビジネス上の要求を満たし、コンプライアンスを維持できます。たとえば、BigQuery のリソースへのアクセス権をセルレベルまで付与し、サービス境界を作成して、個人を特定できる情報（PII）を検出してマスクし、オンプレミス環境と同様に独自の暗号化キーを管理できます。

クラウドのセキュリティの機能はこれと少し異なるため、データ ウェアハウスの移行前に重要な基本方針とベスト プラクティスをよく理解しておくことをおすすめします。この知識を身に着けておくと、組織全体のためのクラウドに対応したポリシーと手続きの新しい枠組みを策定するうえで主導的役割を果たせます。

6. データ分析情報を全員と共有する

多くの企業が収集、分析したデータをより迅速な意思決定、より正確な予測、より良いサービスの提供に役立てようと取り組んでいます。ただ、誰もがデータ サイエンティストというわけではないため、簡単で使いやすく、より多くの人がビジネス インテリジェンスと機械学習を利用できるツールを望む声が高まっています。これらのソリューションの一部が BigQuery のようなサーバーレスのデータ ウェアハウス内で適切に機能してくれるおかげで、レイテンシが最小限に抑えられ、データを移行する必要がなくなります。たとえば、BigQuery ML では、標準 SQL のクエリを使用して、BigQuery で機械学習モデルを作成、実行でき、BigQuery BI Engine は、インメモリ分析サービスとして、対話形式のビジュアル分析に使用できます。

もちろん、多くの場合、ビジネスチームは、適切なツールとデータソースの選択、要望に適うシステムの構築、分析により得られた知見の活用に際して支援を必要とします。異なる部門が個別にソリューションを選択して採用することで作業の重複、データのサイロ化、セキュリティ上の問題が発生するリスクもあります。具体的な疑問と問題に基づき各チームに合わせたガイダンスを提供し、チームに最も適したツールと情報を案内して、すべてのデータ プロジェクトがビジネス戦略全体を支えているかを確認することにより、前述の問題に対応できます。この過程で、調整役を演じることでチームを束ねて、協力と情報共有を進めることができます。

上記は、データ ウェアハウスのモダナイゼーションがどのように DBA、データ エンジニア、その他のデータ プロフェッショナルの役割を高め、その仕事をより有意義で魅力的なものにしてくれるか、またより感謝されるものにしてくれるかを示す一部の例にすぎません。詳細は、Google が最近開催したグローバル オンライン会議をご確認ください。

Ryan McDowell, Strategic Cloud Engineer

Claybourne Barrineau, Customer Engineer