BigQuery 統合ガバナンスの概要: ユニバーサル、インテリジェント、オープン

※この投稿は米国時間 2025 年 4 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

データは AI において重要な基盤ですが、膨大な量のデータの潜在能力は未だ活用されていません。その理由は、データ品質が依然として最大の障壁となっているためです。エンタープライズ データを使用して分析に基づく意思決定につなげ、差別化された AI を構築するには、企業は、データアセットを特定して理解し、さらにデータアセットを信頼できる状態である必要があります。そのためには、検出、カタログ化、メタデータ管理、品質保証、共有、アクセス制御などの効果的なデータ ガバナンスが必要となります。

それに対応できなかった場合のリスクは甚大です。Gartner は、「2026 年までに、AI に対応したデータの取り扱いに基づき AI ユースケースの実現とサポートができていない組織では、AI プロジェクトの 60% 超でビジネスの SLA の達成に失敗し、そのようなプロジェクトが放棄される」と報告しています。

Google Cloud Next '25 で、Google は BigQuery 統合ガバナンスを発表いたしました。これは企業が複雑化するガバナンスに対応できるようにする、優れたデータ ガバナンス機能です。データサイロ、断片化されたメタデータ、所有権の曖昧さは、重大なリスクにつながり、イノベーションの妨げとなります。BigQuery 統合ガバナンスは、データ マネジメントを簡素化し、実用的なインサイトを利用するために組織が必要とするサービスとツールを提供します。

BigQuery に組み込まれたインテリジェントなガバナンス機能は、データと AI の管理を簡素化し、組織によるアセットの特定、理解、活用を促します。また、ガバナンスを単なる負担から、データの有効活用に役立つ効果的なツールへと変換します。BigQuery ガバナンスの中核は、BigQuery ユニバーサル カタログです。これは AI を活用した統合データカタログで、Dataplex、BigQuery Sharing、セキュリティ、metastore の機能をネイティブに統合し、ビジネス、技術、ランタイムのメタデータを結び付けます。

BigQuery 統合ガバナンス機能には次のものがあります。

1. 統合: BigQuery はガバナンスをデータから AI へのライフサイクルの中心に直接組み込むことで、データアセットと AI モデルの検出、理解、ガバナンス、活用を実現します。これにより、データ管理者、スチュワード、カストディアンなどは、メタデータの管理とポリシーの適用に使える堅牢なツールを利用して、エンドツーエンドのデータから AI へのリネージ、データ プロファイリング、分析情報の取得、安全性を確保した共有ができるようになります。また、新しいユニバーサル セマンティック検索では、自然言語で質問するだけで、最適なデータを見つけられます。

2. インテリジェント: 生成 AI を活用した新しいガバナンス機能は、データ マネジメントに革命をもたらします。BigQuery ユニバーサル カタログは、大規模言語モデル（LLM）の力を活用して、BigQuery データアセット間の隠れた関係性を明示化し、大規模なメタデータのキュレーションとインテリジェントなクエリの推奨の自動化を支援します。また、ガバナンスの自動化、組織全体でデータドリブンな分析情報の大衆化を実現します。

3. オープン: BigQuery ユニバーサル カタログは Apache Iceberg などのオープン ストレージ標準と、SQL、オープンソース エンジン、AI / ML での統合ランタイム metastore をサポートしており、変更による影響を軽減します。BigQuery ユニバーサル カタログに含まれる BigQuery metastore は Iceberg に準拠しており、ガバナンスのためのマルチエンジンでマルチベンダーのアーキテクチャを実現し、フルマネージドの Iceberg データの使用を可能にします。

多国籍の銀行および金融サービス プロバイダである ANZ Bank は、総合的なデータ ガバナンス、検出、オブザーバビリティに BigQuery ユニバーサル カタログを使用しています。

「BigQuery ユニバーサル カタログにより、ANZ のデータの信頼性は大幅に向上しました。一元化されたデータ品質モニタリング機能と自動検証機能により、正確で整合性のある情報に基づく、重要なビジネス成果と意思決定の信頼性と効率性が改善しています。BigQuery ガバナンスは当社のデータ ガバナンス戦略の要となっており、単にデータが利用可能になっただけでなく、データを信頼できるようになりました。」ANZ、データ戦略 / 変革 / リスク責任者、Artur Kaluza 氏

注目機能

BigQuery の新しい統合ガバナンス エクスペリエンスでは、BigQuery UI 内の一元化されたインターフェースで、データと AI アセットの管理、保護、共有ができます。さらに、ガバナンス、共有、セキュリティに関する重要な新機能を幅広く提供しています。

ガバナンス

1. セマンティック理解によるフルカタログ検索（プレビュー版）: フルカタログのセマンティック検索を使用して、BigQuery 内のプロジェクトとデータサイロ全体で、データと AI リソースを検索できるようになりました。この機能には自然言語検索機能が採用されており、技術系ユーザーも非技術系ユーザーもカタログを簡単に検索できます。

2. メタデータの自動キュレーション（プレビュー版）: BigQuery ユニバーサル カタログで、テーブルと列の説明などの BigQuery テーブルのメタデータを自動で生成できるようになりました。これにより、データの検出が強化され、生成 AI アプリケーションに対応できるようになっています。

3. AI を活用したナレッジ エンジン（プレビュー版）: 自動でのエンティティ リレーションシップの可視化により、データセット内の隠れた関係性を効率的に見つけられます。BigQuery ユニバーサル カタログは、推論した関係を利用して、テーブル間クエリと自然言語の質問の推奨事項を生成します。これにより、新しいデータチームも初めて扱うデータアセットをすばやく把握できます。

4. データ プロダクト（プレビュー版）: BigQuery データ プロダクトを使用すると、データオーナーはユースケースごとにデータアセットのコレクションを作成、共有、管理できます。一貫性のある管理された方法で、セキュリティのベスト プラクティスに従って、組織内および組織間でアセットをパッケージ化して共有できます。

5. ビジネス用語集（一般提供）: BigQuery ビジネス用語集は、組織内でデータについて共通の理解を持てるようにします。社内用語を定義して管理し、用語のデータ スチュワードを明確にしたうえで、データアセット フィールドに追加することにより、コンテキスト、共同作業、検索を改善できます。

6. BigLake とオブジェクト テーブルの大規模な自動カタログ化（一般提供）: BigQuery ユニバーサル カタログは、Cloud Storage から構造化データと非構造化データの最新のメタデータを収集し、それを使用してクエリ可能な BigLake テーブルを大規模に自動作成します。

7. 自動異常検出（プレビュー版）: BigQuery ユニバーサル カタログはデータの異常検出を自動化し、データ内のエラー、不整合、外れ値を特定して、データの問題の特定と解決にかかる時間を短縮します。

共有

8. BigQuery Sharing と Google Cloud Marketplace とのインテグレーション（プレビュー版）: データオーナーは Google Cloud Marketplace で BigQuery Sharing（旧 Analytics Hub）のデータセットを収益化できます。

9. BigQuery でのストリームの共有（一般提供）: BigQuery Sharing で Pub/Sub トピックを使用して、価値があるリアルタイム ストリームをキュレートして共有できます。

10. BigQuery でのストアド プロシージャの共有（プレビュー版）: SQL ストアド プロシージャを共有して、実際のコードを公開することなく、サブスクライバーのプロジェクトで実行できるようにします。

11. BigQuery のクエリ テンプレートの共有（プレビュー版）: パブリッシャーが定義したクエリ テンプレートを使用して、データ クリーンルームで SQL クエリのカスタマイズ、再利用、制限ができます。

セキュリティ

12. 列に対するデータポリシー（プレビュー版）: 列に直接関連付けられた、直接アクセスとデータ マスキングのポリシーを作成できます。これは列とテーブルで再利用できます。

13. 行レベルのセキュリティでのサブクエリのサポート（一般提供）: BigQuery ユニバーサル カタログでは、セキュリティ アクセス ポリシー定義での SQL サブクエリをサポートするようになりました。これにより、既存のデータモデルを変更することなく、行のフィルタリングができます。

BigQuery プラットフォームに組み込まれたこのようなガバナンス機能の強化により、組織はデータと AI イニシアチブの潜在能力を最大限に引き出せます。

BigQuery でのイノベーションに加え、Google はガバナンス機能を補完すべく、サードパーティのカタログ プロバイダと引き続き連携しています。たとえば、Collibra によるデータと AI の全社的なガバナンスは、BigQuery のユニバーサル カタログ機能を拡張し、ハイブリッド環境とマルチクラウド環境でのエンドツーエンドの可視性、品質、スチュワードシップを実現します。このパートナーシップにより、より多くのチームが AI に必要なデータがどこにあっても、そのデータを検出し、信頼して使用できるため、すべてのユースケースの強化につながります。

BigQuery にガバナンスを組み込み、メタデータ管理を自動化することで、BigQuery ユニバーサル カタログは、ビジネスがデータサイロと運用の非効率性という課題を乗り越え、最終的にイノベーションを推進し、ビジネスへのインパクトを高めるサポートをします。もしご興味がございましたら、注目のスピーカーが BigQuery ガバナンス、共有、セキュリティの最新情報についてお話をするセッションにご参加ください。

1. What’s new in data and AI governance（データと AI のガバナンスの最新情報）（Levi's と Verizon）| 4 月 9 日午後 4 時

2. Redefine data and AI governance in the unified BigQuery platform（BigQuery 統合プラットフォームでのデータと AI のガバナンスの再定義）（Walmart と Box）| 4 月 11 日午後 0 時 30 分

3. From chaos to confidence: Master governance in the age of AI（混乱から自信へ: AI 時代のガバナンスを極める）（EDMC、ANZ Bank、Intesa Sanpaolo Group、Google）| 4 月 9 日午前 11 時

4. Unlock the power of secure data sharing with BigQuery（BigQuery で広がる安全なデータ共有の可能性）（Liveramp と Levi’s）| 4 月 9 日午後 4 時

5. Data fabric on BigQuery: an architect’s perspective of why and how to do it（BigQuery のデータ ファブリック: アーキテクトの視点から語る使用方法とその理由）（Virgin Media O2）| 4 月 11 日午前 8 時 30 分

-BigQuery ガバナンス / セキュリティ / 共有担当プロダクト リード、Chai Pydimukkala
-BigQuery データ ガバナンス担当プロダクト リード、Lu Yang