Analytics Hub の Pub/Sub トピックによるストリーミング データの共有

※この投稿は米国時間 2024 年 7 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。

企業は BigQuery Analytics Hub を使用することで、データアセットを組織全体で効率的かつ安全に共有できます。しかし、多くの業種では、パートナーや顧客とリアルタイムでストリーミング データを共有する必要があります。このような企業は、社内チームや外部の顧客にストリーミング データへのリアルタイム アクセスを提供する機能を求めています。たとえば、金融機関では、ストリーミング市場データに基づいてリアルタイムで財務上の意思決定を行う企業顧客と、独自のリアルタイム市場データを共有し、収益化したいと考えています。

このようなニーズに応えるために、このたび、Analytics Hub での Pub/Sub トピックの共有機能を公開プレビュー版でリリースします。これにより、組織が Analytics Hub を通じてストリーミング データアセットをキュレート、共有、収益化できるよう支援します。Pub/Sub は、Google Cloud のスケーラビリティと信頼性に優れたシンプルなグローバル メッセージ サービスであり、大規模なストリーミング データを確実にパブリッシュおよびサブスクライブするために、世界中のお客様に利用されています。BigQuery 上に構築されたデータ交換プラットフォームである Analytics Hub は、何千もの組織に利用されており、毎週数百ペタバイトものデータが、組織の境界を越えてゼロコピーで安全に共有されています。

Analytics Hub を通じて Pub/Sub トピックを共有すると、以下のような多くのメリットが得られます。

• 有益なストリーミング データをキュレートし、データ収益化のために外部の顧客と共有、または組織内チームと社内共有できる

• 統合されたエクスペリエンスにより、組織のストリーミング データへのアクセスを一元管理できる

• 他の組織が共有した有益な Pub/Sub トピックを検索してサブスクライブできる

ストリーミング データの共有はパターンが確立されており、業種を問わずユースケースが多数あります。

• 小売: 在庫レベルを日用品（CPG）メーカーとリアルタイムで共有することで、フルフィルメントをリアルタイムで可視化できます。

• 金融サービス: 金融データ（商品価格など）を顧客と共有し、収益化することで、市場データの配信や使用のための柔軟な従量課金モデルを提供できます。

• 広告企業: 広告データの分析情報を広告主とリアルタイムで共有することで、キャンペーン効果の把握に役立てることができます。

• 医療: 予測アルゴリズムを活用して患者をモニタリングすることで、リスクをリアルタイムで分析できます。

仕組み

Analytics Hub を通じて Pub/Sub トピックを共有すると、社内外の複数の組織の境界を越えて、ストリーミング データのライブラリをキュレートおよび配布できます。リアルタイムのストリーミング データは Analytics Hub のエクスチェンジとリスティングを利用して共有され、Pub/Sub トピックのセットを論理的に分類してグループ化し、大規模にアクセスをプロビジョニングできます。

Analytics Hub で Pub/Sub トピックの共有を開始するには、まずエクスチェンジを作成するか、既存のものを使用します。このエクスチェンジでは、共有トピックを参照するリスティングをグループ化できます。共有トピックは、Analytics Hub で Pub/Sub トピックを共有する単位であり、Pub/Sub トピックを作成（または既存のものを使用）して、メッセージ データを Analytics Hub のサブスクライバーに配信できます。Analytics Hub はソースの Pub/Sub トピックを複製しません。

共有トピックのあるリスティングをサブスクライブすると、リンクされた Pub/Sub サブスクリプションがサブスクライバー プロジェクトに作成されます。選択したメカニズムを通じてメッセージ データが配信されると、管理対象のプロジェクトでデータを直接使用できるようになります。Pub/Sub サブスクリプションは、Analytics Hub を通じて管理することも、Pub/Sub で直接管理することもできます。

Pub/Sub トピックの共有を開始する

いくつかの簡単な手順に沿って操作するだけで、Pub/Sub トピックの共有を開始できます。

リスティングの作成共有 Pub/Sub トピックがあるリスティングの作成は、BigQuery データセットのリスティングの作成とよく似ています。

まず、リソースの種類として Pub/Sub トピックを選択します。

次に、既存の Pub/Sub トピックを選択するか、新規トピックを作成して共有トピックを作成します。

リスティングをパブリッシュするための必須項目を入力します。必要に応じて、表示やサブスクライブに必要なロールの追加なども行います。パブリッシュされると、リスティングで参照されている共有トピックが利用可能になり、サブスクライバーはリンクされた Pub/Sub サブスクリプションを作成できます。

検索とサブスクライブAnalytics Hub カタログを通じて共有トピックのリスティングを検索できます。リスティングの作成時にタグ付けした方法に応じて、フィルタ条件を使用して検索範囲をさらに絞り込むこともできます。

共有トピックを特定したら、[サブスクライブ] を選択して、リンクされた Pub/Sub サブスクリプションを作成します（作成権限が必要）。その後、配信タイプなどのサブスクリプション プロパティを構成できます。

次のステップ

Pub/Sub トピックを Analytics Hub で簡単に共有できる機能は、ストリーミング データの共有や収益化における、さまざまなユースケースをサポートできます。Pub/Sub トピックと Analytics Hub を利用することで、ストリーミング データの共有を簡素化できます。今後はプレビュー版からのフィードバックを取り入れ、一般提供に移行する際には機能を追加する予定です。それまでの間、ご自身のプロジェクトでのトピックの共有をお試しください。BigQuery を初めてご利用になる場合は、BigQuery サンドボックスおよび Pub/Sub の無料枠を使用してプロジェクトを立ち上げてみてください。これは、Analytics Hub のマルチアセット データ共有の取り組みの序章にすぎません。Analytics Hub に組み込まれたデータ共有機能の詳細もご覧ください。

ー Cloud Pub/Sub、プロダクト管理リード Prateek Duble

ー Analytics Hub、プロダクト管理リード Maggy Hu