BigQuery での Google Security Operations のデータ

Google Security Operations は、データを BigQuery にエクスポートすることで、正規化され脅威インテリジェンスで強化されたテレメトリーのマネージド データレイクを提供します。これにより、次のことが可能になります。

  • BigQuery でアドホック クエリを直接実行します。
  • Looker や Microsoft Power BI などの独自のビジネス インテリジェンス ツールを使用して、ダッシュボード、レポート、分析を作成します。
  • Google セキュリティ運用のデータをサードパーティのデータセットと結合する。
  • データ サイエンスや機械学習ツールを使用して分析を行います。
  • 事前定義されたデフォルトのダッシュボードとカスタム ダッシュボードを使用して、レポートを実行します。

Google Security Operations では、次のデータのカテゴリが BigQuery にエクスポートされます。

  • UDM イベント レコード: お客様が取り込んだログデータから作成された UDM レコード。 これらのレコードは、エイリアス情報で拡充されています。
  • ルールの一致（検出）: ルールが 1 つ以上のイベントに一致するインスタンス。
  • IoC の一致: セキュリティ侵害インジケーター（IoC）フィードに一致するイベントのアーティファクト（ドメイン、IP アドレスなど）。これには、グローバル フィードとユーザー固有のフィードとの一致が含まれます。
  • 取り込み指標: 取り込まれたログ行の数、ログから生成されたイベントの数、ログが解析できなかったことを示すログエラーの数、Google Security Operations フォワーダーの状態などの統計情報が含まれます。詳細については、取り込み指標の BigQuery スキーマをご覧ください。
  • エンティティ グラフとエンティティの関係: エンティティの説明と他のエンティティとの関係を保存します。

データのエクスポート フロー

データのエクスポートの流れは次のとおりです。

  1. ユースケースに固有の一連の Google Security Operations データが、お客様固有の Google Cloud プロジェクトに存在し、Google が管理する BigQuery インスタンスにエクスポートされます。ユースケースごとにデータが別々のテーブルにエクスポートされます。これは、Google Security Operations からお客様固有のプロジェクトの BigQuery にエクスポートされます。
  2. エクスポートの一環として、Google Security Operations はユースケースごとに事前定義された Looker データモデルを作成します。
  3. Google Security Operations のデフォルト ダッシュボードは、事前定義された Looker データモデルを使用して作成されます。事前定義された Looker データモデルを使用して、Google Security Operations でカスタム ダッシュボードを作成できます。
  4. BigQuery テーブルに保存された Google Security Operations データに対するアドホック クエリを作成できます。

  5. BigQuery と統合されているその他のサードパーティ製ツールを使用して、より高度な分析を作成することもできます。

    BigQuery に対するプロセスへのデータ エクスポート

BigQuery インスタンスは Google Security Operations テナントと同じリージョンに作成されます。お客様 ID ごとに 1 つの BigQuery インスタンスが作成されます。 未加工のログは、BigQuery の Google Security Operations のデータレイクにエクスポートされません。データはフィルフォワード ベースでエクスポートされます。データが Google Security Operations に取り込まれ、正規化されると、BigQuery にエクスポートされます。以前に取り込まれたデータをバックフィルすることはできません。すべての BigQuery テーブルのデータの保持期間は 180 日です。

Looker 接続の場合は、Looker インスタンスを BigQuery の Google Security Operations データに接続できるサービス アカウントの認証情報について、Google セキュリティ オペレーションの担当者にお問い合わせください。サービス アカウントには読み取り専用権限が付与されます。

テーブルの概要

Google セキュリティ オペレーションにより、BigQuery と次のテーブルに datalake データセットが作成されます。

  • entity_enum_value_to_name_mapping: entity_graph テーブルの列挙型で、数値を文字列値にマッピングします。
  • entity_graph: UDM エンティティに関するデータを保存します。
  • events: UDM イベントに関するデータを保存します。
  • ingestion_metrics: Google Security Operations フォワーダー、フィード、Ingestion AP など、特定の取り込みソースからのデータの取り込みと正規化に関する統計情報を保存します。
  • ioc_matches: UDM イベントに対して検出された IOC 一致を保存します。
  • job_metadata: BigQuery へのデータのエクスポートを追跡するために使用される内部テーブル。
  • rule_detections: Google セキュリティ オペレーションで実行されるルールによって返された検出結果を保存します。
  • rulesets: 各ルールセットが属するカテゴリ、カテゴリが有効になっているかどうか、現在のアラート ステータスなど、Google Security Operations のキュレートされた検出に関する情報を保存します。
  • udm_enum_value_to_name_mapping: イベント テーブルの列挙型の場合、数値を文字列値にマッピングします。
  • udm_events_aggregates: 正規化されたイベントの時間単位で集計された集計データを保存します。

BigQuery でデータにアクセスする

BigQuery で直接クエリを実行することも、Looker や Microsoft Power BI などの独自のビジネス インテリジェンス ツールを BigQuery に接続することもできます。

BigQuery インスタンスへのアクセスを有効にするには、Google Security Operations CLI または Google Security Operations BigQuery Access API を使用します。所有しているユーザーまたはグループのメールアドレスを指定できます。グループへのアクセスを構成する場合は、グループを使用して、BigQuery インスタンスにアクセスできるチームメンバーを管理します。

Looker または他のビジネス インテリジェンス ツールを BigQuery に接続するには、アプリケーションを Google セキュリティ オペレーションの BigQuery データセットに接続できるようにするサービス アカウントの認証情報について、Google セキュリティ オペレーションの担当者にお問い合わせください。サービス アカウントには、IAM BigQuery データ閲覧者ロール（roles/bigquery.dataViewer）と BigQuery ジョブ閲覧者ロール（roles/bigquery.jobUser）があります。

次のステップ