フィード管理 UI を使用してフィードを作成、管理する
このページでは、フィード管理 UI を使用してフィードを作成、管理、トラブルシューティングする方法について説明します。フィードの管理には、フィードの変更、有効化、削除が含まれます。
始める前に
各データフィードには独自の前提条件のセットがあり、Google Security Operations でフィードを設定する前に満たす必要があります。フィードタイプに固有の前提条件については、ソースタイプ別の構成をご覧ください。設定する必要があるデータフィード タイプを検索し、提示される手順に従います。
サポートされている圧縮形式
フィード取り込みでサポートされている圧縮形式には、.gz、.tar.gz、.tar、.targz、solr.gz などがあります。
フィードを追加
Google Security Operations アカウントにフィードを追加する手順は次のとおりです。 ログタイプごとに最大 5 つのフィードを追加できます。
Google Security Operations メニューから [設定] を選択し、[フィード] をクリックします。 このページに一覧表示されるデータ フィードには、ご自身が設定したフィードに加えて、Google がアカウントに設定したすべてのフィードが含まれます。
[Add New] をクリックします。 [ADD FEED] ウィンドウが表示されます。
フィード名を入力します。
[ソースタイプ] リストで、Google Security Operations にデータを送り込むソースタイプを選択します。次のフィード ソースタイプから選択できます。
- Amazon Data Firehose
- Amazon S3
- Amazon SQS
- Google Cloud Pub/Sub
- Google Cloud Storage
- HTTP(S) ファイル(API 以外)
- Microsoft Azure Blob Storage
- サードパーティ API
- Webhook
[ログタイプ] リストで、取り込むログに対応するログタイプを選択します。使用可能なログは、前に選択したソースタイプによって異なります。[次へ] をクリックします。
ソースタイプとして Google Cloud Storage を選択した場合、[サービス アカウントの取得] オプションを使用して一意のサービス アカウントを取得します。このドキュメントでは、Google Cloud Storage フィード設定の例をご覧ください。
[入力パラメータ] タブで必要なパラメータを指定します。ここに表示されるオプションは、[Set Properties] タブで選択したソースとログのタイプによって異なります。各フィールドの質問アイコンの上にポインタを置くと、提供する必要がある内容に関する追加情報が表示されます。
(省略可)ここで名前空間を指定できます。名前空間について詳しくは、アセットの名前空間のドキュメントをご覧ください。
[次へ] をクリックします。
[確定] タブで新しいフィード構成を確認します。準備ができたら [送信] をクリックします。Google Security Operations が新しいフィードの検証チェックを完了します。フィードがチェックに合格すると、フィードの名前が生成されて Google Security Operations に送信され、Google Security Operations でデータの取得が開始されます。
ソースファイルを削除する
Cloud Storage を含む複数のフィードタイプでは、[新しく追加] または [フィードを編集] ワークフローに [ソースの削除オプション] というラベルの付いたフィールドがあります。このメニューには 3 つのオプションがあります。
- ファイルを削除しない
- 転送されたファイルと空のディレクトリを削除する
- 転送されたファイルを削除する
オプション 2 と 3 では、ファイルの削除と、ファイルおよび空のディレクトリの削除が行われます。いずれかのオプションを選択した場合は、フィードタイプに固有の権限を追加する必要があります。フィードタイプに固有の権限については、ソースタイプ別の構成をご覧ください。
このオプションを使用すると、オブジェクトを転送した後に、ストレージ システムからオブジェクトを削除できます。フィードでは転送されたオブジェクト(またはファイル)が常に記憶されるため、ファイルが更新されている場合を除き、同じファイルが 2 回転送されることはありません。ただし、(正常に)転送された後にソース オブジェクトを削除する場合は、このオプションを設定する必要があります。
Microsoft Azure Blob Storage は、ソースファイルの削除をサポートしていません。次のソース削除オプションは、Microsoft Azure Blob Storage のソースタイプでは使用できません。
- 転送されたファイルと空のディレクトリを削除する
- 転送されたファイルを削除する
Microsoft Azure Blob Storage ソースを使用してフィードを作成する場合は、[ファイルを削除しない] オプションのみを選択します。
Pub/Sub の push フィードを設定する
Pub/Sub の push フィードを設定する手順は次のとおりです。
- Pub/Sub の push フィードを作成します。
- Pub/Sub サブスクリプションでエンドポイント URL を指定します。
Pub/Sub の push フィードを作成する
- Google Security Operations メニューから [設定] を選択し、[フィード] をクリックします。
- [新しく追加] をクリックします。
- [フィード名] フィールドに、フィードの名前を入力します。
- [ソースタイプ] リストで、[Google Cloud Pub/Sub Push] を選択します。
- [ログタイプ] を選択します。たとえば、Open Cybersecurity Schema Framework のフィードを作成するには、[ログタイプ] として [Open Cybersecurity Schema Framework(OCSF)] を選択します。
- [次へ] をクリックします。
- 省略可: 次の入力パラメータの値を指定します。
- 分割区切り文字: ログ行の区切りに使用する区切り文字(
\n
など)。 - アセットの名前空間: アセットの名前空間。
- 取り込みラベル: このフィードのイベントに適用するラベル。
- 分割区切り文字: ログ行の区切りに使用する区切り文字(
- [次へ] をクリックします。
- [最終処理] 画面で新しいフィード構成を確認し、[送信] をクリックします。
- [詳細] タブで、[エンドポイント情報] フィールドからフィード エンドポイントの URL をコピーします。 このエンドポイント URL は、Pub/Sub で push サブスクリプションを作成するために必要です。
- フィードを無効にするには、[フィードが有効] の切り替えボタンをクリックします。フィードはデフォルトで有効になっています。
- [完了] をクリックします。
エンドポイント URL を指定する
Pub/Sub の push フィードを作成したら、Pub/Sub で push サブスクリプションを作成し、HTTPS エンドポイントを指定して認証を有効にします。
- Pub/Sub に push サブスクリプションを作成します。push サブスクリプションの作成方法の詳細については、push サブスクリプションを作成するをご覧ください。
- Google Cloud Pub/Sub の push フィードで使用できるエンドポイント URL を指定します。
- [認証を有効にする] を選択し、サービス アカウントを選択します。
Amazon Data Firehose フィードを設定する
Amazon Data Firehose フィードを設定する手順は次のとおりです。
- Amazon Data Firehose フィードを作成し、エンドポイントの URL と秘密鍵をコピーします。
- Google Security Operations への認証に使用する API キーを作成します。既存の API キーを再利用して Google Security Operations に対する認証を行うこともできます。
- Amazon Data Firehose でエンドポイント URL を指定します。
Amazon Data Firehose フィードを作成する
- Google Security Operations メニューから [設定] を選択し、[フィード] をクリックします。
- [新しく追加] をクリックします。
- [フィード名] フィールドに、フィードの名前を入力します。
- [ソースタイプ] リストで、[Amazon Data Firehose] を選択します。
- [ログタイプ] を選択します。たとえば、Open Cybersecurity Schema Framework のフィードを作成するには、[ログタイプ] として [Open Cybersecurity Schema Framework(OCSF)] を選択します。
- [次へ] をクリックします。
- 省略可: 次の入力パラメータの値を指定します。
- 分割区切り文字: ログ行の区切りに使用する区切り文字(
\n
など)。 - アセットの名前空間: アセットの名前空間。
- 取り込みラベル: このフィードのイベントに適用するラベル。
- 分割区切り文字: ログ行の区切りに使用する区切り文字(
- [次へ] をクリックします。
- [最終処理] 画面で新しいフィード構成を確認し、[送信] をクリックします。
- [秘密鍵を生成] をクリックして、このフィードを認証するための秘密鍵を生成します。
- このシークレットは再度表示できないため、秘密鍵をコピーして保存します。新しい秘密鍵を再度生成できますが、秘密鍵を再生成すると、以前の秘密鍵は無効になります。
- [詳細] タブで、[エンドポイント情報] フィールドからフィード エンドポイントの URL をコピーします。 このエンドポイント URL は、Amazon Data Firehose で配信ストリームの宛先設定を指定するときに必要になります。
- フィードを無効にするには、[フィードが有効] の切り替えボタンをクリックします。フィードはデフォルトで有効になっています。
- [完了] をクリックします。
Amazon Data Firehose フィードの API キーを作成する
- Google Cloud コンソールの [認証情報] ページに移動します。
- [認証情報を作成] をクリックして [API キー] を選択します。
- API キーによる Google Security Operations API へのアクセスを制限します。
エンドポイント URL を指定する
Amazon Data Firehose で、HTTPS エンドポイントとアクセスキーを指定します。
API キーをフィード エンドポイント URL に追加し、この URL を次の形式で HTTP エンドポイント URL として指定します。
ENDPOINT_URL?key=API_KEY
以下を置き換えます。
ENDPOINT_URL
: フィード エンドポイントの URL。API_KEY
: Google Security Operations への認証に使用する API キー。
アクセスキーには、Amazon Data Firehose フィードを作成したときに取得した秘密鍵を指定します。
HTTPS Webhook フィードを設定する
HTTPS Webhook フィードを設定する手順は次のとおりです。
- HTTPS Webhook フィードを作成し、エンドポイント URL と秘密鍵をコピーします。
- エンドポイント URL で指定された API キーを作成します。既存の API キーを再利用して Google Security Operations への認証を行うこともできます。
- アプリケーションでエンドポイント URL を指定します。
前提条件
- Google Security Operations 用の Google Cloud プロジェクトが構成され、プロジェクトで Chronicle API が有効になっていることを確認します。
- Google Security Operations インスタンスを Google Cloud サービスにリンクする。
HTTPS Webhook フィードを作成する
- Google Security Operations メニューから [設定] を選択し、[フィード] をクリックします。
- [新しく追加] をクリックします。
- [フィード名] フィールドに、フィードの名前を入力します。
- [ソースタイプ] リストで、[Webhook] を選択します。
- [ログタイプ] を選択します。たとえば、Open Cybersecurity Schema Framework のフィードを作成するには、[ログタイプ] として [Open Cybersecurity Schema Framework(OCSF)] を選択します。
- [次へ] をクリックします。
- 省略可: 次の入力パラメータの値を指定します。
- 分割区切り文字: ログ行の区切りに使用する区切り文字(
\n
など)。 - アセットの名前空間: アセットの名前空間。
- 取り込みラベル: このフィードのイベントに適用するラベル。
- 分割区切り文字: ログ行の区切りに使用する区切り文字(
- [次へ] をクリックします。
- [最終処理] 画面で新しいフィード構成を確認し、[送信] をクリックします。
- [秘密鍵を生成] をクリックして、このフィードを認証するための秘密鍵を生成します。
- このシークレットは再度表示できないため、秘密鍵をコピーして保存します。新しい秘密鍵を再度生成できますが、秘密鍵を再生成すると、以前の秘密鍵は無効になります。
- [詳細] タブで、[エンドポイント情報] フィールドからフィード エンドポイントの URL をコピーします。 このエンドポイント URL は、クライアント アプリケーションで指定する必要があります。
- フィードを無効にするには、[フィードが有効] の切り替えボタンをクリックします。フィードはデフォルトで有効になっています。
- [完了] をクリックします。
Webhook フィードの API キーを作成する
- Google Cloud コンソールの [認証情報] ページに移動します。
- [認証情報を作成] をクリックして [API キー] を選択します。
- API キーによる Google Security Operations API へのアクセスを制限します。
エンドポイント URL を指定する
- クライアント アプリケーションで HTTPS エンドポイントを指定します。これは Webhook フィードで使用できます。
カスタム ヘッダーの一部として API キーと秘密鍵を次の形式で指定して、認証を有効にします。
X-goog-api-key = API_KEY
X-Webhook-Access-Key = SECRET
API キーは、URL 内に指定するのではなく、ヘッダーとして指定することをおすすめします。Webhook クライアントがカスタム ヘッダーをサポートしていない場合は、次の形式のクエリ パラメータを使用して API キーと秘密鍵を指定できます。
ENDPOINT_URL?key=API_KEY&secret=SECRET
以下を置き換えます。
ENDPOINT_URL
: フィード エンドポイントの URL。API_KEY
: Google Security Operations への認証に使用する API キー。SECRET
: フィードを認証するために生成した秘密鍵。
Google Cloud Storage フィード設定の例
- Google Security Operations メニューから [設定] を選択し、[フィード] をクリックします。
- [Add New] をクリックします。
- [ソースタイプ] で [Google Cloud Storage] を選択します。
- [ログタイプ] を選択します。たとえば、Google Kubernetes Engine 監査ログのフィードを作成するには、[ログタイプ] として [Google Kubernetes Engine 監査ログ] を選択します。
- [サービス アカウントを取得する] をクリックします。Google Security Operations は、Google Security Operations がデータの取り込みに使用する一意のサービス アカウントを提供します。
- サービス アカウントが Cloud Storage オブジェクトにアクセスするためのアクセス権を構成します。このドキュメントでは、Google Security Operations サービス アカウントへのアクセス権を付与するをご覧ください。
- [次へ] をクリックします。
- 作成した Cloud Storage 構成に基づいて、次のフィールドに値を指定します。
- Storage バケットの URI
- URI は
- ソース削除オプション
- [次へ] をクリックしてから、[送信] をクリックします。
Google Security Operations サービス アカウントへのアクセス権を付与する
- Google Cloud コンソールで、Cloud Storage の [バケット] ページに移動します。
関連する Cloud Storage オブジェクトへのアクセス権をサービス アカウントに付与します。
特定のファイルへの読み取り権限を付与するには、次の手順を実行します。
- ファイルを選択し、[アクセス権を編集] をクリックします。
- [プリンシパルを追加] をクリックします。
- [新しいプリンシパル] フィールドに、Google Security Operations サービス アカウントの名前を入力します。
- 読み取り権限を含むロールを Google Security Operations サービス アカウントに割り当てます。たとえば、Storage オブジェクト閲覧者(
roles/storage.objectViewer
)。これは、均一なバケットレベルのアクセス権が有効になっていない場合にのみ実行できます。 - [保存] をクリックします。
複数のファイルへの読み取り権限を付与するには、バケットレベルでアクセス権を付与する必要があります。Google Security Operations サービス アカウントをプリンシパルとしてストレージ バケットに追加し、IAM ストレージ オブジェクト閲覧者(
roles/storage.objectViewer
)のロールを付与する必要があります。ソースファイルを削除するようにフィードを構成する場合、Google Security Operations サービス アカウントをプリンシパルとしてバケットに追加し、IAM ストレージ オブジェクト管理者(
roles/storage.objectAdmin
)のロールを付与する必要があります。
VPC Service Controls を構成する
VPC Service Controls が有効になっている場合、Cloud Storage バケットへのアクセスを許可するには上り(内向き)ルールが必要です。
上り(内向き)ルールでは、次の Cloud Storage メソッドを許可する必要があります。
google.storage.objects.list
。単一のファイル フィードに必須です。google.storage.objects.get
。ディレクトリまたはサブディレクトリへのアクセスを必要とするフィードに必須。google.storage.objects.delete
。ソースファイルを削除する必要があるフィードには必須です。
上り(内向き)ルールのサンプル
- ingressFrom:
identities:
- serviceAccount:8911409095528497-0-account@partnercontent.gserviceaccount.com
sources:
- accessLevel: "*"
ingressTo:
operations:
- serviceName: storage.googleapis.com
methodSelectors:
- method: google.storage.objects.list
- method: google.storage.objects.get
- method: google.storage.objects.delete
resources:
- projects/PROJECT_ID
フィードのステータス
最初の [フィード] ページでフィードのステータスをモニタリングできます。フィードは次のステータスになることができます。
- アクティブ - フィードが構成され、Google Security Operations アカウントにデータを取り込む準備が整っています。
- InProgress - 現在、Google Security Operations は、構成済みのサードパーティからデータを pull しています。
- 完了 - このフィードによってデータは正常に取得されました。
- アーカイブ済み - フィードを無効にしています。
Failed - フィードでデータを正常に取得できません。構成の問題が原因と考えられます。質問をクリックして、構成エラーを表示します。エラーを修正し、フィードを再送信したら、[フィード] ページに戻って、現在、フィードが機能しているかどうかを確認します。
フィードを編集
[フィード] ページから、任意の既存のフィードを編集できます。
既存のフィードの上にポインタを置き、右側の列の more_vert をクリックします。
[フィードを編集] をクリックします。これで、フィードの入力パラメータを変更し、Google Security Operations に再送信できるようになりました。Google Security Operations は編集されたフィードの使用を試行します。
フィードを有効または無効にする
[ステータス] 列で、有効なフィードには、[有効]、[進行中]、[完了]、または [失敗] のラベルが付けられます。無効なフィールドは [アーカイブ済み] のラベルが付けられます。詳しくは、フィードのステータスをご覧ください。
[フィード] ページから、任意の既存のフィードを有効化または無効化できます。
既存のフィードの上にポインタを置き、右側の列の more_vert をクリックします。
フィードを有効にするには、[フィードを有効にする] の切り替えボタンをクリックします。
フィードを無効にするには、[フィードを無効にする] の切り替えボタンをクリックします。これで、フィードに [アーカイブ済み] というラベルが付けられました。
フィードの削除
[フィード] ページから、任意の既存のフィードを削除することもできます。
既存のフィードの上にポインタを置き、右側の列の more_vert をクリックします。
[フィードを削除] をクリックします。[DELETE FEED] ウィンドウが開きます。フィードを完全に削除するには、[はい、削除します] をクリックします。
取り込みレートの制御
テナントのデータの取り込みレートが特定のしきい値に達すると、Google Security Operations は新しいデータフィードの取り込みレートを制限して、取り込みレートが高いソースが別のデータソースの取り込みレートに影響を与えないようにします。 この場合、遅延が発生しますが、データが失われることはありません。しきい値は取り込み量とテナントの使用履歴によって決まります。
レート制限の引き上げをリクエストするには、Cloud カスタマーケアにお問い合わせください。
トラブルシューティング
[フィード] ページでは、ソースタイプ、ログタイプ、フィード ID、既存のフィードのステータスなどの詳細を確認できます。
既存のフィードの上にポインタを置き、右側の列の more_vert をクリックします。
[フィードを表示] をクリックします。フィードの詳細を示すダイアログが表示されます。失敗したフィードの場合は、[詳細] > [ステータス] でエラーの詳細を確認できます。
失敗したフィードの詳細には、エラーの原因と修正手順が含まれます。 次の表に、データフィードの操作時に発生する可能性のあるエラー メッセージを示します。
エラーコード | 原因 | トラブルシューティング |
ACCESS_DENIED |
フィード構成で指定された認証アカウントに必要な権限がありません。 | フィード構成で指定される認証アカウントに必要な権限が付与されていることを確認します。必要な権限については、フィードのドキュメントをご覧ください。 |
ACCESS_TOO_FREQUENT |
ソースに到達する試行回数が多すぎたため、フィードが失敗しました。 | Google Security Operations サポートにお問い合わせください。 |
CONNECTION_DROPPED |
ソースへの接続が確立されましたが、フィードが完了する前に接続が切断されました。 | このエラーは一時的なもので、アプリケーションがリクエストを再試行します。問題が解決しない場合は、サポートにお問い合わせください。 |
CONNECTION_FAILED |
アプリケーションが送信元 IP アドレスとポートに接続できません。 | 以下をご確認ください。
問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
DNS_ERROR |
ソースホスト名を解決できません。 | サーバーのホスト名のスペルが間違っている可能性があります。URL を確認し、スペルを確認します。 |
FILE_FAILED |
ソースへの接続は確立されましたが、ファイルまたはリソースに問題があります。 | 以下をご確認ください。
問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
FILE_NOT_FOUND |
ソースへの接続は確立されましたが、ファイルまたはリソースが見つかりません。 | 以下をご確認ください。
問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
GATEWAY_ERROR |
Google Security Operations によって行われた呼び出しに API がゲートウェイ エラーを返しました。 | フィードのソースの詳細を確認します。アプリケーションはリクエストを再試行します。 |
INTERNAL_ERROR |
内部エラーのため、データを取り込むことができません。 | 問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
INVALID_ARGUMENT |
ソースへの接続は確立されましたが、引数が無効なためフィードが失敗しました。 | フィードの設定を確認します。フィードの設定について詳しくは、フィードのドキュメントをご覧ください。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
INVALID_FEED_CONFIG |
フィード構成に無効な値が含まれています。 | フィードの設定に誤りがないか確認します。正しい構文については、フィードのドキュメントをご覧ください。 |
INVALID_REMOTE_RESPONSE |
ソースへの接続は確立されましたが、レスポンスがありませんでした。 | フィードの設定を確認します。フィードのセットアップの詳細をご確認ください。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
LOGIN_FAILED |
ソースへの接続は確立されましたが、認証情報が正しくないか、指定されていません。 | ソースの認証情報を再入力して、正しいことを確認します。 |
NO_RESPONSE |
移行元への接続は確立されましたが、移行元からの応答がありません。 | ソースが Google Security Operations からのリクエストをサポートできることを確認します。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
PERMISSION_DENIED |
ソースへの接続は確立されましたが、承認に問題があります。 | 必要なアクセス権と権限が追加されていることを確認します。 |
REMOTE_SERVER_ERROR |
移行元への接続は確立されましたが、移行元からデータが応答しませんでした。 | ソースが利用可能であり、データで応答していることを確認します。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
REMOTE_SERVER_REPORTED_BAD_REQUEST |
移行元への接続は確立されましたが、移行元がリクエストを拒否しました。 | フィードの設定を確認します。詳しくは、フィードのドキュメントをご覧ください。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
SOCKET_READ_TIMEOUT |
ソースへの接続は確立されましたが、データ転送が完了する前に接続がタイムアウトしました。 | このエラーは一時的なもので、アプリケーションがリクエストを再試行します。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
TOO_MANY_ERRORS |
ソースから複数のエラーが発生したため、フィードがタイムアウトになりました。 | Google Security Operations サポートにお問い合わせください。 |
TRANSIENT_INTERNAL_ERROR |
フィードで一時的な内部エラーが発生しました。 | このエラーは一時的なもので、アプリケーションがリクエストを再試行します。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
UNSAFE_CONNECTION |
IP アドレスが制限されているため、アプリケーションは接続できませんでした。 | このエラーは一時的なエラーであり、Google Security Operations がリクエストを再試行します。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
HTTP_400 |
リクエストが無効であるため、フィードに失敗しました。 | フィードの設定を確認します。フィードのセットアップの詳細をご確認ください。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
HTTP_403 |
ソースへの接続は確立されましたが、承認に問題があります。 | 必要なアクセス権と権限が追加されていることを確認します。 |
HTTP_404 |
ソースへの接続は確立されましたが、ファイルまたはリソースが見つかりません。 | 以下をご確認ください。
問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
HTTP_429 |
ソースに到達する試行回数が多すぎたため、フィードがタイムアウトになりました。 | Google Security Operations サポートにお問い合わせください。 |
HTTP_500 |
移行元への接続は確立されましたが、移行元からデータが応答しませんでした。 | ソースが利用可能であり、データで応答していることを確認します。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
HTTP_502 |
フィードでゲートウェイ エラーが発生しました。 | このエラーは一時的なもので、アプリケーションがリクエストを再試行します。問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |
HTTP_504 |
Google Security Operations がソース IP アドレスとポートに接続できません。 | このエラーは一時的なもので、アプリケーションがリクエストを再試行します。 以下をご確認ください。
問題が解決しない場合は、Google Security Operations サポートにお問い合わせください。 |