Cloud DLP 検査ジョブの作成とスケジュール設定

このトピックでは、Cloud Data Loss Prevention（DLP）検査ジョブの作成方法と、ジョブトリガーを作成して定期的な検査ジョブのスケジュールを設定する方法について詳しく説明します。Cloud DLP UI を使用して新しいジョブトリガーを作成する方法の簡単なチュートリアルについては、クイックスタート: Cloud DLP ジョブトリガーの作成をご覧ください。

検査ジョブとジョブトリガーの概要

Cloud DLP が検査スキャンを実行してセンシティブデータを識別するとき、各スキャンはジョブとして実行されます。Cloud Storage バケット、BigQuery テーブル、Datastore の種類など、Google Cloud Storage リポジトリを検査するように指示するたびに、Cloud DLP はジョブリソースを作成して実行します。

Cloud DLP 検査スキャンジョブをスケジュールするには、ジョブトリガーを作成します。ジョブトリガーは、DLP ジョブの定期的な作成を自動化し、オンデマンドで実行することもできます。

Cloud DLP のジョブとジョブトリガーの詳細については、ジョブとジョブトリガーのコンセプトページをご覧ください。

新しい検査ジョブを作成する

新しい Cloud DLP 検査ジョブを作成するには、次のようにします。

コンソール

Cloud Console で Cloud DLP を開きます。

Cloud DLP UI に移動
[作成] メニューで [ジョブまたはジョブトリガー] を選択します。

または、次のボタンをクリックします。

新しいジョブを作成

[Create job] ページには次のセクションがあります。

入力データを選択
検出の構成
アクションの追加
復習

入力データを選択

名前

ジョブの名前を入力します。文字、数字、ハイフンを使用できます。ジョブの命名は任意です。名前を入力しないと、Cloud DLP はジョブに一意の番号識別子を割り当てます。

場所

[ストレージの種類] メニューで、スキャンするデータが保存されているリポジトリの種類を選択します。

Cloud Storage: スキャンするバケットの URL を入力します。または、[ロケーションタイプ] メニューから [含める / 含めない] を選択した後、[BROWSE] をクリックしてスキャン対象のバケットまたはサブフォルダに移動します。指定したディレクトリとそこに含まれるすべてのディレクトリをスキャンするには、[フォルダを再帰的にスキャンする] チェックボックスをオンにします。下位ディレクトリを対象にせず、指定したディレクトリだけをスキャンする場合は、このチェックボックスはオフのままにします。
BigQuery: スキャンするプロジェクト、データセット、テーブルの識別子を入力します。
Datastore: スキャンするプロジェクト、名前空間（省略可能）、種類の識別子を入力します。

サンプリング

サンプリングは、大量のデータがある場合にリソースを節約するオプションの方法です。

[サンプリング] では、選択したすべてのデータをスキャンするか、特定の割合のデータだけをスキャンしてサンプリングを行うかを選択できます。サンプリングは、スキャンするストレージリポジトリの種類によって動作が異なります。

BigQuery の場合、スキャンに含めるように指定したファイルの割合に応じて、選択された合計行数のサブセットをサンプリングします。
Cloud Storage の場合、[1 ファイルあたりのスキャンの最大バイト数] で指定したサイズを超えるファイルについては、その最大サイズまでスキャンしてから次のファイルに進みます。

サンプリングを有効にするには、最初のメニューで、以下のいずれかのオプションを選択します。

上からサンプリングを開始する: データの先頭から部分スキャンが開始されます。BigQuery の場合、最初の行からスキャンが開始されます。Cloud Storage の場合、各ファイルの先頭からスキャンが開始され、指定された最大ファイルサイズまでスキャンするとスキャンが停止します（上記参照）。
ランダムスタートからサンプリングを開始する: データ内のランダムな場所から部分スキャンが開始されます。BigQuery の場合、ランダムな行からスキャンが開始されます。Cloud Storage の場合、この設定は、指定された最大サイズを超えるファイルにのみ適用されます。最大ファイルサイズ未満のファイルは全体がスキャンされ、最大ファイルサイズを超えるファイルは最大サイズまでスキャンされます。

部分スキャンを実行するには、データのうち何パーセントをスキャンするかを指定する必要があります。スライダーを使って割合を設定します。

詳細構成

Cloud Storage バケットまたは BigQuery テーブルのスキャンジョブを作成する際に、詳細構成を指定して検索を絞り込むことができます。具体的には、以下を構成できます。

ファイル（Cloud Storage のみ）: スキャンするファイルの種類。テキスト、バイナリ、画像ファイルを含めることができます。
識別フィールド（BigQuery のみ）: テーブル内で一意の行識別子。
Cloud Storage の場合、[1 ファイルあたりのスキャンの最大バイト数] で指定したサイズを超えるファイルについては、その最大サイズまでスキャンしてから次のファイルに進みます。

サンプリングを有効にするには、データのうち何パーセントをスキャンするかを指定する必要があります。スライダーを使って割合を設定します。次に、最初のメニューで、以下のいずれかのオプションを選択します。

上からサンプリングを開始する: データの先頭から部分スキャンが開始されます。BigQuery の場合、最初の行からスキャンが開始されます。Cloud Storage の場合、各ファイルの先頭からスキャンが開始され、指定された最大ファイルサイズまでスキャンするとスキャンが停止します（上記参照）。
ランダムスタートからサンプリングを開始する: データ内のランダムな場所から部分スキャンが開始されます。BigQuery の場合、ランダムな行からスキャンが開始されます。Cloud Storage の場合、この設定は、指定された最大サイズを超えるファイルにのみ適用されます。最大ファイルサイズ未満のファイルは全体がスキャンされ、最大ファイルサイズを超えるファイルは最大サイズまでスキャンされます。

ファイル

Cloud Storage に保存されているファイルの場合は、[ファイル] でスキャンに含めるファイルの種類を指定できます。

バイナリ、テキスト、イメージ、Microsoft Word、PDF、Apache Avro ファイルから選択できます。Cloud DLP がスキャンできる Cloud Storage バケット内のファイル拡張子の完全なリストは、API リファレンスページの FileType に記されています。[バイナリ] を選択した場合は、Cloud DLP で認識されないファイル形式としてスキャンされるので注意してください。

識別フィールド

BigQuery のテーブルの場合、[識別フィールド] で、特定のフィールドに値が含まれている行のみをスキャンするよう指定できます。

フィールドを追加するには、[識別フィールドを追加] をクリックします。フィールド名を入力する際、必要に応じてドット表記を使用することで、ネストされたフィールドを指定できます。

フィールドは必要なだけ追加できます。追加したフィールドを削除するには、削除するフィールドの横にある「項目を削除します」（ゴミ箱アイコン）をクリックします。

検出の構成

[検出の設定] セクションでは、スキャン対象のセンシティブデータの種類を指定します。このセクションは省略可能です。このセクションをスキップすると、Cloud DLP は [最も一般的] オプションを使用して、一般的な種類のセンシティブデータのセットをスキャンします。これは、ALL_BASIC infoType 検出器に相当します。

テンプレート

Cloud DLP テンプレートを使用して、以前に指定した構成情報を再利用することもできます。

使用するテンプレートをすでに作成している場合は、[テンプレート名] フィールドをクリックして既存の検査テンプレートのリストを表示します。使用するテンプレートの名前を選択または入力します。

テンプレートの作成について詳しくは、Cloud DLP 検査テンプレートの作成をご覧ください。

infoType

infoType 検出器は、特定の型の機密データを検出します。たとえば、Cloud DLP 組み込みの US_SOCIAL_SECURITY_NUMBER infoType 検出器では、米国社会保障番号が検出されます。組み込みの infoType 検出器に加えて、独自のカスタム infoType 検出器を作成できます。

[InfoType] で、スキャンするデータ型に対応する infoType 検出器を選択します。このフィールドを空白のままにして、デフォルトのすべての infoTypes をスキャン対象にすることもできます。それぞれの検出器の詳細については、InfoType 検出器リファレンスをご覧ください。

また、[カスタム infoType] セクションでカスタム infoType 検出器を追加し、[検査ルールセット] セクションで組み込みとカスタムの両方の infoType 検出器をカスタマイズできます。

カスタム infoType

To add a custom infoType detector:

Click Add custom infoType.
Choose the type of custom infoType detector you want to create:
- Words or phrases: Matches on one or more words or phrases that you enter into the field. Use this custom infoType when you have just a few words or phrases to search for. Give your custom infoType a name, and then, under List of words or phrases, type the word or phrase you want Cloud DLP to match on. To search on multiple words or phrases, press Enter after each one. For more information, see Creating a regular custom dictionary detector.
- Dictionary path: Searches your content for items in a list of words and phrases. The list is stored in a text file in Cloud Storage. Use this custom infoType when you have anywhere from a few to several hundred thousand words or phrases to search for. This method is also useful if your list contains sensitive elements and you don't want to store them inside of a job or template. Give your custom infoType a name, and then, under Dictionary location, enter or browse to the Cloud Storage path where the dictionary file is stored. For more information, see Creating a regular custom dictionary detector.
- Regex: Matches content based on a regular expression. Give your custom infoType a name, and then, in the Regex field, enter a regex pattern to match words and phrases. See the supported regex syntax.
- Stored infoType: This option adds a stored custom dictionary detector, which is a kind of dictionary detector that is built from either a large text file stored in Cloud Storage or a single column of a BigQuery table. Use this kind of custom infoType when you have anywhere from several hundred thousand to tens of millions of words or phrases to search for. Be aware that this is the only option in this menu for which you must have already created the stored infoType to use it. Give your custom infoType a name (different from the name you gave the stored infoType), and then, in the Stored infoType field, enter the name of the stored infoType. For more information about creating stored custom dictionaries, see Creating a stored custom dictionary detector.

Click Add custom infoType again to add additional custom infoType detectors.

検査ルールセット

Inspection rulesets allow you to customize both built-in and custom infoType detectors using context rules. The two types of inspection rules are:

Exclusion rules, which help exclude false or unwanted findings.
Hotword rules, which help detect additional findings.

To add a new ruleset, first specify one or more built-in or custom infoType detectors in the InfoTypes section. These are the infoType detectors that your rulesets will be modifying. Then, do the following:

Click in the Choose infoTypes field. The infoType or infoTypes you specified previously appear below the field in a menu, as shown here:

Screenshot of the DLP UI's inspection rulesets configuration.

Choose an infoType from the menu, and then click Add rule. A menu appears with the two options Hotword rule and Exclusion rule.

For hotword rules, choose Hotword rules. Then, do the following:

In the Hotword field, enter a regular expression that Cloud DLP should look for.
From the Hotword proximity menu, choose whether the hotword you entered is found before or after the chosen infoType.
In Hotword distance from infoType, enter the approximate number of characters between the hotword and the chosen infoType.
In Confidence level adjustment, choose whether to assign matches a fixed likelihood level, or to increase or decrease the default likelihood level by a certain amount.

For exclusion rules, choose Exclusion rules. Then, do the following:

In the Exclude field, enter a regular expression (regex) that Cloud DLP should look for.
From the Matching type menu, choose one of the following:

Full match: The finding must completely match the regex.
Partial match: A substring of the finding can match the regex.
Inverse match: The finding doesn't match the regex.

You can add additional hotword or exclusion rules and rulesets to further refine your scan results.

信頼度のしきい値

Cloud DLP で機密データの一致候補が検出されるたびに、可能性の値が「かなり低い」から「かなり高い」までの尺度で割り当てられます。ここで可能性の値を設定すると、Cloud DLP ではその設定に従って、その可能性の値以上のデータの一致のみが検出されます。

「可能性あり」はデフォルト値で、ほとんどの用途に十分対応できます。検出される一致が常に、あまりに広範に及ぶ場合は、スライダーを右に動かしてください。一致が少なすぎる場合は、スライダーを左に動かしてください。

設定が完了したら、[続行] をクリックします。

アクションの追加

[アクションの追加] には、ジョブの完了後に実行させるアクションを 1 つ以上指定します。

次の設定を選択できます。

BigQuery に保存: このオプションを選択すると、検索結果が BigQuery テーブルに保存されます。BigQuery に保存されている検索結果には、各検索結果の場所と一致の可能性に関する詳細が含まれています。検索結果を保存しない場合、完了したジョブには検索結果の数と infoType に関する統計情報のみが含まれます。テーブル ID が指定されていない場合は、BigQuery によって新しいテーブルにデフォルトの名前が割り当てられます。既存のテーブルを指定した場合は、検出結果がそのテーブルに追加されます。各検索結果に状況のテキストを含めるには、[見積もりを含める] を選択します。
Pub/Sub に公開: このオプションを選択すると、ジョブが完了したときに通知メッセージが Pub/Sub に送信されます。通知を公開するトピック名を 1 つ以上指定するには、[新しいトピック] をクリックします。
Google Cloud Security Command Center に公開: このオプションを選択すると、結果の概要が Security Command Center に公開されます。詳細については、Cloud DLP スキャンの結果を Security Command Center に送信するをご覧ください。
Data Catalog に公開: このオプションを選択すると、検査結果が Google Cloud のメタデータ管理サービスである Data Catalog に送信されます。
Stackdriver に公開: このオプションを選択すると、検査結果が Google Cloud のオペレーションスイートである Cloud Monitoring に送信されます。
メールで通知: このオプションを選択すると、ジョブが完了したときにプロジェクトの所有者と編集者にメールが送信されます。

アクションを選択し終えたら、[続行] をクリックします。

確認

[確認] セクションには、指定したジョブ設定の概要が JSON 形式で表示されます。

[作成] をクリックして、ジョブを作成し（スケジュールを指定しなかった場合）、ジョブを 1 回実行します。ジョブの情報ページが表示されます。このページには、ステータスとその他の情報が表示されます。現在実行中のジョブがあれば、[キャンセル] ボタンをクリックして停止できます。[削除] をクリックして、ジョブを削除することもできます。

Cloud DLP のメインページに戻るには、Cloud Console の戻る矢印をクリックします。

プロトコル

ジョブは、DLP API で DlpJobs リソースによって表現されます。DlpJob リソースの projects.dlpJobs.create メソッドを使用して新しいジョブを作成できます。

このサンプル JSON は、POST リクエストによって、指定された Cloud DLP REST エンドポイントに送信できます。このサンプルの JSON では、Cloud DLP でジョブを作成する方法を示します。ジョブは、Datastore 検査スキャンです。

以下に埋め込まれている API Explorer を使用すれば、これをすぐに試すことができます。リクエストが API Explorer で作成された場合でも、リクエストが正常な場合は、ジョブが作成されることに注意してください。JSON を使用して Cloud DLP API にリクエストを送信する方法については、JSON クイックスタートをご覧ください。

JSON 入力:

{
  "inspectJob": {
    "storageConfig": {
      "bigQueryOptions": {
        "tableReference": {
          "projectId": "bigquery-public-data",
          "datasetId": "san_francisco_sfpd_incidents",
          "tableId": "sfpd_incidents"
        }
      },
      "timespanConfig": {
        "startTime": "2020-01-01T00:00:01Z",
        "endTime": "2020-01-31T23:59:59Z",
        "timestampField": {
          "name": "timestamp"
        }
      }
    },
    "inspectConfig": {
      "infoTypes": [
        {
          "name": "PERSON_NAME"
        },
        {
          "name": "STREET_ADDRESS"
        }
      ],
      "excludeInfoTypes": false,
      "includeQuote": true,
      "minLikelihood": "LIKELY"
    },
    "actions": [
      {
        "saveFindings": {
          "outputConfig": {
            "table": {
              "projectId": "[PROJECT-ID]",
              "datasetId": "[DATASET-ID]"
            }
          }
        }
      }
    ]
  }
}

JSON 出力:

次の出力は、ジョブが正常に作成されたことを示しています。

{
  "name": "projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
  "type": "INSPECT_JOB",
  "state": "PENDING",
  "inspectDetails": {
    "requestedOptions": {
      "snapshotInspectTemplate": {},
      "jobConfig": {
        "storageConfig": {
          "bigQueryOptions": {
            "tableReference": {
              "projectId": "bigquery-public-data",
              "datasetId": "san_francisco_sfpd_incidents",
              "tableId": "sfpd_incidents"
            }
          },
          "timespanConfig": {
            "startTime": "2020-01-01T00:00:01Z",
            "endTime": "2020-01-31T23:59:59Z",
            "timestampField": {
              "name": "timestamp"
            }
          }
        },
        "inspectConfig": {
          "infoTypes": [
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "STREET_ADDRESS"
            }
          ],
          "minLikelihood": "LIKELY",
          "limits": {},
          "includeQuote": true
        },
        "actions": [
          {
            "saveFindings": {
              "outputConfig": {
                "table": {
                  "projectId": "[PROJECT-ID]",
                  "datasetId": "[DATASET-ID]",
                  "tableId": "[TABLE-ID]"
                }
              }
            }
          }
        ]
      }
    },
    "result": {}
  },
  "createTime": "2020-07-10T07:26:33.643Z"
}

Java

Cloud DLP 用のクライアントライブラリをインストールして使用する方法については、Cloud DLP クライアントライブラリをご覧ください。

Cloud DLP 検査ジョブの作成とスケジュール設定

検査ジョブとジョブトリガーの概要

新しい検査ジョブを作成する

コンソール

入力データを選択

名前

場所

サンプリング

詳細構成

ファイル

識別フィールド

検出の構成

テンプレート

infoType

カスタム infoType

検査ルールセット

信頼度のしきい値

アクションの追加

確認

プロトコル

Java

新しいジョブトリガーを作成する

コンソール

入力データを選択

名前

場所

サンプリング

詳細構成

ファイル

識別フィールド

検出の構成

テンプレート

infoType

カスタム infoType

検査ルールセット

信頼度のしきい値

アクションの追加

スケジュール

確認

プロトコル

Java

Node.js

Python

Go

PHP

C#

すべてのジョブを一覧表示する

Console

プロトコル

Java

Node.js

Python

Go

PHP

C#

すべてのジョブトリガーを一覧表示する

Console

プロトコル

Java

Node.js

Python

Go

PHP

C#

ジョブの削除

Console

プロトコル

Java

Node.js

Python

Go

PHP

C#

ジョブトリガーを削除する

Console

プロトコル

Java

Node.js

Python

Go