Cloud DLP 検査ジョブの作成とスケジュール設定

このトピックでは、Cloud Data Loss Prevention 検査ジョブの作成方法と、ジョブトリガーを作成して定期的な検査ジョブのスケジュールを設定する方法について詳しく説明します。Cloud DLP UI を使用して新しいジョブトリガーを作成する方法の簡単なチュートリアルについては、クイックスタート: Cloud DLP ジョブトリガーの作成をご覧ください。

検査ジョブとジョブトリガーの概要

Cloud DLP が検査スキャンを実行してセンシティブデータを識別するとき、各スキャンはジョブとして実行されます。Cloud Storage バケット、BigQuery テーブル、Datastore の種類、外部データなど、Google Cloud Storage リポジトリを検査するように指示するたびに、Cloud DLP はジョブリソースを作成して実行します。

Cloud DLP 検査スキャンジョブをスケジュールするには、ジョブトリガーを作成します。ジョブトリガーは、DLP ジョブの定期的な作成を自動化し、オンデマンドで実行することもできます。

Cloud DLP のジョブとジョブトリガーの詳細については、ジョブとジョブトリガーのコンセプトページをご覧ください。

新しい検査ジョブの作成

新しい Cloud DLP 検査ジョブを作成するには、次のようにします。

Console

Google Cloud コンソールで、[データ損失防止] ページに移動します。

[データ損失防止] に移動
[検査] タブをクリックし、[ジョブとジョブトリガーを作成] をクリックします。

または、次のボタンをクリックします。

新しいジョブを作成

[Create job] ページには次のセクションがあります。

入力データを選択
検出の構成
アクションの追加
復習

入力データを選択

名前

ジョブの名前を入力します。文字、数字、ハイフンを使用できます。ジョブの名前は省略可能です。名前を入力しないと、Cloud DLP はジョブに一意の番号 ID を付与します。

場所

[ストレージの種類] メニューで、スキャンするデータが保存されているリポジトリの種類を選択します。

Cloud Storage: スキャンするバケットの URL を入力します。または、[ロケーションタイプ] メニューから [含める / 含めない] を選択した後、[BROWSE] をクリックしてスキャン対象のバケットまたはサブフォルダに移動します。指定したディレクトリとそこに含まれるすべてのディレクトリをスキャンするには、[フォルダを再帰的にスキャンする] チェックボックスをオンにします。下位ディレクトリを対象にせず、指定したディレクトリだけをスキャンする場合は、このチェックボックスはオフのままにします。
BigQuery: スキャンするプロジェクト、データセット、テーブルの識別子を入力します。
Datastore: スキャンするプロジェクト、名前空間（省略可能）、種類の識別子を入力します。
ハイブリッド: 必要なラベル、オプションのラベル、表形式のデータを処理するオプションを追加できます。詳細については、提供できるメタデータのタイプをご覧ください。

サンプリング

サンプリングは、大量のデータがある場合にリソースを節約するオプションの方法です。

[サンプリング] では、選択したすべてのデータをスキャンするか、特定の割合のデータだけをスキャンしてサンプリングを行うかを選択できます。サンプリングは、スキャンするストレージリポジトリの種類によって動作が異なります。

BigQuery の場合、スキャンに含めるように指定したファイルの割合に応じて、選択された合計行数のサブセットをサンプリングします。
Cloud Storage の場合、[1 ファイルあたりのスキャンの最大バイト数] で指定したサイズを超えるファイルについては、その最大サイズまでスキャンしてから次のファイルに進みます。

サンプリングを有効にするには、最初のメニューで、以下のいずれかのオプションを選択します。

上からサンプリングを開始する: データの先頭から部分スキャンが開始されます。BigQuery の場合、最初の行からスキャンが開始されます。Cloud Storage の場合、各ファイルの先頭からスキャンが開始され、指定された最大ファイルサイズまでスキャンするとスキャンが停止します。
ランダムスタートからサンプリングを開始する: データ内のランダムな場所から部分スキャンが開始されます。BigQuery の場合、ランダムな行からスキャンが開始されます。Cloud Storage の場合、この設定は、指定された最大サイズを超えるファイルにのみ適用されます。最大ファイルサイズ未満のファイルは全体がスキャンされ、最大ファイルサイズを超えるファイルは最大サイズまでスキャンされます。

部分スキャンを実行するには、データのうち何パーセントをスキャンするかを指定する必要があります。スライダーを使って割合を設定します。

また、スキャンするファイルやレコードを日付で絞り込むことも可能です。方法については、このトピックの後半のスケジュールをご覧ください。

詳細構成

Cloud Storage バケットまたは BigQuery テーブルのスキャンジョブを作成する際に、詳細構成を指定して検索を絞り込むことができます。具体的には、以下を構成できます。

ファイル（Cloud Storage のみ）: スキャンするファイルの種類。テキスト、バイナリ、画像ファイルを含めることができます。
識別フィールド（BigQuery のみ）: テーブル内で一意の行識別子。
Cloud Storage の場合、[1 ファイルあたりのスキャンの最大バイト数] で指定したサイズを超えるファイルについては、その最大サイズまでスキャンしてから次のファイルに進みます。

サンプリングを有効にするには、データのうち何パーセントをスキャンするかを指定する必要があります。スライダーを使って割合を設定します。次に、最初のメニューで、以下のいずれかのオプションを選択します。

上からサンプリングを開始する: データの先頭から部分スキャンが開始されます。BigQuery の場合、最初の行からスキャンが開始されます。Cloud Storage の場合、各ファイルの先頭からスキャンが開始され、指定された最大ファイルサイズまでスキャンするとスキャンが停止します（上記参照）。
ランダムスタートからサンプリングを開始する: データ内のランダムな場所から部分スキャンが開始されます。BigQuery の場合、ランダムな行からスキャンが開始されます。Cloud Storage の場合、この設定は、指定された最大サイズを超えるファイルにのみ適用されます。最大ファイルサイズ未満のファイルは全体がスキャンされ、最大ファイルサイズを超えるファイルは最大サイズまでスキャンされます。

ファイル

Cloud Storage に保存されているファイルの場合は、[ファイル] でスキャンに含めるファイルの種類を指定できます。

バイナリ、テキスト、画像、CSV、TSV、Microsoft Word、Microsoft Excel、Microsoft PowerPoint、PDF、Apache Avro ファイルから選択できます。Cloud Storage バケット内で Cloud DLP がスキャンできるファイル拡張子の完全なリストについては、FileType をご覧ください。[バイナリ] を選択すると、Cloud DLP で認識されない形式のファイルをスキャンできます。

識別フィールド

BigQuery のテーブルの場合、[識別フィールド] フィールドで、テーブルの主キー列の値を結果に含めるように Cloud DLP に指示できます。こうすることで、検出結果が含まれるテーブルの行に検索結果をリンクできます。

テーブル内の各行を一意に識別する列の名前を入力します。必要に応じて、ドット表記を使用して、ネストされたフィールドを指定します。追加できるフィールドの数に制限はありません。

検出結果を BigQuery にエクスポートするには、[BigQuery に保存] アクションも有効にする必要があります。検出結果が BigQuery にエクスポートされると、各検出結果には識別フィールドのそれぞれの値が含まれます。詳細については、identifyingFields をご覧ください。

検出を構成する

[検出の設定] セクションでは、スキャン対象のセンシティブデータの種類を指定します。このセクションは省略可能です。このセクションをスキップすると、Cloud DLP はデフォルトの infoType のセットのデータをスキャンします。

テンプレート

Cloud DLP テンプレートを使用して、以前に指定した構成情報を再利用することもできます。

使用するテンプレートをすでに作成している場合は、[テンプレート名] フィールドをクリックして既存の検査テンプレートのリストを表示します。使用するテンプレートの名前を選択または入力します。

テンプレートの作成について詳しくは、Cloud DLP 検査テンプレートの作成をご覧ください。

infoType

infoType 検出器は、特定の型の機密データを検出します。たとえば、Cloud DLP 組み込みの US_SOCIAL_SECURITY_NUMBER infoType 検出器では、米国社会保障番号が検出されます。組み込みの infoType 検出器に加えて、独自のカスタム infoType 検出器を作成できます。

[InfoType] で、スキャンするデータ型に対応する infoType 検出器を選択します。このフィールドを空白のままにして、デフォルトのすべての infoTypes をスキャン対象にすることもできます。それぞれの検出器の詳細については、InfoType 検出器リファレンスをご覧ください。

また、[カスタム infoType] セクションでカスタム infoType 検出器を追加し、[検査ルールセット] セクションで組み込みとカスタムの両方の infoType 検出器をカスタマイズできます。

カスタム infoType

To add a custom infoType detector, do the following:

Click Add custom infoType.
Choose the type of custom infoType detector you want to create:
- Words or phrases: Matches on one or more words or phrases that you enter into the field. Use this custom infoType when you have just a few words or phrases to search for. Give your custom infoType a name, and then, under List of words or phrases, type the word or phrase you want Cloud DLP to match on. To search on multiple words or phrases, press Enter after each one. For more information, see Creating a regular custom dictionary detector.
- Dictionary path: Searches your content for items in a list of words and phrases. The list is stored in a text file in Cloud Storage. Use this custom infoType when you have anywhere from a few to several hundred thousand words or phrases to search for. This method is also useful if your list contains sensitive elements and you don't want to store them inside of a job or template. Give your custom infoType a name, and then, under Dictionary location, enter or browse to the Cloud Storage path where the dictionary file is stored. For more information, see Creating a regular custom dictionary detector.
- Regex: Matches content based on a regular expression. Give your custom infoType a name, and then, in the Regex field, enter a regex pattern to match words and phrases. See the supported regex syntax.
- Stored infoType: This option adds a stored custom dictionary detector, which is a kind of dictionary detector that is built from either a large text file stored in Cloud Storage or a single column of a BigQuery table. Use this kind of custom infoType when you have anywhere from several hundred thousand to tens of millions of words or phrases to search for. Be aware that this is the only option in this menu for which you must have already created the stored infoType to use it. Give your custom infoType a name (different from the name you gave the stored infoType), and then, in the Stored infoType field, enter the name of the stored infoType. For more information about creating stored custom dictionaries, see Creating a stored custom dictionary detector.

Click Add custom infoType again to add additional custom infoType detectors.

検査ルールセット

Inspection rulesets allow you to customize both built-in and custom infoType detectors using context rules. The two types of inspection rules are:

Exclusion rules, which help exclude false or unwanted findings.
Hotword rules, which help detect additional findings.

To add a new ruleset, first specify one or more built-in or custom infoType detectors in the InfoTypes section. These are the infoType detectors that your rulesets will be modifying. Then, do the following:

Click in the Choose infoTypes field. The infoType or infoTypes you specified previously appear below the field in a menu, as shown here:

Screenshot of the DLP UI's inspection rulesets configuration.

Choose an infoType from the menu, and then click Add rule. A menu appears with the two options Hotword rule and Exclusion rule.

For hotword rules, choose Hotword rules. Then, do the following:

In the Hotword field, enter a regular expression that Cloud DLP should look for.
From the Hotword proximity menu, choose whether the hotword you entered is found before or after the chosen infoType.
In Hotword distance from infoType, enter the approximate number of characters between the hotword and the chosen infoType.
In Confidence level adjustment, choose whether to assign matches a fixed likelihood level, or to increase or decrease the default likelihood level by a certain amount.

For exclusion rules, choose Exclusion rules. Then, do the following:

In the Exclude field, enter a regular expression (regex) that Cloud DLP should look for.
From the Matching type menu, choose one of the following:

Full match: The finding must completely match the regex.
Partial match: A substring of the finding can match the regex.
Inverse match: The finding doesn't match the regex.

You can add additional hotword or exclusion rules and rulesets to further refine your scan results.

信頼度のしきい値

Cloud DLP で機密データの一致候補が検出されるたびに、可能性の値が「かなり低い」から「かなり高い」までの尺度で割り当てられます。ここで可能性の値を設定すると、Cloud DLP ではその設定に従って、その可能性の値以上のデータの一致のみが検出されます。

「可能性あり」はデフォルト値で、ほとんどの用途に十分対応できます。検出される一致が常に、あまりに広範に及ぶ場合は、スライダーを右に動かしてください。一致が少なすぎる場合は、スライダーを左に動かしてください。

設定が完了したら、[続行] をクリックします。

アクションの追加

[アクションの追加] には、ジョブの完了後に実行させるアクションを 1 つ以上選択します。

次のアクションを構成できます。

BigQuery に保存: DLP ジョブの結果を BigQuery テーブルに保存します。結果の表示や分析を行う前に、ジョブが完了していることを確認します。

スキャンが実行されるたびに、Cloud DLP は指定された BigQuery テーブルにスキャンの検出結果を保存します。エクスポートされた知見には、各知見の場所と一致の可能性に関する詳細が含まれています。検出結果に infoType 検出器に一致する文字列を含めるには、[見積もりを含める] オプションを有効にします。

テーブル ID を指定しなければ、スキャンの最初の実行時に BigQuery によってデフォルトの名前が新しいテーブルに割り当てられます。既存のテーブルを指定した場合、Cloud DLP はスキャンの検出結果をそのデーブルに追加します。

検出結果を BigQuery に保存しない場合、スキャン結果には検出結果の数と infoType に関する統計情報のみが含まれます。

データが BigQuery テーブルに書き込まれると、課金と割り当て使用量は、宛先テーブルが含まれるプロジェクトに適用されます。
Pub/Sub に公開: DLP ジョブの名前を属性として含む通知を Pub/Sub チャネルに公開します。通知メッセージの送信先にするトピックを 1 つ以上指定できます。スキャンジョブを実行する Cloud DLP サービスアカウントに、トピックに対する公開アクセス権があることを確認します。
Publish Command Center に公開: ジョブの結果の概要を Security Command Center に公開します。詳細については、Cloud DLP スキャンの結果を Security Command Center に送信するをご覧ください。
Dataplex に公開: ジョブの結果を Google Cloud のメタデータ管理サービスである Dataplex に送信します。
メールで通知: ジョブが完了したときにメールを送信します。メールは IAM プロジェクトオーナーと技術的な重要な連絡先の技術担当者に送信されます。
Cloud Monitoring への公開: 検査結果を Google Cloud のオペレーションスイートの Cloud Monitoring に送信します。
匿名化されたコピーを作成する: 検査されたデータのすべての検出結果を匿名化し、匿名化されたコンテンツを新しいファイルに書き込みます。その後、機密情報を含むデータの代わりに、匿名化されたコピーをビジネスプロセスで使用できます。詳細については、Google Cloud コンソールで Cloud DLP を使用して Cloud Storage データの匿名化コピーを作成するをご覧ください。

詳しくは、アクションをご覧ください。

アクションを選択し終えたら、[続行] をクリックします。

確認

[確認] セクションには、指定したジョブ設定の概要が JSON 形式で表示されます。

[作成] をクリックしてジョブを作成し（スケジュールを指定しなかった場合）、ジョブを 1 回実行します。ジョブの情報ページが表示され、ステータスなどの情報を確認できます。現在実行中のジョブがあれば、[キャンセル] ボタンをクリックして停止できます。[削除] をクリックしてジョブを削除することもできます。

Cloud DLP のメインページに戻るには、Google Cloud コンソールの戻る矢印をクリックします。

プロトコル

ジョブは、DLP API で DlpJobs リソースによって表現されます。DlpJob リソースの projects.dlpJobs.create メソッドを使用して新しいジョブを作成できます。

このサンプル JSON は、POST リクエストによって、指定された Cloud DLP REST エンドポイントに送信できます。このサンプルの JSON では、Cloud DLP でジョブを作成する方法を示します。ジョブは、Datastore 検査スキャンです。

以下に埋め込まれている API Explorer を使用すれば、これをすぐに試すことができます。リクエストが API Explorer で作成された場合でも、リクエストが正常な場合は、ジョブが作成されることに注意してください。JSON を使用して DLP API にリクエストを送信する方法については、JSON クイックスタートをご覧ください。

JSON 入力:

{
  "inspectJob": {
    "storageConfig": {
      "bigQueryOptions": {
        "tableReference": {
          "projectId": "bigquery-public-data",
          "datasetId": "san_francisco_sfpd_incidents",
          "tableId": "sfpd_incidents"
        }
      },
      "timespanConfig": {
        "startTime": "2020-01-01T00:00:01Z",
        "endTime": "2020-01-31T23:59:59Z",
        "timestampField": {
          "name": "timestamp"
        }
      }
    },
    "inspectConfig": {
      "infoTypes": [
        {
          "name": "PERSON_NAME"
        },
        {
          "name": "STREET_ADDRESS"
        }
      ],
      "excludeInfoTypes": false,
      "includeQuote": true,
      "minLikelihood": "LIKELY"
    },
    "actions": [
      {
        "saveFindings": {
          "outputConfig": {
            "table": {
              "projectId": "[PROJECT-ID]",
              "datasetId": "[DATASET-ID]"
            }
          }
        }
      }
    ]
  }
}

JSON 出力:

次の出力は、ジョブが正常に作成されたことを示しています。

{
  "name": "projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
  "type": "INSPECT_JOB",
  "state": "PENDING",
  "inspectDetails": {
    "requestedOptions": {
      "snapshotInspectTemplate": {},
      "jobConfig": {
        "storageConfig": {
          "bigQueryOptions": {
            "tableReference": {
              "projectId": "bigquery-public-data",
              "datasetId": "san_francisco_sfpd_incidents",
              "tableId": "sfpd_incidents"
            }
          },
          "timespanConfig": {
            "startTime": "2020-01-01T00:00:01Z",
            "endTime": "2020-01-31T23:59:59Z",
            "timestampField": {
              "name": "timestamp"
            }
          }
        },
        "inspectConfig": {
          "infoTypes": [
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "STREET_ADDRESS"
            }
          ],
          "minLikelihood": "LIKELY",
          "limits": {},
          "includeQuote": true
        },
        "actions": [
          {
            "saveFindings": {
              "outputConfig": {
                "table": {
                  "projectId": "[PROJECT-ID]",
                  "datasetId": "[DATASET-ID]",
                  "tableId": "[TABLE-ID]"
                }
              }
            }
          }
        ]
      }
    },
    "result": {}
  },
  "createTime": "2020-07-10T07:26:33.643Z"
}

Java

Cloud DLP 用のクライアントライブラリをインストールして使用する方法については、Cloud DLP クライアントライブラリをご覧ください。

Cloud DLP 検査ジョブの作成とスケジュール設定

検査ジョブとジョブトリガーの概要

新しい検査ジョブの作成

Console

入力データを選択

名前

場所

サンプリング

詳細構成

ファイル

識別フィールド

検出を構成する

テンプレート

infoType

カスタム infoType

検査ルールセット

信頼度のしきい値

アクションの追加

確認

プロトコル

Java

新しいジョブトリガーを作成する

Console

入力データを選択

名前

場所

サンプリング

詳細構成

ファイル

識別フィールド

検出を構成する

テンプレート

infoType

カスタム infoType

検査ルールセット

信頼度のしきい値

アクションの追加

スケジュール

確認

プロトコル

Java

Node.js

Python

Go

PHP

C#

すべてのジョブを一覧表示する

Console

プロトコル

Java

Node.js

Python

Go

PHP

C#

すべてのジョブトリガーを一覧表示する

Console

プロトコル

Java

Node.js

Python

Go

PHP

C#

ジョブの削除

Console

プロトコル

Java

Node.js

Python

Go

PHP

C#

ジョブトリガーを削除する

Console

プロトコル

Java

Node.js

Python

Go