Data Masking/Tokenization from Cloud Storage to BigQuery (using Cloud DLP) 模板

Data Masking/Tokenization from Cloud Storage to BigQuery 模板使用敏感数据保护并创建一个执行以下步骤的流处理流水线:

  1. 从 Cloud Storage 存储桶读取 CSV 文件。
  2. 调用 Cloud Data Loss Prevention API(敏感数据保护的一部分)以进行去标识化。
  3. 将去标识化的数据写入指定的 BigQuery 表中。

此模板支持使用 Sensitive Data Protection 检查模板和 Sensitive Data Protection 去标识化模板。因此,该模板支持以下两个任务:

  • 检查潜在的敏感信息并对数据进行去标识化。
  • 对结构化数据进行去标识化处理,其中列指定进行去标识化处理并且无需检查。

此模板支持去标识化模板位置的区域路径。仅支持全局路径。

流水线要求

  • 要令牌化的输入数据必须存在。
  • 敏感数据保护模板(例如,DeidentifyTemplate 和 InspectTemplate)必须已存在。如需了解详情,请参阅敏感数据保护模板
  • BigQuery 数据集必须存在。

模板参数

必需参数

  • inputFilePattern:要从中读取输入数据记录的 CSV 文件。也可以使用通配符。例如 gs://mybucket/my_csv_filename.csv or gs://mybucket/file-*.csv
  • deidentifyTemplateName:要用于 API 请求的敏感数据保护去标识化模板,以 projects/<PROJECT_ID>/deidentifyTemplates/<TEMPLATE_ID> 模式指定。例如 projects/your-project-id/locations/global/deidentifyTemplates/generated_template_id
  • datasetName:发送标记化结果时要使用的 BigQuery 数据集。数据集必须在执行前就已存在。
  • dlpProjectId:拥有 DLP API 资源的 Google Cloud 项目的 ID。此项目可以是拥有敏感数据保护模板的项目,也可以是一个单独的项目。

可选参数

  • inspectTemplateName:要用于 API 请求的敏感数据保护检查模板,以 projects/<PROJECT_ID>/identifyTemplates/<TEMPLATE_ID> 模式指定。例如 projects/your-project-id/locations/global/inspectTemplates/generated_template_id
  • batchSize:用于发送数据以进行检查和去标记化处理的区块或批次大小。对于 CSV 文件,batchSize 的值是一个批次包含的行数。根据记录大小和文件大小确定批次大小。DLP API 的载荷大小上限为每次 API 调用 524 KB。

运行模板

控制台

  1. 转到 Dataflow 基于模板创建作业页面。
  2. 转到“基于模板创建作业”
  3. 作业名称字段中,输入唯一的作业名称。
  4. 可选:对于区域性端点,从下拉菜单中选择一个值。默认区域为 us-central1

    如需查看可以在其中运行 Dataflow 作业的区域列表,请参阅 Dataflow 位置

  5. Dataflow 模板下拉菜单中,选择 the Data Masking/Tokenization from Cloud Storage to BigQuery (using Cloud DLP) template。
  6. 在提供的参数字段中,输入您的参数值。
  7. 点击运行作业

gcloud

在 shell 或终端中,运行模板:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Stream_DLP_GCS_Text_to_BigQuery \
    --region REGION_NAME \
    --staging-location STAGING_LOCATION \
    --parameters \
inputFilePattern=INPUT_DATA,\
datasetName=DATASET_NAME,\
batchSize=BATCH_SIZE_VALUE,\
dlpProjectId=DLP_API_PROJECT_ID,\
deidentifyTemplateName=projects/TEMPLATE_PROJECT_ID/deidentifyTemplates/DEIDENTIFY_TEMPLATE,\
inspectTemplateName=projects/TEMPLATE_PROJECT_ID/identifyTemplates/INSPECT_TEMPLATE_NUMBER

请替换以下内容:

  • DLP_API_PROJECT_ID:您的 DLP API 项目 ID
  • JOB_NAME:您选择的唯一性作业名称
  • REGION_NAME:要在其中部署 Dataflow 作业的区域,例如 us-central1
  • VERSION:您要使用的模板的版本

    您可使用以下值:

  • STAGING_LOCATION:暂存本地文件的位置(例如 gs://your-bucket/staging
  • INPUT_DATA:输入文件路径
  • DEIDENTIFY_TEMPLATE:敏感数据 ProtectionDeidentify 模板编号
  • DATASET_NAME:BigQuery 数据集名称
  • INSPECT_TEMPLATE_NUMBER:敏感数据 ProtectionInspect 模板编号
  • BATCH_SIZE_VALUE:批次大小(对于 CSV 文件,批次大小是每个 API 的行数)

REST

如需使用 REST API 来运行模板,请发送 HTTP POST 请求。如需详细了解 API 及其授权范围,请参阅 projects.templates.launch

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Stream_DLP_GCS_Text_to_BigQuery
{
   "jobName": "JOB_NAME",
   "environment": {
       "ipConfiguration": "WORKER_IP_UNSPECIFIED",
       "additionalExperiments": []
   },
   "parameters": {
      "inputFilePattern":INPUT_DATA,
      "datasetName": "DATASET_NAME",
      "batchSize": "BATCH_SIZE_VALUE",
      "dlpProjectId": "DLP_API_PROJECT_ID",
      "deidentifyTemplateName": "projects/TEMPLATE_PROJECT_ID/deidentifyTemplates/DEIDENTIFY_TEMPLATE",
      "inspectTemplateName": "projects/TEMPLATE_PROJECT_ID/identifyTemplates/INSPECT_TEMPLATE_NUMBER"
   }
}

请替换以下内容:

  • PROJECT_ID:您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • DLP_API_PROJECT_ID:您的 DLP API 项目 ID
  • JOB_NAME:您选择的唯一性作业名称
  • LOCATION:要在其中部署 Dataflow 作业的区域,例如 us-central1
  • VERSION:您要使用的模板的版本

    您可使用以下值:

  • STAGING_LOCATION:暂存本地文件的位置(例如 gs://your-bucket/staging
  • INPUT_DATA:输入文件路径
  • DEIDENTIFY_TEMPLATE:敏感数据 ProtectionDeidentify 模板编号
  • DATASET_NAME:BigQuery 数据集名称
  • INSPECT_TEMPLATE_NUMBER:敏感数据 ProtectionInspect 模板编号
  • BATCH_SIZE_VALUE:批次大小(对于 CSV 文件,批次大小是每个 API 的行数)

后续步骤