Datastore Bulk Delete 模板[已弃用]

此模板已弃用，将于 2023 年第三季度移除。请迁移到 Firestore Bulk Delete 模板。

Datastore Bulk Delete 模板是一种流水线，它使用给定的 GQL 查询从 Datastore 中读取实体，然后删除所选目标项目中的所有匹配实体。此流水线可选择性地将 JSON 编码的 Datastore 实体传递给您的 JavaScript UDF，使您可以通过返回 null 值来过滤掉实体。

流水线要求

  • 必须先在项目中设置 Datastore，然后才能运行模板。
  • 如果从单独的 Datastore 实例中读取和删除，则 Dataflow 工作器服务账号必须具有从一个实例读取并从另一个实例中删除的权限。
  • 必须在 Datastore 实例上启用数据库写入。

模板参数

参数 说明
datastoreReadGqlQuery GQL 查询，指定要删除的匹配实体。使用仅限于键的查询可以提高性能。例如：“SELECT __key__ FROM MyKind”。
datastoreReadProjectId 您要从中读取用于匹配的实体（使用 GQL 查询）的 Datastore 实例的项目 ID。
datastoreDeleteProjectId 要从中删除匹配的实体的 Datastore 实例的项目 ID。如果您希望在同一个 Datastore 实例中执行读取和删除操作，则此 ID 可以与 datastoreReadProjectId 相同。
datastoreReadNamespace （可选）所请求实体的命名空间。默认名称空间设置为“”。
datastoreHintNumWorkers （可选）Datastore 逐步增加限制步骤中的预期工作器数量的提示。默认值为 500。
javascriptTextTransformGcsPath （可选） .js 文件的 Cloud Storage URI，用于定义您要使用的 JavaScript 用户定义的函数 (UDF)。例如 gs://my-bucket/my-udfs/my_file.js。
javascriptTextTransformFunctionName （可选） 您要使用的 JavaScript 用户定义的函数 (UDF) 的名称。例如，如果您的 JavaScript 函数代码为 myTransform(inJson) { /*...do stuff...*/ }，则函数名称为 myTransform。如需查看 JavaScript UDF 示例，请参阅 UDF 示例。 如果此函数为给定 Datastore 实体返回未定义的值或 null 值，则该实体不会被删除。

运行模板

控制台

  1. 转到 Dataflow 基于模板创建作业页面。
    2. 转到“基于模板创建作业”
  2. 在作业名称字段中，输入唯一的作业名称。
  3. 可选：对于区域性端点，从下拉菜单中选择一个值。默认区域为 us-central1。

    如需查看可以在其中运行 Dataflow 作业的区域列表，请参阅 Dataflow 位置。

  4. 从 Dataflow 模板下拉菜单中，选择 the Bulk Delete Entities in Datastore template。
  5. 在提供的参数字段中，输入您的参数值。
  6. 点击运行作业。

gcloud

在 shell 或终端中，运行模板：

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Datastore_to_Datastore_Delete \
    --region REGION_NAME \
    --parameters \
datastoreReadGqlQuery="GQL_QUERY",\
datastoreReadProjectId=DATASTORE_READ_AND_DELETE_PROJECT_ID,\
datastoreDeleteProjectId=DATASTORE_READ_AND_DELETE_PROJECT_ID

替换以下内容：

  • JOB_NAME：您选择的唯一性作业名称
  • REGION_NAME：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • GQL_QUERY：用于匹配要删除的实体的查询
  • DATASTORE_READ_AND_DELETE_PROJECT_ID：您的 Datastore 实例项目 ID。此示例从同一个 Datastore 实例中读取和删除。

API

如需使用 REST API 来运行模板，请发送 HTTP POST 请求。如需详细了解 API 及其授权范围，请参阅 projects.templates.launch。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Datastore_to_Datastore_Delete
{
   "jobName": "JOB_NAME",
   "parameters": {
       "datastoreReadGqlQuery": "GQL_QUERY",
       "datastoreReadProjectId": "DATASTORE_READ_AND_DELETE_PROJECT_ID",
       "datastoreDeleteProjectId": "DATASTORE_READ_AND_DELETE_PROJECT_ID"
   },
   "environment": { "zone": "us-central1-f" }
   }
}

替换以下内容：

  • PROJECT_ID：您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME：您选择的唯一性作业名称
  • LOCATION：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • GQL_QUERY：用于匹配要删除的实体的查询
  • DATASTORE_READ_AND_DELETE_PROJECT_ID：您的 Datastore 实例项目 ID。此示例从同一个 Datastore 实例中读取和删除。

后续步骤