이 템플릿은 지원 중단되었으며 2023년 3분기에 삭제됩니다. Firestore 일괄 삭제 템플릿으로 마이그레이션하세요.
Datastore 일괄 삭제 템플릿은 지정된 GQL 쿼리로 Datastore 에서 항목을 읽고 선택한 대상 프로젝트에서 일치하는 모든 항목을 삭제하는 파이프라인입니다. 이 파이프라인은 JSON 인코딩된 Datastore 항목을 자바스크립트 UDF(null 값을 반환하여 항목 필터링)로 선택적으로 전달할 수 있습니다.
파이프라인 요구사항
- 템플릿을 실행하기 전에 프로젝트에서 Datastore를 설정해야 합니다.
- 별도의 Datastore 인스턴스에서 읽고 삭제하는 경우 Dataflow 작업자 서비스 계정에 한 인스턴스에서 읽고 다른 인스턴스에서 삭제할 수 있는 권한이 있어야 합니다.
템플릿 매개변수
매개변수 | 설명 |
---|---|
datastoreReadGqlQuery |
삭제 대상과 일치하는 항목을 지정하는 GQL 쿼리입니다. 키 전용 쿼리를 사용하면 성능이 향상될 수 있습니다. 예를 들면 다음과 같습니다. 'SELECT __key__ FROM MyKind' |
datastoreReadProjectId |
일치하는 데 사용되는 항목(GQL 쿼리 사용)을 읽으려는 Datastore 인스턴스의 프로젝트 ID입니다. |
datastoreDeleteProjectId |
일치하는 항목을 삭제할 Datastore 인스턴스의 프로젝트 ID입니다. Datastore 인스턴스 내에서 읽고 삭제하려는 경우, datastoreReadProjectId 와 같을 수 있습니다. |
datastoreReadNamespace |
(선택사항) 요청한 항목의 네임스페이스입니다. 기본 네임스페이스는 ""로 설정되어 있습니다. |
datastoreHintNumWorkers |
(선택사항) Datastore 증가 제한 단계의 예상 작업자 수에 대한 힌트입니다. 기본값은 500 입니다. |
javascriptTextTransformGcsPath |
(선택사항)
사용할 자바스크립트 사용자 정의 함수(UDF)를 정의하는 .js 파일의 Cloud Storage URI입니다. 예를 들면 gs://my-bucket/my-udfs/my_file.js 입니다.
|
javascriptTextTransformFunctionName |
(선택사항)
사용할 자바스크립트 사용자 정의 함수(UDF)의 이름입니다.
예를 들어 자바스크립트 함수가 myTransform(inJson) { /*...do stuff...*/ } 이면 함수 이름은 myTransform 입니다. 샘플 JavaScript UDF는 UDF 예시를 참조하세요.
이 함수가 지정된 Datastore 항목에 대해 undefined 또는 null 값을 반환하는 경우 해당 항목은 삭제되지 않습니다. |
템플릿 실행
콘솔
- Dataflow 템플릿에서 작업 만들기 페이지로 이동합니다. 템플릿에서 작업 만들기로 이동
- 작업 이름 필드에 고유한 작업 이름을 입력합니다.
- (선택사항): 리전 엔드포인트의 드롭다운 메뉴에서 값을 선택합니다. 기본 리전은
us-central1
입니다.Dataflow 작업을 실행할 수 있는 리전 목록은 Dataflow 위치를 참조하세요.
- Dataflow 템플릿 드롭다운 메뉴에서 the Bulk Delete Entities in Datastore template을 선택합니다.
- 제공된 매개변수 필드에 매개변수 값을 입력합니다.
- 작업 실행을 클릭합니다.
gcloud
셸 또는 터미널에서 템플릿을 실행합니다.
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Datastore_to_Datastore_Delete \ --region REGION_NAME \ --parameters \ datastoreReadGqlQuery="GQL_QUERY",\ datastoreReadProjectId=DATASTORE_READ_AND_DELETE_PROJECT_ID,\ datastoreDeleteProjectId=DATASTORE_READ_AND_DELETE_PROJECT_ID
다음을 바꿉니다.
JOB_NAME
: 선택한 고유한 작업 이름입니다.REGION_NAME
: Dataflow 작업을 배포할 리전입니다(예:us-central1
).VERSION
: 사용할 템플릿 버전입니다.다음 값을 사용할 수 있습니다.
latest
: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates-REGION_NAME/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2023-09-12-00_RC00
): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates-REGION_NAME/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
GQL_QUERY
: 삭제 대상을 항목을 대조하는 데 사용할 쿼리입니다.DATASTORE_READ_AND_DELETE_PROJECT_ID
: Datastore 인스턴스 프로젝트 ID입니다. 이 예시에서는 동일한 Datastore 인스턴스에서 읽고 삭제합니다.
API
REST API를 사용하여 템플릿을 실행하려면 HTTP POST 요청을 전송합니다. API 및 승인 범위에 대한 자세한 내용은 projects.templates.launch
를 참조하세요.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Datastore_to_Datastore_Delete { "jobName": "JOB_NAME", "parameters": { "datastoreReadGqlQuery": "GQL_QUERY", "datastoreReadProjectId": "DATASTORE_READ_AND_DELETE_PROJECT_ID", "datastoreDeleteProjectId": "DATASTORE_READ_AND_DELETE_PROJECT_ID" }, "environment": { "zone": "us-central1-f" } } }
다음을 바꿉니다.
PROJECT_ID
: Dataflow 작업을 실행하려는 Google Cloud 프로젝트 ID입니다.JOB_NAME
: 선택한 고유한 작업 이름입니다.LOCATION
: Dataflow 작업을 배포할 리전입니다(예:us-central1
).VERSION
: 사용할 템플릿 버전입니다.다음 값을 사용할 수 있습니다.
latest
: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates-REGION_NAME/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2023-09-12-00_RC00
): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates-REGION_NAME/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
GQL_QUERY
: 삭제 대상을 항목을 대조하는 데 사용할 쿼리입니다.DATASTORE_READ_AND_DELETE_PROJECT_ID
: Datastore 인스턴스 프로젝트 ID입니다. 이 예시에서는 동일한 Datastore 인스턴스에서 읽고 삭제합니다.
다음 단계
- Dataflow 템플릿 알아보기
- Google 제공 템플릿 목록 참조