Firestore to Cloud Storage Text 템플릿은 Firestore 항목을 읽고 Cloud Storage에 텍스트 파일로 쓰는 일괄 파이프라인입니다. 각 항목을 JSON 문자열로 처리하기 위한 함수를 입력할 수 있습니다. 이러한 함수를 입력하지 않으면 출력 파일에 있는 모든 줄이 JSON 직렬화된 항목이 됩니다.
파이프라인 요구사항
파이프라인을 실행하기 전에 프로젝트에서 Firestore를 설정해야 합니다.
템플릿 매개변수
| 매개변수 | 설명 |
|---|---|
firestoreReadGqlQuery |
가져올 항목을 지정하는 GQL 쿼리입니다. 예를 들면 SELECT * FROM MyKind입니다. |
firestoreReadProjectId |
데이터를 읽으려는 Firestore 인스턴스의 Google Cloud 프로젝트 ID입니다. |
firestoreReadNamespace |
요청한 항목의 네임스페이스입니다. 기본 네임스페이스를 사용하려면 이 매개변수를 공백으로 둡니다. |
javascriptTextTransformGcsPath |
(선택사항)
사용할 자바스크립트 사용자 정의 함수(UDF)를 정의하는 .js 파일의 Cloud Storage URI입니다. 예를 들면 gs://my-bucket/my-udfs/my_file.js입니다.
|
javascriptTextTransformFunctionName |
(선택사항)
사용할 자바스크립트 사용자 정의 함수(UDF)의 이름입니다.
예를 들어 자바스크립트 함수가 myTransform(inJson) { /*...do stuff...*/ }이면 함수 이름은 myTransform입니다. 샘플 자바스크립트 UDF는 UDF 예시를 참조하세요.
|
textWritePrefix |
데이터가 작성되는 위치를 지정하는 Cloud Storage 경로 프리픽스입니다. 예를 들면 gs://mybucket/somefolder/입니다. |
템플릿 실행
콘솔
- Dataflow 템플릿에서 작업 만들기 페이지로 이동합니다. 템플릿에서 작업 만들기로 이동
- 작업 이름 필드에 고유한 작업 이름을 입력합니다.
- 선택사항: 리전 엔드포인트의 드롭다운 메뉴에서 값을 선택합니다. 기본 리전 엔드포인트는
us-central1입니다.Dataflow 작업을 실행할 수 있는 리전 목록은 Dataflow 위치를 참조하세요.
- Dataflow 템플릿 드롭다운 메뉴에서 the Firestore to Text Files on Cloud Storage template을 선택합니다.
- 제공된 매개변수 필드에 매개변수 값을 입력합니다.
- 작업 실행을 클릭합니다.
gcloud
셸 또는 터미널에서 템플릿을 실행합니다.
gcloud dataflow jobs run JOB_NAME \
--gcs-location gs://dataflow-templates/VERSION/Firestore_to_GCS_Text \
--region REGION_NAME \
--parameters \
firestoreReadGqlQuery="SELECT * FROM FIRESTORE_KIND",\
firestoreReadProjectId=FIRESTORE_PROJECT_ID,\
firestoreReadNamespace=FIRESTORE_NAMESPACE,\
javascriptTextTransformGcsPath=PATH_TO_JAVASCRIPT_UDF_FILE,\
javascriptTextTransformFunctionName=JAVASCRIPT_FUNCTION,\
textWritePrefix=gs://BUCKET_NAME/output/
다음을 바꿉니다.
JOB_NAME: 선택한 고유한 작업 이름REGION_NAME: Dataflow 작업을 배포할 리전 엔드포인트(예:us-central1)VERSION: 사용할 템플릿 버전다음 값을 사용할 수 있습니다.
latest: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2021-09-20-00_RC00): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
BUCKET_NAME: Cloud Storage 버킷 이름FIRESTORE_PROJECT_ID: Firestore 인스턴스가 있는 클라우드 프로젝트 IDFIRESTORE_KIND: Firestore 항목 유형FIRESTORE_NAMESPACE: Firestore 항목의 네임스페이스JAVASCRIPT_FUNCTION: 사용할 자바스크립트 사용자 정의 함수(UDF)의 이름입니다.예를 들어 자바스크립트 함수가
myTransform(inJson) { /*...do stuff...*/ }이면 함수 이름은myTransform입니다. 샘플 자바스크립트 UDF는 UDF 예시를 참조하세요.PATH_TO_JAVASCRIPT_UDF_FILE: 사용할 자바스크립트 사용자 정의 함수(UDF)를 정의하는.js파일의 Cloud Storage URI입니다. 예를 들면gs://my-bucket/my-udfs/my_file.js입니다.
API
REST API를 사용하여 템플릿을 실행하려면 HTTP POST 요청을 전송합니다. API 및 승인 범위에 대한 자세한 내용은 projects.templates.launch를 참조하세요.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates/VERSION/Firestore_to_GCS_Text
{
"jobName": "JOB_NAME",
"parameters": {
"firestoreReadGqlQuery": "SELECT * FROM FIRESTORE_KIND"
"firestoreReadProjectId": "FIRESTORE_PROJECT_ID",
"firestoreReadNamespace": "FIRESTORE_NAMESPACE",
"javascriptTextTransformGcsPath": "PATH_TO_JAVASCRIPT_UDF_FILE",
"javascriptTextTransformFunctionName": "JAVASCRIPT_FUNCTION",
"textWritePrefix": "gs://BUCKET_NAME/output/"
},
"environment": { "zone": "us-central1-f" }
}
다음을 바꿉니다.
PROJECT_ID: Dataflow 작업을 실행할 Cloud 프로젝트 IDJOB_NAME: 선택한 고유한 작업 이름LOCATION: Dataflow 작업을 배포할 리전 엔드포인트(예:us-central1)VERSION: 사용할 템플릿 버전다음 값을 사용할 수 있습니다.
latest: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2021-09-20-00_RC00): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
BUCKET_NAME: Cloud Storage 버킷 이름FIRESTORE_PROJECT_ID: Firestore 인스턴스가 있는 클라우드 프로젝트 IDFIRESTORE_KIND: Firestore 항목 유형FIRESTORE_NAMESPACE: Firestore 항목의 네임스페이스JAVASCRIPT_FUNCTION: 사용할 자바스크립트 사용자 정의 함수(UDF)의 이름입니다.예를 들어 자바스크립트 함수가
myTransform(inJson) { /*...do stuff...*/ }이면 함수 이름은myTransform입니다. 샘플 자바스크립트 UDF는 UDF 예시를 참조하세요.PATH_TO_JAVASCRIPT_UDF_FILE: 사용할 자바스크립트 사용자 정의 함수(UDF)를 정의하는.js파일의 Cloud Storage URI입니다. 예를 들면gs://my-bucket/my-udfs/my_file.js입니다.