Java를 사용하여 Dataflow 파이프라인 만들기

이 문서에서는 Google Cloud 프로젝트를 설정하고, Java용 Apache Beam SDK를 사용하여 빌드된 파이프라인 예시를 만들고, Dataflow 서비스에서 파이프라인 예시를 실행하는 방법을 보여줍니다. 이 파이프라인은 Cloud Storage에서 텍스트 파일을 읽고, 파일의 고유 단어 수를 계산한 다음 단어 수를 다시 Cloud Storage에 작성합니다. WordCount 파이프라인 소개는 Apache Beam에서 WordCount를 사용하는 방법 동영상을 참조하세요.

이 튜토리얼에는 Maven이 필요하지만 프로젝트 예시를 Maven에서 Gradle로 변환할 수도 있습니다. 자세한 내용은 선택사항: Maven에서 Gradle로 변환을 참조하세요.

Google Cloud Console에서 이 작업에 대한 단계별 안내를 직접 수행하려면 둘러보기를 클릭합니다.

둘러보기

시작하기 전에

Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

Google Cloud CLI를 설치합니다.

gcloud CLI를 초기화하려면 다음 명령어를 실행합니다.

gcloud init

Google Cloud 프로젝트를 만들거나 선택합니다.

Google Cloud 프로젝트를 만듭니다.
```
gcloud projects create PROJECT_ID
```
PROJECT_ID를 만들려는 Google Cloud 프로젝트의 이름으로 바꿉니다.
만든 Google Cloud 프로젝트를 선택합니다.
```
gcloud config set project PROJECT_ID
```
PROJECT_ID를 Google Cloud 프로젝트 이름으로 바꿉니다.

Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, Cloud Resource Manager API를 사용 설정합니다.

gcloud services enable dataflow compute_component logging storage_component storage_api bigquery pubsub datastore.googleapis.com cloudresourcemanager.googleapis.com

Google 계정의 로컬 인증 사용자 인증 정보를 만듭니다.

gcloud auth application-default login

Google 계정에 역할을 부여합니다. 다음 각 IAM 역할에 대해 다음 명령어를 한 번씩 실행합니다. roles/iam.serviceAccountUser

gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE

PROJECT_ID를 프로젝트 ID로 바꿉니다.
EMAIL_ADDRESS를 이메일 주소로 바꿉니다.
ROLE을 각 개별 역할로 바꿉니다.

Google Cloud CLI를 설치합니다.

gcloud CLI를 초기화하려면 다음 명령어를 실행합니다.

gcloud init

Google Cloud 프로젝트를 만들거나 선택합니다.

Google Cloud 프로젝트를 만듭니다.
```
gcloud projects create PROJECT_ID
```
PROJECT_ID를 만들려는 Google Cloud 프로젝트의 이름으로 바꿉니다.
만든 Google Cloud 프로젝트를 선택합니다.
```
gcloud config set project PROJECT_ID
```
PROJECT_ID를 Google Cloud 프로젝트 이름으로 바꿉니다.

Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, Cloud Resource Manager API를 사용 설정합니다.

gcloud services enable dataflow compute_component logging storage_component storage_api bigquery pubsub datastore.googleapis.com cloudresourcemanager.googleapis.com

Google 계정의 로컬 인증 사용자 인증 정보를 만듭니다.

gcloud auth application-default login

Google 계정에 역할을 부여합니다. 다음 각 IAM 역할에 대해 다음 명령어를 한 번씩 실행합니다. roles/iam.serviceAccountUser

gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE

PROJECT_ID를 프로젝트 ID로 바꿉니다.
EMAIL_ADDRESS를 이메일 주소로 바꿉니다.
ROLE을 각 개별 역할로 바꿉니다.

Compute Engine 기본 서비스 계정에 역할을 부여합니다. 다음 IAM 역할마다 다음 명령어를 1회 실행합니다.
- roles/dataflow.admin
- roles/dataflow.worker
- roles/storage.objectAdmin
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" --role=SERVICE_ACCOUNT_ROLE
```
- PROJECT_ID를 프로젝트 ID로 바꿉니다.
- 여기에서 PROJECT_NUMBER를 프로젝트 번호로 바꿉니다. 프로젝트 번호를 찾으려면 프로젝트 식별을 참조하거나 gcloud projects describe 명령어를 사용합니다.
- SERVICE_ACCOUNT_ROLE을 각 개별 역할로 바꿉니다.

Cloud Storage 버킷을 만들고 다음과 같이 구성합니다.
- 스토리지 클래스를 S(스탠더드)로 설정합니다.
- 스토리지 위치를 US(미국)으로 설정합니다.
- BUCKET_NAME을 고유한 버킷 이름으로 바꿉니다. 버킷 네임스페이스는 전역적이며 공개로 표시되므로 버킷 이름에 민감한 정보를 포함해서는 안 됩니다.
```
gcloud storage buckets create gs://BUCKET_NAME --default-storage-class STANDARD --location US
```

뒤에 나오는 섹션에서 필요하므로 다음을 복사합니다.
- Cloud Storage 버킷 이름
- Google Cloud 프로젝트 ID 이 ID를 찾으려면 프로젝트 식별을 참고하세요.
JDK(Java Development Kit) 버전11을 다운로드하고 설치합니다. Dataflow는 버전 8을 계속 지원합니다. JAVA_HOME 환경 변수가 설정되어 있고 JDK 설치를 가리키는지 확인합니다.
사용 중인 특정 운영체제의 Maven 설치 가이드를 따라 Apache Maven을 다운로드하고 설치합니다.

파이프라인 코드 가져오기

Apache Beam SDK는 데이터 처리 파이프라인용 오픈소스 프로그래밍 모델입니다. Apache Beam 프로그램으로 이러한 파이프라인을 정의하고 Dataflow와 같은 실행기를 선택하여 파이프라인을 실행할 수 있습니다.

셸 또는 터미널에서 Maven Archetype Plugin을 사용하여 컴퓨터에 Apache Beam SDK의 WordCount 예시가 포함된 Maven 프로젝트를 만듭니다.
```
mvn archetype:generate \
    -DarchetypeGroupId=org.apache.beam \
    -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
    -DarchetypeVersion=2.55.1 \
    -DgroupId=org.example \
    -DartifactId=word-count-beam \
    -Dversion="0.1" \
    -Dpackage=org.apache.beam.examples \
    -DinteractiveMode=false
```
이 명령어는 현재 디렉터리 아래에 word-count-beam이라는 새 디렉터리를 만듭니다. word-count-beam 디렉터리에는 간단한 pom.xml 파일과 텍스트 파일의 단어 수를 계산하는 일련의 파이프라인 예시가 포함되어 있습니다.
word-count-beam 디렉터리에 pom.xml 파일이 포함되어 있는지 확인합니다.
Linux 또는 macOS
```
cd word-count-beam/
ls
```
출력은 다음과 같습니다.
```
pom.xml   src
```
Windows
```
cd word-count-beam/
dir
```
출력은 다음과 같습니다.
```
pom.xml   src
```

Maven 프로젝트에 예시 파이프라인이 포함되어 있는지 확인합니다.

Linux 또는 macOS

ls src/main/java/org/apache/beam/examples/

출력은 다음과 같습니다.

DebuggingWordCount.java   WindowedWordCount.java   common
MinimalWordCount.java   WordCount.java

Windows

dir src/main/java/org/apache/beam/examples/

출력은 다음과 같습니다.

DebuggingWordCount.java   WindowedWordCount.java   common
MinimalWordCount.java   WordCount.java

이 예시에 사용된 Apache Beam 개념에 대한 자세한 안내는 Apache Beam WordCount 예시를 참조하세요. 다음 섹션의 안내에서는 WordCount.java를 사용합니다.

로컬에서 파이프라인 실행

셸 또는 터미널의 word-count-beam 디렉터리에서 로컬로 WordCount 파이프라인을 실행합니다.
```
mvn compile exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--output=counts"
```
출력 파일은 프리픽스가 counts이며 word-count-beam 디렉터리에 작성됩니다. 입력 텍스트의 고유 단어와 각 단어의 일치하는 항목 수가 포함됩니다.

Dataflow 서비스에서 파이프라인 실행

셸 또는 터미널에서 word-count-beam 디렉터리의 Dataflow 서비스에서 WordCount 파이프라인을 빌드하고 실행합니다.
```
mvn -Pdataflow-runner compile exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--project=PROJECT_ID \
    --gcpTempLocation=gs://BUCKET_NAME/temp/ \
    --output=gs://BUCKET_NAME/output \
    --runner=DataflowRunner \
    --region=REGION"
```
다음을 바꿉니다.
- PROJECT_ID: Google Cloud 프로젝트 ID입니다.
- BUCKET_NAME: Cloud Storage 버킷 이름
- REGION: Dataflow 리전(예: us-central1)
참고:
- 사용자 관리형 작업자 서비스 계정을 지정하려면 --serviceAccount 파이프라인 옵션을 포함합니다. 프로덕션 워크로드에는 사용자 관리형 작업자 서비스 계정을 사용하는 것이 좋습니다. 작업을 만들 때 작업자 서비스 계정을 지정하지 않으면 Dataflow는 Compute Engine 기본 서비스 계정을 사용합니다.
- network 옵션을 통해 지정되지 않는 한 Dataflow 실행기는 default Virtual Private Cloud 네트워크에서 작업을 실행합니다.

결과 보기

Google Cloud 콘솔에서 Dataflow 작업 페이지로 이동합니다.
작업으로 이동
작업 페이지에는 상태를 포함하여 사용 가능한 모든 작업의 세부정보가 표시됩니다. 처음에는 wordcount 작업의 상태가 실행 중으로 나타나고 성공으로 업데이트됩니다.
Google Cloud 콘솔에서 Cloud Storage 버킷 페이지로 이동합니다.
버킷으로 이동
버킷 페이지에 프로젝트의 모든 스토리지 버킷 목록이 표시됩니다.
생성한 스토리지 버킷을 클릭합니다.

버킷 세부정보 페이지에 Dataflow 작업에서 만든 출력 파일과 스테이징 파일이 표시됩니다.

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 Google Cloud 프로젝트를 삭제하면 됩니다.

프로젝트 삭제

비용이 청구되지 않도록 하는 가장 쉬운 방법은 빠른 시작용으로 만든 Google Cloud 프로젝트를 삭제하는 것입니다.

주의: 프로젝트를 삭제하면 다음과 같은 효과가 발생합니다.

프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼, 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

Google Cloud 콘솔에서 리소스 관리 페이지로 이동합니다.
리소스 관리로 이동
프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
대화상자에서 프로젝트 ID를 입력한 후 종료를 클릭하여 프로젝트를 삭제합니다.

개별 리소스 삭제

이 빠른 시작에서 사용한 Google Cloud 프로젝트를 유지하려면 개별 리소스를 삭제합니다.

Google Cloud 콘솔에서 Cloud Storage 버킷 페이지로 이동합니다.
버킷으로 이동
삭제할 버킷의 체크박스를 클릭합니다.
버킷을 삭제하려면 삭제를 클릭한 후 안내를 따르세요.

Compute Engine 기본 서비스 계정에 부여한 역할을 취소합니다. 다음 IAM 역할마다 다음 명령어를 1회 실행합니다.
- roles/dataflow.admin
- roles/dataflow.worker
- roles/storage.objectAdmin
```
gcloud projects remove-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=SERVICE_ACCOUNT_ROLE
```

선택사항: 만든 사용자 인증 정보를 취소하고 로컬 사용자 인증 정보 파일을 삭제합니다.
```
gcloud auth application-default revoke
```

선택사항: gcloud CLI에서 사용자 인증 정보를 취소합니다.
```
gcloud auth revoke
```

Java를 사용하여 Dataflow 파이프라인 만들기

시작하기 전에

파이프라인 코드 가져오기

Linux 또는 macOS

Windows

Linux 또는 macOS

Windows

로컬에서 파이프라인 실행

Dataflow 서비스에서 파이프라인 실행

결과 보기

삭제

프로젝트 삭제

개별 리소스 삭제

다음 단계