Eventarc를 사용하여 Cloud Storage에서 함수 트리거

이 튜토리얼에서는 Cloud Run에 이벤트 기반 함수를 배포하고 Eventarc를 사용하여 Google Cloud CLI를 통해 Cloud Storage 이벤트에 대한 응답으로 함수를 트리거하는 방법을 보여줍니다.

Eventarc 트리거에 필터를 지정하면 이벤트 소스 및 이벤트 대상을 포함하는 이벤트 라우팅을 구성할 수 있습니다. 이 튜토리얼의 예시에서는 Cloud Storage 버킷을 업데이트하면 이벤트가 트리거되고 요청이 HTTP 요청 형식으로 함수에 전송됩니다.

목표

이 튜토리얼에서는 다음 단계를 진행합니다.

  1. 이벤트 소스로 사용할 Cloud Storage 버킷을 만듭니다.
  2. 이벤트 기반 함수를 배포합니다.
  3. Eventarc 트리거를 만듭니다.
  4. Cloud Storage에 파일을 업로드하여 함수를 트리거합니다.

비용

이 문서에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

시작하기 전에

조직에서 정의한 보안 제약조건으로 인해 다음 단계를 완료하지 못할 수 있습니다. 문제 해결 정보는 제한된 Google Cloud 환경에서 애플리케이션 개발을 참조하세요.

  1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
  2. Install the Google Cloud CLI.

  3. To initialize the gcloud CLI, run the following command: 

    gcloud init

  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  6. Install the Google Cloud CLI.

  7. To initialize the gcloud CLI, run the following command: 

    gcloud init

  8. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  9. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  10. Cloud Shell을 사용하지 않으면 Google Cloud CLI 구성요소를 업데이트하고 계정을 사용하여 로그인합니다. 
    gcloud components update
gcloud auth login
  11. API 사용 설정: 
    gcloud services enable artifactregistry.googleapis.com \
    cloudbuild.googleapis.com \
    eventarc.googleapis.com \
    run.googleapis.com \
    storage.googleapis.com
  12. 이 튜토리얼에서 사용할 구성 변수를 설정합니다. 
    export REGION=us-central1
gcloud config set run/region ${REGION}
gcloud config set run/platform managed
gcloud config set eventarc/location ${REGION}

  13. 프로젝트에서 인증되지 않은 호출을 제한하는 도메인 제한 조직 정책이 적용되는 경우 비공개 서비스 테스트의 설명대로 배포된 서비스에 액세스해야 합니다.

필수 역할 설정

  1. 프로젝트 생성자에게는 기본 소유자 역할(roles/owner)이 부여됩니다. 기본적으로 Identity and Access Management(IAM) 역할에는 대부분의 Google Cloud 리소스에 대한 전체 액세스에 필요한 권한이 포함되며, 이 단계를 건너뛸 수 있습니다.

    프로젝트 생성자가 아니면 프로젝트에서 적합한 주 구성원에 대해 필수 권한을 부여해야 합니다. 예를 들어 주 구성원은 Google 계정(최종 사용자)이거나 서비스 계정(애플리케이션 및 컴퓨팅 워크로드)일 수 있습니다. 자세한 내용은 이벤트 대상의 역할 및 권한 페이지를 참조하세요.

    필수 권한

    튜토리얼을 완료하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

    역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

    커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

  2. 테스트 목적으로 Eventarc 트리거에 연결할 때 트리거의 ID를 나타내기 위해 Compute Engine 기본 서비스 계정을 기록해 둡니다. 이 서비스 계정은 Compute Engine을 사용하는 Google Cloud 서비스를 사용 설정하거나 사용한 후에 다음 이메일 형식으로 자동 생성됩니다.

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    PROJECT_NUMBER를 Google Cloud 프로젝트 번호로 바꿉니다. Google Cloud 콘솔의 시작 페이지에서 또는 다음 명령어를 실행하여 프로젝트 번호를 찾을 수 있습니다.

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    프로덕션 환경의 경우 새 서비스 계정을 만들고 필요한 최소한의 권한을 포함하고 최소 권한 원칙을 따르는 하나 이상의 IAM 역할을 부여하는 것이 좋습니다.

  3. 기본적으로 Cloud Run 서비스는 프로젝트 소유자, 프로젝트 편집자, Cloud Run 관리자 및 호출자만 호출할 수 있습니다. 개발자는 서비스별로 액세스를 제어할 수 있지만, 테스트 목적으로 Compute Engine 서비스 계정에 Google Cloud 프로젝트에서 Cloud Run 호출자 역할(run.invoker)을 부여하세요. 이렇게 하면 프로젝트의 모든 Cloud Run 서비스 및 작업에 대한 역할을 부여하게 됩니다. 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/run.invoker

    Cloud Run 호출자 역할을 부여하지 않고 인증된 Cloud Run 서비스에 대한 트리거를 만들어도 트리거가 성공적으로 생성되며 활성화됩니다. 하지만 트리거가 예상한 대로 작동하지 않고 다음과 비슷한 메시지가 로그에 표시됩니다.

    The request was not authenticated. Either allow unauthenticated invocations or set the proper Authorization header.
  4. 프로젝트의 Eventarc 이벤트 수신자 역할(roles/eventarc.eventReceiver)을 Compute Engine 기본 서비스 계정에 부여하세요. 그려면 Eventarc 트리거가 이벤트 제공자로부터 이벤트를 수신할 수 있습니다. 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/eventarc.eventReceiver
  5. Cloud Storage에서 직접 이벤트에 대한 트리거를 만들기 전에 Pub/Sub 게시자 역할(roles/pubsub.publisher)을 Cloud Storage 서비스 에이전트에 부여하세요.

    SERVICE_ACCOUNT="$(gcloud storage service-agent --project=PROJECT_ID)"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:${SERVICE_ACCOUNT}" \
    --role='roles/pubsub.publisher'
  6. 2021년 4월 8일 이전에 Cloud Pub/Sub 서비스 에이전트를 사용 설정하여 인증된 Pub/Sub 푸시 요청을 지원한 경우 서비스 계정 토큰 생성자 역할(roles/iam.serviceAccountTokenCreator)을 서비스 에이전트에 부여합니다. 그렇지 않으면 기본적으로 이 역할이 부여됩니다.
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
    --role=roles/iam.serviceAccountTokenCreator

Cloud Storage 버킷 만들기

이벤트 소스로 사용할 Cloud Storage 버킷을 만듭니다.

gcloud storage buckets create -l us-central1 gs://PROJECT_ID-bucket/

이벤트 기반 함수 작성

이벤트 기반 함수를 작성하려면 다음 단계를 따르세요.

Node.js

  1. helloGCS이라는 새 디렉터리를 만든 후 디렉터리를 다음으로 변경합니다.

       mkdir helloGCS
   cd helloGCS

  2. helloGCS 디렉터리에 package.json 파일을 만들어 Node.js 종속 항목을 지정합니다.

    {
  "name": "nodejs-docs-samples-functions-v2-storage",
  "version": "0.0.1",
  "private": true,
  "license": "Apache-2.0",
  "author": "Google LLC",
  "repository": {
    "type": "git",
    "url": "https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git"
  },
  "engines": {
    "node": ">=16.0.0"
  },
  "scripts": {
    "test": "c8 mocha -p -j 2 test/*.test.js --timeout=60000"
  },
  "dependencies": {
    "@google-cloud/functions-framework": "^3.0.0"
  },
  "devDependencies": {
    "c8": "^10.0.0",
    "mocha": "^10.0.0",
    "sinon": "^18.0.0",
    "supertest": "^7.0.0"
  }
}

  3. 다음 Node.js 샘플을 사용하여 helloGCS 디렉터리에 index.js 파일을 만듭니다.

    const functions = require('@google-cloud/functions-framework');

// Register a CloudEvent callback with the Functions Framework that will
// be triggered by Cloud Storage.
functions.cloudEvent('helloGCS', cloudEvent => {
  console.log(`Event ID: ${cloudEvent.id}`);
  console.log(`Event Type: ${cloudEvent.type}`);

  const file = cloudEvent.data;
  console.log(`Bucket: ${file.bucket}`);
  console.log(`File: ${file.name}`);
  console.log(`Metageneration: ${file.metageneration}`);
  console.log(`Created: ${file.timeCreated}`);
  console.log(`Updated: ${file.updated}`);
});

Python

  1. helloGCS이라는 새 디렉터리를 만든 후 디렉터리를 다음으로 변경합니다.

       mkdir helloGCS
   cd helloGCS

  2. helloGCS 디렉터리에 requirements.txt 파일을 만들어 Python 종속 항목을 지정합니다.

    functions-framework==3.5.0
cloudevents==1.10.1

    그러면 샘플에 필요한 패키지가 추가됩니다.

  3. 다음 Python 샘플을 사용하여 helloGCS 디렉터리에 main.py 파일을 만듭니다.

    from cloudevents.http import CloudEvent

import functions_framework


# Triggered by a change in a storage bucket
@functions_framework.cloud_event
def hello_gcs(cloud_event: CloudEvent) -> tuple:
    """This function is triggered by a change in a storage bucket.

    Args:
        cloud_event: The CloudEvent that triggered this function.
    Returns:
        The event ID, event type, bucket, name, metageneration, and timeCreated.
    """
    data = cloud_event.data

    event_id = cloud_event["id"]
    event_type = cloud_event["type"]

    bucket = data["bucket"]
    name = data["name"]
    metageneration = data["metageneration"]
    timeCreated = data["timeCreated"]
    updated = data["updated"]

    print(f"Event ID: {event_id}")
    print(f"Event type: {event_type}")
    print(f"Bucket: {bucket}")
    print(f"File: {name}")
    print(f"Metageneration: {metageneration}")
    print(f"Created: {timeCreated}")
    print(f"Updated: {updated}")

    return event_id, event_type, bucket, name, metageneration, timeCreated, updated

이벤트 기반 함수 배포

샘플 코드가 있는 디렉터리에서 다음 명령어를 실행하여 helloworld-events라는 함수를 배포합니다.

Node.js 

gcloud beta run deploy helloworld-events \
      --source . \
      --function helloGCS \
      --base-image=us-central1-docker.pkg.dev/serverless-runtimes/google-22/runtimes/nodejs20 \
      --region us-central1 \
      --allow-unauthenticated

Python 

gcloud beta run deploy helloworld-events \
      --source . \
      --function hello_gcs \
      --base-image=us-central1-docker.pkg.dev/serverless-runtimes/google-22/runtimes/python312 \
      --region us-central1 \
      --allow-unauthenticated

배포가 완료되면 Google Cloud CLI에 helloworld-events 서비스가 실행되는 URL이 표시됩니다.

Eventarc 트리거 만들기

Eventarc 트리거는 Cloud Storage 버킷의 이벤트를 helloworld-events Cloud Run 서비스로 전송합니다.

  1. Cloud Storage 이벤트를 필터링하는 트리거를 만듭니다.

    gcloud eventarc triggers create TRIGGER_NAME  \
    --location=${REGION} \
    --destination-run-service=helloworld-events  \
    --destination-run-region=${REGION} \
    --event-filters="type=google.cloud.storage.object.v1.finalized" \
    --event-filters="bucket=PROJECT_ID-bucket" \
    --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

    다음과 같이 바꿉니다.

    • TRIGGER_NAME을 트리거의 이름으로 바꿉니다.
    • PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다.
    • PROJECT_NUMBER를 Google Cloud 프로젝트 번호로 바꿉니다.

    Google Cloud 프로젝트에서 처음으로 Eventarc 트리거를 만들 때는 Eventarc 서비스 에이전트를 프로비저닝하는 데 시간이 지연될 수 있습니다. 이 문제는 일반적으로 트리거를 다시 만들면 해결할 수 있습니다. 자세한 내용은 권한 거부 오류를 참조하세요.

  2. 트리거가 성공적으로 생성되었는지 확인하세요. 트리거가 즉시 생성되더라도 트리거가 완전히 작동하려면 최대 2분까지 걸릴 수 있습니다.

    gcloud eventarc triggers list --location=${REGION}

    출력은 다음과 비슷하게 표시됩니다.

    NAME: helloworld-events
TYPE: google.cloud.storage.object.v1.finalized
DESTINATION: Cloud Run service: helloworld-events
ACTIVE: Yes
LOCATION: us-central1

이벤트 생성 및 확인

Cloud Storage 버킷에 텍스트 파일을 업로드하여 함수로 라우팅되는 이벤트를 생성합니다. Cloud Run 함수가 서비스 로그에 이벤트를 로깅합니다.

  1. 텍스트 파일을 Cloud Storage에 업로드하여 이벤트를 생성합니다.

     echo "Hello World" > random.txt
 gcloud storage cp random.txt gs://PROJECT_ID-bucket/random.txt

    업로드 시 이벤트가 생성되고 Cloud Run 함수에서 이벤트의 메시지를 로깅합니다.

  2. 로그 항목을 보려면 다음 안내를 따르세요.

    1. 로그 항목을 필터링하고 JSON 형식으로 출력을 반환합니다.

      gcloud logging read "resource.labels.service_name=helloworld-events AND textPayload:random.txt" --format=json

    2. 다음과 같은 로그 항목을 찾습니다.

      [
  {
   ....
    "resource": {
      "labels": {
        ....
        "location": "us-central1",
        .....
        "service_name": "helloworld-events"
      },
    },
    "textPayload": "File: random.txt",
     .....
  }
]

      로그가 나타나려면 시간이 약간 걸릴 수 있습니다. 즉시 표시되지 않으면 1분 후에 다시 확인하세요.

로그 항목이 표시되면 텍스트 파일이 Cloud Storage에 업로드될 때 트리거된 이벤트 기반 함수를 배포한 것입니다.

삭제

이 튜토리얼용으로 새 프로젝트를 만든 경우 이 프로젝트를 삭제합니다. 기존 프로젝트를 사용한 경우 이 튜토리얼에 추가된 변경사항은 제외하고 보존하려면 튜토리얼용으로 만든 리소스를 삭제합니다.

프로젝트 삭제

비용이 청구되지 않도록 하는 가장 쉬운 방법은 튜토리얼에서 만든 프로젝트를 삭제하는 것입니다.

프로젝트를 삭제하려면 다음 안내를 따르세요.

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

튜토리얼 리소스 삭제

  1. 이 튜토리얼에서 배포한 Cloud Run 서비스를 삭제합니다.

    gcloud run services delete SERVICE_NAME

    여기서 SERVICE_NAME은 선택한 서비스 이름입니다.

    Google Cloud Console에서 Cloud Run 서비스를 삭제할 수도 있습니다.

  2. 튜토리얼 설정 중에 추가한 gcloud CLI 기본 구성을 삭제합니다.

    예를 들면 다음과 같습니다.

    gcloud config unset run/region

    또는

    gcloud config unset project

  3. 이 튜토리얼에서 만든 다른 Google Cloud 리소스를 삭제합니다.

    • Eventarc 트리거를 삭제합니다. 
      gcloud eventarc triggers delete TRIGGER_NAME
      TRIGGER_NAME을 트리거 이름으로 바꿉니다.

다음 단계