BigQuery 테이블에 이벤트 게시

BigQuery 테이블에 이벤트 게시

고급

이 빠른 시작에서는 Google Cloud프로젝트에 Eventarc Advanced 버스 및 등록을 만들어 이벤트 메시지를 게시하고 수신하는 방법을 보여줍니다.

• 버스를 사용하면 시스템을 통한 메시지 흐름을 중앙 집중화할 수 있으며 라우터 역할을 합니다. 메시지 소스에서 수신하거나 제공자에서 게시한 이벤트 메시지를 수신하고 등록에 따라 평가합니다.

• 등록은 특정 버스에 대한 구독을 식별하고 메시지의 일치 기준을 정의하여 메시지가 하나 이상의 대상에 적절하게 라우팅되도록 합니다.

이 빠른 시작에서는 다음을 수행합니다.

1. BigQuery 테이블을 만듭니다.

2. Eventarc Advanced 버스를 만듭니다.

3. Eventarc Advanced 등록을 만듭니다.

4. 버스에 이벤트 메시지를 게시합니다.

5. BigQuery 테이블에서 이벤트 데이터를 확인합니다.

gcloud CLI 및 bq 명령줄 도구를 사용하여 이 빠른 시작을 완료할 수 있습니다.

시작하기 전에

조직에서 정의한 보안 제약조건으로 인해 다음 단계를 완료하지 못할 수 있습니다. 문제 해결 정보는 제한된 Google Cloud 환경에서 애플리케이션 개발을 참조하세요.

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Install the Google Cloud CLI.

외부 ID 공급업체(IdP)를 사용하는 경우 먼저 제휴 ID로 gcloud CLI에 로그인해야 합니다.

gcloud CLI를 초기화하려면 다음 명령어를 실행합니다.

gcloud init

Create or select a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Eventarc APIs:

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

Install the Google Cloud CLI.

외부 ID 공급업체(IdP)를 사용하는 경우 먼저 제휴 ID로 gcloud CLI에 로그인해야 합니다.

gcloud CLI를 초기화하려면 다음 명령어를 실행합니다.

gcloud init

Create or select a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Eventarc APIs:

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

1. gcloud 구성요소를 업데이트합니다.

   gcloud components update

2. 계정을 사용하여 로그인합니다.

   gcloud auth login

3. 이 빠른 시작에서 사용되는 구성 변수를 설정합니다.

   REGION=REGION

   REGION을 버스의 지원되는 위치(예: us-central1)로 바꿉니다.

4. 프로젝트 생성자에게는 기본 소유자 역할(roles/owner)이 부여됩니다. 기본적으로 Identity and Access Management(IAM) 역할에는 대부분의 Google Cloud리소스에 대한 전체 액세스에 필요한 권한이 포함되며, 이 단계를 건너뛸 수 있습니다.

   프로젝트 생성자가 아니면 프로젝트에서 적합한 주 구성원에 대해 필수 권한을 부여해야 합니다. 예를 들어 주 구성원은 Google 계정(최종 사용자)이거나 서비스 계정(애플리케이션 및 컴퓨팅 워크로드)일 수 있습니다.

   필수 권한

   빠른 시작을 완료하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

   • BigQuery 데이터 편집자(roles/bigquery.dataEditor)
   • Eventarc 개발자 (roles/eventarc.developer)
   • Eventarc 메시지 버스 관리자 (roles/eventarc.messageBusAdmin)
   • 로그 뷰 접근자 (roles/logging.viewAccessor)
   • 프로젝트 IAM 관리자(roles/resourcemanager.projectIamAdmin)
   • 서비스 계정 관리자(roles/iam.serviceAccountAdmin)
   • 서비스 계정 사용자(roles/iam.serviceAccountUser)
   • 서비스 사용량 관리자(roles/serviceusage.serviceUsageAdmin)

   역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

   커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

5. Eventarc 고급에 BigQuery 테이블 속성을 업데이트하는 데 필요한 권한을 부여하려면 관리자에게 Google Cloud 프로젝트의 BigQuery 데이터 편집자 (roles/bigquery.dataEditor) IAM 역할을 서비스 계정에 부여해 달라고 요청하세요.
   1. 서비스 계정을 만듭니다. 테스트 목적으로 이 서비스 계정을 Eventarc Advanced 파이프라인에 연결하여 파이프라인의 ID를 나타냅니다.

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      SERVICE_ACCOUNT_NAME을 서비스 계정의 이름으로 바꿉니다.
   2. 서비스 계정에 roles/bigquery.dataEditor IAM 역할을 부여합니다.

      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" \
          --role=roles/bigquery.dataEditor

BigQuery 테이블 만들기

BigQuery 테이블을 이벤트 대상으로 만듭니다. Pub/Sub 주제, 워크플로 또는 다른 HTTP 엔드포인트와 같은 다른 이벤트 대상이 지원됩니다. 자세한 내용은 이벤트 제공자 및 대상을 참고하세요.

BigQuery 테이블을 만들기 전에 테이블의 최상위 컨테이너 역할을 하는 데이터 세트와 테이블 스키마를 만듭니다.

1. 새 데이터 세트를 만들려면 --dataset 플래그와 함께 bq mk 명령어를 사용합니다.

   bq --location=$REGION mk --dataset DATASET_ID

   DATASET_ID을 BigQuery 데이터 세트의 고유한 이름(예: my_dataset)으로 바꿉니다.

2. 터미널에서 my-schema.json이라는 새 파일을 만듭니다.

3. 다음 스키마를 복사하여 새 파일에 붙여넣은 후 파일을 저장합니다.

   [
       {
           "name": "name",
           "type": "STRING",
           "mode": "REQUIRED"
       },
       {
           "name": "age",
           "type": "INTEGER",
           "mode": "NULLABLE"
       }
   ]

4. 테이블을 만들려면 --table 플래그와 함께 bq mk 명령어를 사용합니다.

   bq mk --table PROJECT_ID:DATASET_ID.TABLE_ID my-schema.json

   TABLE_ID를 BigQuery 테이블의 고유한 이름(예: my-table)으로 바꿉니다.

Eventarc Advanced 버스 만들기

버스는 메시지 소스에서 수신하거나 제공자에서 게시한 이벤트 메시지를 수신하며 메시지 라우터 역할을 합니다.

자세한 내용은 메시지 라우팅을 위한 버스 만들기를 참조하세요.

참고: 지원되는 리전별로 Google Cloud 프로젝트당 버스를 하나만 만들 수 있습니다.

gcloud eventarc message-buses create 명령어를 사용하여 프로젝트에서 Eventarc Advanced 버스를 만듭니다.

gcloud eventarc message-buses create BUS_NAME \
    --location=$REGION

BUS_NAME을 버스의 ID 또는 정규화된 이름으로 바꿉니다(예: my-bus).

Eventarc Advanced 등록 만들기

등록은 대상에 라우팅되는 메시지를 결정하며, 이벤트 메시지의 대상을 구성하는 데 사용되는 파이프라인도 지정합니다. 이 경우 대상은 BigQuery API 엔드포인트입니다.

자세한 내용은 이벤트를 수신하도록 등록 만들기를 참조하세요.

참고: 파이프라인을 만드는 데 10분 이상 걸릴 수 있습니다.

gcloud CLI를 사용할 때는 먼저 파이프라인을 만든 다음 등록을 만듭니다.

1. gcloud eventarc pipelines create 명령어를 사용하여 파이프라인을 만듭니다.

   gcloud eventarc pipelines create PIPELINE_NAME \
       --destinations=http_endpoint_uri='https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID/insertAll',http_endpoint_message_binding_template='{"headers": headers.merge({"content-type":"application/json"}), "body": {"rows":[{"json":message.data}]}}',oauth_token_authentication_service_account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \
       --input-payload-format-json= \
       --location=$REGION

   PIPELINE_NAME을 파이프라인의 ID 또는 정규화된 이름으로 바꿉니다(예: my-pipeline).

   다음에 유의하세요.

   • http_endpoint_message_binding_template 키는 이벤트를 API에서 예상하는 형식으로 변환합니다. 메시지 바인딩을 정의할 때 페이로드에 액세스하도록 입력 형식을 구성해야 합니다.
   • oauth_token_authentication_service_account 키는 서비스 계정 이메일을 지정합니다. 이 이메일은 *.googleapis.com에 호스팅된 Google API를 호출할 때만 일반적으로 사용해야 하는 OAuth 토큰을 생성하는 데 사용됩니다.
   • input-payload-format-json 플래그는 파이프라인의 입력 페이로드 형식이 JSON임을 지정합니다. 이 형식과 일치하지 않는 메시지는 영구 오류로 처리됩니다.

2. gcloud eventarc enrollments create 명령어를 사용하여 등록을 만듭니다.

   gcloud eventarc enrollments create ENROLLMENT_NAME \
       --cel-match=MATCH_EXPRESSION \
       --destination-pipeline=PIPELINE_NAME \
       --message-bus=BUS_NAME \
       --message-bus-project=PROJECT_ID \
       --location=$REGION

   다음을 바꿉니다.

   • ENROLLMENT_NAME: 등록의 ID 또는 정규화된 이름입니다(예: my-enrollment).

   • MATCH_EXPRESSION: CEL을 사용하는 이 등록의 일치 표현식입니다(예:

     "message.type == 'hello-world-type'"
     

버스에 이벤트 메시지 게시

메시지를 버스에 직접 게시하려면 gcloud eventarc message-buses publish 명령어를 사용하거나 Eventarc Publishing REST API에 요청을 전송하면 됩니다. 자세한 내용은 이벤트 직접 게시를 참조하세요.

메시지는 이벤트 데이터를 일반적인 방식으로 설명하기 위한 사양인 CloudEvents 형식이어야 합니다. data 요소는 이벤트의 페이로드이며 궁극적으로 BigQuery 테이블의 스키마와 일치해야 합니다. 이 필드에는 형식이 올바른 JSON이 모두 들어갈 수 있습니다. CloudEvents 컨텍스트 속성에 관한 자세한 내용은 이벤트 형식을 참조하세요.

다음은 Eventarc Advanced 버스에 이벤트를 직접 게시하는 예시입니다.

예 1

gcloud CLI와 --event-data 및 기타 이벤트 속성 플래그를 사용하여 버스에 이벤트를 게시할 수 있습니다.

gcloud eventarc message-buses publish BUS_NAME \
    --event-data='{"name": "my-name", "age": "20"}' \
    --event-id=hello-world-id-1234 \
    --event-source=hello-world-source \
    --event-type=hello-world-type \
    --event-attributes="datacontenttype=application/json" \
    --location=$REGION

예 2

gcloud CLI와 --json-message 플래그를 사용하여 버스에 JSON 메시지로 이벤트를 게시할 수 있습니다.

gcloud eventarc message-buses publish BUS_NAME \
    --location=$REGION \
    --json-message='{"id": "hello-world-id-1234", "type":
 "hello-world-type", "source":
 "hello-world-source", "specversion": "1.0", "data":
 {"name": "my-name", "age": "20"}}'

이벤트를 게시하면 '이벤트 게시 완료' 메시지가 표시됩니다.

BigQuery 테이블에서 이벤트 데이터 보기

Eventarc Advanced 버스에 이벤트를 게시한 후 bq query 명령어를 사용하여 BigQuery 테이블에 새 행이 추가되었는지 확인할 수 있습니다.

bq query \
    --use_legacy_sql=false \
    'SELECT
      *
    FROM
      `PROJECT_ID.DATASET_ID.TABLE_ID`
    LIMIT
      10;'

Eventarc Advanced 버스 및 등록을 만들고, 버스에 이벤트 메시지를 게시하고, BigQuery 테이블을 쿼리하여 예상 결과를 확인했습니다.

삭제

이 빠른 시작에 설명된 태스크를 완료했으면 만든 리소스를 삭제하여 청구가 계속되는 것을 방지할 수 있습니다.

1. BigQuery 테이블 삭제

2. BigQuery 데이터 세트 삭제

3. Eventarc Advanced 리소스를 삭제합니다.

   1. 등록을 삭제합니다.

   2. 파이프라인을 삭제합니다.

   3. 버스를 삭제합니다.

또는 Google Cloud 프로젝트를 삭제하여 비용 청구를 방지할 수 있습니다. Google Cloud 프로젝트를 삭제하면 해당 프로젝트 내에서 사용되는 모든 리소스에 대한 청구가 중단됩니다.

주의: 프로젝트 삭제가 미치는 영향은 다음과 같습니다.

• 프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼, 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

다음 단계

• Google 소스에서 이벤트 게시
• 이벤트 직접 게시
• 수신된 이벤트 변환
• 수신된 이벤트 형식 지정