선택적 Cloud Run 함수 트리거를 사용하여 Pub/Sub로 변경사항 스트리밍

---

이 튜토리얼에서는 주제 설정 및 템플릿 구성 방법을 포함하여 Pub/Sub에 대한 Bigtable 변경 내역 템플릿을 사용하는 방법을 보여줍니다. 원하는 경우 이벤트 스트림에 의해 트리거되는 Cloud Run 함수를 원하는 프로그래밍 언어로 만들 수 있습니다.

이 튜토리얼은 Bigtable, 코드 작성, 이벤트 스트리밍 서비스에 익숙한 기술 사용자를 대상으로 합니다.

목표

이 튜토리얼에서는 다음 작업을 처리하는 방법을 보여줍니다.

• 변경 내역이 사용 설정된 Bigtable 테이블을 만듭니다.
• Bigtable 변경 내역 스키마로 Pub/Sub 주제를 만듭니다.
• 템플릿을 사용하여 Dataflow의 Pub/Sub 파이프라인에 Bigtable 변경 내역을 배포합니다.
• Pub/Sub에서 직접 또는 Cloud Run 함수의 로그에서 이벤트 스트림을 봅니다.

비용

이 문서에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

• Bigtable
• Compute Engine
• Dataflow
• Cloud Run functions
• Pub/Sub
• Cloud Storage

프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

이 문서에 설명된 태스크를 완료했으면 만든 리소스를 삭제하여 청구가 계속되는 것을 방지할 수 있습니다. 자세한 내용은 삭제를 참조하세요.

시작하기 전에

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

   Enable the APIs

8. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

9. cbt CLI를 업데이트하고 설치합니다.

   gcloud components update
   gcloud components install cbt

Pub/Sub 주제 만들기

1. Google Cloud 콘솔에서 Pub/Sub 주제 페이지로 이동합니다.

   주제로 이동

2. 주제 만들기를 클릭합니다.

3. ID를 bigtable-change-stream-topic으로 설정합니다.

4. 스키마 사용을 선택합니다.

5. Pub/Sub 스키마 선택 드롭다운에서 새 스키마 만들기를 클릭합니다. 그러면 스키마를 정의하는 새 탭이 열립니다.

   1. 스키마 ID를 bigtable-change-stream-schema로 설정합니다.
   2. 스키마 유형을 Avro로 설정합니다.
   3. 다음을 스키마 정의로 붙여넣습니다. 스키마에 대한 자세한 내용은 템플릿 문서 페이지를 참조하세요.

     {
         "name" : "ChangelogEntryMessage",
         "type" : "record",
         "namespace" : "com.google.cloud.teleport.bigtable",
         "fields" : [
           { "name" : "rowKey", "type" : "bytes"},
           {
             "name" : "modType",
             "type" : {
               "name": "ModType",
               "type": "enum",
               "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
           },
           { "name": "isGC", "type": "boolean" },
           { "name": "tieBreaker", "type": "int"},
           { "name": "columnFamily", "type": "string"},
           { "name": "commitTimestamp", "type" : "long"},
           { "name" : "sourceInstance", "type" : "string"},
           { "name" : "sourceCluster", "type" : "string"},
           { "name" : "sourceTable", "type" : "string"},
           { "name": "column", "type" : ["null", "bytes"]},
           { "name": "timestamp", "type" : ["null", "long"]},
           { "name": "timestampFrom", "type" : ["null", "long"]},
           { "name": "timestampTo", "type" : ["null", "long"]},
           { "name" : "value", "type" : ["null", "bytes"]}
       ]
     }
   

   1. 만들기를 클릭하여 스키마를 만듭니다.

6. 스키마 만들기 탭을 닫고 스키마 목록을 새로고침한 후 새로 정의된 스키마를 선택합니다.

7. 만들기를 클릭하여 주제를 만듭니다.

선택사항: Cloud Run 함수 만들기

Cloud Run 함수로 Pub/Sub 스트림을 처리할 수 있습니다.

1. bigtable-change-stream-topic 주제의 세부정보 페이지에서 Cloud 함수 트리거를 클릭합니다.
2. 함수 이름 필드에 bt-ps-tutorial-function이라는 이름을 입력합니다.
3. 소스 코드 섹션에서 런타임 드롭다운을 클릭한 후 원하는 런타임과 프로그래밍 언어를 선택합니다. 변경 내역이 들어오면 해당 변경 내역을 스트림을 출력하는 hello world가 생성됩니다. Cloud Run Functions 작성에 대한 자세한 내용은 문서를 참조하세요.
4. 다른 모든 필드에 대해서는 기본값을 사용합니다.
5. 함수 배포를 클릭합니다.

변경 내역이 사용 설정된 테이블 만들기

1. Google Cloud 콘솔에서 Bigtable 인스턴스 페이지로 이동합니다.

   인스턴스로 이동

2. 이 튜토리얼에서 사용 중인 인스턴스의 ID를 클릭합니다.

   사용 가능한 인스턴스가 없는 경우 가까운 리전의 기본 구성으로 인스턴스를 만듭니다.

3. 왼쪽 탐색창에서 테이블을 클릭합니다.

4. 테이블 만들기를 클릭합니다.

5. 테이블 이름을 change-streams-pubsub-tutorial로 지정합니다.

6. cf라는 column family를 추가합니다.

7. 변경 내역 사용 설정을 선택합니다.

8. 만들기를 클릭합니다.

변경 내역을 캡처하도록 데이터 파이프라인 초기화

1. Bigtable 테이블 페이지에서 change-streams-pubsub-tutorial 테이블을 찾습니다.
2. 변경 내역 열에서 연결을 클릭합니다.
3. 대화상자에서 Pub/Sub을 선택합니다.
4. Dataflow 작업 만들기를 클릭합니다.
5. Dataflow 작업 만들기 페이지에서 출력 Pub/Sub 주제 이름을 bigtable-change-stream-topic으로 설정합니다.
6. Bigtable 애플리케이션 프로필 ID를 default로 설정합니다.
7. 작업 실행을 클릭합니다.
8. 작업 상태가 시작 중 또는 실행 중이 될 때까지 기다린 후에 진행합니다. 작업이 큐에 추가되면 5분 정도 걸립니다.

Bigtable에 일부 데이터 쓰기

1. Cloud Shell에서 변경 로그가 일부 데이터를 Pub/Sub 스트림에 쓸 수 있도록 행 몇 개를 Bigtable에 씁니다. 작업이 생성된 후 데이터를 쓰면 변경사항이 표시됩니다. 작업 상태가 running이 될 때까지 기다릴 필요가 없습니다.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user789 cf:col1=ghi
   

Pub/Sub에서 변경 로그 보기

1. Google Cloud 콘솔에서 Pub/Sub 구독 페이지로 이동합니다.

   구독 페이지로 이동

2. 주제 bigtable-change-stream-topic에 대해 자동으로 생성된 구독을 클릭합니다. 이름은 bigtable-change-stream-topic-sub여야 합니다.

3. 메시지 탭으로 이동합니다.

4. 가져오기를 클릭합니다.

5. 메시지 목록을 탐색하고 작성한 데이터를 봅니다.

   

선택사항: Cloud Run Functions 로그에서 변경사항 보기

Cloud Run Functions를 만들었으면 로그에서 변경사항을 볼 수 있습니다.

1. Google Cloud 콘솔에서 Cloud Run Functions로 이동합니다.

   Cloud Run Functions로 이동

2. bt-ps-tutorial-function 함수를 클릭합니다.

3. 로그 탭으로 이동합니다.

4. 로그를 볼 수 있도록 심각도가 최소한 정보 이상으로 설정되어 있는지 확인합니다.

5. 로그를 살펴보고 작성한 데이터를 봅니다.

결과는 다음과 유사합니다.

Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

Bigtable 테이블 삭제

1. Google Cloud 콘솔에서 Bigtable 인스턴스 페이지로 이동합니다.

   인스턴스로 이동

2. 이 튜토리얼에서 사용 중인 인스턴스의 ID를 클릭합니다.

3. 왼쪽 탐색창에서 테이블을 클릭합니다.

4. change-streams-pubsub-tutorial 테이블을 찾습니다.

5. 수정을 클릭합니다.

6. 변경 내역 사용 설정을 선택 해제합니다.

7. 저장을 클릭합니다.

8. 테이블의 더보기 메뉴를 엽니다.

9. 삭제를 클릭하고 테이블 이름을 입력하여 확인합니다.

변경 내역 파이프라인 중지

1. Google Cloud 콘솔에서 Dataflow 작업 페이지로 이동합니다.

   작업으로 이동

2. 작업 목록에서 스트리밍 작업을 선택합니다.

3. 탐색에서 중지를 클릭합니다.

4. 작업 중지 대화상자에서 파이프라인을 취소한 후 작업 중지를 클릭합니다.

Pub/Sub 주제 및 구독 삭제

1. Google Cloud 콘솔에서 Pub/Sub 주제 페이지로 이동합니다.

   주제로 이동

2. bigtable-change-stream-topic 주제를 선택합니다.

3. 삭제를 클릭하여 확인합니다.

4. 사이드바에서 구독을 클릭합니다.

5. bigtable-change-stream-topic-sub 구독 선택합니다.

6. 삭제를 클릭하여 확인합니다.

Cloud Run 함수 삭제

1. Google Cloud 콘솔에서 Cloud Run Functions로 이동합니다.

   Cloud Run Functions로 이동

2. bt-ps-tutorial-function 함수를 선택합니다.

3. 삭제를 클릭하여 확인합니다.

다음 단계

• 변경 내역 문서 읽어보기
• Cloud Run Functions로 이벤트 기반 함수를 작성하는 방법 자세히 알아보기