MongoDB Atlas와 Google Cloud 간의 데이터 변환 프로세스 배포

Last reviewed 2023-12-13 UTC

이 문서에서는 MongoDB Atlas와 Google Cloud 간의 데이터 변환을 배포하는 방법을 설명합니다. 이 문서에서는 MongoDB Atlas에서 BigQuery로 데이터 간에 추출, 변환, 로드(ETL) 프로세스를 배포합니다.

이 안내는 BigQuery를 사용하여 MongoDB Atlas에 저장된 운영 데이터에 대한 복잡한 분석을 수행하려는 데이터 관리자를 대상으로 합니다. MongoDB Atlas, BigQuery, Dataflow에 익숙해야 합니다.

아키텍처

다음 다이어그램은 이 솔루션을 배포할 때 사용하는 참조 아키텍처를 보여줍니다.

다이어그램에 표시된 것처럼 통합 프로세스를 처리하는 세 가지 Dataflow 템플릿이 있습니다. 첫 번째 템플릿인 MongoDB to BigQuery는 MongoDB에서 문서를 읽고 BigQuery에 쓰는 일괄 파이프라인입니다. 두 번째 템플릿인 BigQuery to MongoDB는 BigQuery에서 분석된 데이터를 읽고 MongoDB에 쓰는 데 사용할 수 있는 일괄 템플릿입니다. 세 번째 템플릿인 MongoDB to BigQuery(CDC)는 운영 데이터의 변경사항을 처리하기 위해 MongoDB 변경 내역과 함께 작동하는 스트리밍 파이프라인입니다. 자세한 내용은 MongoDB Atlas와 Google Cloud 간의 데이터 변환을 참조하세요.

목표

다음 배포 단계에서는 MongoDB to BigQuery 템플릿을 사용하여 MongoDB Atlas에서 BigQuery로 데이터 간의 ETL 프로세스를 수행하는 방법을 보여줍니다. 이 ETL 프로세스를 배포하려면 다음 작업을 수행하세요.

• Google Cloud에서 MongoDB Atlas 클러스터를 프로비저닝합니다.
• MongoDB 클러스터에 데이터를 로드합니다.
• 클러스터 액세스를 구성합니다.
• Google Cloud에서 BigQuery 테이블을 설정합니다.
• MongoDB 데이터를 BigQuery로 전송하는 Dataflow 작업을 만들고 모니터링합니다.
• BigQuery에서 출력 테이블을 검사합니다.

비용

이 문서에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

• BigQuery
• Dataflow

프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

이 문서에 설명된 태스크를 완료했으면 만든 리소스를 삭제하여 청구가 계속되는 것을 방지할 수 있습니다. 자세한 내용은 삭제를 참조하세요.

시작하기 전에

다음 단계에 따라 MongoDB to BigQuery 아키텍처에 대한 환경을 설정합니다.

1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

2. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

   참고: 이 절차에서 생성한 리소스를 유지하지 않으려면 기존 프로젝트를 선택하지 말고 프로젝트를 새로 만드세요. 작업이 끝나면 프로젝트를 삭제하여 프로젝트와 관련된 모든 리소스를 삭제할 수 있습니다.

   프로젝트 선택기로 이동

3. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

4. API BigQuery and Dataflow 사용 설정

   API 사용 설정

5. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

   참고: 이 절차에서 생성한 리소스를 유지하지 않으려면 기존 프로젝트를 선택하지 말고 프로젝트를 새로 만드세요. 작업이 끝나면 프로젝트를 삭제하여 프로젝트와 관련된 모든 리소스를 삭제할 수 있습니다.

   프로젝트 선택기로 이동

6. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

7. API BigQuery and Dataflow 사용 설정

   API 사용 설정

MongoDB Atlas 설치

이 섹션에서는 Cloud Marketplace를 사용하여 MongoDB Atlas 인스턴스를 설치합니다. 이 안내에서는 기존 MongoDB 계정이 없다고 가정합니다. 구독 설정 및 Google 결제 계정을 MongoDB 계정에 연결하는 방법에 대한 자세한 내용은 MongoDB 문서의 Google Cloud 셀프서비스 Marketplace를 참조하세요.

1. Google Cloud 콘솔에서 탐색 메뉴를 펼친 후 Marketplace를 선택합니다.
2. Marketplace 검색창에 MongoDB Atlas를 입력합니다.
3. 검색 결과에서 MongoDB Atlas(사용한 만큼만 지불)를 선택합니다.
4. MongoDB Atlas(사용한 만큼만 지불) 페이지에서 이용약관에 대한 개요를 검토한 다음 MongoDB로 가입을 클릭합니다.
5. MongoDB 구독 페이지에서 결제 계정을 선택하고 약관에 동의한 후 구독을 클릭합니다.
6. MongoDB에 등록 버튼을 클릭하고 MongoDB 계정을 만듭니다.
7. 조직을 선택하라는 메시지가 표시되면 페이지에서 Google Cloud 결제 계정을 연결할 MongoDB 조직을 선택합니다.
8. Google Cloud에서 조직 동기화를 마칠 때까지 기다립니다.

계정이 동기화되면 Google Cloud 콘솔의 MongoDB Atlas(사용한 만큼만 지불) 페이지가 업데이트되어 제공업체에서 관리 버튼이 표시됩니다.

MongoDB Atlas 클러스터 만들기

이 섹션에서는 MongoDB 클러스터를 만듭니다. 만드는 과정에서 다음 정보를 선택합니다.

• 클러스터 유형입니다. 인프라 요구사항에 따라 클러스터 등급을 선택합니다.
• 클러스터에 선호되는 리전입니다. 실제 위치와 가장 가까운 리전을 선택하는 것이 좋습니다.

무료 MongoDB 클러스터를 만들고 배포하는 방법에 대한 자세한 내용은 MongoDB 문서의 무료 클러스터 배포를 참조하세요.

클러스터를 만들고 설정하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔의 MongoDB Atlas(사용한 만큼만 지불) 페이지에서 공급업체에서 관리를 클릭합니다.

2. MongoDB 로그인 페이지에서 Google을 클릭한 다음 MongoDB Atlas를 설치하는 데 사용한 Google 계정을 클릭합니다.

   MongoDB UI는 신규 사용자의 경우 데이터베이스 배포 페이지가 자동으로 열립니다.

3. Atlas UI의 데이터베이스 배포 페이지에서 만들기를 클릭합니다.

4. 클러스터 만들기 페이지에서 공유를 클릭합니다.

   공유 옵션은 이 참조 아키텍처를 테스트하는 데 사용할 수 있는 무료 클러스터를 제공합니다.

5. 공유 클러스터 만들기 페이지의 클라우드 제공업체 및 리전 섹션에서 다음을 수행합니다.

   1. Google Cloud를 선택합니다.
   2. 지리적으로 가장 가까운 리전과 원하는 특성을 선택합니다.

6. 클러스터 등급 섹션에서 M0 옵션을 선택합니다.

   M0 클러스터는 무료이며 소규모 개념 증명 애플리케이션에 적합합니다.

7. 클러스터 이름에 클러스터 이름을 입력합니다.

8. 클러스터 만들기를 클릭하여 클러스터를 배포합니다.

MongoDB 클러스터 설정

이 섹션에서는 다음 절차를 완료합니다.

• 클러스터에 샘플 데이터 로드
• 클러스터에 대한 액세스 구성
• 클러스터에 연결

MongoDB 클러스터에 샘플 데이터 로드

이제 MongoDB 클러스터를 만들었으므로 해당 클러스터에 데이터를 로드해야 합니다. MongoDB는 다양한 샘플 데이터 세트를 로드합니다. 이러한 데이터 세트를 사용하여 이 배포를 테스트할 수 있습니다. 그러나 프로덕션 배포에 사용할 실제 데이터와 유사한 데이터 세트를 사용해야 할 수도 있습니다.

샘플 데이터를 로드하는 방법에 대한 자세한 내용은 MongoDB 문서의 샘플 데이터 로드를 참조하세요.

샘플 데이터를 로드하려면 다음 단계를 따르세요.

1. Atlas UI의 데이터베이스 배포 페이지에서 방금 배포한 클러스터를 찾습니다.

2. 줄임표(...) 버튼을 클릭한 다음 샘플 데이터 세트 로드를 클릭합니다.

   샘플 데이터를 로드하는 데 약 5분 정도 걸립니다.

3. 샘플 데이터 세트를 검토하고 이 배포를 테스트할 때 사용할 컬렉션을 기록해 둡니다.

클러스터 액세스 구성

클러스터를 연결하려면 데이터베이스 사용자를 만들고 클러스터의 IP 주소를 설정해야 합니다.

• 데이터베이스 사용자는 MongoDB 사용자와 별개입니다. Google Cloud에서 MongoDB에 연결하려면 데이터베이스 사용자가 필요합니다.
• 이 참조 아키텍처의 경우 IP 주소로 0.0.0.0/0의 CIDR 블록을 사용합니다. 이 CIDR 블록은 어디서나 액세스를 허용하며 이와 같은 개념 증명 배포에만 적합합니다. 하지만 이 아키텍처의 프로덕션 버전을 배포할 때는 애플리케이션에 적합한 IP 주소 범위를 입력해야 합니다.

클러스터의 데이터베이스 사용자 및 IP 주소를 설정하는 방법에 대한 자세한 내용은 MongoDB 문서의 빠른 시작 마법사로 클러스터 액세스 구성을 참조하세요.

클러스터 액세스를 구성하려면 다음 단계를 따르세요.

1. 왼쪽 탐색창의 보안 섹션에서 빠른 시작을 클릭합니다.
2. 사용자 이름 및 비밀번호 페이지에서 다음을 수행하여 데이터베이스 사용자를 만듭니다.
   1. 사용자 이름에 데이터베이스 사용자의 이름을 입력합니다.
   2. 비밀번호에 데이터베이스 사용자의 비밀번호를 입력합니다.
   3. Create User(사용자 만들기)를 클릭합니다.

3. 사용자 이름 및 비밀번호 페이지에서 다음을 수행하여 클러스터의 IP 주소를 추가합니다.

   1. IP 주소에 0.0.0.0/0을 입력합니다.

      프로덕션 환경에서 해당 환경에 적합한 IP 주소를 선택합니다.

   2. (선택사항) 설명에 클러스터 설명을 입력합니다.

   3. 항목 추가를 클릭합니다.

4. 마침 및 닫기를 클릭합니다.

클러스터에 연결

클러스터 액세스가 구성되었으므로 이제 클러스터에 연결해야 합니다. 클러스터에 연결하는 방법은 MongoDB 문서의 클러스터에 연결을 참조하세요.

클러스터에 연결하려면 다음 단계를 따르세요.

1. Atlas UI의 데이터베이스 배포 페이지에서 방금 배포한 클러스터를 찾습니다.
2. 연결을 선택합니다.
3. 연결 페이지에서 나침반 옵션을 클릭합니다.

4. 연결 문자열 복사 필드를 찾은 후 MongoDB 연결 문자열을 복사하여 저장합니다. 이 연결 문자열은 Dataflow 템플릿을 실행하는 동안 사용합니다.

   연결 문자열의 구문은 다음과 같습니다.

   mongodb+srv://<UserName>:<Password>@<HostName>
   

   연결 문자열에는 이전 단계에서 만든 데이터베이스 사용자의 사용자 이름이 자동으로 포함됩니다. 하지만 이 문자열을 사용하여 연결할 때는 데이터베이스 사용자의 비밀번호를 입력하라는 메시지가 표시됩니다.

5. 닫기를 클릭합니다.

BigQuery에서 데이터 세트 만들기

BigQuery에서 데이터 세트를 만들 때 데이터 세트 이름을 입력하고 데이터 세트의 지리적 위치만 선택하면 됩니다. 그러나 데이터 세트에 설정할 수 있는 선택적 필드도 있습니다. 이러한 선택적 필드에 대한 자세한 내용은 데이터 세트 만들기를 참조하세요.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 패널에서 데이터 세트를 만들 프로젝트를 선택합니다.

3. 옵션을 펼치고 데이터 세트 만들기를 클릭합니다.

4. 데이터 세트 만들기 페이지에서 다음을 수행합니다.

   1. 데이터 세트 ID에 고유한 데이터 세트 이름을 입력합니다.

   2. 위치 유형에서 데이터 세트의 지리적 위치를 선택합니다. 데이터 세트가 생성된 후에는 위치를 변경할 수 없습니다.

      데이터 세트 위치에 대해 EU 또는 EU 기반 리전을 선택하면 핵심 BigQuery 고객 데이터가 EU에 저장됩니다. 핵심 BigQuery 고객 데이터의 정의는 서비스별 약관을 참조하세요.

   3. 데이터 세트 만들기를 클릭합니다.

Dataflow 일괄 작업 생성, 모니터링, 검증

Dataflow에서 다음 안내를 따라 샘플 데이터를 MongoDB에서 BigQuery로 로드하는 일회성 일괄 작업을 만듭니다. 일괄 작업을 만든 후 Dataflow 모니터링 인터페이스에서 작업 진행 상황을 모니터링합니다. 모니터링 인터페이스 사용에 대한 자세한 내용은 Dataflow 모니터링 인터페이스 사용을 참조하세요.

1. Google Cloud 콘솔에서 Dataflow 페이지로 이동합니다.

   Dataflow로 이동

2. 템플릿에서 작업 만들기를 클릭합니다.

3. 템플릿에서 작업 만들기 페이지에서 다음 단계를 수행합니다.

   1. 작업 이름에 고유한 작업 이름(예: mongodb-to-bigquery-batch)을 입력합니다. 해당 프로젝트에서 현재 이 이름으로 실행 중인 다른 Dataflow 작업이 없는지 확인합니다.
   2. 리전 엔드포인트에 방금 만든 BigQuery 데이터 세트의 위치와 동일한 위치를 선택합니다.
   3. Dataflow 템플릿의 대량 데이터 처리(일괄 작업) 목록에서 MongoDB to BigQuery를 선택합니다.

   4. 필수 매개변수 섹션에 다음 매개변수를 입력합니다.

      1. MongoDB 연결 URI에 Atlas MongoDB 연결 문자열을 입력합니다.
      2. MongoDB의 데이터베이스에 이전에 만든 데이터베이스의 이름을 입력합니다.
      3. Mongo 컬렉션에 이전에 기록해 둔 샘플 컬렉션의 이름을 입력합니다.
      4. BigQuery 대상 테이블에서 찾아보기를 클릭한 후 이전 단계에서 만든 BigQuery 테이블을 선택합니다.

      5. 사용자 옵션에 없음 또는 평면화를 입력합니다.

         없음은 JSON 문자열 형식의 전체 문서를 BigQuery에 로드합니다. 평면화는 문서를 한 레벨로 평면화합니다. UDF를 제공하지 않으면 고정된 스키마가 있는 문서에서만 평면화 옵션이 작동합니다.

      6. 작업을 시작하려면 작업 실행을 클릭합니다.

4. 다음 단계를 따라 일괄 작업의 진행 상태를 확인하고 오류 없이 작업이 완료되었는지 확인할 수 있는 Dataflow 모니터링 인터페이스를 엽니다.

   1. Google Cloud 콘솔의 이 배포 프로젝트에서 탐색 메뉴를 엽니다.
   2. 애널리틱스에서 Dataflow를 클릭합니다.

5. 파이프라인이 성공적으로 실행되면 다음 안내에 따라 테이블 출력을 검증합니다.

   1. BigQuery에서 탐색기 창을 엽니다.

   2. 프로젝트를 펼치고 데이터 세트를 클릭한 다음 테이블을 더블클릭합니다.

      이제 테이블에서 MongoDB 데이터를 볼 수 있습니다.

삭제

MongoDB 및 Google Cloud 계정에 요금이 청구되지 않도록 하려면 MongoDB Atlas 클러스터를 일시중지하거나 종료하고 이 참조 아키텍처용으로 만든 Google Cloud 프로젝트를 삭제해야 합니다.

MongoDB Atlas 클러스터 일시중지 또는 종료

다음 절차에서는 클러스터 일시중지에 대한 기본사항을 제공합니다. 자세한 내용은 MongoDB 문서의 클러스터 일시중지, 재개 또는 종료를 참조하세요.

1. Atlas UI에서 Atlas 프로젝트의 데이터베이스 배포 페이지로 이동합니다.
2. 일시중지하려는 클러스터의 경우 를 클릭합니다.
3. 클러스터 일시중지를 클릭합니다.
4. 클러스터 일시중지를 클릭하고 선택한 내용을 확인합니다.

프로젝트 삭제

주의: 프로젝트를 삭제하면 다음과 같은 효과가 발생합니다.

• 프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼, 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

1. Google Cloud 콘솔에서 리소스 관리 페이지로 이동합니다.

   리소스 관리로 이동

2. 프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
3. 대화상자에서 프로젝트 ID를 입력한 후 종료를 클릭하여 프로젝트를 삭제합니다.

다음 단계

• 템플릿을 맞춤설정하려면 GitHub에서 Google Dataflow 템플릿을 찾습니다.
• Cloud 기술 부스트에서 MongoDB Atlas 및 Google Cloud 솔루션에 대해 자세히 알아보세요.
• 이 참조 아키텍처에서 사용되는 Google Cloud 제품에 대해 자세히 알아보세요.
  • BigQuery
  • Pub/Sub
  • Dataflow
  • Compute Engine
• 그 밖의 참조 아키텍처, 다이어그램, 튜토리얼, 권장사항을 알아보려면 클라우드 아키텍처 센터를 확인하세요.

참여자

저자:

• 사우라브 쿠마르 | ISV 파트너 엔지니어
• 벤카테시 숀하그 | 선임 솔루션 설계자(MongoDB)

기타 참여자:

• 준 리우 | 지원 기술 책임자
• 마리두 라주 마카라주 | 지원 기술 책임자
• 세르게이 릴리첸코 | 솔루션 설계자
• 숀 쿨란다이벨 | 그룹 제품 관리자

비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인하세요.