데이터 분석

BigQuery Migration Service를 사용해 데이터 웨어하우스 마이그레이션을 간소화하고 가속화하는 방법

2022년 11월 15일

Sami Akbay

Product Manager, Google Cloud

Mohit Virendra

Product Manager, Google Cloud

* 본 아티클의 원문은 2022년 10월 5일 Google Cloud 블로그(영문)에 게재되었습니다.

클라우드로 데이터를 마이그레이션하는 것은 버거운 작업일 수 있습니다. 특히 웨어하우스와 기존 환경에서 데이터를 이전하려면 체계적으로 접근해야 합니다. 이러한 마이그레이션에는 보통 수작업이 필요하며 오류가 발생하기 쉽습니다. 복잡할뿐만 아니라 계획, 시스템 설정, 쿼리 변환, 스키마 분석, 데이터 이전, 검증, 성능 최적화와 같은 여러 단계를 거쳐야 합니다. 위험을 완화하기 위해서는 보다 예측 가능한 결과를 제공하는 일관된 도구 집합을 사용하는 구조화된 마이그레이션 방식이 필요합니다.

https://storage.googleapis.com/gweb-cloudblog-publish/images/1_BigQuery_Migration_Service.max-600x600.jpg

일반적인 데이터 웨어하우스 마이그레이션: 오류가 발생하기 쉽고 수고가 많이 들며 시행착오를 거쳐야 합니다.

Google Cloud의 BigQuery Migration Service를 사용하여 마이그레이션을 간소화할 수 있습니다. 이 솔루션은 사용자가 마이그레이션을 안정적으로 계획하고 실행하여 보다 예측 가능한 결과를 얻도록 지원하는 관리형 도구 모음으로, 무료로 제공되며 정확도가 높고 일관된 결과를 얻을 수 있습니다.
PayPal, HSBC, Vodafone, Major League Baseball과 같은 주요 브랜드에서는 BigQuery Migration Service를 사용해 더욱 빠르게 BigQuery 기능을 활용하고, 새로운 사용 사례를 배포하고, 데이터 사일로를 허물며, 데이터의 잠재력을 최대한 이용하고 있습니다. 사용하기 매우 쉽고 개방적이며 맞춤설정도 가능합니다. 덕분에 고객이 직접 마이그레이션할 수 있음은 물론 다양한 전문 마이그레이션 파트너 중에서 파트너를 선택할 수도 있습니다.

https://storage.googleapis.com/gweb-cloudblog-publish/images/2_BigQuery_Migration_Service.max-500x500.jpg

BigQuery Migration Service: 자동으로 평가, SQL 변환, 데이터 전송, 검증을 처리합니다.

BigQuery Migration Service는 대부분의 마이그레이션 여정을 자동화해 줍니다. 이 솔루션은 엔드 투 엔드 마이그레이션 여정을 평가, SQL 변환, 데이터 전송, 검증이라는 4가지 구성요소로 나눕니다. 일반적으로 사용자가 버튼 몇 개만 누르면 각 단계를 진행할 수 있어 마이그레이션 속도를 높일 수 있습니다. 이 블로그에서는 각 단계를 자세히 살펴보고 데이터 웨어하우스 마이그레이션의 위험을 완화하고 비용을 절감하는 방법을 알아봅니다.

1단계: 평가

BigQuery Migration Service는 소스 워크로드 로그와 메타데이터를 프로파일링하여 BigQuery에서 종속 항목, 위험, 최적화된 마이그레이션 상태를 보여주는 자세한 계획을 생성합니다.

https://storage.googleapis.com/gweb-cloudblog-publish/images/3_BigQuery_Migration_Service.max-800x800.jpg

평가 단계에서 BigQuery Migration Service는 직관적인 인터페이스를 사용하여 일련의 단계를 안내하고 풍부한 통계와 실행 가능한 단계가 포함된 Google 데이터 스튜디오 보고서를 자동으로 생성합니다. 현재 Teradata와 Redshift에 대한 평가 기능이 제공되고 있으며 조만간 추가 소스로 서비스를 확장할 예정입니다.

https://storage.googleapis.com/gweb-cloudblog-publish/images/4_BigQuery_Migration_Service.max-1900x1900.jpg

평가 보고서: 시작하기 전에 파악하여 예상 밖의 상황을 방지하세요. 데이터 전송을 시작하기 전에 데이터 객체 및 쿼리 특성을 확인하세요.

2단계: SQL 변환

이 단계가 마이그레이션에서 가장 어려운 부분일 때가 많습니다. BigQuery Migration Service는 대부분의 SQL 언어를 빠르고 의미론적으로 올바르며 사람이 읽을 수 있는 BigQuery로의 변환 서비스를 제공합니다. 처리량이 많은 일괄 모드 및 Google 번역과 유사한 대화형 모드로 Amazon Redshift SQL, Apache HiveQL, Apache Spark SQL, Azure Synapse T-SQL, IBM Netezza SQL/NZPLSQL, MySQL, Oracle SQL/PL/SQL/Exadata, Presto SQL, PostgreSQL, Snowflake SQL, SQL Server T-SQL, Teradata SQL/SPL/BTEQ, Vertica SQL의 SQL 문을 지능적으로 변환할 수 있습니다.

정규 표현식을 파싱하는 대부분의 기존 제품과 달리 BigQuery의 SQL 변환은 진정한 컴파일러 기반으로서 매크로 치환, 사용자 정의 함수, 출력 이름 매핑, 기타 소스 컨텍스트 인식 뉘앙스를 처리할 수 있는 맞춤설정 가능한 고급 기능을 갖추고 있습니다. '다음 작업'을 명확하게 안내하는 처방적인 상세한 출력이 제공됩니다. 데이터 엔지니어와 데이터 분석가들이 업계 최고의 자동화된 SQL 변환 서비스를 활용해 많은 시간을 절약하고 있습니다.

https://storage.googleapis.com/gweb-cloudblog-publish/images/5_BigQuery_Migration_Service.max-1500x1500.jpg

일괄 변환: 포괄적인 목록의 SQL 언어 자동 변환으로 대규모 마이그레이션을 가속화합니다.

https://storage.googleapis.com/gweb-cloudblog-publish/original_images/6_BigQuery_Migration_Service.gif

대화형 변환: 데이터 엔지니어가 선호하는 대화형 변환 기능은 리팩터링 작업을 간소화하고 오류를 크게 줄여주며 학습에 큰 도움을 줍니다.

3단계: 데이터 전송

BigQuery는 안내를 제공하는 간단한 마법사를 사용해 소스 시스템에서 BigQuery로의 데이터 전송 서비스를 제공합니다. 사용자가 전송 구성을 만들고 드롭다운 목록에서 데이터 소스를 선택할 수 있습니다.

대상 설정이 사용자를 연결 옵션부터 데이터 소스까지 안내하며 소스 및 대상 시스템으로 안전하게 연결합니다.

BigQuery 데이터 전송의 주요 기능으로는 작업 예약 기능이 있습니다. 대규모 데이터 전송은 운영체제에 부담을 더하고 데이터 소스에 영향을 미칠 수 있습니다. BigQuery Migration Service는 사용자가 지정한 시간에 전송 작업이 실행되도록 예약할 수 있는 유연성을 제공하여 프로덕션 환경에 미칠 수 있는 부정적인 영향을 방지합니다.

https://storage.googleapis.com/gweb-cloudblog-publish/images/7_BigQuery_Migration_Service.max-800x800.jpg

데이터 전송 마법사: 단계별 마법사의 안내에 따라 사용자가 소스 시스템에서 BigQuery로 데이터를 이전할 수 있습니다.

4단계: 검증

이 단계에서는 마이그레이션이 완료된 후 기존 소스와 BigQuery의 데이터가 일관적인지 확인합니다. 검증을 통해 고도로 구성 가능하고 조정 가능한 규칙으로 소스 시스템과 BigQuery 간에 행별, 열별 또는 테이블별로 상세한 좌우 비교를 수행할 수 있습니다. 라벨 지정, 집계, 그룹화, 필터링으로 심층적인 검증이 가능합니다.