콘텐츠로 이동하기
데이터 분석

경계 없는 Lakehouse를 활용한 Databricks Apache Iceberg 테이블 쿼리

2026년 11월 5일
Pramod Niralakeri

Strategic Cloud Engineer

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.


조직에서는 대규모 Apache Spark 작업을 실행하기 위해 Databricks를 사용하고, 높은 동시성이 요구되는 분석 워크로드를 처리하기 위해 BigQuery를 사용하는 등 여러 데이터 플랫폼을 함께 활용하는 경우가 많습니다. 기존에는 이러한 시스템을 연결하려면 환경 간에 데이터를 복사하는 복잡한 파이프라인을 구축해야 하는 경우가 많았습니다. 이 접근방식은 스토리지 비용을 증가시키고 지연 시간을 발생시키며 보안 제어를 분산시키는 문제가 있습니다.

이제 Google Cloud의 경계 없는 Lakehouse를 사용하면 BigQuery에서 Databricks가 관리하는 Apache Iceberg 테이블을 직접 쿼리할 수 있습니다. 데이터를 복제할 필요가 없는 이 제로 카피 방식에서는 BigQuery가 Databricks에서 쓰는 것과 동일한 파일을 읽습니다. 새로운 변경사항은 Lakehouse의 다음 예약 메타데이터 새로고침 이후 반영되며, 새로고침은 빠르면 5분 간격으로 실행할 수 있습니다.

https://storage.googleapis.com/gweb-cloudblog-publish/images/image1_9nWgq7s.max-1100x1100.jpg

Lakehouse와 Databricks의 연동 방식

Databricks의 관리형 Iceberg 테이블은 기본 Delta 로그와 함께 Iceberg 호환 메타데이터를 자동으로 생성합니다. 데이터 엔지니어링팀은 Databricks를 사용해 Parquet 파일을 Google Cloud Storage(GCS)에 한 번만 저장하면 됩니다. Lakehouse는 이 정보를 BigQuery에 로드하는 대신 Iceberg 메타데이터를 직접 읽고 BigQuery의 벡터화된 엔진을 GCS의 개방형 형식 파일에 직접 적용합니다.

위 예시에서 Google Cloud Storage(GCS)는 기본 스토리지 레이어의 역할을 하지만 Lakehouse는 Amazon S3, Azure Blob Storage와 같은 외부 클라우드 환경까지 이러한 경계 없는 페더레이션을 확장합니다. Lakehouse는 개방형 Apache Iceberg REST 카탈로그와 크로스 클라우드 연결을 결합하여 데이터를 이동하지 않고도 BigQuery에서 여러 클라우드의 데이터를 쿼리할 수 있도록 지원합니다. 각 페더레이션 카탈로그는 사용자가 선택한 Google Cloud 위치에 생성되며, 되도록 데이터와 가장 가까운 리전을 선택하는 것이 좋습니다. 이때 BigQuery는 개방형 형식의 Parquet 파일을 원래 저장된 위치에서 읽을 수 있으므로 복제 파이프라인 없이 멀티 클라우드 분석을 수행할 수 있습니다. 원격 클라우드 이그레스에는 요금이 발생하지만 Cross-Cloud Interconnect(AWS)와 Lakehouse 캐싱을 사용하면 비용을 줄일 수 있습니다.

Lakehouse 프레임워크는 외부 데이터를 쿼리하는 것을 넘어 엔진 간의 실질적인 읽기 및 쓰기(R/W) 상호 운용성을 제공합니다. 개방형 Apache Iceberg를 기반으로 구축되었으므로 데이터팀은 BigQuery 내에서 여러 SQL 문으로 구성된 명령어를 간편하게 실행할 수 있습니다.

중앙 집중식 보안 및 거버넌스

서로 다른 시스템에서 액세스 제어를 관리하면 보안 취약점이 발생할 수 있습니다. Lakehouse는 위임된 액세스 방식을 통해 이러한 문제를 해결합니다. 관리자는 GCS 버킷에 대한 IAM 권한을 관리하는 서비스 계정에 연결된 BigQuery Cloud 리소스 연결을 구성할 수 있습니다. 사용자에게 Lakehouse 테이블 항목에 대한 액세스 권한을 부여하면 Databricks가 데이터 수집을 처리하는 동안에도 외부 Iceberg 테이블에 BigQuery의 행 수준 보안, 열 수준 보안, 동적 데이터 마스킹과 같은 제어 기능을 적용할 수 있습니다.

카탈로그 페더레이션 및 인증 정보 제공

이전에는 이러한 플랫폼을 연결하려면 BigQuery 쿼리가 고정된 메타데이터 경로를 참조하도록 수동으로 구성해야 했습니다. 현대화된 설정에서는 개방형 Apache Iceberg REST Catalog API를 활용합니다. Databricks Unity Catalog가 중앙 메타데이터 레이어 역할을 하며, BigQuery 관리자는 페더레이션 연결을 사용해 Lakehouse 런타임 카탈로그를 설정할 수 있습니다. 쿼리를 실행하면 Lakehouse가 Unity Catalog에 접속해 최신 테이블 상태를 확인합니다. 이후 인증 정보 제공을 통해 수명이 짧은 토큰이 발급되어 BigQuery에 GCS에 대한 임시 읽기 액세스 권한이 부여됩니다.

파티션 프루닝

BigQuery는 각 테이블의 Iceberg 메타데이터를 사용해 쿼리 계획을 수립한 다음 원래 저장된 위치에서 관련 데이터 파일만 읽습니다. Iceberg의 숨겨진 파티셔닝 기능을 사용하면 디렉터리 구조를 몰라도 타임스탬프와 같은 논리적 열을 기준으로 데이터를 필터링할 수 있습니다. 단, Databricks 관리형 Iceberg 테이블은 파티션 변환을 지원하지 않으며 Databricks는 대신 리퀴드 클러스터링을 사용할 것을 권장합니다.

표준 WHERE 절에 필터를 지정하면 BigQuery가 Iceberg 매니페스트를 활용해 조건에 맞지 않는 파티션을 건너뛸 수 있습니다. 프루닝이 적용되도록 하려면 파티션 열을 리터럴 값과 비교해야 합니다. 이러한 매니페스트에는 열 수준의 상세한 통계 범위 정보가 저장되어 있으므로 BigQuery는 관련 없는 매니페스트 레코드와 불필요한 Parquet 파일을 즉시 우회할 수 있습니다. 그 결과 쿼리 시 필요한 바이트 범위만 스캔하므로 실행 속도가 빨라지고 주문형 슬롯 사용량과 스토리지 스캔 비용도 크게 줄어듭니다.

Iceberg 메타데이터와 Lakehouse 캐싱을 활용한 빠른 쿼리 실행

Iceberg 매니페스트에는 읽어야 할 데이터 파일이 이미 명시되어 있으므로 BigQuery는 Iceberg 테이블에 메타데이터 캐시를 사용할 필요가 없습니다. Amazon S3에 저장된 테이블과 같은 크로스 클라우드 테이블의 경우 Lakehouse 캐싱(미리보기)이 가져온 데이터 블록을 Google Cloud에 보관하므로 반복되는 쿼리에서 해당 데이터를 로컬로 읽을 수 있습니다. BigQuery는 각 쿼리의 실행 계획을 수립할 때 Iceberg 매니페스트 파일을 직접 읽기 때문에 별도의 메타데이터 캐싱을 사용 설정할 필요가 없습니다. 이러한 동적 파티션 프루닝은 불필요한 파일을 우회하여 실행 시간과 스캔되는 바이트 수를 크게 줄입니다.

유지보수 및 수명 주기 관리

현대적인 Lakehouse를 운영하려면 지속적인 유지보수가 필요합니다. 정기적으로 관리하지 않으면 성능이 저하되어 비효율적인 데이터 저장소로 전락할 수 있습니다. 다행히 BigQuery와 Databricks는 모두 테이블을 최적의 상태로 유지하고 분석 워크로드의 실행 속도를 높이는 기본 기능을 제공합니다.

테이블 최적화 상태 유지

최적의 쿼리 성능을 유지하려면 Lakehouse 스토리지 사용 공간에 대한 지속적인 관리가 필요합니다.

  1. Databricks API를 통해 정기적인 컴팩션 파이프라인을 트리거하여 작은 Parquet 파일을 더 크고 최적화된 레이아웃으로 병합하고 예측 최적화 기능을 활용합니다.

  2. Databricks VACUUM 명령어를 실행하여 활성 스냅샷에서 미참조 파일을 삭제하고 불필요한 GCS 스토리지 비용을 방지합니다.

컴팩션 및 작은 파일 문제

빈번한 쓰기 작업, 지속적인 데이터 수집 작업, 스트리밍 워크로드에서는 수천 개의 작은 Parquet 파일이 계속 생성됩니다. 이러한 파일 단편화는 스토리지 병목 현상을 일으켜 BigQuery의 데이터 읽기 효율을 떨어뜨릴 수 있습니다. GCS에 수천 개의 네트워크 연결을 설정하고 수많은 작은 파일의 메타데이터 푸터를 처리하는 데 상당한 컴퓨팅 시간이 소요되므로 벡터화된 쿼리 실행의 성능상 이점이 줄어듭니다.

Iceberg에서 정기적으로 컴팩션을 실행하면 이러한 비효율성을 해결할 수 있습니다. Databricks는 액세스 패턴에 따라 파일 배치를 동적으로 조정하는 리퀴드 클러스터링이나 기본 테이블 관리 유틸리티를 통해 이 작업을 자동으로 관리합니다.

Databricks에서 작은 파일을 수동으로 컴팩션하려면 다음과 같이 OPTIMIZE를 실행합니다.

로드 중...

이 명령어를 실행하면 분산된 파일 세그먼트가 일반적으로 256~512MB 규모의 더 크고 체계적인 블록으로 통합되어 BigQuery의 스캔 처리량을 높이는 데 도움이 됩니다. binpack 방식은 전체 파일 크기의 균형을 맞추는 데 중점을 두는 방식으로 빠르게 작동합니다. 반면 다른 정렬 전략을 사용하면 특정 열 키를 기준으로 데이터 세트의 정렬 순서를 구성할 수 있습니다.

분리된 파일 관리 및 스냅샷 보관(VACUUM)

모든 트랜잭션 업데이트, 레코드 수정, 테이블 컴팩션 작업은 Iceberg 내에 새로운 스냅샷을 생성하여 데이터 세트의 무결성을 유지합니다. 시간이 지나면 활성 테이블 상태에서 분리된 이전 Parquet 객체가 분리된 파일이 됩니다. 이러한 이전 파일은 특정 시점의 데이터를 조회하는 타임 트래블 분석에 활용될 수 있지만, 관리하지 않으면 시간이 지날수록 GCS 스토리지 요금이 증가할 수 있습니다.

데이터팀은 Databricks VACUUM 작업을 사용해 더 이상 참조되지 않는 스토리지 파일을 검색하고 삭제할 수 있습니다.

로드 중...

표준 구성에서는 VACUUM 작업을 실행하기 전에 7일의 필수 보관 기간(deletedFileRetentionDuration)을 적용합니다. 이 지연 시간을 유지하면 실행 중인 분석 작업에서 파일 누락 오류가 발생하는 것을 방지하면서 이전 데이터로 복구할 수 있는 옵션도 확보할 수 있습니다. VACUUM 작업을 정기적으로 예약하거나 예측 최적화로 자동 실행하는 경우 미참조 데이터 파일은 물론 Iceberg 읽기를 사용하는 테이블의 오래된 메타데이터까지 제거할 수 있습니다. 이를 통해 Lakehouse 전반의 스토리지 비용을 낮추고 높은 성능을 유지할 수 있습니다.

결론

Databricks Apache Iceberg 데이터 세트를 Lakehouse에 연결하면 BigQuery를 통해 데이터의 활용도를 높일 수 있습니다. 데이터 처리와 하위 스토리지를 분리하고 개방형 형식과 인증 정보 제공을 지원하는 표준 REST API를 활용하면 데이터를 마이그레이션하거나 성능을 떨어뜨리지 않고도 확장 가능한 데이터 엔지니어링 워크로드와 동시 분석 작업을 실행할 수 있습니다.

Databricks Iceberg 읽기(UniForm)에 Lakehouse 페더레이션, Lakehouse 캐싱, 정기적인 OPTIMIZE 및 VACUUM 유지보수 작업을 결합하면 효율적인 제로 카피 Lakehouse를 구축할 수 있습니다. 이러한 접근 방식은 스토리지 비용을 절감하고, 복잡하고 관리하기 어려운 파이프라인을 유지보수할 필요성을 줄이며, 최신 분석 및 새로운 AI 워크로드에 대응할 수 있는 데이터 환경을 마련하는 데 도움이 됩니다.

이제는 통합 아키텍처를 구축하기 위해 플랫폼 간에 데이터 파일을 이동할 필요가 없습니다. 지금 바로 Lakehouse 런타임 카탈로그에 Databricks Iceberg 테이블을 등록하면 양방향 페더레이션을 통해 쿼리를 시작할 수 있습니다. 시작하는 방법에 관한 자세한 내용은 문서를 참고하세요.

게시 위치