Lakehouse for Apache Iceberg(이전 명칭: BigLake)

Google의 Lakehouse로 데이터 기반을 현대화하세요. 기존 Hadoop을 서버리스 Cloud Storage로 이전하고 BigQuery에서 Iceberg 및 Delta Lake를 직접 쿼리하여 교차 클라우드 데이터를 통합합니다. Lakehouse Iceberg REST 카탈로그는 사일로를 제거하여 Spark, Trino, Flink를 위한 상호 운용 가능한 런타임을 제공합니다. Hive 카탈로그 지원을 통해 Hadoop 워크로드를 Iceberg로 쉽게 현대화할 수 있습니다.

기존 Iceberg 파이프라인을 가져와 BigQuery 또는 Managed Spark를 사용하여 이러한 테이블을 원활하게 읽거나 쓸 수 있으며, 고급 BigQuery 기능을 통해 쉽게 현대화할 수 있습니다. 데이터 이동 없이 동일한 Iceberg 테이블에서 Spark ETL과 BigQuery AI를 실행하여 데이터 과학을 강화합니다. S3의 데이터로 작업하는 대화형 분석 에이전트를 BigQuery에서 빌드합니다.

BigQuery AI를 사용해 정형 Iceberg 테이블과 비정형 데이터를 BigQuery ObjectRefs로 결합하여 단일 SQL 추론을 수행함으로써 멀티모달 분석을 강화할 수 있습니다. 시간 이동을 사용하여 Gemini Enterprise Agent Platform 모델을 학습시켜 데이터 드리프트를 디버깅합니다. 글로벌 REST 카탈로그를 통합 데이터 메시로 통합하고, 대규모 로그를 저렴하게 분석하며, 통합 노트북에서 직접 모델을 빌드하여 AI 워크플로를 가속화하세요.

원활한 Spark 환경을 활용하세요. 통합 IDE를 사용하여 단일 Iceberg 데이터 사본에서 SQL, Spark, Python을 실행합니다. 새로운 Antigravity VS Code 확장 프로그램은 AI 파트너 역할을 하여 자연어로 파이프라인을 생성하고, 코드를 디버깅하고, CI/CD를 자동화합니다. 또한 Google Cloud의 벡터화된 Lightning Engine은 코드 변경 없이도 Spark 실행 속도를 최대 4.5배까지 가속화합니다.

유연한 스토리지를 유지하면서 BigQuery의 확장성을 활용하세요. BigQuery에서 멀티 문 트랜잭션을 실행하여 여러 Iceberg 테이블을 단일 원자 단위로 업데이트하고 금융 등급의 일관성을 보장합니다. BigQuery의 고급 런타임과 Iceberg의 파티셔닝 지원을 사용하여 블록 가지치기를 활용하는 파티션을 나눈 테이블/클러스터형 테이블을 만들어 비용 효율적인 고속 쿼리 실행을 지원합니다.

트랜잭션 데이터와 분석 데이터를 통합하여 이벤트 기반 AI 에이전트를 강화하세요. Spanner 및 AlloyDB에서 Lakehouse Iceberg 테이블로 직접 지속적인 CDC 복제를 자동화합니다. 다음으로 SQL 연속 쿼리를 사용하여 이 스트리밍 데이터를 모니터링하고, AI 추론을 즉시 실행하고, 다운스트림 작업을 트리거하여 가장 중요한 운영 워크로드에 대한 실시간 인텔리전스를 제공합니다.

Knowledge Catalog는 Cloud Storage에서 Iceberg 테이블을 자동으로 검색하고 메타데이터를 Lakehouse 런타임 카탈로그에 직접 등록하여 통합된 거버넌스 레이어를 제공합니다. 이 통합을 통해 중앙 집중식 보안 정책을 정의하여 BigQuery와 오픈소스 처리 엔진 모두에서 일관된 행 수준 및 열 수준 액세스 제어를 보장할 수 있습니다.