Lakehouse for Apache Iceberg (in precedenza BigLake)

Modernizza la tua base di dati con il lakehouse di Google. Passa da Hadoop legacy a Cloud Storage serverless e unifica i dati tra cloud eseguendo query su Iceberg e Delta Lake direttamente in BigQuery. Il catalogo REST Iceberg di Lakehouse elimina i silos, offrendo un runtime interoperabile per Spark, Trino e Flink. Grazie al supporto del catalogo Hive, puoi modernizzare facilmente i workload Hadoop in Iceberg.

Importa le pipeline Iceberg esistenti e leggi o scrivi senza problemi in queste tabelle utilizzando BigQuery o Spark gestito, modernizzando facilmente con funzionalità avanzate di BigQuery. Potenzia la data science eseguendo Spark ETL e BigQuery AI esattamente sulle stesse tabelle Iceberg senza spostare i dati. Crea agenti di analisi conversazionale in BigQuery che funzionano con i tuoi dati in S3.

Potenzia l'analisi multimodale con BigQuery AI combinando tabelle Iceberg strutturate con dati non strutturati utilizzando BigQuery ObjectRefs per l'inferenza SQL singola. Addestra i modelli della piattaforma agentica Gemini Enterprise utilizzando il time-travel per eseguire il debug della deviazione dei dati. Federare cataloghi REST globali in un mesh di dati unificato, analizzare log su larga scala a costi contenuti e creare modelli direttamente in blocchi note integrati per accelerare i workflow di AI.

Sblocca un'esperienza Spark senza interruzioni. Esegui SQL, Spark e Python su una singola copia di dati Iceberg utilizzando IDE unificati. La nuova estensione Antigravity VS Code funge da partner AI per generare pipeline, eseguire il debug del codice e automatizzare la CI/CD dal linguaggio naturale. Inoltre, il nostro motore vettorializzato Lightning Engine accelera l'esecuzione di Spark fino a 4,5 volte, senza richiedere modifiche al codice.

Sfrutta la scalabilità di BigQuery mantenendo uno spazio di archiviazione flessibile. Esegui transazioni con più istruzioni in BigQuery per aggiornare più tabelle Iceberg come singola unità atomica, garantendo una coerenza di livello finanziario. Utilizza il runtime avanzato e il supporto per il partizionamento di BigQuery per Iceberg per creare tabelle partizionate/clusterizzate che sfruttano la pruning dei blocchi per un'esecuzione di query ad alta velocità ed economicamente vantaggiosa.

Alimenta gli agenti AI basati su eventi unificando i tuoi dati transazionali e analitici. Automatizza la replica CDC continua da Spanner e AlloyDB direttamente nelle tabelle Iceberg Lakehouse. Quindi, utilizza query continue SQL per monitorare questi dati in streaming, eseguire immediatamente l'inferenza AI e attivare azioni downstream, fornendo intelligence in tempo reale per i workload operativi più critici.

Knowledge Catalog fornisce uno strato di governance unificato rilevando automaticamente le tabelle Iceberg in Cloud Storage e registrando i relativi metadati direttamente nel catalogo di runtime Lakehouse. Questa integrazione ti consente di definire policy di sicurezza centralizzate che garantiscono un controllo dell'accesso a livello di riga e di colonna coerente sia in BigQuery che nei motori di elaborazione open source.