Lakehouse pour Apache Iceberg (anciennement BigLake)

Modernisez votre infrastructure de données avec le lakehouse de Google. Migrez l'ancien Hadoop vers Cloud Storage sans serveur et unifiez les données multicloud en interrogeant Iceberg et Delta Lake directement dans BigQuery. Le catalogue REST Iceberg Lakehouse élimine les silos en offrant un environnement d'exécution interopérable pour Spark, Trino et Flink. Grâce à la prise en charge du catalogue Hive, vous pouvez facilement moderniser les charges de travail Hadoop vers Iceberg.

Utilisez vos pipelines Iceberg existants et lisez ou écrivez facilement dans ces tables à l'aide de BigQuery ou de Spark géré, tout en modernisant facilement vos opérations grâce aux fonctionnalités avancées de BigQuery. Optimisez la data science en exécutant Spark ETL et BigQuery AI sur les mêmes tables Iceberg, sans déplacer les données. Créez des agents d'analyse conversationnelle dans BigQuery qui fonctionnent avec vos données dans S3.

Améliorez l'analyse multimodale avec BigQuery AI en combinant des tables Iceberg structurées avec des données non structurées à l'aide de BigQuery ObjectRefs pour l'inférence en SQL unique. Entraînez des modèles de plate-forme d'agent Gemini Enterprise à l'aide de la fonctionnalité de voyage dans le temps pour déboguer la dérive des données Fédérez des catalogues REST mondiaux dans un maillage de données unifié, analysez des journaux à grande échelle de manière abordable et créez des modèles directement dans des notebooks intégrés pour accélérer vos workflows d'IA.

Profitez d'une expérience Spark fluide. Exécutez SQL, Spark et Python sur une seule copie des données Iceberg à l'aide d'IDE unifiés. La nouvelle extension Antigravity VS Code agit comme un partenaire d'IA pour générer des pipelines, déboguer du code et automatiser le CI/CD à partir du langage naturel. De plus, notre moteur vectorisé Lightning Engine accélère l'exécution de Spark jusqu'à 4,5 fois, sans nécessiter de modification du code.

Exploitez l'évolutivité de BigQuery tout en conservant un stockage flexible. Exécutez des transactions multi-instructions dans BigQuery pour mettre à jour plusieurs tables Iceberg en tant qu'unité atomique unique, ce qui garantit une cohérence de niveau financier. Utilisez les fonctionnalités avancées d'exécution et de partitionnement d'Iceberg dans BigQuery pour créer des tables partitionnées/en cluster qui exploitent l'élagage de blocs pour une exécution des requêtes rapide et économique.

Alimentez les agents d'IA basés sur les événements en unifiant vos données transactionnelles et analytiques. Automatisez la réplication CDC continue depuis Spanner et AlloyDB directement dans les tables Lakehouse Iceberg. Ensuite, utilisez des requêtes continues SQL pour surveiller ces données en flux, exécuter instantanément l'inférence d'IA et déclencher des actions en aval. Vous obtenez ainsi des renseignements en temps réel pour vos charges de travail opérationnelles les plus critiques.

Knowledge Catalog fournit une couche de gouvernance unifiée en détectant automatiquement les tables Iceberg dans Cloud Storage et en enregistrant leurs métadonnées directement dans le catalogue d'exécution de Lakehouse. Cette intégration vous permet de définir des règles de sécurité centralisées qui garantissent un contrôle des accès cohérent au niveau des lignes et des colonnes, à la fois dans BigQuery et dans les moteurs de traitement Open Source.