Lakehouse pour Apache Iceberg (anciennement BigLake)
Lakehouse sans frontières pour l'ère agentique
Stockage, gouvernance et performances d'entreprise pour créer des cas d'utilisation d'IA analytiques, opérationnels et en temps réel évolutifs sur un lakehouse ouvert unifié, sans frontières et multimodal.
Fonctionnalités
Iceberg entièrement géré avec interopérabilité en lecture/écriture
Les tables Apache Iceberg, gérées à l'aide du catalogue REST Iceberg Lakehouse, offrent une interopérabilité en lecture et en écriture entre BigQuery et Google Cloud Managed Service pour Apache Spark, ainsi que des moteurs Open Source compatibles avec Iceberg tels que Spark, Trino et Flink. Cette interopérabilité vous permet d'effectuer des tâches d'ingénierie des données, d'analyse avancée et d'IA directement sur un ensemble partagé de tables Iceberg.
L'IA de Google au service de vos données Iceberg, sans aucune frontière
Utilisez Cross-Cloud Interconnect et la mise en cache pour accéder rapidement et à faible latence aux données Iceberg S3. Exécutez des jobs BigQuery, Spark et Gemini Enterprise sur des données AWS via l'API Conversational Analytics, tout en bénéficiant d'un rapport prix/performances comparable à celui des solutions de plates-formes de données natives. De plus, la nouvelle fédération du catalogue d'environnements d'exécution Lakehouse unifie facilement votre écosystème, ce qui permet à BigQuery et Google Managed Spark de découvrir et d'analyser les données d'entreprise dans AWS Glue, Databricks Unity Catalog et Snowflake Horizon Catalog. Vos données sont traitées comme des ressources locales par les utilisateurs et les moteurs Google Cloud dès que vous fédérez les catalogues.
Accélération du rapport prix/performances pour Iceberg
L'exécution vectorisée améliorée de BigQuery est désormais activée par défaut pour les tables du catalogue REST Iceberg de Lakehouse, ainsi que pour les tables Iceberg et Parquet du catalogue BigQuery. Déchargez les tâches de maintenance Iceberg courantes, telles que la compaction, le clustering et la récupération de mémoire, directement sur Google Lakehouse. De nouvelles fonctionnalités automatisées, telles que la gestion des tables, le partitionnement, le clustering et l'optimisation basée sur l'historique, améliorent le rapport prix/performances sans aucune surcharge manuelle.
L'avantage unique de BigQuery et Spark pour la création d'agents
Générez des insights en temps réel avec Iceberg en utilisant les flux BigQuery pour une ingestion haut débit avec une latence de lecture nulle. Créez des pipelines de traitement complexes avec des transactions à plusieurs instructions et la réplication des données modifiées BigQuery vers les tables Iceberg. Exploitez les analyses multimodales, vectorielles et graphiques en unifiant les données structurées et non structurées à l'aide de BigQueryObjectRefs. Optimisez les charges de travail de data science Spark avec Lightning Engine, avec des performances jusqu'à 4,9 fois plus rapides. Créez des agents conversationnels avec vos données Iceberg directement dans BigQuery.
Contexte et gouvernance en temps réel pour les agents
Exploitez les données transactionnelles en temps réel pour alimenter les agents IA. Diffusez des données opérationnelles provenant de Spanner, AlloyDB et Cloud SQL dans BigQuery et des tables Iceberg gérées pour une analyse instantanée, puis renvoyez ces insights analytiques directement dans AlloyDB ou Spanner afin de les exploiter avec une latence inférieure à la milliseconde et un nombre élevé de requêtes par seconde. Bénéficiez d'une gouvernance unifiée avec la traçabilité, le profilage, la qualité des données et les insights optimisés par Gemini grâce à l'intégration de Knowledge Catalog (anciennement Dataplex), qui fournit un contexte fiable à votre agent. Associez les données transactionnelles, non structurées et Iceberg à votre logique métier, et fournissez à vos agents le contexte approfondi dont ils ont besoin pour générer des résultats précis, fiables et entièrement régis. Vous pouvez utiliser les agents Data Cloud prêts à l'emploi ou simplifier les workflows directement depuis vos propres IDE à l'aide de Data Agent Kit.
Fonctionnement
Le catalogue d'environnements d'exécution Lakehouse sert de hub central pour vos tables Iceberg. Il fournit un accès universel en lecture/écriture à BigQuery, Managed Spark, aux moteurs OSS et aux partenaires, et connecte vos données à n'importe quel moteur pour accélérer l'IA. Il se connecte à Knowledge Catalog, qui fournit un contexte à vos agents.
Le catalogue d'environnements d'exécution Lakehouse sert de hub central pour vos tables Iceberg. Il fournit un accès universel en lecture/écriture à BigQuery, Managed Spark, aux moteurs OSS et aux partenaires, et connecte vos données à n'importe quel moteur pour accélérer l'IA. Il se connecte à Knowledge Catalog, qui fournit un contexte à vos agents.
Fondation et modernisation du lakehouse
Modernisez-vous en adoptant une architecture de lakehouse ouverte et unifiée
Modernisez-vous en adoptant une architecture de lakehouse ouverte et unifiée
Modernisez votre infrastructure de données avec un lakehouse sans frontières. Migrez l'ancien Hadoop vers Cloud Storage sans serveur et unifiez les données cross-cloud en interrogeant Iceberg et Delta Lake directement dans BigQuery. Le catalogue d'environnements d'exécution Lakehouse élimine les silos en offrant un environnement d'exécution interopérable pour Spark, Trino et Flink. Grâce à la compatibilité avec le catalogue Hive, vous pouvez facilement moderniser les charges de travail Hadoop vers Iceberg.
Tutoriels, guides de démarrage rapide et ateliers
Modernisez-vous en adoptant une architecture de lakehouse ouverte et unifiée
Modernisez-vous en adoptant une architecture de lakehouse ouverte et unifiée
Modernisez votre infrastructure de données avec un lakehouse sans frontières. Migrez l'ancien Hadoop vers Cloud Storage sans serveur et unifiez les données cross-cloud en interrogeant Iceberg et Delta Lake directement dans BigQuery. Le catalogue d'environnements d'exécution Lakehouse élimine les silos en offrant un environnement d'exécution interopérable pour Spark, Trino et Flink. Grâce à la compatibilité avec le catalogue Hive, vous pouvez facilement moderniser les charges de travail Hadoop vers Iceberg.
Interopérabilité multimoteur
Partage en lecture/écriture fluide entre BigQuery et les moteurs OSS
Partage en lecture/écriture fluide entre BigQuery et les moteurs OSS
Utilisez vos pipelines Iceberg existants et lisez ou écrivez facilement dans ces tables à l'aide de BigQuery ou de Spark géré, tout en modernisant facilement vos opérations grâce aux fonctionnalités avancées de BigQuery. Optimisez la data science en exécutant Spark ETL et BigQuery AI sur les mêmes tables Iceberg, sans déplacer les données. Créez des agents d'analyse conversationnelle dans BigQuery qui fonctionnent avec vos données dans S3.
Tutoriels, guides de démarrage rapide et ateliers
Partage en lecture/écriture fluide entre BigQuery et les moteurs OSS
Partage en lecture/écriture fluide entre BigQuery et les moteurs OSS
Utilisez vos pipelines Iceberg existants et lisez ou écrivez facilement dans ces tables à l'aide de BigQuery ou de Spark géré, tout en modernisant facilement vos opérations grâce aux fonctionnalités avancées de BigQuery. Optimisez la data science en exécutant Spark ETL et BigQuery AI sur les mêmes tables Iceberg, sans déplacer les données. Créez des agents d'analyse conversationnelle dans BigQuery qui fonctionnent avec vos données dans S3.
Intégrer des données Iceberg dans des workflows d'IA
Analyse de données multimodales et workflows d'IA accélérés
Analyse de données multimodales et workflows d'IA accélérés
Améliorez l'analyse multimodale avec BigQuery AI en combinant des tables Iceberg structurées avec des données non structurées à l'aide de BigQuery ObjectRefs pour l'inférence en SQL unique. Entraînez des modèles de plate-forme d'agent Gemini Enterprise à l'aide de la fonctionnalité de voyage dans le temps pour déboguer la dérive des données Fédérez des catalogues REST mondiaux dans un maillage de données unifié, analysez des journaux à grande échelle de manière abordable et créez des modèles directement dans des notebooks intégrés pour accélérer vos workflows d'IA.
Tutoriels, guides de démarrage rapide et ateliers
Analyse de données multimodales et workflows d'IA accélérés
Analyse de données multimodales et workflows d'IA accélérés
Améliorez l'analyse multimodale avec BigQuery AI en combinant des tables Iceberg structurées avec des données non structurées à l'aide de BigQuery ObjectRefs pour l'inférence en SQL unique. Entraînez des modèles de plate-forme d'agent Gemini Enterprise à l'aide de la fonctionnalité de voyage dans le temps pour déboguer la dérive des données Fédérez des catalogues REST mondiaux dans un maillage de données unifié, analysez des journaux à grande échelle de manière abordable et créez des modèles directement dans des notebooks intégrés pour accélérer vos workflows d'IA.
Expérience Spark de pointe
Exécuter des charges de travail de data science dans des environnements de développement
Exécuter des charges de travail de data science dans des environnements de développement
Profitez d'une expérience Spark fluide. Exécutez SQL, Spark et Python sur une seule copie de données Iceberg à l'aide d'IDE unifiés. La nouvelle extension Antigravity pour VS Code agit comme un partenaire IA pour générer des pipelines, déboguer du code et automatiser l'intégration et la livraison continues (CI/CD) à partir du langage naturel. De plus, notre moteur vectorisé Lightning Engine multiplie par 4,9 la vitesse d'exécution de Spark, sans aucune modification de code.
Tutoriels, guides de démarrage rapide et ateliers
Exécuter des charges de travail de data science dans des environnements de développement
Exécuter des charges de travail de data science dans des environnements de développement
Profitez d'une expérience Spark fluide. Exécutez SQL, Spark et Python sur une seule copie de données Iceberg à l'aide d'IDE unifiés. La nouvelle extension Antigravity pour VS Code agit comme un partenaire IA pour générer des pipelines, déboguer du code et automatiser l'intégration et la livraison continues (CI/CD) à partir du langage naturel. De plus, notre moteur vectorisé Lightning Engine multiplie par 4,9 la vitesse d'exécution de Spark, sans aucune modification de code.
Analyses hautes performances avec BigQuery
Optimisation des performances avec BigQuery
Optimisation des performances avec BigQuery
Exploitez l'évolutivité de BigQuery tout en conservant un stockage flexible. Exécutez des transactions multi-instructions dans BigQuery pour mettre à jour plusieurs tables Iceberg en tant qu'unité atomique unique, ce qui garantit une cohérence de niveau financier. Utilisez les fonctionnalités avancées d'exécution et de partitionnement d'Iceberg dans BigQuery pour créer des tables partitionnées/en cluster qui exploitent l'élagage de blocs pour une exécution des requêtes rapide et économique.
Tutoriels, guides de démarrage rapide et ateliers
Optimisation des performances avec BigQuery
Optimisation des performances avec BigQuery
Exploitez l'évolutivité de BigQuery tout en conservant un stockage flexible. Exécutez des transactions multi-instructions dans BigQuery pour mettre à jour plusieurs tables Iceberg en tant qu'unité atomique unique, ce qui garantit une cohérence de niveau financier. Utilisez les fonctionnalités avancées d'exécution et de partitionnement d'Iceberg dans BigQuery pour créer des tables partitionnées/en cluster qui exploitent l'élagage de blocs pour une exécution des requêtes rapide et économique.
Génération d'informations en temps réel
Unifier les données transactionnelles et analytiques
Unifier les données transactionnelles et analytiques
Répliquez facilement des données en mode ajout depuis Spanner, AlloyDB ou d'autres sources directement dans des tables Lakehouse pour Apache Iceberg grâce à Datastream. Bénéficiez ainsi d'informations en temps réel pour vos charges de travail opérationnelles les plus critiques.
Tutoriels, guides de démarrage rapide et ateliers
Unifier les données transactionnelles et analytiques
Unifier les données transactionnelles et analytiques
Répliquez facilement des données en mode ajout depuis Spanner, AlloyDB ou d'autres sources directement dans des tables Lakehouse pour Apache Iceberg grâce à Datastream. Bénéficiez ainsi d'informations en temps réel pour vos charges de travail opérationnelles les plus critiques.
Gouvernance du lakehouse de bout en bout
Gouvernez votre lakehouse avec Knowledge Catalog
Gouvernez votre lakehouse avec Knowledge Catalog
Knowledge Catalog fournit une couche de gouvernance unifiée en détectant automatiquement les tables Iceberg dans Cloud Storage et en enregistrant leurs métadonnées directement dans le catalogue d'exécution de Lakehouse. Cette intégration vous permet de définir des règles de sécurité centralisées qui garantissent un contrôle des accès cohérent au niveau des lignes et des colonnes, à la fois dans BigQuery et dans les moteurs de traitement Open Source.
Tutoriels, guides de démarrage rapide et ateliers
Gouvernez votre lakehouse avec Knowledge Catalog
Gouvernez votre lakehouse avec Knowledge Catalog
Knowledge Catalog fournit une couche de gouvernance unifiée en détectant automatiquement les tables Iceberg dans Cloud Storage et en enregistrant leurs métadonnées directement dans le catalogue d'exécution de Lakehouse. Cette intégration vous permet de définir des règles de sécurité centralisées qui garantissent un contrôle des accès cohérent au niveau des lignes et des colonnes, à la fois dans BigQuery et dans les moteurs de traitement Open Source.
Tarification
| Fonctionnement des tarifs de lakehouse (BigLake) | Les tarifs de Lakehouse (BigLake) sont basés sur la gestion des tables, le stockage des métadonnées et l'accès aux métadonnées. | |
|---|---|---|
| Services et utilisation | Description | Prix (USD) |
Gestion des tables Lakehouse (anciennement BigLake) | Ressources de calcul permettant de gérer les tables Lakehouse lors de l'optimisation automatique du stockage des tables, y compris la mise à l'échelle adaptative des fichiers, le clustering automatique, la récupération de mémoire et la génération de métadonnées BigQuery (CMETA). | À partir de 0,12 $ par heure d'unités de calcul de données |
Stockage des métadonnées Lakehouse (BigLake) | Le catalogue d'environnements d'exécution Lakehouse (anciennement BigLake Metastore) facture le stockage des métadonnées. Le niveau sans frais inclut 1 Gio d'espace de stockage de métadonnées par mois. | Sans frais 1 Gio d'espace de stockage de métadonnées par mois |
Le catalogue d'exécution Lakehouse (anciennement BigLake Metastore) facture le stockage des métadonnées au-delà du niveau sans frais de 1 Gio par mois. | À partir de 0,04 $ par Gio et par mois | |
Accès aux métadonnées Lakehouse (BigLake) | Opérations de classe A : frais d'accès aux métadonnées Lakehouse pour les opérations d'écriture, de mise à jour, de liste, de création et de configuration, avec un quota sans frais de 5 000 opérations par mois inclus. Opérations spécifiques :
Lorsque le fichier de métadonnées est supérieur à 1 Mo
| À partir de 6,00 $ par million d'opérations au-delà de 5 001 par mois/compte |
Opérations de classe B : frais d'accès aux métadonnées Lakehouse (BigLake) pour les opérations de lecture, de récupération et de suppression, avec un quota sans frais de 50 000 opérations par mois inclus. Opérations spécifiques :
Lorsque le fichier de métadonnées est supérieur à 1 Mo
| À partir de 0,90 $ par million d'opérations au-delà de 50 001 | |
Fédération de catalogues Lakehouse : actualisation des métadonnées | Opérations d'actualisation des métadonnées pour actualiser les métadonnées à partir du catalogue externe (par exemple, Databricks Unity Catalog) avec un quota sans frais de 0 à 5 001 opérations par mois et par compte. Lorsque le fichier de métadonnées est supérieur à 1 Mo
| À partir de 6,00 $ par million d'opérations au-delà de 5 001 par mois/compte |
Fonctionnement des tarifs de lakehouse (BigLake)
Les tarifs de Lakehouse (BigLake) sont basés sur la gestion des tables, le stockage des métadonnées et l'accès aux métadonnées.
Gestion des tables Lakehouse (anciennement BigLake)
Ressources de calcul permettant de gérer les tables Lakehouse lors de l'optimisation automatique du stockage des tables, y compris la mise à l'échelle adaptative des fichiers, le clustering automatique, la récupération de mémoire et la génération de métadonnées BigQuery (CMETA).
Starting at
0,12 $
par heure d'unités de calcul de données
Stockage des métadonnées Lakehouse (BigLake)
Le catalogue d'environnements d'exécution Lakehouse (anciennement BigLake Metastore) facture le stockage des métadonnées. Le niveau sans frais inclut 1 Gio d'espace de stockage de métadonnées par mois.
Sans frais
1 Gio d'espace de stockage de métadonnées par mois
Le catalogue d'exécution Lakehouse (anciennement BigLake Metastore) facture le stockage des métadonnées au-delà du niveau sans frais de 1 Gio par mois.
Starting at
0,04 $
par Gio et par mois
Accès aux métadonnées Lakehouse (BigLake)
Opérations de classe A : frais d'accès aux métadonnées Lakehouse pour les opérations d'écriture, de mise à jour, de liste, de création et de configuration, avec un quota sans frais de 5 000 opérations par mois inclus.
Opérations spécifiques :
- Créer
- Enregistrer
- Lister
- Mettre à jour (y compris supprimer des lignes d'une table)
- setIamPolicy
Lorsque le fichier de métadonnées est supérieur à 1 Mo
- Chaque Mo incrémental est considéré comme 1 opération.
- 1 Mo = 1 opération, 2 Mo = 2 opérations, 5 Mo = 5 opérations
Starting at
6,00 $
par million d'opérations au-delà de 5 001 par mois/compte
Opérations de classe B : frais d'accès aux métadonnées Lakehouse (BigLake) pour les opérations de lecture, de récupération et de suppression, avec un quota sans frais de 50 000 opérations par mois inclus.
Opérations spécifiques :
- Lire
- Supprimer
- getIamPolicy
Lorsque le fichier de métadonnées est supérieur à 1 Mo
- Chaque Mo incrémental est considéré comme 1 opération.
- 1 Mo = 1 opération, 2 Mo = 2 opérations, 5 Mo = 5 opérations
Starting at
0,90 $
par million d'opérations au-delà de 50 001
Fédération de catalogues Lakehouse : actualisation des métadonnées
Opérations d'actualisation des métadonnées pour actualiser les métadonnées à partir du catalogue externe (par exemple, Databricks Unity Catalog) avec un quota sans frais de 0 à 5 001 opérations par mois et par compte.
Lorsque le fichier de métadonnées est supérieur à 1 Mo
- Chaque Mo incrémental est considéré comme 1 opération.
- 1 Mo = 1 opération, 2 Mo = 2 opérations, 5 Mo = 5 opérations
Starting at
6,00 $
par million d'opérations au-delà de 5 001 par mois/compte
