BigLake est un moteur de stockage qui fournit une interface unifiée aux moteurs d'analyse et d'IA pour interroger des données multiformat, multicloud et multimodales de manière sécurisée, gouvernée et performante. Créez un lakehouse d'IA à copie unique conçu pour réduire la gestion et le besoin d'infrastructures de données personnalisées.
Innovation continue, y compris la nouvelle recherche BigQuery's Evolution into a Multi-Cloud Lakehouse (L'évolution de BigQuery vers un lakehouse multicloud) qui sera présentée lors de l'événement SIGMOD 2024
Déployez une solution recommandée par Google qui unifie les lacs et les entrepôts de données pour le stockage, le traitement et l'analyse des données structurées et non structurées.
Stockez une copie unique de données structurées et non structurées et interrogez-les à l'aide des analyses et de l'IA.
Assurez un contrôle des accès ultraprécis et une gouvernance multicloud sur des données distribuées
Expérience entièrement gérée avec gestion automatique des données pour votre lakehouse au format ouvert
Avantages
Déverrouillez des analyses sur des données distribuées, quel que soit leur emplacement et leur mode de stockage tout en choisissant les meilleurs outils d'analyse, Open Source ou cloud natif sur une seule copie de données.
Assurez un contrôle ultraprécis des accès sur les moteurs Open Source comme Apache Spark, Presto et Trino, et dans les formats ouverts tels que Parquet. Effectuez des requêtes performantes sur des lacs de données fournis par BigQuery.
Cette solution s'intègre à Dataplex pour offrir une gestion à grande échelle, y compris l'organisation logique des données, la gestion centralisée des règles et des métadonnées, ainsi que la gestion de la qualité et du cycle de vie pour assurer la cohérence des données distribuées.
Principales fonctionnalités
Grâce à BigLake, vous n'avez plus besoin d'accorder un accès au niveau des fichiers aux utilisateurs finaux. Appliquez les règles de sécurité au niveau des tables, des lignes et des colonnes sur les tables de magasin d'objets semblables aux tables BigQuery existantes.
Gérez une seule copie de données structurées et non structurées et rendez-la accessible de manière uniforme sur Google Cloud et les moteurs Open Source, y compris BigQuery, Vertex AI, Dataflow, Spark, Presto, Trino et Hive à l'aide de connecteurs BigLake. Gérez les règles de sécurité de manière centralisée et à un seul endroit, et appliquer-les de façon cohérente sur les moteurs de requête grâce à l'interface API intégrée aux connecteurs.
Découvrez toutes les tables BigLake, y compris celles définies sur Amazon S3, Azure Data Lake Storage Gen 2 dans Data Catalog. Configurez un contrôle des accès ultraprécis et appliquez-le sur plusieurs clouds lors de vos requêtes avec BigQuery Omni.
Les tables d'objets permettent d'utiliser des données multimodales pour des charges de travail d'IA gouvernées. Créez facilement des cas d'utilisation de l'IA à l'aide de BigQuery SQL et de ses intégrations Vertex AI.
Accepte les formats de fichiers et de tables ouverts, y compris Parquet, Avro, ORC, CSV et JSON. L'API est utilisée par plusieurs moteurs de calcul via Apache Arrow. Le format de table est nativement compatible avec Apache Iceberg, Delta et Hudi via un fichier manifeste.
Nouveautés
Documentation
Découvrez comment interroger des données stockées dans une table BigLake Cloud Storage.
Tarification
Les tarifs de BigLake reposent sur l'interrogation de tables BigLake, y compris :
1. Les tarifs de BigQuery s'appliquent aux requêtes sur des tables BigLake définies sur Google Cloud Storage.
2. Les tarifs de BigQuery Omni s'appliquent aux requêtes effectuées sur des tables BigLake définies sur Amazon S3 et Azure Data Lake Storage Gen 2.
3. Les requêtes effectuées sur des moteurs Open Source à l'aide de connecteurs BigLake : utilisent l'API BigQuery Storage, et les tarifs correspondant s'appliquent , facturés sur les octets lus et en sortie.
4. Des frais supplémentaires s'appliquent pour l'accélération des requêtes à l'aide de la mise en cache des métadonnées, des tables d'objets et de BigLake Metastore.
Ex : * Le premier téraoctet (1 To) de données traitées chaque mois par BigQuery est gratuit.
Profitez de 300 $ de crédits gratuits et de plus de 20 produits Always Free pour commencer à créer des applications sur Google Cloud.