BigLake
BigLake est un moteur de stockage qui unifie les entrepôts et les lacs de données en permettant à BigQuery et aux frameworks Open Source tels que Spark d'accéder aux données avec un contrôle des accès ultraprécis. BigLake permet d'accélérer les performances des requêtes au sein du stockage multicloud et dans des formats ouverts tels qu'Apache Iceberg.
-
Stockez une seule copie des données avec des caractéristiques uniformes dans des entrepôts et des lacs de données.
-
Assurez un contrôle des accès ultraprécis et une gouvernance multicloud sur des données distribuées.
-
Bénéficiez d'une intégration parfaite avec les outils d'analyse Open Source et les formats de données ouverts.
Avantages
Liberté de choix
Déverrouillez des analyses sur des données distribuées, quel que soit leur emplacement et leur mode de stockage tout en choisissant les meilleurs outils d'analyse, Open Source ou cloud natif sur une seule copie de données.
Lacs de données sécurisés et performants
Assurez un contrôle ultraprécis des accès sur les moteurs Open Source comme Apache Spark, Presto et Trino, et dans les formats ouverts tels que Parquet. Effectuez des requêtes performantes sur des lacs de données fournis par BigQuery.
Gouvernance et gestion unifiées à grande échelle
Cette solution s'intègre à Dataplex pour offrir une gestion à grande échelle, y compris l'organisation logique des données, la gestion centralisée des règles et des métadonnées, ainsi que la gestion de la qualité et du cycle de vie pour assurer la cohérence des données distribuées.
Principales fonctionnalités
Principales fonctionnalités
Contrôles de sécurité ultraprécis
Grâce à BigLake, vous n'avez plus besoin d'accorder un accès au niveau des fichiers aux utilisateurs finaux. Appliquez les règles de sécurité au niveau des tables, des lignes et des colonnes sur les tables de magasin d'objets semblables aux tables BigQuery existantes.
Analyse de plusieurs calculs
Gérez une seule copie de données et rendez-la accessible de manière uniforme sur Google Cloud et les moteurs Open Source, y compris BigQuery, Vertex AI, Dataflow, Spark, Presto, Trino et Hive à l'aide de connecteurs BigLake. Gérez les règles de sécurité de manière centralisée et à un seul endroit, et appliquer-les de façon cohérente sur les moteurs de requête grâce à l'interface API intégrée aux connecteurs.
Gouvernance multicloud
Découvrez toutes les tables BigLake, y compris celles définies sur Amazon S3, Azure Data Lake Storage Gen 2 dans Data Catalog. Configurez un contrôle des accès ultraprécis et appliquez-le sur plusieurs clouds lors de vos requêtes avec BigQuery Omni.
Accélération des performances
Atteignez des performances de pointe dans les tables de lacs de données sur Google Cloud, AWS et Azure, grâce à une infrastructure BigQuery éprouvée.
Création sur des formats ouverts
Accédez aux formats de données ouverts les plus courants, y compris Parquet, Avro, ORC, CSV et JSON. L'API est utilisée par plusieurs moteurs de calcul via Apache Arrow.
"En tant qu'entreprise d'e-commerce en pleine expansion, nous avons constaté une croissance rapide des données. BigLake nous permet de libérer tout le potentiel des lacs de données en offrant le contrôle des accès à nos vues tout en fournissant une interface unifiée à nos utilisateurs et en limitant les coûts de stockage de données. Cela permet à nos utilisateurs d'analyser plus rapidement nos ensembles de données."
Documentation
Documentation
Présentation de BigLake
Découvrez les concepts de BigLake et ce qu'il peut faire pour simplifier votre expérience d'analyse.
Premiers pas avec BigLake
Découvrez comment créer et gérer des tables BigLake. Vous apprendrez aussi à interroger une table BigLake via BigQuery ou d'autres moteurs Open Source à l'aide de connecteurs.
Tarifs
Tarifs
Les tarifs de BigLake reposent sur l'interrogation de tables BigLake, y compris :
1. Les tarifs de BigQuery s'appliquent aux requêtes sur des tables BigLake définies sur Google Cloud Storage.
2. Les tarifs de BigQuery Omni s'appliquent aux requêtes effectuées sur des tables BigLake définies sur Amazon S3 et Azure Data Lake Storage Gen 2.
3. Les requêtes effectuées sur des moteurs Open Source à l'aide de connecteurs BigLake : utilisent l'API BigQuery Storage, et les tarifs correspondant s'appliquent , facturés sur les octets lus et en sortie.
4. Des frais supplémentaires s'appliquent pour l'accélération des requêtes à l'aide de la mise en cache des métadonnées, des tables d'objets et de BigLake Metastore.
Ex : * Le premier téraoctet (1 To) de données traitées chaque mois par BigQuery est gratuit.