BigLake es un motor de almacenamiento que proporciona una interfaz unificada para que los motores de analíticas y de IA consulten datos multiformato, multinube y multimodales de forma segura, controlada y con un buen rendimiento. Crea un lakehouse de IA de copia única diseñado para reducir la gestión y la necesidad de una infraestructura de datos personalizada.
Innovación continua, incluido el nuevo estudio La evolución de BigQuery hacia un lakehouse multinube, que se presentará en el evento SIGMOD del 2024.
Despliega una solución recomendada por Google que unifica los data lakes y almacenes de datos para almacenar, procesar y analizar datos estructurados y sin estructurar.
Almacena una sola copia de consultas y datos estructurados y sin estructurar mediante analíticas e IA
Control pormenorizado de acceso y gobernanza multinube sobre datos distribuidos.
Experiencia totalmente gestionada con gestión automática de datos en tu lakehouse de formato abierto
Ventajas
Consulta analíticas sobre datos distribuidos independientemente de dónde y cómo estén almacenados, a la vez que eliges las mejores herramientas de analíticas, código abierto o nativo de la nube en una única copia de datos.
Control de acceso pormenorizado en motores de código abierto, como Apache Spark, Presto y Trino, y en formatos de código abierto como Parquet. Consultas de rendimiento en lagos de datos con la tecnología de BigQuery.
Se integra con Dataplex para ofrecer una gestión a escala, incluida la organización de datos lógica, la gestión centralizada de los metadatos y las políticas, y la calidad y gestión del ciclo de vida para asegurar la coherencia en todos los datos distribuidos.
Características principales
Con BigLake, no es necesario conceder acceso a nivel de cada archivo a los usuarios finales. Puedes aplicar políticas de seguridad a nivel de las tablas, las filas y las columnas en tablas de almacenes de objetos similares a las tablas de BigQuery que ya usas.
Almacena una sola copia de datos estructurados y sin estructurar, y accede de forma uniforme a Google Cloud y a los buscadores de código abierto, como los siguientes, como BigQuery, Vertex AI, Dataflow, Spark, Presto, Trino y Hive, usando conectores de BigLake. Gestiona de manera centralizada las políticas de seguridad en un solo lugar, y aplícalas de forma uniforme en los motores de consultas a través de la interfaz de la API integrada en los conectores.
Descubre todas las tablas de BigLake, incluidas las que están definidas en Amazon S3 y Azure Data Lake Gen2, en Data Catalog. Configura un control de acceso detallado y haz que se aplique en diferentes nubes cuando se hagan consultas con BigQuery Omni.
Las tablas de objetos permiten usar datos multimodales para las cargas de trabajo de IA controladas. Crea fácilmente casos prácticos de IA con BigQuery SQL y sus integraciones de Vertex AI.
Admite formatos de tabla y de archivo abiertos, como Parquet, Avro, ORC, CSV y JSON. La API sirve varios motores de computación a través de Apache Arrow. El formato de tabla es compatible de forma nativa con Apache Iceberg, Delta y Hudi mediante un archivo de manifiesto.
Novedades
Documentación
Aprende a consultar los datos almacenados en una tabla de BigLake de Cloud Storage.
Precios
Los precios de BigLake se basan en las consultas de las tablas de BigLake, incluidos:
1. Los precios de BigQuery se aplican a las consultas sobre las tablas de BigLake definidas en Google Cloud Storage.
2. Los precios de BigQuery Omni se aplican a las consultas de las tablas de BigLake definidas en Amazon S3 y Azure Data Lake Gen2.
3. Consultas de motores de código abierto que utilizan conectores de BigLake: los conectores de BigLake usan la API Storage de BigQuery y se aplican los precios correspondientes, que se facturan en bytes de lectura y de salida.
4. Se aplican otros cargos por la aceleración de las consultas mediante el almacenamiento de metadatos en caché, las tablas de objetos y BigLake Metastore.
Ejemplo: * El primer terabyte (1 TB) de datos procesados con BigQuery al mes es gratis.
Empieza a crear en Google Cloud con 300 USD en crédito gratis y más de 20 productos Always Free.