BigLake es un motor de almacenamiento que proporciona una interfaz unificada para estadísticas y motores de IA para consultar datos multiformato, de múltiples nubes y de modalidades multimodales de forma segura, administrada y con buen rendimiento. Crea un lakehouse de IA de una sola copia diseñado para reducir la administración y la necesidad de infraestructura de datos personalizada.
Innovación continua que incluye la nueva investigación BigQuery's Evolution toward a Multi-Cloud Lakehouse, que se presentará en el evento SIGMOD de 2024.
Implementa una solución recomendada por Google que unifique los data lakes y los almacenes de datos para guardar, procesar y analizar datos estructurados y no estructurados.
Almacena una sola copia de datos estructurados y no estructurados y consultas con IA y estadísticas
Control de acceso detallado y administración de múltiples nubes sobre datos distribuidos
Experiencia completamente administrada con administración automática de datos para tu lakehouse de formato abierto
Beneficios
Obtén estadísticas sobre datos distribuidos sin importar dónde y cómo se almacenen, y elige las mejores herramientas de análisis (nativas de la nube o de código abierto), en una sola copia de datos.
Control de acceso detallado en motores de código abierto, como Apache Spark, Presto y Trino, y en formatos abiertos como Parquet. Realiza consultas de alto rendimiento en data lakes con la tecnología de BigQuery.
Se integra en Dataplex para proporcionar administración a gran escala, incluida la organización lógica de datos, la administración centralizada de políticas y metadatos, la administración del ciclo de vida y la calidad para ofrecer coherencia en los datos distribuidos.
Características clave
BigLake elimina la necesidad de otorgar acceso a nivel de archivos a los usuarios finales. Aplica políticas de seguridad a nivel de tablas, de filas y de columnas en tablas de almacenamiento de objetos similares a las tablas existentes de BigQuery.
Mantén una sola copia de los datos estructurados y no estructurados, y haz que sean accesibles de manera uniforme en Google Cloud y en los motores de código abierto, incluidos BigQuery, Vertex AI, Dataflow, Spark, Presto, Trino y Hive, mediante conectores de BigLake. Administra de manera centralizada las políticas de seguridad en un solo lugar y haz que se apliquen de manera coherente en distintos motores de consulta mediante la interfaz de API integrada en los conectores.
Descubre todas las tablas de BigLake, incluidas las que se definen en Amazon S3, Azure Data Lake Gen2 en Data Catalog. Configura el control de acceso detallado y haz que se aplique en todas las nubes cuando realices consultas con BigQuery Omni.
Las tablas de objetos permiten el uso de datos multimodales para las cargas de trabajo de IA controladas. Crea fácilmente casos de uso de IA con BigQuery SQL y sus integraciones de Vertex AI.
Admite tablas abiertas y formatos de archivo, incluidos Parquet, Avro, ORC, CSV y JSON. La API entrega múltiples motores de procesamiento a través de Apache Arrow. El formato de la tabla es compatible de forma nativa con Apache Iceberg, Delta y Hudi a través del manifiesto.
Novedades
Documentación
Obtén información para consultar datos almacenados en una tabla de BigLake de Cloud Storage.
Precios
Los precios de BigLake se basan en las consultas de las tablas de BigLake, incluidas las siguientes:
1. Los precios de BigQuery se aplican a las consultas de tablas de BigLake definidas en Google Cloud Storage.
2. Los precios de BigQuery Omni se aplican a las consultas en tablas de BigLake definidas en Amazon S3 y Azure data lake de segunda generación.
3. Consultas de motores de código abierto con conectores BigLake: estos conectores usan la API de BigQuery Storage y se aplican los precios correspondientes, que se facturan según la cantidad de bytes leídos y la salida.
4. Se aplican costos adicionales a la aceleración de consultas mediante el almacenamiento en caché de metadatos, las tablas de objetos y BigLake Metastore.
Ejemplo: * El primer TB de datos que se procesa con BigQuery cada mes es gratis.
Comienza a desarrollar en Google Cloud con el crédito gratis de $300 y los más de 20 productos del nivel Siempre gratuito.