Se usó la API de Cloud Translation para traducir esta página.
Switch to English

Descripción general de la interfaz de SQL de BigQuery BI Engine

Acerca de la interfaz de SQL de BI Engine

BigQuery BI Engine es un servicio de análisis en memoria rápido que permite a los usuarios analizar datos almacenados en BigQuery con tiempos de respuesta a las consultas menores de un segundo y con alta simultaneidad.

La interfaz de SQL de BI Engine expande BI Engine para integrarse en otras herramientas de inteligencia empresarial (BI), como Looker, Tableau, Power BI y aplicaciones personalizadas para acelerar la exploración y el análisis de datos. En esta página, se proporciona una descripción general de la interfaz de SQL de BI Engine y las capacidades expandidas que lleva a esta versión preliminar de BI Engine.

Cómo solicitar acceso a la vista previa

El acceso a la interfaz de SQL de BI Engine en esta fase de vista previa se proporciona a través de un proceso de inscripción. Para acceder, envía el formulario de inscripción de vista previa de BI Engine con los detalles de tu proyecto. Recibirás una notificación por correo electrónico cuando se inscriba tu proyecto.

Aumenta el tamaño de la reserva durante la vista previa

Si necesitas una reserva de memoria adicional más allá del tamaño predeterminado de 100 GB, puedes solicitar un aumento. Los aumentos de reservas se evalúan caso por caso y solo están disponibles en algunas regiones.

Arquitectura de BI Engine

La interfaz de SQL de BI Engine se basa en la arquitectura existente de BI Engine para Google Data Studio. En el siguiente diagrama, se muestra la arquitectura actualizada de BI Engine:

Arquitectura de BI Engine

Esta versión de vista previa de BI Engine incluye lo siguiente:

  1. API de BigQuery: BI Engine se integra directamente con la API de BigQuery. Cualquier solución de BI o aplicación personalizada que funcione con la API de BigQuery mediante mecanismos estándar como los controladores JDBC y JDBC de REST puede usar BI Engine sin cambios.
  2. Entorno de ejecución vectorial: Con la interfaz de SQL de BI Engine, BI Engine presenta una técnica más moderna llamada procesamiento vectorial. El uso de procesamiento fragmentado en un motor de ejecución hace un uso más eficiente de la arquitectura de CPU moderna, ya que opera en lotes de datos a la vez. BI Engine también usa codificaciones de datos avanzadas, en especial, la codificación de longitud de ejecución del diccionario, para comprimir aún más los datos almacenados en la capa de memoria.
  3. Metadatos:Los metadatos almacenan la definición de las tablas y las vistas, la definición del esquema y los permisos detallados.
  4. Reservas:Las reservas de BI Engine administran la asignación de memoria a nivel de facturación del proyecto. BI Engine almacena en caché solo las columnas y particiones que se consultan o analizan. No almacena en caché toda la tabla.
  5. Motor de memoria distribuido: BI Engine es un motor de ejecución en memoria distribuido que permite a los clientes asignar reservas de memoria mucho más grandes.

Aceleración y optimización de consultas

BigQuery y, por extensión de BI Engine, se desglosa el plan de consulta que se genera para una consulta de SQL en subconsultas. Una subconsulta contiene varias operaciones, como analizar, filtrar o agregar datos, y suele ser la unidad de ejecución en un fragmento.

Si bien la interfaz de SQL de BI Engine ejecuta correctamente todas las consultas de SQL compatibles de BigQuery, la versión de vista previa de la interfaz de SQL de BI Engine solo optimiza ciertas subconsultas. En particular, está más optimizada para subconsultas a nivel de hoja que analizan los datos desde el almacenamiento y realizan operaciones como el filtro, el procesamiento, la agregación, el orden y ciertos tipos de uniones. Otras subconsultas que aún no son completamente aceleradas por BI Engine vuelven a BigQuery para su ejecución.

Debido a esta optimización selectiva, las consultas de BI o tipo de panel más simples (que generan menos subconsultas) se benefician más de BI Engine porque la mayor parte del tiempo de ejecución se invierte en subconsultas a nivel de la hoja que procesan datos sin procesar.

Limitaciones

En la lista siguiente, se explica cómo y cuándo se acelerará una consulta cuando usas esta versión de vista previa de BI Engine:

  • Dentro de las subconsultas a nivel de hoja, la aceleración está restringida a las funciones y operadores de SQL estándar.
  • Durante esta vista previa, los usuarios están limitados a un máximo de 100 GB de capacidad de BI Engine para cada proyecto de Google Cloud. Puedes solicitar un aumento en la capacidad de reserva.
  • No se admite la transferencia de transmisión de BigQuery durante la vista previa.
  • Las siguientes limitaciones se aplican al tamaño y a la cantidad de filas:
    • Las consultas simples que hacen referencia a una sola tabla (como las consultas GROUP-BY o FILTER) están limitadas principalmente por el tamaño de la reserva.
    • En las uniones, la aceleración se limita a las subconsultas a nivel de hoja con uniones INNER y LEFT OUTER, en las que una tabla grande (facto) se une con hasta cuatro tablas pequeñas y no particionadas (dimensión). , cada una con un máximo de 5 millones de filas o 5 GB de tamaño para las columnas a las que se hace referencia.
  • No se admiten las consultas que hacen referencia a tablas comodín.
  • Esta versión de vista previa de BI Engine no está disponible en todas las regiones. Para obtener más información, consulta las regiones compatibles.

Supervisión y diagnóstico

En esta sección, se explica cómo encontrar estadísticas sobre BI Engine y cómo BI Engine se registra con Cloud Monitoring.

Estadísticas de aceleración

Las estadísticas detalladas sobre BI Engine están disponibles a través de la API de estadísticas de trabajos. Puedes usar la herramienta de línea de comandos de bq para recuperar estadísticas asociadas con las consultas aceleradas de BI Engine.

Con la aceleración de BI Engine habilitada, puedes ejecutar una consulta en cualquiera de estos tres modos:


DISABLED
BI Engine inhabilitó la aceleración. biEngineReasons especifica un motivo más detallado. La consulta se ejecutó con el motor de ejecución de BigQuery.

PARTIAL
Parte de la consulta se aceleraba mediante BI Engine. Como se describe en Optimización y aceleración de consultas, un plan de consulta se suele dividir en varias subconsultas. Esta [vista previa](/products/#product-launch-stages) de BI Engine admite los tipos comunes de patrones de subconsultas que se suelen usar en el panel. Si la consulta consta de varias subconsultas, solo algunas de las cuales están incluidas en los casos prácticos compatibles, BI Engine ejecuta las subconsultas restantes con el motor normal de BigQuery. Esas subconsultas restantes no reciben la aceleración de BI Engine. En este caso, BI Engine muestra un código de aceleración PARTIAL y usa biEngineReasons para propagar el motivo por el que no se amplían otras subconsultas.

 FULL
 
Toda la consulta se aceleró con BI Engine.

Para recuperar las estadísticas asociadas con las consultas aceleradas de BI Engine, ejecuta el siguiente comando de la herramienta de línea de comandos de bq:

bq show --format=prettyjson -j job_id

Si el proyecto está habilitado para la aceleración de BI Engine, el resultado genera un campo nuevo, biEngineStatistics. A continuación, se muestra un informe de trabajo de muestra:

 "statistics": {
    "creationTime": "1602175128902",
    "endTime": "1602175130700",
    "query": {
      "biEngineStatistics": {
        "biEngineMode": "DISABLED",
        "biEngineReasons": [
          {
            "code": "UNSUPPORTED_SQL_TEXT",
            "message": "Detected unsupported join type"
          }
        ]
      },

Para obtener más información sobre el campo BiEngineStatistics, consulta la referencia del trabajo.

Cloud Monitoring

BI Engine se integra en Cloud Monitoring a fin de mostrar las métricas clave para la supervisión y las alertas. Estas son las métricas que se supervisan:

Tipo de recurso Nombre de la métrica Descripción
Proyecto Bytes totales de la reserva Capacidad total asignada dentro de un proyecto de Cloud.
Proyecto Bytes de reserva usados Capacidad total usada dentro de un proyecto de Cloud.

Comentarios y actualizaciones

Una vez que estés inscrito en la vista previa, puedes publicar preguntas y comentarios en el grupo de discusión. También usamos este grupo para proporcionar actualizaciones sobre mejoras y funciones en curso durante la fase de vista previa.

Precios

No se aplica ningún costo por usar la interfaz de SQL de BI Engine durante las primeras 10 semanas de la fase de vista previa.

Una vez que finalice la vista previa, BI Engine seguirá el modelo de precios que se describe en la página de precios de BI Engine.

Regiones admitidas

Al igual que BigQuery, BI Engine es un recurso regional y multirregional. BI Engine procesa tus datos en la misma región en la que se encuentran tus datos en BigQuery.

La fase de vista previa de la interfaz de SQL de BI Engine es compatible con las siguientes ubicaciones.

Ubicaciones regionales

Descripción de la región Nombre de la región
América
Virginia del Norte us-east4
Oregón us-west1
Asia-Pacífico
Tokio asia-northeast1

Ubicaciones multirregionales

Descripción de la multirregión Nombre de la multirregión
Centros de datos dentro de los estados miembros de la Unión Europea1 EU
Centros de datos en Estados Unidos US

1 Los datos ubicados en la multirregión EU no se almacenan en los centros de datos de europe-west2 (Londres) ni deeurope-west6 (Zúrich).