Conector de Hive-BigQuery

El conector Hive-BigQuery de código abierto permite que las cargas de trabajo de Apache Hive lean y escriban datos desde y hacia las tablas de BigQuery y BigLake. Puedes almacenar datos en el almacenamiento de BigQuery o en formatos de datos de código abierto en Cloud Storage.

El conector Hive-BigQuery implementa la API de Hive Storage Handler para permitir que las cargas de trabajo de Hive se integren con las tablas de BigQuery y BigLake. El motor de ejecución de Hive controla las operaciones de procesamiento, como las agregaciones y las uniones, y el conector administra las interacciones con los datos almacenados en BigQuery o en los buckets de Cloud Storage conectados a BigLake.

En el siguiente diagrama, se ilustra cómo se ajusta el conector Hive-BigQuery entre las capas de procesamiento y datos.

Arquitectura del conector de Hive-BigQuery

Casos de uso

Estas son algunas de las formas en que el conector de Hive-BigQuery puede ayudarte en situaciones comunes basadas en datos:

  • Migración de datos Tienes previsto trasladar tu almacén de datos de Hive a BigQuery y, luego, traducir de forma incremental tus consultas de Hive al dialecto de SQL de BigQuery. Esperas que la migración demore una cantidad significativa de tiempo debido al tamaño de tu almacén de datos y la gran cantidad de aplicaciones conectadas, y debes garantizar la continuidad durante las operaciones de migración. Este es el flujo de trabajo:

    1. Mover tus datos a BigQuery
    2. Con el conector, puedes acceder a tus consultas originales de Hive y ejecutarlas mientras gradualmente traduces las consultas de Hive al dialecto SQL de BigQuery conforme a ANSI.
    3. Después de completar la migración y la traducción, retiras Hive.

  • Flujos de trabajo de Hive y BigQuery Quieres usar Hive para algunas tareas y BigQuery para cargas de trabajo que se benefician de sus funciones, como BigQuery BI Engine o BigQuery ML. Usas el conector para unir tablas de Hive a tus tablas de BigQuery.

  • Dependencia de una pila de software de código abierto (OSS) Para evitar el bloqueo del proveedor, usas una pila de OSS completa para tu almacén de datos. Este es tu plan de datos:

    1. Migra tus datos en su formato de OSS original, como Avro, Parquet o ORC, a los buckets de Cloud Storage con una conexión de BigLake.

    2. Sigues usando Hive para ejecutar y procesar tus consultas del dialecto SQL de Hive.

    3. Usa el conector según sea necesario para conectarte a BigQuery y beneficiarte de las siguientes funciones:

Funciones

Puedes usar el conector de Hive-BigQuery para trabajar con tus datos de BigQuery y realizar las siguientes tareas:

  • Ejecuta consultas con los motores de ejecución MapReduce y Tez.
  • Crea y borra tablas de BigQuery desde Hive.
  • Une tablas de BigQuery y BigLake con tablas de Hive.
  • Realiza lecturas rápidas de tablas de BigQuery con las transmisiones de la API de Storage Read y el formato Apache Arrow
  • Escribe datos en BigQuery con los siguientes métodos:
    • Operaciones de escritura directa con la API de BigQuery Storage Write en modo pendiente Usa este método para las cargas de trabajo que requieren una latencia de escritura baja, como los paneles casi en tiempo real con ventanas de tiempo de actualización cortas.
    • Las operaciones de escritura indirectas se realizan a través de la puesta en escena de archivos Avro temporales en Cloud Storage y, luego, cargando los archivos en una tabla de destino con la API de Job de carga. Este método es menos costoso que el método directo, ya que los trabajos de carga de BigQuery no acumulan cargos. Dado que este método es más lento y se usa mejor en cargas de trabajo que no son urgentes.

  • Accede a las tablas particionadas por tiempo y agrupadas de BigQuery. En el siguiente ejemplo, se define la relación entre una tabla de Hive y una tabla que está particionada y agrupada en BigQuery.

    CREATE TABLE my_hive_table (int_val BIGINT, text STRING, ts TIMESTAMP)
STORED BY 'com.google.cloud.hive.bigquery.connector.BigQueryStorageHandler'
TBLPROPERTIES (
'bq.table'='myproject.mydataset.mytable',
'bq.time.partition.field'='ts',
'bq.time.partition.type'='MONTH',
'bq.clustered.fields'='int_val,text'
);

  • Poda las columnas para evitar recuperar columnas innecesarias de la capa de datos.

  • Usa las propagaciones de predicados para filtrar previamente las filas de datos en la capa de almacenamiento de BigQuery. Esta técnica puede mejorar significativamente el rendimiento general de las consultas, ya que reduce la cantidad de datos que atraviesan la red.

  • Convierte automáticamente los tipos de datos de Hive en tipos de datos de BigQuery.

  • Lee las vistas y las instantáneas de tablas de BigQuery.

  • Integrar con Spark SQL

  • Realiza integraciones con Apache Pig y HCatalog.

Comenzar

Consulta las instrucciones para instalar y configurar el conector de Hive-BigQuery en un clúster de Hive.