Conector de Hive-BigQuery

El código abierto Conector Hive-BigQuery permite que tu sistema Apache Hive que las cargas de trabajo leen y escriben datos desde y hacia BigQuery y BigLake. Puedes almacenar datos en el almacenamiento de BigQuery o en formatos de datos de código abierto en Cloud Storage.

El conector de Hive-BigQuery implementa el API de Hive Storage Handler para permitir que las cargas de trabajo de Hive se integren en BigQuery y BigLake en diferentes tipos de tablas particionadas. El motor de ejecución de Hive controla las operaciones de procesamiento, como como agregaciones y uniones, y el conector administra las interacciones con en BigQuery o en buckets conectados a BigLake buckets de Cloud Storage.

En el siguiente diagrama, se ilustra cómo se ajusta el conector Hive-BigQuery entre las capas de procesamiento y datos.

Arquitectura del conector de Hive-BigQuery

Casos de uso

Estas son algunas de las formas en que el conector de Hive-BigQuery puede ayudarte a situaciones comunes basadas en datos:

  • Migración de datos. Tienes previsto trasladar tu almacén de datos de Hive a BigQuery y, luego, traducir de forma incremental tus consultas de Hive al dialecto de SQL de BigQuery. Esperas que la migración demore una cantidad significativa de tiempo debido al tamaño de tu almacén de datos y la gran cantidad de aplicaciones conectadas, y debes garantizar la continuidad durante las operaciones de migración. Este es el flujo de trabajo:

    1. Mueve tus datos a BigQuery
    2. Con el conector, puedes acceder a tus consultas originales de Hive y ejecutarlas mientras gradualmente traduces las consultas de Hive al dialecto SQL de BigQuery conforme a ANSI.
    3. Después de completar la migración y traducción, retirará Hive.

  • Flujos de trabajo de Hive y BigQuery Tienes planeado usar Hive para algunas tareas y BigQuery para cargas de trabajo que se benefician por sus funciones, como BigQuery BI Engine o BigQuery ML. Usas el conector para unir las tablas de Hive a las tablas de BigQuery.

  • Dependencia de una pila de software de código abierto (OSS) Para evitar el bloqueo del proveedor, usas una pila de OSS completa para tu almacén de datos. Este es tu plan de datos:

    1. Si migras tus datos en su formato OSS original, como Avro, Parquet o ORC a buckets de Cloud Storage con una conexión de BigLake.

    2. Sigues usando Hive para ejecutar y procesar tus consultas del dialecto SQL de Hive.

    3. Usa el conector según sea necesario para conectarte a BigQuery y beneficiarte de las siguientes funciones:

Funciones

Puedes usar el conector de Hive-BigQuery para trabajar con tus datos de BigQuery y realizar las siguientes tareas:

  • Ejecuta consultas con los motores de ejecución MapReduce y Tez.
  • Crear y borrar tablas de BigQuery de Hive
  • Une tablas de BigQuery y BigLake con tablas de Hive.
  • Realiza lecturas rápidas de tablas de BigQuery con el API de Storage Read y Formato de Apache Flecha
  • Escribe datos en BigQuery con las siguientes opciones: métodos:
    • Operaciones de escritura directa con la API de BigQuery Storage Write en modo pendiente Usa este método para las cargas de trabajo que requieren baja latencia de escritura, como los y paneles de control con períodos de actualización cortos.
    • Las operaciones de escritura indirectas se realizan a través de la puesta en escena de archivos Avro temporales en Cloud Storage y, luego, cargando los archivos en una tabla de destino con la API de Job de carga. Este método es menos costoso que el método directo, ya que los trabajos de carga de BigQuery no acumulan cargos. Dado que este método es más lento y se usa mejor en cargas de trabajo que no son urgentes

  • Accede a las tablas particionadas por tiempo y agrupadas de BigQuery. El siguiente ejemplo define la relación entre una tabla de Hive y una tabla que está particionada y agrupada en clústeres en BigQuery.

    CREATE TABLE my_hive_table (int_val BIGINT, text STRING, ts TIMESTAMP)
STORED BY 'com.google.cloud.hive.bigquery.connector.BigQueryStorageHandler'
TBLPROPERTIES (
'bq.table'='myproject.mydataset.mytable',
'bq.time.partition.field'='ts',
'bq.time.partition.type'='MONTH',
'bq.clustered.fields'='int_val,text'
);

  • Reduce las columnas para evitar recuperar columnas innecesarias de la capa de datos.

  • Usa pushdowns de predicado para filtrar previamente las filas de datos en el almacenamiento de BigQuery por la capa de prealimentación. Esta técnica puede mejorar significativamente el rendimiento general de las consultas, ya que reduce la cantidad de datos que atraviesan la red.

  • Convierte automáticamente los tipos de datos de Hive en tipos de datos de BigQuery.

  • Lee las vistas y las instantáneas de tablas de BigQuery.

  • Integrar en Spark SQL

  • Integración en Apache Pig y HCatalog

Comenzar

Consulta las instrucciones para instalar y configurar el conector de Hive-BigQuery en un clúster de Hive.