Problemas y limitaciones conocidos de la versión de imagen 2.2:
- Linaje de datos no está disponible, ya que Spark 3.5 no admite la recopilación de datos de linaje.
- Los agentes heredados no se instalan en los clústeres de la versión 2.2 de la imagen. monitoring-agent-defaults no está disponible, a menos que se instale el Agente de operaciones. Nota: Las métricas y el registro de OSS están disponibles para los componentes de Dataproc.
- El registro o la supervisión de aplicaciones de terceros no están disponibles a menos que el Agente de operaciones esté instalado.
Notas:
- El código fuente de las bibliotecas de imágenes 2.2 que tienen licencias recíprocas y restringidas está disponible en la ruta
/usr/local/share/google/dataproc/third-party-sources
en las VMs de clústeres de Dataproc. - Se sabe que los siguientes procedimientos de Hudi
no funcionan en una tabla de Hudi respaldada por el sistema de archivos de Cloud Storage:
run_clustering
run_compaction