Procesa datos de AA con Dataflow y Cloud Storage FUSE
Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
En esta página, se describe cómo usar Cloud Storage FUSE con Dataflow para procesar conjuntos de datos para tareas de aprendizaje automático (AA).
Cuando trabajas con tareas de AA, Dataflow se puede usar para procesar grandes conjuntos de datos. Sin embargo, algunas bibliotecas de software comunes que se usan para el AA, como OpenCV, tienen requisitos de archivos de entrada. Con frecuencia, requieren que se acceda a los archivos como si estuvieran almacenados en el disco duro de una computadora local, en lugar de en el almacenamiento basado en la nube. Este requisito genera dificultades y demoras. Como solución, las canalizaciones pueden usar conectores de E/S especiales para la entrada o descargar archivos en las máquinas virtuales (VM) de Dataflow antes del procesamiento. Estas soluciones suelen ser ineficientes.
Cloud Storage FUSE proporciona una forma de evitar estas soluciones ineficientes.
Cloud Storage FUSE te permite activar tus buckets de Cloud Storage en las VMs de Dataflow. Esto hace que los archivos en Cloud Storage aparezcan como si fueran archivos locales. Como resultado, el software de AA puede acceder a ellos directamente sin necesidad de descargarlos de antemano.
Beneficios
Usar Cloud Storage FUSE para tareas de AA ofrece los siguientes beneficios:
Se puede acceder a los archivos de entrada alojados en Cloud Storage en la VM de Dataflow con la semántica del sistema de archivos local.
Dado que se accede a los datos a pedido, no es necesario descargar los archivos de entrada de antemano.
Asistencia y limitaciones
Para usar Cloud Storage FUSE con Dataflow, debes configurar las VMs de trabajador con direcciones IP externas para que cumplan con los requisitos de acceso a Internet.
Especifica los buckets que se usarán con Cloud Storage FUSE
Para especificar un bucket de Cloud Storage que se activará en una VM, usa la marca --experiments. Para especificar varios buckets, usa un punto y coma (;) como delimitador entre los nombres de bucket.
El formato es el siguiente:
--experiments="gcsfuse_buckets=CONFIG"
Reemplaza lo siguiente:
CONFIG: Es una lista delimitada por punto y coma de entradas de Cloud Storage, en la que cada entrada es una de las siguientes:
BUCKET_NAME: Es el nombre de un bucket de Cloud Storage.
Por ejemplo, dataflow-samples Si omites el modo del bucket, se tratará como de solo lectura.
BUCKET_NAME:MODE: Es el nombre de un bucket de Cloud Storage y su modo asociado, en el que MODE es ro (solo lectura) o rw (lectura y escritura).
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[],[],null,["# Process ML data using Dataflow and Cloud Storage FUSE\n\nThis page describes how to use\n[Cloud Storage FUSE](/storage/docs/cloud-storage-fuse/overview) with Dataflow\nto process datasets for machine learning (ML) tasks.\n\nWhen working with ML tasks, Dataflow can be used for processing large\ndatasets. However, some common software libraries used for ML, like OpenCV, have\ninput file requirements. They frequently require files to be accessed as if they\nare stored on a local computer's hard drive, rather than from cloud-based\nstorage. This requirement creates difficulties and delays. As a solution,\npipelines can either use special I/O connectors for input or download files onto\nthe Dataflow virtual machines (VMs) before processing. These solutions\nare frequently inefficient.\n\nCloud Storage FUSE provides a way to avoid these inefficient solutions.\nCloud Storage FUSE lets you mount your Cloud Storage buckets onto the\nDataflow VMs. This makes the files in Cloud Storage appear as if they\nare local files. As a result, the ML software can access them directly without\nneeding to download them beforehand.\n\nBenefits\n--------\n\nUsing Cloud Storage FUSE for ML tasks offers the following benefits:\n\n- Input files hosted on Cloud Storage can be accessed in the Dataflow VM using local file system semantics.\n- Because the data is accessed on-demand, the input files don't have to be downloaded beforehand.\n\nSupport and limitations\n-----------------------\n\n- To use Cloud Storage FUSE with Dataflow, you must configure worker VMs with [external IP addresses](/dataflow/docs/guides/routes-firewall#internet_access_for) so that they meet the internet access requirements.\n\nSpecify buckets to use with Cloud Storage FUSE\n----------------------------------------------\n\nTo specify a Cloud Storage bucket to mount to a VM, use the\n[`--experiments`](/dataflow/docs/reference/pipeline-options) flag. To specify\nmultiple buckets, use a semicolon delimiter (`;`) between bucket names.\n\nThe format is as follows: \n\n --experiments=\"gcsfuse_buckets=\u003cvar translate=\"no\"\u003eCONFIG\u003c/var\u003e\"\n\nReplace the following:\n\n- \u003cvar translate=\"no\"\u003eCONFIG\u003c/var\u003e: a semicolon-delimited list of\n Cloud Storage entries, where each entry is one of the following:\n\n 1. \u003cvar translate=\"no\"\u003eBUCKET_NAME\u003c/var\u003e: A Cloud Storage bucket name.\n For example, `dataflow-samples`. If you omit the bucket mode, the bucket\n is treated as read-only.\n\n 2. \u003cvar translate=\"no\"\u003eBUCKET_NAME\u003c/var\u003e`:`\u003cvar translate=\"no\"\u003eMODE\u003c/var\u003e: A\n Cloud Storage bucket name and its associated mode, where `MODE` is\n either `ro` (read-only) or `rw` (read-write).\n\n For example: \n\n --experiments=\"gcsfuse_buckets=read-bucket1;read-bucket2:ro;write-bucket1:rw\"\n\n In this example, specifying the mode assures the following:\n - `gs://read-bucket1` is mounted in read-only mode.\n - `gs://read-bucket2` is mounted in read-only mode.\n - `gs://write-bucket1` is mounted in read-write mode.\n\n Beam pipeline code can access these buckets at\n `/var/opt/google/gcs/`\u003cvar translate=\"no\"\u003eBUCKET_NAME\u003c/var\u003e."]]
