Cloud Data Fusion proporciona un complemento de Sensitive Data Protection que ofrece tres transformaciones que pueden filtrar, ocultar o desencriptar tus datos sensibles:
La transformación del filtro de PII te permite filtrar registros sensibles de una transmisión de datos de entrada.
La transformación de ocultamiento te permite transformar datos sensibles, como enmascarar los datos o encriptarlos.
La transformación de desencriptación te permite desencriptar datos sensibles que se encriptaron previamente con la transformación Ocultar.
Costos
En este documento, usarás los siguientes componentes facturables de Google Cloud:
En la tabla de permisos, selecciona una de las siguientes cuentas de servicio en la columna Principal:
Para obtener permiso de acceso a los recursos durante el tiempo de ejecución, selecciona la cuenta de servicio que usa tu clúster de Dataproc. La opción predeterminada es la cuenta de servicio de Compute Engine, que no se recomienda por motivos de seguridad.
Para obtener permiso para acceder a los recursos cuando usas Wrangler o Preview en Cloud Data Fusion (no en el tiempo de ejecución), selecciona la cuenta de servicio que coincida con el siguiente formato: service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com.
Haz clic en el ícono de lápiz a la derecha de la cuenta de servicio.
Haz clic en Agregar otra función.
Haz clic en el menú desplegable que aparece.
Usa la barra de búsqueda para buscar y, luego, selecciona Administrador de DLP.
Haga clic en Save. Verifica que el Administrador de DLP aparezca en la columna Función.
Implementa el complemento de Protección de datos sensibles
Ve a tu instancia:
En la Google Cloud consola, ve a la página de Cloud Data Fusion.
Para abrir la instancia en Cloud Data Fusion Studio,
haz clic en Instancias y, luego, en Ver instancia.
En la IU web de Cloud Data Fusion, haz clic en Centro en la parte superior derecha.
Haz clic en el complemento Prevención de pérdida de datos.
Haz clic en Implementar.
Haz clic en Finalizar.
Haga clic en Crear una canalización.
Usa la transformación del filtro de PII
Esta transformación separa los registros sensibles de los registros no sensibles. Un registro se considera sensible si coincide con los criterios que defines en una plantilla de Sensitive Data Protection. Por ejemplo, cuando creas tu plantilla, puedes definir datos sensibles como información de tarjetas de crédito o números de identificación personal.
Abre tu canalización en Cloud Data Fusion y haz clic en Studio>Transform.
Haz clic en la transformación Filtro de PII.
Mantén el puntero sobre el nodo de Filtro de PII y haz clic en Propiedades.
En Filtro activado, elige si deseas filtrar registros o campos.
En cumplimiento de los límites de Sensitive Data Protection, si un registro excede los 0.5 MB, tu canalización de Cloud Data Fusion fallará.
Para evitar este tipo de fallas, filtra por campo en lugar de registro.
En ID de plantilla, ingresa el ID de plantilla de la plantilla de Sensitive Data Protection que creaste.
En Administración de errores, define cómo proceder cuando tu canalización encuentre datos sensibles. Elige una de las siguientes opciones de administración de errores:
Detener canalización: detiene la canalización apenas se encuentra un error.
Omitir registro: omite el registro que causó el error. La canalización continúa ejecutándose y no se informa ningún error.
Enviar al error: envía errores al puerto de error. La canalización continúa ejecutándose.
Haz clic en el botón X.
Usa la transformación de ocultamiento
Esta transformación identifica registros sensibles en el flujo de entrada y aplica las transformaciones que defines para esos registros. Un registro se considera sensible si coincide con filtros predefinidos de Sensitive Data Protection que elegiste
o una plantilla personalizada que definiste.
En la página Estudio de la IU web de Cloud Data Fusion, haz clic para expandir el menú Transformar.
Haz clic en la transformación Ocultar.
Mantén el puntero sobre el nodo Ocultar y haz clic en Propiedades.
Elige si deseas aplicar transformaciones a filtros predefinidos o si deseas crear uno propio.
No puedes combinar estas dos opciones. Puedes usar filtros predefinidos O crear una plantilla personalizada.
Filtros predefinidos
Para aplicar transformaciones a filtros predefinidos, deja la Plantilla personalizada con el valor No y, en Coincidencias, define una regla:
En Aplicar, haz clic en el menú desplegable y elige una transformación.
Obtén más información sobre las transformaciones disponibles en la sección Descripción de la pestaña Documentación del complemento.
En Activado, haz clic en el menú desplegable y elige una categoría, que es un conjunto de filtros predefinidos de Protección de datos sensibles agrupados por tipo. Para ver la lista completa de categorías proporcionadas y los filtros que contienen, consulta la sección Asignación de filtro de DLP en la pestaña Documentación del complemento.
Para configurar varias reglas coincidentes, haz clic en el botón +.
Plantilla personalizada
Para aplicar transformaciones según una plantilla personalizada, configura la Plantilla personalizada como Sí.
De regreso en la IU web de Cloud Data Fusion, en el menú de propiedades Ocultar, en ID de plantilla, ingresa el ID de plantilla de la plantilla personalizada que creaste.
Haz clic en el botón X.
Usa la transformación de desencriptación
Esta transformación identifica los registros que se encriptaron con Sensitive Data Protection en el flujo de entrada y aplica la desencriptación. Solo se pueden desencriptar los registros que se encriptaron con un algoritmo reversible, como la encriptación de preservación de formato o la encriptación determinística.
En la página Estudio de la IU web de Cloud Data Fusion, haz clic para expandir el menú Transformar.
Haz clic en la transformación Desencriptar.
Mantén el puntero sobre el nodo Desencriptar y haz clic en Propiedades.
Ingresa los mismos valores que se usaron para configurar el complemento Redact que encriptó estos datos. Las propiedades de este complemento son idénticas a las del complemento Ocultar.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[[["\u003cp\u003eThis guide explains how to use the Sensitive Data Protection plugin within Cloud Data Fusion to filter, redact, or decrypt sensitive data.\u003c/p\u003e\n"],["\u003cp\u003eThe Sensitive Data Protection plugin offers three transforms: PII Filter for removing sensitive records, Redact for masking or encrypting data, and Decrypt for reversing Redact transformations.\u003c/p\u003e\n"],["\u003cp\u003eUtilizing the Sensitive Data Protection plugin requires enabling both the Cloud Data Fusion and DLP APIs, as well as granting the appropriate IAM permissions for data handling.\u003c/p\u003e\n"],["\u003cp\u003eSensitive Data Protection templates, either predefined or custom, are used to define what is considered sensitive data and how it should be handled within the PII Filter and Redact transforms.\u003c/p\u003e\n"],["\u003cp\u003eCosts associated with using this feature include Cloud Data Fusion usage and Sensitive Data Protection services, which can be estimated using the Google Cloud pricing calculator.\u003c/p\u003e\n"]]],[],null,["# Use Sensitive Data Protection with Cloud Data Fusion\n\nThis guide explains how to use [Sensitive Data Protection](/sensitive-data-protection) with Cloud Data Fusion.\n\nCloud Data Fusion provides a Sensitive Data Protection [plugin](/data-fusion/docs/concepts/overview#plugin)\nthat provides three transforms that can filter, redact, or decrypt your sensitive data:\n\n- The PII Filter transform lets you *filter* sensitive records from an\n input stream of data.\n\n- The Redact transform lets you *transform* sensitive data, such as\n masking the data or encrypting it.\n\n- The Decrypt transform lets you *decrypt* sensitive data that was previously\n encrypted using the Redact transform,\n\n| **Note:** The Sensitive Data Protection plugin available in Cloud Data Fusion is based on the Cloud Data Loss Prevention API and therefore complies with the Sensitive Data Protection [quotas and usage limits](/sensitive-data-protection/limits).\n\nCosts\n-----\n\n\nIn this document, you use the following billable components of Google Cloud:\n\n\n- [Cloud Data Fusion](/data-fusion/pricing)\n- [Sensitive Data Protection](/sensitive-data-protection/pricing)\n\n\nTo generate a cost estimate based on your projected usage,\nuse the [pricing calculator](/products/calculator). \nNew Google Cloud users might be eligible for a [free trial](/free). \n\n\u003cbr /\u003e\n\nBefore you begin\n----------------\n\n1. In the Google Cloud console, go to the project selector page and select or\n create a project.\n\n [Go to the project selector](https://console.cloud.google.com/projectselector2/home/dashboard)\n2. Enable the Cloud Data Fusion API for your project.\n\n [Enable the Cloud Data Fusion API](https://console.cloud.google.com/flows/enableapi?apiid=datafusion.googleapis.com)\n\n \u003cbr /\u003e\n\n3. Enable the DLP API (part of Sensitive Data Protection) for your project.\n\n [Enable the DLP API](https://console.cloud.google.com/marketplace/details/google/dlp.googleapis.com)\n\n \u003cbr /\u003e\n\n4. [Create a Cloud Data Fusion instance](/data-fusion/docs/how-to/create-instance).\n\n | **Note:** The Sensitive Data Protection plugin is available for instances using Cloud Data Fusion version 6.1.1 or higher.\n\nGrant Sensitive Data Protection permissions\n-------------------------------------------\n\n1. In the Google Cloud console, go to the IAM page.\n\n [Go to IAM](https://console.cloud.google.com/project/_/iam-admin/iam)\n\n \u003cbr /\u003e\n\n2. In the permissions table, select one of the following service accounts\n in the **Principal** column:\n\n 1. For permission to resources at runtime, select the service account that\n your Dataproc cluster uses. The default is the Compute Engine\n service account, which is not recommended for security reasons\n\n 2. For permission to resources when using Wrangler or Preview in\n Cloud Data Fusion (not at runtime), instead select the service\n account that matches the format:\n `service-`\u003cvar translate=\"no\"\u003eproject-number\u003c/var\u003e`@gcp-sa-datafusion.iam.gserviceaccount.com`.\n\n3. Click the pencil icon to the right of the service account.\n\n4. Click **Add Another Role**.\n\n5. Click the dropdown that appears.\n\n6. Use the search bar to search and then select **DLP Administrator**.\n\n \u003cbr /\u003e\n\n7. Click **Save** . Check that **DLP Administrator** appears in the **Role** column.\n\nDeploy the Sensitive Data Protection plugin\n-------------------------------------------\n\n1. Go to your instance:\n\n\n 1. In the Google Cloud console, go to the Cloud Data Fusion page.\n\n 2. To open the instance in the Cloud Data Fusion Studio,\n click **Instances** , and then click **View instance**.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n\n \u003cbr /\u003e\n\n2. In the Cloud Data Fusion web UI, click **Hub** in the upper right.\n\n3. Click the **Data Loss Prevention** plugin.\n\n4. Click **Deploy**.\n\n5. Click **Finish**.\n\n6. Click **Create a pipeline**.\n\n \u003cbr /\u003e\n\nUse the PII Filter transform\n----------------------------\n\nThis transform separates sensitive records from non-sensitive records. A record\nis considered sensitive if it matches criteria that you define in a\nSensitive Data Protection template. For example, when you create your template, you can\ndefine sensitive data to be credit card information or Social Security numbers.\n\n1. [Create a Sensitive Data Protection inspection template](/sensitive-data-protection/docs/creating-templates-inspect).\n\n2. Open your pipeline in Cloud Data Fusion and click **Studio** \\\u003e **Transform**.\n\n3. Click the **PII Filter** transform.\n\n4. Hold the pointer over the **PII Filter** node and click **Properties**.\n\n5. Under **Filter on**, choose whether you want to filter records or fields.\n\n In compliance with [Sensitive Data Protection limits](/sensitive-data-protection/limits#content_limits),\n if a record exceeds 0.5 MB, your Cloud Data Fusion pipeline will fail.\n To avoid such a failure, filter by field instead of record.\n6. Under **Template ID**, enter the template ID of the Sensitive Data Protection\n template you created.\n\n7. Under **Error Handling**, define how to proceed when your pipeline encounters\n sensitive data. Choose one of the following error handling options:\n\n - **Stop pipeline**: Stops the pipeline as soon as an error is encountered.\n - **Skip record**: Skips the record that caused the error. The pipeline continues to run, and no error is reported.\n - **Send to error**: Sends errors to the error port. The pipeline continues to run.\n8. Click the **X** button.\n\nUse the Redact transform\n------------------------\n\nThis transform identifies sensitive records in the input stream and applies\ntransformations that you define to those records. A record is considered\nsensitive if it matches predefined Sensitive Data Protection filters you chose\nor a custom template you defined.\n\n1. In the **Studio** page of the Cloud Data Fusion web UI, click to expand\n the **Transform** menu.\n\n2. Click the **Redact** transform.\n\n3. Hold the pointer over the **Redact** node and click **Properties**.\n\n4. Choose if you want to apply transformations to predefined filters or if\n you'd like to create your own.\n\n You cannot combine these two options. You can either use predefined\n filters OR create a custom template. \n\n ### Predefined filters\n\n To apply transformations to predefined filters, leave the **Custom\n Template** set to **No** , and under **Matching**, define a rule:\n 1. Following **Apply** , click the dropdown and choose a transformation.\n Learn more about the available transformations in the\n **Description** section of the plugin's **Documentation** tab.\n\n 2. Following **on** , click the dropdown and choose a category, which is\n a set of predefined Sensitive Data Protection filters grouped together\n by type. For the full list of provided categories and what filters\n they contain, see the **DLP Filter Mapping** section in the\n plugin's **Documentation** tab.\n\n To set multiple matching rules, click the **+** button.\n\n \u003cbr /\u003e\n\n \u003cbr /\u003e\n\n ### Custom template\n\n To apply transformations according to a custom template, set the **Custom\n Template** to **Yes**.\n 1. [Create a custom Sensitive Data Protection template](/sensitive-data-protection/docs/creating-templates-inspect).\n\n 2. Back in the Cloud Data Fusion web UI, in the Redact properties\n menu, under **Template ID**, enter the template ID of the custom\n template you created.\n\n5. Click the **X** button.\n\nUse the Decrypt transform\n-------------------------\n\nThis transform identifies records that were encrypted using Sensitive Data Protection\nin the input stream and applies decryption. Only records that were encrypted\nusing a reversible algorithm such as *Format Preserving Encryption* or\n*Deterministic Encryption* can be decrypted.\n\n1. In the **Studio** page of the Cloud Data Fusion web UI, click to expand\n the **Transform** menu.\n\n2. Click the **Decrypt** transform.\n\n3. Hold the pointer over the **Decrypt** node and click **Properties**.\n\n4. Enter the same values that were used to configure the **Redact** plugin that\n encrypted this data. The properties for this plugin are identical to the\n **Redact** plugin.\n\n5. Click the **X** button.\n\nWhat's next\n-----------\n\n- Follow a [tutorial to redact sensitive user data](/data-fusion/docs/tutorials/redacting-confidential-data).\n- Read more about [Sensitive Data Protection](/sensitive-data-protection/docs)."]]
