Tipos de archivo
En la siguiente tabla, se muestran los tipos de archivos que admite Sensitive Data Protection, sus límites de análisis, modos de análisis y compatibilidad con la transformación correspondientes.
Sensitive Data Protection se basa en extensiones de archivo y tipos de MIME multimedia para identificar los tipos de archivos que se analizarán y los modos de análisis que se aplicarán. Por ejemplo, la Protección de datos sensibles analiza un archivo .txt
en el modo de texto sin formato, incluso si el archivo está estructurado como un archivo CSV, que normalmente se analiza en el modo de análisis estructurado.
Tipo de archivo | Extensiones de archivo | Límites | Modo de escaneo | Asistencia de transformación |
---|---|---|---|---|
Apache Avro |
avro |
Límites de Avro | Análisis estructurado | |
Comma- or tab-separated values | csv, tsv | Análisis estructurado | Desidentifica contenido | |
PDF |
Límites de PDF | Análisis inteligente de documentos | ||
Text |
asc, brf, c, cc, cpp, cxx, c++, cs, css, dart, eml, go, h, hh, hpp, hxx, h++, hs, html, htm, shtml, shtm, xhtml, lhs, ini, java, js, json, jsonl, ocaml, md, mkd, markdown, m, ml, mli, pl, pm, php, phtml, pht, py, pyw, rb, rbw, rs, rc, scala, sh, sql, tex, txt, text, vcard, vcs, wml, xml, xsl, xsd, yml, yaml. |
Texto sin formato | Desidentifica contenido | |
Microsoft Word |
docx, dotx, docm, dotm |
Límites de palabras | Análisis inteligente de documentos | |
Microsoft Excel |
xlsx, xlsm, xltx y xltm |
Límites de Excel | Análisis inteligente de documentos | |
Microsoft Powerpoint |
pptx, pptm, potx, potm |
Límites de PowerPoint | Análisis inteligente de documentos | |
Image |
bmp, gif, jpg, jpeg, jpe, png |
OCR | Ocultamiento | |
Binary |
Imágenes y tipos de archivos no compatibles que no se pueden analizar mediante el reconocimiento óptico de caracteres (OCR). |
Binaria |
Clústeres de archivos
En la siguiente tabla, se muestran los grupos de archivos que admite la Protección de datos sensibles mientras se crean perfiles de datos sensibles. Un perfil de datos de almacén de archivos proporciona puntuaciones de sensibilidad y riesgo de datos para cada colección de archivos similares.
Los archivos pueden moverse entre clústeres de archivos a medida que Sensitive Data Protection agrega compatibilidad con más tipos de archivos. A medida que se expande la compatibilidad con el análisis, es posible que el servicio de descubrimiento comience a analizar archivos que antes no se analizaban. Se te factura como se describe en Precios de descubrimiento.
Tipo de archivo | Extensiones de archivo | Límites | Modo de escaneo | |
---|---|---|---|---|
Text |
asc, eml, html, htm, ini, json, jsonL, log, md, mkd, markdown, plist, sql, shtml, shtm, tex, txt, text, vcard, vcs, xsl, xsd |
Texto sin formato | ||
Source Code |
bat, brf, c, cc, cpp, cxx, c++, cs, css, dart, go, h, hh, hpp, hxx, hs,lhs,, java, js,, ocaml, m, ml,, pl, php, phtml, phtm, ps1, py, pyw, rb, rbw, rs, rc, scala, sh, sql,, wml, xml, yml, yaml, bat, vb, scpt, scr, script, cmd, vbs |
Texto sin formato | ||
Structured Data |
avro, csv, tsv, proto |
Análisis estructurado para archivos avro, csv y tsv. Análisis de texto sin formato para archivos proto | ||
Rich Documents |
doc, docx, dotx, docm, dotm, xls, xlsx, xlsm, xltx, xltm, xls, ppt, pptx, pptm, potx, potm, pdf |
Se analizan los archivos PDF, Microsoft Word, Excel y PowerPoint admitidos de menos de 30 MiB. | Análisis inteligente de documentos | |
Images |
bmp, gif, heic, ico, jpg, jpeg, jpe, png, pm, svg, tiff, webp |
Las imágenes admitidas (bmp, gif, jpg, jpeg, jpe, png) de menos de 4 MiB se analizan con OCR en regiones que lo admiten. Fuera de estas regiones, no se analizan las imágenes. | OCR | |
Executables |
ac, air, app, appimage, apk, bas, bms, bin, class, cls, com, command, ctl, ctx, dca, ddf, dep, dob, dox, dll, dsr, dsx, dws, exe, frm, frx, gadget, ipa, mpk, oca, ocx, pag, pgx, pif, pyc, res, run, scb, tlb, vbd, vbg, vbl, vbp, vbr, vbw, vbz, vlx, wct, wsf, widget, workflow, x86, x86_64, xap, xbe, xlm |
No se escaneó en este momento | ||
Archives |
zz, zpaq, zoo, zip, zipx, yz1, xp3, xar, wim, war, uha, uca, uc, uc0, uc2, ucn, ur2, ue2, tar, gz, tgz, sqx, sitx, sit, shk, sfx, sen, sea, sda, s7z, rk, rar, qda, pit, pim, phar, pea, paq6, paq7, paq8 y variantes, pak, lzx, lzh, lha, kgb, jar, ice, hki, ha, genozip, gca, ear, dmg, dgc, dd, dar, cpt, cfs, car, cab, bh, ba, b6z, b1, arj, arc, cdx, arc, ark, apk, alz, afa, ace, 7z, a, ar, cpio, shar, run, tar, tar, 7z, ace, afa, arc, arj, b1, cab, cfs, cpt, dar, dgc, arc, lzh, lha, lzx, iso, img, ima, arc, mou, dmg, partimg, paq#*, lpaq#*, pea, pim, qda, rar, rk, shk, sit, sitx, uc, uc0, uc2, ucn, ur2, ue2, wim, swm, esd, zip, zpaq |
No se escaneó en este momento | ||
Multimedia |
aa, aac, aax, act, aiff, alac, amr, ape, au, awb, dss, dvf, flac, gsm, iklax, ivs, m4a, m4b, m4p, mmf, movpkg, mp3, mpc, msv, nmf, ogg, oga, mogg, opus, ra, rm, raw, rf64, sln, tta, voc, vox, wav, wma, wv, webm, 8svx, cda, webm, mkv, flv, flv, vob, ogv, ogg, drc, gif, gifv, mng, avi, MTS, M2TS, TS, mov, qt, wmv, yuv, rm, rmvb, viv, asf, amv, mp4, m4p (con DRM), m4v, mpg, mp2, mpeg, mpe, mpv, mpg, mpeg, m2v, m4v, svi, 3gp, 3g2, mxf, roq, nsv, flv, f4v, f4p, f4a, f4b |
No se escaneó en este momento | ||
AI Models |
keras, pt, pth, tflite |
No se escaneó en este momento | ||
Unknown |
Cualquier otro archivo que no esté dentro de otro clúster | Son archivos que no tienen extensiones o que usan extensiones comunes, pero no estándar, como .dat, .1 o .2. | No se escaneó en este momento |
Tipos de archivo no compatibles en Cloud Storage
Si no se reconoce un archivo durante un análisis de almacenamiento, el sistema lo analizará como un archivo binario de forma predeterminada. Intenta convertir el contenido en UTF_8 y, luego, lo analiza como texto sin formato.
Si no se reconoce un archivo durante un análisis de descubrimiento, el sistema no lo analiza.
Si tienes una colección de archivos que deseas omitir porque la Protección de datos sensibles
no los admite, puedes especificar una lista de exclusiones mediante CloudStorageOptions.file_set.regex_file_set.exclude_regex
.
Límites de bytes analizados por archivo
En general, puedes limitar la cantidad de bytes analizados por archivo. En la consola de Google Cloud, puedes hacerlo activando el muestreo. En la API de Cloud Data Loss Prevention, configuras el campo bytes_limit_per_file
o bytesLimitPerFilePercent
.
El muestreo no es compatible con los modos de OCR y análisis inteligente. Es decir, cuando se analizan los siguientes tipos de archivos en el modo de OCR o de análisis de documentos inteligente, la Protección de datos sensibles ignora cualquier configuración que apliques para limitar los bytes analizados por archivo.
- Imagen
- Microsoft Excel
- Microsoft PowerPoint
- Microsoft Word
Si analizas estos archivos en modo binario, se aplican los límites.
Modos de escaneo
Cada modo de análisis proporciona detalles de ubicación adicionales en los resultados de inspección.
Modo de escaneo | Notas | Se deben proporcionar detalles de ubicación adicionales |
---|---|---|
Binaria | Si no se analiza un archivo como cualquier otro tipo, se convertirá a UTF_8 y se analizará como texto. El análisis de objetos binarios afecta la calidad de detección. |
|
Análisis inteligente de documentos | Los documentos se analizan con el texto extraído del formato. Las imágenes incorporadas se analizan mediante OCR en regiones que lo admiten. Fuera de estas regiones, las imágenes se analizan como archivos binarios. |
DocumentLocation |
Extracción de metadatos | Se analizarán |
MetadataLocation |
Reconocimiento óptico de caracteres (OCR) | Las imágenes se analizan mediante OCR en regiones que lo admiten. Fuera de estas regiones, las imágenes se analizan como archivos binarios. |
ImageLocation |
Texto sin formato | No hay detalles adicionales | |
Análisis estructurado | La información estructural se usa para influir en los resultados. En este modo de análisis, Sensitive Data Protection utiliza la información del encabezado como contexto. Realiza un análisis entre filas y columnas para encontrar datos correlacionados. Por ejemplo, este modo de análisis puede identificar una dirección cuyos componentes están distribuidos en varias columnas de una fila. Los resultados del análisis contienen información estructural, como la fila que contiene el hallazgo y el nombre de la columna. Los resultados no cruzan los límites de las celdas de una tabla. |
RecordLocation |
Cómo analizar archivos estructurados en el modo de análisis estructurado
Cuando analizas un archivo estructurado, como un archivo Avro, CSV o TSV, la Protección de datos sensibles intenta analizarlo en el modo de análisis de análisis estructurado. Este modo de análisis tiene una calidad de detección superior en comparación con el análisis binario, ya que el modo de análisis estructurado busca correlaciones entre filas y columnas en los datos estructurados.
Los resultados se muestran con metadatos adicionales que indican la ubicación del resultado, incluido el fieldId
.
Sin embargo, en los siguientes casos, Sensitive Data Protection podría revertir al modo de análisis binario, que no incluye las mejoras del modo de análisis estructurado:
- El archivo o el encabezado están dañados.
- La configuración del trabajo de inspección tiene límites de tamaño, como
bytesLimitPerFile
ybytesLimitPerFilePercent
, que son demasiado pequeños. Por ejemplo, si el límite debytesLimitPerFile
no es lo suficientemente grande para incluir un encabezado de bloque completo y, al menos, una fila de datos válidos, Sensitive Data Protection podría analizar ese archivo en modo de análisis binario.
La selección de datos que se analizan depende de si el muestreo está configurado para comenzar desde la parte superior del archivo o desde una posición aleatoria.
Por ejemplo, supongamos que tienes un archivo Avro que tiene encabezados de bloque de 50 KB y bloques de datos de 2 MB. En general, comenzar la muestra desde la parte superior te ayuda a asegurarte de que el encabezado de bloque siempre se incluya en la muestra que toma Sensitive Data Protection. Si comienzas a tomar muestras desde una posición aleatoria del archivo y el tamaño de la muestra es menor que un bloque de datos, es posible que el encabezado del bloque no se incluya en la muestra. En este ejemplo, aumentar el tamaño de la muestra (especificado por bytesLimitPerFile
o bytesLimitPerFilePercent
) a 2.05 MB ayuda a evitar que la inspección vuelva al modo de análisis binario.