Jenis file dan mode pemindaian yang didukung

Jenis file

Tabel berikut menunjukkan jenis file yang didukung Sensitive Data Protection, batas pemindaian yang sesuai, mode pemindaian, dan dukungan transformasi.

Sensitive Data Protection mengandalkan ekstensi file dan jenis media (MIME) untuk mengidentifikasi jenis file yang akan dipindai dan mode pemindaian yang akan diterapkan. Misalnya, Perlindungan Data Sensitif memindai file .txt dalam mode teks biasa, meskipun file tersebut disusun sebagai file CSV, yang biasanya dipindai dalam mode penguraian terstruktur.

Jenis file Ekstensi file Batas Mode pemindaian Dukungan transformasi
Apache Avro

avro

Batas Avro Penguraian terstruktur
Comma- or tab-separated values

csv, tsv

Penguraian terstruktur Melakukan de-identifikasi konten
PDF

pdf

Batas PDF Penguraian dokumen cerdas
Text

asc, brf, c, cc, cpp, cxx, c++, cs, css, dart, eml, go, h, hh, hpp, hxx, h++, hs, html, htm, shtml, shtm, xhtml, lhs, ini, java, js, json, jsonl, ocaml, md, mkd, markdown, m, ml, mli, pl, pm, php, phtml, pht, py, pyw, rb, rbw, rs, rc, scala, sh, sql, tex, txt, text, vcard, vcs, wml, xml, xsl, xsd, yml, yaml.

Teks biasa Melakukan de-identifikasi konten
Microsoft Word

docx, dotx, docm, dotm

Batas kata Penguraian dokumen cerdas
Microsoft Excel

xlsx, xlsm, xltx, xltm

Batas Excel Penguraian dokumen cerdas
Microsoft Powerpoint

pptx, pptm, potx, potm

Batas PowerPoint Penguraian dokumen cerdas
Image

bmp, gif, jpg, jpeg, jpe, png

OCR Penyamaran
Binary

Jenis file yang tidak didukung dan gambar yang tidak dapat dipindai menggunakan pengenalan karakter optik (OCR).

Biner

Cluster file

Tabel berikut menunjukkan grup file yang didukung Sensitive Data Protection saat membuat profil data sensitif. Profil data penyimpanan file memberikan skor sensitivitas dan risiko data untuk setiap kumpulan file serupa.

File dapat berpindah antar-cluster file saat Sensitive Data Protection menambahkan dukungan untuk lebih banyak jenis file. Seiring dengan perluasan dukungan pemindaian, layanan penemuan dapat mulai memindai file yang sebelumnya tidak dipindai. Anda akan ditagih seperti yang dijelaskan dalam Harga Discovery.

Jenis file Ekstensi file Batas Mode pemindaian
Text

asc, eml, html, htm, ini, json, jsonL, log, md, mkd, markdown, plist, sql, shtml, shtm, tex, txt, text, vcard, vcs, xsl, xsd

Teks biasa
Source Code

bat, brf, c, cc, cpp, cxx, c++, cs, css, dart, go, h, hh, hpp, hxx, hs,lhs,, java, js,, ocaml, m, ml,, pl, php, phtml, phtm, ps1, py, pyw, rb, rbw, rs, rc, scala, sh, sql,, wml, xml, yml, yaml, bat, vb, scpt, scr, script, cmd, vbs

Teks biasa
Structured Data

avro, csv, tsv, proto

Penguraian terstruktur untuk file avro, csv, dan tsv. Penguraian teks biasa untuk file proto
Rich Documents

doc, docx, dotx, docm, dotm, xls, xlsx, xlsm, xltx, xltm, xls, ppt, pptx, pptm, potx, potm, pdf

File PDF, Microsoft Word, Excel, dan PowerPoint yang didukung dengan ukuran kurang dari 30 MiB akan dipindai. Penguraian dokumen cerdas
Images

bmp, gif, heic, ico, jpg, jpeg, jpe, png, pm, svg, tiff, webp

Gambar yang didukung bmp, gif, jpg, jpeg, jpe, png yang lebih kecil dari 4 MiB akan dipindai menggunakan OCR di wilayah yang mendukungnya. Di luar wilayah ini, gambar tidak akan dipindai. OCR
Executables

ac, air, app, appimage, apk, bas, bms, bin, class, cls, com, command, ctl, ctx, dca, ddf, dep, dob, dox, dll, dsr, dsx, dws, exe, frm, frx, gadget, ipa, mpk, oca, ocx, pag, pgx, pif, pyc, res, run, scb, tlb, vbd, vbg, vbl, vbp, vbr, vbw, vbz, vlx, wct, wsf, widget, workflow, x86, x86_64, xap, xbe, xlm

Tidak dipindai saat ini
Archives

zz, zpaq, zoo, zip, zipx, yz1, xp3, xar, wim, war, uha, uca, uc, uc0, uc2, ucn, ur2, ue2, tar, gz, tgz, sqx, sitx, sit, shk, sfx, sen, sea, sda, s7z, rk, rar, qda, pit, pim, phar, pea, paq6, paq7, paq8 dan variannya, pak, lzx, lzh, lha, kgb, jar, ice, hki, ha, genozip, gca, ear, dmg, dgc, dd, dar, cpt, cfs, car, cab, bh, ba, b6z, b1, arj, arc, cdx, arc, ark, apk, alz, afa, ace, 7z, a, ar, cpio, shar, run, tar, tar, 7z, ace, afa, arc, arj, b1, cab, cfs, cpt, dar, dgc, arc, lzh, lha, lzx, iso, img, ima, arc, mou, dmg, partimg, paq#*, lpaq#*, pea, pim, qda, rar, rk, shk, sit, sitx, uc, uc0, uc2, ucn, ur2, ue2, wim, swm, esd, zip, zpaq

Tidak dipindai saat ini
Multimedia

aa, aac, aax, act, aiff, alac, amr, ape, au, awb, dss, dvf, flac, gsm, iklax, ivs, m4a, m4b, m4p, mmf, movpkg, mp3, mpc, msv, nmf, ogg, oga, mogg, opus, ra, rm, raw, rf64, sln, tta, voc, vox, wav, wma, wv, webm, 8svx, cda, webm, mkv, flv, flv, vob, ogv, ogg, drc, gif, gifv, mng, avi, MTS, M2TS, TS, mov, qt, wmv, yuv, rm, rmvb, viv, asf, amv, mp4, m4p (dengan DRM), m4v, mpg, mp2, mpeg, mpe, mpv, mpg, mpeg, m2v, m4v, svi, 3gp, 3g2, mxf, roq, nsv, flv, f4v, f4p, f4a, f4b

Tidak dipindai saat ini
AI Models

keras, pt, pth, tflite

Tidak dipindai saat ini
Unknown File lain yang tidak berada dalam cluster lain. File ini tidak memiliki ekstensi atau menggunakan ekstensi umum tetapi tidak standar, seperti .dat atau .1 atau .2 Tidak dipindai saat ini

Jenis file yang tidak didukung di Cloud Storage

Jika file tidak dikenali selama pemindaian penyimpanan, sistem akan memindai file tersebut sebagai file biner secara default. Fungsi ini mencoba mengonversi konten ke UTF_8, lalu memindainya sebagai teks biasa.

Jika file tidak dikenali selama pemindaian penemuan, sistem tidak akan memindainya.

Jika Anda memiliki kumpulan file yang ingin dilewati karena Perlindungan Data Sensitif tidak mendukungnya, Anda dapat menentukan daftar pengecualian menggunakan CloudStorageOptions.file_set.regex_file_set.exclude_regex.

Batasan byte yang dipindai per file

Secara umum, Anda dapat membatasi jumlah byte yang dipindai per file. Di konsol Google Cloud, Anda melakukannya dengan mengaktifkan sampling. Di Cloud Data Loss Prevention API, Anda menetapkan kolom bytes_limit_per_file atau bytesLimitPerFilePercent.

Pengambilan sampel tidak didukung dalam mode OCR dan penguraian cerdas. Artinya, saat jenis file berikut dipindai dalam mode OCR atau penguraian dokumen cerdas, Perlindungan Data Sensitif akan mengabaikan setelan apa pun yang Anda terapkan untuk membatasi byte yang dipindai per file.

  • Gambar
  • Microsoft Excel
  • Microsoft PowerPoint
  • Microsoft Word
  • PDF

Jika Anda memindai file ini dalam mode biner, batas akan berlaku.

Mode pemindaian

Setiap mode pemindaian memberikan detail lokasi tambahan dalam temuan inspeksi.

Mode pemindaian Catatan Detail lokasi tambahan yang akan diberikan
Biner

Jika gagal diuraikan sebagai jenis lain, file akan dikonversi ke UTF_8 dan dipindai sebagai teks. Pemindaian biner memengaruhi kualitas deteksi.

Penguraian dokumen cerdas

Dokumen diuraikan dengan teks yang diekstrak dari pemformatan. Gambar tersemat dipindai menggunakan OCR di region yang mendukungnya . Di luar wilayah ini, gambar akan dipindai sebagai file biner.

DocumentLocation
Ekstraksi metadata

Semua file yang dipindai dari Cloud Storage akan memindai metadata selain konten file.

MetadataLocation
Pengenalan karakter optik (OCR)

Gambar dipindai menggunakan OCR di wilayah yang mendukungnya . Di luar wilayah ini, gambar akan dipindai sebagai file biner.

ImageLocation
Teks biasa

Tidak ada detail tambahan
Penguraian terstruktur

Informasi struktural digunakan untuk memengaruhi temuan. Dalam mode pemindaian ini, Perlindungan Data Sensitif menggunakan informasi header untuk konteks. Fungsi ini melakukan analisis lintas baris dan lintas kolom untuk menemukan data yang berkorelasi. Misalnya, mode pemindaian ini dapat mengidentifikasi alamat jalan yang komponennya didistribusikan di beberapa kolom dalam baris.

Hasil pemindaian berisi informasi struktural, seperti baris yang berisi temuan dan nama kolom.

Temuan tidak melewati batas sel tabel.

RecordLocation

Memindai file terstruktur dalam mode penguraian terstruktur

Saat Anda memindai file terstruktur—seperti file Avro, CSV, atau TSV—Perlindungan Data Sensitif akan mencoba memindai file dalam mode pemindaian penguraian terstruktur. Mode pemindaian ini memiliki kualitas deteksi yang lebih baik dibandingkan dengan pemindaian biner karena mode penguraian terstruktur menelusuri korelasi antara baris dan kolom dalam data terstruktur. Temuan ditampilkan dengan metadata tambahan yang menunjukkan lokasi temuan, termasuk fieldId.

Namun, dalam kasus berikut, Perlindungan Data Sensitif dapat kembali ke mode pemindaian biner, yang tidak menyertakan peningkatan mode penguraian terstruktur:

  • File atau header rusak.
  • Konfigurasi tugas inspeksi memiliki batas ukuran—seperti bytesLimitPerFile dan bytesLimitPerFilePercent—yang terlalu kecil. Misalnya, jika batas bytesLimitPerFile tidak cukup besar untuk menyertakan header blok penuh dan setidaknya satu baris data yang valid, Perlindungan Data Sensitif mungkin akan memindai file tersebut dalam mode pemindaian biner.

Pemilihan data yang dipindai bergantung pada apakah sampling ditetapkan untuk dimulai dari bagian atas file atau dari posisi acak.

Misalnya, Anda memiliki file Avro yang memiliki header blok 50 KB dan blok data 2 MB. Secara umum, memulai sampel dari atas membantu Anda memastikan bahwa header blok selalu disertakan dalam sampel yang diambil oleh Sensitive Data Protection. Jika Anda mulai mengambil sampel dari posisi acak dalam file dan ukuran sampel lebih kecil dari blok data, ada kemungkinan header blok tidak disertakan dalam sampel. Dalam contoh ini, meningkatkan ukuran sampel (ditentukan oleh bytesLimitPerFile atau bytesLimitPerFilePercent) menjadi 2,05 MB akan membantu mencegah inspeksi kembali ke mode penguraian biner.

Contoh: Jika ukuran sampel terlalu kecil, inspeksi mungkin tidak menyertakan header blok.
Contoh: Jika ukuran sampel terlalu kecil, inspeksi mungkin tidak menyertakan header blok (klik untuk memperbesar).