Halaman ini mencantumkan jenis file yang dapat dipindai oleh Sensitive Data Protection dan menjelaskan mode pemindaian yang digunakan Sensitive Data Protection untuk menganalisis file.
Jenis file yang didukung dalam operasi inspeksi dan penghapusan identitas
Tabel berikut menunjukkan jenis file yang dapat diperiksa dan ditransformasi (dide-identifikasi) oleh Perlindungan Data Sensitif.
Sensitive Data Protection mengandalkan ekstensi file dan jenis media (MIME) untuk mengidentifikasi jenis file yang akan dipindai dan mode pemindaian yang akan diterapkan. Misalnya, Sensitive Data Protection memindai file .txt dalam mode teks biasa, meskipun file tersebut disusun sebagai file CSV, yang biasanya dipindai dalam mode parsing terstruktur.
| Jenis file | Ekstensi file | Batas | Mode pemindaian | Dukungan transformasi |
|---|---|---|---|---|
Apache Avro |
avro |
Batas Avro | Penguraian terstruktur | |
Comma- or tab-separated values | csv, tsv | Penguraian terstruktur | Melakukan de-identifikasi konten | |
PDF |
Batas PDF | Penguraian dokumen cerdas | ||
Text |
asc, brf, c, c++, cc, cpp, cs, css, cxx, dart, eml, go, h, h++, hh, hpp, hs, htm, html, hxx, ini, java, js, json, jsonl, lhs, m, markdown, md, mkd, ml, mli, ocaml, php, pht, phtml, pl, pm, py, pyw, rb, rbw, rc, rs, scala, sh, shtm, shtml, sql, tex, text, txt, vcard, vcs, wml, xhtml, xml, xsd, xsl, yaml, yml |
Teks biasa | Melakukan de-identifikasi konten | |
Microsoft Word |
docm, docx, dotm, dotx |
Batas kata | Penguraian dokumen cerdas | |
Microsoft Excel |
xlsm, xlsx, xltm, xltx |
Batas Excel | Penguraian dokumen cerdas | |
Microsoft Powerpoint |
potm, potx, pptm, pptx |
Batas PowerPoint | Penguraian dokumen cerdas | |
Image |
bmp, gif, jpe, jpeg, jpg, png |
OCR | Penyamaran | |
Binary |
Jenis file yang tidak dikenali dan gambar yang tidak dapat dipindai menggunakan pengenalan karakter optik (OCR). |
Biner |
Cluster file yang didukung dalam operasi penemuan
Selama penemuan, Sensitive Data Protection mengatur file yang terdeteksi ke dalam kelompok file. Kelompok ini adalah grup jenis file yang serupa. Tabel berikut menunjukkan cluster file dan ekstensi file yang didukung. Tidak semua file yang terdeteksi dapat dipindai.
File dapat berpindah antar-cluster file saat Perlindungan Data Sensitif menambahkan dukungan untuk lebih banyak cluster file. Seiring dukungan pemindaian diperluas, layanan penemuan mungkin mulai memindai file yang sebelumnya tidak dipindai. Anda akan ditagih seperti yang dijelaskan dalam harga Discovery.
| Kelompok file | Ekstensi file | Batas | Mode pemindaian |
|---|---|---|---|
Text |
asc, eml, htm, html, ini, json, jsonL, log, markdown, md, mkd, plist, shtm, shtml, sql, tex, text, txt, vcard, vcs, xsd, xsl |
Teks biasa | |
Source Code |
bat, brf, c, c++, cc, cmd, cpp, cs, css, cxx, dart, go, h, hh, hpp, hs, hxx, java, js, lhs, m, ml, ocaml, php, phtm, phtml, pl, ps1, py, pyw, rb, rbw, rc, rs, scala, scpt, scr, script, sh, sql, vb, vbs, wml, xml, yaml, yml |
Teks biasa | |
Structured Data |
avro, csv, tsv, proto |
Penguraian terstruktur untuk file avro, csv, dan tsv. Penguraian teks biasa untuk file proto | |
Rich Documents |
doc, docm, docx, dotm, dotx, pdf, potm, potx, ppt, pptm, pptx, xls, xlsm, xlsx, xltm, xltx |
File PDF, Microsoft Word, Excel, dan PowerPoint yang didukung dan berukuran kurang dari 30 MiB akan dipindai. | Penguraian dokumen cerdas |
Images |
bmp, gif, heic, ico, jpe, jpeg, jpg, pm, png, svg, tiff, webp |
Gambar yang didukung (bmp, gif, jpe, jpeg, jpg, dan png) yang lebih kecil dari 4 MiB dipindai menggunakan OCR di wilayah yang mendukungnya. Di luar wilayah ini, gambar tidak dipindai. | OCR |
Executables |
ac, air, apk, app, appimage, bas, bin, bms, class, cls, com, command, ctl, ctx, dca, ddf, dep, dll, dob, dox, dsr, dsx, dws, exe, frm, frx, gadget, ipa, mpk, oca, ocx, pag, pgx, pif, pyc, res, run, scb, tlb, vbd, vbg, vbl, vbp, vbr, vbw, vbz, vlx, wct, widget, workflow, wsf, x86, x86_64, xap, xbe, xlm |
Saat ini tidak dipindai | |
Archives |
7z, a, ace, afa, alz, apk, ar, arc, arj, ark, b1, b6z, ba, bh, cab, car, cdx, cfs, cpio, cpt, dar, dd, dgc, dmg, ear, esd, gca, genozip, gz, ha, hki, ice, ima, img, iso, jar, kgb, lha, lpaq#*, lzh, lzx, mou, pak, paq#*, paq6, paq7, paq8 dan variannya, partimg, pea, phar, pim, pit, qda, rar, rk, run, s7z, sda, sea, sen, sfx, shar, shk, sit, sitx, sqx, swm, tar, tar.bz2, tar.gz, tar.lz4, tar.lzma, tar.xz, tar.z, tgz, uc, uc0, uc2, uca, ucn, ue2, uha, ur2, war, wim, xar, xp3, yz1, zip, zipx, zoo, zpaq, zz |
Sensitive Data Protection memindai file dalam arsip yang memiliki ekstensi file berikut: bz2, cpio, gz, jar, lz4, lzma, tar, tar.bz2, tar.gz, tar.lz4, tar.lzma, tar.xz, tar.z, xz, z, zip Mode pemindaian yang digunakan untuk setiap file bergantung pada jenis file. |
|
Multimedia |
3g2, 3gp, 8svx, aa, aac, aax, act, aiff, alac, amr, amv, ape, asf, au, avi, awb, cda, drc, dss, dvf, f4a, f4b, f4p, f4v, flac, flv, gif, gifv, gsm, iklax, ivs, M2TS, m2v, m4a, m4b, m4p, m4p (dengan DRM), m4v, mkv, mmf, mng, mogg, mov, movpkg, mp2, mp3, mp4, mpc, mpe, mpeg, mpg, mpv, msv, MTS, mxf, nmf, nsv, oga, ogg, ogv, opus, qt, ra, raw, rf64, rm, rmvb, roq, sln, svi, TS, tta, viv, vob, voc, vox, wav, webm, wma, wmv, wv, yuv |
Saat ini tidak dipindai | |
AI Models |
caffemodel, ckpt, coreml, dlc, ggjt, ggmf, ggml, gguf, h5, keras, llamafile, mar, mleap, nc, npy, npz, onnx, pb, pkl, prompt, pt, pt2, pte, pth, ptl, safetensors, surml, tflite, tfrecords |
Saat ini tidak dipindai | |
Unknown |
File lain yang tidak berada dalam cluster lain. | Ini adalah file yang tidak memiliki ekstensi atau menggunakan ekstensi umum tetapi tidak standar, seperti .dat atau .1 atau .2 | Saat ini tidak dipindai |
Jenis file yang tidak dikenal di Cloud Storage
Jika file tidak dikenali selama pemindaian penyimpanan, sistem akan memindainya sebagai file biner secara default. DLP akan mencoba mengonversi konten ke UTF_8, lalu memindainya sebagai teks biasa.
Jika file tidak dikenali selama pemindaian penemuan, sistem tidak akan memindainya.
Jika Anda memiliki kumpulan file yang ingin dilewati karena tidak dikenali oleh Perlindungan Data Sensitif, Anda dapat menentukan daftar pengecualian menggunakan
CloudStorageOptions.file_set.regex_file_set.exclude_regex.
Batas byte yang dipindai per file
Secara umum, Anda dapat membatasi jumlah byte yang dipindai per file. Di konsolGoogle Cloud , Anda dapat melakukannya dengan mengaktifkan
sampling. Di
Cloud Data Loss Prevention API, Anda menetapkan kolom
bytes_limit_per_file
atau bytesLimitPerFilePercent.
Pengambilan sampel tidak didukung dalam mode OCR dan penguraian cerdas. Artinya, saat jenis file berikut dipindai dalam mode OCR atau penguraian dokumen cerdas, Perlindungan Data Sensitif mengabaikan setelan apa pun yang Anda terapkan untuk membatasi byte yang dipindai per file.
- Gambar
- Microsoft Excel
- Microsoft PowerPoint
- Microsoft Word
Jika Anda memindai file ini dalam mode biner, batas akan berlaku.
Mode pemindaian
Setiap mode pemindaian memberikan detail lokasi tambahan dalam temuan pemeriksaan.
| Mode pemindaian | Catatan | Detail lokasi tambahan yang akan diberikan |
|---|---|---|
| Biner | Jika file gagal diuraikan sebagai jenis lain, file tersebut akan dikonversi ke UTF_8 dan dipindai sebagai teks. Pemindaian biner memengaruhi kualitas deteksi. |
|
| Penguraian dokumen cerdas | Dokumen diuraikan dengan teks yang diekstrak dari pemformatan. Gambar yang disematkan dipindai menggunakan OCR di wilayah yang mendukungnya . Di luar wilayah ini, gambar dipindai sebagai file biner. |
DocumentLocation |
| Ekstraksi metadata | Semua file yang dipindai dari Cloud Storage akan memiliki
|
MetadataLocation |
| Pengenalan karakter optik (OCR) | Gambar dipindai menggunakan OCR di wilayah yang mendukungnya . Di luar wilayah ini, gambar dipindai sebagai file biner. |
ImageLocation |
| Teks biasa | Tidak ada detail tambahan | |
| Penguraian terstruktur | Informasi struktural digunakan untuk memengaruhi temuan. Dalam mode pemindaian ini, Perlindungan Data Sensitif menggunakan informasi header untuk konteks. Tindakan ini melakukan analisis lintas baris dan lintas kolom untuk menemukan data yang berkorelasi. Misalnya, mode pemindaian ini dapat mengidentifikasi alamat jalan yang komponennya didistribusikan di beberapa kolom dalam baris. Hasil pemindaian berisi informasi struktural, seperti baris yang berisi temuan dan nama kolom. Temuan tidak melintasi batas sel tabel. |
RecordLocation |
Memindai file terstruktur dalam mode penguraian terstruktur
Saat Anda memindai file terstruktur—seperti file Avro, CSV, atau TSV—Sensitive Data Protection akan mencoba memindai file dalam mode pemindaian penguraian terstruktur. Mode pemindaian ini memiliki kualitas deteksi yang lebih baik dibandingkan dengan pemindaian biner karena mode penguraian terstruktur menelusuri korelasi antara baris dan kolom dalam data terstruktur.
Temuan ditampilkan dengan metadata tambahan yang menunjukkan lokasi temuan, termasuk fieldId.
Namun, dalam kasus berikut, Perlindungan Data Sensitif mungkin kembali ke mode pemindaian biner, yang tidak mencakup peningkatan mode parsing terstruktur:
- File atau header rusak.
- Konfigurasi tugas pemeriksaan memiliki batas ukuran—seperti
bytesLimitPerFiledanbytesLimitPerFilePercent—yang terlalu kecil. Misalnya, jika batasbytesLimitPerFiletidak cukup besar untuk menyertakan header blok lengkap dan setidaknya satu baris data yang valid, maka Sensitive Data Protection dapat memindai file tersebut dalam mode pemindaian biner.
Pemilihan data yang dipindai bergantung pada apakah sampling disetel untuk dimulai dari bagian atas file atau dari posisi acak.
Misalnya, Anda memiliki file Avro yang memiliki header blok 50 KB dan
blok data 2 MB. Secara umum, memulai sampel dari atas akan membantu Anda memastikan bahwa header blok selalu disertakan dalam sampel yang diambil oleh Sensitive Data Protection. Jika Anda memulai pengambilan sampel dari posisi acak dalam file dan ukuran sampel lebih kecil dari blok data, ada kemungkinan header blok tidak disertakan dalam sampel. Dalam contoh ini, meningkatkan ukuran sampel (ditentukan oleh bytesLimitPerFile atau bytesLimitPerFilePercent) menjadi 2,05 MB akan membantu mencegah inspeksi kembali ke mode parsing biner.
