Referensi detail transformasi

Halaman ini menjelaskan konten tabel detail transformasi dan memberikan contoh kueri yang dapat Anda jalankan di dalamnya.

Saat melakukan de-identifikasi data dalam penyimpanan, Anda dapat mengonfigurasi tugas pemeriksaan untuk memberikan detail tentang setiap transformasi yang dilakukannya. Perlindungan Data Sensitif menulis detail ini dalam tabel BigQuery yang Anda tentukan. Dalam dokumen ini, tabel tersebut disebut tabel detail transformasi.

Isi tabel detail transformasi

Bagian ini mencantumkan dan menjelaskan konten tabel detail transformasi.

resource_name

Nama tugas inspeksi yang menyelesaikan transformasi.

container_name

File yang berisi data yang ditransformasi.

transformasi

Detail tentang transformasi. Kolom ini berisi properti berikut:

jenis

Metode transformasi yang diterapkan oleh Perlindungan Data Sensitif pada temuan. Berikut adalah beberapa kemungkinan nilai:

deskripsi

Representasi string dari transformasi. Nilainya adalah output dari panggilan toString() pada pesan buffering protokol PrimitiveTransformation untuk semua jenis transformasi, kecuali untuk RecordSuppression. Jika metode transformasi adalah penekanan data, kolom ini akan kosong.

kondisi

Representasi string dari RecordCondition untuk transformasi. Kolom ini hanya ditetapkan jika kondisi data digunakan untuk menentukan apakah Perlindungan Data Sensitif harus menerapkan transformasi. Contoh:

  • (age_field <= 18)
  • (zip_field exists)
  • (zip_field == 01234) && (age_field <= 18) && (city_field exists)
infoType

Detail tentang jenis informasi yang terdeteksi dalam temuan. Kolom ini berisi properti berikut:

nama
Nama infoType bawaan atau kustom.
versi
Versi infoType.

status_details

Detail tentang status transformasi. Jika transformasi gagal, kolom ini akan menentukan penyebab kegagalan. Kolom ini berisi properti berikut:

result_status_type

Kode yang mewakili status upaya transformasi. Berikut adalah kemungkinan nilainya:

  • STATE_TYPE_UNSPECIFIED: Perlindungan Data Sensitif tidak dapat menentukan status transformasi.
  • INVALID_TRANSFORM: Sensitive Data Protection tidak dapat mengubah temuan.
  • METADATA_UNRETRIEVABLE: ada temuan dalam metadata kustom file. Saat menulis file yang ditransformasi, Perlindungan Data Sensitif tidak dapat mengambil metadata.
  • SUCCESS: transformasi berhasil.
detail

Detail status tambahan. Kolom ini mengikuti spesifikasi yang ditentukan dalam Status. Kolom ini berisi properti berikut:

code
Kode error.
message
Pesan error.
detail
Daftar pesan yang berisi detail error.

transformed_bytes

Jumlah byte yang ditransformasi oleh Perlindungan Data Sensitif. Jika transformasi gagal atau jika tidak ada konten yang akan ditransformasi, nilainya adalah 0.

transformation_location

Detail tentang lokasi transformasi.

Berikut adalah contoh JSON lokasi transformasi, tempat Perlindungan Data Sensitif melakukan transformasi infoType:

{
    "finding_id": "2022-05-23T23:51:29.775337Z831678185946560283",
    "record_transformation": null,
    "container_type": "TRANSFORM_BODY"
}

Berikut adalah contoh JSON lokasi transformasi, tempat Perlindungan Data Sensitif melakukan transformasi data:

{
    "finding_id": null,
    "record_transformation": {
      "field_id": {
        "name": " \"Name\""
      },
      "container_timestamp": {
        "timestamp": null,
        "seconds": "1654796423",
        "nanos": "763000000"
      },
      "container_version": "1654796423733485"
    },
    "container_type": "TRANSFORM_TABLE"
  }
}

Seperti yang ditunjukkan contoh, Perlindungan Data Sensitif mengisi finding_id atau record_transformation, bergantung pada jenis transformasi yang dilakukan. Kedua kolom tersebut bersifat eksklusif.

finding_id
Kolom ini ditetapkan jika Perlindungan Data Sensitif melakukan transformasi infotype. Setiap ID temuan berkorelasi dengan entri dalam tabel output temuan. Tabel output temuan berisi semua temuan yang terdeteksi oleh Perlindungan Data Sensitif selama pemeriksaan. Tabel ini hanya dibuat jika Anda mengonfigurasi tugas inspeksi untuk menyimpan temuan ke BigQuery.
record_transformation

Kolom ini ditetapkan jika Perlindungan Data Sensitif melakukan transformasi data pada data tabel. Kolom ini berisi properti berikut:

field_id
Kolom tabel yang berisi temuan.
container_timestamp
Stempel waktu perubahan file.
container_version
Nomor pembuatan file yang berisi temuan.
container_type

Informasi tentang fungsi data yang berisi temuan. Berikut adalah nilai yang memungkinkan:

  • TRANSFORM_UNKNOWN_CONTAINER: Perlindungan Data Sensitif tidak dapat menentukan jenis data yang berisi temuan.
  • TRANSFORM_BODY: Perlindungan Data Sensitif mendeteksi temuan dalam isi file.
  • TRANSFORM_METADATA: Perlindungan Data Sensitif mendeteksi temuan dalam metadata file.
  • TRANSFORM_TABLE: Perlindungan Data Sensitif mendeteksi temuan dalam tabel.

Contoh kueri

Berikut adalah contoh kueri yang dapat Anda jalankan pada tabel detail transformasi. Untuk mengetahui informasi tentang cara membuat kueri tabel BigQuery, lihat Menjalankan kueri interaktif.

Pilih semua transformasi yang gagal

SELECT *
    FROM `PROJECT_ID.DATASET_ID.TABLE_ID`
    WHERE status_details.result_status_type != "SUCCESS";

Ganti kode berikut:

  • PROJECT_ID: ID project yang berisi tabel detail transformasi.
  • DATASET_ID: ID set data BigQuery yang berisi tabel detail transformasi.
  • TABLE_ID: ID tabel detail transformasi.

Menghitung jumlah file yang mengalami kegagalan transformasi

SELECT COUNT(DISTINCT(container_name))
    FROM `PROJECT_ID.DATASET_ID.TABLE_ID`
    WHERE status_details.result_status_type != "SUCCESS";

Memilih semua transformasi yang menggunakan masking karakter

SELECT resource_name, container_name, info_type.name
    FROM `PROJECT_ID.DATASET_ID.TABLE_ID`,
    UNNEST(transformation) AS tr
    WHERE tr.type LIKE "CHARACTER_MASK";

Langkah selanjutnya