Menggunakan Penyimpanan Atribut Dataplex

Dokumen ini menunjukkan cara menggunakan Penyimpanan Atribut Dataplex.

Dataplex Attribute Store adalah infrastruktur yang dapat diperluas dan memungkinkan Anda menentukan perilaku terkait kebijakan pada resource terkait. Administrator Dataplex dapat menggunakan Penyimpanan Atribut untuk menentukan cara data tertentu diperlakukan, dengan mengaitkan data dengan atribut.

Manfaat utama penggunaan Attribute Store adalah Anda dapat menambahkan beberapa atribut ke objek, seperti kolom. Attribute Store menggabungkan perilaku semua atribut yang terkait dengan objek dan menyajikannya sebagai satu kebijakan untuk resource yang mendasarinya.

Anda dapat menetapkan atribut ke set data yang dipublikasikan. Set data yang dipublikasikan mengacu pada set data yang dibuat oleh Dataplex dari tabel yang ditemukan dalam aset bucket.

Perilaku kebijakan berikut ini didukung:

  • Spesifikasi resource: Menentukan akses ke resource, seperti tabel.
  • Spesifikasi kolom: Menentukan akses ke kolom dalam tabel BigQuery.

Anda dapat menggunakan Attribute Store untuk menentukan hierarki atribut yang disebut taksonomi. Dalam taksonomi, atribut turunan mewarisi spesifikasi dari hierarki atribut induk. Spesifikasi dari induk turunan digabungkan ke dalam daftar terpadu, yang disebarkan ke resource.

Anda dapat menggunakan Dataplex Attribute Store untuk melakukan hal berikut:

  • Membuat taksonomi.
  • Membuat atribut dan mengaturnya dalam hierarki.
  • Mengaitkan satu atau beberapa atribut ke tabel.
  • Mengaitkan satu atau beberapa atribut ke kolom.

Terminologi

Terminologi berikut digunakan dalam dokumen ini:

Taksonomi atribut

Taksonomi data adalah hierarki atribut. Dalam taksonomi, atribut pada node induk memungkinkan atribut di bawahnya (atribut turunan) mewarisi dan menambahkan spesifikasi perilaku atribut induk ke atribut induk itu sendiri.

Misalnya: Jika atribut bernama PII memiliki spesifikasi resource group-a@company.com dan atribut turunan PII bernama Social Security numbers memiliki spesifikasi resource group-b@company.com, spesifikasi resource yang diterapkan ke kebijakan tempat atribut Social Security numbers terkait, adalah group-a@company.com dan group-b@company.com.

Saat menentukan atribut, Anda dapat memilih apakah atribut tersebut merupakan atribut induk atau turunan. Ketika menetapkan atribut turunan, Anda harus menetapkan atribut induknya.

Spesifikasi kolom

Spesifikasi perilaku untuk kolom. Ini menentukan orang atau grup yang memiliki akses pembaca ke kolom. Jika Anda mengaitkan atribut yang berisi spesifikasi kolom dengan kolom tabel, atribut tersebut akan menambahkan tag kebijakan kolom BigQuery ke kolom tersebut.

Spesifikasi resource

Izin bagi orang atau grup untuk mengakses resource (tabel). Jika Anda mengaitkan atribut dengan spesifikasi resource, Dataplex akan menerapkan peran IAM kepada pengguna tertentu untuk mengakses tabel yang terkait dengan atribut tersebut.

Sebelum memulai

Batasan

Dataplex menyebarkan kebijakan spesifikasi kolom sebagai tag kebijakan BigQuery. BigQuery memiliki batasan satu tag kebijakan per kolom. Jika tag kebijakan sudah ada di kolom, Dataplex akan menampilkan error dalam log Tata kelola di tab Manage.

Kuota

Berikut adalah kuota dan batas yang berlaku untuk Penyimpanan Atribut Dataplex:

Limit Default
Jumlah taksonomi maksimum di suatu wilayah 100
Jumlah atribut maksimum di semua taksonomi di suatu wilayah 10.000
Jumlah atribut maksimum yang dapat dikaitkan dengan resource (tabel) 50
Jumlah atribut maksimum yang dapat dikaitkan dengan kolom 100
Kedalaman maksimum per hierarki atribut data dalam taksonomi atribut 4

Peran dan izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menggunakan penyimpanan atribut Dataplex, minta administrator Anda untuk memberi Anda peran IAM berikut pada project:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran bawaan ini berisi izin yang diperlukan untuk menggunakan penyimpanan atribut Dataplex. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan penyimpanan atribut Dataplex:

  • Kelola taksonomi dan atribut:
    • dataplex.datataxonomies.*
    • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
  • View binding yang terkait dengan resource dan atribut:
    • dataplex.datataxonomies.get
    • dataplex.datataxonomies.list
    • dataplex.dataattributes.get
    • dataplex.dataattributes.list
    • dataplex.dataattributebindings.get
    • dataplex.dataattributebindings.list
  • Membuat dan mengelola resource binding dalam sebuah project: dataplex.dataattributebindings.*
  • Mengelola spesifikasi akses resource dan data:
    • dataplex.datataxonomies.configureResourceAccess
    • dataplex.datataxonomies.configureDataAccess

Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.

Contoh kasus penggunaan

Bayangkan sebuah perusahaan bernama ACME yang memiliki tiga jenis data:

  • Red data yang sensitif.
  • Data Green yang dibatasi, tetapi kurang sensitif.
  • Data yang tidak dikategorikan.

Administrator Dataplex ACME membuat serangkaian atribut berikut:

  • Atribut: Red

    • Spesifikasi kolom: secrets_team@acme dengan izin baca
    • Spesifikasi resource: secrets_team@acme dan tenured_employees@acme dengan izin baca
  • Atribut: Green

    • Spesifikasi kolom: full_time_employees@acme dengan izin baca
    • Spesifikasi resource: full_time_employees@acme dengan izin edit

Gambar ini berisi kolom dan spesifikasi sumber daya untuk atribut Merah dan Hijau.

Atribut Red dan Green mengontrol perilaku akses ke resource (tabel) bergantung pada atribut yang terkait dengan tabel dan kolomnya.

Pertimbangkan tabel dengan kolom berikut:

  • ID
  • Kode pos
  • Nama
  • Alamat
  • $Nilai

Kasus penggunaan 1: Mengaitkan atribut yang sama dengan tabel dan kolom

Gambar ini menunjukkan atribut Merah yang terkait dengan tabel dan Nama kolom.

Jika Anda mengaitkan atribut Red dengan tabel dan kolom Name, Dataplex akan menyebarkan kebijakan berikut:

  • Karyawan dalam secrets_team@acme dan tenured_employees@acme dapat membaca tabel, melihat metadatanya, dan membuat kuerinya.
  • Hanya karyawan di secrets_team@acme yang dapat mengkueri kolom Name, karena kolom tersebut lebih dilindungi oleh spesifikasi kolom.

Kasus penggunaan 2: Menggabungkan atribut

Pertimbangkan asosiasi berikut:

  • Kaitkan atribut Red dan Green dengan tabel.
  • Kaitkan atribut Red dan Green dengan kolom Name.
  • Kaitkan atribut Red dengan kolom $Value.

Gambar ini menunjukkan atribut Merah dan Hijau yang dikaitkan dengan tabel dan Nama kolom, serta atribut Merah yang dikaitkan dengan kolom $value

Dalam hal ini, Dataplex menyebarkan kebijakan berikut:

  • Karyawan di secrets_team@acme, tenured_employees@acme, dan full_time_employees@acme dapat mengakses tabel. Hal ini karena Dataplex menggabungkan spesifikasi resource dari atribut Red dan Green.
  • Karyawan di secrets_team@acme dan full_time_employees@acme dapat mengakses kolom Name. Hal ini karena Dataplex menggabungkan spesifikasi kolom atribut Red dan Green.
  • Hanya karyawan di secrets_team@acme yang dapat membuat kueri untuk kolom $Value.

Kasus penggunaan 3: Mengatur atribut dalam hierarki

Anda dapat mengatur atribut dalam hierarki dengan menentukan subjenis atribut. Pertimbangkan kumpulan atribut berikut:

Atribut induk 1:
Atribut: PII

  • Spesifikasi kolom: secrets_team@acme
  • Spesifikasi resource: secrets_team@acme dan tenured_employees@acme

Atribut turunan dari PII:
Atribut: Email

  • Spesifikasi kolom: email_comm@acme
  • Spesifikasi resource: email_comm@acme

Atribut induk 2:
Atribut: Financial

  • Spesifikasi kolom: full_time_employees@acme
  • Spesifikasi resource: full_time_employees@acme

Gambar ini menunjukkan contoh hierarki atribut.

Pertimbangkan asosiasi berikut:

  • Kaitkan atribut Email dan Financial dengan tabel.
  • Kaitkan atribut Email dan Financial dengan kolom Name.
  • Kaitkan atribut PII dengan kolom $Value.

Gambar ini menunjukkan cara mengaitkan atribut dalam hierarki dengan tabel dan kolom.

Dalam hal ini, Dataplex menyebarkan kebijakan berikut:

  • Karyawan di secrets_team@acme, tenured_employees@acme, full_time_employees@acme, dan email_comm@acme dapat mengakses tabel. Hal ini karena Dataplex menggabungkan spesifikasi resource atribut Financial dan Email, dan atribut Email mewarisi spesifikasi dari atribut PII.
  • Karyawan di secrets_team@acme, email_comm@acme, full_time_employees@acme dapat mengakses kolom Nama. Hal ini karena Dataplex menggabungkan spesifikasi kolom atribut Financial dan Email.
  • Hanya karyawan di secrets_team@acme yang dapat membuat kueri untuk kolom $Value.

Menyiapkan atribut

Untuk membuat atribut, Anda harus membuat taksonomi terlebih dahulu, lalu membuat atribut data induk dan turunan.

Membuat taksonomi atribut data

  1. Di konsol Google Cloud, buka halaman Attribute Store Dataplex.

    Buka Attributes Store

  2. Klik Create Taxonomy.

  3. Masukkan Nama taksonomi, ID, dan Deskripsi.

  4. Pilih wilayah.

  5. Klik Submit.

    Taksonomi baru akan muncul di halaman Taksonomi Data.

Membuat atribut induk

  1. Di konsol Google Cloud, buka halaman Attribute Store Dataplex.

    Buka Attributes Store

  2. Di halaman Taksonomi Data, klik taksonomi tempat Anda ingin membuat atribut induk.

  3. Di halaman Detail taksonomi, klik Tambahkan atribut data.

  4. Pilih Buat atribut data induk.

  5. Masukkan nama, ID, dan deskripsi untuk atribut induk.

  6. Opsional: Menyiapkan spesifikasi atribut.

    1. Menyiapkan spesifikasi resource:

      1. Klik Kelola Izin untuk Aset.
      2. Klik Tambahkan.
      3. Di kolom New principals, masukkan alamat email seseorang atau grup yang memerlukan akses ke resource.
      4. Pilih Peran yang diperlukan, lalu klik Simpan.
      5. Klik Save.
    2. Menyiapkan spesifikasi kolom:

      1. Klik Kelola Izin untuk Kolom.
      2. Klik Tambahkan.
      3. Di kolom New principals, masukkan alamat email seseorang atau grup yang memerlukan akses ke kolom tersebut.
      4. Pilih Peran yang diperlukan, lalu klik Simpan.
      5. Klik Save.
  7. Klik Create.

Membuat atribut turunan

  1. Di konsol Google Cloud, buka halaman Attribute Store Dataplex.

    Buka Attributes Store

  2. Di halaman Taksonomi Data, klik taksonomi yang ingin Anda buat atribut turunan.

  3. Di halaman Detail taksonomi, klik Tambahkan atribut data.

  4. Pilih Buat atribut data turunan.

  5. Pilih Atribut data induk untuk atribut turunan yang Anda buat.

  6. Masukkan nama, ID, dan deskripsi untuk atribut turunan.

  7. Opsional: Menyiapkan spesifikasi atribut.

    1. Menyiapkan spesifikasi resource:

      1. Klik Kelola Izin untuk Aset.
      2. Klik Tambahkan.
      3. Di kolom New principals, masukkan alamat email seseorang atau grup yang memerlukan akses ke resource.
      4. Pilih Peran yang diperlukan, lalu klik Simpan.
      5. Klik Save.
    2. Menyiapkan spesifikasi kolom:

      1. Klik Kelola Izin untuk Kolom.
      2. Klik Tambahkan.
      3. Di kolom New principals, masukkan alamat email seseorang atau grup yang memerlukan akses ke kolom tersebut.
      4. Pilih Peran yang diperlukan, lalu klik Simpan.
      5. Klik Save.
  8. Klik Create.

Memperbarui resource Attribute Store

Perbarui detail taksonomi

  1. Di konsol Google Cloud, buka halaman Attribute Store Dataplex.

    Buka Attributes Store

  2. Klik taksonomi yang ingin Anda perbarui.

  3. Klik Edit.

  4. Edit nama taksonomi dan deskripsinya sesuai kebutuhan.

  5. Klik Submit.

Perbarui detail atribut

  1. Di konsol Google Cloud, buka halaman Attribute Store Dataplex.

    Buka Attributes Store

  2. Klik taksonomi yang berisi atribut yang ingin diperbarui.

  3. Klik atribut yang ingin diperbarui.

  4. Untuk memperbarui nama atribut dan deskripsi, klik Edit.

    1. Jika memperbarui atribut induk, Anda memiliki opsi untuk memperbaruinya menjadi atribut turunan, dan sebaliknya. Pilih opsi yang sesuai.
    2. Edit nama atribut dan deskripsinya sesuai kebutuhan.
    3. Klik Perbarui.
  5. Guna memperbarui spesifikasi resource untuk atribut, klik untuk Spesifikasi resource.

    1. Untuk menambahkan akun utama baru, ikuti langkah-langkah berikut:

      1. Klik Tambahkan.
      2. Di kolom New Principals, masukkan alamat email seseorang atau grup yang memerlukan akses ke resource.
      3. Pilih Peran yang diperlukan.
      4. Klik Save.
    2. Untuk memperbarui akun utama yang ada, ikuti langkah-langkah berikut:

      1. Klik untuk akun utama yang ingin diperbarui.
      2. Pilih Peran yang diperlukan.
      3. Klik Save.
    3. Untuk menghapus akun utama yang ada, ikuti langkah-langkah berikut:

      1. Pilih akun utama yang ingin Anda hapus.
      2. Klik Hapus.
  6. Guna memperbarui spesifikasi kolom untuk atribut, klik untuk Spesifikasi kolom.

    1. Untuk menambahkan akun utama baru, ikuti langkah-langkah berikut:

      1. Klik Tambahkan.
      2. Di kolom New Principals, masukkan alamat email seseorang atau grup yang memerlukan akses ke kolom tersebut.
      3. Pilih Peran yang diperlukan.
      4. Klik Save.
    2. Untuk memperbarui akun utama yang ada, ikuti langkah-langkah berikut:

      1. Klik untuk akun utama yang ingin diperbarui.
      2. Pilih Peran yang diperlukan.
      3. Klik Save.
    3. Untuk menghapus akun utama yang ada, ikuti langkah-langkah berikut:

      1. Pilih akun utama yang ingin Anda hapus.
      2. Klik Hapus.

Mengaitkan atribut dengan resource

Mengaitkan atribut dengan tabel

  1. Di konsol Google Cloud, buka halaman Attribute Store Dataplex.

    Buka Attributes Store

  2. Klik taksonomi yang berisi atribut.

  3. Klik atribut yang ingin dikaitkan dengan tabel.

  4. Klik tab Referensi.

  5. Klik Add Resources.

  6. Pilih tabel dari daftar.

  7. Klik Select.

Mengaitkan atribut dengan kolom

  1. Di konsol Google Cloud, buka halaman Attribute Store Dataplex.

    Buka Attributes Store

  2. Telusuri dan pilih tabel yang atributnya ingin Anda kaitkan dengan kolom.

  3. Klik tab Schema and Column Tags.

  4. Klik di bagian Tag Kebijakan untuk kolom yang ingin Anda kaitkan dengan atribut.

  5. Pilih taksonomi yang berisi atribut.

  6. Pilih atribut.

  7. Klik Lampirkan.

Langkah selanjutnya