Mengelola resource Dataproc menggunakan batasan khusus

Kebijakan Organisasi Google Cloud memberi Anda kontrol terpusat dan terprogram atas resource organisasi. Sebagai administrator kebijakan organisasi, Anda dapat menentukan kebijakan organisasi, yang merupakan serangkaian batasan yang disebut batasan yang berlaku untuk resource Google Cloud dan turunan dari resource tersebut di Hierarki resource Google Cloud. Anda dapat menerapkan kebijakan organisasi di level organisasi, folder, atau project.

Kebijakan Organisasi memberikan batasan yang telah ditetapkan untuk berbagai layanan Google Cloud. Namun, jika menginginkan kontrol yang lebih terperinci dan dapat disesuaikan atas kolom tertentu yang dibatasi dalam kebijakan organisasi, Anda juga dapat membuat batasan khusus dan menggunakan batasan kustom tersebut dalam kebijakan organisasi kustom.

Manfaat

Anda dapat menggunakan kebijakan organisasi kustom untuk mengizinkan atau menolak operasi tertentu di cluster Dataproc. Misalnya, jika permintaan untuk membuat atau memperbarui cluster gagal memenuhi validasi batasan kustom seperti yang ditetapkan oleh kebijakan organisasi Anda, permintaan akan gagal, dan error akan ditampilkan ke pemanggil.

Pewarisan kebijakan

Secara default, kebijakan organisasi diwarisi oleh turunan resource tempat Anda menerapkan kebijakan tersebut. Misalnya, jika Anda menerapkan kebijakan pada folder, Google Cloud akan menerapkan kebijakan tersebut pada semua project di folder tersebut. Untuk mempelajari perilaku ini dan cara mengubahnya lebih lanjut, lihat Aturan evaluasi hierarki.

Harga

Layanan Kebijakan Organisasi, termasuk kebijakan organisasi standar dan kustom, ditawarkan tanpa biaya.

Sebelum memulai

  1. Siapkan project
    1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

    2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

      Buka pemilih project

    3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

    4. Aktifkan API Dataproc.

      Mengaktifkan API

    5. Menginstal Google Cloud CLI.

    6. Untuk initialize gcloud CLI, jalankan perintah berikut: 

      gcloud init

    7. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

      Buka pemilih project

    8. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

    9. Aktifkan API Dataproc.

      Mengaktifkan API

    10. Menginstal Google Cloud CLI.

    11. Untuk initialize gcloud CLI, jalankan perintah berikut: 

      gcloud init
    12. Pastikan Anda mengetahui ID organisasi Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengelola kebijakan organisasi, minta administrator Anda untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk mengelola kebijakan organisasi. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengelola kebijakan organisasi:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.

Membuat batasan khusus

Batasan khusus ditentukan dalam file YAML berdasarkan resource, metode, kondisi, dan tindakan yang diterapkan padanya. Dataproc mendukung batasan khusus yang diterapkan pada metode CREATE dan UPDATE dari resource CLUSTER (lihat Batasan Dataproc pada resource dan operasi).

Cara membuat file YAML untuk batasan kustom Dataproc:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes:
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ganti kode berikut:

  • ORGANIZATION_ID: ID organisasi Anda, seperti 123456789.

  • CONSTRAINT_NAME: nama yang Anda inginkan untuk batasan kustom baru. Batasan kustom harus diawali dengan custom., dan hanya dapat menyertakan huruf besar, huruf kecil, atau angka, misalnya, custom.dataprocEnableComponentGateway. Panjang maksimum kolom ini adalah 70 karakter, tidak termasuk awalan, misalnya, organizations/123456789/customConstraints/custom.

  • METHOD: Saat membuat batasan pembuatan cluster, tentukan CREATE. Saat membuat batasan UPDATE cluster, tentukan keduanya sebagai berikut: 
    methodTypes:
- CREATE
- UPDATE

  • CONDITION: kondisi CEL yang ditulis berdasarkan representasi resource layanan yang didukung. Kolom ini memiliki panjang maksimal 1000 karakter. Lihat Resource yang didukung untuk informasi selengkapnya tentang resource yang tersedia untuk menulis kondisi. Contohnya, "resource.config.endpointConfig.enableHttpPortAccess==true"

  • ACTION: tindakan yang akan diambil jika condition terpenuhi. Ini dapat berupa ALLOW atau DENY.

  • DISPLAY_NAME: nama yang mudah digunakan manusia untuk batasan, misalnya, "Terapkan pengaktifan Gateway Komponen Dataproc". Kolom ini memiliki panjang maksimal 200 karakter.

  • DESCRIPTION: deskripsi batasan yang mudah dipahami manusia untuk ditampilkan sebagai pesan error saat kebijakan dilanggar, misalnya, "Hanya izinkan pembuatan cluster Dataproc jika Gateway Komponen diaktifkan". Kolom ini memiliki panjang maksimal 2000 karakter.

Untuk mengetahui informasi selengkapnya tentang cara membuat batasan kustom, lihat Menentukan batasan kustom.

Menyiapkan batasan kustom

Setelah membuat batasan khusus baru menggunakan Google Cloud CLI, Anda harus menyiapkannya agar tersedia untuk kebijakan organisasi di organisasi Anda. Untuk menyiapkan batasan kustom, gunakan perintah gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Ganti CONSTRAINT_PATH dengan jalur lengkap ke file batasan kustom Anda. Contoh, /home/user/customconstraint.yaml. Setelah selesai, Anda akan menemukan batasan khusus sebagai kebijakan organisasi yang tersedia dalam daftar kebijakan organisasi Google Cloud. Untuk memverifikasi bahwa ada batasan kustom, gunakan perintah gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Ganti ORGANIZATION_ID dengan ID fasilitas organisasi Anda. Untuk informasi selengkapnya, lihat Melihat kebijakan organisasi.

Menerapkan batasan khusus

Anda dapat menerapkan batasan boolean dengan membuat kebijakan organisasi yang mereferensikannya, dan menerapkan kebijakan organisasi tersebut ke resource Google Cloud.

Konsol

Untuk menerapkan batasan boolean:

  1. Di konsol Google Cloud, buka halaman Organization policies.

    Buka Organization policies

  2. Pilih pemilih project di bagian atas halaman.
  3. Dari pemilih project, pilih project yang kebijakan organisasinya ingin Anda tetapkan.
  4. Pilih batasan dari daftar di halaman Organization policies. Halaman Policy details untuk batasan tersebut akan muncul.
  5. Guna mengonfigurasi kebijakan organisasi untuk resource ini, klik Kelola kebijakan.
  6. Di halaman Edit policy, pilih Override parent's policy.
  7. Klik Tambahkan aturan.
  8. Di bagian Enforcement, pilih apakah penerapan kebijakan organisasi ini harus diaktifkan atau dinonaktifkan.
  9. Secara opsional, untuk membuat kebijakan organisasi bersyarat pada tag, klik Add condition. Perhatikan bahwa jika menambahkan aturan kondisional ke kebijakan organisasi, Anda harus menambahkan setidaknya satu aturan tanpa syarat atau kebijakan tidak dapat disimpan. Untuk detail selengkapnya, lihat Menetapkan kebijakan organisasi dengan tag.
  10. Jika ini adalah batasan kustom, Anda dapat mengklik Test changes untuk menyimulasikan efek kebijakan organisasi ini. Untuk informasi selengkapnya, lihat Menguji perubahan kebijakan organisasi dengan Policy Simulator.
  11. Untuk menyelesaikan dan menerapkan kebijakan organisasi, klik Tetapkan kebijakan. Kebijakan ini akan memerlukan waktu hingga 15 menit untuk diterapkan.

gcloud

Untuk membuat kebijakan organisasi yang menerapkan batasan boolean, buat file YAML kebijakan yang merujuk batasan tersebut: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Ganti kode berikut:

  • PROJECT_ID: project tempat Anda ingin menerapkan batasan.
  • CONSTRAINT_NAME: nama yang Anda tentukan untuk batasan kustom. Contoh, custom.dataprocEnableComponentGateway

Untuk menerapkan kebijakan organisasi yang berisi batasan, jalankan perintah berikut: 

    gcloud org-policies set-policy POLICY_PATH

Ganti POLICY_PATH dengan jalur lengkap ke file YAML kebijakan organisasi Anda. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

Menguji batasan kustom

Contoh pembuatan cluster berikut mengasumsikan bahwa kebijakan organisasi kustom telah dibuat dan diterapkan pada pembuatan cluster untuk mewajibkan pengaktifan Gateway Komponen (resource.config.endpointConfig.enableHttpPortAccess==true).

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

Contoh output (secara default, Gateway Komponen tidak diaktifkan saat cluster Dataproc dibuat):

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

Batasan Dataproc pada resource dan operasi

Kolom batasan kustom Dataproc berikut tersedia untuk digunakan saat Anda membuat atau memperbarui cluster Dataproc. Perlu diperhatikan bahwa saat mengupdate cluster, hanya batasan terkait parameter cluster yang dapat diedit yang didukung (lihat Mengupdate cluster).

  • Konfigurasi jaringan Compute Engine (networkUri, internalIpOnly, serviceAccount, dan metadata)
    • resource.config.gceClusterConfig.networkUri
    • resource.config.gceClusterConfig.internalIpOnly
    • resource.config.gceClusterConfig.serviceAccount
    • resource.config.gceClusterConfig.metadata
  • Konfigurasi grup instance Compute Engine (imageUri dan machineTypeUri)
    • resource.config.masterConfig.imageUri
    • resource.config.masterConfig.machineTypeUri
    • resource.config.workerConfig.imageUri
    • resource.config.workerConfig.machineTypeUri
    • resource.config.secondaryWorkerConfig.imageUri
    • resource.config.secondaryWorkerConfig.machineTypeUri
  • Tindakan inisialisasi (executableFile)
    • resource.config.initializationActions.executableFile
  • Konfigurasi software (imageVersion, properti, dan opsionalComponents)
    • resource.config.softwareConfig.imageVersion
    • resource.config.softwareConfig.properties
    • resource.config.softwareConfig.optionalComponents
  • Konfigurasi Kerberos (enableKerberos dan crossRealmTrustKdc)
    • resource.config.securityConfig.kerberosConfig.enableKerberos
    • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
  • Gateway komponen (enableHttpPortAccess)
    • resource.config.endpointConfig.enableHttpPortAccess
  • Konfigurasi Metastore (dataprocMetastoreService)
    • resource.config.metastoreConfig.dataprocMetastoreService
  • Persistent Disk CMEK (gcePdKmsKeyName)
    • resource.config.encryptionConfig.gcePdKmsKeyName
  • Label cluster
    • resource.labels
  • Ukuran cluster
    • resource.config.masterConfig.numInstances
    • resource.config.workerConfig.numInstances
    • resource.config.secondaryWorkerConfig.numInstances
  • Penskalaan otomatis
    • resource.config.autoscalingConfig.policyUri

Contoh batasan kustom untuk kasus penggunaan umum

Tabel berikut memberikan contoh batasan kustom:

Deskripsi Sintaksis batasan
Batasi jumlah instance worker Dataproc hingga 10 atau kurang saat cluster dibuat atau diperbarui. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10"
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.
Cegah master aplikasi berjalan pada worker preemptible cluster Dataproc. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)"
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".
Jangan izinkan properti Hive kustom di cluster Dataproc. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))"
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".
Larang penggunaan jenis mesin n1-standard-2 untuk instance master Dataproc. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')"
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Menerapkan penggunaan skrip tindakan inisialisasi yang ditentukan. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')"
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh".
    initialization action script is used.
Menerapkan penggunaan kunci enkripsi persistent disk yang ditentukan. 

    name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Terapkan batasan label cluster. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  "('env' in resource.labels) && (resource.labels.env=='test')"
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Menerapkan penggunaan jaringan non-default. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "resource.config.gceClusterConfig.networkUri.contains('networks/default')"
    actionType: DENY
    displayName: Cluster cannot be created in the default network
    description:  Deny Dataproc cluster creation if the cluster will be created in the default network.

Langkah selanjutnya