Peran dan izin IAM Dataproc

Ringkasan

Identity and Access Management (IAM) memungkinkan Anda mengontrol akses pengguna dan grup ke resource project. Dokumen ini berfokus pada izin IAM yang relevan dengan Dataproc dan peran IAM yang memberikan izin tersebut.

Izin Dataproc

Persyaratan keamanan mulai 3 Agustus 2020: Pengguna Dataproc diwajibkan untuk memiliki izin ActAs akun layanan guna men-deploy resource Dataproc, misalnya, untuk membuat cluster dan membuat instance alur kerja. Lihat Peran untuk autentikasi akun layanan untuk mengetahui informasi mendetail tentang izin akun layanan.

Keikutsertaan untuk pengguna Dataproc yang ada: Pengguna Dataproc yang ada mulai 3 Agustus 2020 dapat memilih untuk mengikuti persyaratan keamanan ini (lihat Mengamankan Dataproc, Dataflow, dan Cloud Data Fusion).

Izin Dataproc memungkinkan pengguna, termasuk akun layanan, melakukan tindakan pada cluster, tugas, operasi, dan template alur kerja Dataproc. Misalnya, izin dataproc.clusters.create memungkinkan pengguna membuat cluster Dataproc dalam project. Biasanya, Anda tidak memberikan izin; tetapi, Anda memberikan peran, yang mencakup satu atau beberapa izin.

Tabel berikut mencantumkan izin yang diperlukan untuk memanggil Dataproc API (metode). Tabel diatur sesuai dengan API yang terkait dengan setiap resource Dataproc (cluster, tugas, operasi, dan template alur kerja).

Cakupan Izin: Cakupan izin Dataproc yang tercantum dalam tabel berikut adalah project Google Cloud yang berisi (cakupan cloud-platform). Lihat Izin akun layanan.

Contoh:

• dataproc.clusters.create mengizinkan pembuatan cluster Dataproc dalam project yang berisi
• dataproc.jobs.create mengizinkan pengiriman tugas Dataproc ke cluster Dataproc dalam project yang berisinya
• dataproc.clusters.list mengizinkan listingan detail cluster Dataproc dalam project yang berisinya

Catatan: Agar operasi cluster Dataproc berhasil, akun layanan VM Dataproc harus memiliki akses ke bucket sementara dan staging Dataproc. Jika Anda mengubah izin IAM akun layanan VM default atau menentukan akun layanan VM kustom untuk cluster, Anda harus memberikan izin IAM storage.* yang disertakan dalam peran roles/dataproc.worker ke akun layanan VM. Lihat juga Izin IAM untuk Cloud Storage dan Peran IAM untuk Cloud Storage.

Izin yang diperlukan metode cluster

Metode	Izin yang diperlukan
projects.regions.clusters.create ^1, 2	dataproc.clusters.create
projects.regions.clusters.get	dataproc.clusters.get
projects.regions.clusters.list	dataproc.clusters.list
projects.regions.clusters.patch ^1, 2, 3	dataproc.clusters.update
projects.regions.clusters.delete ^1	dataproc.clusters.delete
projects.regions.clusters.start	dataproc.clusters.start
projects.regions.clusters.stop	dataproc.clusters.stop
projects.regions.clusters.getIamPolicy	dataproc.clusters.getIamPolicy
projects.regions.clusters.setIamPolicy	dataproc.clusters.setIamPolicy

Catatan:

1. Izin dataproc.operations.get juga diperlukan untuk mendapatkan update status dari Google Cloud CLI.
2. Izin dataproc.clusters.get juga diperlukan untuk mendapatkan hasil operasi dari Google Cloud CLI.
3. Izin dataproc.autoscalingPolicies.use juga diperlukan untuk mengaktifkan kebijakan penskalaan otomatis di cluster.

Izin yang diperlukan metode Tugas

Metode	Izin yang diperlukan
projects.regions.jobs.submit ^1, 2	dataproc.jobs.create dataproc.clusters.use
projects.regions.jobs.get	dataproc.jobs.get
projects.regions.jobs.list	dataproc.jobs.list
projects.regions.jobs.cancel ^1	dataproc.jobs.cancel
projects.regions.jobs.patch ^1	dataproc.jobs.update
projects.regions.jobs.delete ^1	dataproc.jobs.delete
projects.regions.jobs.getIamPolicy	dataproc.jobs.getIamPolicy
projects.regions.jobs.setIamPolicy	dataproc.jobs.setIamPolicy

Catatan:

1. Google Cloud CLI juga memerlukan izin dataproc.jobs.get untuk perintah jobs submit, jobs wait, jobs update, jobs delete, dan jobs kill.

2. gcloud CLI juga memerlukan izin dataproc.clusters.get untuk mengirimkan tugas. Untuk contoh penetapan izin yang diperlukan pengguna agar dapat menjalankan gcloud dataproc jobs submit di cluster menggunakan IAM Granular Dataproc (lihat Mengirimkan Tugas dengan IAM Granular).

Izin yang diperlukan metode operasi

Metode	Izin yang diperlukan
projects.regions.operations.get	dataproc.operations.get
projects.regions.operations.list	dataproc.operations.list
projects.regions.operations.cancel	dataproc.operations.cancel
projects.regions.operations.delete	dataproc.operations.delete
projects.regions.operations.getIamPolicy	dataproc.operations.getIamPolicy
projects.regions.operations.setIamPolicy	dataproc.operations.setIamPolicy

Izin yang diperlukan metode template alur kerja

Metode	Izin yang diperlukan
projects.regions.workflowTemplates.instantiate	dataproc.workflowTemplates.instantiate
projects.regions.workflowTemplates.instantiateInline	dataproc.workflowTemplates.instantiateInline
projects.regions.workflowTemplates.create	dataproc.workflowTemplates.create
projects.regions.workflowTemplates.get	dataproc.workflowTemplates.get
projects.regions.workflowTemplates.list	dataproc.workflowTemplates.list
projects.regions.workflowTemplates.update	dataproc.workflowTemplates.update
projects.regions.workflowTemplates.delete	dataproc.workflowTemplates.delete
projects.regions.workflowTemplates.getIamPolicy	dataproc.workflowTemplates.getIamPolicy
projects.regions.workflowTemplates.setIamPolicy	dataproc.workflowTemplates.setIamPolicy

Catatan:

1. Izin Template Alur Kerja tidak bergantung pada izin Cluster dan Tugas. Pengguna tanpa izin create cluster atau submit job dapat membuat dan membuat instance Template Alur Kerja.

2. Google Cloud CLI juga memerlukan izin dataproc.operations.get untuk melakukan polling guna mengetahui penyelesaian alur kerja.

3. Izin dataproc.operations.cancel diperlukan untuk membatalkan alur kerja yang sedang berjalan.

Izin yang diperlukan metode kebijakan penskalaan otomatis

Metode	Izin yang diperlukan
projects.regions.autoscalingPolicies.create	dataproc.autoscalingPolicies.create
projects.regions.autoscalingPolicies.get	dataproc.autoscalingPolicies.get
projects.regions.autoscalingPolicies.list	dataproc.autoscalingPolicies.list
projects.regions.autoscalingPolicies.update	dataproc.autoscalingPolicies.update
projects.regions.autoscalingPolicies.delete	dataproc.autoscalingPolicies.delete
projects.regions.autoscalingPolicies.getIamPolicy	dataproc.autoscalingPolicies.getIamPolicy
projects.regions.autoscalingPolicies.setIamPolicy	dataproc.autoscalingPolicies.setIamPolicy

Catatan:

1. Izin dataproc.autoscalingPolicies.use diperlukan untuk mengaktifkan kebijakan penskalaan otomatis di cluster dengan permintaan metode clusters.patch.

Izin yang diperlukan metode grup node

Metode	Izin yang diperlukan
projects.regions.nodeGroups.create	dataproc.nodeGroups.create
projects.regions.nodeGroups.get	dataproc.nodeGroups.get
projects.regions.nodeGroups.resize	dataproc.nodeGroups.update

Peran Dataproc

Peran IAM Dataproc adalah paket berisi satu atau beberapa izin. Anda memberikan peran kepada pengguna atau grup untuk mengizinkan mereka melakukan tindakan pada resource Dataproc dalam project. Misalnya, peran Dataproc Viewer berisi izin get dan list, yang memungkinkan pengguna mendapatkan dan mencantumkan cluster, tugas, dan operasi Dataproc dalam project.

Tabel berikut mencantumkan peran IAM Dataproc dan izin yang terkait dengan setiap peran.

Peran Dataproc	Izin
Dataproc Administrator (roles/dataproc.admin) Kontrol penuh atas resource Dataproc.	compute.machineTypes.* compute.networks.get compute.networks.list compute.projects.get compute.regions.* compute.zones.* dataproc.autoscalingPolicies.* dataproc.batches.analyze dataproc.batches.cancel dataproc.batches.create dataproc.batches.delete dataproc.batches.get dataproc.batches.list dataproc.batches.sparkApplicationRead dataproc.clusters.* dataproc.jobs.* dataproc.nodeGroups.* dataproc.operations.* dataproc.sessionTemplates.* dataproc.sessions.create dataproc.sessions.delete dataproc.sessions.get dataproc.sessions.list dataproc.sessions.sparkApplicationRead dataproc.sessions.terminate dataproc.workflowTemplates.* dataprocrm.nodePools.* dataprocrm.nodes.get dataprocrm.nodes.heartbeat dataprocrm.nodes.list dataprocrm.nodes.update dataprocrm.operations.get dataprocrm.operations.list dataprocrm.workloads.* resourcemanager.projects.get resourcemanager.projects.list
Editor Dataproc (roles/dataproc.editor) Memberikan izin yang diperlukan untuk melihat resource yang diperlukan untuk mengelola Dataproc, termasuk jenis mesin, jaringan, project, dan zona. Resource level terendah tempat Anda dapat memberikan peran ini: Cluster	compute.machineTypes.* compute.networks.get compute.networks.list compute.projects.get compute.regions.* compute.zones.* dataproc.autoscalingPolicies.create dataproc.autoscalingPolicies.delete dataproc.autoscalingPolicies.get dataproc.autoscalingPolicies.list dataproc.autoscalingPolicies.update dataproc.autoscalingPolicies.use dataproc.batches.analyze dataproc.batches.cancel dataproc.batches.create dataproc.batches.delete dataproc.batches.get dataproc.batches.list dataproc.batches.sparkApplicationRead dataproc.clusters.create dataproc.clusters.delete dataproc.clusters.get dataproc.clusters.list dataproc.clusters.start dataproc.clusters.stop dataproc.clusters.update dataproc.clusters.use dataproc.jobs.cancel dataproc.jobs.create dataproc.jobs.delete dataproc.jobs.get dataproc.jobs.list dataproc.jobs.update dataproc.nodeGroups.* dataproc.operations.cancel dataproc.operations.delete dataproc.operations.get dataproc.operations.list dataproc.sessionTemplates.* dataproc.sessions.create dataproc.sessions.delete dataproc.sessions.get dataproc.sessions.list dataproc.sessions.sparkApplicationRead dataproc.sessions.terminate dataproc.workflowTemplates.create dataproc.workflowTemplates.delete dataproc.workflowTemplates.get dataproc.workflowTemplates.instantiate dataproc.workflowTemplates.instantiateInline dataproc.workflowTemplates.list dataproc.workflowTemplates.update dataprocrm.nodePools.* dataprocrm.nodes.get dataprocrm.nodes.heartbeat dataprocrm.nodes.list dataprocrm.nodes.update dataprocrm.operations.get dataprocrm.operations.list dataprocrm.workloads.* resourcemanager.projects.get resourcemanager.projects.list
Dataproc Hub Agent (roles/dataproc.hubAgent) Mengizinkan pengelolaan resource Dataproc. Ditujukan untuk akun layanan yang menjalankan instance Dataproc Hub.	compute.instances.get compute.instances.setMetadata compute.instances.setTags compute.zoneOperations.get compute.zones.list dataproc.autoscalingPolicies.get dataproc.autoscalingPolicies.list dataproc.autoscalingPolicies.use dataproc.clusters.create dataproc.clusters.delete dataproc.clusters.get dataproc.clusters.list dataproc.clusters.update dataproc.operations.cancel dataproc.operations.delete dataproc.operations.get dataproc.operations.list iam.serviceAccounts.actAs iam.serviceAccounts.get iam.serviceAccounts.list logging.buckets.get logging.buckets.list logging.exclusions.get logging.exclusions.list logging.links.get logging.links.list logging.locations.* logging.logEntries.create logging.logEntries.list logging.logEntries.route logging.logMetrics.get logging.logMetrics.list logging.logServiceIndexes.list logging.logServices.list logging.logs.list logging.operations.get logging.operations.list logging.queries.getShared logging.queries.listShared logging.queries.usePrivate logging.sinks.get logging.sinks.list logging.usage.get logging.views.get logging.views.list observability.scopes.get resourcemanager.projects.get resourcemanager.projects.list storage.buckets.get storage.objects.get storage.objects.list
Penampil Dataproc (roles/dataproc.viewer) Menyediakan akses baca saja ke resource Dataproc. Resource level terendah tempat Anda dapat memberikan peran ini: Cluster	compute.machineTypes.get compute.regions.* compute.zones.* dataproc.autoscalingPolicies.get dataproc.autoscalingPolicies.list dataproc.batches.analyze dataproc.batches.get dataproc.batches.list dataproc.batches.sparkApplicationRead dataproc.clusters.get dataproc.clusters.list dataproc.jobs.get dataproc.jobs.list dataproc.nodeGroups.get dataproc.operations.get dataproc.operations.list dataproc.sessionTemplates.get dataproc.sessionTemplates.list dataproc.sessions.get dataproc.sessions.list dataproc.sessions.sparkApplicationRead dataproc.workflowTemplates.get dataproc.workflowTemplates.list resourcemanager.projects.get resourcemanager.projects.list
Dataproc Worker (roles/dataproc.worker) Memberikan akses pekerja ke resource Dataproc. Ditujukan untuk akun layanan.	cloudprofiler.profiles.create cloudprofiler.profiles.update dataproc.agents.* dataproc.batches.sparkApplicationWrite dataproc.sessions.sparkApplicationWrite dataproc.tasks.* dataprocrm.nodes.mintOAuthToken logging.logEntries.create logging.logEntries.route monitoring.metricDescriptors.create monitoring.metricDescriptors.get monitoring.metricDescriptors.list monitoring.monitoredResourceDescriptors.* monitoring.timeSeries.create storage.buckets.get storage.folders.* storage.managedFolders.create storage.managedFolders.delete storage.managedFolders.get storage.managedFolders.list storage.multipartUploads.* storage.objects.*

Catatan:

• Izin compute diperlukan atau direkomendasikan untuk membuat dan melihat cluster Dataproc saat menggunakan konsol Google Cloud atau gcloud CLI Google Cloud.
• Untuk mengizinkan pengguna mengupload file, berikan peran Storage Object Creator. Untuk mengizinkan pengguna melihat output tugas, berikan peran Storage Object Viewer.
• Pengguna harus memiliki izin monitoring.timeSeries.list agar dapat melihat grafik di tab Ringkasan konsol Google Cloud→Dataproc→Detail cluster.
• Pengguna harus memiliki izin compute.instances.list untuk melihat status instance dan menu SSH instance master di tab Instance VM di konsol Google Cloud→Dataproc→Detail cluster. Untuk informasi tentang peran Compute Engine, lihat Compute Engine→Peran IAM yang tersedia).
• Untuk membuat cluster dengan akun layanan yang ditentukan pengguna, akun layanan yang ditentukan harus memiliki semua izin yang diberikan oleh peran Dataproc Worker, yang mencakup akses ke bucket sementara dan staging Dataproc. Peran tambahan mungkin diperlukan, bergantung pada fitur yang dikonfigurasi. Lihat Membuat cluster dengan akun layanan VM kustom untuk mengetahui informasi selengkapnya.

Peran project

Anda juga dapat menetapkan izin di level project menggunakan peran Project IAM. Tabel berikut mencantumkan izin yang terkait dengan peran Project IAM:

Peran Project	Izin
Project Viewer	Semua izin project untuk tindakan hanya baca yang mempertahankan status (get, list)
Editor Project	Semua izin Project Viewer ditambah semua izin project untuk tindakan yang mengubah status (membuat, menghapus, memperbarui, menggunakan, membatalkan, menghentikan, memulai)
Pemilik Project	Semua izin Project Editor ditambah izin untuk mengelola kontrol akses untuk project (get/set IamPolicy) dan menyiapkan penagihan project

Ringkasan peran IAM dan operasi Dataproc

Tabel berikut mencantumkan operasi Dataproc yang terkait dengan project dan peran Dataproc.

Operasi	Editor Project	Project Viewer	Dataproc Admin	Editor Dataproc	Penampil Dataproc
Mendapatkan/Menetapkan izin IAM Dataproc	Tidak	Tidak	Ya	Tidak	Tidak
Buat cluster	Ya	Tidak	Ya	Ya	Tidak
Mencantumkan cluster	Ya	Ya	Ya	Ya	Ya
Mendapatkan detail cluster	Ya	Ya	Ya ^1, 2	Ya ^1, 2	Ya ^1, 2
Memperbarui cluster	Ya	Tidak	Ya	Ya	Tidak
Hapus cluster	Ya	Tidak	Ya	Ya	Tidak
Memulai/Menghentikan cluster	Ya	Tidak	Ya	Ya	Tidak
Kirim tugas	Ya	Tidak	Ya ^3	Ya ^3	Tidak
Membuat daftar tugas	Ya	Ya	Ya	Ya	Ya
Mendapatkan detail tugas	Ya	Ya	Ya ^4	Ya ^4	Ya ^4
Batalkan tugas	Ya	Tidak	Ya	Ya	Tidak
Hapus tugas	Ya	Tidak	Ya	Ya	Tidak
Mencantumkan operasi	Ya	Ya	Ya	Ya	Ya
Mendapatkan detail operasi	Ya	Ya	Ya	Ya	Ya
Menghapus operasi	Ya	Tidak	Ya	Ya	Tidak

Catatan:

1. Grafik performa tidak tersedia kecuali jika pengguna juga memiliki peran dengan izin monitoring.timeSeries.list.
2. Daftar VM di cluster tidak akan menyertakan informasi status atau link SSH untuk instance master, kecuali jika pengguna juga memiliki peran dengan izin compute.instances.list.
3. Tugas yang mengupload file mengharuskan pengguna memiliki peran Storage Object Creator atau akses tulis ke bucket staging Dataproc.
4. Output tugas tidak tersedia kecuali jika pengguna juga memiliki peran Storage Object Viewer atau telah diberi akses baca ke bucket staging untuk project.

Akun layanan

Saat Anda memanggil Dataproc API untuk melakukan tindakan dalam project, seperti membuat instance VM, Dataproc akan melakukan tindakan tersebut atas nama Anda menggunakan akun layanan yang memiliki izin yang diperlukan untuk melakukan tindakan tersebut. Untuk mengetahui informasi selengkapnya, lihat Akun layanan Dataproc.

Pengelolaan IAM

Anda dapat memperoleh dan menetapkan kebijakan IAM menggunakan konsol Google Cloud, IAM API, atau Google Cloud CLI.

• Untuk konsol Google Cloud, lihat Kontrol akses menggunakan konsol Google Cloud.
• Untuk API, lihat Kontrol akses menggunakan API.
• Untuk Google Cloud CLI, lihat Kontrol akses menggunakan Google Cloud CLI.

Langkah selanjutnya

• Pelajari akun utama dan peran Dataproc
• Pelajari IAM Granular Dataproc
• Pelajari lebih lanjut tentang IAM.
• Pelajari Akun layanan di Dataproc