Membuat instance A3 Ultra atau A4

Dokumen ini menjelaskan cara membuat instance dengan GPU terpasang dari rangkaian mesin A3 Ultra atau A4. Untuk mempelajari lebih lanjut cara membuat instance dengan GPU terpasang, lihat Ringkasan pembuatan instance dengan GPU terpasang.

Instance A3 Ultra dan A4 mendukung Cluster Director. Dengan Cluster Director, Anda dapat memesan komputer yang dialokasikan secara padat yang menyediakan penjadwalan yang sesuai dengan topologi, serta pemantauan dan pemeliharaan yang ditingkatkan. Untuk mempelajari Cluster Director lebih lanjut, lihat Cluster Director di dokumentasi AI Hypercomputer.

Sebelum memulai

  • Untuk meninjau batasan dan langkah-langkah prasyarat tambahan untuk membuat instance dengan GPU yang terpasang, seperti cara memilih image OS atau memeriksa kuota GPU, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.
  • Jika Anda belum melakukannya, siapkan autentikasi. Autentikasi memverifikasi identitas Anda untuk mengakses Google Cloud layanan dan API. Untuk menjalankan kode atau sampel dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    1. Menginstal Google Cloud CLI. Setelah penginstalan, lakukan inisialisasi Google Cloud CLI dengan menjalankan perintah berikut:

      gcloud init

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

    2. Set a default region and zone.

    REST

    Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, Anda menggunakan kredensial yang Anda berikan ke gcloud CLI.

      Menginstal Google Cloud CLI. Setelah penginstalan, lakukan inisialisasi Google Cloud CLI dengan menjalankan perintah berikut:

      gcloud init

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

    Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat instance, minta administrator Anda untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat instance. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat instance:

  • compute.instances.create di project
  • Untuk menggunakan image kustom guna membuat VM: compute.images.useReadOnly pada image
  • Untuk menggunakan snapshot guna membuat VM: compute.snapshots.useReadOnly pada snapshot
  • Untuk menggunakan template instance guna membuat VM: compute.instanceTemplates.useReadOnly pada template instance
  • Untuk menentukan subnet bagi VM Anda: compute.subnetworks.use di project atau di subnet yang dipilih
  • Untuk menentukan alamat IP statis untuk VM: compute.addresses.use pada project
  • Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan VPC: compute.subnetworks.useExternalIp di project atau di subnet yang dipilih
  • Untuk menetapkan jaringan lama ke VM: compute.networks.use pada project
  • Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan lama: compute.networks.useExternalIp di project
  • Untuk menetapkan metadata instance VM bagi VM: compute.instances.setMetadata di project
  • Untuk menyetel tag untuk VM: compute.instances.setTags di VM
  • Untuk menetapkan label bagi VM: compute.instances.setLabels di VM
  • Untuk menetapkan akun layanan yang akan digunakan VM: compute.instances.setServiceAccount di VM
  • Untuk membuat disk baru untuk VM: compute.disks.create pada project
  • Untuk memasang disk yang ada dalam mode hanya baca atau baca-tulis: compute.disks.use pada disk
  • Untuk memasang disk yang ada dalam mode hanya baca: compute.disks.useReadOnly pada disk

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menentukan cara membuat instance A3 Ultra atau A4

Untuk menentukan opsi yang ingin Anda gunakan untuk membuat instance A3 Ultra atau A4, selesaikan langkah-langkah berikut:

  1. Pilih opsi konsumsi: Untuk mempelajari cara memilih opsi konsumsi untuk instance A3 Ultra atau A4, lihat Memilih opsi konsumsi dalam dokumentasi AI Hypercomputer.

  2. Mendapatkan kapasitas: Untuk mempelajari cara mendapatkan kapasitas untuk instance A3 Ultra atau A4 untuk opsi penggunaan yang Anda pilih, lihat Ringkasan kapasitas dalam dokumentasi AI Hypercomputer.

  3. Pilih petunjuk pembuatan: Untuk mempelajari semua opsi yang dapat Anda gunakan untuk membuat instance A3 Ultra atau A4, seperti grup instance terkelola (MIG) atau cluster, lihat Ringkasan pembuatan VM dan cluster dalam dokumentasi AI Hypercomputer.

    Jika Anda ingin menggunakan fitur Cluster Director atau jika Anda tidak ingin membuat instance mandiri, pilih opsi pembuatan di dokumentasi AI Hypercomputer.

Membuat instance A3 Ultra atau A4

Untuk membuat instance A3 Ultra atau A4, selesaikan langkah-langkah berikut:

  1. Membuat jaringan VPC

  2. Buat instance

  3. Menyiapkan instance untuk digunakan

Buat jaringan VPC

Untuk menyiapkan jaringan bagi jenis mesin A4 atau A3 Ultra, buat tiga jaringan VPC untuk antarmuka jaringan berikut:

  • 2 jaringan VPC reguler untuk antarmuka jaringan (NIC) gVNIC. Ini digunakan untuk komunikasi host ke host.
  • 1 jaringan VPC dengan profil jaringan RoCE diperlukan untuk NIC CX-7. Jaringan VPC RoCE harus memiliki 8 subnet, satu subnet untuk setiap NIC CX-7. NIC ini menggunakan RDMA over Converged Ethernet (RoCE), yang menyediakan komunikasi berbandwidth tinggi dan berlatensi rendah yang penting untuk komunikasi GPU ke GPU.

Untuk mengetahui informasi selengkapnya tentang pengaturan NIC, lihat Meninjau bandwidth jaringan dan pengaturan NIC.

Buat jaringan secara manual dengan mengikuti panduan petunjuk atau secara otomatis menggunakan skrip yang disediakan.

Panduan petunjuk

Untuk membuat jaringan, Anda dapat menggunakan petunjuk berikut:

Untuk jaringan VPC ini, sebaiknya tetapkan unit transmisi maksimum (MTU) ke nilai yang lebih besar. Untuk jenis mesin A4 atau A3 Ultra, MTU yang direkomendasikan adalah 8896 byte. Untuk meninjau setelan MTU yang direkomendasikan untuk jenis mesin GPU lainnya, lihat Setelan MTU untuk jenis mesin GPU.

Skrip

Untuk membuat jaringan, ikuti langkah-langkah berikut.

Untuk jaringan VPC ini, sebaiknya tetapkan unit transmisi maksimum (MTU) ke nilai yang lebih besar. Untuk jenis mesin A4 atau A3 Ultra, MTU yang direkomendasikan adalah 8896 byte. Untuk meninjau setelan MTU yang direkomendasikan untuk jenis mesin GPU lainnya, lihat Setelan MTU untuk jenis mesin GPU.

  1. Gunakan skrip berikut untuk membuat jaringan VPC bagi gVNIC dan NIC CX-7.

      
        #!/bin/bash
    
        # Create regular VPC networks and subnets for the gVNICs
        for N in $(seq 0 1); do
          gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
            --subnet-mode=custom \
            --mtu=8896
    
          gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
            --network=GVNIC_NAME_PREFIX-net-$N \
            --region=REGION \
            --range=10.$N.0.0/16
    
          gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
            --network=GVNIC_NAME_PREFIX-net-$N \
            --action=ALLOW \
            --rules=tcp:0-65535,udp:0-65535,icmp \
            --source-ranges=10.0.0.0/8
        done
    
        # Create SSH firewall rules
        gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
          --network=GVNIC_NAME_PREFIX-net-0 \
          --action=ALLOW \
          --rules=tcp:22 \
          --source-ranges=IP_RANGE
    
        # Assumes that an external IP is only created for vNIC 0
        gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
          --network=GVNIC_NAME_PREFIX-net-0 \
          --action=ALLOW \
          --rules=icmp \
          --source-ranges=IP_RANGE
    
      
        # List and make sure network profiles exist in the machine type's zone
        gcloud compute network-profiles list --filter "location.name=ZONE"
    
        # Create network for CX-7
        gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
          --network-profile=ZONE-vpc-roce \
          --subnet-mode custom \
          --mtu=8896
    
        # Create subnets
        for N in $(seq 0 7); do
          gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
            --network=RDMA_NAME_PREFIX-mrdma \
            --region=REGION \
            --range=10.$((N+2)).0.0/16 # offset to avoid overlap with gVNICs
        done
    
      

    Ganti kode berikut:

    • GVNIC_NAME_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan VPC dan subnet reguler untuk gVNIC.
    • RDMA_NAME_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan VPC dan subnet RoCE bagi NIC CX-7.
    • ZONE: tentukan zona tempat jenis mesin yang ingin Anda gunakan tersedia, seperti us-central1-a. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
    • REGION: region tempat Anda ingin membuat subnet. Wilayah ini harus sesuai dengan zona yang ditentukan. Misalnya, jika zona Anda adalah us-central1-a, maka region Anda adalah us-central1.
    • IP_RANGE: rentang IP yang akan digunakan untuk aturan firewall SSH.
  2. Opsional: Untuk memverifikasi bahwa resource jaringan VPC berhasil dibuat, periksa setelan jaringan di konsol Google Cloud :
    1. Di Google Cloud konsol, buka halaman VPC networks.

      Buka jaringan VPC

    2. Telusuri daftar untuk menemukan jaringan yang Anda buat pada langkah sebelumnya.
    3. Untuk melihat subnet, aturan firewall, dan setelan jaringan lainnya, klik nama jaringan.

Buat instance

Untuk membuat instance, gunakan salah satu opsi berikut. Jika ingin menggunakan model penyediaan mulai fleksibel, Anda harus menggunakan Google Cloud CLI atau REST untuk membuat VM.

Konsol

  1. Di konsol Google Cloud , buka halaman Create an instance.

    Buka halaman Buat instance

    Layar Create an instance akan muncul dan menampilkan panel Machine configuration.

  2. Di panel Machine configuration, selesaikan langkah-langkah berikut:

    1. Tentukan Nama untuk instance Anda. Lihat Konvensi penamaan resource.

    2. Pilih Region dan Zone tempat Anda telah memesan kapasitas.

    3. Klik tab GPU, lalu selesaikan langkah-langkah berikut:

      1. Pada daftar GPU type, pilih jenis GPU Anda.

        • Untuk instance A4, pilih NVIDIA B200.

        • Untuk instance A3 Ultra, pilih NVIDIA H200 141 GB.

      2. Dalam daftar Number of GPUs, pilih 8.

  3. Di menu navigasi, klik OS dan penyimpanan. Di panel OS and storage yang muncul, selesaikan langkah-langkah berikut:

    1. Klik Ubah. Panel Boot disk configuration akan muncul.

    2. Pada tab Public images, pilih image yang direkomendasikan. Untuk mengetahui daftar image yang direkomendasikan, lihat Sistem operasi.

    3. Untuk mengonfirmasi opsi boot disk, klik Select.

  4. Untuk membuat instance multi-NIC, selesaikan langkah-langkah berikut. Jika tidak, untuk membuat instance NIC tunggal, lewati langkah-langkah ini.

    • Di menu navigasi, klik Networking. Di panel Networking yang muncul, selesaikan langkah-langkah berikut:

      1. Di bagian Network interfaces, selesaikan langkah-langkah berikut:

      2. Hapus antarmuka jaringan default. Untuk menghapus antarmuka, klik Hapus.

      3. Klik Add a network interface. Gunakan opsi ini untuk menambahkan antarmuka jaringan yang terpasang ke jaringan VPC yang Anda buat di bagian sebelumnya. Saat menambahkan antarmuka jaringan, ingat hal berikut:

        • Untuk antarmuka jaringan yang digunakan untuk komunikasi host ke host, pilih jaringan VPC dan subnet reguler dari daftar Jaringan dan Subnetwork, lalu tetapkan daftar Kartu antarmuka jaringan ke gVNIC.

        • Untuk antarmuka jaringan yang digunakan untuk komunikasi GPU ke GPU, pilih jaringan dan subnet VPC RoCE dari daftar Jaringan dan Subnetwork, lalu tetapkan daftar Kartu antarmuka jaringan ke MRDMA untuk antarmuka jaringan ini.

  5. Di menu navigasi, klik Lanjutan. Kemudian, selesaikan langkah-langkah berikut untuk model penyediaan yang ingin Anda gunakan.

    Terikat dengan reservasi

    1. Klik Pilih reservasi. Tindakan ini akan membuka panel dengan daftar reservasi yang tersedia dalam zona yang Anda pilih. Dari daftar reservasi, selesaikan langkah-langkah berikut:

      1. Pilih reservasi yang ingin Anda gunakan untuk VM. Anda juga dapat memilih blok tertentu dalam reservasi.
      2. Klik Pilih.

    Spot

    1. Di bagian Provisioning model, pilih Spot dari daftar VM provisioning model.
    2. Opsional: Untuk memilih tindakan penghentian yang terjadi saat Compute Engine melakukan preempt terhadap VM, selesaikan langkah-langkah berikut:

      1. Luaskan bagian VM provisioning model advanced settings.
      2. Dalam daftar On VM termination, pilih salah satu opsi berikut:
        • Untuk menghentikan VM selama preemption, pilih Hentikan (default).
        • Untuk menghapus VM selama preemption, pilih Hapus.
  6. Untuk membuat dan memulai instance, klik Create.

gcloud

Untuk membuat VM, gunakan perintah gcloud compute instances create.

Parameter yang perlu Anda tentukan bergantung pada opsi penggunaan yang Anda gunakan untuk deployment ini. Pilih tab yang sesuai dengan model penyediaan opsi penggunaan Anda.

Flex-start

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --reservation-affinity=none \
    --provisioning-model=FLEX_START \
    --request-valid-for-duration=REQUEST_VALID_FOR_DURATION \
    --max-run-duration=MAX_RUN_DURATION \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE

Ganti kode berikut:

  • VM_NAME: nama VM.
  • MACHINE_TYPE: jenis mesin yang akan digunakan untuk VM. Untuk mengetahui informasi selengkapnya, lihat Jenis mesin GPU.
  • IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk mengetahui daftar sistem operasi yang didukung, lihat Detail sistem operasi.
  • IMAGE_PROJECT: project ID image OS.
  • ZONE: zona tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
  • DISK_SIZE: ukuran boot disk dalam GB.
  • GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC standar yang menggunakan gVNIC.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
  • REQUEST_VALID_FOR_DURATION: durasi permintaan untuk membuat VM berlaku. Anda harus memformat nilai sebagai jumlah hari, jam, menit, atau detik diikuti dengan d, h, m, dan s. Misalnya, tentukan 30m selama 30 menit atau 1d2h3m4s selama satu hari, dua jam, tiga menit, dan empat detik. Jika Anda tidak menentukan durasi, durasi defaultnya adalah 90 detik.

    Berdasarkan persyaratan zona untuk workload Anda, sebaiknya tentukan salah satu durasi berikut untuk membantu meningkatkan peluang keberhasilan permintaan pembuatan VM Anda:

    • Workload dengan persyaratan zona yang ketat: jika workload Anda mengharuskan Anda membuat VM di zona tertentu, tentukan durasi antara 90 detik dan dua jam. Durasi yang lebih lama memberi Anda peluang yang lebih tinggi untuk mendapatkan resource.
    • Beban kerja tanpa persyaratan zona yang ketat: jika VM dapat berjalan di zona mana pun dalam region, tentukan durasi nol detik (0). Tindakan ini menentukan bahwa Compute Engine hanya mengalokasikan resource jika resource tersebut tersedia dengan segera. Jika permintaan pembuatan VM gagal karena resource tidak tersedia, coba lagi permintaan di zona lain.
  • MAX_RUN_DURATION: durasi yang Anda inginkan agar VM yang diminta berjalan. Anda harus memformat nilai sebagai jumlah hari, jam, menit, atau detik, diikuti dengan d, h, m, dan s. Misalnya, tentukan 30m selama 30 menit atau 1d2h3m4s selama satu hari, dua jam, tiga menit, dan empat detik. Nilainya harus antara 10 menit dan tujuh hari.

Terikat dengan reservasi

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE

Ganti kode berikut:

  • VM_NAME: nama VM.
  • MACHINE_TYPE: jenis mesin yang akan digunakan untuk VM. Untuk mengetahui informasi selengkapnya, lihat Jenis mesin GPU.
  • IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk mengetahui daftar sistem operasi yang didukung, lihat Detail sistem operasi.
  • IMAGE_PROJECT: project ID image OS.
  • ZONE: zona tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
  • DISK_SIZE: ukuran boot disk dalam GB.
  • GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC standar yang menggunakan gVNIC.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
  • RESERVATION: nama reservasi atau blok tertentu dalam reservasi. Untuk mendapatkan nama reservasi atau blok yang tersedia, lihat Melihat kapasitas yang dicadangkan. Berdasarkan persyaratan penempatan instance, pilih salah satu opsi berikut:
    • Untuk membuat instance di blok mana pun:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

      Selain itu, untuk membuat beberapa instance dalam blok yang sama, terapkan kebijakan penempatan rapat yang sama yang menentukan kolokasi blok (maxDistance=2) saat membuat setiap instance. Kemudian, Compute Engine akan menerapkan kebijakan ke reservasi dan membuat instance di blok yang sama.

    • Untuk membuat instance di blok tertentu:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
  • TERMINATION_ACTION: apakah Compute Engine menghentikan (STOP) atau menghapus (DELETE) VM di akhir periode reservasi.

Spot

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

Ganti kode berikut:

  • VM_NAME: nama VM.
  • MACHINE_TYPE: jenis mesin yang akan digunakan untuk VM. Untuk mengetahui informasi selengkapnya, lihat Jenis mesin GPU.
  • IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk mengetahui daftar sistem operasi yang didukung, lihat Detail sistem operasi.
  • IMAGE_PROJECT: project ID image OS.
  • ZONE: zona tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
  • DISK_SIZE: ukuran boot disk dalam GB.
  • GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC standar yang menggunakan gVNIC.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
  • TERMINATION_ACTION: tindakan yang akan diambil saat Compute Engine melakukan preempt terhadap instance, baik STOP (default) atau DELETE.

REST

Untuk membuat VM, buat permintaan POST ke metode instances.insert.

Parameter yang perlu Anda tentukan bergantung pada opsi penggunaan yang Anda gunakan untuk deployment ini. Pilih tab yang sesuai dengan model penyediaan opsi penggunaan Anda.

Flex-start

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name": "VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb": "DISK_SIZE",
        "diskType": "hyperdisk-balanced",
        "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode": "READ_WRITE",
      "type": "PERSISTENT"
    }
  ],
  "serviceAccounts": [
    {
      "email": "default",
      "scopes": [
        "https://www.googleapis.com/auth/cloud-platform"
      ]
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "reservationAffinity":{
    "consumeReservationType": "NO_RESERVATION",
  },
  "scheduling":{
    "provisioningModel": "FLEX_START",
    "requestValidForDuration": {
      "seconds": REQUEST_VALID_FOR_DURATION
    },
    "maxRunDuration": {
      "seconds": MAX_RUN_DURATION
    },
    "instanceTerminationAction": "DELETE",
    "onHostMaintenance": "TERMINATE",
  }
}

Ganti kode berikut:

  • PROJECT_ID: project ID project tempat Anda ingin membuat VM.
  • ZONE: zona tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
  • MACHINE_TYPE: jenis mesin yang akan digunakan untuk VM. Untuk mengetahui informasi selengkapnya, lihat Jenis mesin GPU.
  • VM_NAME: nama VM.
  • DISK_SIZE: ukuran boot disk dalam GB.
  • IMAGE_PROJECT: project ID image OS.
  • IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk mengetahui daftar sistem operasi yang didukung, lihat Detail sistem operasi.
  • NETWORK_PROJECT_ID: project ID jaringan.
  • GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC standar yang menggunakan gVNIC.
  • REGION: region subnetwork.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
  • REQUEST_VALID_FOR_DURATION: durasi permintaan untuk membuat VM berlaku. Anda harus memformat nilai sebagai jumlah hari, jam, menit, atau detik diikuti dengan d, h, m, dan s. Misalnya, tentukan 30m selama 30 menit atau 1d2h3m4s selama satu hari, dua jam, tiga menit, dan empat detik. Jika Anda tidak menentukan durasi, durasi defaultnya adalah 90 detik.

    Berdasarkan persyaratan zona untuk workload Anda, sebaiknya tentukan salah satu durasi berikut untuk membantu meningkatkan peluang keberhasilan permintaan pembuatan VM Anda:

    • Workload dengan persyaratan zona yang ketat: jika workload Anda mengharuskan Anda membuat VM di zona tertentu, tentukan durasi antara 90 detik dan dua jam. Durasi yang lebih lama memberi Anda peluang yang lebih tinggi untuk mendapatkan resource.
    • Beban kerja tanpa persyaratan zona yang ketat: jika VM dapat berjalan di zona mana pun dalam region, tentukan durasi nol detik (0). Tindakan ini menentukan bahwa Compute Engine hanya mengalokasikan resource jika resource tersebut tersedia dengan segera. Jika permintaan pembuatan VM gagal karena resource tidak tersedia, coba lagi permintaan di zona lain.
  • MAX_RUN_DURATION: durasi yang Anda inginkan agar VM yang diminta berjalan. Anda harus memformat nilai sebagai jumlah detik. Misalnya, tentukan 86400 untuk satu hari. Nilainya harus antara 10 menit dan tujuh hari.

Terikat dengan reservasi

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name": "VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb": "DISK_SIZE",
        "diskType": "hyperdisk-balanced",
        "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode": "READ_WRITE",
      "type": "PERSISTENT"
    }
  ],
  "serviceAccounts": [
    {
      "email": "default",
      "scopes": [
        "https://www.googleapis.com/auth/cloud-platform"
      ]
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "reservationAffinity":{
    "consumeReservationType": "SPECIFIC_RESERVATION",
    "key": "compute.googleapis.com/reservation-name",
    "values":[
      "RESERVATION"
    ]
  },
  "scheduling":{
    "provisioningModel": "RESERVATION_BOUND",
    "instanceTerminationAction": "TERMINATION_ACTION",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": true
  }
}

Ganti kode berikut:

  • PROJECT_ID: project ID project tempat Anda ingin membuat VM.
  • ZONE: zona tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
  • MACHINE_TYPE: jenis mesin yang akan digunakan untuk VM. Untuk mengetahui informasi selengkapnya, lihat Jenis mesin GPU.
  • VM_NAME: nama VM.
  • DISK_SIZE: ukuran boot disk dalam GB.
  • IMAGE_PROJECT: project ID image OS.
  • IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk mengetahui daftar sistem operasi yang didukung, lihat Detail sistem operasi.
  • NETWORK_PROJECT_ID: project ID jaringan.
  • GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC standar yang menggunakan gVNIC.
  • REGION: region subnetwork.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
  • RESERVATION: nama reservasi atau blok tertentu dalam reservasi. Untuk mendapatkan nama reservasi atau blok yang tersedia, lihat Melihat kapasitas yang dicadangkan. Berdasarkan persyaratan penempatan instance, pilih salah satu opsi berikut:
    • Untuk membuat instance di blok mana pun:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

      Selain itu, untuk membuat beberapa instance dalam blok yang sama, terapkan kebijakan penempatan rapat yang sama yang menentukan kolokasi blok (maxDistance=2) saat membuat setiap instance. Kemudian, Compute Engine akan menerapkan kebijakan ke reservasi dan membuat instance di blok yang sama.

    • Untuk membuat instance di blok tertentu:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
  • TERMINATION_ACTION: apakah Compute Engine menghentikan (STOP) atau menghapus (DELETE) VM di akhir periode reservasi.

Spot

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name": "VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb": "DISK_SIZE",
        "diskType": "hyperdisk-balanced",
        "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode": "READ_WRITE",
      "type": "PERSISTENT"
    }
  ],
  "serviceAccounts": [
    {
      "email": "default",
      "scopes": [
        "https://www.googleapis.com/auth/cloud-platform"
      ]
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "scheduling":
  {
    "provisioningModel": "SPOT",
    "instanceTerminationAction": "TERMINATION_ACTION"
  }
}

Ganti kode berikut:

  • PROJECT_ID: project ID project tempat Anda ingin membuat VM.
  • ZONE: zona tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
  • MACHINE_TYPE: jenis mesin yang akan digunakan untuk VM. Untuk mengetahui informasi selengkapnya, lihat Jenis mesin GPU.
  • VM_NAME: nama VM.
  • DISK_SIZE: ukuran boot disk dalam GB.
  • IMAGE_PROJECT: project ID image OS.
  • IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk mengetahui daftar sistem operasi yang didukung, lihat Detail sistem operasi.
  • NETWORK_PROJECT_ID: project ID jaringan.
  • GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC standar yang menggunakan gVNIC.
  • REGION: region subnetwork.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
  • TERMINATION_ACTION: tindakan yang akan diambil saat Compute Engine melakukan preempt terhadap instance, baik STOP (default) atau DELETE.

Menyiapkan instance untuk digunakan

Untuk menyiapkan instance yang telah dipasangi GPU agar dapat digunakan, selesaikan langkah-langkah berikut:

  1. Agar instance A4 atau A3 Ultra dapat menggunakan GPU yang terpasang, driver GPU harus diinstal pada instance tersebut. Kecuali jika image di instance sudah menyertakan driver GPU yang diperlukan, instal driver GPU.

  2. Jika Anda membuat Spot VM di bagian sebelumnya, selesaikan langkah-langkah berikut:

Langkah berikutnya