Lyria | AI Music Generator

Anda dapat menggunakan Lyria untuk membuat trek musik instrumental baru dari perintah teks yang Anda berikan di konsol Google Cloud atau mengirim permintaan ke Gemini API di Vertex AI API.

Coba Lyria di Vertex AI (Vertex AI Studio)

Fitur dan tahap peluncuran Lyria

Lyria menawarkan fitur AI generatif untuk pembuatan musik.

Tabel berikut menjelaskan fitur yang Tersedia Secara Umum (GA) untuk semua pengguna:

Fitur Deskripsi Tahap peluncuran
Membuat musik dari teks Membuat trek musik instrumental dari input teks deskriptif. Ketersediaan Umum
Perintah negatif Mengarahkan model untuk menghindari elemen tertentu dalam musik yang dihasilkan. Ketersediaan Umum
Seed untuk kemampuan reproduksi Gunakan nilai awal untuk memastikan output pembuatan yang konsisten untuk perintah dan parameter yang sama. Ketersediaan Umum

Lokasi

Lokasi adalah region yang dapat Anda tentukan dalam permintaan untuk mengontrol tempat data disimpan dalam penyimpanan. Lyria 2 ditawarkan secara global. Untuk mengetahui daftar region yang tersedia untuk layanan Vertex AI, lihat Lokasi AI Generatif di Vertex AI.

Performa dan batasan

Batas Nilai
Modalities Pembuatan musik dari teks (khusus instrumental)
Panggilan API (permintaan per project per menit) Lihat [dokumentasi Kuota dan batas](/vertex-ai/generative-ai/docs/quotas) untuk batas Inferensi Vertex AI standar.
Latensi permintaan (Waktu pembuatan) Klip audio biasanya dibuat dalam waktu 10 hingga 20 detik. Beberapa permintaan mungkin dimasukkan dalam antrean selama penggunaan puncak.
Jumlah maksimum klip audio yang ditampilkan per permintaan Hingga sample_count yang ditentukan. (Nilai maks untuk sample_count akan ditentukan, biasanya bilangan bulat kecil, misalnya, 1-4).
Durasi audio per klip 32,8 detik
Format audio yang didukung untuk ditampilkan Audio WAV pada frekuensi sampel 48 kHz
Bahasa perintah input Inggris AS (en-us)

Responsible AI

Lyria menghasilkan musik instrumental dari perintah teks. Lyria menerapkan langkah-langkah keamanan termasuk filter keamanan konten, pemeriksaan pembacaan, dan pemeriksaan niat artis untuk mencegah input dan pembuatan konten berbahaya atau tidak pantas. Watermark SynthID digunakan pada audio yang dihasilkan. Perintah yang melanggar pedoman AI yang bertanggung jawab dapat diblokir.

Versi dan siklus proses model Lyria Vertex AI

Model dan versi Lyria adalah sebagai berikut:

Nama model ID
Lyria 2 lyria-002

Membuat musik dari teks

Anda dapat membuat trek musik instrumental baru menggunakan teks deskriptif sebagai input.

Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Enable the Vertex AI API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Enable the Vertex AI API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    6.

  6. Siapkan autentikasi untuk lingkungan Anda.

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    REST

    Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, Anda menggunakan kredensial yang Anda berikan ke gcloud CLI.

      Menginstal Google Cloud CLI. Setelah penginstalan, lakukan inisialisasi Google Cloud CLI dengan menjalankan perintah berikut: 

      gcloud init

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

    Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

    Konsol

    1. Di Google Cloud konsol, buka halaman Vertex AI Studio > Media Studio.

      Media Studio

    2. Pilih model Lyria atau opsi pembuatan musik.

    3. Opsional: Di panel Setelan, konfigurasikan setelan berikut:

      • Model: Pilih lyria-002 jika tersedia beberapa versi.
      • Jumlah sampel (sample_count): Sesuaikan jumlah klip audio yang akan dibuat untuk perintah. (Tidak dapat digunakan dengan Seed).
      • Seed: Masukkan bilangan bulat untuk output yang dapat direproduksi. (Tidak dapat digunakan dengan Jumlah sampel).

    4. Di kotak Write your prompt, masukkan perintah teks Anda dalam bahasa Inggris Amerika Serikat yang menjelaskan musik yang akan dibuat.

    5. Opsional: Di kotak Perintah negatif, masukkan istilah atau deskripsi yang akan dikecualikan dari musik yang dihasilkan.

    6. Klik Buat.

    7. Klip audio yang dihasilkan akan tersedia untuk dipratinjau dan didownload sebagai file WAV.

    REST

    Gunakan metode predict untuk mengirim permintaan pembuatan musik. Respons akan langsung berisi data audio, biasanya berenkode base64 jika responsnya adalah JSON.

    Untuk mengetahui informasi selengkapnya tentang permintaan model lyria-002, lihat referensi API model lyria-002.

    Untuk membuat musik, kirim permintaan POST ke endpoint predict model.

    Permintaan:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002:predict \
  -d '{
    "instances": [
      {
        "prompt": "An uplifting and hopeful orchestral piece with a soaring string melody and triumphant brass.",
        "negative_prompt": " dissonant, minor key",
        "seed": 12345
      }
    ],
    "parameters": {
      // "sample_count": 1 // Use either seed or sample_count
    }
  }'

    Respons:

    Permintaan yang berhasil akan menampilkan objek JSON yang berisi data audio yang dihasilkan. Tampilannya akan terlihat seperti ini:

    {
  "predictions": [
    {
      "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_1",
      "mimeType": "audio/wav"
    },
    {
      "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_2",
      "mimeType": "audio/wav"
    }
  ],
  "deployedModelId": "xxxxxxxxxxxxxxx",
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002",
  "modelDisplayName": "Lyria 2"
}

    Kemudian, Anda akan mendekode audioContent (base64) untuk mendapatkan file audio WAV. Setiap klip berdurasi 32,8 detik.

    Langkah berikutnya