API Lyria

Lyria est un nouveau modèle de base pour la génération audio de haute qualité, capable de créer des paysages sonores et des morceaux de musique variés à partir d'invites textuelles. Lyria permet aux utilisateurs de générer de la musique instrumentale de haute qualité à partir d'invites textuelles.

Pour explorer ce modèle dans la console, consultez la fiche de modèle Lyria dans Model Garden (accessible via l'onglet Media Studio).

Essayer Lyria sur Vertex AI (Vertex AI Studio)

Essayez Lyria dans un Colab

Modèles compatibles

L'API Lyria est compatible avec le modèle suivant:

  • lyria-002

Requête HTTP

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://LOCATION[-aiplatform.googleapis.com/v1/projects/](https://-aiplatform.googleapis.com/v1/projects/)PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002:predict \
  -d '{
    "instances": [
      {
        "prompt": "string",
        "negative_prompt": "string", // Optional
        "seed": 0 // Optional. Cannot be used with sample_count.
      }
    ],
    "parameters": {
      "sample_count": 1 // Optional. Cannot be used with seed.
    }
  }'

Utilisez les paramètres suivants pour le modèle Lyria. Pour en savoir plus, consultez les détails de la fiche Model Garden Lyria.

Paramètre

prompt

(dans l'objet instances)

string

Obligatoire. Description textuelle en anglais américain (en-us) de l'audio à générer.

Exemple: "Un titre de dance électronique énergique au tempo rapide."

negative_prompt

(dans l'objet instances)

string

Facultatif. Description de ce qu'il faut exclure de l'audio généré.

Exemple: "vocals, slow tempo"

seed

(dans l'objet instances)

integer

Facultatif. Graine pour la génération déterministe. Le modèle tentera de produire le même contenu audio avec la même requête et les mêmes paramètres.

Ne peut pas être utilisé avec sample_count dans la même requête.

Exemple : 12345

sample_count

(dans l'objet parameters)

integer

Facultatif. Nombre d'échantillons audio à générer. La valeur par défaut est 1 si elle n'est pas spécifiée et que le grain n'est pas utilisé.

Ne peut pas être utilisé avec seed dans la même requête.

Exemple : 2

Exemple de requête

Utilisez la requête suivante pour générer de la musique instrumentale à partir d'une invite textuelle:

Requête de génération de musique à partir de texte

curl

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/lyria-002:predict \
-d '{
  "instances": [
    {
      "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.",
      "negative_prompt": "drums, electric guitar",
      "seed": 98765
    }
  ],
  "parameters": {}
}'

JSON

Cet exemple utilise seed pour obtenir un résultat reproductible.


{
  "instances": [
    {
      "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.",
      "negative_prompt": "drums, electric guitar",
      "seed": 98765
    }
  ],
  "parameters": {}
}

JSON avec sample_count

Cet exemple utilise sample_count pour générer plusieurs échantillons.

Pour tester une requête textuelle à l'aide de l'API Lyria, envoyez une requête POST au point de terminaison du modèle de l'éditeur. L'exemple suivant omet seed de l'objet instances et utilise sample_count dans l'objet parameters pour générer plusieurs échantillons. 


{
  "instances": [
    {
      "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.",
      "negative_prompt": "drums, electric guitar"
    }
  ],
  "parameters": {
    "sample_count": 2
  }
}

Corps de la réponse

Une requête réussie renvoie un objet JSON contenant les données audio générées. Chaque extrait audio généré dure 30 secondes et est fourni au format WAV avec un taux d'échantillonnage de 48 kHz.

{
  "predictions": [
    {
      "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_1",
      "mimeType": "audio/wav"
    }
    // Additional audio samples will be listed here if sample_count > 1
    // e.g.,
    //{"audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_2",
    // "mimeType": "audio/wav"
    //}
  ],
  "deployedModelId": "xxxxxxxxxxxxxxx", // Actual ID may vary based on deployment
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002",
  "modelDisplayName": "Lyria 2"
}
Élément de réponse
predictions

array

Tableau d'échantillons audio générés. Chaque objet du tableau représente un extrait audio.
predictions[].audioContent

string

Chaîne encodée en base64 des données audio WAV générées.
predictions[].mimeType

string

Type MIME des données audio. Pour Lyria, il s'agit de "audio/wav".
deployedModelId

string

ID du modèle déployé qui a traité la requête (le cas échéant pour le type de point de terminaison).
model

string

Nom complet de la ressource du modèle qui a traité la requête.
modelDisplayName

string

Nom à afficher du modèle.

Bonnes pratiques et limites

Consultez la fiche de modèle Lyria pour connaître les bonnes pratiques détaillées concernant les invites, la prise en charge des langues (anglais américain uniquement pour les invites), les temps de génération, le format de sortie (WAV, 48 kHz, extraits instrumentaux de 30 secondes), les mesures de sécurité et les informations de déploiement.

Points essentiels :

  • Invites détaillées:elles permettent généralement d'obtenir un meilleur son.
  • Spécifiez:genre, ambiance, instrumentation, tempo.
  • Invite négative:utilisez negative_prompt pour exclure des éléments.
  • Sortie:clips audio WAV de 30 secondes, 48 kHz, instrumentaux uniquement.
  • Sécurité:des filtres de sécurité des contenus, des vérifications de récitation, des vérifications de l'intention de l'artiste et un filigrane SynthID sont appliqués.

Tarifs

L'utilisation de Lyria 2 est facturée 0,06 $par tranche de 30 secondes de musique générée. Pour en savoir plus, consultez les tarifs de Vertex AI.

En savoir plus

  • En savoir plus sur l'IA générative sur Vertex AI.
  • Pour en savoir plus sur Lyria, consultez sa fiche de modèle disponible dans Model Garden (Media Studio).

Étape suivante