Lyria ist ein neues Foundation Model für die hochqualitative Audiogenerierung, mit dem sich aus Textprompts vielfältige Klanglandschaften und Musikstücke erstellen lassen. Mit Lyria können Nutzer hochwertige Instrumentalmusik aus Textprompts generieren.
Weitere Informationen zu diesem Modell finden Sie in der Console auf der Modellkarte „Lyria“ im Model Garden (über den Tab „Media Studio“ zugänglich).
Lyria in Vertex AI (Vertex AI Studio) ausprobieren
Lyria in einem Colab-Notebook testen
Unterstützte Modelle
Die Lyria API unterstützt das folgende Modell:
lyria-002
HTTP-Anfrage
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://LOCATION[-aiplatform.googleapis.com/v1/projects/](https://-aiplatform.googleapis.com/v1/projects/)PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002:predict \
-d '{
"instances": [
{
"prompt": "string",
"negative_prompt": "string", // Optional
"seed": 0 // Optional. Cannot be used with sample_count.
}
],
"parameters": {
"sample_count": 1 // Optional. Cannot be used with seed.
}
}'
Verwenden Sie die folgenden Parameter für das Lyria-Modell. Weitere Informationen finden Sie auf der Model Garden-Karte zu Lyria.
Parameter | |
---|---|
(im |
Erforderlich. Die Textbeschreibung in US-Englisch (en-us) des zu generierenden Audios. Beispiel: „Ein energiegeladener elektronischer Dance-Track mit schnellem Tempo“ |
(im |
Optional. Eine Beschreibung dessen, was aus dem generierten Audio ausgeschlossen werden soll. Beispiel: „Gesang, langsames Tempo“ |
(im |
Optional. Ein Seed für die deterministische Generierung. Wenn ein Prompt angegeben wurde, versucht das Modell, dieselbe Audioausgabe mit demselben Prompt und denselben anderen Parametern zu generieren.
Kann nicht in derselben Anfrage mit Beispiel: |
(im |
Optional. Die Anzahl der zu generierenden Audio-Samples. Wenn keine Angabe erfolgt und kein Startwert verwendet wird, ist der Standardwert 1.
Kann nicht in derselben Anfrage mit Beispiel: |
Beispielanfrage
Mit der folgenden Anfrage kannst du Instrumentalmusik aus einem Textprompt generieren:
Anfrage zur Text-zu-Musik-Generierung
curl
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/lyria-002:predict \ -d '{ "instances": [ { "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.", "negative_prompt": "drums, electric guitar", "seed": 98765 } ], "parameters": {} }'
JSON
In diesem Beispiel wird seed
für eine reproduzierbare Ausgabe verwendet.
{ "instances": [ { "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.", "negative_prompt": "drums, electric guitar", "seed": 98765 } ], "parameters": {} }
JSON mit „sample_count“
In diesem Beispiel wird sample_count
verwendet, um mehrere Samples zu generieren.
Senden Sie zum Testen eines Text-Prompts mit der Lyria API eine POST-Anfrage an den Endpunkt des Publisher-Modells. Im folgenden Beispiel wird seed
aus dem instances
-Objekt entfernt und sample_count
wird im parameters
-Objekt verwendet, um mehrere Samples zu generieren.
{ "instances": [ { "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.", "negative_prompt": "drums, electric guitar" } ], "parameters": { "sample_count": 2 } }
Antworttext
Bei einer erfolgreichen Anfrage wird ein JSON-Objekt mit den generierten Audiodaten zurückgegeben. Jeder generierte Audioclip ist 30 Sekunden lang und wird als WAV-Audiodatei mit einer Abtastrate von 48 kHz bereitgestellt.
{
"predictions": [
{
"audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_1",
"mimeType": "audio/wav"
}
// Additional audio samples will be listed here if sample_count > 1
// e.g.,
//{"audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_2",
// "mimeType": "audio/wav"
//}
],
"deployedModelId": "xxxxxxxxxxxxxxx", // Actual ID may vary based on deployment
"model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002",
"modelDisplayName": "Lyria 2"
}
Antwortelement | |
---|---|
predictions |
Ein Array mit generierten Audio-Samples. Jedes Objekt im Array steht für einen Audioclip. |
predictions[].audioContent |
Base64-codierter String der generierten WAV-Audiodaten. |
predictions[].mimeType |
Der MIME-Typ der Audiodaten. Für Lyria ist das |
deployedModelId |
Die ID des bereitgestellten Modells, das die Anfrage verarbeitet hat (falls für den Endpunkttyp zutreffend). |
model |
Der vollständige Ressourcenname des Modells, das die Anfrage verarbeitet hat. |
modelDisplayName |
Der Anzeigename des Modells. |
Best Practices und Einschränkungen
Auf der Modellkarte für Lyria finden Sie detaillierte Best Practices zu Prompts, Sprachunterstützung (nur US-Englisch für Prompts), Generierungszeiten, Ausgabeformat (WAV, 48 kHz, 30 Sekunden Instrumental-Clips), Sicherheitsmaßnahmen und Informationen zur Bereitstellung.
Wichtige Fakten:
- Detaillierte Prompts:Sie führen in der Regel zu besserer Audioqualität.
- Angeben:Genre, Stimmung, Instrumentierung, Tempo.
- Ausschließende Prompts:Verwenden Sie
negative_prompt
, um Elemente auszuschließen. - Ausgabe:30-sekündige WAV-Audioclips, 48 kHz, nur Instrumentalmusik.
- Sicherheit:Es werden Inhaltssicherheitsfilter, eine Rezitationsüberprüfung, Prüfungen der Künstlerabsicht und SynthID-Wasserzeichen angewendet.
Preise
Die Nutzung von Lyria 2 kostet 0,06 $pro 30 Sekunden generierter Musik. Weitere Informationen finden Sie unter Vertex AI-Preise.
Weitere Informationen
- Generative AI für Vertex AI.
- Eine Übersicht über Lyria findest du auf der Modellkarte in Model Garden (Media Studio).
Nächste Schritte
- Sie können Lyria in Vertex AI Studio ausprobieren.
- Lesen Sie die Nutzungsbedingungen für Google Cloud-Dienste.
- Lesen Sie die Zusatzbedingungen für Produkte mit generativer KI.