Lyria API

Lyria ist ein neues Foundation Model für die hochqualitative Audiogenerierung, mit dem sich aus Textprompts vielfältige Klanglandschaften und Musikstücke erstellen lassen. Mit Lyria können Nutzer hochwertige Instrumentalmusik aus Textprompts generieren.

Weitere Informationen zu diesem Modell finden Sie in der Console auf der Modellkarte „Lyria“ im Model Garden (über den Tab „Media Studio“ zugänglich).

Lyria in Vertex AI (Vertex AI Studio) ausprobieren

Lyria in einem Colab-Notebook testen

Unterstützte Modelle

Die Lyria API unterstützt das folgende Modell:

  • lyria-002

HTTP-Anfrage

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://LOCATION[-aiplatform.googleapis.com/v1/projects/](https://-aiplatform.googleapis.com/v1/projects/)PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002:predict \
  -d '{
    "instances": [
      {
        "prompt": "string",
        "negative_prompt": "string", // Optional
        "seed": 0 // Optional. Cannot be used with sample_count.
      }
    ],
    "parameters": {
      "sample_count": 1 // Optional. Cannot be used with seed.
    }
  }'

Verwenden Sie die folgenden Parameter für das Lyria-Modell. Weitere Informationen finden Sie auf der Model Garden-Karte zu Lyria.

Parameter

prompt

(im instances-Objekt)

string

Erforderlich. Die Textbeschreibung in US-Englisch (en-us) des zu generierenden Audios.

Beispiel: „Ein energiegeladener elektronischer Dance-Track mit schnellem Tempo“

negative_prompt

(im instances-Objekt)

string

Optional. Eine Beschreibung dessen, was aus dem generierten Audio ausgeschlossen werden soll.

Beispiel: „Gesang, langsames Tempo“

seed

(im instances-Objekt)

integer

Optional. Ein Seed für die deterministische Generierung. Wenn ein Prompt angegeben wurde, versucht das Modell, dieselbe Audioausgabe mit demselben Prompt und denselben anderen Parametern zu generieren.

Kann nicht in derselben Anfrage mit sample_count verwendet werden.

Beispiel: 12345

sample_count

(im parameters-Objekt)

integer

Optional. Die Anzahl der zu generierenden Audio-Samples. Wenn keine Angabe erfolgt und kein Startwert verwendet wird, ist der Standardwert 1.

Kann nicht in derselben Anfrage mit seed verwendet werden.

Beispiel: 2

Beispielanfrage

Mit der folgenden Anfrage kannst du Instrumentalmusik aus einem Textprompt generieren:

Anfrage zur Text-zu-Musik-Generierung

curl

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/lyria-002:predict \
-d '{
  "instances": [
    {
      "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.",
      "negative_prompt": "drums, electric guitar",
      "seed": 98765
    }
  ],
  "parameters": {}
}'

JSON

In diesem Beispiel wird seed für eine reproduzierbare Ausgabe verwendet.


{
  "instances": [
    {
      "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.",
      "negative_prompt": "drums, electric guitar",
      "seed": 98765
    }
  ],
  "parameters": {}
}

JSON mit „sample_count“

In diesem Beispiel wird sample_count verwendet, um mehrere Samples zu generieren.

Senden Sie zum Testen eines Text-Prompts mit der Lyria API eine POST-Anfrage an den Endpunkt des Publisher-Modells. Im folgenden Beispiel wird seed aus dem instances-Objekt entfernt und sample_count wird im parameters-Objekt verwendet, um mehrere Samples zu generieren. 


{
  "instances": [
    {
      "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.",
      "negative_prompt": "drums, electric guitar"
    }
  ],
  "parameters": {
    "sample_count": 2
  }
}

Antworttext

Bei einer erfolgreichen Anfrage wird ein JSON-Objekt mit den generierten Audiodaten zurückgegeben. Jeder generierte Audioclip ist 30 Sekunden lang und wird als WAV-Audiodatei mit einer Abtastrate von 48 kHz bereitgestellt.

{
  "predictions": [
    {
      "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_1",
      "mimeType": "audio/wav"
    }
    // Additional audio samples will be listed here if sample_count > 1
    // e.g.,
    //{"audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_2",
    // "mimeType": "audio/wav"
    //}
  ],
  "deployedModelId": "xxxxxxxxxxxxxxx", // Actual ID may vary based on deployment
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002",
  "modelDisplayName": "Lyria 2"
}
Antwortelement
predictions

array

Ein Array mit generierten Audio-Samples. Jedes Objekt im Array steht für einen Audioclip.
predictions[].audioContent

string

Base64-codierter String der generierten WAV-Audiodaten.
predictions[].mimeType

string

Der MIME-Typ der Audiodaten. Für Lyria ist das "audio/wav".
deployedModelId

string

Die ID des bereitgestellten Modells, das die Anfrage verarbeitet hat (falls für den Endpunkttyp zutreffend).
model

string

Der vollständige Ressourcenname des Modells, das die Anfrage verarbeitet hat.
modelDisplayName

string

Der Anzeigename des Modells.

Best Practices und Einschränkungen

Auf der Modellkarte für Lyria finden Sie detaillierte Best Practices zu Prompts, Sprachunterstützung (nur US-Englisch für Prompts), Generierungszeiten, Ausgabeformat (WAV, 48 kHz, 30 Sekunden Instrumental-Clips), Sicherheitsmaßnahmen und Informationen zur Bereitstellung.

Wichtige Fakten:

  • Detaillierte Prompts:Sie führen in der Regel zu besserer Audioqualität.
  • Angeben:Genre, Stimmung, Instrumentierung, Tempo.
  • Ausschließende Prompts:Verwenden Sie negative_prompt, um Elemente auszuschließen.
  • Ausgabe:30-sekündige WAV-Audioclips, 48 kHz, nur Instrumentalmusik.
  • Sicherheit:Es werden Inhaltssicherheitsfilter, eine Rezitationsüberprüfung, Prüfungen der Künstlerabsicht und SynthID-Wasserzeichen angewendet.

Preise

Die Nutzung von Lyria 2 kostet 0,06 $pro 30 Sekunden generierter Musik. Weitere Informationen finden Sie unter Vertex AI-Preise.

Weitere Informationen

Nächste Schritte