Lyria | Generador de música con IA

Para ver un ejemplo de Lyria Music Generation, ejecuta el cuaderno "Lyria Music Generation with Python SDK" en uno de los siguientes entornos:

Abrir en Colab | Abrir en Colab Enterprise | Abrir en Vertex AI Workbench | Ver en GitHub

Puedes usar Lyria para generar nuevas pistas de música instrumental a partir de una petición de texto que proporciones en la Google Cloud consola o que envíes en una solicitud a la API de Gemini en Vertex AI.

Probar Lyria en Vertex AI (Vertex AI Studio)

Funciones y fase de lanzamiento de Lyria

Lyria ofrece funciones de IA generativa para la creación musical.

En la siguiente tabla se describen las funciones que están disponibles de forma general (GA) para todos los usuarios:

Función	Descripción	Fase de lanzamiento
Generar música a partir de texto	Genera pistas de música instrumental a partir de una entrada de texto descriptiva.	Disponibilidad general
Peticiones negativas	Indica al modelo que evite elementos concretos en la música generada.	Disponibilidad general
Semilla para la reproducibilidad	Usa una semilla para asegurarte de que se generen resultados coherentes con la misma petición y los mismos parámetros.	Disponibilidad general

Ubicaciones

Una ubicación es una región que puedes especificar en una solicitud para controlar dónde se almacenan los datos en reposo. Lyria 2 se ofrece en todo el mundo. Para ver la lista de regiones disponibles para los servicios de Vertex AI, consulta Ubicaciones de la IA generativa en Vertex AI.

Rendimiento y limitaciones

Límites	Valor
Modalidades	Generación de música a partir de texto (solo instrumental)
Llamadas a la API (peticiones por proyecto y por minuto)	Consulta los límites de inferencia estándar de Vertex AI en la [documentación sobre cuotas y límites](/vertex-ai/generative-ai/docs/quotas).
Latencia de solicitudes (tiempo de generación)	Los clips de audio suelen generarse en un plazo de entre 10 y 20 segundos. Algunas solicitudes pueden ponerse en cola durante las horas de mayor uso.
Número máximo de clips de audio devueltos por solicitud	Hasta el sample_count especificado. El valor máximo de sample_count se determinará más adelante. Normalmente, es un número entero pequeño, por ejemplo, 1-4).
Duración del audio por clip	32,8 segundos
Formato de audio devuelto admitido	Audio WAV con una frecuencia de muestreo de 48 kHz
Idioma de la petición de entrada	Inglés (EE. UU.) (en-us)

Una IA responsable

Lyria genera música instrumental a partir de peticiones de texto. Lyria aplica medidas de seguridad, como filtros de seguridad de contenido, comprobaciones de recitación y comprobaciones de la intención del artista, para evitar la introducción y la generación de contenido dañino o inapropiado. Las marcas de agua de SynthID se usan en el audio generado. Es posible que se bloqueen las peticiones que infrinjan las directrices de IA responsable.

Versiones y ciclo de vida del modelo de Vertex AI de Lyria

El modelo y la versión de Lyria son los siguientes:

Nombre del modelo	Identificador
Lyria 2	lyria-002

Generar música a partir de texto

Para ver un ejemplo de Lyria Music Generation, ejecuta el cuaderno "Lyria Music Generation with Python SDK" en uno de los siguientes entornos:

Abrir en Colab | Abrir en Colab Enterprise | Abrir en Vertex AI Workbench | Ver en GitHub

Puedes generar canciones instrumentales originales usando texto descriptivo como entrada.

Antes de empezar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. Configura la autenticación de tu entorno.

   Select the tab for how you plan to use the samples on this page:

   Console

   When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

   REST

   Para usar las muestras de la API REST de esta página en un entorno de desarrollo local, debes usar las credenciales que proporciones a la CLI de gcloud.

   Instala Google Cloud CLI. Después de la instalación, inicializa la CLI de Google Cloud ejecutando el siguiente comando:

   gcloud init

   Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

   Para obtener más información, consulta el artículo Autenticarse para usar REST de la documentación sobre autenticación de Google Cloud .

   Consola

   1. En la Google Cloud consola, ve a la página Vertex AI Studio > Media Studio.

      Media Studio

   2. Selecciona el modelo Lyria o la opción de generación de música.

   3. Opcional: En el panel Configuración, configura los siguientes ajustes:

      • Modelo: elige lyria-002 si hay varias versiones disponibles.
      • Número de muestras (sample_count): ajusta el número de clips de audio que se generarán a partir de la petición. No se puede usar con Semilla.
      • Semilla: introduce un número entero para obtener resultados reproducibles. No se puede usar con Número de muestras.

   4. En el cuadro Escribe tu petición, introduce la petición de texto en inglés de EE. UU. que describa la música que quieres generar.

   5. Opcional: En el cuadro Petición negativa, introduce términos o descripciones para excluir de la música generada.

   6. Haz clic en Generar.

   7. Los clips de audio generados se podrán previsualizar y descargar como archivos WAV.

   REST

   Usa el método predict para enviar una solicitud de generación de música. La respuesta contendrá directamente los datos de audio, normalmente codificados en base64 si la respuesta es JSON.

   Para obtener más información sobre las solicitudes de modelos lyria-002, consulta la referencia de la API de modelos lyria-002.

   Para generar música, envía una solicitud POST al endpoint predict del modelo.

   Solicitud:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002:predict \
     -d '{
       "instances": [
         {
           "prompt": "An uplifting and hopeful orchestral piece with a soaring string melody and triumphant brass.",
           "negative_prompt": " dissonant, minor key",
           "seed": 12345
         }
       ],
       "parameters": {
         // "sample_count": 1 // Use either seed or sample_count
       }
     }'
   

   Respuesta:

   Si la solicitud se realiza correctamente, se devuelve un objeto JSON que contiene los datos de audio generados. Debería tener un aspecto similar a este:

   {
     "predictions": [
       {
         "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_1",
         "mimeType": "audio/wav"
       },
       {
         "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_2",
         "mimeType": "audio/wav"
       }
     ],
     "deployedModelId": "xxxxxxxxxxxxxxx",
     "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002",
     "modelDisplayName": "Lyria 2"
   }
   

   Después, decodificarías el audioContent (base64) para obtener el archivo de audio WAV. Cada clip tiene una duración de 32,8 segundos.

   Siguientes pasos

   • Consulta cómo escribir peticiones eficaces en la guía de peticiones para generar música con Lyria.
   • Consulta la referencia de la API Lyria.
   • Descubre otros modelos de IA generativa en Vertex AI
   Enviar comentarios