Genera embeddings de video con la función ML.GENERATE_EMBEDDING

Vista previa

Este producto o función está sujeto a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones específicas del Servicio. Los productos y las funciones que se encuentran en la fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Nota: Para proporcionar comentarios o solicitar asistencia para esta función, envía un correo electrónico a [e-mail].

En este documento, se muestra cómo crear un modelo remoto de BigQuery ML que hace referencia al modelo de base de incorporación de Vertex AI. Luego, usa ese modelo con la función ML.GENERATE_EMBEDDING para crear embeddings de video con los datos de una tabla de objetos de BigQuery.

Funciones obligatorias

• Para crear una conexión, necesitas membresía en el siguiente rol de Identity and Access Management (IAM):

  • roles/bigquery.connectionAdmin

• Para otorgar permisos a la cuenta de servicio de la conexión, necesitas el siguiente permiso:

  • resourcemanager.projects.setIamPolicy

• Para crear el modelo con BigQuery ML, necesitas los siguientes permisos de IAM:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• Para ejecutar inferencias, necesitas los siguientes permisos:

  • bigquery.tables.getData en la tabla
  • bigquery.models.getData en el modelo
  • bigquery.jobs.create

Antes de comenzar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

Crea un conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de AA:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a la página de BigQuery

2. En el panel Explorador, haz clic en el nombre de tu proyecto.

3. Haz clic en Ver acciones > Crear conjunto de datos.

   

4. En la página Crear conjunto de datos, haz lo siguiente:

   • En ID del conjunto de datos, ingresa bqml_tutorial.

   • En Tipo de ubicación, selecciona Multirregión y, luego, EE.UU. (varias regiones en Estados Unidos).

     Los conjuntos de datos públicos se almacenan en la multirregión US. Para que sea más simple, almacena tu conjunto de datos en la misma ubicación.

   • Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

     

Crear una conexión

Crea una conexión de recurso de Cloud y obtén la cuenta de servicio de la conexión. Crea la conexión en la misma ubicación que el conjunto de datos que creaste en el paso anterior.

Selecciona una de las opciones siguientes:

Console

1. Ve a la página de BigQuery.

   Ir a BigQuery

2. Para crear una conexión, haz clic en Agregar y, luego, en Conexiones a fuentes de datos externas.

3. En la lista Tipo de conexión, selecciona Modelos remotos de Vertex AI, funciones remotas y BigLake (Cloud Resource).

4. En el campo ID de conexión, escribe un nombre para tu conexión.

5. Haga clic en Crear conexión.

6. Haz clic en Ir a la conexión.

7. En el panel Información de conexión, copia el ID de la cuenta de servicio para usarlo en un paso posterior.

bq

1. En un entorno de línea de comandos, crea una conexión:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   El parámetro --project_id anula el proyecto predeterminado.

   Reemplaza lo siguiente:

   • REGION: tu región de conexión
   • PROJECT_ID: El ID del proyecto de Google Cloud.
   • CONNECTION_ID: Es un ID para tu conexión.

   Cuando creas un recurso de conexión, BigQuery crea una cuenta de servicio del sistema única y la asocia con la conexión.

   Solución de problemas: Si recibes el siguiente error de conexión, actualiza el SDK de Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupera y copia el ID de cuenta de servicio para usarlo en un paso posterior:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   El resultado es similar al siguiente:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Agrega la siguiente sección a tu archivo main.tf.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Reemplaza lo siguiente:

• CONNECTION_ID: Es un ID para tu conexión.
• PROJECT_ID: El ID del proyecto de Google Cloud.
• REGION: tu región de conexión

Otorga acceso a la cuenta de servicio

Otorga permiso a tu cuenta de servicio para usar la conexión. Si no se otorga permiso, se produce un error. Selecciona una de las opciones siguientes:

Console

1. Ir a la página IAM y administración

   Ir a IAM y administración

2. Haz clic en Otorgar acceso.

   Se abre el cuadro de diálogo Agregar principales.

3. En el campo Principales nuevas (New principals), ingresa el ID de la cuenta de servicio que copiaste antes.

4. En el campo Selecciona un rol, selecciona Vertex AI y, luego, Usuario de Vertex AI.

5. Haz clic en Guardar.

gcloud

Usa el comando gcloud projects add-iam-policy-binding:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None

Reemplaza lo siguiente:

• PROJECT_NUMBER: Es el número de tu proyecto.
• MEMBER: el ID de la cuenta de servicio que copiaste antes

Crear un modelo

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. Crea un modelo remoto con el editor de SQL:

   CREATE OR REPLACE MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`
   REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
   OPTIONS (ENDPOINT = 'ENDPOINT');
   

   Reemplaza lo siguiente:

   • PROJECT_ID: el ID de tu proyecto
   • DATASET_ID: el ID del conjunto de datos que contendrá el modelo
   • MODEL_NAME: Es el nombre del modelo.
   • REGION: la región que usa la conexión.
   • CONNECTION_ID: el ID de tu conexión de BigQuery

     Cuando ves los detalles de conexión en la consola de Google Cloud, este es el valor en la última sección del ID de conexión completamente calificado que se muestra en Conexión ID, por ejemplo, projects/myproject/locations/connection_location/connections/myconnection.

   • ENDPOINT: la incorporación de LLM que se usará, en este caso, multimodalembedding@001.

Genera embeddings de video

Genera embeddings de video con la función ML.GENERATE_EMBEDDING a través de los datos de video de una tabla de objetos:

SELECT *
FROM ML.GENERATE_EMBEDDING(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.TABLE_NAME,
  STRUCT(FLATTEN_JSON AS flatten_json_output,
    START_SECOND AS start_second,
    END_SECOND AS end_second,
    INTERVAL_SECONDS AS interval_seconds)
);

Reemplaza lo siguiente:

• PROJECT_ID: el ID de tu proyecto
• DATASET_ID: El ID del conjunto de datos que contiene el modelo.
• MODEL_NAME: el nombre del modelo remoto sobre un modelo multimodalembedding@001.
• TABLE_NAME: el nombre de la tabla de objetos que contiene los videos que se incorporarán.
• FLATTEN_JSON: un valor BOOL que indica si se debe analizar la incorporación en una columna separada. El valor predeterminado es TRUE.
• START_SECOND: un valor FLOAT64 que especifica el segundo del video en el que se inicia el embedding. El valor predeterminado es 0. Este valor debe ser positivo y menor que el valor end_second.
• END_SECOND: un valor FLOAT64 que especifica el segundo del video en el que se finaliza el embedding. El valor predeterminado es 120. Este valor debe ser positivo y mayor que el valor start_second.
• INTERVAL_SECONDS: un valor FLOAT64 que especifica el intervalo que se usará cuando se creen embeddings. Por ejemplo, si configuras start_second = 0, end_second = 120 y interval_seconds = 10, el video se divide en doce segmentos de 10 segundos ([0, 10), [10, 20), [20, 30)...) y se generan los embeddings para cada segmento. Este valor debe ser mayor que 4 y menor que 120. El valor predeterminado es 16.

Ejemplo

En el siguiente ejemplo, se muestra cómo crear embeddings para los videos en la tabla de objetos videos: Los embeddings se crean para cada intervalo de 5 segundos entre las marcas de 10 segundos y 40 segundos en cada video.

SELECT *
FROM
  ML.GENERATE_EMBEDDING(
    MODEL `mydataset.embedding_model`,
    TABLE mydataset.videos,
    STRUCT(TRUE AS flatten_json_output,
    10 AS start_second,
    40 AS end_second,
    5 AS interval_seconds)
  );