Crear una aplicación para difuminar caras con almacenamiento de almacén

---

Nota: Para completar este tutorial, necesitas acceder a datos de vídeo con rostros humanos, ya sean datos de vídeo del protocolo de transmisión en tiempo real (RTSP) de una cámara de protocolo de Internet (IP) en directo o un archivo de vídeo local.

Vertex AI Vision es una plataforma basada en IA que puedes usar para ingerir, analizar y almacenar datos de vídeo . Vertex AI Vision te permite crear y desplegar aplicaciones de IA. Puedes crear soluciones integrales de Vertex AI Vision aprovechando la integración de Vertex AI Vision con otros componentes del producto.

Para empezar a implementar soluciones con la plataforma Vertex AI Vision, consulta los siguientes conceptos y componentes de Vertex AI Vision:

• Streams: representan una capa de streaming de vídeo de tu solución. La fuente de la emisión puede ser un vídeo en directo (por ejemplo, una cámara IP) o un archivo de vídeo (por ejemplo, un archivo MP4).

• Aplicaciones: permite la conexión entre una emisión y un procesador de IA para realizar una operación de aprendizaje automático en el vídeo. Por ejemplo, puedes conectar una transmisión de cámara a un modelo de IA que cuente las personas que pasan por delante.

• Almacenes de contenido multimedia: almacenan el vídeo ingerido por las emisiones en elGoogle Cloud almacenamiento. Almacenar datos en este destino te permite consultar el resultado del análisis y los metadatos de los procesadores de IA usados en los datos de las secuencias insertadas.

Objetivos

En este tutorial te explicamos cómo hacer lo siguiente:

• Crea un recurso de flujo de entrada de datos.
• Empieza a enviar datos de vídeo a este recurso de flujo.
• Crea una aplicación vacía.
• Añade nodos a tu aplicación para transmitir, modificar y almacenar datos.
• Despliega tu aplicación para poder usarla.
• Consulta los datos procesados en la Google Cloud consola.

Antes de empezar este tutorial, debes tener un recurso de vídeo en streaming para enviar datos a tu aplicación Vertex AI Vision. Este recurso puede ser un vídeo local o un feed RTSP. Estos datos de vídeo deben contener rostros humanos que la aplicación de ejemplo pueda difuminar.

Costes

En este documento, se utilizan los siguientes componentes facturables de Google Cloud:

• Vertex AI Vision (Streams - Data ingested, Streams - Data consumed, Models - Person / face blur, Warehouse - Video storage)

Para generar una estimación de costes basada en el uso previsto, utiliza la calculadora de precios.

Los usuarios nuevos Google Cloud pueden disfrutar de una prueba gratuita.

Cuando termines las tareas que se describen en este documento, puedes evitar que se te siga facturando eliminando los recursos que has creado. Para obtener más información, consulta la sección Limpiar.

Antes de empezar

1. Obtén la ubicación de la fuente de vídeo de streaming, ya sea local (por ejemplo, ./sample_video.mp4) o la dirección IP del feed RTSP en directo (por ejemplo, rtsp://192.168.1.180:540). Necesitas esta información para empezar a ingerir datos en una emisión después de crear el recurso de emisión.
Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vision AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the Vision AI > Vision AI Editor role to the service account.

   To grant the role, find the Select a role list, then select Vision AI > Vision AI Editor.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

   Do not close your browser window. You will use it in the next step.

Create a service account key:

1. In the Google Cloud console, click the email address for the service account that you created.
2. Click Keys.
3. Click Add key, and then click Create new key.
4. Click Create. A JSON key file is downloaded to your computer.
5. Click Close.

Set the environment variable GOOGLE_APPLICATION_CREDENTIALS to the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again.

Example: Linux or macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

Example: Windows

For PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

For command prompt:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

Replace KEY_PATH with the path of the JSON file that contains your credentials.

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vision AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the Vision AI > Vision AI Editor role to the service account.

   To grant the role, find the Select a role list, then select Vision AI > Vision AI Editor.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

   Do not close your browser window. You will use it in the next step.

Create a service account key:

1. In the Google Cloud console, click the email address for the service account that you created.
2. Click Keys.
3. Click Add key, and then click Create new key.
4. Click Create. A JSON key file is downloaded to your computer.
5. Click Close.

Set the environment variable GOOGLE_APPLICATION_CREDENTIALS to the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again.

Example: Linux or macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

Example: Windows

For PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

For command prompt:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

Replace KEY_PATH with the path of the JSON file that contains your credentials.

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

2. Instalar la herramienta vaictl para ingerir datos en un flujo (SO: Debian GNU/Linux, arquitectura de CPU: x86_64):
   Nota: También puedes obtener una imagen de Docker que tenga el SDK de Vertex AI Vision y todas sus dependencias ya preinstaladas. Para obtener información sobre cómo obtener una imagen de Docker con el SDK de Vertex AI Vision, consulta Configurar un proyecto y un entorno de desarrollo.
   1. Descarga el paquete necesario:

      wget https://github.com/google/visionai/releases/download/v0.0.5/visionai_0.0-5_amd64.deb

   2. Después de descargar el paquete, ejecuta el siguiente comando en el directorio en el que has descargado el archivo:

      sudo apt install ./visionai_0.0-5_amd64.deb

   3. Verifica la instalación:

      vaictl --help

Crear un flujo

Para crear una aplicación de análisis de vídeo en streaming, primero debes crear y registrar un recurso de flujo. Como recurso que recibe los datos de vídeo de los usuarios, el flujo es necesario en cualquier situación que crees con Vertex AI Vision.

Consola

Para crear un nuevo flujo en la consola Google Cloud , sigue estos pasos.

1. Abre la pestaña Streams (Streams) del panel de control de Vertex AI Vision.

   Ve a la pestaña Streams.

2. Haz clic en Registrarse.

3. Introduce input-stream como nombre de la emisión y selecciona la región en la que quieras crearla.

4. Haga clic en Registrar para crear uno o varios flujos.

   

Ingerir vídeo en el stream

Después de crear un recurso de flujo, puede usar la herramienta de línea de comandos vaictl para enviar datos de vídeo al flujo.

Nota: Si has instalado la herramienta vaictl con la opción de contenedor de Docker, debes ejecutar el contenedor e iniciar sesión antes de continuar con los pasos siguientes.

Cámara IP

Si vas a hacer pruebas con una cámara IP activa, debes obtener la dirección IP de la cámara. Debe proporcionar esta información junto con la solicitud y otras sustituciones de variables:

• PROJECT_ID: tu ID de proyecto Google Cloud .
• LOCATION_ID: tu ID de ubicación. Por ejemplo, us-central1. Para obtener más información, consulta Ubicaciones en la nube.
• RTSP_ADDRESS: la dirección de tu feed del protocolo de streaming en tiempo real (RTSP). Por ejemplo, rtsp://192.168.1.180:540.

Este comando envía un feed RTSP a la emisión. Debes ejecutar este comando en la red que tenga acceso directo al feed RTSP.

vaictl -p PROJECT_ID \
       -l LOCATION_ID \
       -c application-cluster-0 \
       --service-endpoint visionai.googleapis.com \
send rtsp to streams input-stream --rtsp-uri RTSP_ADDRESS
      

Si el comando se ejecuta correctamente, obtendrás el siguiente resultado:

[...]
Waiting for long running operation projects/your-project/locations/us-central1/operations/operation-1651364156981-5dde82db7e4a9-dfb17ca5-1051eb20 ⠙
I20220430 21:16:28.024988 211449 gstvaisink.cc:417] cluster-id=application-cluster-0
I20220430 21:16:28.025032 211449 gstvaisink.cc:418] cluster-endpoint=c8khq35ftg78mn61ef50.us-central1.visionai.goog
I20220430 21:16:28.025040 211449 gstvaisink.cc:419] event-id=ev-1651364114183255223
I20220430 21:16:28.025048 211449 gstvaisink.cc:420] stream-id=input-stream
I20220430 21:16:28.025053 211449 gstvaisink.cc:421] series-id=ev-1651364114183255223--input-stream
I20220430 21:16:28.025060 211449 gstvaisink.cc:422] Sending data

Archivo de vídeo local

También puedes enviar datos de archivos de vídeo a una emisión en lugar de a un feed de vídeo en directo. Esta opción puede ser útil si no tienes acceso a una cámara IP.

La única diferencia de esta opción son los parámetros del comando vaictl. En lugar de pasar la información de la cámara IP, pasa la ruta del archivo de vídeo local. Sustituye las siguientes variables:

• PROJECT_ID: tu ID de proyecto Google Cloud .
• LOCATION_ID: tu ID de ubicación. Por ejemplo, us-central1. Más información
• LOCAL_FILE.EXT: el nombre de archivo de un archivo de vídeo local. Por ejemplo, my-video.mp4.
• Marca --loop: opcional. Repite los datos del archivo para simular la transmisión.

Este comando transmite un archivo de vídeo a una emisión. Si usas la marca --loop, el vídeo se repetirá en el stream hasta que detengas el comando:

vaictl -p PROJECT_ID \
       -l LOCATION_ID \
       -c application-cluster-0 \
       --service-endpoint visionai.googleapis.com \
send video-file to streams 'input-stream' --file-path LOCAL_FILE.EXT --loop

Pueden pasar unos 100 segundos entre el inicio de la operación de ingesta vaictl y la aparición del vídeo en el panel de control.

Cuando esté disponible la ingesta de la emisión, podrás ver el vídeo en la pestaña Emisiones del panel de control de Vertex AI Vision. Para ello, selecciona la emisión input-stream.

Ve a la pestaña Streams.



Vista en directo del vídeo que se está ingiriendo en el flujo en la consola Google Cloud . Créditos del vídeo: Tima Miroshnichenko en Pexels (se ha añadido pixelación).

Crear una aplicación para desenfocar caras

Después de crear un flujo e ingerir datos en él, es el momento de crear una aplicación de Vertex AI Vision para procesar los datos. Una aplicación se puede considerar como una pipeline automatizada que conecta lo siguiente:

• Ingestión de datos: un feed de vídeo se ingiere en un flujo.
• Análisis de datos: se puede añadir un modelo de IA después de la ingestión. Se puede realizar cualquier operación de visión artificial en la información de vídeo insertada.
• Almacenamiento de datos: las dos versiones del feed de vídeo (el stream original y el stream procesado por el modelo de IA) se pueden almacenar en un almacén de medios.

En la Google Cloud consola, una aplicación se representa como un gráfico. Además, en Vertex AI Vision, un gráfico de aplicación debe tener al menos dos nodos: un nodo de origen de vídeo (flujo) y al menos un nodo más (un modelo de procesamiento o un destino de salida).

Crear una aplicación vacía

Antes de rellenar el gráfico de aplicaciones, debes crear una aplicación vacía.

Consola

Crea una aplicación en la Google Cloud consola.

1. Abre la pestaña Aplicaciones del panel de control de Vertex AI Vision.

   Ve a la pestaña Aplicaciones.

2. Haz clic en el botón Crear.

3. Introduce person-blur-app como nombre de la aplicación y elige tu región.

4. Haz clic en Crear.

   

Añadir nodos de componentes de aplicaciones

Una vez que hayas creado la aplicación vacía, podrás añadir los tres nodos al gráfico de la aplicación:

1. Nodo de ingestión: el recurso de flujo que ya está ingiriendo datos.
2. Nodo de procesamiento: el modelo de desenfoque de personas que actúa sobre los datos ingeridos.
3. Nodo de almacenamiento: almacén de contenido multimedia que almacena los vídeos procesados y que también sirve como almacén de metadatos. El almacén permite generar información analítica sobre los datos de vídeo insertados, así como almacenar información inferida sobre los datos por los modelos de IA.

Consola

Añade nodos de componentes a tu aplicación en la consola.

1. Abre la pestaña Aplicaciones del panel de control de Vertex AI Vision.

   Ve a la pestaña Aplicaciones.

2. En la línea person-blur-app, selecciona Ver gráfico. De esta forma, accederás a la visualización del gráfico de la canalización de procesamiento.

Añadir un nodo de ingestión de datos

1. Para añadir el nodo de flujo de entrada, selecciona la opción Streams (Flujos) en la sección Connectors (Conectores) del menú lateral.

2. En la sección Fuente del menú Stream que se abre, selecciona Añadir streams.

3. En el menú Añadir streams, elige Seleccionar de streams existentes y selecciona person-blur-app en la lista de recursos de stream.

   

4. Para añadir el flujo al gráfico de la aplicación, haz clic en Añadir flujos.

Añadir un nodo de procesamiento de datos

1. Para añadir el nodo del modelo de desenfoque de personas, selecciona la opción Desenfoque de personas en la sección Procesadores generales del menú lateral.

2. En el menú de opciones "Desenfocar personas" que se abre, deja seleccionada la opción Oclusión completa y habilita la opción Desenfocar solo las caras.

   

Añadir un nodo de almacenamiento de datos

1. Para añadir el nodo de destino de salida (almacenamiento), selecciona la opción Vertex AI Vision's Media Warehouse (Almacén de contenido multimedia de Vertex AI Vision) en la sección Connectors (Conectores) del menú lateral.

2. En el menú Media Warehouse de Vertex AI Vision, haz clic en Conectar almacén.

3. En el menú Conectar almacén, selecciona Crear almacén. Ponle el nombre person-blur-app al almacén y deja la duración del TTL en 14 días.

4. Para añadir el almacén, haz clic en Crear.

   

Desplegar una aplicación

Una vez que hayas creado tu aplicación integral con todos los componentes necesarios, el último paso para usarla es implementarla.

Consola

1. Abre la pestaña Aplicaciones del panel de control de Vertex AI Vision.

   Ve a la pestaña Aplicaciones.

2. Selecciona Ver gráfico junto a la aplicación person-blur-app de la lista.

3. En la página del creador de gráficos de aplicaciones, haz clic en el botón Implementar.

4. En el cuadro de diálogo de confirmación que aparece, selecciona Implementar.

   La operación de implementación puede tardar varios minutos en completarse. Cuando finalice la implementación, aparecerán marcas de verificación verdes junto a los nodos.

   

Ver los datos de salida procesados

Consola

1. Abre la pestaña Almacenes del panel de control de Vertex AI Vision.

   Ve a la pestaña Almacenes.

2. Busca el almacén person-blur-output-storage en la lista y haz clic en Ver recursos.

   

Limpieza

Para evitar que los recursos utilizados en este tutorial se cobren en tu cuenta de Google Cloud, elimina el proyecto que contiene los recursos o conserva el proyecto y elimina los recursos.

Eliminar el proyecto

Precaución: Eliminar un proyecto tiene los siguientes efectos:

• Se elimina todo el contenido del proyecto. Si has usado un proyecto que ya existía para las tareas de este documento, cuando lo elimines, también se eliminará cualquier otro trabajo que hayas realizado en él.
• Se pierden los IDs de proyecto personalizados. Cuando creaste este proyecto, es posible que hayas creado un ID de proyecto personalizado que quieras usar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, elimina los recursos seleccionados dentro del proyecto en lugar de eliminar todo el proyecto.

Si tienes previsto consultar varias arquitecturas, tutoriales o guías de inicio rápido, reutilizar los proyectos puede ayudarte a no superar los límites de cuota de proyectos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminar recursos concretos

Eliminar un almacén

1. In the Google Cloud console, go to the Warehouses page.

   Go to the Warehouses tab

2. Locate your person-blur-output-storage warehouse.
3. To delete the warehouse, click Actions, click Delete warehouse, and then follow the instructions.

Eliminar un flujo

1. In the Google Cloud console, go to the Streams page.

   Go to the Streams tab

2. Locate your input-stream stream.
3. To delete the stream, click Actions, click Delete stream, and then follow the instructions.

Eliminar una aplicación

1. In the Google Cloud console, go to the Applications page.

   Go to the Applications tab

   Note: You must first undeploy your app before you can delete it.
2. Locate your person-blur-app app.
3. To delete the app, click Actions, click Delete application, and then follow the instructions.

Siguientes pasos

• Consulta más información sobre las prácticas de IA responsable.
• Consulta otros componentes que puedes añadir a una aplicación en Crear una aplicación.
• Consulta otras opciones de almacenamiento y tratamiento de resultados en Conectar los resultados de la aplicación con un destino de datos .
• Consulta cómo buscar datos de Search Warehouse en la consola.
• Consulta arquitecturas de referencia, diagramas y prácticas recomendadas sobre Google Cloud. Consulta nuestro Centro de arquitectura de Cloud.