Crear una aplicación de recuento de ocupación con entrada de streaming remota

---

Vertex AI Vision es una plataforma basada en IA que puedes usar para ingerir, analizar y almacenar datos de vídeo . Vertex AI Vision te permite crear y desplegar aplicaciones de IA. Puedes crear soluciones integrales de Vertex AI Vision aprovechando la integración de Vertex AI Vision con otros componentes del producto.

Para empezar a implementar soluciones con la plataforma Vertex AI Vision, consulta los siguientes conceptos y componentes de Vertex AI Vision:

• Streams: representan una capa de streaming de vídeo de tu solución. La fuente de la emisión puede ser un vídeo en directo (por ejemplo, una cámara IP) o un archivo de vídeo (por ejemplo, un archivo MP4).

• Aplicaciones: permite la conexión entre una emisión y un procesador de IA para realizar una operación de aprendizaje automático en el vídeo. Por ejemplo, puedes conectar una transmisión de cámara a un modelo de IA que cuente las personas que pasan por delante.

• Almacenes de contenido multimedia: almacenan el vídeo ingerido por las emisiones en elGoogle Cloud almacenamiento. Almacenar datos en este destino te permite consultar el resultado del análisis y los metadatos de los procesadores de IA usados en los datos de las secuencias insertadas.

Objetivos

En este tutorial te explicamos cómo hacer lo siguiente:

• Crea una aplicación de recuento de ocupación.
• Despliega tu aplicación para usarla.
• Configura un equipo remoto para reproducir vídeo en streaming.
• Ingiere el vídeo de streaming en un nodo de emisión de tu aplicación.
• Busca vídeos en el almacén de contenido multimedia de Vertex AI Vision.

Costes

En este documento, se utilizan los siguientes componentes facturables de Google Cloud:

• Vertex AI Vision (Streams - Data ingested, Streams - Data consumed, Models - Occupancy analytics suite, Warehouse - Video storage)
• Compute Engine

Para generar una estimación de costes basada en el uso previsto, utiliza la calculadora de precios.

Los usuarios nuevos Google Cloud pueden disfrutar de una prueba gratuita.

Cuando termines las tareas que se describen en este documento, puedes evitar que se te siga facturando eliminando los recursos que has creado. Para obtener más información, consulta la sección Limpiar.

Antes de empezar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Compute Engine and Vision AI APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: Vision AI > Vision AI Editor, Compute Engine > Compute Instance Admin (beta), Storage > Storage Object Viewer^†.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

   Do not close your browser window. You will use it in the next step.

Create a service account key:

1. In the Google Cloud console, click the email address for the service account that you created.
2. Click Keys.
3. Click Add key, and then click Create new key.
4. Click Create. A JSON key file is downloaded to your computer.
5. Click Close.

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Compute Engine and Vision AI APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: Vision AI > Vision AI Editor, Compute Engine > Compute Instance Admin (beta), Storage > Storage Object Viewer^†.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

   Do not close your browser window. You will use it in the next step.

Create a service account key:

1. In the Google Cloud console, click the email address for the service account that you created.
2. Click Keys.
3. Click Add key, and then click Create new key.
4. Click Create. A JSON key file is downloaded to your computer.
5. Click Close.

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

^† Este rol solo es necesario si copias un archivo de vídeo de ejemplo de un segmento de Cloud Storage.

Crear una aplicación de recuento de ocupación

Una vez que hayas configurado tu entorno, el primer paso es crear la aplicación que procesa tus datos. Una aplicación se puede considerar como una pipeline automatizada que conecta lo siguiente:

• Ingestión de datos: un feed de vídeo se ingiere en un flujo.
• Análisis de datos: se puede añadir un modelo de IA después de la ingestión. Se puede realizar cualquier operación de visión artificial en la información de vídeo insertada.
• Almacenamiento de datos: las dos versiones del feed de vídeo (el stream original y el stream procesado por el modelo de IA) se pueden almacenar en un almacén de medios.

En la Google Cloud consola, una aplicación se representa como un gráfico. Además, en Vertex AI Vision, un gráfico de aplicación debe tener al menos dos nodos: un nodo de origen de vídeo (flujo) y al menos un nodo más (un modelo de procesamiento o un destino de salida).

Crear una aplicación vacía

Antes de rellenar el gráfico de aplicaciones, debes crear una aplicación vacía.

Consola

Crea una aplicación en la Google Cloud consola.

1. Abre la pestaña Aplicaciones del panel de control de Vertex AI Vision.

   Ve a la pestaña Aplicaciones.

2. Haz clic en el botón Crear.

3. Introduce occupancy-count-app como nombre de la aplicación y elige tu región.

4. Haz clic en Crear.

Añadir nodos de componentes de aplicaciones

Una vez que hayas creado la aplicación vacía, podrás añadir los tres nodos al gráfico de la aplicación:

1. Nodo de ingestión: recurso de flujo que ingiere los datos enviados desde una instancia de VM de Compute Engine que creas.
2. Nodo de procesamiento: el modelo de analíticas de ocupación que actúa sobre los datos ingeridos.
3. Nodo de almacenamiento: almacén de contenido multimedia que almacena los vídeos procesados y que también sirve como almacén de metadatos. El almacén permite generar información analítica sobre los datos de vídeo insertados, así como almacenar información que los modelos de IA infieren sobre los datos.

Consola

Añade nodos de componentes a tu aplicación en la consola.

1. Abre la pestaña Aplicaciones del panel de control de Vertex AI Vision.

   Ve a la pestaña Aplicaciones.

2. En la línea occupancy-count-app, selecciona Ver gráfico. De esta forma, accederás a la visualización del gráfico de la canalización de procesamiento.

Añadir un nodo de ingestión de datos

1. Para añadir un nodo de flujo de entrada, selecciona la opción Streams (Flujos) en la sección Connectors (Conectores) del menú lateral.

2. En la sección Fuente del menú Stream que se abre, selecciona Añadir streams.

3. En el menú Añadir emisiones, elige Registrar nuevas emisiones y añade occupancy-count-stream como nombre de la emisión.

4. Para añadir el flujo al gráfico de la aplicación, haz clic en Añadir flujos.

Añadir un nodo de procesamiento de datos

1. Para añadir el nodo del modelo de recuento de ocupación, seleccione la opción Analíticas de ocupación en la sección Modelos especializados del menú lateral.

2. Deja seleccionadas las opciones predeterminadas: Personas y Vehículos.

Añadir un nodo de almacenamiento de datos

1. Para añadir el nodo de destino de salida (almacenamiento), selecciona la opción Vertex AI Vision's Media Warehouse (Almacén de contenido multimedia de Vertex AI Vision) en la sección Connectors (Conectores) del menú lateral.

2. En el menú Media Warehouse de Vertex AI Vision, haz clic en Conectar almacén.

3. En el menú Conectar almacén, selecciona Crear almacén. Ponle el nombre occupancy-count-warehouse al almacén y deja la duración del TTL en 14 días.

4. Haz clic en el botón Crear para añadir el almacén.

Desplegar una aplicación para usarla

Una vez que hayas creado tu aplicación integral con todos los componentes necesarios, el último paso para usarla es implementarla.

Consola

1. Abre la pestaña Aplicaciones del panel de control de Vertex AI Vision.

   Ve a la pestaña Aplicaciones.

2. Selecciona Ver gráfico junto a la aplicación occupancy-count-app de la lista.

3. En la página del creador de gráficos de aplicaciones, haz clic en el botón Implementar.

4. En el cuadro de diálogo de confirmación que aparece, selecciona Implementar.

   La operación de implementación puede tardar varios minutos en completarse. Cuando finalice la implementación, aparecerán marcas de verificación verdes junto a los nodos.

   

Configurar un equipo remoto para reproducir vídeo en streaming

Ahora que tienes una aplicación de recuento de ocupación implementada y lista para recibir, procesar y almacenar datos de streaming, debes transmitir datos de vídeo a la aplicación.

En este tutorial, crearás una instancia de VM de Compute Engine que aloje un vídeo y enviarás los datos de ese vídeo en streaming desde la VM.

Crea una máquina virtual de Linux

El primer paso para enviar vídeo desde una instancia de VM de Compute Engine es crear la instancia de VM.

Consola

1. En la consola, ve a la página Instancias de VM.

   Ir a instancias de VM

2. Selecciona el proyecto y haz clic en Continuar.

3. Haz clic en Crear instancia.

4. Especifica un nombre para la máquina virtual. Para obtener más información, consulta el artículo sobre las convenciones para asignar nombres de recursos.

5. Opcional: Cambia la zona de esta VM. Compute Engine aleatoriza la lista de zonas de cada región para fomentar el uso en varias zonas.

6. Acepta las opciones predeterminadas restantes. Para obtener más información sobre estas opciones, consulta Crear e iniciar una VM.

7. Para crear e iniciar la VM, haz clic en Crear.

Configurar el entorno de la máquina virtual

Una vez que se haya iniciado la VM, puedes usar la consola para establecer una conexión SSH en tu navegador. Una vez establecida esta conexión, puedes descargar la vaictl herramienta de línea de comandos para insertar vídeos en tu aplicación.

Consola

Establecer una conexión SSH con tu VM

1. En la consola, ve a la página Instancias de VM.

   Ir a instancias de VM

2. En la sección Conectar de la línea de la instancia que has creado, haz clic en SSH. Se abrirá una conexión SSH en una nueva ventana del navegador.

   

Descarga la herramienta de línea de comandos vaictl.

1. En la ventana SSH en el navegador, descarga la herramienta de línea de comandos Vertex AI Vision (vaictl) con el siguiente comando:

   wget https://github.com/google/visionai/releases/download/v0.0.5/visionai_0.0-5_amd64.deb
   

2. Instala la herramienta de línea de comandos ejecutando el siguiente comando:

   sudo apt install ./visionai_0.0-5_amd64.deb
   

3. Para probar la instalación, ejecuta el siguiente comando:

   vaictl --help
   

Ingerir un archivo de vídeo en tu aplicación

Una vez que hayas configurado tu entorno de VM, puedes copiar un archivo de vídeo de muestra y, a continuación, usar vaictl para transmitir los datos del vídeo a tu aplicación de recuento de ocupación.

SSH en el navegador

Copiar un vídeo de muestra en tu VM

1. En la ventana SSH en el navegador de tu máquina virtual, copia un vídeo de ejemplo con el siguiente comando gcloud storage cp. Sustituye la siguiente variable:
   • SOURCE: la ubicación del archivo de vídeo que se va a usar. Puedes usar tu propio archivo de vídeo (por ejemplo, gs://BUCKET_NAME/FILENAME.mp4) o uno de los vídeos de muestra:
     • gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 (vídeo con personas y vehículos, fuente)
     • gs://cloud-samples-data/vertex-ai-vision/highway_vehicles.mp4 (vídeo solo con vehículos, fuente)

   gcloud storage cp SOURCE .

Transmitir vídeo desde una máquina virtual e ingerir datos en tu aplicación

1. Para enviar este archivo de vídeo local al flujo de entrada de la aplicación, usa el siguiente comando. Debe sustituir las siguientes variables:
   • PROJECT_ID: tu ID de proyecto Google Cloud .
   • LOCATION_ID: tu ID de ubicación. Por ejemplo, us-central1. Para obtener más información, consulta Ubicaciones en la nube.
   • LOCAL_FILE.EXT: el nombre de archivo de un archivo de vídeo local. Por ejemplo, my-video.mp4.
   • Marca --loop: opcional. Repite los datos del archivo para simular la transmisión.

   Este comando transmite un archivo de vídeo a una emisión. Si usas la marca --loop, el vídeo se reproducirá en bucle en la emisión hasta que detengas el comando:

   vaictl -p PROJECT_ID \
       -l LOCATION_ID \
       -c application-cluster-0 \
       --service-endpoint visionai.googleapis.com \
   send video-file to streams 'occupancy-count-stream' --file-path LOCAL_FILE.EXT --loop

Pueden pasar unos 100 segundos entre el inicio de la operación de ingesta vaictl y la aparición del vídeo en el panel de control.

Cuando esté disponible la ingesta de la emisión, podrás ver el vídeo en la pestaña Emisiones del panel de control de Vertex AI Vision. Para ello, selecciona la emisión occupancy-count-stream.

Ve a la pestaña Streams.



Vista en directo del vídeo que se está ingiriendo en el flujo en la consola Google Cloud . Vídeo: Elizabeth Mavor en Pixabay (pixelación añadida).

Buscar contenido de vídeo en el almacén

Una vez que hayas insertado datos de vídeo en tu aplicación de procesamiento, podrás ver los datos de vídeo analizados y buscar datos en función de la información analítica de ocupación.

Consola

1. Abre la pestaña Almacenes del panel de control de Vertex AI Vision.

   Ve a la pestaña Almacenes.

2. Busca el almacén occupancy-count-warehouse en la lista y haz clic en Ver recursos.

3. En la sección Recuento de personas o Recuento de vehículos, defina el valor Mín. en 1 y el valor Máx. en 5.

4. Para filtrar los datos de vídeo procesados almacenados en Media Warehouse de Vertex AI Vision, haz clic en Buscar.

   

   Una vista de los datos de vídeo almacenados que coinciden con los criterios de búsqueda en la Google Cloud consola. Atribución del vídeo: Elizabeth Mavor en Pixabay (criterios de búsqueda aplicados).

Limpieza

Para evitar que los recursos utilizados en este tutorial se cobren en tu cuenta de Google Cloud, elimina el proyecto que contiene los recursos o conserva el proyecto y elimina los recursos.

Eliminar el proyecto

Precaución: Eliminar un proyecto tiene los siguientes efectos:

• Se elimina todo el contenido del proyecto. Si has usado un proyecto que ya existía para las tareas de este documento, cuando lo elimines, también se eliminará cualquier otro trabajo que hayas realizado en él.
• Se pierden los IDs de proyecto personalizados. Cuando creaste este proyecto, es posible que hayas creado un ID de proyecto personalizado que quieras usar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, elimina los recursos seleccionados dentro del proyecto en lugar de eliminar todo el proyecto.

Si tienes previsto consultar varias arquitecturas, tutoriales o guías de inicio rápido, reutilizar los proyectos puede ayudarte a no superar los límites de cuota de proyectos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminar recursos concretos

Eliminar una instancia de VM de Compute Engine

1. In the Google Cloud console, go to the VM instances page.

   Go to VM instances

2. Select the checkbox for the instance that you want to delete.
3. To delete the instance, click More actions, click Delete, and then follow the instructions.

Eliminar un almacén

1. In the Google Cloud console, go to the Warehouses page.

   Go to the Warehouses tab

2. Locate your occupancy-count-warehouse warehouse.
3. To delete the warehouse, click Actions, click Delete warehouse, and then follow the instructions.

Eliminar un flujo

1. In the Google Cloud console, go to the Streams page.

   Go to the Streams tab

2. Locate your occupancy-count-stream stream.
3. To delete the stream, click Actions, click Delete stream, and then follow the instructions.

Eliminar una aplicación

1. In the Google Cloud console, go to the Applications page.

   Go to the Applications tab

   Note: You must first undeploy your app before you can delete it.
2. Locate your occupancy-count-app app.
3. To delete the app, click Actions, click Delete application, and then follow the instructions.

Siguientes pasos

• Consulta más información sobre las prácticas de IA responsable.
• Consulta otros componentes que puedes añadir a una aplicación en Crear una aplicación.
• Consulta otras opciones de almacenamiento y tratamiento de resultados en Conectar los resultados de la aplicación con un destino de datos .
• Consulta cómo buscar datos de Search Warehouse en la consola.
• Consulta arquitecturas de referencia, diagramas y prácticas recomendadas sobre Google Cloud. Consulta nuestro Centro de arquitectura de Cloud.