Crea una app de recuento de ocupación con entrada de transmisión remota

Vertex AI Vision es una plataforma potenciada por IA que puedes usar para ingerir, analizar y almacenar datos de video. Vertex AI Vision te permite compilar e implementar aplicaciones de IA. Puedes compilar soluciones de Vertex AI Vision de extremo a extremo aprovechando la integración de Vertex AI Vision con otros componentes del producto.

Para comenzar a implementar soluciones con la plataforma de Vertex AI Vision, revisa los siguientes conceptos y componentes de Vertex AI Vision:

  • Streams: Representan una capa de transmisión de video de tu solución. La fuente de transmisión puede ser un video en vivo (por ejemplo, una cámara IP) o un archivo de video (por ejemplo, un archivo MP4).

  • Aplicaciones: Habilitan la conexión entre una transmisión y un procesador de IA para realizar una operación de aprendizaje automático en el video. Por ejemplo, puedes conectar una transmisión de cámara a un modelo de IA que cuente las personas que pasan frente a ella.

  • Almacenes de contenido multimedia: Almacenan el video que se transfiere desde las transmisiones en el almacenamiento deGoogle Cloud . Almacenar datos en este destino te permite consultar el resultado del análisis y los metadatos de los procesadores de IA que se usan en los datos de las transmisiones ingeridas.

Objetivos

En este instructivo, se muestra cómo realizar lo siguiente:

  • Crea una app de recuento de ocupación.
  • Implementar tu app para usarla.
  • Configura una máquina remota para transmitir video.
  • Transfiere el video de transmisión a un nodo de transmisión en tu app.
  • Buscar videos en el almacén de medios de Vertex AI Vision

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios.

Es posible que los usuarios de Google Cloud nuevos cumplan con los requisitos para acceder a una prueba gratuita.

Cuando completes las tareas que se describen en este documento, podrás borrar los recursos que creaste para evitar que se te siga facturando. Para obtener más información, consulta Realiza una limpieza.

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Compute Engine and Vision AI APIs.

    Enable the APIs

  5. Create a service account:

    1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
    2. Select your project.

    3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

    4. Click Create and continue.

    5. Grant the following roles to the service account: Vision AI > Vision AI Editor, Compute Engine > Compute Instance Admin (beta), Storage > Storage Object Viewer†.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

    6. Click Continue.

    7. Click Done to finish creating the service account.

      Do not close your browser window. You will use it in the next step.

  6. Create a service account key:

    1. In the Google Cloud console, click the email address for the service account that you created.
    2. Click Keys.
    3. Click Add key, and then click Create new key.
    4. Click Create. A JSON key file is downloaded to your computer.
    5. Click Close.

  7. Install the Google Cloud CLI.

  8. Si usas un proveedor de identidad externo (IdP), primero debes acceder a gcloud CLI con tu identidad federada.

  9. Para inicializar gcloud CLI, ejecuta el siguiente comando: 

    gcloud init

  10. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  11. Verify that billing is enabled for your Google Cloud project.

  12. Enable the Compute Engine and Vision AI APIs.

    Enable the APIs

  13. Create a service account:

    1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
    2. Select your project.

    3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

    4. Click Create and continue.

    5. Grant the following roles to the service account: Vision AI > Vision AI Editor, Compute Engine > Compute Instance Admin (beta), Storage > Storage Object Viewer†.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

    6. Click Continue.

    7. Click Done to finish creating the service account.

      Do not close your browser window. You will use it in the next step.

  14. Create a service account key:

    1. In the Google Cloud console, click the email address for the service account that you created.
    2. Click Keys.
    3. Click Add key, and then click Create new key.
    4. Click Create. A JSON key file is downloaded to your computer.
    5. Click Close.

  15. Install the Google Cloud CLI.

  16. Si usas un proveedor de identidad externo (IdP), primero debes acceder a gcloud CLI con tu identidad federada.

  17. Para inicializar gcloud CLI, ejecuta el siguiente comando: 

    gcloud init

    18. † El rol solo es necesario si copias un archivo de video de muestra de un bucket de Cloud Storage.

    Crea una aplicación de recuento de ocupación

    Después de configurar tu entorno, el primer paso es crear la app que procesa tus datos. Una app se puede considerar como una canalización automatizada que conecta los siguientes elementos:

    • Transferencia de datos: Se transfiere un feed de video a una transmisión.
    • Análisis de datos: Se puede agregar un modelo de IA después de la transferencia. Se puede realizar cualquier operación de visión por computadora en la información de video que se ingiere.
    • Almacenamiento de datos: Las dos versiones del feed de video (la transmisión original y la transmisión procesada por el modelo de IA) se pueden almacenar en un almacén de contenido multimedia.

    En la consola de Google Cloud , una app se representa como un gráfico. Además, en Vertex AI Vision, un gráfico de la app debe tener al menos dos nodos: un nodo de fuente de video (transmisión) y al menos un nodo más (un modelo de procesamiento o un destino de salida).

    Crea una app vacía

    Antes de completar el gráfico de la app, primero debes crear una app vacía.

    Console

    Crea una app en la consola de Google Cloud .

    1. Abre la pestaña Aplicaciones del panel de Vertex AI Vision.

      Ir a la pestaña Aplicaciones

    2. Haz clic en el botón Crear.

    3. Ingresa occupancy-count-app como el nombre de la app y elige tu región.

    4. Haz clic en Crear.

    Agrega nodos componentes de la app

    Después de crear la aplicación vacía, puedes agregar los tres nodos al gráfico de la app:

    1. Nodo de transferencia: Es el recurso de transmisión que transfiere los datos enviados desde una instancia de VM de Compute Engine que creas.
    2. Nodo de procesamiento: Es el modelo de análisis de ocupación que actúa sobre los datos ingeridos.
    3. Nodo de almacenamiento: Es el almacén de contenido multimedia que almacena los videos procesados y que también funciona como almacén de metadatos. El almacén permite generar información de análisis sobre los datos de video ingeridos, así como almacenar información que los modelos de IA infieren sobre los datos.

    Console

    Agrega nodos de componentes a tu app en la consola.

    1. Abre la pestaña Aplicaciones del panel de Vertex AI Vision.

      Ir a la pestaña Aplicaciones

    2. En la línea occupancy-count-app, selecciona Ver gráfico. Esta acción te llevará a la visualización del gráfico de la canalización de procesamiento.

    Agrega un nodo de transferencia de datos

    1. Para agregar un nodo de flujo de entrada, selecciona la opción Flujos en la sección Conectores del menú lateral.

    2. En la sección Fuente del menú Transmisión que se abre, selecciona Agregar transmisiones.

    3. En el menú Agregar transmisiones, elige Registrar transmisiones nuevas y agrega occupancy-count-stream como nombre de la transmisión.

    4. Para agregar el flujo al gráfico de la app, haz clic en Agregar flujos.

    Agrega un nodo de procesamiento de datos

    1. Para agregar el nodo del modelo de recuento de ocupación, selecciona la opción Análisis de ocupación en la sección Modelos especializados del menú lateral.

    2. Deja las selecciones predeterminadas Personas y Vehículos.

    Cómo agregar un nodo de almacenamiento de datos

    1. Para agregar el nodo de destino de salida (almacenamiento), selecciona la opción Almacén de medios de Vertex AI Vision en la sección Conectores del menú lateral.

    2. En el menú Vertex AI Vision's Media Warehouse, haz clic en Connect warehouse.

    3. En el menú Conectar almacén, selecciona Crear almacén nuevo. Asigna el nombre occupancy-count-warehouse al almacén y deja la duración del TTL en 14 días.

    4. Haz clic en el botón Crear para agregar el almacén.

    Implementar tu app para usarla

    Después de compilar tu app integral con todos los componentes necesarios, el último paso para usarla es implementarla.

    Console

    1. Abre la pestaña Aplicaciones del panel de Vertex AI Vision.

      Ir a la pestaña Aplicaciones

    2. Selecciona Ver gráfico junto a la app de occupancy-count-app en la lista.

    3. En la página del compilador de gráficos de la aplicación, haz clic en el botón Implementar.

    4. En el siguiente diálogo de confirmación, selecciona Implementar.

      La operación de implementación puede tardar varios minutos en completarse. Cuando finalice la implementación, aparecerán marcas de verificación verdes junto a los nodos.

      App implementada en la IU

    Cómo configurar una máquina remota para transmitir video

    Ahora que tienes una app de recuento de ocupación implementada y lista para recibir, procesar y almacenar datos de transmisión, debes transmitir datos de video a la app.

    En este instructivo, crearás una instancia de VM de Compute Engine que aloja un video y enviarás los datos de transmisión de video desde la VM.

    Crea una VM de Linux

    El primer paso para enviar video desde una instancia de VM de Compute Engine es crear la instancia de VM.

    Console

    1. En la consola ve a la página Instancias de VM.

      Ir a Instancias de VM

    2. Selecciona el proyecto y haz clic en Continuar.

    3. Haz clic en Crear instancia.

    4. Especifica un Nombre para la VM. Para obtener más información, consulta Convención de asignación de nombres de recursos.

    5. Opcional: Cambia la Zona para esta VM. Compute Engine aleatoriza la lista de zonas dentro de cada región para fomentar el uso en varias zonas.

    6. Acepta las opciones predeterminadas restantes. Para obtener más información sobre estas opciones, consulta Crea y, luego, inicia una VM.

    7. Para crear y, también, iniciar la VM, haz clic en Crear.

    Configura el entorno de la VM

    Después de que se inicie la VM, puedes usar la consola para establecer una conexión SSH en tu navegador. Después de establecer esta conexión, puedes descargar la herramienta de línea de comandos de vaictl para transferir videos a tu app.

    Console

    Establece una conexión SSH a tu VM

    1. En la consola ve a la página Instancias de VM.

      Ir a Instancias de VM

    2. En la sección Conectar de la línea de la instancia que creaste, haz clic en SSH. Se abrirá una conexión SSH en una nueva ventana del navegador.

      La opción SSH en la IU

    Descarga la herramienta de línea de comandos de vaictl

    1. En la ventana SSH en el navegador, descarga la herramienta de línea de comandos de Vertex AI Vision (vaictl) con el siguiente comando:

      wget https://github.com/google/visionai/releases/download/v0.0.5/visionai_0.0-5_amd64.deb

    2. Para instalar la herramienta de línea de comandos, ejecuta el siguiente comando:

      sudo apt install ./visionai_0.0-5_amd64.deb

    3. Para probar la instalación, ejecuta el siguiente comando:

      vaictl --help

    Transfiere un archivo de video a tu app

    Después de configurar tu entorno de VM, puedes copiar un archivo de video de muestra y, luego, usar vaictl para transmitir los datos de video a tu app de recuento de ocupación.

    SSH en el navegador

    Copia un video de muestra en tu VM

    1. En la ventana SSH en el navegador de tu VM, copia un video de muestra con el siguiente comando gcloud storage cp. Reemplaza la siguiente variable:
      • SOURCE: Es la ubicación de un archivo de video que se usará. Puedes usar tu propio archivo de video fuente (por ejemplo, gs://BUCKET_NAME/FILENAME.mp4) o uno de los videos de muestra:
        • gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 (video con personas y vehículos, fuente)
        • gs://cloud-samples-data/vertex-ai-vision/highway_vehicles.mp4 (video solo con vehículos, fuente) 
      gcloud storage cp SOURCE .

    Transmite video desde la VM y transfiere datos a tu app

    1. Para enviar este archivo de video local al flujo de entrada de la app, usa el siguiente comando. Debes realizar las siguientes sustituciones de variables:
      • PROJECT_ID: El ID de tu proyecto de Google Cloud .
      • LOCATION_ID: Es el ID de tu ubicación. Por ejemplo: us-central1 Para obtener más información, consulta Ubicaciones de Cloud.
      • LOCAL_FILE.EXT: Es el nombre de un archivo de video local. Por ejemplo, my-video.mp4
      • Marca --loop: Opcional. Repite los datos del archivo para simular la transmisión.

      Este comando transmite un archivo de video a una transmisión. Si usas la marca --loop, el video se repetirá en el flujo hasta que detengas el comando: 

      vaictl -p PROJECT_ID \
    -l LOCATION_ID \
    -c application-cluster-0 \
    --service-endpoint visionai.googleapis.com \
send video-file to streams 'occupancy-count-stream' --file-path LOCAL_FILE.EXT --loop

    Es posible que transcurran alrededor de 100 segundos entre el inicio de la operación de transferencia vaictl y la aparición del video en el panel.

    Una vez que la transferencia de la transmisión esté disponible, podrás ver el feed de video en la pestaña Transmisiones del panel de Vertex AI Vision. Para ello, selecciona la transmisión occupancy-count-stream.

    Ir a la pestaña Flujos

    Vista del video en vivo que se transmite en la IU
    Vista en vivo del video que se ingiere en la transmisión en la consola de Google Cloud . Crédito de video: Elizabeth Mavor en Pixabay (se agregó pixelación).

    Buscar contenido de video en el almacén de almacenamiento

    Después de transferir los datos de video a tu app de procesamiento, puedes ver los datos de video analizados y buscar los datos según la información de análisis de ocupación.

    Console

    1. Abre la pestaña Almacenes del panel de Vertex AI Vision.

      Ir a la pestaña Almacenes

    2. Busca el almacén occupancy-count-warehouse en la lista y haz clic en Ver recursos.

    3. En la sección Recuento de personas o Recuento de vehículos, establece el valor Mín. en 1 y el valor Máx. en 5.

    4. Para filtrar los datos de video procesados y almacenados en el almacén de contenido multimedia de Vertex AI Vision, haz clic en Buscar.

      Vista de los datos almacenados facetados en la IU
      Una vista de los datos de video almacenados que coinciden con los criterios de búsqueda en la consola de Google Cloud Crédito del video: Elizabeth Mavor en Pixabay (se aplicaron criterios de búsqueda).

    Limpia

    Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

    Borra el proyecto

    1. In the Google Cloud console, go to the Manage resources page.

      Go to Manage resources

    2. In the project list, select the project that you want to delete, and then click Delete.
    3. In the dialog, type the project ID, and then click Shut down to delete the project.

    Borra los recursos individuales

    Borra una instancia de VM de Compute Engine

    1. In the Google Cloud console, go to the VM instances page.

      Go to VM instances

    2. Select the checkbox for the instance that you want to delete.
    3. To delete the instance, click More actions, click Delete, and then follow the instructions.

    Borra un almacén

    1. In the Google Cloud console, go to the Warehouses page.

      Go to the Warehouses tab

    2. Locate your occupancy-count-warehouse warehouse.
    3. To delete the warehouse, click Actions, click Delete warehouse, and then follow the instructions.

    Borrar una transmisión

    1. In the Google Cloud console, go to the Streams page.

      Go to the Streams tab

    2. Locate your occupancy-count-stream stream.
    3. To delete the stream, click Actions, click Delete stream, and then follow the instructions.

    Borra una aplicación

    1. In the Google Cloud console, go to the Applications page.

      Go to the Applications tab

    2. Locate your occupancy-count-app app.
    3. To delete the app, click Actions, click Delete application, and then follow the instructions.

    ¿Qué sigue?