Crie uma app de contagem de ocupação com entrada de streaming remota

---

O Vertex AI Vision é uma plataforma com tecnologia de IA que pode usar para carregar, analisar e armazenar dados de vídeo . O Vertex AI Vision permite-lhe criar e implementar aplicações de IA. Pode criar soluções de Vertex AI Vision ponto a ponto tirando partido da integração do Vertex AI Vision com outros componentes do produto.

Para começar a implementar soluções com a plataforma Vertex AI Vision, reveja os seguintes conceitos e componentes do Vertex AI Vision:

• Streams: representam uma camada de streaming de vídeo da sua solução. A origem da stream pode ser um vídeo em direto (por exemplo, uma câmara IP) ou um ficheiro de vídeo (por exemplo, um ficheiro MP4).

• Aplicações: ative a ligação entre uma stream e um processador de IA para realizar uma operação de aprendizagem automática no vídeo. Por exemplo, pode associar um stream de vídeo a um modelo de IA que conta as pessoas que passam em frente ao mesmo.

• Armazéns de conteúdo multimédia: armazenam o vídeo carregado por streams para o Google Cloud armazenamento. O armazenamento de dados neste destino permite-lhe consultar a saída da análise e os metadados dos processadores de IA usados em dados dos streams carregados.

Objetivos

Este tutorial mostra como fazer o seguinte:

• Crie uma app de contagem de ocupação.
• Implemente a sua app para utilização.
• Configure um computador remoto para fazer stream de vídeo.
• Carregue o vídeo de streaming num nó de stream na sua app.
• Pesquise vídeos no seu armazenamento do Media Warehouse da Vertex AI Vision.

Custos

Neste documento, usa os seguintes componentes faturáveis do Google Cloud:

• Vertex AI Vision (Streams - Data ingested, Streams - Data consumed, Models - Occupancy analytics suite, Warehouse - Video storage)
• Compute Engine

Para gerar uma estimativa de custos com base na sua utilização projetada, use a calculadora de preços.

Os novos Google Cloud utilizadores podem ser elegíveis para uma avaliação gratuita.

Quando terminar as tarefas descritas neste documento, pode evitar a faturação contínua eliminando os recursos que criou. Para mais informações, consulte o artigo Limpe.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Compute Engine and Vision AI APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: Vision AI > Vision AI Editor, Compute Engine > Compute Instance Admin (beta), Storage > Storage Object Viewer^†.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

   Do not close your browser window. You will use it in the next step.

Create a service account key:

1. In the Google Cloud console, click the email address for the service account that you created.
2. Click Keys.
3. Click Add key, and then click Create new key.
4. Click Create. A JSON key file is downloaded to your computer.
5. Click Close.

Install the Google Cloud CLI.

Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Compute Engine and Vision AI APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: Vision AI > Vision AI Editor, Compute Engine > Compute Instance Admin (beta), Storage > Storage Object Viewer^†.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

   Do not close your browser window. You will use it in the next step.

Create a service account key:

1. In the Google Cloud console, click the email address for the service account that you created.
2. Click Keys.
3. Click Add key, and then click Create new key.
4. Click Create. A JSON key file is downloaded to your computer.
5. Click Close.

Install the Google Cloud CLI.

Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

^† Função necessária apenas se copiar um ficheiro de vídeo de exemplo de um contentor do Cloud Storage.

Crie uma aplicação de contagem de ocupação

Depois de configurar o seu ambiente, o primeiro passo é criar a app que processa os seus dados. Pode considerar uma app como um pipeline automatizado que liga o seguinte:

• Carregamento de dados: um feed de vídeo é carregado numa stream.
• Análise de dados: pode adicionar um modelo de IA após a ingestão. Qualquer operação de visão por computador pode ser realizada nas informações de vídeo carregadas.
• Armazenamento de dados: as duas versões do feed de vídeo (a stream original e a stream processada pelo modelo de IA) podem ser armazenadas num armazém de multimédia.

Na Google Cloud consola, uma app é representada como um gráfico. Além disso, no Vertex AI Vision, um gráfico de apps tem de ter, pelo menos, dois nós: um nó de origem de vídeo (stream) e , pelo menos, mais um nó (um modelo de processamento ou um destino de saída).

Crie uma app vazia

Antes de poder preencher o gráfico de apps, tem de criar uma app vazia.

Consola

Crie uma app na Google Cloud consola.

1. Abra o separador Aplicações do painel de controlo do Vertex AI Vision.

   Aceda ao separador Aplicações

2. Clique no botão Criar.

3. Introduza occupancy-count-app como o nome da app e escolha a sua região.

4. Clique em Criar.

Adicione nós de componentes de apps

Depois de criar a aplicação vazia, pode adicionar os três nós ao gráfico da app:

1. Nó de carregamento: o recurso de stream que carrega dados enviados a partir de uma instância de VM do Compute Engine que criar.
2. Nó de processamento: o modelo de estatísticas de ocupação que atua sobre os dados carregados.
3. Nó de armazenamento: o armazém de multimédia que armazena vídeos processados e também funciona como um armazém de metadados. O armazém de dados permite gerar informações de estatísticas sobre os dados de vídeo carregados, bem como armazenar informações que os modelos de IA inferem sobre os dados.

Consola

Adicione nós de componentes à sua app na consola.

1. Abra o separador Aplicações do painel de controlo do Vertex AI Vision.

   Aceda ao separador Aplicações

2. Na linha occupancy-count-app, selecione Ver gráfico. Isto permite aceder à visualização do gráfico do pipeline de processamento.

Adicione um nó de carregamento de dados

1. Para adicionar um nó de fluxo de entrada, selecione a opção Streams na secção Connectors do menu lateral.

2. Na secção Origem do menu Stream que é aberto, selecione Adicionar streams.

3. No menu Adicionar streams, escolha Registar novas streams e adicione occupancy-count-stream como o nome da stream.

4. Para adicionar a stream ao gráfico de apps, clique em Adicionar streams.

Adicione um nó de tratamento de dados

1. Para adicionar o nó do modelo de contagem de ocupação, selecione a opção Estatísticas de ocupação na secção Modelos especializados do menu lateral.

2. Deixe as seleções predefinidas Pessoas e Veículos.

Adicione um nó de armazenamento de dados

1. Para adicionar o nó de destino de saída (armazenamento), selecione a opção Media Warehouse do Vertex AI Vision na secção Conetores do menu lateral.

2. No menu Media Warehouse da Vertex AI Vision, clique em Associar armazém.

3. No menu Associar armazém, selecione Criar novo armazém. Dê o nome occupancy-count-warehouse ao armazém e deixe a duração do TTL em 14 dias.

4. Clique no botão Criar para adicionar o armazém.

Implemente a sua app para utilização

Depois de criar a sua app integral com todos os componentes necessários, o último passo para usar a app é implementá-la.

Consola

1. Abra o separador Aplicações do painel de controlo do Vertex AI Vision.

   Aceda ao separador Aplicações

2. Selecione Ver gráfico junto à app occupancy-count-app na lista.

3. Na página do criador de gráficos de aplicações, clique no botão Implementar.

4. Na caixa de diálogo de confirmação seguinte, selecione Implementar.

   A operação de implementação pode demorar vários minutos a ser concluída. Após a conclusão da implementação, aparecem marcas de verificação verdes junto aos nós.

   

Configure uma máquina remota para fazer stream de vídeo

Agora que tem uma app de contagem de ocupação implementada pronta para receber, processar e armazenar dados de streaming, tem de fazer streaming de dados de vídeo para a app.

Neste tutorial, cria uma instância de VM do Compute Engine que aloja um vídeo e envia esses dados de streaming de vídeo a partir da VM.

Crie uma VM do Linux

O primeiro passo para enviar vídeo a partir de uma instância de VM do Compute Engine é criar a instância de VM.

Consola

1. Na consola, aceda à página Instâncias de VM.

   Aceder às instâncias de VM

2. Selecione o projeto e clique em Continuar.

3. Clique em Criar instância.

4. Especifique um Nome para a VM. Para mais informações, consulte o artigo Convenção de nomenclatura de recursos.

5. Opcional: altere a zona desta VM. O Compute Engine aleatoriza a lista de zonas em cada região para incentivar a utilização em várias zonas.

6. Aceite as restantes opções predefinidas. Para mais informações sobre estas opções, consulte o artigo Crie e inicie uma VM.

7. Para criar e iniciar a VM, clique em Criar.

Configure o ambiente de VM

Depois de a VM ser iniciada, pode usar a consola para estabelecer uma ligação SSH no navegador. Depois de estabelecer esta ligação, pode transferir a ferramenta de linha de comandos vaictl para carregar vídeos para a sua app.

Consola

Estabeleça uma ligação SSH à sua VM

1. Na consola, aceda à página Instâncias de VM.

   Aceder às instâncias de VM

2. Na secção Ligar da linha de instância que criou, clique em SSH. Esta ação abre uma ligação SSH numa nova janela do navegador.

   

Transfira a ferramenta de linha de comandos vaictl

1. Na janela SSH no navegador, transfira a ferramenta de linha de comandos do Vertex AI Vision (vaictl) através do seguinte comando:

   wget https://github.com/google/visionai/releases/download/v0.0.5/visionai_0.0-5_amd64.deb
   

2. Instale a ferramenta de linha de comandos executando o seguinte comando:

   sudo apt install ./visionai_0.0-5_amd64.deb
   

3. Pode testar a instalação executando o seguinte comando:

   vaictl --help
   

Carregue um ficheiro de vídeo para a sua app

Depois de configurar o ambiente de VM, pode copiar um ficheiro de vídeo de exemplo e, em seguida, usar vaictl para transmitir os dados de vídeo para a sua app de contagem de ocupação.

SSH no navegador

Copie um vídeo de exemplo para a sua VM

1. Na janela SSH no navegador da sua VM, copie um vídeo de exemplo com o seguinte comando gcloud storage cp. Substitua a seguinte variável:
   • SOURCE: a localização de um ficheiro de vídeo a usar. Pode usar a sua própria origem de ficheiro de vídeo (por exemplo, gs://BUCKET_NAME/FILENAME.mp4) ou usar um dos vídeos de exemplo:
     • gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 (vídeo com pessoas e veículos, fonte)
     • gs://cloud-samples-data/vertex-ai-vision/highway_vehicles.mp4 (vídeo apenas com veículos, origem)

   gcloud storage cp SOURCE .

Faça stream de vídeo a partir da VM e carregue dados na sua app

1. Para enviar este ficheiro de vídeo local para o fluxo de entrada da app, use o seguinte comando. Tem de fazer as seguintes substituições de variáveis:
   • PROJECT_ID: o ID do seu Google Cloud projeto.
   • LOCATION_ID: o ID da sua localização. Por exemplo, us-central1. Para mais informações, consulte o artigo Localizações na nuvem.
   • LOCAL_FILE.EXT: o nome do ficheiro de um ficheiro de vídeo local. Por exemplo, my-video.mp4.
   • Sinalizador --loop: opcional. Faz um ciclo dos dados de ficheiros para simular o streaming.

   Este comando envia um ficheiro de vídeo para uma stream. Se usar a flag --loop, o vídeo é repetido na stream até parar o comando:

   vaictl -p PROJECT_ID \
       -l LOCATION_ID \
       -c application-cluster-0 \
       --service-endpoint visionai.googleapis.com \
   send video-file to streams 'occupancy-count-stream' --file-path LOCAL_FILE.EXT --loop

Pode demorar cerca de 100 segundos entre o início da operação de carregamento vaictl e a apresentação do vídeo no painel de controlo.

Depois de a ingestão de streams estar disponível, pode ver o feed de vídeo no separador Streams do painel de controlo do Vertex AI Vision selecionando a stream occupancy-count-stream.

Aceda ao separador Streams



Vista em direto do vídeo que está a ser carregado na stream na Google Cloud consola. Créditos do vídeo: Elizabeth Mavor no Pixabay (píxeis adicionados).

Pesquise conteúdo de vídeo no armazém de armazenamento

Depois de introduzir os dados de vídeo na app de processamento, pode ver os dados de vídeo analisados e pesquisar os dados com base nas informações de estatísticas de ocupação.

Consola

1. Abra o separador Armazéns do painel de controlo do Vertex AI Vision.

   Aceda ao separador Armazéns

2. Encontre o armazém occupancy-count-warehouse na lista e clique em Ver recursos.

3. Na secção Contagem de pessoas ou Contagem de veículos, defina o valor Mínimo como 1 e o valor Máximo como 5.

4. Para filtrar os dados de vídeo processados armazenados no Media Warehouse do Vertex AI Vision, clique em Pesquisar.

   

   Uma vista dos dados de vídeo armazenados que correspondem aos critérios de pesquisa na Google Cloud consola. Créditos do vídeo: Elizabeth Mavor no Pixabay (critérios de pesquisa aplicados).

Limpar

Para evitar incorrer em custos na sua conta do Google Cloud pelos recursos usados neste tutorial, elimine o projeto que contém os recursos ou mantenha o projeto e elimine os recursos individuais.

Elimine o projeto

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Elimine recursos individuais

Elimine uma instância de VM do Compute Engine

1. In the Google Cloud console, go to the VM instances page.

   Go to VM instances

2. Select the checkbox for the instance that you want to delete.
3. To delete the instance, click More actions, click Delete, and then follow the instructions.

Elimine um armazém

1. In the Google Cloud console, go to the Warehouses page.

   Go to the Warehouses tab

2. Locate your occupancy-count-warehouse warehouse.
3. To delete the warehouse, click Actions, click Delete warehouse, and then follow the instructions.

Elimine uma stream

1. In the Google Cloud console, go to the Streams page.

   Go to the Streams tab

2. Locate your occupancy-count-stream stream.
3. To delete the stream, click Actions, click Delete stream, and then follow the instructions.

Elimine uma app

1. In the Google Cloud console, go to the Applications page.

   Go to the Applications tab

   Note: You must first undeploy your app before you can delete it.
2. Locate your occupancy-count-app app.
3. To delete the app, click Actions, click Delete application, and then follow the instructions.

O que se segue?

• Leia mais sobre as práticas de IA responsável.
• Saiba mais acerca de outros componentes que pode adicionar a uma app em Crie uma app.
• Saiba mais sobre outras opções de armazenamento e processamento de resultados em Associe o resultado da app a um destino de dados .
• Leia sobre como pesquisar dados do armazém na consola.
• Explore arquiteturas de referência, diagramas e práticas recomendadas sobre o Google Cloud. Consulte o nosso Centro de arquitetura na nuvem.