Criar um grupo de elementos

Um grupo de recursos é um recurso do registro de atributos associado a uma tabela ou visualização do BigQuery que contém seus dados de recursos. Um grupo de recursos pode conter vários recursos, em que cada um está associado a uma coluna na fonte de dados de recursos. Se quiser registrar sua fonte de dados de atributos no registro de atributos, crie um grupo de atributos e adicione atributos a ele.

Depois de criar um grupo de recursos e associar a fonte de dados do BigQuery, crie recursos associados às colunas na fonte de dados. Embora seja opcional associar uma fonte de dados ao criar um grupo de recursos, é necessário associar uma tabela ou visualização do BigQuery antes de criar recursos nesse grupo. Cada recurso corresponde a uma coluna na fonte de dados associada ao grupo de recursos.

Por que usar grupos de recursos e recursos?

O registro da fonte de dados de atributos é opcional. No entanto, é necessário registrar os dados de atributos criando grupos e atributos nos seguintes cenários:

  • Use dados históricos no formato de série temporal para treinar um modelo: se a fonte de dados de recursos contiver dados de recursos mais recentes e históricos com vários registros de recursos para o mesmo ID de entidade, formate esses dados como uma série temporal adicionando a coluna feature_timestamp. Nesse cenário, você precisa registrar a fonte de dados usando recursos e grupos de recursos. Em seguida, é possível veicular recursos da seguinte maneira:

    • Use a exibição on-line para disponibilizar os valores de atributos mais recentes com base no carimbo de data/hora e fazer previsões em tempo real.

    • Use a disponibilização off-line para disponibilizar valores de atributos mais recentes e históricos para treinar um modelo.

  • Agregar recursos de várias fontes: use grupos de recursos para agregar colunas específicas de várias fontes de dados do BigQuery ao criar uma instância de visualização de recursos.

  • Veicular valores de atributos nulos: durante a veiculação on-line, se você quiser veicular apenas os valores de atributos mais recentes, incluindo valores nulos, registre sua fonte de dados de atributos criando grupos de atributos com o parâmetro dense definido como true.

  • Use a sincronização contínua de dados nas suas visualizações de recursos: o registro dos recursos é um pré-requisito para usar a sincronização contínua de dados nas visualizações de recursos.

  • Monitorar atributos em busca de anomalias: é necessário registrar os atributos se quiser configurar o monitoramento de atributos para recuperar estatísticas e detectar o deslocamento de atributos.

Quando não usar grupos e recursos

Se você quiser disponibilizar incorporações da sua fonte de dados de recursos, não registre a fonte criando grupos de recursos e recursos. Nesse cenário, é necessário configurar a veiculação on-line associando diretamente a tabela ou visualização do BigQuery às visualizações de recursos.

Para mais informações sobre como configurar a disponibilização on-line sem registrar sua fonte de dados de recursos, consulte Criar uma visualização de recursos de uma fonte do BigQuery.

Controle o acesso

É possível controlar o acesso a um grupo de recursos nos seguintes níveis:

  • Controlar o acesso ao recurso FeatureGroup: para controlar o acesso a um grupo de recursos para um indivíduo, grupo do Google, domínio ou conta de serviço específica, configure uma política do IAM para o grupo de recursos.

  • Controlar o acesso à fonte de dados do BigQuery: por padrão, um grupo de recursos usa a conta de serviço padrão configurada para o projeto. O Vertex AI Feature Store atribui o papel de Leitor de dados do BigQuery do Identity and Access Management (IAM) a essa conta de serviço. Isso permite que qualquer usuário com permissão para criar um grupo de recursos no projeto acesse a fonte de dados de recursos no BigQuery. Para restringir o acesso à fonte de dados do BigQuery ou conceder acesso a outros usuários, configure seu grupo de recursos para usar uma conta de serviço dedicada. O Vertex AI Feature Store gera um endereço de e-mail exclusivo para cada grupo de recursos configurado com uma conta de serviço dedicada.

Antes de começar

Antes de criar um grupo de recursos, atenda aos seguintes pré-requisitos:

  • Verifique se há pelo menos uma instância de loja on-line criada no seu projeto, mesmo que você queira criar uma nova. Se você estiver usando um novo projeto, crie uma instância de loja on-line antes de criar o grupo de recursos.

  • Formate os dados de atributos na tabela ou visualização do BigQuery de acordo com as Diretrizes de preparação da fonte de dados.

  • Verifique se a fonte de dados do BigQuery contém pelo menos uma coluna de ID da entidade com valores string ou int.

  • Faça a autenticação na Vertex AI, a menos que já tenha feito isso.

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    Python

    Para usar os exemplos Python desta página em um ambiente de desenvolvimento local, instale e inicialize a CLI gcloud e configure o Application Default Credentials com suas credenciais de usuário.

      Instale a CLI do Google Cloud.

      Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

      If you're using a local shell, then create local authentication credentials for your user account: 

      gcloud auth application-default login

      You don't need to do this if you're using Cloud Shell.

      If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

    Confira mais informações em Set up authentication for a local development environment.

    REST

    Para usar as amostras da API REST nesta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.

      Instale a CLI do Google Cloud.

      Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

    Para mais informações, consulte Autenticar para usar REST na documentação de autenticação do Google Cloud .

Criar um grupo de recursos para registrar uma fonte de dados de recursos

Use os exemplos a seguir para criar um grupo de recursos e associar uma fonte de dados de recursos, como uma tabela ou visualização do BigQuery.

Console

Use as instruções a seguir para criar um grupo de recursos usando o console Google Cloud :

  1. Na seção Vertex AI do console Google Cloud , acesse a página Feature Store.

    Acessar a página da Feature Store

  2. Na seção Grupos de recursos, clique em Criar para abrir o painel Informações básicas na página Criar grupo de recursos.

  3. Especifique o Nome do grupo de recursos.

  4. Opcional: para adicionar rótulos, clique em Adicionar rótulo e especifique o nome e o valor do rótulo. É possível adicionar vários rótulos a um grupo de recursos.

  5. No campo Caminho do BigQuery, clique em Procurar para selecionar a tabela ou visualização de origem do BigQuery a ser associada ao grupo de recursos.

  6. Na lista Coluna de ID da entidade, selecione as colunas de ID da entidade na tabela ou visualização de origem do BigQuery.

    Isso é opcional se a tabela ou visualização de origem do BigQuery tiver uma coluna chamada entity_id. Nesse caso, se você não selecionar uma coluna de ID da entidade, o grupo de recursos vai usar a coluna entity_id como a coluna padrão de ID da entidade.

  7. Clique em Continuar.

  8. No painel Registrar, clique em uma das seguintes opções para indicar se você quer adicionar recursos ao novo grupo de recursos:

    • Incluir todas as colunas da tabela do BigQuery: crie recursos no grupo de recursos para todas as colunas na tabela ou visualização de origem do BigQuery.

    • Inserir recursos manualmente: crie recursos com base em colunas específicas na origem do BigQuery. Para cada recurso, insira um Nome do recurso e clique no nome da coluna de origem do BigQuery correspondente na lista.

      Para adicionar mais elementos, clique em Adicionar outro recurso.

    • Criar um grupo de recursos vazio: cria o grupo de recursos sem adicionar funcionalidades a ele.

  9. Clique em Criar.

Python

Para saber como instalar o SDK da Vertex AI para Python, consulte Instalar o SDK da Vertex AI para Python. Para mais informações, consulte a documentação de referência da API Python. 


from google.cloud import aiplatform
from vertexai.resources.preview import feature_store
from typing import List


def create_feature_group_sample(
    project: str,
    location: str,
    feature_group_id: str,
    bq_table_uri: str,
    entity_id_columns: List[str],
):
    aiplatform.init(project=project, location=location)
    fg = feature_store.FeatureGroup.create(
        name=feature_group_id,
        source=feature_store.utils.FeatureGroupBigQuerySource(
            uri=bq_table_uri, entity_id_columns=entity_id_columns
        ),
    )
    return fg
  • project: o ID do projeto.
  • location: região em que você quer criar o grupo de recursos, como us-central1.
  • feature_group_id: o nome do novo grupo de recursos que você quer criar.
  • bq_table_uri: URI da tabela de origem ou visualização do BigQuery que você quer registrar para o grupo de recursos.
  • entity_id_columns: os nomes das colunas que contêm os IDs das entidades. É possível especificar uma ou várias colunas.
    • Para especificar apenas uma coluna de IDs das entidades, especifique o nome da coluna no seguinte formato:
      "entity_id_column_name".
    • Para especificar várias colunas de IDs das entidades, especifique os nomes das colunas no seguinte formato:
      ["entity_id_column_1_name", "entity_id_column_2_name", ...].

REST

Para criar um recurso FeatureGroup, envie uma solicitação POST usando o método featureGroups.create.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • LOCATION_ID: região em que você quer criar o grupo de recursos, como us-central1.
  • SERVICE_AGENT_TYPE: opcional. Configuração da conta de serviço para o grupo de recursos. Para usar uma conta de serviço dedicada para o grupo de recursos, digite SERVICE_AGENT_TYPE_FEATURE_GROUP.
  • PROJECT_ID: o ID do projeto.
  • ENTITY_ID_COLUMNS: os nomes das colunas que contêm os IDs das entidades. É possível especificar uma ou várias colunas.
    • Para especificar apenas uma coluna de IDs das entidades, especifique o nome da coluna no seguinte formato:
      "entity_id_column_name".
    • Para especificar várias colunas de IDs das entidades, especifique os nomes das colunas no seguinte formato:
      ["entity_id_column_1_name", "entity_id_column_2_name", ...].
  • FEATUREGROUP_NAME: o nome do novo grupo de recursos que você quer criar.
  • BIGQUERY_SOURCE_URI: URI da tabela de origem ou visualização do BigQuery que você quer registrar para o grupo de recursos.
  • TIMESTAMP_COLUMN: opcional. Especifique o nome da coluna que contém os carimbos de data/hora de recursos na tabela ou visualização de origem do BigQuery.
    Você só precisa especificar o nome da coluna de carimbo de data/hora se os dados estiverem formatados como uma série temporal e a coluna que contém os carimbos de data/hora de recursos não se chamar feature_timestamp.
  • STATIC_DATA_SOURCE: opcional. Insira true se os dados não estiverem formatados como uma série temporal. A configuração padrão é false.
  • DENSE: opcional. Indique como o Vertex AI Feature Store processa valores nulos ao disponibilizar dados de visualizações de recursos associadas ao grupo de recursos:
    • false: essa é a configuração padrão. A Feature Store da Vertex AI exibe apenas os valores de atributos não nulos mais recentes. Se o valor mais recente de um recurso for nulo, o Vertex AI Feature Store vai disponibilizar o valor histórico não nulo mais recente. No entanto, se os valores atuais e históricos desse recurso forem nulos, o Vertex AI Feature Store vai exibir nulo como o valor do recurso.
    • true—Para visualizações de recursos com sincronização de dados programada, a Feature Store da Vertex AI disponibiliza apenas os valores de recursos mais recentes, incluindo valores nulos. Para visualizações de recursos com sincronização contínua de dados, o Vertex AI Feature Store fornece apenas os valores de atributos não nulos mais recentes. No entanto, se os valores atuais e históricos do recurso forem nulos, o Vertex AI Feature Store vai exibir nulo como o valor do recurso. Para mais informações sobre os tipos de sincronização de dados e como configurar o tipo de sincronização de dados em uma visualização de recurso, consulte Sincronizar os dados em uma visualização de recurso.

Método HTTP e URL: 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featureGroups?feature_group_id=FEATUREGROUP_NAME

Corpo JSON da solicitação:

{
  "service_agent_type": "SERVICE_AGENT_TYPE",
  "big_query": {
    "entity_id_columns": "ENTITY_ID_COLUMNS",
    "big_query_source": {
      "input_uri": "BIGQUERY_SOURCE_URI",
    }
    "time_series": {
      "timestamp_column": ""TIMESTAMP_COLUMN"",
    },
    "static_data_source": STATIC_DATA_SOURCE,
    "dense": DENSE
  }
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featureGroups?feature_group_id=FEATUREGROUP_NAME"

PowerShell

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featureGroups?feature_group_id=FEATUREGROUP_NAME" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/featureGroups/FEATUREGROUP_NAME/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.UpdateFeatureGroupOperationMetadata",
    "genericMetadata": {
      "createTime": "2023-09-18T03:00:13.060636Z",
      "updateTime": "2023-09-18T03:00:13.060636Z"
    }
  }
}

A seguir