Importação com streaming

A importação com streaming permite-lhe fazer atualizações em tempo real aos valores das funcionalidades. Este método é útil quando ter os dados mais recentes disponíveis para a publicação online é uma prioridade. Por exemplo, pode importar dados de eventos de streaming e, em poucos segundos, o Vertex AI Feature Store (antigo) disponibiliza esses dados para cenários de fornecimento online.

Se tiver de preencher dados em falta ou calcular valores de funcionalidades em lote, use batch import. Em comparação com os pedidos de importação de streaming, os pedidos de importação em lote podem processar payloads maiores, mas demoram mais tempo a concluir.

Para informações sobre a data/hora mais antiga do valor da funcionalidade que pode importar, consulte o artigo Vertex AI Feature Store (antigo) em Quotas e limites. Não pode importar valores de atributos cujas datas/horas indiquem datas ou horas futuras.

Exemplo de utilização

Uma organização de retalho online pode oferecer uma experiência de compras personalizada através da atividade atual de um utilizador. À medida que os utilizadores navegam no Website, pode captar a respetiva atividade numa loja de funcionalidades e, pouco depois, publicar todas essas informações para previsões online. Esta importação e publicação em tempo real podem ajudar a apresentar recomendações úteis e relevantes aos clientes durante a sessão de compras.

Utilização do nó de armazenamento online

A gravação de valores de funcionalidades numa loja online usa os recursos da CPU do Feature Store (nós de armazenamento online). Monitorize a utilização da CPU para verificar se a procura não excede a oferta, o que pode originar erros de publicação. Recomendamos uma taxa de utilização de cerca de 70% ou inferior para evitar estes erros. Se exceder regularmente esse valor, pode atualizar o Feature Store para aumentar o número de nós ou usar o dimensionamento automático. Para mais informações, consulte o artigo Gerir featurestores.

Importação com streaming

Escrever um valor numa funcionalidade específica. O valor da funcionalidade tem de ser incluído como parte do pedido de importação. Não pode transmitir dados diretamente a partir de uma origem de dados.

Se estiver a escrever para funcionalidades criadas recentemente, aguarde alguns minutos antes de o fazer, uma vez que as novas funcionalidades podem ainda não ter sido propagadas. Caso contrário, pode ser apresentado um erro resource not found.

Só pode importar valores de funcionalidades para uma entidade por gravação. Para qualquer projeto e região específicos, pode escrever simultaneamente valores de funcionalidades para várias entidades num máximo de dez tipos de entidades diferentes. Este limite inclui pedidos de importação de streaming para todas as featurestores num determinado projeto e região. Se exceder este limite, o Vertex AI Feature Store (antigo) pode não escrever todos os seus dados na loja offline. Se isto ocorrer, o Vertex AI Feature Store (antigo) regista o erro no Logs Explorer. Para mais informações, consulte o artigo Monitorize erros de gravação de armazenamento offline para importação de streaming.

REST

Para importar valores de funcionalidades para funcionalidades existentes, envie um pedido POST através do método featurestores.entityTypes.writeFeatureValues. Se os nomes das colunas de dados de origem e os IDs das funcionalidades de destino forem diferentes, inclua o parâmetro sourceField. Tenha em atenção que featurestores.entityTypes.writeFeatureValues permite importar valores de caraterísticas apenas para uma entidade de cada vez.

Antes de usar qualquer um dos dados do pedido, faça as seguintes substituições:

  • LOCATION: região onde o Feature Store é criado. Por exemplo, us-central1.
  • PROJECT: o seu ID do projeto.
  • FEATURESTORE_ID: ID da Feature Store.
  • ENTITY_TYPE_ID: ID do tipo de entidade.
  • FEATURE_ID: ID de uma funcionalidade existente no Feature Store para escrever valores.
  • VALUE_TYPE: o tipo de valor da funcionalidade.
  • VALUE: valor da funcionalidade.
  • TIME_STAMP (opcional): a hora em que a funcionalidade foi gerada. A data/hora tem de estar no formato UTC RFC3339.

Método HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues

Corpo JSON do pedido: 

{
  "payloads": [
    {
      "entityId": "ENTITY_ID",
      "featureValues": {
        "FEATURE_ID": {
          "VALUE_TYPE": VALUE,
          "metadata": {"generate_time": "TIME_STAMP"}
        }
      }
    }
  ]
}

Para enviar o seu pedido, escolha uma destas opções:

curl

Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues"

PowerShell

Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues" | Select-Object -Expand Content

Deve receber um código de estado de êxito (2xx) e uma resposta vazia.

Python

Para saber como instalar ou atualizar o SDK Vertex AI para Python, consulte o artigo Instale o SDK Vertex AI para Python. Para mais informações, consulte a Python documentação de referência da API. 

from google.cloud import aiplatform


def write_feature_values_sample(
    project: str, location: str, entity_type_id: str, featurestore_id: str
):

    aiplatform.init(project=project, location=location)

    my_entity_type = aiplatform.featurestore.EntityType(
        entity_type_name=entity_type_id, featurestore_id=featurestore_id
    )

    my_data = {
        "movie_01": {
            "title": "The Shawshank Redemption",
            "average_rating": 4.7,
            "genre": "Drama",
        },
    }

    my_entity_type.write_feature_values(instances=my_data)

Idiomas adicionais

Pode instalar e usar as seguintes bibliotecas cliente do Vertex AI para chamar a API Vertex AI. As bibliotecas cliente do Google Cloud oferecem uma experiência de programador otimizada através da utilização das convenções e dos estilos naturais de cada idioma suportado.

O que se segue?