Na aprendizagem automática (AA), as funcionalidades são atributos caraterísticos de uma instância ou uma entidade que pode usar para preparar modelos ou fazer previsões online. As funcionalidades são geradas transformando dados de AA não processados em atributos mensuráveis e partilháveis através de técnicas de engenharia de funcionalidades, geralmente denominadas transformações de funcionalidades.
A gestão de funcionalidades refere-se ao processo de criação, manutenção, partilha e publicação de funcionalidades de ML armazenadas num local ou repositório centralizado. A gestão de funcionalidades facilita a reutilização de funcionalidades para preparar e voltar a preparar modelos, o que reduz o ciclo de vida das implementações de IA e AA.
Um produto ou um serviço que inclui serviços de gestão de caraterísticas para armazenar, descobrir, partilhar e publicar caraterísticas de ML é denominado repositório de caraterísticas. O Vertex AI incorpora os seguintes serviços do feature store:
Esta página apresenta e compara os dois serviços de gestão de funcionalidades e fornece uma vista geral das respetivas capacidades. Também descreve como migrar um Feature Store existente no Vertex AI Feature Store (antigo) para o novo Vertex AI Feature Store.
Vertex AI Feature Store
O Vertex AI Feature Store oferece uma nova abordagem à gestão de funcionalidades, permitindo-lhe manter e publicar os seus dados de funcionalidades a partir de uma origem de dados do BigQuery. Nesta abordagem, o Vertex AI Feature Store atua como uma camada de metadados que oferece capacidades de publicação online à sua origem de dados de caraterísticas no BigQuery e permite-lhe publicar caraterísticas online com base nesses dados. Não tem de copiar nem importar os dados para uma loja offline separada no Vertex AI.
O Vertex AI Feature Store está integrado com o Dataplex Universal Catalog para monitorizar os metadados das funcionalidades. Também suporta incorporações e permite-lhe realizar pesquisas de similaridade vetorial para vizinhos mais próximos.
O Vertex AI Feature Store está otimizado para o fornecimento de latência muito baixa e permite-lhe fazer o seguinte:
Armazene e mantenha os dados de funcionalidades offline no BigQuery, tirando partido das capacidades de gestão de dados do BigQuery.
Partilhe e reutilize funcionalidades adicionando-as ao registo de funcionalidades.
Apresente funcionalidades para previsões online com latências baixas através do serviço online do Bigtable ou com latências muito baixas através do serviço online otimizado.
Armazene incorporações nos dados das funcionalidades e faça pesquisas de similaridade vetorial usando a publicação online otimizada.
Acompanhe os metadados de funcionalidades no Dataplex Universal Catalog.
Para saber mais sobre o Vertex AI Feature Store, consulte a documentação do Vertex AI Feature Store.
Vertex AI Feature Store (antigo)
O Vertex AI Feature Store (antigo) oferece um repositório centralizado para armazenar, organizar e apresentar dados de funcionalidades de ML. Aprovisiona uma hierarquia de recursos que encapsula uma loja online e uma loja offline no Vertex AI. A loja online publica os valores das funcionalidades mais recentes para previsões online. A loja offline armazena e mantém dados de funcionalidades (incluindo dados do histórico) que pode fornecer em lote para preparar modelos de ML.
O Vertex AI Feature Store (antigo) é um serviço de gestão de funcionalidades totalmente funcional que lhe permite fazer o seguinte:
Importe dados de funcionalidades em lote ou em fluxo para o arquivo offline a partir de uma origem de dados, como um contentor do Cloud Storage ou uma origem do BigQuery.
Publicar funcionalidades online para previsões.
Forneça ou exporte funcionalidades em lote para a preparação ou a análise de modelos de ML.
Definir políticas de gestão de identidade e de acesso (IAM) nos recursos
EntityTypeeFeaturestore.Faça a gestão dos recursos da Feature Store a partir da Google Cloud consola.
O Vertex AI Feature Store (antigo) não inclui a gestão de incorporações nem as capacidades de obtenção de vetores. Se precisar de gerir incorporações nos dados de caraterísticas ou realizar pesquisas de similaridade vetorial, pondere mudar para o Vertex AI Feature Store. Para obter informações sobre a migração para o Vertex AI Feature Store, consulte o artigo Migre para o Vertex AI Feature Store.
Para saber mais sobre o Vertex AI Feature Store (antigo), consulte a documentação do Vertex AI Feature Store (antigo).
Comparação entre o Vertex AI Feature Store e o Vertex AI Feature Store (antigo)
A tabela seguinte compara os vários aspetos do Vertex AI Feature Store (antigo) e do novo Vertex AI Feature Store:
| Categoria | Vertex AI Feature Store | Vertex AI Feature Store (antigo) |
|---|---|---|
| Modelos de dados | ||
| Hierarquia de recursos (loja online e offline) | A hierarquia de recursos na loja online é a seguinte: FeatureOnlineStore -> FeatureView
|
A hierarquia de recursos é a seguinte: Featurestore -> EntityType -> Feature
|
| Hierarquia de recursos (registo de elementos) | A hierarquia de recursos no registo de funcionalidades é a seguinte: FeatureGroup -> Feature
|
Não existe um registo de funcionalidades no Vertex AI Feature Store (antigo). |
| Gestão de funcionalidades | ||
| Lojas online e offline | Tem de criar uma instância da loja online e definir visualizações de funcionalidades. O Vertex AI Feature Store não requer um arquivo offline separado, porque a origem de dados do BigQuery constitui o arquivo offline. |
Quando aprovisiona uma Feature Store, a Vertex AI Feature Store (antiga) cria lojas online e offline separadas. |
| Importação de funcionalidades | Não precisa de importar dados para lojas offline, uma vez que os dados residem no BigQuery e pode usá-los diretamente para necessidades offline. Para exemplos de utilização de fornecimento online, pode registar uma tabela do BigQuery ou uma vista como uma vista de caraterísticas, que copia os dados de caraterísticas para a loja online. O Vertex AI Feature Store atualiza os dados na loja online durante a sincronização de dados. | Tem de importar dados de funcionalidades para lojas offline e online através da importação em lote ou por streaming a partir de uma origem externa, como uma tabela ou uma vista do BigQuery. |
| Movimento de dados entre lojas online e offline | O Vertex AI Feature Store usa o BigQuery como a respetiva loja offline e copia apenas os valores de caraterísticas mais recentes para a loja online. Não existe nenhuma loja offline separada aprovisionada no Vertex AI. | Os valores das funcionalidades são copiados para o armazenamento offline e, posteriormente, para o armazenamento online. |
| Apresentação de funcionalidades | ||
| Publicação offline | Para interagir com a loja offline, tem de usar as APIs BigQuery. As capacidades subjacentes são as mesmas. | Para interagir com a loja offline, que é gerida pelo Vertex AI Feature Store (antigo), tem de usar as APIs Vertex AI. Alguns exemplos destas interações são as pesquisas num determinado momento e as funcionalidades de exportação. |
| Publicação online |
O Vertex AI Feature Store oferece dois tipos de publicação online:
Cada pedido de leitura online obtém todas as caraterísticas predefinidas numa vista de caraterísticas sem processamento adicional, o que resulta em latências mais baixas. |
O Vertex AI Feature Store (antigo) fornece apenas um tipo de serviço online. Pode especificar as entidades e as funcionalidades para obter os dados das funcionalidades. |
| Interfaces e APIs | ||
| Google Cloud funcionalidades da consola | Use a Google Cloud consola para criar e gerir recursos, como instâncias de lojas online, instâncias de visualização de funcionalidades, grupos de funcionalidades e funcionalidades. Também pode ver a lista de lojas online e informações sobre a linhagem de funcionalidades. | Use a Google Cloud consola para realizar a maioria das tarefas de gestão de funcionalidades, incluindo a monitorização da criação de recursos. |
| APIs de criação de recursos | Inclui APIs para criar recursos FeatureOnlineStore, FeatureView, FeatureGroup e Feature. Estes recursos permitem-lhe configurar o registo de funcionalidades e a loja online. Para a loja offline, é usado o BigQuery. |
Inclui APIs para criar recursos Featurestore, EntityType e Feature que são usados nas lojas online e offline. |
| APIs de importação em lote (loja offline) | Não requer APIs para a importação em lote para a loja offline, porque não é necessário um passo de importação em lote separado para a loja offline. | Usa APIs Vertex AI para a importação em lote para a loja offline. |
| APIs de importação em lote (loja online) | Copia periodicamente os dados do BigQuery para a loja online durante a sincronização de dados. | Usa APIs Vertex AI para a importação em lote para a loja online. |
| APIs de importação com streaming (loja offline) | Não requer APIs para a importação de streaming para a loja offline, porque não é necessário um passo de importação de streaming separado para a loja offline. | Usa a Vertex AI para a importação de streaming para a loja offline. |
| APIs de importação com streaming (loja online) | A importação de streaming não é suportada. | Usa APIs Vertex AI para a importação de streaming para a loja online. |
| APIs de publicação em lote | Usa APIs BigQuery para publicar dados em lote diretamente das origens de dados do BigQuery definidas nas vistas de funcionalidades. | Usa APIs Vertex AI para publicar dados de funcionalidades em lote. |
| APIs de publicação online | Usa o FetchFeatureValues(FetchFeatureValuesRequest) API. |
Usa a API ReadFeatureValues(ReadFeatureValuesRequest) para publicação online. |
Migre para o Vertex AI Feature Store
Os recursos do Vertex AI Feature Store (antigo) e os dados de funcionalidades não estão facilmente disponíveis no Vertex AI Feature Store. Se for um utilizador existente do Vertex AI Feature Store (antigo) e quiser migrar o seu projeto para o Vertex AI Feature Store, siga os passos abaixo. Tenha em atenção que, uma vez que a hierarquia de recursos no Vertex AI Feature Store é diferente da hierarquia de recursos no Vertex AI Feature Store (antigo), tem de criar manualmente os recursos depois de migrar os dados de funcionalidades.
Se os dados das funcionalidades ainda não estiverem disponíveis no BigQuery, exporte os dados das funcionalidades para o BigQuery e crie tabelas e vistas do BigQuery. Siga as diretrizes de preparação de dados quando exportar e preparar os dados. Por exemplo:
Cada caraterística corresponde a uma coluna. Os IDs das entidades podem estar numa coluna separada, que pode identificar como a coluna
ID.O Vertex AI Feature Store não tem os recursos
EntityTypeeEntity. Forneça os valores das caraterísticas para cada entidade na linha correspondente ao ID da entidade.
Opcional: registe a origem de dados de atributos adicionando grupos de atributos e atributos. Para mais informações, consulte os artigos Crie um grupo de funcionalidades e Crie uma funcionalidade.
Configure a publicação online criando uma loja online e instâncias de visualização de funcionalidades com base nos dados das funcionalidades.