Vista geral do Dataproc Hub

O Dataproc Hub e os blocos de notas geridos pelo utilizador do Vertex AI Workbench foram descontinuados. A 30 de janeiro de 2025, o apoio técnico para blocos de notas geridos pelo utilizador vai terminar e a capacidade de criar instâncias de blocos de notas geridos pelo utilizador vai ser removida. Para soluções de notebook alternativas no Google Cloud, consulte:

• Instale o componente Jupyter no seu cluster do Dataproc.
• Crie uma instância do Vertex AI Workbench com o Dataproc ativado.

O Dataproc Hub permite-lhe tirar partido do Vertex AI Workbench e do Dataproc para executar tarefas de ML interativas e de tratamento de dados em grande escala através de blocos de notas Jupyter e do ecossistema Hadoop e Spark.

Os blocos de notas do Dataproc Hub são blocos de notas de utilizador único, selecionados pelo administrador e executados num cluster do Dataproc JupyterLab criado e executado no projeto do utilizador.

• O Dataproc Hub tira partido do JupyterHub para:

  • Mantenha a consistência em toda a organização permitindo que os administradores criem uma lista organizada de modelos de blocos de notas para diferentes grupos de utilizadores de dados e ML.
  • Acelerar a criação de blocos de notas fornecendo aos utilizadores de dados e ML ambientes pré-configurados que correspondem aos respetivos requisitos de software e hardware.

• O Dataproc Hub oferece interfaces separadas para administradores e utilizadores:

  • Os administradores usam a página Dataproc→Workbench→User-Managed Notebooks na consola para criar instâncias do Dataproc Hub. Google Cloud Cada instância do hub contém um conjunto predefinido de ambientes de blocos de notas definidos por ficheiros de configuração do cluster YAML.
  • Os utilizadores de dados e ML usam a IU Notebooks→Instances na Google Cloud consola para selecionar um ambiente de notebook predefinido para gerar um servidor de notebook no respetivo cluster do Dataproc.
    • Os utilizadores sem acesso à consola podem aceder à instância do Dataproc Hub para gerar um cluster do Dataproc a partir do respetivo navegador de Internet através de um URL da instância do Dataproc Hub fornecido pelo administrador.
      Se a organização não definir nem implementar funções administrativas e de utilizador de blocos de notas separadas, em vez de usar o Dataproc Hub para configurar e gerar um cluster de blocos de notas do Jupyter, os utilizadores podem instalar o componente Jupyter no respetivo cluster.

• Exemplos de utilização do Dataproc Hub:

  • Os utilizadores de dados e ML estão organizados em grupos com requisitos de software e hardware comuns (os utilizadores podem ser colocados em vários grupos)
  • Acesso restrito à consola do Dataproc: os utilizadores não têm acesso ao Dataproc na Google Cloud consola

• Funcionalidades do Dataproc Hub:

  • Ambientes de utilizadores predefinidos
  • Isolamento de clusters e blocos de notas: os membros de um grupo não têm acesso fácil aos clusters e aos blocos de notas de membros noutros grupos

Para obter mais informações

• Administradores: configure o Dataproc Hub
• Utilizadores: use o Dataproc Hub