Panoramica di Dataproc Hub

Dataproc Hub ti consente di sfruttare Vertex AI Workbench e Dataproc per eseguire attività interattive di ML ed elaborazione dei dati su larga scala utilizzando i blocchi note Jupyter e l'ecosistema Hadoop e Spark.

I notebook Dataproc Hub sono notebook per un singolo utente curati dall'amministratore ed eseguiti su un cluster Dataproc JupyterLab creato ed eseguito nel progetto dell'utente.

  • Dataproc Hub utilizza JupyterHub per:

    • Garantisci la coerenza in tutta l'organizzazione consentendo agli amministratori di creare un elenco selezionato di modelli di blocco note per diversi gruppi di utenti di dati e ML.
    • Accelera la creazione di notebook fornendo agli utenti di dati e ML ambienti preconfigurati che corrispondono ai loro requisiti software e hardware.
  • Dataproc Hub fornisce interfacce separate per amministratori e utenti:

    • Gli amministratori utilizzano la pagina Dataproc→Workbench→Notebook gestiti dall'utente nella console Google Cloud per creare istanze di Dataproc Hub. Ogni istanza hub contiene un insieme predefinito di ambienti notebook definiti da file di configurazione del cluster YAML.
    • Gli utenti di dati e ML utilizzano l'interfaccia utente Notebooks→Istanze nella consoleGoogle Cloud per selezionare un ambiente notebook predefinito per generare un server notebook sul proprio cluster Dataproc.
      • Gli utenti senza accesso alla console possono accedere all'istanza Dataproc Hub per generare un cluster Dataproc dal browser web utilizzando un URL dell'istanza Dataproc Hub fornito dall'amministratore.
  • Casi d'uso di Dataproc Hub:

    • Gli utenti di dati e ML sono organizzati in gruppi con requisiti software e hardware comuni (gli utenti possono essere inseriti in più gruppi)
    • Accesso limitato alla console Dataproc: gli utenti non hanno accesso a Dataproc nella console Google Cloud
  • Funzionalità di Dataproc Hub:

    • Ambienti utente predefiniti
    • Isolamento di cluster e blocchi note: i membri di un gruppo non hanno facile accesso ai cluster e ai blocchi note dei membri di altri gruppi

Per ulteriori informazioni