Panoramica di Dataproc Hub

Dataproc Hub ti consente di sfruttare Vertex AI Workbench e Dataproc per eseguire attività di ML e elaborazione dei dati interattive su larga scala utilizzando i blocchi note Jupyter e l'ecosistema Hadoop e Spark.

I notebook di Dataproc Hub sono notebook per un solo utente selezionati dall'amministratore e in esecuzione su un cluster JupyterLab di Dataproc creato ed eseguito nel progetto dell'utente.

  • Dataproc Hub sfrutta JupyterHub per:

    • Garantisci la coerenza in tutta l'organizzazione consentendo agli amministratori di creare un elenco selezionato di modelli di notebook per diversi gruppi di utenti di dati e ML.
    • Accelera la creazione di notebook fornendo agli utenti di dati e ML ambienti preconfigurati in linea con i loro requisiti hardware e software.

  • Dataproc Hub fornisce interfacce separate per amministratori e utenti:

    • Gli amministratori utilizzano la pagina Dataproc→Workbench→Notebook gestiti dall'utente nella console Google Cloud per creare istanze Dataproc Hub. Ogni istanza hub contiene un insieme predefinito di ambienti di notebook definiti dai file di configurazione del cluster YAML.
    • Gli utenti di dati e ML utilizzano l'interfaccia utente di Notebooks → Istanze nella console Google Cloud per selezionare un ambiente di notebook predefinito per generare un server di notebook nel loro cluster Dataproc.
      • Gli utenti senza accesso alla console possono accedere all'istanza Dataproc Hub per generare un cluster Dataproc dal browser web utilizzando un URL dell'istanza Dataproc Hub fornito dall'amministratore.

  • Casi d'uso di Dataproc Hub:

    • Gli utenti di dati e ML sono organizzati in gruppi con requisiti hardware e software comuni (gli utenti possono essere inseriti in più gruppi)
    • Accesso limitato alla console Dataproc: gli utenti non hanno accesso a Dataproc nella console Google Cloud

  • Funzionalità di Dataproc Hub:

    • Ambienti utente predefiniti
    • Isolamento di cluster e notebook: ai membri di un gruppo non viene fornito un accesso facile ai cluster e ai notebook dei membri di altri gruppi

Per ulteriori informazioni