Panoramica di Dataproc Hub

Dataproc Hub consente di sfruttare Vertex AI Workbench e Dataproc per eseguire attività interattive di ML ed elaborazione di dati su larga scala utilizzando i blocchi note Jupyter e l'ecosistema Hadoop e Spark.

I blocchi note di Dataproc Hub sono blocchi note per utenti singoli selezionati dall'amministratore e in esecuzione su un cluster Dataproc JupyterLab creato ed in esecuzione nel progetto dell'utente.

  • Dataproc Hub utilizza JupyterHub per:

    • Assicura la coerenza in tutta l'organizzazione consentendo agli amministratori di creare un elenco selezionato di modelli di blocco note per diversi gruppi di dati e utenti di ML.
    • Accelera la creazione di blocchi note fornendo agli utenti di dati e ML ambienti preconfigurati che soddisfano i loro requisiti software e hardware.

  • Dataproc Hub fornisce interfacce separate per amministratori e utenti:

    • Gli amministratori utilizzano la pagina Dataproc→Workbench→Blocchi note gestiti dall'utente nella console Google Cloud per creare istanze di Dataproc Hub. Ogni istanza dell'hub contiene un set predefinito di ambienti blocco note definiti dai file di configurazione del cluster YAML.
    • Gli utenti di dati e ML utilizzano l'interfaccia utente di Notebooks→Instances nella console Google Cloud per selezionare un ambiente di blocco note predefinito e creare un server di blocchi note sul proprio cluster Dataproc.
      • Gli utenti senza accesso alla console possono accedere all'istanza Dataproc Hub per generare un cluster Dataproc dal browser web utilizzando l'URL dell'istanza Dataproc Hub fornito dall'amministratore.

  • Casi d'uso di Dataproc Hub:

    • Gli utenti di dati e ML sono organizzati in gruppi con requisiti software e hardware comuni (gli utenti possono essere inseriti in più gruppi)
    • Accesso alla console Dataproc limitato: gli utenti non possono accedere a Dataproc nella console Google Cloud

  • Funzionalità di Dataproc Hub:

    • Ambienti utente predefiniti
    • Isolamento di cluster e blocchi note: ai membri di un gruppo non è concesso di accedere facilmente ai cluster e ai blocchi note dei membri di altri gruppi

Per maggiori informazioni