Spark no Google Cloud

O Spark sem servidor do Google Cloud acelera a ciência de dados automatizando a infraestrutura. Concentre-se no código, não no gerenciamento de clusters. O escalonamento automático e a integração perfeita com o BigQuery e a Vertex AI simplificam os fluxos de trabalho, permitindo iterações e desenvolvimento de modelos mais rápidos. Confira as bibliotecas mais recentes do Spark sem servidor para permitir mais casos de uso com menos configuração do usuário. Confira os últimos exemplos de código para cientistas de dados, incluindo a criação de um pipeline para prever a desistência de clientes usando o Apache Spark, o XGBoost e a biblioteca Hugging Face Transformers.

Spark para ciência de dados em um clique: os cientistas de dados podem usar o Spark para desenvolvimento no Vertex AI Workbench continuamente, com segurança integrada integrada. O Spark é integrado aos recursos de MLOps da Vertex AI, em que os usuários podem executar códigos do Spark por meio de executores de notebooks integrados aos pipelines do Vertex AI.

Experiência unificada de SQL e Spark: crie e execute o código Apache Spark escrito em Python diretamente do BigQuery. Depois disso, é possível executar e programar esses procedimentos armazenados no BigQuery com uma consulta SQL padrão do Google, semelhante à execução de procedimentos armazenados SQL.

Os desenvolvedores podem aproveitar todo o tempo em código e lógica e usar a interface escolhida para enviar jobs do Spark, que têm provisionamento e escalonamento automáticos. Leia a documentação do Spark sem servidor.

Execute o escalonamento automático do Spark nos dados do Google Cloud em uma única interface com acesso de um clique ao SparkSQL, Notebooks ou PySpark. Também oferece fácil colaboração, permitindo salvar, compartilhar, pesquisar notebooks e scripts junto com dados e governança integrada em todos os data lakes.