Spark no Google Cloud

O primeiro Spark sem servidor e com escalonamento automático integrado ao melhor das ferramentas nativas e de código aberto do Google. Desenvolva e execute o Spark onde você precisar em todos os casos de uso, incluindo ETL, ciência de dados e exploração.

Teste o Spark sem servidor Teste o Spark sem servidor

Vantagens

Aumente a produtividade dos desenvolvedores e receba insights de dados mais rápidos

Simplicidade operacional por meio do Spark sem servidor

Crie aplicativos e pipelines do Spark que escalonam automaticamente sem qualquer provisionamento ou ajuste de infraestrutura manual.

Spark contínuo para todos os usuários de dados

O Spark é integrado ao BigQuery, Vertex AI e Dataplex, para que você consiga gravar e executá-lo nessas interfaces com dois cliques, sem integrações personalizadas, para ETL, exploração de dados, análise e ML.

Flexibilidade do consumo

Um tamanho não serve a todos. Escolha entre clusters sem servidor do Kubernetes e os clusters do Compute para os aplicativos do Spark.

Principais recursos

Execute jobs do Spark que escalonam automaticamente na interface que você escolher, em dois cliques

Spark sem servidor (disponibilidade geral)

Os desenvolvedores podem aproveitar todo o tempo em código e lógica e usar a interface escolhida para enviar jobs do Spark, que têm provisionamento e escalonamento automáticos. Mais detalhes aqui.

Procedimentos externos do BigQuery para o Apache Spark (visualização particular)

Experiência unificada de SQL e Spark: crie e execute o código Apache Spark escrito em Python diretamente do BigQuery. Depois disso, é possível executar e programar esses procedimentos armazenados no BigQuery com uma consulta SQL padrão do Google, semelhante à execução de procedimentos armazenados SQL. Inscreva-se para acessar a visualização.

Spark por Vertex AI (visualização particular)

Spark para ciência de dados em um clique: os cientistas de dados podem usar o Spark para desenvolvimento no Vertex AI Workbench continuamente, com segurança integrada integrada. O Spark é integrado aos recursos de MLOps da Vertex AI, em que os usuários podem executar códigos do Spark por meio de executores de notebooks integrados aos pipelines do Vertex AI. Inscreva-se para ter visualização prévia.

Spark pelo Dataplex

Execute o escalonamento automático do Spark nos dados do Google Cloud em uma única interface com acesso de um clique ao SparkSQL, Notebooks ou PySpark. Também oferece fácil colaboração, permitindo salvar, compartilhar, pesquisar notebooks e scripts junto com dados e governança integrada em todos os data lakes.

Opções de consumo flexíveis

Além do Spark sem servidor para implantação em ambiente autônomo, os clientes que padronizam o uso do Kubernetes para gerenciamento de infraestrutura podem executar o Spark no Google Kubernetes Engine (GA) para melhorar a utilização de recursos e simplificar o gerenciamento de infraestrutura. Os clientes que buscam gerenciamento de infraestrutura no estilo Hadoop podem executar o Spark no Compute Engine (GA).

Pronto para começar? Fale conosco

Parceiros