Suporte nativo do BigQuery para Apache Spark e SQL. Saiba mais.

Spark no Google Cloud

O primeiro Spark sem servidor e com escalonamento automático integrado ao melhor das ferramentas nativas e de código aberto do Google. Desenvolva e execute o Spark onde você precisar em todos os casos de uso, incluindo ETL, ciência de dados e exploração.

Teste o Spark sem servidor

Vantagens

Aumente a produtividade dos desenvolvedores e receba insights de dados mais rápidos

Simplicidade operacional por meio do Spark sem servidor

Crie aplicativos e pipelines do Spark que escalonam automaticamente sem qualquer provisionamento ou ajuste de infraestrutura manual.

Spark contínuo para todos os usuários de dados

O Spark é integrado ao BigQuery, à Vertex AI e ao Dataplex para que você consiga gravar e executá-lo nessas interfaces com dois cliques, sem integrações personalizadas e usá-lo para ETL, exploração de dados, análise e ML.

Flexibilidade do consumo

Um tamanho não serve para todos. Escolha entre clusters sem servidor do Kubernetes e os clusters do Compute para os aplicativos do Spark.

Principais recursos

Execute jobs do Spark que escalonam automaticamente na interface que você escolher, em dois cliques

Procedimentos externos do BigQuery para o Apache Spark

Experiência unificada de SQL e Spark: crie e execute o código Apache Spark escrito em Python diretamente do BigQuery. Depois disso, é possível executar e programar esses procedimentos armazenados no BigQuery com uma consulta SQL padrão do Google, semelhante à execução de procedimentos armazenados SQL.

Spark sem servidor

Os desenvolvedores podem aproveitar todo o tempo em código e lógica e usar a interface escolhida para enviar jobs do Spark, que têm provisionamento e escalonamento automáticos. Leia a documentação do Spark sem servidor.

Spark usando a Vertex AI

Spark para ciência de dados em um clique: os cientistas de dados podem usar o Spark para desenvolvimento no Vertex AI Workbench continuamente, com segurança integrada integrada. O Spark é integrado aos recursos de MLOps da Vertex AI, em que os usuários podem executar códigos do Spark por meio de executores de notebooks integrados aos pipelines do Vertex AI.

Spark pelo Dataplex

Execute o escalonamento automático do Spark nos dados do Google Cloud em uma única interface com acesso de um clique ao SparkSQL, Notebooks ou PySpark. Também oferece fácil colaboração, permitindo salvar, compartilhar, pesquisar notebooks e scripts junto com dados e governança integrada em todos os data lakes.

Opções de consumo flexíveis

Além do Spark sem servidor para implantação em ambiente autônomo, os clientes que padronizam o uso do Kubernetes para gerenciamento de infraestrutura podem executar o Spark no Google Kubernetes Engine (GA) para melhorar a utilização de recursos e simplificar o gerenciamento de infraestrutura. Os clientes que buscam gerenciamento de infraestrutura no estilo Hadoop podem executar o Spark no Compute Engine (GA).

Tudo pronto para começar? Fale conosco

Parceiros