Spark no Google Cloud
O primeiro Spark sem servidor e com escalonamento automático integrado ao melhor das ferramentas nativas e de código aberto do Google. Desenvolva e execute o Spark onde você precisar em todos os casos de uso, incluindo ETL, ciência de dados e exploração.
Vantagens
Aumente a produtividade dos desenvolvedores e receba insights de dados mais rápidos
Simplicidade operacional por meio do Spark sem servidor
Crie aplicativos e pipelines do Spark que escalonam automaticamente sem qualquer provisionamento ou ajuste de infraestrutura manual.
Flexibilidade do consumo
Um tamanho não serve a todos. Escolha entre clusters sem servidor do Kubernetes e os clusters do Compute para os aplicativos do Spark.
Principais recursos
Execute jobs do Spark que escalonam automaticamente na interface que você escolher, em dois cliques
Spark sem servidor (disponibilidade geral)
Os desenvolvedores podem aproveitar todo o tempo em código e lógica e usar a interface escolhida para enviar jobs do Spark, que têm provisionamento e escalonamento automáticos. Mais detalhes aqui.
Procedimentos externos do BigQuery para o Apache Spark (visualização particular)
Experiência unificada de SQL e Spark: crie e execute o código Apache Spark escrito em Python diretamente do BigQuery. Depois disso, é possível executar e programar esses procedimentos armazenados no BigQuery com uma consulta SQL padrão do Google, semelhante à execução de procedimentos armazenados SQL. Inscreva-se para acessar a visualização.
Spark por Vertex AI (visualização particular)
Spark para ciência de dados em um clique: os cientistas de dados podem usar o Spark para desenvolvimento no Vertex AI Workbench continuamente, com segurança integrada integrada. O Spark é integrado aos recursos de MLOps da Vertex AI, em que os usuários podem executar códigos do Spark por meio de executores de notebooks integrados aos pipelines do Vertex AI. Inscreva-se para ter visualização prévia.
Spark pelo Dataplex
Execute o escalonamento automático do Spark nos dados do Google Cloud em uma única interface com acesso de um clique ao SparkSQL, Notebooks ou PySpark. Também oferece fácil colaboração, permitindo salvar, compartilhar, pesquisar notebooks e scripts junto com dados e governança integrada em todos os data lakes.
Opções de consumo flexíveis
Além do Spark sem servidor para implantação em ambiente autônomo, os clientes que padronizam o uso do Kubernetes para gerenciamento de infraestrutura podem executar o Spark no Google Kubernetes Engine (GA) para melhorar a utilização de recursos e simplificar o gerenciamento de infraestrutura. Os clientes que buscam gerenciamento de infraestrutura no estilo Hadoop podem executar o Spark no Compute Engine (GA).
Serviços relacionados
O Spark foi difundido nos serviços do Google Cloud
Novidades
Últimas notícias, postagens em blogs e eventos do Spark no Google Cloud
Informe seu interesse neste link para solicitar acesso antecipado às novas soluções do Spark no Google Cloud.
Spark é uma marca registrada da Apache Software Foundation.