Apache Spark no Google Cloud
A nova maneira de usar o Spark com mais facilidade, inteligência e rapidez.
Execute cargas de trabalho do Apache Spark no Google Cloud com menos sobrecarga operacional, mais assistência com tecnologia de IA e melhor relação preço-performance. Foque no código, não no cluster.
Vantagens
Uma experiência melhor para o Apache Spark no Google Cloud
Mais fácil: elimine a carga operacional do Spark
Mais fácil: elimine a carga operacional do Spark
Escolha entre o Google Cloud Serverless para Apache Spark, que não exige operações, ou os clusters gerenciados do Dataproc. Ambos automatizam a complexidade da infraestrutura para que você possa acelerar o ciclo de vida de desenvolvimento.
Mais inteligente: desenvolvimento do Spark com assistência de IA
Mais inteligente: desenvolvimento do Spark com assistência de IA
Acelere todo o seu fluxo de trabalho com o Gemini no Dataproc e no Google Cloud Serverless para Apache Spark. Receba assistência com tecnologia do Gemini para gerar e depurar código e solucionar problemas de jobs com falha.
Mais rápido: acelere a performance do Spark
Mais rápido: acelere a performance do Spark
Tenha o melhor custo-benefício do setor, automaticamente. Para os jobs mais exigentes, desbloqueie um desempenho mais de 4,3 vezes mais rápido com o Lightning Engine. Isso reduz o TCO e acelera o tempo de geração de insights.
Principais recursos
Escolha o Spark certo para sua carga de trabalho
Escolha entre o Serverless para Apache Spark para ter simplicidade de operação zero ou o Dataproc para clusters gerenciados com personalizações detalhadas.
Google Cloud Serverless para Apache Spark
Concentre-se apenas no seu código e acelere o desenvolvimento. Com camadas para processamento em lote econômico e IA/ML de alto desempenho, ele é ideal para novos pipelines do Apache Spark, análises interativas e cargas de trabalho com demanda imprevisível em que um modelo "NoOps" é preferível.
Ideal para: cientistas de dados e engenheiros de ML, consultas ad hoc, novos aplicativos e produtividade de desenvolvedores.
Dataproc
Tenha controle máximo sobre o ambiente do cluster. Perfeito para migrar cargas de trabalho do Apache Hadoop/Spark, executar clusters persistentes de longa duração ou usar um ecossistema de código aberto diversificado.
Ideal para: engenharia e operações empresariais, migrações no local, jobs de longa duração e personalização detalhada.
Clientes
Entrega de resultados de negócios comprovados
Serviços relacionados
O mecanismo para seu data lakehouse de nuvem aberto
O Spark no Google Cloud é mais do que um mecanismo de processamento: é um componente essencial de uma base moderna de dados e IA. Unifique todos os seus dados, escolha o melhor mecanismo para o trabalho e mantenha uma governança consistente, tudo sem depender de um único fornecedor.
BigQueryA plataforma de IA para dados empresariais sem servidor e totalmente gerenciada do Google Cloud. Execute e grave jobs do Apache Spark diretamente na interface do BigQuery para análises unificadas.
BigLakeCrie um lakehouse Iceberg aberto, gerenciado e de alto desempenho para permitir análises avançadas e ciência de dados, com gerenciamento de dados automatizado e governança integrada.
Vertex AIA plataforma de IA unificada do Google com ferramentas pré-treinadas e personalizadas é uma interface completa, segura e totalmente gerenciada para tempo de execução e código do Spark.
Catálogo universal do DataplexDescubra, gerencie, monitore e regule dados e artefatos de IA de modo centralizado na sua plataforma de dados, fornecendo acesso a dados confiáveis e possibilitando análises e IA em escala.
Solução
Ciência de dados no Google CloudSolução unificada para todo o ciclo de vida de machine learning e ciência de dados, criada em uma base de dados multimodal que garante governança unificada. Aproveite mecanismos de análise avançados como o SQL do BigQuery e o Spark e crie modelos usando o BigQuery ML ou a Vertex AI.
Solução
Data CloudCom o Data Cloud do Google, você pode usar recursos integrados de IA generativa para ativar seus dados corporativos no BigQuery, AlloyDB para PostgreSQL, Spanner, Cloud SQL e muito mais e use recursos integrados para aplicar IA/ML diretamente aos seus dados.
Documentação
Documentação
Unifique suas análises: SQL e Spark em uma única cópia de dados
Não precisa mais escolher entre a potência do SQL e a flexibilidade do Spark. O BigLake permite usar os dois mecanismos nos mesmos dados governados. É uma experiência unificada que permite usar a melhor ferramenta para cada trabalho.
Acelere todo o seu ciclo de vida de IA e ML
Passe da preparação de dados ao treinamento e inferência de modelos com mais rapidez. Nossos níveis Premium são projetados para IA/ML, permitindo que você use ambientes de execução de ML pré-configurados com suporte a GPU integrado, como o NVIDIA RAPIDS, para eliminar configurações complexas.
O que há de novo
Receba as últimas notícias, blogs e eventos do Spark no Google Cloud
Apache Spark é uma marca registrada da Apache Software Foundation.
** As consultas são derivadas do padrão TPC-DS e do padrão TPC-H e, portanto, não podem ser comparadas aos resultados publicados do padrão TPC-DS e do padrão TPC-H, porque essas execuções não atendem a todos os requisitos da especificação do padrão TPC-DS e do padrão TPC-H.
Vá além
Qual a solução que você procura? Os especialistas do Google Cloud ajudam você a encontrar a melhor solução.
Comece a criar
Teste o tutorial interativoComece a usar o Google Cloud hoje mesmo
Ganhe US$ 300 em créditosConheça os detalhes técnicos
Veja a documentação
