Lightning Engine
Acelerar a performance do Apache Spark
Nosso mecanismo vetorializado é uma maneira mais fácil de otimizar o Spark com um mecanismo mais inteligente que oferece um desempenho do Spark 4,3 vezes mais rápido*, reduzindo os custos de computação.
*As consultas são derivadas do padrão TPC-DS e do padrão TPC-H e, portanto, não podem ser comparadas aos resultados publicados do padrão TPC-DS e do padrão TPC-H, porque essas execuções não atendem a todos os requisitos da especificação do padrão TPC-DS e do padrão TPC-H.
Apache Spark é uma marca registrada da Apache Software Foundation.
Recursos
Reduza os tempos de execução dos jobs e diminua os custos
Tenha uma maneira mais rápida de executar o Spark. Acelere suas cargas de trabalho de ETL, ciência de dados e SQL em grande escala mais de 4, 3 vezes mais rápido do que o Apache Spark de código aberto. Essa redução drástica no tempo de execução do job diminui o custo total de propriedade das suas cargas de trabalho do Spark ao reduzir o tempo de computação.
Acelere a performance do Spark
Descubra uma maneira mais fácil de melhorar a performance. Reduza o tempo gasto em otimizar o Spark.
Acesso e armazenamento em cache de dados inteligentes
Aproveite uma arquitetura mais inteligente. O Lightning Engine armazena automaticamente em cache os dados mais usados na memória e utiliza conectores otimizados de alta capacidade de processamento para o Cloud Storage e o BigQuery, melhorando significativamente a latência e a capacidade de processamento de E/S para o processamento de dados do Spark em grande escala.
A tecnologia principal: execução vetorizada
O Lightning Engine usa um mecanismo de execução vetorial nativo em C++ para processar dados em lotes, melhorando drasticamente a eficiência da CPU em relação ao processamento tradicional linha por linha. Esse é um componente essencial do desempenho inovador do Spark.
Disponibilidade
| Disponibilidade | O Lightning Engine é para suas cargas de trabalho do Spark mais exigentes. Você pode acessar esse recurso com os níveis premium do Dataproc e do Apache Spark sem servidor | |
|---|---|---|
| Produto | Disponibilidade | Acesso |
Google Cloud Serverless para Apache Spark – nível Premium | Disponibilidade geral | |
Dataproc no Google Compute Engine | Em pré-lançamento | Em breve |
Disponibilidade
O Lightning Engine é para suas cargas de trabalho do Spark mais exigentes. Você pode acessar esse recurso com os níveis premium do Dataproc e do Apache Spark sem servidor
Como funciona
O Lightning Engine acelera o processamento de dados do Spark com um mecanismo vetorizado nativo em C++, armazenamento em cache inteligente e E/S otimizada. Ele processa dados em lotes para máxima eficiência da CPU, reduzindo os tempos de execução dos jobs e os custos de computação. Esse conjunto de otimizações oferece um desempenho inovador do Spark.
O Lightning Engine acelera o processamento de dados do Spark com um mecanismo vetorizado nativo em C++, armazenamento em cache inteligente e E/S otimizada. Ele processa dados em lotes para máxima eficiência da CPU, reduzindo os tempos de execução dos jobs e os custos de computação. Esse conjunto de otimizações oferece um desempenho inovador do Spark.
Usos comuns
Ideal para seus jobs mais exigentes
ETL em grande escala
Reduza drasticamente o tempo de execução dos seus pipelines de transformação e processamento de dados do Spark mais complexos. Isso significa que você pode atender a SLAs de atualização de dados mais rigorosos, reduzir as janelas de lote noturnas e diminuir significativamente o TCO dos seus pipelines de dados com uso mais intensivo de recursos.
Recursos de aprendizagem
ETL em grande escala
Reduza drasticamente o tempo de execução dos seus pipelines de transformação e processamento de dados do Spark mais complexos. Isso significa que você pode atender a SLAs de atualização de dados mais rigorosos, reduzir as janelas de lote noturnas e diminuir significativamente o TCO dos seus pipelines de dados com uso mais intensivo de recursos.
Preparação de dados de IA/ML
Acelere as etapas de engenharia de atributos e preparação de dados que são essenciais para o ciclo de vida do machine learning. Ao acelerar a parte mais demorada do fluxo de trabalho de ML, seus cientistas de dados podem executar mais experimentos, fazer iterações nos modelos com mais rapidez e colocar aplicativos de IA valiosos em produção mais cedo.
Recursos de aprendizagem
Preparação de dados de IA/ML
Acelere as etapas de engenharia de atributos e preparação de dados que são essenciais para o ciclo de vida do machine learning. Ao acelerar a parte mais demorada do fluxo de trabalho de ML, seus cientistas de dados podem executar mais experimentos, fazer iterações nos modelos com mais rapidez e colocar aplicativos de IA valiosos em produção mais cedo.
Análise interativa
Faça consultas SQL rápidas e interativas diretamente no seu data lake para análise ad hoc e business intelligence. Permita que seus analistas de dados mantenham o raciocínio com tempos de resposta de consulta mais rápidos, o que leva a uma exploração de dados mais rápida e insights mais eficazes.
Recursos de aprendizagem
Análise interativa
Faça consultas SQL rápidas e interativas diretamente no seu data lake para análise ad hoc e business intelligence. Permita que seus analistas de dados mantenham o raciocínio com tempos de resposta de consulta mais rápidos, o que leva a uma exploração de dados mais rápida e insights mais eficazes.
Preços
| Spark acelerado do seu jeito | O Lightning Engine é um recurso dos níveis premium do Dataproc e do Google Cloud Serverless para Apache Spark. |
|---|---|
| Produto | Preços |
Em pré-lançamento, disponível em breve. |
Spark acelerado do seu jeito
O Lightning Engine é um recurso dos níveis premium do Dataproc e do Google Cloud Serverless para Apache Spark.
