Dataproc

Apache Spark ve Apache Hadoop çalıştırmanın daha hızlı, kolay ve uygun maliyetli yolu

Ücretsiz Deneyin

Bulutta yerel Apache Hadoop ve Apache Spark

Dataproc, Apache Spark ve Apache Hadoop kümelerini daha basit, uygun maliyetli şekilde çalıştırmak için sunulan hızlı, kullanımı kolay ve tümüyle yönetilen bir bulut hizmetidir. Normalde saatler veya günlerce sürecek işlemler, saniyeler ya da dakikalar içinde tamamlanır. Üstelik, saniye başına faturalandırma ile yalnızca kullandığınız hizmetler için ödeme yaparsınız. Cloud Dataproc ayrıca diğer Google Cloud Platform (GCP) ürünleriyle entegre olarak size veri işleme, analiz ve makine öğrenimi için güçlü, eksiksiz bir veri işleme platformu sunar.

Hızlı ve Ölçeklenebilir Veri İşleme

Dataproc kümelerini hızla oluşturup dilediğiniz zaman yeniden boyutlandırın. Üç düğümden yüzlerce düğüme çıkabilirsiniz. Bu sayede, kümelerinize sığmayan ardışık veri düzenleri hakkında endişelenmenize gerek kalmaz. Altyapıda daha az zaman kaybederek analizlere daha fazla zaman ayırabilirsiniz. Her küme işlemi ortalama 90 saniyeden kısa sürer.

Uygun Fiyatlar

Google Cloud Platform'un fiyatlandırma ilkelerini benimseyen Dataproc düşük maliyetli, kolay anlaşılan, gerçek kullanıma göre belirlenen ve saniye başına ölçülen fiyat yapısına sahiptir. Dataproc kümeleri; düşük maliyetli öncelikli örnekler, taahhütlü kullanım indirimleri ve uzun süreli kullanım indirimleri de sağlayabilir. Böylece daha az maliyetle güçlü kümeler elde edersiniz.

Açık Kaynak Ekosistemi

Dataproc ile Spark ve Hadoop araçlarını, kitaplıklarını, belgelerini kullanabilirsiniz. Dataproc; Spark, Hadoop, Pig ve Hive'ın yerel sürümleri için sık sık güncellemeler sunar. Böylece, yeni araçlar veya API öğrenmenize gerek duymadan işe koyulabilirsiniz. Üstelik, yeniden geliştirme gerekmeksizin mevcut projeleri veya ETL ardışık düzenlerini taşıyabilirsiniz.

Dataproc'un Özellikleri

Dataproc; hızlı, kullanımı kolay ve düşük maliyetli, yönetilen bir Apache Spark ve Apache Hadoop hizmetidir.

Otomatik Küme Yönetimi: Yönetilen dağıtım, günlük kaydı ve izleme, kümeniz yerine verilerinize odaklanabilmenizi sağlar. Dataproc kümeleri kararlı, ölçeklenebilir ve hızlıdır.
Yeniden Boyutlandırılabilen Kümeler: Kümeleri çeşitli sanal makine türleri, disk boyutları, düğüm sayıları ve ağ seçenekleriyle hızla oluşturup ölçeklendirin.
Kümeleri Otomatik Ölçeklendirme: Dataproc Otomatik Ölçeklendirme özelliği, küme kaynak yönetimini otomatikleştirmeyi sağlayan bir mekanizmaya sahiptir. Küme çalışanlarının (düğümlerinin) otomatik olarak eklenmesini ve çıkarılmasını sağlar.
Entegre Bulut: Cloud Storage, BigQuery, Bigtable, Stackdriver Logging, Stackdriver Monitoring ve AI Hub ile yerleşik entegrasyon sayesinde eksiksiz ve sağlam bir veri platformuna sahip olun.
Sürüm Oluşturma: Görüntü sürümü oluşturma sayesinde Apache Spark, Apache Hadoop ve diğer araçların farklı sürümleri arasında geçiş yapabilirsiniz.
Yüksek düzeyde kullanılabilir: Kümelerinizin ve işlerinizin yüksek düzeyde kullanılabilir olmasını sağlamak için kümeleri birden çok ana düğüme sahip yüksek kullanılabilirlik modunda çalıştırın; işleri hata durumunda yeniden başlayacak şekilde ayarlayın.
Kurumsal Güvenlik: Cloud Dataproc kümesi oluşturduğunuzda Kerberos aracılığıyla Güvenlik Yapılandırması ekleyerek Hadoop Güvenli Modu'nu etkinleştirebilirsiniz. GCP ve Dataproc, verilerinizi korumaya yardımcı olan ek güvenlik özellikleri de sunar. Dataproc ile en sık kullanılan GCP'ye özgü bazı güvenlik özellikleri arasında, kullanımda olmayan verilerin varsayılan ayar olarak şifrelenmesi, İşletim Sisteminde Oturum Açma, VPC Hizmet Kontrolleri ve Müşteri Tarafından Yönetilen Şifreleme Anahtarları (CMEK) bulunur
Planlı Küme Silme: Cloud Dataproc'un planlı silme özelliği sayesinde etkin olmayan kümeler için ücret ödemek zorunda kalmayın. Bu özellik, kümelerin belirli bir süre etkin olmaması durumunda, gelecekteki belirli bir tarihte veya belirli bir süre geçtikten sonra silinmesi için farklı seçenekler sunar.

Otomatik veya Manuel Yapılandırma: Dataproc, donanımı ve yazılımı otomatik olarak yapılandırsa da size manuel kontrol imkanı sağlar.
Geliştirici Araçları: Kullanımı kolay web Kullanıcı Arayüzü, Google Cloud SDK, RESTful API'ler ve SSH erişimi gibi kümeyi yönetmenin pek çok yolu mevcuttur.
İlk Kullanıma Hazırlama İşlemleri: Küme oluşturulduğunda ihtiyaç duyduğunuz ayarları ve kitaplıkları yüklemek veya özelleştirmek için ilk kullanıma hazırlama işlemlerini gerçekleştirin.
İsteğe Bağlı Bileşenler: Kümeye ek bileşen yüklemek ve yapılandırmak için isteğe bağlı bileşenleri kullanın. İsteğe bağlı bileşenler, Dataproc bileşenlerine entegre olmalarının yanı sıra Zeppelin, Druid, Presto, Apache Hadoop ve Apache Spark ekosistemiyle ilgili diğer açık kaynak yazılım bileşenleri için tamamen yapılandırılmış ortamlar sunar.
Özel Görüntüler: Dataproc kümelerine, önceden yüklenmiş Linux işletim sistemi paketlerinizi içeren özel görüntü eklenebilir.
Esnek Sanal Makineler: Kümeler, ihtiyaçlarınıza uygun ideal boyuta ulaşmak için özel makine türlerini ve öncelikli sanal makineleri kullanabilir.
Bileşen Ağ Geçidi ve Dizüstü Bilgisayar Erişimi: Dataproc Bileşen Ağ Geçidi, kümede çalışan Dataproc varsayılan ve isteğe bağlı bileşen web arayüzlerine tek tıkla güvenli erişim sağlar.
İş Akışı Şablonları: Dataproc iş akışı şablonları, iş akışlarının yönetimi ve çalıştırılması için esnek ve kolay kullanılabilir bir mekanizma sağlar. Tekrar kullanılabilen bir iş akışı yapılandırması olan İş Akışı Şablonu, işlerin nerede yürütüleceğine dair bilgileri içeren iş grafiğini tanımlar.

Dataproc Fiyatlandırması

Dataproc, kümenizde kullanılan Compute Engine örneklerinde sanal CPU başına düşük bir artımlı ücret alır.¹

Ücretsiz Deneyin

Öne Çıkan Bloglar

Bulutta açık kaynaklı veri işlemeyi daha iyi anlamak için en yeni blogları okuyun

Apache Hadoop ve Spark başarısına giden en kısa yol: Bulutta yerel mimaride iş kapsamlı küme kullanma

Hızlı başlatma süresi, saniye başına faturalandırma ve bulutta yerel mimari, operatörler için dönüştürücü bir etkiye sahiptir.

Cloud Dataproc'u kullanarak uzun süre çalışacak kümeler oluşturmayla ilgili 10 ipucu

Cloud Dataproc ekibinde, özel kullanım alanları için kümeler oluşturan sayısız müşteriyle çalıştık. Ancak geçici iş kapsamlı küme modeli, her Hadoop ve Spark iş yüküne uygun değildir. Cloud Dataproc ekibi olarak her müşterinin kullanım alanına özgü ihtiyaçlarını karşılamayı amaçlıyoruz. Bunun için Cloud Dataproc'u geçici olmayan bir modelde kullanmakla ilgili ipuçlarını ve önerileri paylaşmaktan mutluluk duyuyoruz.

Apache Spark ve Apache Hadoop iş yüklerini Cloud Dataproc'un esnekliği ve öngörülebilirliğiyle çalıştırın

Son zamanlarda piyasada yaşanan değişiklikler, bulutta yerel olarak yönetilen Spark ve hizmetleri kullanmanın avantajlarını öne çıkarıyor. Belirsizliği azaltan ve esneklik sunan Cloud Dataproc gibi hizmetler de bu tür avantajlar sağlıyor.

Google Cloud Dataproc İş Kimlikleri ve Etiketleri sayesinde Apache Spark ve Hadoop ile daha kolay entegrasyon

Kullanıcıların çoğu, kullanıcı tanımlı İş Kimliği özelliğinin ve Cloud Dataproc etiketlerine dayalı tasarım modelinin geliştirme açısından faydalı olabileceğini bilmiyor. Bu blog yayınında, uygulamalarınızın hizmete verimli bir şekilde entegre olması için bu özellikleri kullanmakla ilgili en iyi uygulamaları açıklıyoruz.

HDFS ve Cloud Storage: Avantajlar, dezavantajlar ve taşıma ipuçları

Bir zamanlar HDFS, Hadoop yığınının en temel bileşeniydi. Peki şimdi ne değişti? Apache Hadoop ve Apache Spark'ın yaygınlaşmaya devam etmesi HDFS teknolojisinin sonu mu olacak? Bu blog yayını, bu sorunun yanıtlarını arıyor.

Cloud Dataproc'daki yeni açık kaynak araçlar, verileri bulut ölçeğinde işliyor

Bu yayında, Cloud Next 2019'da duyurulan en yeni Cloud Dataproc özelliklerini hızlıca açıklıyoruz. Bu yayında listelenen tüm özellikler, artık herkesin kullanımına açık ve denemeye hazır.

Presto isteğe bağlı bileşeniyle Cloud Dataproc kümenizin SQL özelliklerini geliştirin

Presto sorgusu; HDFS, Cloud Storage, MySQL, Cassandra ve hatta Kafka gibi birden fazla kaynaktan verileri etkili bir şekilde işleyebilir. Presto, birleşik sorgular gerçekleştirebilen iyi desteklenmiş bir yöntemdir ve farklı sistemleri bağlamayı gerektiren anlık analizler için çok faydalıdır. Bu yayında, herkese açık Chicago taksi verilerini kullandığımız bir örneği inceleyeceğiz.

Üretimde Cloud Dataproc kullanımı için 7 en iyi uygulama

Cloud Dataproc kullanan son derece güvenilir ve istikrarlı üretim süreçleri geliştirmenize yardımcı olacak yedi en iyi uygulamayı bir araya getirdik. Bu uygulamalar, daha iyi analizler ve sonuçlar elde etmek için verileri daha hızlı işlemenizi sağlayacak.

Google Cloud'daki yavaş Hadoop/Spark işleri için yardım: Hadoop ve Spark küme performansınızla ilgili 10 soru

Bulutta Hadoop'u ilk kez kullananların çoğu, zor bir soruyla karşı karşıya kalıyor: Bekleyebileceğim en iyi performans bu mu? Bazen müşteriler, bir kavram kanıtlama çalışması uyguladıktan veya ilk veri kümelerini Cloud Storage'a taşıdıktan sonra Hadoop ve Spark işlerini yürüttüklerinde performansın beklentilerinin çok altında olduğunu fark eder. Ancak çoğu zaman dağıtım performansını hızlı ve verimli bir şekilde iyileştirmek için belirli yöntemler uygulanabilir.

Yeni raporda Cloud Dataproc'un yönetilen Spark ve Hadoop çözümünün mali değeri inceleniyor

ESG, yakın zaman önce bir blog yayını ve Google tarafından talep edilen Economic Value Validation (EVV) raporunu paylaştı. Bu raporda, Cloud Dataproc'un sunduğu değer inceleniyor. ESG'nin kıdemli analisti Mike Leone, şirket içi Hadoop ve Spark ortamı ile aynı altyapının Cloud Dataproc'da barındırılan versiyonunu karşılaştırdı. Leone, Google Cloud Dataproc'un şirket içi ortama göre yüzde 57, Amazon EMR'ye göre yüzde 32 maliyet tasarrufuyla "öne çıktığını" belirtti.

Cloud Dataproc için herkesin kullanımına sunulan gelişmiş güvenlik seçenekleri

Cloud Dataproc'un yeni güvenlik yapılandırmaları hem güvenlik hem de kullanım kolaylığı sağlıyor: Bu yapılandırmalarla hem sınıfının en iyisi, modern güvenlik özelliklerine ve altyapısına erişim sağlayın hem de Hadoop ve Spark ortamları için geliştirdiğiniz, aşina olduğunuz kontrolleri kullanın.

Cloud Dataproc'da SparkR iş türleri

R dili için GCP'yi kullanarak eskiden verilerinizin anlaşılmasını sınırlayan altyapı engellerini ortadan kaldırabilirsiniz. Örneğin, bilgi işlem veya veri boyutu sınırları nedeniyle örnekleme için belirli veri kümelerini seçmek zorunda kalmazsınız. GCP ile normalde yüksek performanslı bilgi işlem altyapılarına yüklü miktarda ön yatırım yapmanızı gerektirecek boyutlardaki veri kümelerini analiz etmek için büyük ölçekli modeller derleyebilirsiniz.

Next '19 etkinliğinden öne çıkanlar

Müşterilerin, kuruluşlarındaki maliyeti azaltmak ve verilere dayalı kararlar almak için Dataproc'dan nasıl yararlandığını izleyin

Cloud Dataproc'un En Yeni Özellikleri

Müşteriler Hadoop'u Google Cloud Platform'a Nasıl Taşıyor?

Dataproc'u Herkesin Kullanımına Sunma

Öğrenin ve derleyin

GCP'de yeni misiniz? 300 ABD doları tutarında krediyle dilediğiniz GCP ürününü ücretsiz kullanmaya başlayın.

Ücretsiz deneyin

Daha fazla yardıma mı ihtiyacınız var?

Uzmanlarımız doğru çözümü oluşturmanıza veya ihtiyaçlarınıza uygun iş ortağını bulmanıza yardımcı olabilir.

Bu sayfada listelenen ürünler alfa, beta veya erken erişim aşamalarındadır. Ürün lansmanı aşamalarımız hakkında daha fazla bilgi için burayı inceleyin.

Cloud AI ürünleri, burada listelenen HDS politikalarıyla uyumludur. Bu ürünlerde, diğer Google Cloud hizmetlerinden farklı gecikme veya kullanılabilirlik garantileri sunulabilir.