Cloud Dataproc
Apache Spark ve Apache Hadoop çalıştırmanın daha hızlı, kolay ve uygun maliyetli yolu
Ücretsiz DeneyinBulutta yerel Apache Hadoop ve Apache Spark
Cloud Dataproc, Apache Spark ve Apache Hadoop kümelerini daha basit ve uygun maliyetli bir şekilde çalıştırmak için hızlı, kullanımı kolay ve tümüyle yönetilen bir bulut hizmetidir. Normalde saatlerce veya günlerce sürecek uygulamalar saniyeler veya dakikalar içinde tamamlanır. Üstelik saniye başına faturalandırma ile yalnızca kullandığınız hizmetler için ödeme yaparsınız. Cloud Dataproc ayrıca diğer Google Cloud Platform (GCP) ürünleriyle entegre olarak size veri işleme, analiz ve makine öğrenimi için güçlü, eksiksiz bir veri işleme platformu sunar.
Hızlı ve Ölçeklenebilir Veri İşleme
Cloud Dataproc kümelerini hızla oluşturun ve istediğiniz zaman yeniden boyutlandırın. Üç düğümden yüzlerce düğüme çıkabilirsiniz. Bu sayede kümelerinize sığmayan ardışık veri düzenleri hakkında endişelenmenize gerek kalmaz. Kümelerdeki her bir işlem ortalama olarak 90 saniyeden kısa sürer. Böylece analizlere daha çok odaklanabilir ve altyapıyı oluşturmaya daha az zaman harcayabilirsiniz.
Uygun Fiyatlar
Google Cloud Platform'un fiyatlandırma ilkelerini benimseyen Cloud Dataproc'un düşük maliyetli, kolay anlaşılan, gerçek kullanıma göre belirlenen ve saniye başına ölçülen bir fiyat yapısı vardır. Ayrıca Cloud Dataproc kümeleri, daha az maliyetle güçlü kümeler elde etmenizi sağlayarak maliyeti daha düşük olan öncelikli örnekler sunabilir.
Açık Kaynak Ekosistemi
Spark ve Hadoop ekosistemi, Cloud Dataproc ile faydalanabileceğiniz araç, kitaplık ve belgeleri sunar. Spark, Hadoop, Pig ve Hive'ın sık aralıklarla güncellenen ve yerel sürümlerini sunarak yeni araçlar veya API öğrenmeye gerek duymadan işe koyulabilirsiniz. Üstelik yeniden geliştirme gerekmeksizin mevcut projeleri veya ETL ardışık düzenlerini taşıyabilirsiniz.
Cloud Dataproc'un Özellikleri
Google Cloud Dataproc; hızlı, kullanımı kolay ve düşük maliyetli, yönetilen bir Apache Spark ve Apache Hadoop hizmetidir.
- Otomatik Küme Yönetimi
- Yönetilen dağıtım, günlük kaydı ve izleme, kümeniz yerine verilerinize odaklanabilmenizi sağlar. Kümeleriniz istikrarlı, ölçeklenebilir ve hızlı olur.
- Yeniden Boyutlandırılabilen Kümeler
- Kümeler; hızla oluşturulup çeşitli sanal makine türleri, disk boyutları, düğüm sayısı ve ağ seçenekleriyle ölçeklendirilebilir.
- Entegre
- Cloud Storage, BigQuery, Bigtable, Stackdriver Logging ve Stackdriver Monitoring ile dahili entegrasyon sayesinde eksiksiz ve sağlam bir veri platformuna sahip olursunuz.
- Sürüm Oluşturma
- Görüntü sürümü oluşturma sayesinde Apache Spark, Apache Hadoop ve diğer araçların farklı sürümleri arasında geçiş yapabilirsiniz.
- Yüksek düzeyde kullanılabilir
- Kümelerinizin ve işlerinizin yüksek düzeyde kullanılabilir olmasını sağlamak için birden çok ana düğüme sahip kümeler çalıştırın ve işleri hata durumunda yeniden başlayacak şekilde ayarlayın.
- Geliştirici Araçları
- Kullanımı kolay Web Kullanıcı Arayüzü, Google Cloud SDK'sı, RESTful API'leri ve SSH erişimi de dahil olmak üzere, kümeyi yönetmenin pek çok yolu mevcuttur.
- İlk Kullanıma Hazırlama İşlemleri
- Küme oluşturulduğunda ihtiyaç duyduğunuz ayarları ve kitaplıkları yüklemek veya özelleştirmek için ilk kullanıma hazırlama işlemlerini gerçekleştirin.
- Otomatik veya Manuel Yapılandırma
- Cloud Dataproc, sizin için donanım ve yazılımı otomatik olarak kümeler üzerinde yapılandırırken manuel kontrole de izin verir.
- Esnek Sanal Makineler
- Kümeler, özel makine türlerini ve öncelikli sanal makineleri kullanabilir. Böylece ihtiyaçlarınız için ideal boyut sunulur.
Cloud Dataflow ile Cloud Dataproc Karşılaştırması: Hangi hizmeti kullanmalısınız?
Cloud Dataproc
Cloud Dataproc, Apache büyük veri ekosisteminin belirli bileşenlerine bağlı ortamlar için idealdir.
- check Araçlar/paketler
- check Ardışık düzenler
- check Mevcut kaynakların özellik kümeleri
Cloud Dataflow
Gelişmemiş ortamlarda genellikle Cloud Dataflow seçeneği tercih edilir.
- check Daha az ek işlem yükü
- check Toplu işlem veya akış ardışık düzenlerini geliştirmek için birleşik yaklaşım
- check Apache Beam kullanımı
- check Çalışma zamanı olarak Cloud Dataflow, Apache Spark ve Apache Flink genelinde ardışık düzen taşınabilirliği için destek
Önerilen İş Yükleri
| İŞ YÜKLERİ | CLOUD DATAPROC | CLOUD DATAFLOW |
|---|---|---|
| Akış işleme (ETL) | check | |
| Toplu işlem (ETL) | check | check |
| Yinelemeli işleme ve not defterleri | check | |
| Spark ML ile makine öğrenimi | check | |
| Makine öğrenimi için ön işleme | check (Cloud ML Engine ile) |
Cloud Dataproc Fiyatlandırması
Cloud Dataproc, kümenizde kullanılan Compute Engine örneklerinde sanal CPU başına cüzi bir artımlı ücret alır.1
| Makine Türü | Fiyat |
|---|---|
|
Standart Makineler 1-64 Sanal CPU |
|
|
Yüksek Bellekli Makineler 2-64 Sanal CPU |
|
|
Yüksek CPU'lu Makineler 2-64 Sanal CPU |
|
|
Özel Makineler vCPU ve bellek kullanımına göre |
1 Google Cloud Dataproc, küme işlenirken kümenizde kullanılan Compute Engine örneklerinde sanal CPU başına cüzi bir artımlı ücret alır. Compute Engine ağı, BigQuery, Cloud Bigtable ve diğerleri gibi Cloud Dataproc tarafından kullanılan ek kaynaklar, kullanıma göre faturalandırılır. Ayrıntılı fiyat bilgisi için lütfen fiyatlandırma kılavuzunu inceleyin.