Dataproc

Dataproc, bulutta açık kaynak veri ve analiz işlemeyi hızlı, kolay ve daha güvenli hale getirir.

Dataproc'u ücretsiz deneyin
  • action/check_circle_24px Sketch ile oluşturuldu.

    Yalnızca 90 saniyede, özel makinelerde otomatik olarak ölçeklendirilen bir kümeyi kullanmaya başlayın

  • action/check_circle_24px Sketch ile oluşturuldu.

    Tümüyle yönetilen Apache Spark, Apache Hadoop, Presto ve diğer OSS kümelerini derleyin

  • action/check_circle_24px Sketch ile oluşturuldu.

    Yalnızca kullandığınız kaynakların ücretini ödeyerek OSS'nin toplam sahip olma maliyetini düşürün

  • action/check_circle_24px Sketch ile oluşturuldu.

    Kümelerin her birinde dahili şifreleme ve birleşik güvenlik

  • action/check_circle_24px Sketch ile oluşturuldu.

    Amaca özel oluşturulan kümelerle veri bilimi işlemlerini hızlandırın

Özel makinelerde özel OSS kümelerini daha hızlı oluşturun

İster Presto için ek belleğe ister Apache Spark makine öğrenimi için ek GPU'ya ihtiyacınız olsun; Dataproc 90 saniyede amaca özel olarak oluşturulmuş bir küme kullanarak veri ve analiz işleme sürecini hızlandırabilir.

Kolay ve uygun fiyatlı küme yönetimi

Dataproc; otomatik ölçeklendirme, aktif olmayan kümeleri silme, saniye başına fiyatlandırma ve daha fazlasıyla OSS'nin toplam sahip olma maliyetini azaltmaya yardımcı olarak zamanınızı ve kaynaklarınızı başka bir alana yönlendirmenize imkan tanır. 

Varsayılan olarak dahili güvenlik

Şifrelemenin varsayılan olması, hiçbir verinin korumasız kalmamasını sağlar. JobsAPI ve Bileşen Ağ Geçidi sayesinde, ağ iletişimi veya ağ geçidi düğümleri ayarlamaya gerek kalmadan Cloud IAM kümeleri için izinler tanımlayabilirsiniz. 

Temel özellikler

Otomatik küme yönetimi

Yönetilen dağıtım, günlük kaydı ve izleme; kümeniz yerine verilerinize odaklanabilmenizi sağlar. Dataproc kümeleri kararlı, ölçeklenebilir ve hızlıdır.

OSS işlerini container mimarisine alın

OSS işlerinizi (ör. Apache Spark) Dataproc'ta derlediğinizde Kubernetes'i kullanarak kolayca container mimarisine alabilir ve bir GKE kümesinin bulunduğu her yere dağıtabilirsiniz. 

Kurumsal güvenlik

Dataproc kümesi oluşturduğunuzda, Kerberos aracılığıyla Güvenlik Yapılandırması ekleyerek Hadoop Güvenli Modu'nu etkinleştirebilirsiniz. Dataproc ile en sık kullanılan Google Cloud'a özgü bazı güvenlik özellikleri arasında, kullanımda olmayan verilerin varsayılan olarak şifrelenmesi, OS Login, VPC Hizmet Kontrolleri ve Müşteri Tarafından Yönetilen Şifreleme Anahtarları (CMEK) bulunur.

Tüm özellikleri göster

Belgeler

API'ler ve Kitaplıklar
Dataproc'u ilk kullanıma hazırlama işlemleri

Önceden oluşturulmuş ilk kullanıma hazırlama işlemleriyle diğer OSS projelerinizi Dataproc kümelerinize ekleyin.

API'ler ve Kitaplıklar
Açık kaynak bağlayıcılar

Hadoop birlikte çalışabilirlik kitaplıkları ve araçları.

Kullanım alanları

Kullanım alanı
Hadoop ve Spark kümelerinizi buluta taşıyın

İşletmeler, maliyetleri yönetmek ve esnek ölçeğin gücünden yararlanmak için şirket içi mevcut Apache Hadoop ve Spark kümelerini Dataproc'a taşıyor. İşletmeler, Dataproc sayesinde tüm veri veya analiz işleme işlerini desteklemek için otomatik olarak ölçeklenebilen, tümüyle yönetilen, amaca yönelik bir kümeye sahip oluyor. 

Kullanım alanı
Dataproc'ta veri bilimi

Amaca yönelik Dataproc kümesi kullanarak ideal veri bilimi ortamınızı oluşturun. Apache Spark, NVIDIA RAPIDS ve Jupyter not defterleri gibi açık kaynaklı yazılımları Google Cloud AI hizmetleri ve GPU'ları ile entegre ederek makine öğrenimi ve AI gelişiminizi hızlandırın. 

Tüm özellikler

Yeniden boyutlandırılabilen kümeler Kümeleri çeşitli sanal makine türleri, disk boyutları, düğüm sayıları ve ağ seçenekleriyle hızla oluşturup ölçeklendirin.
Kümeleri otomatik ölçeklendirme Dataproc'un otomatik ölçeklendirme özelliği, küme kaynak yönetimini otomatikleştirmek için bir mekanizma sunar. Küme çalışanlarının (düğümlerinin) otomatik olarak eklenmesini ve çıkarılmasını sağlar.
Entegre bulut Cloud Storage, BigQuery, Cloud Bigtable, Cloud Logging, Cloud Monitoring ve AI Hub ile yerleşik entegrasyon sayesinde eksiksiz ve sağlam bir veri platformuna sahip olun.
Sürüm Oluşturma Görüntü sürümü oluşturma sayesinde Apache Spark, Apache Hadoop ve diğer araçların farklı sürümleri arasında geçiş yapabilirsiniz.
Yüksek düzeyde kullanılabilir Kümelerinizin ve işlerinizin yüksek düzeyde kullanılabilir olmasını sağlamak için kümeleri birden çok ana düğüme sahip yüksek kullanılabilirlik modunda çalıştırın ve işleri hata durumunda yeniden başlayacak şekilde ayarlayın.
Planlı küme silme Dataproc'un planlı silme özelliği sayesinde etkin olmayan kümeler için ücret ödemek zorunda kalmayın. Bu özellik , bir kümenin belirli bir süre etkin olmadığında, gelecekteki belirli bir tarihte veya belirli bir süre geçtikten sonra silinmesi için farklı seçenekler sunar.
Otomatik veya manuel yapılandırma Dataproc, donanımı ve yazılımı otomatik olarak yapılandırsa da size manuel kontrol imkanı sağlar.
Geliştirici araçları Kullanımı kolay web kullanıcı arayüzü, Google Cloud SDK, RESTful API'ler ve SSH erişimi gibi pek çok küme yönetme yolu mevcuttur.
İlk kullanıma hazırlama işlemleri Küme oluşturulduğunda ihtiyaç duyduğunuz ayarları ve kitaplıkları yüklemek veya özelleştirmek için ilk kullanıma hazırlama işlemlerini gerçekleştirin.
İsteğe bağlı bileşenler Ek bileşenleri kümeye yüklemek ve yapılandırmak için isteğe bağlı bileşenleri kullanın. İsteğe bağlı bileşenler, Dataproc bileşenlerine entegredir. Zeppelin, Druid ve Presto'nun yanı sıra Apache Hadoop ve Apache Spark ekosistemiyle ilgili diğer açık kaynak yazılım bileşenleri için de tamamen yapılandırılmış ortamlar sunar.
Özel görüntüler Dataproc kümeleri, önceden yüklenmiş Linux işletim sistemi paketlerinizi içeren bir özel görüntü ile sağlanabilir.
Esnek sanal makineler Kümeler, ihtiyaçlarınıza uygun ideal boyuta ulaşmak için özel makine türlerini ve öncelikli sanal makineleri kullanabilir.
Bileşen Ağ Geçidi ve not defteri erişimi Dataproc Bileşen Ağ Geçidi, kümede çalışan Dataproc'un varsayılan ve isteğe bağlı bileşen web arayüzlerine tek tıkla güvenli erişim sağlar.
İş akışı şablonları Dataproc iş akışı şablonları, iş akışlarının yönetimi ve çalıştırılması için esnek ve kullanımı kolay bir mekanizma sağlar. Tekrar kullanılabilen bir iş akışı yapılandırması olan iş akışı şablonu, işlerin nerede çalıştırılacağına dair bilgileri içeren iş grafiğini tanımlar.

Fiyatlandırma

Dataproc fiyatlandırması, vCPU'ların sayısına ve çalıştırıldıkları süreye göre belirlenir. Fiyatlandırma saatlik olarak gösterilse de kullanımları saniye başına faturalandırırız. Böylece yalnızca kullandığınız kadar ödersiniz. Ayrıntılar için lütfen fiyatlandırma sayfasına göz atın.

İş ortakları

Dataproc, mevcut yatırımlarınızı ve yeteneklerinizi tamamlamak için önemli iş ortaklarıyla entegre olur.