Google Cloud Platform'da veri gölü oluşturma

Uygun fiyatlı ve çevik bir yaklaşımla, çok yüksek miktardaki veriyi depolayın, işleyin ve analiz edin.

Cloud Veri Gölüne Genel Bakış

Tüm verileri yakalamak ve kullanmak için oluşturulmuş bir yer

Verilerinizi Google Cloud Platform'a ham halde, yani yapılandırılmış veya yapılandırılmamış olarak getirin ve yüksek maliyetli şirket içi depolama modellerinden kurtulmak için bilgi işlem kaynaklarından ayrı olarak depolayın. Veri işleme ve yeni veri türlerini işlemek için devamlı şema hazırlamaya çalışma dertlerinden kurtulun. Şirketinizde etkili kullanım alanları oluşturabilmek için Google Cloud Platform'un son teknoloji işleme, analiz ve makine öğrenimi hizmetlerinden yararlanın. Google'ın kimlikleriniz, uygulamalarınız ve cihazlarınızı korumak için kullandığıyla aynı, yapısı gereği güvenli altyapısından yararlanın.

Kullanımdan analize

GCP Veri Gölünde Veriler

GCP veri gölünüze veri alma

Google Cloud Platform, toplu işlemden veri akışına kadar tüm işlemlerde verilerinizi bulunduğu yerden buluta taşımayı kolaylaştırır. Verileri ağınızın içindeki bir yerden başka bir yere taşıyor, çevrimdışı transfer cihazı kullanıyor veya gerçek zamanlı akışları yakalıyor olabilirsiniz. GCP'nin ürün ve hizmetleri, ihtiyaçlarınızı hiçbir karmaşaya yer vermeden karşılayacak şekilde ölçeklenir.

Verileri Petabyt Ölçeğinde Depolama

Verileri petabayt ölçeğinde depolama

Yüksek tutarlılık oranı, sağlam tasarımı (%99,999999999 başarı için tasarlanmıştır) ve aktif olmayan verileri depolayabilme özelliğinden (geleneksel şirket içi modeller gibi işlem kaynaklarına bağlı değildir) yararlanmak için merkezi hizmet olarak Cloud Storage'ı tercih edin. Üstelik Google Cloud Storage'ın birden fazla depolama sınıfı sayesinde maliyet ve kullanılabilirliği optimize ederek petabayt ölçeğinde düşük maliyetli veri gölleri oluşturabilirsiniz. Daha da önemlisi, Google Cloud Storage'da depolanan verilere pek çok farklı Google Cloud Platform ürünü üzerinden erişilebilir. Bu da GCP'yi her türde kullanıcının tüm veri çeşitlerini depolayabileceği ideal merkez haline getirir.

Verileri İşleme

Verileri dilediğiniz şekilde işleyebilme

Cloud Storage'daki veri gölünüzle verileri şirketinize uygun şekilde işleyebilirsiniz. Verileri ihtiyaç olduğu anda kullanmaya başlamak ve yalnızca işlerin çalışması gerektiği anlarda ödeme yapmak için GCP'nin tamamen yönetilen Hadoop ve Spark hizmeti Cloud Dataproc'u kullanın. Ayrıca temel hazırlık süresini ve yönetim sırasındaki karmaşayı ortadan kaldıran sunucusuz bir veri işleme deneyiminde, hem akış hem de toplu işlemlerle çalışmak için GCP'nin tümüyle yönetilen Apache Beam hizmeti Cloud Dataflow'u da keşfedin.

Sunucusuz Veri Ambarı

Veri gölünüze ek olarak, analiz için kullanabileceğiniz sunucusuz veri ambarı

Veri gölünüzdeki yapılandırılmış veriler üzerinde analiz yapmak için GCP'nin petabayt ölçeğinde sunucusuz veri ambarı BigQuery'yi kullanın. Kurumsal raporlama ve iş zekası ihtiyaçlarınız için çok büyük hacimli verilerde son derece hızlı sorgu hızından yararlanın. Aşina olduğunuz SQL'i kullanarak erişilebilen dahili makine öğrenimi özelliklerinden yararlanın ve şirketinizde veri odaklı bir kültürün gelişmesini sağlayın.

ML kullanarak Gelişmiş Analizler

Makine öğrenimini kullanarak gelişmiş analizler

Veri bilimi deneyleri yapmak ve Cloud Storage'da depolanan veri öğelerine dayalı makine öğrenimi modelleri oluşturmak için GCP'deki veri gölünüzden yararlanın. Görüntü ve video öğelerinden analiz elde etmekten Cloud Machine Learning Engine ile kendi özel ML modellerinizi özelleştirmek, dağıtmak ve ölçeklendirmeye kadar tüm işlemler için Google'ın son teknoloji Cloud AI ürünleriyle yerel entegrasyondan yararlanın.

Şirket içi Hadoop veri gölü iş yüklerini GCP ürünlerinde eşleştirme

Building a cloud data lake on GCPYESNOIm processingstreaming dataWe useApache BeamWe useApache Spark or KafkaCloud DataflowCloud DataprocCloud DataprocIm doinginteractive dataanalysis orad-hoc queryingWe use Apache Sparkwith interactive webnotebooksAre you interested in keepingthese SQL queries as they are?Cloud Dataproc in combinationwith Jupyter or Zeppelinoptional componentsCloud DataprocNo, Im interested inlearning more abouta serverless solution.YESNONo, Im interested inlearning more abouta managed solution.BigQueryWe use SQL with Apache Hive,Apache Drill, Impala,Presto or similarCloud DataprocCloud DataprocIm doing ELT/ETLor batch processingWe use MapReduce,Spark, Pig, or HiveWe use Oozie forworkflow orchestrationCloud ComposerAre you interested inkeeping these workflowjobs as they are?Im supportingNoSQL workloadsWe useApache AccumuloCloud DataprocYESNONeed to use coprocessorsor SQL with Apache Phoenix?Cloud DataprocCloud BigtableWe useApache HBaseIm running anApache Hadoopclusteron-premises

Kaynaklar

Google Cloud Platform'daki veri gölü mimarileri

Veri göllerini ayrıntılı olarak araştırma ve doldurma (Cloud Next '18)

Cloud Dataproc'u kullanarak uzun süre çalışacak kümeler oluşturmaya yönelik 10 ipucu

Pazarlama veri ambarı oluşturma

Şirket içi Hadoop altyapısını Google Cloud Platform'a taşıma