Dataflow

Sunucusuz, hızlı ve uygun maliyetli birleşik akış ve toplu veri işleme.

Yeni müşterilere ilk 90 gün boyunca Google Cloud'da kullanabilecekleri 300 ABD doları değerinde ücretsiz kredi sağlanır. Tüm müşteriler BigQuery ve Cloud Storage gibi belirli ürünleri aylık sınırlar dahilinde ücretsiz olarak kullanabilir.

Dataflow'u ücretsiz deneyin
  • action/check_circle_24px Sketch ile oluşturuldu.

    Tümüyle yönetilen veri işleme hizmeti

  • action/check_circle_24px Sketch ile oluşturuldu.

    İşleme kaynaklarını otomatik olarak hazırlama ve yönetme

  • action/check_circle_24px Sketch ile oluşturuldu.

    Kaynak kullanımının en üst düzeye çıkarılması için çalışan kaynaklarını otomatik olarak yatay ölçeklendirme

  • action/check_circle_24px Sketch ile oluşturuldu.

    Apache Beam SDK ile OSS topluluğu odaklı yenilik

  • action/check_circle_24px Sketch ile oluşturuldu.

    Güvenilir ve tutarlı tam olarak bir kez işleme

Avantajlar

Hızlı akış verisi analizi

Dataflow, daha düşük veri gecikmesiyle hızlı ve basitleştirilmiş şekilde akış verisi ardışık düzeni geliştirilebilmesini sağlar.

İşlemleri ve yönetimi basitleştirin

Dataflow'un sunucusuz yaklaşımı, veri mühendisliği iş yüklerindeki ek işlem yükünü ortadan kaldırır. Böylece ekiplerin sunucu kümelerini yönetmek yerine programlamaya zaman ayırabilmesini sağlayabilirsiniz.

Toplam sahip olma maliyetini düşürün

Otomatik kaynak ölçeklendirme ile maliyet açısından optimize edilmiş toplu işleme özelliğinin bir arada sunulması, Dataflow'un sezonluk ve ani artışlar gösteren iş yüklerinizi aşırı harcama yapmadan yönetme konusunda neredeyse sınırsız bir kapasite sunduğu anlamına gelir.

Temel özellikler

Temel özellikler

Otomatik kaynak ölçeklendirme ve dinamik iş dengeleme

Verilere duyarlı otomatik kaynak ölçeklendirmeyle ardışık düzen gecikmesini en aza indirin, kaynak verimliliğini en üst düzeye çıkarın ve veri kaydı başına işleme maliyetini azaltın. Veri girişleri, çalışan kaynak kullanımını eşitlemek ve "kısayol tuşlarının" ardışık düzen performansı üzerindeki etkisini azaltmak için otomatik olarak bölümlendirilip sürekli dengelenir.

Toplu işlem için esnek planlama ve fiyatlandırma

Gece devam etmesi gereken işlerde olduğu gibi iş planlama süresinde esnek bir şekilde işlem yapmak istiyorsanız esnek kaynak planlama (FlexRS) sayesinde toplu işlem için daha düşük bir fiyat sunulur. Bu esnek işler altı saatlik süre içinde yürütmeye alınacakları garantisiyle sıraya sokulur.

Kullanıma hazır gerçek zamanlı AI kalıpları

Dataflow'un kullanıma hazır kalıplar aracılığıyla etkinleştirilen gerçek zamanlı AI yetenekleri, çok büyük etkinlik gruplarına insan zekasına yakın bir zeka ile gerçek zamanlı tepkiler verilmesine olanak tanır. Müşteriler tahmine dayalı analiz ve anormallik algılamadan gerçek zamanlı kişiselleştirme ve diğer gelişmiş analiz kullanım alanlarına kadar uzanan akıllı çözümler derleyebilir.

Tüm özellikleri göster

Yenilikler

Belgeler

Belgeler

Hızlı Başlangıç Kılavuzu
Dataflow hızlı başlangıç kılavuzu: Python kullanımı

Google Cloud projeniz ve Python geliştirme ortamınızı oluşturun, Apache Beam SDK'yı edinin ve Dataflow hizmetinde WordCount örneğini çalıştırıp değiştirin.

Eğitici
Dataflow SQL kullanımı

SQL sorgusu oluşturun ve sorgunuzu Dataflow SQL kullanıcı arayüzünden çalıştıracak bir Dataflow işi dağıtın.

Eğitici
Apache Beam SDK'yı yükleme

Ardışık düzenlerinizi Dataflow hizmetinde çalıştırabilmek için Apache Beam SDK'yı yükleyin.

Eğitici
Apache Beam ve TensorFlow ile makine öğrenimi

Apache Beam, Dataflow ve TensorFlow'u kullanarak moleküler enerji makine öğrenimi modelinde ön işlem, eğitim ve tahmin yapın.

Eğitici
Qwiklab: Verileri Google Cloud Dataflow ile İşleme

Python ve Dataflow'u kullanarak metin tabanlı veri kümelerini gerçek zamanlı işlemeyi ve daha sonra BigQuery'de depolamayı öğrenin.

Google Cloud'un Temel Özellikleri
Dataflow kaynakları

Fiyatlandırma, kaynak kotaları, SSS ve diğer bilgileri öğrenin.

Eğitici
Google Cloud'da neler geliştirebileceğinizi keşfedin

Google Cloud'un Dataflow ile ilgili teknik kaynak kılavuzlarını keşfedin.

Kullanım alanları

Kullanım alanları

Kullanım alanı
Akış analizi

Google Cloud'un akış analizi, verileri oluşturuldukları andan itibaren düzenli, kullanışlı ve erişilebilir hale getirir. Pub/Sub ve BigQuery ile birlikte Dataflow'un üzerine kurulu olan akış çözümümüz, gerçek zamanlı işletme analizleri elde etmek amacıyla hacmi artıp azalan gerçek zamanlı verilerin alınması, işlenmesi ve analiz edilmesi için gereken kaynakları hazırlar. Yapılan bu hazırlık, karmaşıklığı azaltarak akış analizini hem veri analizi uzmanları hem de veri mühendisleri için erişilebilir hâle getirir.

Dataflow akış analizi şeması
Kullanım alanı
Gerçek Zamanlı AI

Dataflow, akış etkinliklerini Google Cloud'un AI Platform ve TensorFlow Extended (TFX) platformlarıyla bir araya getirerek tahmine dayalı analiz, sahtekarlık tespiti, gerçek zamanlı kişiselleştirme ve gelişmiş analiz ile ilgili diğer kullanım alanlarını mümkün kılar. TFX, makine öğrenimi yaşam döngüsünün birçok işlevini çalıştırmak için dağıtılmış veri işleme motoru olarak Dataflow ve Apache Beam'i kullanır. İşlevlerin tümü Kubeflow ardışık düzenleri üzerinden makine öğrenimi için CI/CD ile desteklenir.

Kullanım alanı
Sensör ve günlük verilerini işleme

Akıllı IoT platformuyla global cihaz ağınızdan iş analizleri elde edin.

Tüm özellikler

Tüm özellikler

Streaming Engine Streaming Engine, işlemi durum depolama alanından ayırır ve ardışık düzen yürütmesinin bölümlerini çalışan sanal makinelerden Dataflow hizmeti arka ucuna taşır. Böylece otomatik ölçeklendirme ve veri gecikmesini önemli ölçüde iyileştirir.
Otomatik ölçeklendirme Otomatik ölçeklendirme, Dataflow hizmetinin işinizi çalıştırmak için gereken çalışan örneği sayısını otomatik olarak seçmesini sağlar. Dataflow hizmeti, işinizin özelliklerine uygun olarak çalışma zamanı boyunca daha fazla veya daha az çalışanı dinamik olarak yeniden atayabilir.
Dataflow Shuffle Hizmet tabanlı Dataflow Shuffle, verileri gruplandırmak ve birleştirmek amacıyla kullanılan karıştırma işlemini toplu ardışık düzenlerde çalışan sanal makinelerden Dataflow hizmeti arka ucuna taşır. Toplu ardışık düzenler ince ayar yapılmasını gerektirmeden yüzlerce terabayta kadar sorunsuz bir şekilde ölçeklenir.
Dataflow SQL Dataflow SQL, SQL becerilerinizi kullanarak doğrudan BigQuery web arayüzünden akış Dataflow ardışık düzenleri geliştirmenize olanak tanır. Pub/Sub'daki akış verilerini Cloud Storage'daki dosyalarla veya BigQuery'deki tablolarla birleştirebilir, sonuçları BigQuery'ye yazabilir ve Google E-Tablolar'ı ya da diğer BI araçlarını kullanarak gerçek zamanlı kontrol panelleri oluşturabilirsiniz.
Esnek Kaynak Planlama (FlexRS) Dataflow FlexRS; gelişmiş planlama tekniklerini, Dataflow Shuffle hizmetini ve öncelikli sanal makine (VM) örnekleri ile normal sanal makinelerini bir arada kullanarak toplu işlem maliyetlerini azaltır. 
Dataflow şablonları Dataflow şablonları, ardışık düzenlerinizi ekip üyeleriyle ve kuruluşunuz genelinde kolayca paylaşabilmenizi veya basit ama kullanışlı veri işleme görevlerini uygulamak için Google tarafından sağlanan birçok şablondan yararlanabilmenizi sağlar. Flex Şablonları ile her türlü Dataflow ardışık düzeninden şablon oluşturabilirsiniz.
Notebooks entegrasyonu AI Platform Notebooks ile ardışık düzenleri sıfırdan tekrar tekrar oluşturun ve Dataflow çalıştırıcısıyla dağıtın. Ardışık düzen grafiklerini oku-değerlendir-yazdır-başa dön (REPL) iş akışıyla inceleyerek Apache Beam ardışık düzenlerini adım adım yazın. Google AI Platform üzerinden kullanılabilen Notebooks, kullanımı kolay bir ortamda, en yeni veri bilimi ve makine öğrenimi çerçeveleriyle ardışık düzenler yazmanıza imkan tanır.
Satır içi izleme Dataflow satır içi izleme, toplu ve akış ardışık düzenlerinde sorun gidermenize yardımcı olacak iş metriklerine doğrudan erişmenizi sağlar. İzleme grafiklerine hem adım hem de çalışan düzeyi görünürlüğüyle erişebilirsiniz. Ayrıca eski veriler ya da yüksek sistem gecikmesi gibi koşullar için uyarılar belirleyebilirsiniz.
Müşteri tarafından yönetilen şifreleme anahtarları Müşteri tarafından yönetilen şifreleme anahtarı (CMEK) ile korunan bir toplu ardışık düzen veya akış ardışık düzeni oluşturabilir ya da CMEK ile korunan verilere kaynaklardan ve havuzlardan erişebilirsiniz.
Dataflow VPC Hizmet Kontrolleri Dataflow'un VPC Hizmet Kontrolleri ile entegrasyonu, veri hırsızlığı riskini azaltmanıza yardımcı olarak veri işleme ortamınız için ek güvenlik sağlar.
Özel IP'ler Genel IP'leri devre dışı bırakmak veri işleme altyapınızı daha iyi koruyabilmenizi sağlar. Dataflow çalışanlarınız için genel IP adresleri kullanmayarak Google Cloud proje kotanız kapsamında kullandığınız genel IP adresi sayısını da azaltabilirsiniz.

Fiyatlandırma

Fiyatlandırma

Dataflow işleri, Dataflow'un toplu veya akış tabanlı çalışanlarının kullanımına bağlı olarak saniye başına faturalandırılır. Cloud Storage veya Pub/Sub gibi ek kaynaklar ilgili hizmetin fiyatlandırmasına göre faturalandırılır.

İş ortakları

İş Ortakları

Google Cloud iş ortakları, Dataflow ile entegrasyonlar geliştirerek farklı boyutlardaki güçlü veri işleme görevlerini hızlı ve kolay bir şekilde yapılabilmesini sağlamıştır.