Dataflow
Sunucusuz, hızlı ve uygun maliyetli birleşik akış ve toplu veri işleme.
Dataflow'u ücretsiz deneyin-
Tümüyle yönetilen veri işleme hizmeti
-
İşleme kaynaklarını otomatik olarak hazırlama ve yönetme
-
Kaynak kullanımının en üst düzeye çıkarılması için çalışan kaynaklarını otomatik olarak yatay ölçeklendirme
-
Apache Beam SDK ile OSS topluluğu odaklı yenilik
-
Güvenilir ve tutarlı tam olarak bir kez işleme
Avantajlar
Hızlı akış verisi analizi
Dataflow, daha düşük veri gecikmesiyle hızlı ve basitleştirilmiş şekilde akış verisi ardışık düzeni geliştirilebilmesini sağlar.
İşlemleri ve yönetimi basitleştirin
Dataflow'un sunucusuz yaklaşımı, veri mühendisliği iş yüklerindeki ek işlem yükünü ortadan kaldırır. Böylece ekiplerin sunucu kümelerini yönetmek yerine programlamaya zaman ayırabilmesini sağlayabilirsiniz.
Toplam sahip olma maliyetini düşürün
Otomatik kaynak ölçeklendirme ile maliyet açısından optimize edilmiş toplu işleme özelliğinin bir arada sunulması, Dataflow'un sezonluk ve ani artışlar gösteren iş yüklerinizi aşırı harcama yapmadan yönetme konusunda neredeyse sınırsız bir kapasite sunduğu anlamına gelir.
Temel özellikler
Temel özellikler
Otomatik kaynak ölçeklendirme ve dinamik iş dengeleme
Verilere duyarlı otomatik kaynak ölçeklendirmeyle ardışık düzen gecikmesini en aza indirin, kaynak kullanımını en üst düzeye çıkarın ve veri kaydı başına işleme maliyetini azaltın. Veri girişleri otomatik olarak bölümlendirilip çalışan kaynak kullanımını eşitlemek ve "kısayol tuşlarının" ardışık düzen performansı üzerindeki etkisini azaltmak için sürekli olarak dengelenir.
Toplu işlem için esnek planlama ve fiyatlandırma
Gece devam etmesi gereken işlerde olduğu gibi iş planlama süresinde esnek bir şekilde işlem yapmak istiyorsanız esnek kaynak planlama (FlexRS) sayesinde toplu işlem için daha düşük bir fiyat sunulur. Bu esnek işler altı saatlik süre içinde yürütmeye alınacakları garantisiyle sıraya sokulur.
Kullanıma hazır gerçek zamanlı AI kalıpları
Dataflow'un kullanıma hazır kalıplar aracılığıyla etkinleştirilen gerçek zamanlı AI yetenekleri, çok büyük etkinlik gruplarına insan zekasına yakın bir zeka ile gerçek zamanlı tepkiler verilmesine olanak tanır. Müşteriler tahmine dayalı analiz ve anormallik algılamadan gerçek zamanlı kişiselleştirme ve diğer gelişmiş analiz kullanım alanlarına kadar uzanan akıllı çözümler derleyebilir.
Müşteriler
Müşteriler
Dow Jones, Dataflow ile geçmişteki önemli olaylara ait veri kümelerine canlılık kazandırıyor.
Hikayeyi okuyunHikayede öne çıkanlar
-
İşletme üzerindeki etkiyi değerlendirmek için 30 yılı aşkın süreyi kapsayan haber verileri sentezlendi
-
Gizli veri ilişkileri ve analizleri açığa çıkarıldı
-
Prototip Bilgi Grafiği 10 hafta içinde kolaylıkla hazırlandı
İş Ortağı
Yenilikler
Yenilikler
Ürün güncellemeleri, etkinlik bilgileri, özel teklifler ve daha fazlasını almak için Google Cloud bültenlerine kaydolun.
Belgeler
Belgeler
Dataflow hızlı başlangıç kılavuzu: Python kullanımı
Google Cloud projeniz ve Python geliştirme ortamınızı oluşturun, Apache Beam SDK'yı edinin ve Dataflow hizmetinde WordCount örneğini çalıştırıp değiştirin.
Dataflow SQL kullanımı
SQL sorgusu oluşturun ve sorgunuzu Dataflow SQL kullanıcı arayüzünden çalıştıracak bir Dataflow işi dağıtın.
Apache Beam SDK'yı yükleme
Ardışık düzenlerinizi Dataflow hizmetinde çalıştırabilmek için Apache Beam SDK'yı yükleyin.
Apache Beam ve TensorFlow ile makine öğrenimi
Apache Beam, Dataflow ve TensorFlow'u kullanarak moleküler enerji makine öğrenimi modelinde ön işlem, eğitim ve tahmin yapın.
Qwiklab: Verileri Google Cloud Dataflow ile İşleme
Python ve Dataflow'u kullanarak metin tabanlı veri kümelerini gerçek zamanlı işlemeyi ve daha sonra BigQuery'de depolamayı öğrenin.
Dataflow kaynakları
Fiyatlandırma, kaynak kotaları, SSS ve diğer bilgileri öğrenin.
Google Cloud'da neler geliştirebileceğinizi keşfedin
Google Cloud'un Dataflow ile ilgili teknik kaynak kılavuzlarını keşfedin.
Kullanım alanları
Kullanım alanları
Google Cloud'un akış analizi, verileri oluşturuldukları andan itibaren düzenli, kullanışlı ve erişilebilir hale getirir. Pub/Sub ve BigQuery ile birlikte Dataflow'un üzerine kurulu olan akış çözümümüz, gerçek zamanlı işletme analizleri elde etmek amacıyla hacmi artıp azalan gerçek zamanlı verilerin alınması, işlenmesi ve analiz edilmesi için gereken kaynakları hazırlar. Yapılan bu hazırlık, karmaşıklığı azaltarak akış analizini hem veri analizi uzmanları hem de veri mühendisleri için erişilebilir hâle getirir.
Dataflow, akış etkinliklerini Google Cloud'un AI Platform ve TensorFlow Extended (TFX) platformlarıyla bir araya getirerek tahmine dayalı analiz, sahtekarlık tespiti, gerçek zamanlı kişiselleştirme ve gelişmiş analiz ile ilgili diğer kullanım alanlarını mümkün kılar. TFX, makine öğrenimi yaşam döngüsünün birçok işlevini çalıştırmak için dağıtılmış veri işleme motoru olarak Dataflow ve Apache Beam'i kullanır. İşlevlerin tümü Kubeflow ardışık düzenleri üzerinden makine öğrenimi için CI/CD ile desteklenir.
Akıllı IoT platformuyla global cihaz ağınızdan iş analizleri elde edin.
Tüm özellikler
Tüm özellikler
| Streaming Engine | Streaming Engine, işlemi durum depolama alanından ayırır ve ardışık düzen yürütmesinin bölümlerini çalışan sanal makinelerden Dataflow hizmeti arka ucuna taşır. Böylece otomatik ölçeklendirme ve veri gecikmesini önemli ölçüde iyileştirir. |
| Otomatik ölçeklendirme | Otomatik ölçeklendirme, Dataflow hizmetinin işinizi çalıştırmak için gereken çalışan örneği sayısını otomatik olarak seçmesini sağlar. Dataflow hizmeti, işinizin özelliklerine uygun olarak çalışma zamanı boyunca daha fazla veya daha az çalışanı dinamik olarak yeniden atayabilir. |
| Dataflow Shuffle | Hizmet tabanlı Dataflow Shuffle, verileri gruplandırmak ve birleştirmek amacıyla kullanılan karıştırma işlemini toplu ardışık düzenlerde çalışan sanal makinelerden Dataflow hizmeti arka ucuna taşır. Toplu ardışık düzenler ince ayar yapılmasını gerektirmeden yüzlerce terabayta kadar sorunsuz bir şekilde ölçeklenir. |
| Dataflow SQL | Dataflow SQL, SQL becerilerinizi kullanarak doğrudan BigQuery web arayüzünden akış Dataflow ardışık düzenleri geliştirmenize olanak tanır. Pub/Sub'daki akış verilerini Cloud Storage'daki dosyalarla veya BigQuery'deki tablolarla birleştirebilir, sonuçları BigQuery'ye yazabilir ve Google E-Tablolar'ı ya da diğer BI araçlarını kullanarak gerçek zamanlı kontrol panelleri oluşturabilirsiniz. |
| Esnek Kaynak Planlama (FlexRS) | Dataflow FlexRS; gelişmiş planlama tekniklerini, Dataflow Shuffle hizmetini ve öncelikli sanal makine (VM) örnekleri ile normal sanal makinelerini bir arada kullanarak toplu işlem maliyetlerini azaltır. |
| Dataflow şablonları | Dataflow şablonları, ardışık düzenlerinizi ekip üyeleriyle ve kuruluşunuz genelinde kolayca paylaşabilmenizi veya basit ama kullanışlı veri işleme görevlerini uygulamak için Google tarafından sağlanan birçok şablondan yararlanabilmenizi sağlar. Flex Şablonları ile her türlü Dataflow ardışık düzeninden şablon oluşturabilirsiniz. |
| Notebooks entegrasyonu | AI Platform Notebooks ile ardışık düzenleri sıfırdan tekrar tekrar oluşturun ve Dataflow çalıştırıcısıyla dağıtın. Ardışık düzen grafiklerini oku-değerlendir-yazdır-başa dön (REPL) iş akışıyla inceleyerek Apache Beam ardışık düzenlerini adım adım yazın. Google AI Platform üzerinden kullanılabilen Notebooks, sezgisel bir ortamda en yeni veri bilimi ve makine öğrenimi çerçeveleriyle ardışık düzenler yazmanıza imkan tanır. |
| Satır içi izleme | Dataflow satır içi izleme, toplu ve akış ardışık düzenlerinde sorun gidermenize yardımcı olacak iş metriklerine doğrudan erişmenizi sağlar. İzleme grafiklerine hem adım hem de çalışan düzeyi görünürlüğüyle erişebilirsiniz. Ayrıca eski veriler ya da yüksek sistem gecikmesi gibi koşullar için uyarılar belirleyebilirsiniz. |
| Müşteri tarafından yönetilen şifreleme anahtarları | Müşteri tarafından yönetilen şifreleme anahtarı (CMEK) ile korunan bir toplu ardışık düzen veya akış ardışık düzeni oluşturabilir ya da CMEK ile korunan verilere kaynaklardan ve havuzlardan erişebilirsiniz. |
| Dataflow VPC Hizmet Kontrolleri | Dataflow'un VPC Hizmet Kontrolleri ile entegrasyonu, veri hırsızlığı riskini azaltmanıza yardımcı olarak veri işleme ortamınız için ek güvenlik sağlar. |
| Özel IP'ler | Genel IP'leri devre dışı bırakmak veri işleme altyapınızı daha iyi koruyabilmenizi sağlar. Dataflow çalışanlarınız için genel IP adresleri kullanmayarak Google Cloud proje kotanız kapsamında kullandığınız genel IP adresi sayısını da azaltabilirsiniz. |
Fiyatlandırma
Fiyatlandırma
Dataflow işleri, Dataflow'un toplu veya akış tabanlı çalışanlarının kullanımına bağlı olarak saniye başına faturalandırılır. Cloud Storage veya Pub/Sub gibi ek kaynaklar ilgili hizmetin fiyatlandırmasına göre faturalandırılır.
İş ortakları
İş Ortakları
Google Cloud iş ortakları, Dataflow ile entegrasyonlar geliştirerek farklı boyutlardaki güçlü veri işleme görevlerini hızlı ve kolay bir şekilde yapılabilmesini sağlamıştır.
Cloud AI ürünleri burada listelenen HDS politikalarıyla uyumludur. Bu ürünlerde, diğer Google Cloud hizmetlerinden farklı gecikme veya kullanılabilirlik garantileri sunulabilir.