ราคาของ Dataflow

หน้านี้จะอธิบายถึงราคาสําหรับ Dataflow หากต้องการดูราคาสําหรับผลิตภัณฑ์อื่นๆ ให้อ่านเอกสารประกอบเกี่ยวกับราคา

ภาพรวมของราคา

แม้ว่าอัตราสําหรับราคาจะอิงตามชั่วโมง แต่การเรียกเก็บเงินบริการ Dataflow จะเพิ่มขึ้นแบบ ต่อวินาที แบบต่องาน การใช้งานจะระบุเป็นชั่วโมง (เช่น 30 นาทีคือ 0.5 ชั่วโมง) เพื่อใช้การกําหนดราคารายชั่วโมงกับการใช้งานแบบวินาทีต่อวินาที ผู้ปฏิบัติงานและงานอาจใช้ทรัพยากรตามที่อธิบายไว้ในส่วนต่อไปนี้

ผู้ปฏิบัติงานของผู้ปฏิบัติงานและทรัพยากร

งาน Dataflow แต่ละรายการจะใช้ผู้ปฏิบัติงาน Dataflow อย่างน้อย 1 ราย บริการ Dataflow มีผู้ปฏิบัติงาน 2 ประเภท ได้แก่ แบบกลุ่มและสตรีมมิง บริการแยกสําหรับผู้ปฏิบัติงานแบบกลุ่มและสตรีมมิงจะมีค่าบริการแยกต่างหาก

ผู้ปฏิบัติงาน Dataflow จะใช้ทรัพยากรต่อไปนี้ ซึ่งแต่ละรายการจะเรียกเก็บเงิน ต่อวินาที

  • vCPU
  • หน่วยความจำ
  • พื้นที่เก็บข้อมูล: ดิสก์ถาวร
  • GPU (ไม่บังคับ)

ผู้ปฏิบัติงานแบบกลุ่มและสตรีมมิงเป็นทรัพยากรเฉพาะที่ใช้ Compute Engine แต่งาน Dataflow จะไม่ปล่อยการเรียกเก็บเงินของ Compute Engine สําหรับทรัพยากร Compute Engine ที่จัดการโดยบริการ Dataflow แต่ค่าบริการ Dataflow จะรวมถึงการใช้ทรัพยากร Compute Engine เหล่านี้แทน

คุณสามารถลบล้างจํานวนผู้ปฏิบัติงานเริ่มต้นของงานได้ หากใช้การปรับขนาดอัตโนมัติ คุณจะระบุจํานวนผู้ปฏิบัติงานสูงสุดที่จะจัดสรรให้กับงานได้ ระบบจะเพิ่มผู้ปฏิบัติงานและทรัพยากรที่เกี่ยวข้องโดยอัตโนมัติและลบออกตามการเปิดใช้งานการปรับขนาดอัตโนมัติ

นอกจากนี้คุณยังใช้ตัวเลือกไปป์ไลน์เพื่อลบล้างการตั้งค่าทรัพยากรเริ่มต้น (ประเภทเครื่อง ประเภทดิสก์ และขนาดของดิสก์) ที่มีการจัดสรรให้กับผู้ปฏิบัติงานแต่ละรายและใช้ GPU ได้ด้วย

บริการ Dataflow

พาร์ติชันกระบวนการสับเปลี่ยน Dataflow และจัดกลุ่มข้อมูลตามคีย์ในรูปแบบที่ปรับขนาดได้ มีประสิทธิภาพ และคงทนต่อความเสียหาย โดยค่าเริ่มต้น Dataflow จะใช้การสับเปลี่ยนซึ่งทํางานในเครื่องเสมือนของผู้ปฏิบัติงานทั้งหมดและใช้ CPU หน่วยความจํา และพื้นที่เก็บข้อมูลถาวรของดิสก์ของผู้ปฏิบัติงาน

Dataflow มีฟีเจอร์เสริมที่ปรับขนาดได้อย่างมีประสิทธิภาพ นั่นคือ การสับเปลี่ยนข้อมูล ซึ่งใช้ได้กับไปป์ไลน์เป็นกลุ่มและการสุ่มข้อมูลนอกผู้ปฏิบัติงานเท่านั้น สุ่มค่าบริการตามปริมาณข้อมูลที่ประมวลผล คุณสั่งให้ Dataflow ใช้การสุ่มเพลงได้โดยระบุพารามิเตอร์ไปป์ไลน์การสุ่มเพลง

เช่นเดียวกับการสับเปลี่ยน เครื่องมือ Dataflow Dataflow จะย้ายการสับเปลี่ยนสตรีมมิงและสถานะการประมวลผลจาก VM ของผู้ปฏิบัติงานและไปยังแบ็กเอนด์ของบริการ Dataflow คุณสั่งให้ Dataflow ใช้ Engine Engine สําหรับไปป์ไลน์สตรีมมิงโดยระบุพารามิเตอร์ไปป์ไลน์ Streaming Engine ระบบจะเรียกเก็บเงินการใช้งาน Streaming Engine ตามจํานวนข้อมูลสตรีมมิงที่ประมวลผล ซึ่งขึ้นอยู่กับปริมาณข้อมูลที่นําเข้าเข้ามาในไปป์ไลน์สตรีมมิง รวมถึงความซับซ้อนและจํานวนขั้นตอนของไปป์ไลน์ ตัวอย่างของสิ่งที่นับเป็นกระบวนการที่ประมวลผลไบต์ได้แก่ ขั้นตอนอินพุตจากแหล่งข้อมูล โฟลว์ของข้อมูลจากขั้นตอนไปป์ไลน์ที่เชื่อมกับขั้นตอนหนึ่งที่เชื่อมกับอีกขั้นตอนหนึ่ง การไหลของข้อมูลยังคงอยู่ในสถานะที่ผู้ใช้กําหนดหรือใช้สําหรับกรอบเวลา และเอาต์พุตข้อความไปยังซิงก์ข้อมูล เช่น Pub/Sub หรือ BigQuery

Dataflow ยังมีตัวเลือกการกําหนดราคา CPU และหน่วยความจําที่มีส่วนลด สําหรับการประมวลผลแบบกลุ่ม การกําหนดเวลาทรัพยากรที่ยืดหยุ่น (FlexRS) จะรวม VM แบบปกติและยุติการทํางานเองได้ไว้ในพูลผู้ปฏิบัติงาน Dataflow รายเดียว ซึ่งทําให้ผู้ใช้มีสิทธิ์เข้าถึงทรัพยากรการประมวลผลที่ถูกลง FlexRS ยังทําให้การดําเนินการของงาน Data Dataflow เป็นกลุ่มภายในกรอบเวลา 6 ชั่วโมงเพื่อระบุจุดที่ดีที่สุดในช่วงเวลาเพื่อเริ่มงานตามทรัพยากรที่มี แม้ว่า Dataflow จะใช้ทั้ง 2 ผู้ปฏิบัติงานรวมกันเพื่อเรียกใช้งาน FlexRS แต่ระบบจะเรียกเก็บเงินคุณในราคาที่มีส่วนลดแบบเดียวกันเมื่อเทียบกับราคา Dataflow ปกติ โดยไม่คํานึงถึงประเภทผู้ปฏิบัติงาน คุณสั่งให้ Dataflow ใช้ FlexRS สําหรับไปป์ไลน์แบบกลุ่มที่ปรับขนาดอัตโนมัติโดยระบุพารามิเตอร์ FlexRS

สแนปชอต Dataflow ช่วยให้คุณบันทึกและคืนค่าสถานะของไปป์ไลน์เพื่อช่วยให้คุณจัดการความน่าเชื่อถือของไปป์ไลน์สตรีมมิงได้ ระบบจะเรียกเก็บเงินการใช้สแนปชอตตามจํานวนข้อมูลที่จัดเก็บไว้ ซึ่งขึ้นอยู่กับปริมาณข้อมูลที่นําเข้าเข้ามาในไปป์ไลน์สตรีมมิง ตรรกะกรอบเวลา และจํานวนขั้นตอนของไปป์ไลน์ คุณสร้างสแนปชอตของงานสตรีมมิงได้โดยใช้ Dataflow Web UI หรือเครื่องมือบรรทัดคําสั่ง gcloud ไม่มีค่าใช้จ่ายเพิ่มเติมสําหรับการสร้างงานจากสแนปชอตเพื่อกู้คืนสถานะของไปป์ไลน์ โปรดดูข้อมูลเพิ่มเติมที่หัวข้อการใช้สแนปชอต Dataflow

แหล่งข้อมูลเพิ่มเติมเกี่ยวกับงาน

นอกจากการใช้ทรัพยากรของผู้ปฏิบัติงานแล้ว งานอาจใช้ทรัพยากรต่อไปนี้ ซึ่งแต่ละแหล่งจะเรียกเก็บเงินตามราคาของผลิตภัณฑ์ ซึ่งรวมถึงแต่ไม่จํากัดเพียง

รายละเอียดราคา

รุ่นในอนาคตของ Dataflow อาจมีค่าบริการและ/หรือการรวมบริการที่เกี่ยวข้องแตกต่างกัน

โปรดดูข้อมูลเพิ่มเติมเกี่ยวกับภูมิภาคและโซนที่ใช้ได้ในหน้าภูมิภาคและโซนของ Compute Engine

ราคาทรัพยากรของผู้ปฏิบัติงาน

ราคาทรัพยากรอื่นๆ

ทรัพยากรต่อไปนี้จะเรียกเก็บเงินในอัตราเดียวกันสําหรับทั้งงานสตรีมมิง แบบกลุ่ม และงาน FlexRS

1 ค่าเริ่มต้นของผู้ปฏิบัติงานแบบกลุ่ม: vCPU 1 รายการ, หน่วยความจํา 3.75 GB, ดิสก์ถาวร 250 GB

2 ค่าเริ่มต้นของผู้ปฏิบัติงาน FlexRS: 2 vCPU, หน่วยความจํา 7.50 GB, ดิสก์ถาวร 25 GB ต่อผู้ปฏิบัติงาน 1 คน โดยมีผู้ปฏิบัติงานอย่างน้อย 2 คน

3 ค่าเริ่มต้นของผู้ปฏิบัติงานสตรีมมิง: vCPU 4 รายการ, หน่วยความจํา 15 GB, ดิสก์ถาวร 400 GB

4 ฟีเจอร์นี้มีให้บริการในทุกภูมิภาคที่รองรับ Dataflow หากต้องการดูตําแหน่งที่ใช้ได้ ให้อ่านตําแหน่งของ Dataflow

ราคาของการสับเปลี่ยน Dataflow จะอิงตามการปรับปริมาณที่ใช้กับปริมาณข้อมูลที่ประมวลผลระหว่างการดําเนินการอ่านและเขียนขณะสุ่มชุดข้อมูล โปรดดูข้อมูลเพิ่มเติมที่หัวข้อรายละเอียดราคาการสับเปลี่ยนสตรีมข้อมูล

5 ฟีเจอร์นี้มีให้บริการในทุกภูมิภาคที่รองรับ Dataflow หากต้องการดูตําแหน่งที่ใช้ได้ ให้อ่านตําแหน่งของ Dataflow

รายละเอียดราคาการสับเปลี่ยน Dataflow

ระบบจะคํานวณการเรียกเก็บเงินต่องาน Dataflow ผ่านการปรับปริมาณที่ใช้กับจํานวนข้อมูลทั้งหมดที่ประมวลผลระหว่างการสับเปลี่ยน Dataflow การเรียกเก็บเงินจริงสําหรับข้อมูลสับเปลี่ยน Dataflow ที่ประมวลผลแล้วจะเทียบเท่ากับการเรียกเก็บเงินเต็มจํานวนสําหรับข้อมูลจํานวนน้อยกว่าจํานวนเงินที่งาน Dataflow ประมวลผล ความแตกต่างนี้ทําให้เมตริกข้อมูล Dataflow สับเปลี่ยนที่เรียกเก็บเงินได้มีขนาดเล็กกว่าเมตริกข้อมูลสับเปลี่ยน Dataflow ทั้งหมด

ตารางต่อไปนี้อธิบายวิธีใช้การปรับปรุงเหล่านี้

ข้อมูลที่ประมวลผลโดยงาน การแก้ไขการเรียกเก็บเงิน
250 GB แรก ลด 75%
4870 GB ถัดไป ลด 50%
ข้อมูลที่เหลืออยู่มากกว่า 5120 GB (5 TB) ไม่มี

เช่น หากไปป์ไลน์ทําให้เกิดการสับเปลี่ยนข้อมูล Dataflow สับเปลี่ยนขนาด 1024 GB (1 TB) โดยรวมจะคํานวณจํานวนเงินที่เรียกเก็บเงินได้ ดังนี้ 250 GB * 25% + 774 GB * 50% = 449.5 GB * อัตราการประมวลผลข้อมูล Dataflow แบบสุ่ม. หากไปป์ไลน์ทําให้เกิดการประมวลผลข้อมูล Dataflow สับเปลี่ยนขนาด 10240 GB (10 TB) โดยรวม ข้อมูลที่เรียกเก็บเงินได้คือ 250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB

การกำหนดราคาสแนปชอต

สแนปชอต Dataflow จะพร้อมใช้งานในภูมิภาคอื่นๆ เมื่อพร้อมให้บริการทั่วไป

การดูการใช้งาน

คุณจะดูทรัพยากรทั้งหมดของ vCPU, หน่วยความจํา และทรัพยากรดิสก์ถาวรที่เชื่อมโยงกับงานได้ใน Google Cloud Console หรือผ่านเครื่องมือบรรทัดคําสั่ง gcloud ของ Google Play คุณจะติดตามเมตริกที่ประมวลผลข้อมูลแบบสุ่มที่ประมวลผลข้อมูลและการประมวลผลการประมวลผลข้อมูลจริงได้และเรียกเก็บเงินได้ที่อินเทอร์เฟซการตรวจสอบโฟลว์ข้อมูล คุณสามารถใช้ข้อมูลการสับเปลี่ยนที่ประมวลผลแล้วจริงๆ เพื่อประเมินประสิทธิภาพของไปป์ไลน์ และการสับเปลี่ยนข้อมูลที่ประมวลผลแล้วเพื่อกําหนดต้นทุนของงาน Dataflow ได้ สําหรับการประมวลผลข้อมูลที่ประมวลผลแล้ว เมตริกจริงและที่เรียกเก็บเงินได้จะเหมือนกันทุกประการ

เครื่องคํานวณราคา

ใช้เครื่องคํานวณราคาของ Google Cloud เพื่อช่วยให้ทราบวิธีการคํานวณใบเรียกเก็บเงิน

ขั้นตอนต่อไป