자동 확장 차트에는 현재 작업자 수, 대상 작업자 수, 최소 및 최대 작업자 수의 시계열 그래프가 표시됩니다.
자동 확장 로그를 보려면 자동 확장 로그 표시를 클릭합니다.
자동 확장 변경 기록을 확인하려면 기록 더보기를 클릭합니다.
파이프라인의 작업자 기록에 대한 정보가 있는 표가 표시됩니다.
기록에는 작업자 수가 최소 또는 최대 작업자 수에 도달했는지 여부를 비롯한 자동 확장 이벤트가 포함됩니다.
자동 확장 근거(Streaming Engine만 해당)
자동 확장 근거 차트에서는 자동 확장 처리가 지정된 기간 동안 수직 확장, 축소되거나 조치를 취하지 않은 이유를 보여줍니다.
특정 지점에서 근거에 대한 설명을 확인하려면 차트 위에 마우스 포인터를 놓습니다.
다음 표에는 확장 작업과 가능한 확장 근거가 나와 있습니다.
확장 작업
근거
설명
확장 변동 없음
결정을 위해 더 많은 데이터 수집
자동 확장 처리에 수직 확장 또는 축소할 신호가 부족합니다. 예를 들어 작업자 풀 상태가 최근에 변경되었거나 백로그 또는 사용률 측정항목이 변동합니다.
확장 변경 없음, 안정적인 신호
리소스 이외의 관련 한도에 도달
확장은 키 동시 로드 또는 구성된 최소 및 최대 작업자 수와 같은 한도에 의해 제한됩니다.
낮은 백로그 및 높은 작업자 사용률
파이프라인의 자동 확장이 현재 트래픽과 구성을 고려하여 안정적인 값으로 수렴되었습니다. 확장을 변경할 필요가 없습니다.
수직 확장
높은 백로그
수직 확장하여 백로그를 줄입니다.
높은 작업자 사용률
대상 CPU 사용률이 달성되도록 수직 확장합니다.
비 리소스 관련 한도에 도달
최소 작업자 수가 업데이트되었으며 현재 작업자 수가 구성된 최솟값 이하입니다.
축소
낮은 작업자 사용률
대상 CPU 사용률이 달성되도록 축소합니다.
비 리소스 관련 한도에 도달
최대 작업자 수가 업데이트되었으며 현재 작업자 수가 구성된 최댓값을 초과합니다.
작업자 CPU 사용률
CPU 사용량은 사용 중인 CPU의 양을 처리에 사용할 수 있는 CPU의 양으로 나눈 값입니다. 평균 CPU 사용률 차트에는 시간 경과에 따른 모든 작업자의 평균 CPU 사용률, 작업자 사용률 힌트, Dataflow에서 힌트를 대상으로 적극적으로 사용했는지 여부가 표시됩니다.
백로그(Streaming Engine만 해당)
최대 백로그 차트는 처리 대기 중인 요소에 대한 정보를 제공합니다. 차트에서는 새 데이터가 도착하지 않고 처리량이 변경되지 않는 경우 현재 백로그를 사용하는 데 필요한 시간(초)을 예측하여 보여줍니다. 예상 백로그 시간은 아직 처리해야 하는 입력 소스의 처리량과 백로그 바이트로부터 계산됩니다. 이 측정항목은 스트리밍 자동 확장 기능에서 수직 확장이나 축소 시기를 결정하는 데 사용됩니다.
이 차트의 데이터는 Streaming Engine을 사용하는 작업에만 사용할 수 있습니다. 스트리밍 작업이 Streaming Engine을 사용하지 않는 경우 차트는 비어 있습니다.
권장사항
다음은 파이프라인에서 관찰할 수 있는 몇 가지 동작과 자동 확장을 조정하는 방법에 대한 권장사항입니다.
과도한 축소. 대상 CPU 사용률이 너무 높게 설정되면 Dataflow가 축소되고 백로그가 증가하기 시작하고 Dataflow가 안정적인 숫자를 수렴하는 대신 보완을 위해 다시 확장되는 패턴이 나타납니다. 이 문제를 완화하려면 작업자 사용률 힌트를 낮게 설정해 보세요.
백로그 증가가 시작되는 지점에서 CPU 사용률을 관찰하고 사용률 힌트를 해당 값으로 설정합니다.
확장 속도가 너무 느림. 확장이 너무 느리면 트래픽 급증이 지연되어 지연 시간이 늘어날 수 있습니다. Dataflow가 더 빠르게 수직 확장되도록 작업자 사용률 힌트를 줄여보세요. 백로그 증가가 시작되는 지점에서 CPU 사용률을 관찰하고 사용률 힌트를 해당 값으로 설정합니다. 더 많은 작업자가 프로비저닝된 경우 힌트 값이 작을수록 총 파이프라인 비용이 증가할 수 있으므로 지연 시간과 비용을 모두 모니터링합니다.
과도한 확장. 과도한 확장으로 인해 비용이 증가하는 경우에는 작업자 사용률 힌트를 늘리는 것이 좋습니다.
지연 시간을 모니터링하여 시나리오에서 허용되는 범위 내에 있는지 확인합니다.
자세한 내용은 작업자 사용률 힌트 설정을 참고하세요.
새 작업자 사용률 힌트 값을 실험할 때마다 각 조정 후 파이프라인이 안정화될 때까지 몇 분 정도 기다립니다.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-04-21(UTC)"],[[["\u003cp\u003eDataflow's monitoring interface includes autoscaling charts that display worker instance counts, autoscaling logs, estimated backlog, and average CPU utilization for streaming jobs.\u003c/p\u003e\n"],["\u003cp\u003eThe autoscaling feature automatically adjusts the number of worker instances required for a job based on its needs, and this can be viewed under the \u003cstrong\u003eAutoscaling\u003c/strong\u003e tab.\u003c/p\u003e\n"],["\u003cp\u003eThe \u003cstrong\u003eAutoscaling\u003c/strong\u003e, \u003cstrong\u003eBacklog\u003c/strong\u003e (Streaming Engine only), and \u003cstrong\u003eCPU utilization\u003c/strong\u003e charts allow users to correlate metrics with worker scaling events, including viewing the rationale behind scaling actions.\u003c/p\u003e\n"],["\u003cp\u003eThe worker utilization hint can be adjusted to fine-tune how quickly Dataflow scales up or down, and guidance is provided for addressing excessive upscaling, downscaling, and too-slow upscaling.\u003c/p\u003e\n"],["\u003cp\u003eTo access these metrics, users need to sign into the google cloud console, select their project, navigate to Dataflow, and select the job they want to monitor.\u003c/p\u003e\n"]]],[],null,["# Monitor Dataflow autoscaling\n\nYou can view autoscaling monitoring charts for streaming jobs within the\nDataflow monitoring\ninterface. These charts display metrics over the duration of a pipeline job and\ninclude the following information:\n\n- The number of worker instances used by your job at any point in time\n- The autoscaling log files\n- The estimated backlog over time\n- The average CPU utilization over time\n\nThe charts are aligned vertically so that you can correlate the backlog and CPU\nutilization metrics with worker scaling events.\n\nFor more information about how Dataflow makes autoscaling decisions,\nsee the [Autotuning features](/dataflow/docs/guides/deploying-a-pipeline#autotuning-features) documentation.\nFor more information about Dataflow monitoring and metrics, see\n[Use the Dataflow monitoring interface](/dataflow/docs/guides/monitoring-overview).\n\nAccess autoscaling monitoring charts\n------------------------------------\n\nYou can access the Dataflow monitoring interface by using the\n[Google Cloud console](https://console.cloud.google.com/). To access the **Autoscaling** metrics tab, follow these steps:\n\n1. [Sign in](https://console.cloud.google.com/) to the Google Cloud console.\n2. Select your Google Cloud project.\n3. Open the navigation menu.\n4. In **Analytics** , click **Dataflow**. A list of Dataflow jobs appears along with their status.\n5. Click the job that you want to monitor, and then click the **Autoscaling** tab.\n\nMonitor autoscaling metrics\n---------------------------\n\nThe Dataflow service automatically chooses the number of\nworker instances required to run your autoscaling job. The\nnumber of worker instances can change over time according to the job\nrequirements.\n\nYou can view autoscaling metrics in the **Autoscaling** tab of the\nDataflow interface. Each metric is organized into the following charts:\n\n- [Autoscaling](#autoscaling)\n- [Backlog (Streaming Engine only)](#backlog)\n- [CPU utilization](#cpu-use)\n\nThe autoscaling action bar displays the current autoscaling status and workers count.\n\n### Autoscaling\n\nThe **Autoscaling** chart shows a time-series graph of the current number of\nworkers, the target number of workers, and the\n[minimum and maximum number of workers](/dataflow/docs/guides/tune-horizontal-autoscaling#set-range).\n\nTo see the autoscaling logs, click **Show autoscaling logs**.\n\nTo see the history of autoscaling changes, click **More history**.\nA table with information about the worker history of your pipeline is shown.\nThe history includes autoscaling events, including whether the number of workers\nreached the minimum or maximum worker count.\n\n### Autoscaling rationale (Streaming Engine only)\n\nThe **Autoscaling rationale** chart shows why the autoscaler scaled up,\nscaled down, or took no actions during a given time period.\n\nTo see a description of the rationale at a specific point, hold the pointer over\nthe chart.\n\nThe following table lists scaling actions and possible scaling rationales.\n\n### Worker CPU utilization\n\nCPU utilization is the amount of CPU used divided by the amount of CPU\navailable for processing. The **Mean CPU utilization** chart shows the average\nCPU utilization for all workers over time, the\n[worker utilization hint](/dataflow/docs/guides/tune-horizontal-autoscaling#utilization-hint),\nand whether Dataflow actively used the hint as a target.\n\n### Backlog (Streaming Engine only)\n\nThe **Maximum backlog** chart provides information about elements waiting to be\nprocessed. The chart shows an estimate of the\namount of time in seconds needed to consume the current backlog if no new\ndata arrives and throughput doesn't change. The estimated backlog time is\ncalculated from both the throughput and the backlog bytes from the input source\nthat still need to be processed. This metric is used by the\n[streaming autoscaling](/dataflow/docs/horizontal-autoscaling#streaming_autoscaling)\nfeature to determine when to scale up or down.\n\nData for this chart is only available for jobs that use Streaming Engine. If your\nstreaming job doesn't use Streaming Engine, the chart is empty.\n\nRecommendations\n---------------\n\nHere are some behaviors that you might observe in your pipeline, and\nrecommendations on how to\n[tune autoscaling](/dataflow/docs/guides/tune-horizontal-autoscaling):\n\n- **Excessive downscaling**. If the target CPU utilization is set too high, you\n might see a pattern where Dataflow scales down, the backlog\n starts to grow, and Dataflow scales up again to compensate,\n instead of converging on a stable number of workers. To mitigate this issue,\n try setting a lower worker utilization hint.\n Observe the CPU utilization at the point where the backlog starts to grow, and\n set the utilization hint to that value.\n\n- **Too slow upscaling**. If upscaling is too slow, it might lag behind spikes\n in traffic, resulting in periods of increased latency. Try reducing the\n worker utilization hint,\n so that Dataflow scales up more quickly. Observe the CPU\n utilization at the point where the backlog starts to grow, and set the\n utilization hint to that value. Monitor both latency and cost, because a lower\n hint value can increase the total cost for the pipeline, if more workers are\n provisioned.\n\n- **Excessive upscaling**. If you observe excessive upscaling, resulting in\n increased cost, consider increasing the worker utilization hint.\n Monitor latency to make sure it stays within acceptable bounds for your\n scenario.\n\nFor more information, see\n[Set the worker utilization hint](/dataflow/docs/guides/tune-horizontal-autoscaling#utilization-hint).\nWhen you experiment with a new worker utilization hint value, wait a few minutes\nfor the pipeline to stabilize after each adjustment.\n\nWhat's next\n-----------\n\n- [Tune Horizontal Autoscaling for streaming pipelines](/dataflow/docs/guides/tune-horizontal-autoscaling)\n- [Troubleshoot Dataflow autoscaling](/dataflow/docs/guides/troubleshoot-autoscaling)"]]
