Flow Analyzer는 레코드 형식으로 VPC 흐름 로그 데이터를 분석합니다. 로그 레코드에는 모든 로그 레코드의 핵심 필드인 기본 필드와 추가 정보를 제공하는 메타데이터 필드가 있습니다. 트래픽 흐름을 모니터링하는 로그 레코드는 3개의 기본 구성요소로 구성됩니다.
- 리소스 정보
- 측정항목 유형
- 시계열
리소스 정보
로그 레코드에는 리소스에 대한 다음 데이터가 포함됩니다.
측정항목 유형
로그 레코드에는 다음 측정항목 유형의 데이터가 포함됩니다.
- 전송된 바이트: 페이로드 볼륨에 대한 정보가 포함되고 헤더는 포함되지 않습니다. 일부 패킷은 헤더만 있고 페이로드가 포함되지 않기 때문에 이 측정항목 값이 0일 수 있습니다.
- 전송된 패킷: 소스에서 대상으로 전송된 패킷 수를 나타냅니다.
원시 시계열 데이터
단일 시계열의 원시 측정항목 데이터 양은 매우 클 수 있으며 일반적으로 측정항목 유형과 연관된 시계열이 많이 있습니다. 공통점, 추세, 이상점의 전체 데이터 세트를 분석하기 위해서는 해당 세트의 시계열에서 일부 처리를 수행해야 합니다. 그렇지 않으면 고려할 데이터가 너무 많습니다.
이 페이지에서는 샘플링 및 집계 예시를 보여주기 위해 몇 가지 가상의 시계열을 사용합니다. 예를 들어 다음 다이어그램은 초당 바이트 수 측정항목 유형에 대해 몇 분 정도의 원시 데이터를 보여줍니다.
원시 시계열 데이터를 분석하려면 먼저 조작이 필요하며, 분석에 데이터 샘플링과 집계가 포함된 경우가 많습니다. 이 페이지에서는 원시 데이터를 조정하는 두 가지 기본 기법을 설명합니다.
- 샘플링: 일부 데이터가 고려 대상에서 삭제됩니다. Google Cloud는 샘플링을 수행하고 로그 레코드의 필수 데이터를 사용해서 쿼리에 표시된 작업을 수행합니다.
- 집계: 지정한 측정 기준에 따라 여러 데이터 조각을 더 작은 집합으로 결합합니다.
샘플링 및 집계는 흥미로운 패턴을 식별하고 데이터의 추세 또는 이상점을 강조하는 데 도움이 되는 강력한 도구입니다.
정렬 기간 이해
시계열 데이터를 집계하는 첫 번째 단계는 정렬입니다. 정렬은 원시 데이터가 제시간에 정규화된 새 시계열을 만들고 이는 다른 정렬된 시계열과 결합할 수 있습니다. 정렬은 정기적인 간격이 있는 데이터가 있는 시계열을 생성합니다.
정렬에는 다음 두 단계가 포함됩니다.
- 시계열을 데이터 버케팅이라고 부르는 일반 시간 간격으로 나눕니다. 간격을 정렬 기간이라고 부릅니다.
- 정렬 기간의 포인트에 대한 단일 측정항목 값을 계산합니다. 단일 포인트의 계산 방법, 즉 모든 값을 합산할지, 평균을 계산할지, 최댓값을 사용할지 선택합니다.
다음 다이어그램은 시작 시간 및 종료 시간 내에 지정된 정렬 기간을 기준으로 데이터를 버킷으로 그룹화하는 방법을 보여줍니다.
다음 다이어그램은 다음 단계에 따라 정렬 기간 5분을 사용한 결과를 보여줍니다.
- 5분 간격의 정렬 기간 만들기
- 원시 데이터에서 측정항목 값 합계를 사용하여 단일 측정항목 값 계산
세부사항
짧은 시간 내에 이벤트가 발생한 것을 알고 이를 더 자세히 조사하려면 분 단위 정렬 기간을 사용할 수 있습니다.
장기간에 걸친 추세를 탐색하려는 경우 대규모 정렬 기간이 더 적합할 수 있습니다. 짧은 트래픽 급증과 같은 단기 이상 조건을 조사할 때는 일반적으로 대규모 정렬 기간이 유용하지 않습니다. 예를 들어 몇 주의 정렬 기간을 사용할 경우 해당 기간에 이상점이 존재한다는 것을 감지할 수 있지만 정렬 데이터가 너무 일반적이어서 큰 도움이 되지 못할 수 있습니다.
기간이 길면 작은 정렬 기간이 도움이 되지 않습니다. 예를 들어 30일 기간에 1분 정렬을 선택하면 Flow Analyzer가 데이터 포인트를 43,000개 넘게 생성합니다. 43,000개의 데이터 포인트는 표시 픽셀 4,000개의 10배가 넘기 때문에 모든 세부정보를 확인할 수 없고 일부 옵션은 긴 기간에 따라 사용 중지됩니다.
정렬 옵션
정렬 옵션에는 값을 합산하거나 값의 최댓값, 최솟값 또는 평균을 찾고, 선택한 백분위 수 값을 찾고, 값을 계산하기 등이 있습니다. Flow Analyzer에서는 여러 측정항목 집계를 정렬 옵션으로 사용할 수 있습니다.
전송된 바이트를 측정항목 유형으로 선택하고 소스 및 대상을 트래픽 집계로 선택하면 다음 옵션을 사용할 수 있습니다.
- 총 트래픽
- 평균 트래픽 속도
- 트래픽 속도 중앙값
- P95 트래픽 속도
- 최대 트래픽 속도
전송된 패킷을 측정항목 유형으로 선택하고 소스 및 대상을 트래픽 집계로 선택하면 다음 옵션을 사용할 수 있습니다.
- 패킷 집계
- 평균 패킷 속도
- 패킷 속도 중앙값
- P95 패킷 속도
- 최대 패킷 속도
다음 다이어그램은 총 트래픽 및 평균 트래픽 속도의 두 가지 정렬 옵션을 사용한 결과를 보여줍니다.
정렬 기간 사용
정렬 기간 옵션을 사용하여 트래픽 흐름을 선택한 기간의 시간 간격으로 집계할 수 있습니다. 필요에 따라 그래프를 확대하여 특정 세부정보를 볼 수 있습니다.