VPC-Flusslogs

In VPC-Flusslogs wird eine Stichprobe von Paketen aufgezeichnet, die von VM-Instanzen gesendet und empfangen wurden (einschließlich der als Google Kubernetes Engine-Knoten verwendeten Instanzen), sowie von Paketen, die über VLAN-Anhänge für Cloud Interconnect und Cloud VPN-Tunnel gesendet wurden (Vorschau).

Flussprotokolle werden nach IP-Verbindung (5-Tupel) zusammengefasst. Diese Logs können für Netzwerkmonitoring, Forensik, Sicherheitsanalysen und Kostenoptimierung verwendet werden.

Sie können sich die Flusslogs in Cloud Logging ansehen und in jedes Ziel exportieren, das vom Cloud Logging-Export unterstützt wird.

Anwendungsfälle

Netzwerküberwachung

VPC-Flusslogs bieten Ihnen Informationen zum Netzwerkdurchsatz und zur Netzwerkleistung. Sie können:

  • Überwachung des VPC-Netzwerks
  • Durchführung von Netzwerkdiagnosen
  • Flusslogs nach VMs, VLAN-Anhängen und Cloud VPN-Tunneln filtern, um Trafficänderungen zu verstehen
  • Informationen zum Trafficwachstum für Kapazitätsprognosen

Netzwerknutzung verstehen und Kosten des Netzwerk-Traffics senken

Sie können die Netzwerknutzung mithilfe von VPC-Flusslogs analysieren, um die Kosten für den Netzwerkverkehr zu optimieren. Sie können die Netzwerkflüsse beispielsweise für Folgendes analysieren:

  • Traffic zwischen Regionen und Zonen
  • Traffic in bestimmte Länder im Internet
  • Traffic an lokale und andere Cloud-Netzwerke
  • Top-Sender im Netzwerk, einschließlich VMs, VLAN-Anhängen und Cloud VPN-Tunneln

Netzwerkforensik

Sie können VPC-Flusslogs für die Netzwerkforensik nutzen. Zum Beispiel haben Sie bei einem Vorfall die Möglichkeit, Folgendes zu überprüfen:

  • Welche IPs haben mit wem und wann kommuniziert?
  • Wurden IPs gefährdet (durch die Analyse aller eingehenden und ausgehenden Netzwerkflüsse)?

Spezifikationen

  • VPC-Flusslogs sind Teil der Andromeda-Software, die VPC-Netzwerken zugrunde liegt. VPC-Flusslogs weisen keine Verzögerung oder Leistungseinbußen auf, wenn sie aktiviert sind.
  • VPC-Flusslogs funktionieren in Verbindung mit VPC-Netzwerken, nicht mit Legacy-Netzwerken. Sie können VPC-Flusslogs jeweils pro Subnetz, VLAN-Anhang für Cloud Interconnect (Vorabversion) oder Cloud VPN-Tunnel (Vorabversion) aktivieren oder deaktivieren. Wenn VPC-Flusslogs für ein Subnetz aktiviert sind, werden Daten von allen VM-Instanzen, einschließlich GKE-Knoten, in diesem Subnetz erfasst.
  • VPC-Flusslogs zeichnen Stichproben von TCP-, UDP-, ICMP-, ESP- und GRE-Flüssen auf. Sowohl ein- als auch ausgehende Datenströme werden erfasst. Diese Datenflüsse können innerhalb von Google Cloud oder zwischen Google Cloud und anderen Netzwerken erfolgen. Wenn ein Fluss durch Stichproben erfasst wird, erstellen VPC-Flusslogs ein Log für den Fluss. Jeder Flusseintrag enthält die im Abschnitt Eintragsformat beschriebenen Daten.
  • VPC-Flusslogs interagieren so mit Firewallregeln:
    • Ausgehende Pakete werden vor ausgehenden Firewallregeln als Stichprobe erfasst. Selbst wenn eine Firewallregel für ausgehenden Traffic ausgehende Pakete ablehnt, können diese Pakete von VPC-Flusslogs als Stichprobe verwendet werden.
    • Eingehende Pakete werden nach eingehenden Firewallregeln als Stichprobe erfasst. Wenn eine eingehende Firewallregel eingehende Pakete ablehnt, werden diese Pakete nicht von VPC-Flusslogs als Stichprobe verwendet.
  • Sie können Filter in VPC-Flusslogs verwenden, um nur bestimmte Logs zu generieren.
  • VPC-Flusslogs unterstützen VMs mit mehreren Netzwerkschnittstellen. Sie müssen VPC-Flusslogs für jedes Subnetz in jeder VPC aktivieren, die eine Netzwerkschnittstelle enthält.
  • Wenn Sie Datenflüsse zwischen Pods auf demselben GKE-Knoten (Google Kubernetes Engine) protokollieren möchten, müssen Sie für den Cluster die knoteninterne Sichtbarkeit aktivieren.
  • VPC-Flusslogs werden nicht von Cloud Run-Ressourcen erfasst.

Logerfassung

Pakete werden innerhalb eines Aggregationsintervalls erfasst. Alle Pakete, die für eine bestimmte IP-Verbindung innerhalb des Aggregationszeitraums erfasst wurden, werden in einem einzigen Flusslogeintrag aggregiert. Diese Daten werden anschließend an Logging gesendet.

Logs werden standardmäßig 30 Tage lang in Logging gespeichert. Wenn Sie Logs länger aufbewahren möchten, können Sie entweder eine benutzerdefinierte Aufbewahrungsdauer festlegen oder sie in eine unterstützte Aufbewahrungsdauer exportieren.

Log-Sampling und -verarbeitung

Um Flusslogs zu generieren, werden mit VPC-Flusslogs Pakete erfasst, die eine VM verlassen oder betreten oder ein Gateway wie einen VLAN-Anhang oder Cloud VPN-Tunnel durchlaufen. Nachdem die Flusslogs erstellt wurden, werden sie von VPC-Flusslogs gemäß dem in diesem Abschnitt beschriebenen Verfahren verarbeitet.

Bei VPC-Flusslogs werden Pakete mit einer primären Stichprobenrate erfasst. Die primäre Stichprobenrate ist dynamisch und variiert je nach Auslastung des physischen Hosts, auf dem die VM oder das Gateway zum Zeitpunkt der Stichprobenerhebung ausgeführt wird. Die Wahrscheinlichkeit, dass eine einzelne IP-Verbindung ausgewählt wird, steigt mit dem Paketvolumen. Sie können den primären Samplingprozess für Flussprotokolle nicht steuern oder die primäre Samplingrate anpassen.

Nachdem die Flusslogs erstellt wurden, werden sie von VPC-Flusslogs gemäß dem folgenden Verfahren verarbeitet:

  1. Filter: Sie können festlegen, dass nur Logs generiert werden, die bestimmten Kriterien entsprechen. Sie können beispielsweise so filtern, dass nur Logs für eine bestimmte VM oder nur Logs mit einem bestimmten Metadatenwert generiert werden und der Rest verworfen wird. Weitere Informationen finden Sie unter Logfilterung.
  2. Aggregation: Die Informationen für die Stichprobenpakete werden über ein konfigurierbares Aggregationsintervall zusammengefasst. Daraus ergibt sich ein Flusslogeintrag.
  3. Flusslog-Probenahme: Dies ist ein zweiter Probenahmeprozess. Von den Flusslogeinträgen werden weitere Stichproben gemäß einem konfigurierbaren Parameter für die sekundäre Abtastrate erstellt. Die sekundäre Stichprobenerhebung wird für die Flusslogs ausgeführt, die durch die primäre Stichprobenerhebung von Flusslogs generiert wurden. Wenn beispielsweise die sekundäre Stichprobenrate auf 100 % festgelegt ist, erfolgt die Stichprobenerhebung von „VPC-Flusslogs“ für 100 % der Flusslogs, die durch die primäre Stichprobenerhebung von Flusslogs generiert wurden.
  4. Metadaten: Wenn diese Option deaktiviert ist, werden alle Metadatenannotationen verworfen. Wenn Sie Metadaten behalten möchten, können Sie angeben, dass alle Felder oder eine bestimmte Gruppe von Feldern beibehalten werden. Weitere Informationen finden Sie unter Metadatenannotationen.
  5. In Logging schreiben: Die endgültigen Logeinträge werden in Cloud Logging geschrieben.

Da VPC-Flusslogs nicht jedes Paket erfassen, werden verpasste Pakete durch Interpolation aus den erfassten Paketen kompensiert. Dies geschieht bei Paketen, die aufgrund von anfänglichen und benutzerdefinierten Einstellungen für die Probenahme verpasst wurden.

Obwohl Google Cloud nicht jedes Paket erfasst, können die erfassten Logeinträge recht umfangreich sein. Sie können die Sichtbarkeit des Traffics und die Speicherkosten auf Ihre Bedürfnisse abstimmen, indem Sie die folgenden Aspekte der Logerfassung anpassen:

  • Aggregationsintervall: Paketstichproben für ein Zeitintervall werden in einem einzigen Logeintrag zusammengefasst. Dieses Zeitintervall kann 5 Sekunden (Standardeinstellung), 30 Sekunden, 1 Minute, 5 Minuten, 10 Minuten oder 15 Minuten sein.
  • Sekundäre Stichprobenrate:
    • Bei VMs werden standardmäßig 50% der Logeinträge aufbewahrt. Sie können einen Wert zwischen 1.0 (100 %, alle Logeinträge werden beibehalten) und 0.0 (0 %, keine Logeinträge werden beibehalten) festlegen.
    • Bei VLAN-Anhängen und Cloud VPN-Tunneln werden standardmäßig 100 % der Logeinträge aufbewahrt. Sie können diesen Parameter auf einen Wert zwischen 1.0 und über 0.0 festlegen.
  • Metadatenannotationen: Standardmäßig werden Flusslogeinträge mit Metadaten versehen, beispielsweise mit den Namen der Quell- und Ziel-VMs oder der geografischen Region externer Quellen und Ziele. Metadatenannotationen können deaktiviert werden. Sie können auch nur bestimmte Annotationen angeben, um Speicherplatz zu sparen.
  • Filter: Standardmäßig werden Logs für jeden gesendeten Datenstrom generiert. Sie können Filter so einrichten, dass nur Logs generiert werden, die bestimmten Kriterien entsprechen.

Preise

Es gelten die Standardpreise für Logging, BigQuery oder Pub/Sub. Die Preisgestaltung für VPC-Flusslogs wird unter Netzwerktelemetrie-Preise beschrieben.

Nächste Schritte