Anomálie, kterou SNMP monitoring nezachytil, ale analýza provozního toků odhalila její příčinu a pomohla ISP udržet důležitého firemního zákazníka.

Důležitý firemní zákazník kontaktoval technickou podporu ISP s tím, že při používání Microsoft Teams dochází ke zpoždění (latencím). Správce sítě zkontroloval router, ke kterému byl tento zákazník připojen spolu s několika stovkami dalších klientů. Analyzoval data o latenci uložená v Prometheu.

Graf latence ukázal opakující se anomálii, která trvala 10 minut a opakovala se každou hodinu.

(Screenshot: latence v 30sekundových intervalech na routeru)

 Podobný trend byl vidět i u ztracených paketů a využití CPU.

Na základě SNMP telemetrie však správce nedokázal najít příčinu problému.

Co dál?

Správce sítě se rozhodl podívat na netflow data – tedy provozní telemetrii.

• ISP měl export netflow dat na všech CORE routerech.
• Toky byly průběžně odesílány do centrálního kolektoru se softwarem FLOWCUTTER.
• Díky FLOWCUTTERu mohl správce provést rychlou drill-down analýzu a najít příčinu problému.

Navíc bylo ve FLOWCUTTERu nastaveno pravidelné skenování otevřených portů. To pomohlo odhalit prvotní příčinu anomálie.

Na routeru, kde byl zákazník připojen, byla detekována anomálie – objem provozu klesal, ale počet komunikujících stoupal.

Drill-down analýza ukázala, že se jedná o DNS provoz.

Následně správce zkontroloval dashboard s výsledky nočního skenování otevřených portů. Ukázalo se, že jiný zákazník s veřejnou IP adresou otevřel DNS port veřejnosti. To vedlo k přetěžování routeru, které negativně ovlivnilo i ostatní zákazníky ve stejné oblasti.

Co lze během pár vteřin zjistit o zákazníkovi:

• Upload/download
• Porty a protokoly specifických služeb: FTP, Telnet, SSH
• IP adresa na blacklistu
• Komunikace s botnetem
• Otevřené porty a zranitelnosti přístupné zvenku

• Analýza netflow v Grafaně

• Skenování otevřených portů

• SNMP vs toková telemetrie

Mnoho příčin problémů nelze odhalit pouhým sledováním SNMP telemetrie. Zde pomáhají netflow data, která poskytují hlubší přehled o tom, kdo komunikuje s kým a jakým způsobem.

V tomto případě pomohlo i propojení netflow s dalšími daty – konkrétně skenem otevřených portů.

ISP problém snadno vyřešil:

• Zákazník, jehož zařízení způsobovalo potíže, byl kontaktován a upozorněn na chybnou konfiguraci.
• Port byl uzavřen a anomálie okamžitě ustaly.
• Pro klíčového firemního zákazníka se tím vyřešily problémy s latencí a vztah zůstal zachován.

Malware v jediném zařízení zákazníka málem zničil reputaci celého prefixu, což mohlo způsobit problémy všem zákazníkům ISP.

Operátor poskytoval internetové připojení jak firemním, tak domácím zákazníkům. Některé domácnosti si připlatili za veřejnou IP adresu – například kvůli kamerovému systému, který chtěly kontrolovat z práce. Jeden z těchto domácích modemů/routerů byl infikován malwarem. Následně bylo zařízení zařazeno do botnetu.

V tomto konkrétním botnetu byl aktuální úkol: prohledávat internetová zařízení s cílem najít otevřené Telnet porty a poté je infikovat novou sadou útoků využívajících známé zranitelnosti.

Takové útočné zařízení se velmi rychle ocitne na veřejných blacklistech. Zpočátku je ovlivněno pouze ono konkrétní zařízení s jednou IP adresou. Zatím vše vypadá pod kontrolou.

Později ale může být na blacklist zařazen celý IP prefix (v tomto případě /22). To může vést k tomu, že peering partneři začnou tlačit na operátora autonomního systému (AS), aby problém co nejdříve vyřešil.

V tu chvíli způsobí drobná anomálie na jednom modemu obrovské škody. Práce, která by se dala udělat včas, se po týdnu změní v časově náročný zásah.

Takže je jasné, že musíme takové anomálie včas odhalit, že?

Ne tak rychle. Takové anomálie běžně zůstanou bez povšimnutí, pokud ISP spoléhá pouze na SNMP (např. Zabbix, Nagios). Správci sítě je nezachytí. Routery o nich nevědí, protože nezatěžují hardware a nezpůsobují velké objemy přenesených dat.

Co dál?

V první řadě by měl operátor používat analýzu síťového provozu založenou na tocích (flow), aby mohl podobné anomálie zachytit.

Naštěstí měl ISP v tomto případě potřebná opatření:

• Export netflow dat z hraničních routerů.
• Data se ukládala do centrálního kolektoru se softwarem FLOWCUTTER.
• FLOWCUTTER umožňuje každému správci provést rychlou drill-down analýzu netflow a dalších zdrojů dat.

Rychlá kontrola na přehled (Home dashboard) ve FLOWCUTTERu ukázal změnu trendu v počtu komunikujících  IP párů (unikátních párů IP adresa zdroj–cíl).

Podrobná analýza odhalila, že anomálie pochází z jedné konkrétní IP adresy – domácí zákazník s veřejnou IP.

Toto koncové zařízení posílalo miliony Telnet paketů (port 23) každých pár minut do celého internetu.

Za několik málo hodin se tato IP adresa objevila na blacklistech IP reputace.

Co když administrátor nechce každý den kontrolovat FLOWCUTTER ručně?

FLOWCUTTER pomáhá dvěma způsoby:

1. Umožňuje nastavit „out-of-the-box“ detekci různých síťových anomálií – včetně Telnetu.
2. Obohacuje netflow data o reputaci IP adres, sleduje a upozorňuje, pokud se některá IP adresa dostane na blacklist.

• Analýza netflow v Grafaně

• SNMP vs provozní toková telemetrie

• Reputace IP adres

• Detekce anomálií na základě provozních toků

ISP včas odhalil anomálii způsobenou Telnet provozem a zabránil tak řetězové reakci negativních důsledků.

Nesprávná konfigurace nebo infikovaná zařízení mohou poškodit reputaci prefixu nebo celého AS operátora.

Při řešení incidentů na základě provozních toků lze tyto anomálie včas odhalit a opravit ještě dříve, než způsobí škody v síti.

Do budoucna ISP využívá FLOWCUTTER nejen pro monitorování a upozorňování na síťové anomálie, ale také k pravidelnému sledování reputace celého svého IP rozsahu – aby byl příště varován ještě dříve.