Víte, co se děje na vašem webu a kdo čte jeho obsah?

Pokud se staráte o nějaký web, asi vás už napadlo podívat se do logu. Najdou se v něm opravdu dobré informace a dají se vytáhnout zajímavá statistická čísla a data. V dneší době existují softwarové aplikace (a není těžké si je i naprogramovat), které dokáží analyzovat požadavky i logovaná data a následně zobrazovat chování uživatelů využívajících například služeb webového serveru a to online, v podstatě v reálném čase.

Určite někteří řeknou "dělám weby, do logu nelezu a stejně vím, jak se mi tam uživatelé chovají, mám na to Google Analytics". Do jisté míry to je určitě pravda. Běžný uživatel, který přijde přes internetový prohlížeč a má zapnutý JavaScript, se vám ukáže v Google Analytics a je možné ho sledovat v podstatě online. Co ale ostatní, uživatelé bez JavaScriptu, nebo roboti, ti vás nezajímají? Vždyť právě roboti přináší největší počet návštěv webů prostřednictvím vyhledávačů, proto je dobré vědět, jak se u vás chovají nejen běžní uživatelé, ale i roboti.

Reální uživatelé a roboti, jak často prochází webové stránky?

Na aktualizovaném serveru se jedná o mnohonásobně více požadavků od robotů, než od reálných uživatelů. Už tady je asi všem jasné, že sledování reálných uživatelů pomocí Google Analytics a podobných řešení je pouze zlomkem toho, co se na webu děje, jaké můžete mít informace. Sledováním na straně serveru je možné zjistit třeba to, zda již určitou stránku vyhledávač zaindexoval, jak často na ni chodí, nebo kdy ji naposledy navštívil. To vám Analytics neřekne a Webmaster tools jen orientačne, nic moc konkrétního. Informace, které nám poskytují aplikační či serverové logy totiž obsahují informace o všem, co se děje.

Aplikace pro sledování chování uživatelů a robotů na webu

Některé aplikace dokáží sledovat chování uživatelů online a to nejen běžných uživatelů, ale i robotů či dokonce zlodějů obsahu (tak říkám těm, co vám stahují web jen proto, aby z toho měli přínos/zisk - emaily, konkurenční analýzy apod.).

Během testování aplikace jsem sledoval několik měsíců chování statisíců uživatelů i robotů. Někteří uživatelé se neumí chovat a klikají jak o život, nebo se příhlašují, zkontrolují novinky a dál prochází web nepřihlášení v iluzi, že nejsou vidět. To je asi jen k pousmátí, každý se na internetu chováme nějak a asi to bude třeba jako s autem.

Zajímavější ale bylo, když jsem si udělal skupinu tisíců IP adres, které jediné co chtějí je obsah webu a dokáží vám při odmítnutí jeho poskytnutí udělat pěkný DOS útok, nebo ještě lépe DDOS. Jenže to už nedostanou nic, takže se vlastně nic nemění, dříve či později toho nechají a jede se v klidu dál. Většina je navíc tak fikaných, že nedělají velkou zátěž serveru, aby si toho někdo všimnul a za chvíli tiše vyšumí jinam.

Aplikací na sledování chování ve spojení s IP filtrem a nastavením pár pravidel jsem odfiltroval běžně nebezpečné požadavky a na serveru tak snížil znatelně jeho zátěž. Je docela zajímavé, že většina zlodějských IP rozsahů, které dělají jen zátěže na serveru je z dálného východu. Naopak z jižní ameriky chodí tvrdé ataky, tam evidentně nikoho nezajímá obsah, ale ovládnutí serveru.

Když k vám na web leze BotNet, nezahazujte ho, může se hodit

Výše uvedené sledování na straně serveru je přínosné i z bezpečnostního pohledu pro vývojáře internetových aplikací. Nejsem vůbec žádnej king na bezpečnost, ale odchytal jsem už několik BotNet kódů a nestačil se divit, co vše zkouší. Při čtení takového BotNet kódu jsem si kolikrát raději překontroloval, zda to mám také zabezpečené, i když aplikace nevykazovaly žádné chyby a server byl v klidu. V tomhle si ale musí člověk sakra hlídat, co dělá. Je lepší vše i několikrát projít a popřemýšlet, než pak hledat, kde se to mohlo stát.

Kód, kterým se šíří je opravdu různorodý. Od nejjednoduších prvoplánových pokusů o XSS, odeslání emailu, SQL injection a dalších praktik až po bloky PHP nebo Perl kódu s perfektním uživatelským rozhraním, kde si můžete server otestovat, jak potřebujete. Pravdou je, že většina ataků vyžadovala více chyb současně, i tak je ale na internetu nakažených spousta serverů. Je určitě dost přínosné si BotNetové kódy prostudovat a zamyslet se minimálně nad vlastní bezpečností.

Je to na delší povídání a možná i dobrou debatu. Spíše jsem chtěl nastínit, co se na pozadí internetu či internetových stránek děje, a že se z toho dá i něco vytěžit, pokud to správně uchopíte.


Kam dál?