Při sledování týdenních statistik návštěvnosti jsem narazil na zajímavý problém. Návštěvnost mi stoupnula o 150%. Po chvilce probírání statistik jsem našel důvod – může za to splašený MSN bot. Ne že by mi to přímo vadilo, ale dost to zkresluje moje data a musím se probrat balastem než zjistím to, co potřebuji.

Všechny přístupy Bota jsou zaznamenány z prohlížeče WebKit a OS Windows 7. Je mi jasné, že to je automat, ale nechápu proč tolik přístupů za den, ke všemu se snaží indexovat pouze hlavní stránku. Celkem se zatím jednalo o 52 různých IP adres, některé navštíví web i 5x denně.

Zkoušel jsem hledat, jestli už někdo neřešil stejný problém, a nejsem sám. Jediné, co jsem se dozvěděl, bylo zakázání přístupu v robots.txt. To se mi nechce dělat, už jenom z toho důvodu, že bych se zbavil potencionálních přístupů z vyhledávače Bing.

Buď se jedná o chybu v Botovi nebo je pro Microsoft jednodušší si naindexovat web v každém datacentru zvlášť než si nasbíraná data mezi sebou periodicky synchronizovat. Nicméně to nevysvětlí, proč navštěvuje web z jedné IP adresy několikrát denně.

Jediná ochrana by byla ošetřit detekci návštěvníka a MSN bota nezaznamenávat. U TopListu a dalších veřejných počítadel to budeme muset zkousnout.