Archív

Příspěvek oštítkován ‘robots.txt’

Googlebot občas ignoruje robots.txt

NetworkNa fóru WebmasterWorld se strhly dvě zajímavé diskuze na téma robots.txt. V obou vláknech se rozebírá, zda Googlebot (crawlerovací robot) bere v potaz soubor „robots.txt“, který povoluje nebo zakazuje vstup botům na webové stránky. Běžně se takto ošetřuje (ne)indexování vybraných stránek. Jenomže se může stát, že Google tento soubor bude ignorovat.