Unreal][ blog

Na fóru WebmasterWorld se strhly dvě zajímavé diskuze na téma robots.txt. V obou vláknech se rozebírá, zda Googlebot (crawlerovací robot) bere v potaz soubor „robots.txt“, který povoluje nebo zakazuje vstup botům na webové stránky. Běžně se takto ošetřuje (ne)indexování vybraných stránek. Jenomže se může stát, že Google tento soubor bude ignorovat.
Číst dále...