Robots.txt
Przy omawianiu mapy witryny pisaliśmy o dostępnych informacjach dla robotów. Jednak bardzo istotny jest tutaj plik robots.txt, w którym możemy zawrzeć dokładną informację, które podstrony mają się nie indeksować.
Przy omawianiu mapy witryny pisaliśmy o dostępnych informacjach dla robotów. Jednak bardzo istotny jest tutaj plik robots.txt, w którym możemy zawrzeć dokładną informację, które podstrony mają się nie indeksować.
