Wyższy standard skuteczności
Blog
Informacje z branży i życia firmy
Wybierz dziedzinę

Robots.txt - informacje podstawowe

Opublikowano: 23-01-2008
Czas potrzebny do przeczytania: 1:15 min
Roboty wyszukiwarek internetowych podczas wejść na stronę w pierwszej kolejności szukają na serwerze pliku o nazwie robots.txt. Jest to plik działający w oparciu o protokół Robots Exclusion Protocol, czyli mechanizm informujący boty o tym jakie części serwisu są zablokowane przed indeksowaniem - co oczywiście ma istotny wpływ na pozycjonowanie. Plik robots.txt powinien być umieszczony w głównym katalogu strony.

Dlaczego blokować dostęp do niektórych części serwisu?

Z punktu widzenia pozycjonowania przyczyn jest kilka. Najczęściej chodzi o blokowanie stron tworzących duplicate content, katalogów zawierających prywatne pliki oraz stron w przygotowaniu.

Tworzenie i edycja pliku robots.txt jest dziecinnie prosta. Wystarczy nam do tego najprostszy edytor tekstu (np. notatnik). Oto przykładowa postać pliku:

User-agent: *
Disallow: /

Taki zapis spowoduje zablokowanie całego serwisu dla wszystkich robotów wyszukiwania. Jeśli chcemy zablokować dostęp tylko dla wybranych botów lub tylko części serwisu, należy użyć odpowiednich wartości:

User-agent: googlebot
Disallow: /private/

Ten zapis zablokuje dostęp do folderu private tylko dla botów Google.

Jeśli nie chcemy, aby obrazy z naszej strony pojawiały się w wynikach wyszukiwania grafiki w Google, musimy użyć zapisu:

User-agent: Googlebot-Image
Disallow: /

Plik robots.txt dla sklepu internetowego na przykładzie osCommerce:

User-agent: *
Disallow: /*?osCsid
Disallow: /*buy_now
Disallow: /*add_product

Powyższy zapis spowoduje zablokowanie indeksowania stron z identyfikatorem sesji sklepu osCommerce oraz koszyka, który przyczynia się do wzrostu ilości stron duplicate content w serwisie.

Jeśli nie mamy możliwości stworzenia pliku robots.txt lub po prostu nie chcemy blokować stron przy pomocy tego rozwiązana, istnieje możliwość zablokowania indeksacji strony np. poprzez zapis w sekcji HEAD.
Autor
Tomasz Wieczorek
Ocena artykułu
5.00 - (1 głos)
Komentarze
Dodaj komentarz
Ostrzeżenie: Uwaga na firmę o podobnej nazwie! Więcej...
Zapoznałem się