Korzystanie z analitycznych i marketingowych plików cookies wymaga Państwa zgody, którą można wyrazić, klikając „Zaakceptuj”. Jeżeli nie chcą Państwo wyrazić zgody na korzystanie przez nas i naszych partnerów z określonych kategorii plików cookies, należy wybrać opcję „Zarządzaj Cookies” i zadecydować o swoich preferencjach. Wyrażoną zgodę można wycofać w każdym momencie poprzez zmianę preferencji plików cookies. Szczegółowe informacje dotyczące przetwarzania danych osobowych znajdują się w Polityce prywatności.

 

Poniżej możesz zarządzać preferencjami dotyczącymi korzystania przez nas i naszych partnerów z plików cookie.

Niezbędne i funkcjonalne pliki cookie
Zawsze aktywne
Więcej szczegółów: Polityka cookie
Google Analytics

Więcej szczegółów: Google Analytics

Ikona 01:30 min Ikona 24.06.2021

Robots.txt dla Google – informacje podstawowe

Roboty wyszukiwarek internetowych podczas wejść na stronę w pierwszej kolejności szukają na serwerze pliku o nazwie robots.txt. Jest to plik działający w oparciu o protokół Robots Exclusion Protocol, czyli mechanizm informujący boty o tym jakie części serwisu są zablokowane przed indeksowaniem – co oczywiście ma istotny wpływ na pozycjonowanie. Plik robots.txt powinien być umieszczony w głównym katalogu strony.

 

Dlaczego blokować dostęp do niektórych części serwisu?

 

Z punktu widzenia pozycjonowania przyczyn jest kilka. Najczęściej chodzi o blokowanie stron tworzących duplicate content, katalogów zawierających prywatne pliki oraz stron w przygotowaniu.

Tworzenie i edycja pliku robots.txt jest dziecinnie prosta. Wystarczy nam do tego najprostszy edytor tekstu (np. notatnik). Oto przykładowa postać pliku:

 

User-agent: *
Disallow: /

 

Taki zapis spowoduje zablokowanie całego serwisu dla wszystkich robotów wyszukiwania. Jeśli chcemy zablokować dostęp tylko dla wybranych botów lub tylko części serwisu, należy użyć odpowiednich wartości:

 

User-agent: googlebot
Disallow: /private/

 

Ten zapis zablokuje dostęp do folderu private tylko dla botów Google.

Jeśli nie chcemy, aby obrazy z naszej strony pojawiały się w wynikach wyszukiwania grafiki w Google, musimy użyć zapisu:

 

User-agent: Googlebot-Image
Disallow: /

 

Plik robots.txt dla sklepu internetowego na przykładzie eCommerce:

 

User-agent: *
Disallow: /*?osCsid
Disallow: /*buy_now
Disallow: /*add_product

 

Powyższy zapis spowoduje zablokowanie indeksowania stron z identyfikatorem sesji sklepu osCommerce oraz koszyka, który przyczynia się do wzrostu ilości stron duplicate content w serwisie.

Jeśli nie mamy możliwości stworzenia pliku robots.txt lub po prostu nie chcemy blokować stron przy pomocy tego rozwiązana, istnieje możliwość zablokowania indeksacji strony np. poprzez zapis w sekcji HEAD.

Udostępnij:
Ocena artykułu:
Ikona

How useful was this post?

Click on a star to rate it!

Average rating 5 / 5. Vote count: 3

No votes so far! Be the first to rate this post.

Udostępnij:

Zadaj pytanie

ekspertowi

Dowiedz się jak być lepiej widocznym w sieci

Bezpłatna wycena Bezpłatny audyt SEO

Na dobry start
proponujemy Ci bezpłatnie:

  • audyt SEO Twojej strony
  • konsultację z doświadczonym ekspertem
  • ofertę dopasowaną do Twojego biznesu

Bezpłatna wycena
Kontakt

Wyprzedź
konkurencję

Zadaj pytanie ekspertowi

61 655 95 55