Ikona 01:30 min Ikona Sunrise System 24.06.2021

Robots.txt dla Google – informacje podstawowe

Roboty wyszukiwarek internetowych podczas wejść na stronę w pierwszej kolejności szukają na serwerze pliku o nazwie robots.txt. Jest to plik działający w oparciu o protokół Robots Exclusion Protocol, czyli mechanizm informujący boty o tym jakie części serwisu są zablokowane przed indeksowaniem – co oczywiście ma istotny wpływ na pozycjonowanie stron. Plik robots.txt powinien być umieszczony w głównym katalogu domeny.

 

Dlaczego blokować dostęp do niektórych części serwisu?

 

Z punktu widzenia pozycjonowania przyczyn jest kilka. Najczęściej chodzi o blokowanie stron tworzących duplicate content, katalogów zawierających prywatne pliki oraz stron w przygotowaniu.

Tworzenie i edycja pliku robots.txt jest dziecinnie prosta. Wystarczy nam do tego najprostszy edytor tekstu (np. notatnik). Oto przykładowa postać pliku:

 

User-agent: *
Disallow: /

 

Taki zapis spowoduje zablokowanie całego serwisu dla wszystkich robotów wyszukiwania. Jeśli chcemy zablokować dostęp tylko dla wybranych botów lub tylko części serwisu, należy użyć odpowiednich wartości:

 

User-agent: googlebot
Disallow: /private/

 

Ten zapis zablokuje dostęp do folderu private tylko dla botów Google.

Jeśli nie chcemy, aby obrazy z naszej strony pojawiały się w wynikach wyszukiwania grafiki w Google, musimy użyć zapisu:

 

User-agent: Googlebot-Image
Disallow: /

 

Plik robots.txt dla sklepu internetowego na przykładzie eCommerce:

 

User-agent: *
Disallow: /*?osCsid
Disallow: /*buy_now
Disallow: /*add_product

 

Powyższy zapis spowoduje zablokowanie indeksowania stron z identyfikatorem sesji sklepu osCommerce oraz koszyka, który przyczynia się do wzrostu ilości stron duplicate content w serwisie.

Jeśli nie mamy możliwości stworzenia pliku robots.txt lub po prostu nie chcemy blokować stron przy pomocy tego rozwiązana, istnieje możliwość zablokowania indeksacji strony np. poprzez zapis w sekcji HEAD.

Udostępnij:
Ocena artykułu:
Ikona

How useful was this post?

Click on a star to rate it!

Average rating 5 / 5. Vote count: 3

No votes so far! Be the first to rate this post.

Bezpłatny audyt SEO

Sprawdź w 90 sekund, jak Twoja strona radzi sobie w sieci!
Pod lupę bierzemy aż 70 różnych parametrów.

Bezpłatne kursy digital marketingu – online!
Sprawdź

 

Zapisz się do newslettera

Odbieraj regularną dawkę wiedzy i nowości ze świata digital marketingu!

Zero spamu, tylko konkrety!

Zadaj pytanie ekspertowi

Dowiedz się jak być lepiej widocznym w sieci

Bezpłatna wycena Bezpłatny audyt SEO
Udostępnij:
Czytaj także
Ikona

How useful was this post?

Click on a star to rate it!

Average rating 0 / 5. Vote count: 0

No votes so far! Be the first to rate this post.

SEO Ikona 8:30 min 08.07.2021 Sieci neuronowe, nauczanie maszynowe i AI to pojęcia, które z roku na rok nabierają coraz większego znaczenia w kontekście SEO. Zarówno Google, jak i czołowi giganci e-commerce wykorzystują rosnący potencjał sztucznej inteligencji. Zastanawiasz się, jak nowoczesna technologia wpływa na marketing internetowy i pozycjonowanie? Odpowiedź znajdziesz w poniższym artykule. Czytaj więcej
Ikona

How useful was this post?

Click on a star to rate it!

Average rating 5 / 5. Vote count: 1

No votes so far! Be the first to rate this post.

Google zmienia sposób wyświetlania tytułów – rewolucja czy ewolucja? Ikona 5:00 min 07.10.2021 Google przyzwyczaił nas już do zmian, co nie znaczy, że należy tracić czujność. Każdą zapowiedź nowości ze strony Google warto uważnie śledzić. Na tym tle w ostatnim czasie dość mocno wybiła się informacja o aktualizacji metody wyświetlania tytułów stron. Co tak naprawdę zmienia się w znacznikach title? Czy ta zmiana wpływa na pozycjonowanie? Tematowi przyjrzał się nasz ekspert SEO. Czytaj więcej
Ikona

How useful was this post?

Click on a star to rate it!

Average rating 0 / 5. Vote count: 0

No votes so far! Be the first to rate this post.

SEO Ikona 11:00 min 06.05.2021 Pozycjonowanie stron internetowych to proces skomplikowany, obejmujący szereg działań on-site. Bardzo duże znaczenie w SEO mają kody odpowiedzi HTTP. Stanowią one istotną informację dla webmasterów i specjalistów ds. pozycjonowania. Co to jest status HTTP? W jaki sposób wpływa on na widoczność strony w wynikach wyszukiwania? Już teraz poznaj odpowiedzi na te pytania! Czytaj więcej
Polecane
Ikona

How useful was this post?

Click on a star to rate it!

Average rating 3.5 / 5. Vote count: 20

No votes so far! Be the first to rate this post.

Co to jest SEO? Ikona 20:00 min 28.09.2023 Optymalizacja strony pod kątem SEO to proces długofalowy. Wymaga umieszczenia każdej nowej treści w odpowiednim miejscu struktury. Jak wesprzeć proces pozycjonowania? Czytaj więcej
Ikona

How useful was this post?

Click on a star to rate it!

Average rating 3.5 / 5. Vote count: 18

No votes so far! Be the first to rate this post.

Samodzielne pozycjonowanie strony Ikona 15:00 min 28.09.2023 Skuteczne pozycjonowanie to także działania off-site, czyli takie, które wykonywane są poza samą stroną internetową. Czytaj więcej

Na dobry start
proponujemy Ci bezpłatnie:

Bezpłatna wycena
Kontakt

Wyprzedź
konkurencję

Zadaj pytanie ekspertowi

739 943 700