Wyższy standard skuteczności
Blog
Informacje z branży i życia firmy
Wybierz dziedzinę

Plik robots.txt do kosza?

Opublikowano: 13-05-2011
Czas potrzebny do przeczytania: 1:20 min
W ostatnim czasie grupa aktywistów-programistów z Archive Team nawołuje do pozbycia się pliku robots.txt (istotnego m.in. dla pozycjonowania) ze stron www, określając go tylko jako „szkodę i tymczasowe szaleństwo”.

Plik robots.txt został stworzony przez Martina Kojstera w czasach, gdy Internet w postaci sieci tekstowej Gophera zaczął zastępować World Wide Web. Innowacyjna jak na tamte czasy technologia powodowała obciążenie serwerów do granic możliwości, dlatego konieczne było stworzenie narzędzia pozwalającego administratorom ograniczenie dostępu do zasobu witryny internetowej innym maszynom i automatycznym procesom, żeby nie „spalić” serwera.

Według Archive Team ówczesna rola robots.txt to już nuta przeszłości, ponieważ problem ten został już dawno rozwiązany. Obecnie plik robots.txt przynosi więcej kłopotów niż pożytku, m.in. powoduje niechciane modyfikacje, błędne przejścia URL i przede wszystkim utratę historycznie ważnych dla witryny danych.

Na obronę robots.txt pozostaje powstrzymywanie botów przed aktywacją niepożądanych automatycznych procesów.

Nasuwa się pytanie, co jeśli nawoływania „krzykaczy” z Archive Team znajdą posłuch w szerszym kręgu webmasterów? Jaki wpływ będzie miało powszechne pozbycie się plików robots.txt na indeksację oraz na technikę pozycjonowania stron internetowych?

Na razie nic nie zapowiada wielkiej rewolucji, pozycjonowanie ma się dobrze - pozostaje więc cierpliwie czekać na rozwój wydarzeń.

źródło: Webhosting
Autor
Miron Kłosiński
Ocena artykułu
2.60 - (5 głosów)
Komentarze
Dodaj komentarz
Ostrzeżenie: Uwaga na firmę o podobnej nazwie! Więcej...
Zapoznałem się