W ostatnim czasie grupa aktywistów-programistów z Archive Team nawołuje do pozbycia się pliku robots.txt (istotnego m.in. dla pozycjonowania) ze stron www, określając go tylko jako „szkodę i tymczasowe szaleństwo”.
Historia robots.txt
Plik robots.txt został stworzony przez Martina Kojstera w czasach, gdy Internet w postaci sieci tekstowej Gophera zaczął zastępować World Wide Web. Innowacyjna jak na tamte czasy technologia powodowała obciążenie serwerów do granic możliwości, dlatego konieczne było stworzenie narzędzia pozwalającego administratorom ograniczenie dostępu do zasobu witryny internetowej innym maszynom i automatycznym procesom, żeby nie „spalić” serwera.
Robots.txt problematyczny?
Według Archive Team ówczesna rola robots.txt to już nuta przeszłości, ponieważ problem ten został już dawno rozwiązany. Obecnie plik robots.txt przynosi więcej kłopotów niż pożytku, m.in. powoduje niechciane modyfikacje, błędne przejścia URL i przede wszystkim utratę historycznie ważnych dla witryny danych.
Na obronę robots.txt pozostaje powstrzymywanie botów przed aktywacją niepożądanych automatycznych procesów.
Nasuwa się pytanie, co jeśli nawoływania „krzykaczy” z Archive Team znajdą posłuch w szerszym kręgu webmasterów? Jaki wpływ będzie miało powszechne pozbycie się plików robots.txt na indeksację oraz na technikę pozycjonowania stron internetowych?
Na razie nic nie zapowiada wielkiej rewolucji, pozycjonowanie ma się dobrze – pozostaje więc cierpliwie czekać na rozwój wydarzeń.
źródło: Webhosting