Pozycjonowanie i optymalizacja stron polega między innymi na tym, by przedstawić robotom wyszukiwarek internetowych jak najwięcej wartościowych treści. Czasem jednak część treści należy ukryć przed wyszukiwarkami. Dlaczego? Powodów może być kilka – prywatność, duplicate content, nadmierny transfer tworzony przez roboty, itd. Jak to zrobić, żeby ukryte treści nie wpłynęły negatywnie na pozycjonowanie?
robots.txt
Jeden z łatwiejszych sposobów na blokowanie robotów wyszukiwarek internetowych. Podstawowe informacje na temat używania pliku robots.txt znaleźć można
tutaj. Wkrótce zamieścimy artykuł opisujący zasady tworzenia tego typu plików oraz ich zastosowanie.
meta-robots
W przypadku używania meta-robots do blokowania strony można użyć dwóch rozwiązań:
<meta name=”robots” content=”noindex,follow”> – w tym przypadku robot nie zaindeksuje strony, ale przejdzie do stron linkowanych na stronie blokowanej
<meta name=”robots” content=”noindex,nofollow”> – w tym przypadku robot nie zaindeksuje strony i nie będzie przechodzić na strony linkowane na stronie blokowanej.
iframes – pływające ramki
To sposób na blokowanie wybranych części podstrony. Część treści, która nie ma być zaindeskowana, może zostać osadzona w ramce, która jest zablokowana np. poprzez robots.txt.
tekst w obrazkach
Wyszukiwarki internetowe nie czytają tekstów zawartych w obrazkach. Można zatem tekst umieścić w grafice. Sposób ten jest niestety niezbyt praktyczny z dwóch względów. Po pierwsze korzystając z tego rozwiązania blokujemy stronę dla osób niewidomych korzystających z czytników ekranu, a po drugie strona może stać się mniej czytelna dla użytkowników komórek.
aplety Java i Ajax
Treści można również parsować i ukrywać przy pomocy apletów Java. Wiadomo również, iż wyszukiwarki mają problemy z indeksowaniem stron opartych na technologii Ajax. Rozwiązanie niepraktyczne z podobnych powodów jak wyżej wymienione.
korzystanie z formularzy
Roboty wyszukiwarek internetowych nie przejdą po formularzu, który stworzony jest w formie wyszukiwarki. Należy jednak pamiętać, iż wyniki wyszukiwania należy blokować przy pomocy np. robots.txt, gdyż ktoś z zewnątrz może dodać link do strony z tymi wynikami, a wtedy robot może taką stronę zaindeksować.
dostęp na login/hasło
Wystarczy stworzyć prosty system logowania i umożliwić przeglądanie strony tylko dla zarejestrowanych osób.
blokowanie/cloaking w zależności od user-agent lub adresu IP
Można skonfigurować serwer tak, by blokował lub wyświetlał stronę bez wybranych treści dla botów z danej puli adresów IP lub dla botów o danej wartości user-agent.
usunięcie stron poprzez narzędzia wyszukiwarek
Większe wyszukiwarki internetowe dają użytkowniom możliwość usunięcia stron z indeksu. Strony zgłoszone do usunięcia przy pomocy narzędzia „Usuń adresy URL” dostępnego w Narzędziach Google dla webmasterów zwykle znikają z indeksu Google w przeciągu 24 godzin. Wkrótce przedstawimy opis korzystania z tego narzędzia.
rel=”nofollow”
Do atrybutów linku dodać można kolejny –
rel=”nofollow”. Roboty wyszukiwarek internetowych nie będą wtedy przechodziły dalej po takich linkach. Należy jednak pamiętać, iż ktoś z zewnątrz może dodać linka do strony bez atrybutu rel=”nofollow”, a wtedy strona zostanie zaindeksowana. Oczywiście można dodaktowo zastosować rozwiązania wymienione wcześniej, które skutecznie zablokują roboty 😉
Pozycjonując stronę internetową warto pamiętać o powyższych rozwiązaniach, żeby możliwie skutecznie ukrywać treści przed robotami Google.