Pozycjonowanie i optymalizacja stron polega między innymi na tym, by przedstawić robotom wyszukiwarek internetowych jak najwięcej wartościowych treści. Czasem jednak część treści należy ukryć przed wyszukiwarkami. Dlaczego? Powodów może być kilka – prywatność, duplicate content, nadmierny transfer tworzony przez roboty, itd. Jak to zrobić, żeby ukryte treści nie wpłynęły negatywnie na pozycjonowanie?
Robots.txt
Jeden z łatwiejszych sposobów na blokowanie robotów wyszukiwarek internetowych. Podstawowe informacje na temat używania pliku robots.txt znaleźć można wykonując
audyt SEO. Wkrótce zamieścimy artykuł opisujący zasady tworzenia tego typu plików oraz ich zastosowanie.
Meta-robots
W przypadku używania meta-robots do blokowania strony można użyć dwóch rozwiązań:
<meta name=”robots” content=”noindex,follow”> – w tym przypadku robot nie zaindeksuje strony, ale przejdzie do stron linkowanych na stronie blokowanej
<meta name=”robots” content=”noindex,nofollow”> – w tym przypadku robot nie zaindeksuje strony i nie będzie przechodzić na strony linkowane na stronie blokowanej.
Iframes – pływające ramki
To sposób na blokowanie wybranych części podstrony. Część treści, która nie ma być zaindeskowana, może zostać osadzona w ramce, która jest zablokowana np. poprzez robots.txt.
Tekst w obrazkach
Wyszukiwarki internetowe nie czytają tekstów zawartych w obrazkach. Można zatem tekst umieścić w grafice. Sposób ten jest niestety niezbyt praktyczny z dwóch względów. Po pierwsze korzystając z tego rozwiązania blokujemy stronę dla osób niewidomych korzystających z czytników ekranu, a po drugie strona może stać się mniej czytelna dla użytkowników komórek.
Aplety Java i Ajax
Treści można również parsować i ukrywać przy pomocy apletów Java. Wiadomo również, iż wyszukiwarki mają problemy z indeksowaniem stron opartych na technologii Ajax. Rozwiązanie niepraktyczne z podobnych powodów jak wyżej wymienione.
Korzystanie z formularzy
Roboty wyszukiwarek internetowych nie przejdą po formularzu, który stworzony jest w formie wyszukiwarki. Należy jednak pamiętać, iż wyniki wyszukiwania należy blokować przy pomocy np. robots.txt, gdyż ktoś z zewnątrz może dodać link do strony z tymi wynikami, a wtedy robot może taką stronę zaindeksować.
Dostęp na login/hasło
Wystarczy stworzyć prosty system logowania i umożliwić przeglądanie strony tylko dla zarejestrowanych osób.
Blokowanie/cloaking w zależności od user-agent lub adresu IP
Można skonfigurować serwer tak, by blokował lub wyświetlał stronę bez wybranych treści dla botów z danej puli adresów IP lub dla botów o danej wartości user-agent.
Usunięcie stron poprzez narzędzia wyszukiwarek
Większe wyszukiwarki internetowe dają użytkowniom możliwość usunięcia stron z indeksu. Strony zgłoszone do usunięcia przy pomocy narzędzia „Usuń adresy URL” dostępnego w Narzędziach Google dla webmasterów zwykle znikają z indeksu Google w przeciągu 24 godzin. Wkrótce przedstawimy opis korzystania z tego narzędzia.
rel=”nofollow”
Do atrybutów linku dodać można kolejny – rel=”nofollow”. Roboty wyszukiwarek internetowych nie będą wtedy przechodziły dalej po takich linkach. Należy jednak pamiętać, iż ktoś z zewnątrz może dodać linka do strony bez atrybutu rel=”nofollow”, a wtedy strona zostanie zaindeksowana. Oczywiście można dodaktowo zastosować rozwiązania wymienione wcześniej, które skutecznie zablokują roboty 😉
Pozycjonując stronę internetową warto pamiętać o powyższych rozwiązaniach, żeby możliwie skutecznie ukrywać treści przed robotami Google.