Wyższy standard skuteczności
Blog
Informacje z branży i życia firmy
Wybierz dziedzinę

Jaką rolę w pozycjonowaniu odgrywa Googlebot?

Opublikowano: 01-07-2016
Czas potrzebny do przeczytania: 6:00 min

Sekwencja symboli czy realna postać?

 

Czy ktoś z was kiedykolwiek próbował sobie wyobrazić program komputerowy jako realną postać? Jest to ważne pytanie, ponieważ Googleboty to właśnie programy komputerowe. Z pewnością żadnych problemów z tym nie mieli fani Matrixa i innych filmów scince fiction. Jeśli jesteś ciekaw, jak sam Google przedstawia swojego robota sieciowego, to zapraszam do lektury.

 

Jak już wspomniałem Googleboty to programy komputerowe, które przywołując definicję są: „sekwencją symboli opisującą realizowanie obliczeń zgodnie z regułami zwanymi językiem programowania”. Większości z nas sekwencja symboli oraz język programowania z pewnością kojarzy się z kodem binarnym, podobnym do tego na grafice po lewej. Trudno jednak nazwać sekwencję symboli czymś żywym, realnym i namacalnym. Czymś co mogłoby przypominać  realną postać. Na szczęście, dzięki Google nasza wyobraźnia może zacząć działać.

 

 

Oficjalnie Googlebot wygląda tak:

imediasolutions

 

Mały, sympatyczny robocik o dziecięcym wyglądzie, który w jednej z rąk czy też pajęczych macek, trzymając się analogii ze spiderem, trzyma kwiaty w kolorach giganta z Mountain View. Mają one symbolizować wytrwałość,  mądrość, energię oraz radość, które cechują każdego robota sieciowego poruszającego się po „wnętrzu” naszej witryny. Uśmiech na twarzy ma sugerować jego przyjazne nastawienie do naszej witryny.

 

Nie można jednak dać zwieść się pozorom! Groźnie wyglądający, wystający ząb to z całą pewnością jego główny atrybut w zjadaniu, trawieniu i indeksowaniu wszystkich elementów mających wpływ na pozycję naszej strony internetowej.

 

Co robią roboty sieciowe Google i dlaczego należy się z nimi liczyć.

 

Kiedy już wystarczająco napatrzymy się na słodką i sympatyczną buzię robota, zamówimy sobie pościel z jego podobizną, a na ścianie powiesimy jego plakat, to warto zastanowić się przez chwilę, dlaczego ten mały stworek pełni tak ważną rolę w procesie pozycjonowania.


Zgodnie z informacjami podanymi przez Google na ich oficjalnej witrynie ze wskazówkami dla webmasterów, w swoich działaniach roboty sieciowe stosują proces algorytmiczny, na podstawie którego samodzielnie decydują o tym, które witryny indeksują, w jakiej kolejności i jak często to robią.

 

Co ciekawe, darwinowska ewolucja odbyła się również w przypadku Googlebotów. Dawno, dawno temu, dostosowując się do sieciowych realiów, w gatunku tych sympatycznie wyglądających robotów nastąpił podział na dwa podgatunki.


Jeden z nich jest odpowiedzialny za wykonywanie tzw. „fresh crawl”, a więc regularnego sprawdzania zmian na naszej witrynie. Ciężko jednoznacznie określić z jaką częstotliwością odbywa się świeże indeksowanie naszej strony, może to być zarówno kilka, jak i kilkadziesiąt razy w ciągu jednego dnia.

 

Drugi podgatunek Googlebotów jest z kolei odpowiedzialny za „deep crawl”, a więc głębokie indeksowanie, które najprawdopodobniej polega na ściąganiu większej ilości danych z naszej witryny i najprawdopodobniej odbywa się kilkukrotnie każdego miesiąca.


Googleboty odgrywają bardzo istotną rolę w procesie pozycjonowania i optymalizacji stron internetowych. O wypowiedź na ten temat poprosiłem Damiana Wilczyńskiego, naszego starszego specjalistę ds. pozycjonowania:

W ramach optymalizacji strony, jednym z podstawowych działań, jakie podejmujemy, jest przygotowanie jej do odwiedzin przez roboty sieciowe. W tym aspekcie nasza praca polega przede wszystkim na „ułatwieniu” odczytywania strony internetowej przez roboty. Chodzi o takie sterowanie Googlebotem, aby odwiedzał on najważniejsze elementy witryny naszego klienta i nie indeksował np. bezwartościowych kopii stron.

 

Zjadanie, trawienie i indeksowanie tych fragmentów witryny, na które nakierujemy Googlebota można porównać do popularnej gry internetowej z lat 80-tych.

 

Youtube

 

Patrząc na powyższą grafikę: legendarny Pacman to nasz Googlebot, zjadane przez niego drobinki to elementy naszej strony internetowej podlegające indeksowaniu, natomiast podążające za nim duszki to tagi z kodu źródłowego, które nakierowują robota na kluczowe fragmenty. Co prawda nie są one w stanie "zjeść" Googlebota, tak jak duszki robiły to z Pacmanem, jednak w grze musieliśmy dostosowywać naszą trasę na planszy do nich - podobnie jest w przypadku Googlebota i tagów z kodu źródłowego.

 

Jak okiełznać apetyt Googlebota?

 

Roboty sieciowe są bardzo wyjątkowo drapieżnym gatunkiem w królestwie programów komputerowych. Nieustannie chcą jeść i indeksować, jeść i indeksować, jeść i… na szczęście ich Stwórca powołując je do życia, dał stronom internetowym narzędzia obrony przed ich monstrualnym apetytem. Podstawowym jest stworzenie pliku robots.txt i umieszczeniu go w katalogu głównym witryny. Pełni on również bardzo ważną rolę w pozycjonowaniu.

 

Odpowiada on przede wszystkim za kierowanie ruchem robotów, związanym z indeksowaniem. Dzięki zawartym w nim instrukcjom, możemy nakazać robotom aby nie indeksowały stron nieistotnych lub też podobnych w obszarze naszej wtiryny, co marnowałoby zasoby przeznaczane do indeksowania.

 

W tym celu w pliku robots.txt należy dodać opis do podstawowych słów kluczowych:

 

User-agent - nazwa robota, który ma się stosować do wytycznych pliku txt;

Disallow - zakazanie robotowi dostępu do konkretnych adresów URL;

Allow - dzięki któremu odblokowujemy dostęp do katalogów podrzędnych w zablokowanym komendą Disallow katalogu nadrzędnym.

 

Innym sposobem, jest wpisanie w sekcji head kodu źródłowego strony komendy: <meta name=”robots” content=”noindex”>. Należy jednak pamiętać, że nie zapobiegnie to zjadaniu zawartosci naszej witryny przez robota. Nie będzie ona przetrawiana i indeksowana, jednak na podstawie zawartych na jednej podstronie linków, robot sieciowy może przejść dalej, do kolejnych obszarów naszej strony. Pozycjonowanie wykorzystuje go między innymi do blokowania bezwartościowego contentu, np. "nieskończonego" jakim jest koszyk w sklepie internetowym.

 

Święty Graal SEO

 

Są to stosunkowo proste i skuteczne metody okiełznania drapieżności robotów sieciowych, jednak należy jeszcze posiadać wiedzę co do tego, które zasoby witryny objąć plikiem robots.txt, a w przypadku których wykorzystać metatag "noindex". Ta wiedza jest domeną i jednocześnie świętą tajemnicą pozycjonerów. Można oczywiście podejmować działania na własną rękę, jednak zdecydowanie lepiej jest zaufać w tej kwestii profesjonalistom.

 

Już niebawem, w kolejnych odsłonach cyklu o robotach sieciowych, przybliżę pojęcia "fresh crawl" i "deep crawl". Planuję również opisać zmianę podejścia do wykorzystywania pliku robots.txt w pozycjonowaniu, która jest wymuszona zmieniającymi się wytycznymi Google.

 

Źródła: imediasolutions ; wikipedia ; support.google; kissmetrics

Autor
Łukasz Faliszewski
Ocena artykułu
5.00 - (5 głosów)
Komentarze
Dodaj komentarz
Ostrzeżenie: Uwaga na firmę o podobnej nazwie! Więcej...
Zapoznałem się