Fresh Crawl i Deep Crawl – czym są i dlaczego są ważne

Kiedy, jak i dlaczego roboty robią Crawla

Google przyzwyczaił nas do tego, że nigdy oficjalnie nie podaje szczegółów w zakresie działań wykonywanych przez roboty, czynników algorytmicznych, częstotliwości aktualizacji algorytmów, zmian w nich zachodzących, czy też innych elementów, które mogą mieć wpływ na pozycjonowanie i pozycje naszej strony w wynikach wyszukiwania.

Wiedza branży SEO opiera się zatem przede wszystkim na testach i doświadczeniach, przeprowadzanych na żywym organizmie zewnętrznego środowiska, jakim jest największa na świecie wyszukiwarka internetowa. Dzięki nim opracowywane zostają rozwiązania, które „prawdopodobnie” mają największą szansę na odniesienie sukcesu.

Z tego też powodu, mówiąc o tym czym są fresh crawl i deep/main crawl, z jaką częstotliwością są wykonywane przez roboty sieciowe, jakich elementów witryny dotyczą – możemy mówić tylko w kontekście „najprawdopodobniej”.

Jednak prawdopodobieństwo, iż przedstawione poniżej informacje będą w 100% zgodne z prawdą jest stosunkowo wysokie, gdyż wiedzę czerpałem ponownie od naszych specjalistów ds. pozycjonowania, których skuteczność w działaniu mówi sama za siebie.

Fresh Crawl – pełzanie codzienne?

Fresh Crawl to najprościej rzecz ujmując, taki rodzaj przeszukiwania sieci internetowej i poszczególnych witryn przez roboty, który odbywa się każdego dnia. Dotyczy przede wszystkim stron, które są często aktualizowane ze względu na swój charakter, np. blogi czy serwisy informacyjne, a także stron, które dopiero pojawiły się w Internecie.

Większość źródeł wskazuje, że fresh crawl może być przeprowadzany codziennie lub nawet kilka razy dziennie. Jednak również w tym wypadku nie ma jednoznacznej odpowiedzi – wszystko zależy od charakteru witryny, którą odwiedza „pełzacz” Google. Wyszukiwarka wprowadziła fresh crawla jeszcze w poprzedniej dekadzie, a miało to na celu zwiększenie wiarygodności wyników wyszukiwania.

Innymi słowy, dzięki temu, że roboty sieciowe wykonują fresh crawla, jesteśmy w stanie uzyskać najbardziej aktualne odpowiedzi na zadawane wyszukiwarce pytania. Z perspektywy użytkownika jest to szczególnie istotne, kiedy jest on zainteresowany śledzeniem ważnego wydarzenia, np. zawodów sportowych, debaty sejmowej czy gali wręczenia nagród muzycznych lub filmowych.

Co ważne, fresh crawl dzięki dodawaniu nowych stron do wyników wyszukiwania, zanim zostaną one umieszczone w głównym indeksie Google, jest w stanie wygenerować na nich duży ruch, co jest zjawiskiem korzystnym zarówno z perspektywy właściciela witryny, jak i też użytkowników poszukujących aktualnych informacji.

Z tej perspektywy, bardzo ważnym aspektem jest regularne aktualizowanie informacji na swojej stronie internetowej, tak aby mogła ona podlegać fresh crawlowi i zwiększać swoje szanse na wyświetlanie się użytkownikom, którzy poszukują najbardziej aktualnych informacji.

Deep/Main Crawl – pełzanie comiesięczne?

Tłumacząc ten termin dosłownie otrzymujemy zwrot głębokie/główne pełzanie. Możemy zatem wywnioskować, iż deep crawl to zbieranie szczegółowych informacji na temat strony internetowej, sprawdzanie treści, profilu linkowego oraz wszystkich nowych elementów, które się na niej pojawiły. Najprawdopodobniej, deep crawl odbywa się raz w miesiącu, jednak podobnie jak w przypadku fresh crawla, jego częstotliwość może być zróżnicowana, w zależności od witryny, której dotyczy.

W trakcie wykonywania deep crawla, roboty sieciowe selekcjonują wszystkie linki, które się pojawiają na witrynie, w celu ich późniejszego przeszukania. Należy tu zaznaczyć, iż nie wszystkie linki znalezione przez bota podczas deep crawla trafiają do głównego indeksu Google, gdyż mogą one posiadać np. znacznik meta-robots z wartością noindex, follow.

W przypadku napotkania takiego oznaczenia googlebot wchodzi na stronę, jednak nie indeksuje jej zawartości – contentu. Komenda follow nakazuje mu „iść po linku”, natomiast noindex „zabrania” indeksowania zawartości tej witryny.

Istotnym elementem, który podczas deep crawla sprawdza googlebot jest również kod źródłowy strony. Powinien on być zoptymalizowany w taki sposób, aby jego zawartość była szybko i łatwo dostępna dla robota sieciowego. W przeciwnym wypadku może on nie zaindeksować naszej witryny, tak jakbyśmy sobie tego życzyli. Dlatego też optymalizacja kodu źródłowego strony to jedno z podstawowych działań podejmowanych w ramach pozycjonowania witryny.

„Deep crawl jest bardzo ważny, ponieważ w wyniku jego indeksowania strona może zanotować wzrost lub spadek pozycji. Aby jego wizyta wpłynęła korzystnie na pozycje naszego serwisu warto optymalizować go zgodnie z Wytycznymi dla Webmasterów Google oraz sprawić, by był on wartościowy dla użytkowników którzy go odwiedzają.” – podsumowuje Anita Rybarczyk, nasza specjalistka ds. pozycjonowania.

Innymi słowy, dzięki deep crawlowi, internauci zadając wyszukiwarce pytania, będą mogli uzyskać wyniki z odpowiedziami, które będą dla nich najbardziej użyteczne. Na pierwszych miejscach w wynikach wyszukiwania znajdą się najbardziej tematyczne, eksperckie i budzące największe zaufanie strony internetowe.

Jak wskazuje nam Google, nadrzędnym celem deep crawla jest dotarcie do najdalszych zakątków Internetu i zaindeksowanie stron znajdujących się w sieci.

Czy możemy wpłynąć na częstotliwość wykonywania crawli?

Jak już wspomniałem, dzięki crawlowi nasza witryna zostaje zaindeksowana, co z perspektywy osiągania wysokich pozycji w wynikach wyszukiwania powinno nas szczególnie interesować. Praktyka pokazuje jednak, że webmasterzy posiadają narzędzia, dzięki którym mogą wpływać na częstotliwość wykonywania crawla przez boty. Zapytana o ten aspekt crawli Anita Rybarczyk, wymienia między innymi:

– częste aktualizowanie serwisu – poprzez prowadzenie np. bloga,

– korzystanie z funkcji „Pobierz jako Google” w narzędziu Google Search Console,

– zdobywanie wartościowych odnośników, które „zaprowadzą” robota do strony.

Nasza specjalistka zaznaczyła jednak, że: „Ostateczna decyzja co do tego kiedy strona zostanie przeindeksowana należy niestety do Google.”

Aktualna treść, to większa szansa, że internauci znajdą Twoją stronę

Jesteśmy w stanie w jakiś sposób wpływać na częstotliwość dokonywania crawli, co w niektórych sytuacjach ma swoje zalety. Warto jednak przede wszystkim dbać o aktualny, świeży i atrakcyjny dla użytkownia content na stronie. Wprowadzajmy nowe produkty czy usługi, dbajmy o rozbudowę naszej witryny, a jeśli prowadzimy firmowego bloga to nie zapomnijmy o regularnym zamieszczaniu nowych wpisów. Dzięki crawlom nasza strona jest widoczna dla internautów.

Źródła: forum.seochat ; real-knowledge ; googleguide ; webworkshop ; commoncrawl