Jak dobrze żyć z Googlebotem?

Przygotowanie strony pod wymagania robota wyszukiwarki to klucz do sukcesu w pozycjonowaniu. Każda wyszukiwarka posiada własnego robota – inaczej mówiąc, automatyczny program, który zajmuje się przeszukiwaniem stron obecnie istniejących w sieci, w przypadku najpopularniejszej przeglądarki, jaką jest Google, mówimy o Googlebocie – i tu pojawia się pytanie: co on lubi? I co zrobić, by żyć z nim w zgodzie?

Jestem Googlebot

Kim, a raczej czym jest w zasadzie Googlebot? Najłatwiej powiedzieć, że to program, którego zadaniem jest wykonywanie zautomatyzowanych zadań na dużą skalę. To złożony algorytm, którego głównym celem jest wyszukiwanie stron w internecie, zbieranie informacji o nich i katalogowanie ich. Gdy Googlebot dostanie się już na stronę, przegląda jej zawartość (w trakcie jednych odwiedzin nie zawsze jest w stanie przejrzeć zawartość całej strony) wyszukuje słowa kluczowe i na ich podstawie kataloguje stronę zgodnie z wytyczonymi odgórnie kryteriami. Warto tu jednak zaznaczyć, że sami eksperci z Googla przyznają, że Googlebot nie jest już technologią najnowszą i czeka go aktualizacja, obecnie jednak dość często ma on problem z odczytywaniem kodu opartego na JavaScript.

Googlebot z wizytą u Ciebie

W sieci w jednym momencie istnieją miliony stron, a Googlebot musi jakoś trafić właśnie do Ciebie. Warto zatem wiedzieć, jak wygląda jego podróż i jak można nią pokierować, by z wizytą wpadł na Twoją stronę! Droga, jaką obiera robota polega na śledzeniu linków prowadzących do konkretnych witryn. Przegląda on znane sobie już domeny i wychodzące z nich linki, które są dla Googlebota czymś w rodzaju drogowskazu. Im bardziej widoczny adres URL, tym większe prawdopodobieństwo, że bot go odnajdzie. Tym samym im więcej linków, tym większe prawdopodobieństwo, że za sprawą „drogowskazów” Googlebot trafi właśnie do Ciebie. Dlatego stworzenie rozbudowanego link buildingu, o którym pisaliśmy wcześniej tu, to tak istotna kwestia przy pozycjonowaniu witryny. Warto także dodać, że jakość, jak i ilość linków, jakie prowadzą do witryny, Google także uznaje za jeden z ważniejszych czynników rankingowych, o czym także pisaliśmy.

Czy to jednak oznacza, że jeżeli strona nie posiada linków zewnętrznych, prowadzących do niej, to robot Google nigdy jej nie odwiedzi? Nie. Otóż za pomocą Google Search Console można przesłać informacje o własnej witrynie, dzięki czemu bot i tak, nawet bez żadnych drogowskazów prowadzących do niej, ją odwiedzi.

Co w trakcie odwiedzin?

Wiemy już, że robot Google odwiedza strony w celu ich sklasyfikowania, jak to jednak przebiega? W zasadzie robot, który trafił na stronę, odczytuje jej zawartość. Wyłapuje on w jej obrębie słowa kluczowe, które będą wyświetlane w wynikach wyszukiwania. Warto zaznaczyć, że na zrozumienie zawartości wpływ ma nie tylko content dostępny w jej obrębie, ale także kod źródłowy samej strony, jeśli nie będzie miał on właściwych znaczników bądź też będzie napisany językiem mało przyjaznym dla robota (wspominaliśmy już o tym, że Googlebot to nieco przestarzały program) może to utrudnić zrozumienie zawartości witryny, a tym samym sprawi, że właściwe sklasyfikowanie strony może być dość trudne. Kiedy bot zakończy renderowanie, przechodzi do zapoznania się z zawartością strony – największe znaczenie mają tu oczywiście opublikowane teksty, dlatego powinny być one zoptymalizowane pod kątem SEO, by klasyfikacja przebiegła prawidłowo, w czym chętnie pomożemy. Warto jednak pamiętać o tym, że robot przegląda także obrazki znajdujące się na stronie, dlatego także one powinny być zoptymalizowane zgodnie z wymaganiami SEO. Na koniec warto zaznaczyć, że bot, choć ma na celu klasyfikowanie stron to jednocześnie także je wartościuje, dlatego w trakcie odwiedzin sprawdza także, czy strona jest dostosowana do urządzeń mobilnych – wersje mobilne obecnie mają bowiem priorytet, jeśli chodzi o indeksowanie, jeśli dana witryna jej nie posiada, to Googlebot sklasyfikuje ją bardzo nisko.

Jak żyć dobrze z Googlebotem?

Googlebot to wielozadaniowy system, ma on jednak swoje ograniczania, o których wspomniano już na wstępie, przede wszystkim trzeba mieć na uwadze to, że w trakcie jednych odwiedzin na stronie jest on w stanie przejrzeć tylko część podstron należących do danej witryny. Od czego zależy to, z jak dużą częścią serwisu robot się zapozna? Określa to tak zwany budżet indeksowania strony (Crawl Budget) – odgórne wyznaczenie, ile stron jest w stanie zindeksować robot w trakcie jednego pobytu. Im bardziej rozbudowana domena, tym więcej czasu potrzeba na jej pełną indeksację, dlatego warto wiedzieć, jak Googlebotowi można umilić pobyt i ułatwić jego zadanie — jednym, z istotniejszych czynników będzie tu na pewno prędkość ładowania się strony. Oczywiście nie jest to jedyny czynnik. Jak zatem pomóc Googlebotowi:

Właściwie przygotowany robots.txt

Robots.txt to plik, który umieszcza się w głównym katalogu domeny. Przeznaczony jest on właśnie do kierowania ruchem bota w obrębie strony. Czym jest ten dokument? To spis wytycznych dla bota odnośnie do tego, jakie strony może on odwiedzać, a które zostały wykluczone z indeksowania. Pozwala to ograniczyć ilość podstron w domenie, a co za tym idzie robot w trakcie jednej wizyty może zbadać większą ilość wartościowych podstron. Co należy wykluczyć z indeksacji? Mowa tu o takich podstronach jak np. panel administracyjny czy koszyk zakupowy. Strony te i tak dla robota nie zawierają żadnych wartościowych treści.

Mniejsza ilość przekierowań i eliminowanie błędów 404

Ważne jest to, by wszystkie linki w obrębie strony były aktualne, błędy 404 wpływają negatywnie na efektywność bota, podobnie ma się sytuacja, jeśli chodzi o przekierowania 301 – ich duża ilość także, zmniejsza sprawność bota, dlatego należy zadbać o to, by w obrębie serwisu było ich jak najmniej.

Wykorzystanie atrybutów linków

Robot Googla ma naprawdę ograniczone możliwości, dlatego jak tylko możemy, staramy się ograniczyć ilość stron, które powinien on odwiedzić i indeksować — sposobem, w jaki możemy to zrobić, jest dodawanie odpowiednich atrybutów przy samym umieszczaniu linków w postaci „nofollow” i „dofollow” – pierwszy mówi botowi, że za danym linkiem nie powinien podążać, drugi natomiast, że powinien. Warto jednak zaznaczyć, iż atrybuty te to nie jest bezwarunkowy zakaz lub nakaz, dlatego, jeśli chcemy mieć pewność, że jakaś strona nie zostanie zindeksowana należy bezpośrednio w kodzie źródłowym strony umieścić tag w postaci: name=”robots” content=”noindex” />, dzięki temu podstrona zostanie całkowicie wykluczona z indeksacji.

Odpowiednia konfiguracja mapy witryny

Mapa witryny skonfigurowana w odpowiedni sposób znacząco ułatwia zadanie robotom Googla. Właściwie przygotowany plik sitemap pomogą botom poruszać się w obrębie domeny, dzięki temu poprawiony zostaje czas i wydajność indeksacji nowych zasobów.

Tylko go nie uraź – czyli jakich błędów się wystrzegać

Oczywiście warto wiedzieć, jakie zabiegi należy stosować, by ułatwić robotom Googla ich pracę. Niemniej konieczna jest także wiedza na temat tego, czego się wystrzegać. Z powodu własnej niewiedzy możemy bardzo zaszkodzić naszej witrynie. Jakich błędów należy unikać?

• Brak pliku robots.txt – powoduje, że robot sprawdza większą ilość podstron, co wywołuje logi i błędy w statystykach, oraz zwiększa ilość transferu.
• Blokowanie ważnych stron – niewłaściwie skopiowany plik robots.txt, bazowo blokujący wszystko, lub też reguły dodane w obrębie pliku, które blokują określone strony, ale zdarza się też, że ograniczają dostęp do tych, do których nie powinny. W takiej sytuacji roboty mają bardzo ograniczony dostęp do witryny, co skutkuje jej niskimi pozycjami i uznaniem jej za mało wartościową.
• Blokowanie obrazków i plików CSS/JS – formuły z pliku robots.txt uniemożliwiają botom dostęp do obrazków lub plików CSS odpowiedzialnych za wygląd strony, a także do skryptów JavaScript. Powoduje to, że robot odwiedzający Twoją stronę widzi ją w niewłaściwy sposób.

Oczywiście błędów, które pojawić się mogą na stronie da się wymienić jeszcze więcej, te przedstawione powyżej są jednak tymi najpoważniejszymi, których z łatwością można uniknąć.

Zrozumienie tego, jak funkcjonuje Googlebot to jeden z kluczy do sukcesu Twojej strony. Podejmując właściwe działania, ułatwisz jej poprawną indeksację i zadbasz o podniesie czynników rankingowych, co sprawi, że będzie się ona lepiej wyświetlała w wynikach wyszukiwania. Jeśli nie wiesz jak to zrobić — bardzo chętnie Ci pomożemy.