Ако сте правили сайт, предполагам много често сте срещали бот на гуугъл в списъка с онлайн потребители и за тези които се чудят какво точно представлява и как работи в следващите няколко изречения ще се опитам да ви обясня.
Всяка търсачка си има „бот“ и неговата цел е да влезе, да я претършува, категоризира според съдържанието вътре и да я запише в базата данни. Търсачката Google има точно 3 бота – Adsense Bot, Freshbot и DeepCrawl, като всеки бот си има своето предназначение.
Аdsense бота се грижи за това да предостави най-близките реклами свързани с вашия сайт. Накратко как работи – когато се създаде нов сайт и добавите adsense кода във вашия сайт, добавения javascript код в него „извиква“ Аdsense бота. Неговата цел е да дойде максимално бързо(до 15 минути), да индексира страницата в най-кратък срок и в зависимост от съдържанието да предостави реклами свързани с тематиката на сайта. При всяка промяна в съдържанието на сайта, Adsense бота идва и отново индексира сайта, за да покаже новите предложения след обновяването.
Целта на Freshbot е да индексира най-посещаваните и полулярни страници на вашия сайт. Посещаването на този бот зависи от това колко често обновявате съдържанието във вашия сайт. Известни сайтове като Ebay имат страници, които се променят много често и трябва да бъдат индексирани. В зависимост от популярността на сайта, Freshbot може да ги посещава на всеки 1 до 14 дена. По време на посещението, той разглежда всички връзки в сайта ги и запаметява в БД за да улесни DeepCrawl бота.
DeepCrawl има задача веднъж в месеца да посещава вашият сайт и да преглежда всички връзки намерени от Freshbot. Точно заради този бот е нужно да чакате месец, за да може Google да намери целия ви сайт, дори и да имате услигата на Google – Sitemap.
Update 05-2021: Статията е разделена на параграфи, намален е текста преди линка за „Прочети още“, заглавната снимка е променена от png лого на Google с нормална снимка с бял фон и същото лого на google, но с висока резолюция.
