Как Google индексира сайтовете?

Ако сте правили сайт, предполагам много често сте срещали бот на гуугъл в списъка с онлайн потребители и за тези които се чудят какво точно представлява и как работи в следващите няколко изречения ще се опитам да ви обясня.
Всяка търсачка си има „бот“ и неговата цел е да влезе, да я претършува, категоризира според съдържанието вътре и да я запише в базата данни. Търсачката Google има точно 3 бота – Adsense Bot, Freshbot и DeepCrawl, като всеки бот си има своето предназначение. Нататък Как Google индексира сайтовете?