Кто такие поисковые роботы и какую функцию они выполняют в поиске

Кто такие поисковые роботы и какую функцию они выполняют в поиске Поисковые боты являются собой автоматические утилиты, которые непрерывно просматривают...