Паук, поисковый робот – программное обеспечение, являющееся составной частью комплекса поисковой системы, предназначенное для перебора и внесения информации о содержимом страниц сайтов в базу данных на сервере поисковой системы (ПС).
Принцип действия паука: посещение страницы, анализ и сохранение в специальном виде её содержимого в базе данных ПС, переход по ссылкам на другие страницы. Алгоритм работы ПС определяет: частоту посещения сайта роботом, глубину проникновения, максимальный размер обрабатываемой информации на странице, правила выделения значимой информации, способы защиты от зацикливания при обходе.
Для максимально полной индексации страниц роботом рекомендуется применять карту сайта. Для запрещения посещения пауком сайта или его отдельных страниц используются директивы в файле robots.txt, установка пароля, требование регистрации для посещения. Для ускорения индексации страниц сайта многие поисковые системы позволяют поместить ссылку на него в очередь индексирования. Помимо основного типа пауков, поисковые машины используют специализированные роботы для индексации изображений, часто обновляющихся страниц, RSS-лент.