Поисковые системы состоят из трех основных частей:
1. Spider (он же Crawler, он же Bot, он же Robot) - программа, которая посещает веб-страницы, считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице. Spider возвращается через определенные периоды времени (например, каждый месяц) и индексирует страницу снова.
2. Все, что находит и считывает Spider, попадает в индексы поисковой системы. Индексы системы представляют собой гигантское вместилище информации, где хранится преобразованная особым образом текстовая составляющая всех посещенных и проиндексированных Spider-ом страниц.
3. Третья часть - это программа, которая в соответствии с запросом пользователя перебирает индексы поисковой системы в поисках информации, интересующей пользователя, и выдает ему на гора найденные документы в порядке убывания релевантности.