Индекс или поисковый индекс - база данных, содержащая информацию о документах, собранную роботами-индексаторами поисковых систем. Процесс занесения поисковым роботом информации о сайте в базу данных называется индексацией. В собираемые сведения главным образом входит информация о расположении ключевых слов в различных частях страниц сайта и исходящих ссылок. Есть возможность индексации и изображений. После обработки полученных данных поисковые системы с помощью соответствующих алгоритмов ранжирования получают возможность выводить сайт в выдаче результатов. При обновлении, число проиндексированных страниц может изменяться.
На сегодняшний момент существует два способа индексации сайта – ручной и автоматический. Первый - добавление адреса сайта через соответствующую форму для индексации, в результате чего робот получает сведения о местонахождение сайта. Второй в автоматическом режиме без вмешательства пользователя. Так как данный процесс может длиться неограниченное время, для его ускорения используются внешние ссылки с уже проиндексированных сайтов.
Управление индексацией сайта осуществляется при помощи файла robots.txt, в котором возможно разрешить либо запретить доступ роботов к тем или иным страницам.
