Следует отличать поисковые системы от поисковых каталогов. Поисковые
системы используют для индексирования сайтов так называемых "поисковых
роботов", спайдеров (от английского слова "spider", что
значит "паук"). Робот - это небольшая программа, которая ходит
по ссылкам на сайте и индексирует (собирает и запоминает) встреченную
на пути информацию.
Принцип работы поисковых роботов приблизительно следующий: вы предоставляете
поисковой системе точный адрес страницы, которую нужно зарегистрировать.
Поисковая система проверяет, существует ли по этому адресу страница, и
если да, то страничка вносится в "график посещения". Между временем,
когда вы зарегистрировали страницу в поисковой системе и временем, когда
вашу страничку посетит поисковый робот может пройти от нескольких минут
до нескольких недель. Так что не спешите сразу же проверять наличие вашей
страницы или сайта в поисковой системе.
Когда приходит "час Х", на вашу страничку посылается поисковый
робот. Как правило, схема работы робота следующая:
1) робот ищет файл robots.txt,
2) робот читает страницу, для индексирования которой он был послан (глубина
индексирования, то есть чтения страницы меняется от робота к роботу. Некоторые
останавливаются только на чтении заглавия страницы и содержимого мета-тегов,
другие могут прочитать, скажем первые 6000 символов на странице, а некоторые
индексируют все содержание веб-страницы),
3) затем робот может либо удалиться либо продолжить индексирование сайта,
4) через какое-то время робот снова может посетить эту страничку, если
существует тег "revisit" или в соответствии с политикой, проводимой
поисковой системой.
Отличие каталогов от поисковых систем заключается в том, что каталоги
не посылают никаких роботов, чтобы индексировать вашу страницу или веб-сайт.
Наиболее известным каталогом является Yahoo.com.
Для регистрации в каталоге вам необходимо найти раздел, в который вы
хотите поместить свою страницу, послать краткое описание сайта и список
ключевых слов для поиска вашей страницы в каталоге. Затем эта информация
просматривается и оценивается людьми, которые решают, стоит ли включать
ваш информацию в каталог или нет.
Следует знать, что вам могут отказать в регистрации, ваш сайт могут поместить
в другой раздел, могут быть изменены описание сайта и/или список его ключевых
слов. Все зависит от модераторов.
Так как регистрация производится человеком, а не программой, то поиск
по каталогам дает более релевантные результаты, нежели поиск по поисковым
системам. Коренным отличием каталогов от поисковиков также является то,
что поиск в них производится не по текстовой составляющей всех страниц
сайта, а только по краткому описанию сервера и выбранным при регистрации
ключевым словам.
|
|