Загороднов Слава.
Индексация сайта поисковыми машинами
Ежегодно, с ростом объема информации представленной в Интернете, растет и количество пользователей, ищущих эту информацию. В XXI веке Интернетом пользуются все слои населения - школьники, студенты и даже пенсионеры. Количество поисковых запросов растет в геометрической прогрессии. Поэтому одной из важнейших задач стало обеспечение быстрого, высококачественного и эффективного поиска данных.
Первоначально поиск нужной информации осуществлялся с помощью Интернет-каталогов, в которые ссылки на упорядоченные по тематике сайты вручную вносили модераторы-добровольцы. На популярность каталогов влияло качество и количество собранных в нем сайтов. Первым таким веб-каталогом стал каталог Yahoo, появившийся на свет в 1994 году.
Но все же подобные каталоги малоэффективны, потому что не могут вместить в себя всю информацию с просторов мировой паутины. Например, огромнейший каталог Dmoz собрал в себе информацию о более чем 4,5 миллионов сайтов. Много, не правда ли? Но, забегая вперед, отмечу, что поисковой системой Google проиндексировано порядка 8 млрд. документов! Именно с появлением поисковых систем популярность веб-каталогов сошла на нет.
Что же такое поисковая система? Это, попросту выражаясь, сайт, на котором размещен web-интерфейс системы. Программной же частью поисковика является поисковый движок - комплекс программ, с помощью которых и обеспечивается функция поиска. Поисковые боты системы (специальные программы), переходя по ссылкам с одной Интернет-странички на другую, передают собранную информацию на обработку в систему, где впоследствии данные о проиндексированных сайтах хранятся в базе данных.
На первых порах, чтобы облегчить задачу роботам-поисковикам, списки для индексации создавались вручную. В дальнейшем необходимость в этом отпала. Теоретически, переходя по ссылкам, можно найти все документы. Но на практике это не осуществимо, так как постоянно отслеживать в режиме реального времени всю вновь поступающую информацию никак не получается. Объем базы данных даже самых крупных поисковых систем равен всего лишь процентам пятидесяти от общей информации сети Интернет.
Теперь немного из истории создания поисковых систем. «Дедушкой» нынешних поисковых роботов стал Archie - система отслеживания FTP-архивов. Эта система сканировала еще не известные FTP-сервера и собирала данные о находящихся там файлах. Арчи работал еще в те времена, когда HTTP-cерверов насчитывались единицы!
Настоящим поисковым роботом, в современном понимании этого слова, стал бот World Wide Web Wanderer. Поисковые системы появились где-то в середине 90-х годов. Первым поисковиком, позволявшим пользователям искать информацию по ключевым словам, стал «WebCrawler», появившийся в 1994 году. В след за ним появились конкуренты Excite, Lycos, Infoseek и, самая популярная, AltaVista, у которой имелся свой собственный робот и которая обладала очень удобным интерфейсом.
AltaWista одной из первых представила легковесный интерфейс, который впоследствии переняла компания Google. Со временем поисковые системы стали достойными конкурентами каталогов. Позже, для увеличения функционала, многие интернет-каталоги объединились или добавили к себе системы поиска, как Yahoo.
В 1998 году студентами Стендфордского университета Ларри Пейджем и Сергеем Брином была создана самая популярная в данный момент поисковая система Google. В России первые поисковики - Апорт и Рамблер - появились в 1996 году. До появления в 1998 году поисковой машины «Яндекс», «Рамблер» с его каталогом сайтов «Топ 100» был самым популярным поисковым ресурсом на просторах Рунета.
Дополнительный материал по поисковому продвижению сайтов
продвижение web сайта поисковое продвижение поисковая оптимизация сайта