Как устроена поисковая система

Следующая статья: Что Yandex не любит на сайтах официально?

Содержание

Основные компоненты поисковых систем
Подробнее о каждом из компоненте поисковых систем
Критерии поиска при формировании выдачи поисковыми системами

Основные компоненты поисковых систем

Из пяти отдельных программных компонент состоят поисковые системы, а именно:

Паук (spider): его задача – скачивать web страницы; программа, которая подобна web браузеру.
Crawler: паук, которого называют «путешествующим»; он автоматически переходит по всем ссылкам, которые были найдены на странице.
Индексатор (indexer): программа, которую называют «слепой»; её задача анализировать web страницы, которые были скачены пауками.
База данных (database): она является хранилищем страниц, которые были сначала скачены, а потом подвергнуты обработке.
Система выдачи результатов (search engine results engine): данная система помогает извлекать результаты поиска из базы данных.

Подробнее о каждом из компоненте поисковых систем

Паук: Spider – его задача проста - скачивать web страницы. Принцип его работы ничуть не отличается от вашего браузера, в том случае, если вы просто соединяетесь с сайтом и начинаете загружать страницу. Визуализация у Паука отсутствует. Похожую ситуацию (скачивание) можно увидеть, когда вы начинаете просматривать какую-то страницу и выбираете в вашем web браузере «просмотреть HTML-код».

Crawler: Подобно Пауку он тоже скачивает страницы, также в его функциях есть «раздевание» страницы и нахождение всех ссылок. Это и является его задачей – определить, куда же Паук должен двигаться дальше, он основывается только на ссылках или при помощи заранее заданного списка адресов.

Индексатор: Indexer помогает разобрать страницу на разные ее части и проанализировать их. Вычленяются и анализируются заголовки, элементы любых заголовков страниц, текст, ссылки, элементы BOLD, ITALIC, структурные элементы, а также другие стилевые части страницы.

База данных: Database является хранилищем любых данных, которые поисковая система собирается скачать и проанализировать. В большинстве случаев для этого требуются огромные ресурсы.

Система выдачи результатов: Search Engine Results Engine является сердцем поисковой системы. Именно данная система будет решать, какие же страницы будут удовлетворять каждому запросу обычного пользователя. При помощи данной части поисковой системы и осуществляется поиск.

В случае если пользователь ввёл ключевое слово и начал поиск, поисковая система начинает отбирать результаты, опираясь на постоянно меняющиеся критерии. Метод, по которому поисковая система принимает любые свои решения, называется алгоритмом. «Algos» - данный термин иногда используют профессиональные seo оптимизаторы - это и есть то, о чем мы разговариваем.

Схема работы поисковой системы

Критерии поиска при формировании выдачи поисковыми системами

Даже из-за того, что поисковые системы очень изменились, большинство из них в наше время отбирает результаты поиска, опираясь на данные критерии:

Заголовок (Title): Есть ли в заголовке ключевое слово?
Домен/адрес (Domain/URL): Есть ли в адресе страницы или в имени домена ключевое слово?
Стиль (Style): Заголовки HEAD, Курсивный (I или EM), Жирный (B или STRONG): есть ли на странице место, где ключевое слово используют в курсивных, жирных, или Hx (H1, H2, …) текстовых заголовках?
Плотность (Density): Насколько часто ключевое слово употребляется на странице? Плотность ключевого слова - количество ключевых слов относительно текста страницы.
Мета данные (MetaInformation): Хоть и многие отрицают, но некоторые поисковые системы в наши дни всё ещё читают мета описания (meta description) и мета ключевые слова (meta keywords).
Ссылки наружу (Outbound Links): Куда ведут ссылки на странице, и имеется ли в тексте ссылки ключевое слово?
Внешние ссылки (Inbound Links): У кого еще в Интернете имеется ссылка на этот сайт? Что в тексте ссылки? Автор страницы не в каждом случае может контролировать этот критерий, поэтому он называется «внестраничным».
Ссылки внутри страницы (Insite Links): Содержит ли страница ссылки на еще какие-нибудь страницы этого сайта?