Что понимают под поисковой системой ответ

Поисковая система

Поисковая система — это сложная программная разработка, онлайн-интерфейс которой создан для поиска информации в интернете. Главным качеством подобных сервисов является возможность формирования результатов поиска, которые в максимальной степени соответствуют запросам пользователя. Идеал не достигнут, но все лидеры рынка стремятся к нему. Поисковая система — что это? Миллионы людей ежедневно начинают свой серфинг в интернете с запроса в поисковике, но далеко не все могут ответить на этот вопрос. Алгоритмы поисковых систем не только имеют высокую сложность, но и являются важнейшей для компании коммерческой тайной. Но чтобы понять принцип их работы, достаточно рассмотреть базовые направления функционирования.

Сканирование страниц. С помощью поисковых роботов выполняется автоматический мониторинг появления в Сети новых сайтов и страниц, а также изменений на существующих ресурсах.

Индексация. Алгоритмы определяют тематику, ключевые слова, качество и другие параметры. После обработки полученные сведения отправляются на хранение в базы данных, которые таким образом обновляются.

Ранжирование. Определяется место конкретных страниц сайта в выдаче по всем возможным релевантным запросам. Сегодня при ранжировании во внимание берутся сотни факторов, определяющих тематику, качество и полезность ресурса.

Все известные поисковые системы работают по аналогичному принципу. Однако у каждого сервиса есть свои особенности, о которых мы поговорим ниже.

Google

В конце весны 2019 года агентство Statcounter провело исследование, которое показало, что на Google приходится более 92 % мирового поискового рынка. Такой успех во многом обусловлен тем, что компания много усилий прикладывает к совершенствованию своих алгоритмов анализа и ранжирования. В Google делают все возможное, чтобы пользователи получали лучшие результаты поиска. В процессе совершенствования компания периодически выпускала новые алгоритмы. Некоторые из них не имели особого значения, но отдельные становились причиной настоящего переворота в мире продвижения сайтов. Однако система имеет несколько особенностей.

Консервативные инструменты ранжирования. Нужно отметить, что Google до сих пор отдает приоритет техническим факторам ранжирования. При таком «классическом» подходе большое значение имеет ссылочная масса, возраст домена, авторитет сайта. Такая консервативность привела к тому, что информативные и полезные сайты могут оказаться ниже в тематической выдаче, чем ресурсы без хорошего контента, но с удачными техническими показателями. Такая ситуация кажется удивительной для мирового лидера инноваций и передовых технологий. Однако на адекватность ранжирования в Google жалуются не только оптимизаторы, но и многие требовательные пользователи.

Отслеживание поведения пользователей. Также нельзя не отметить того факта, что корпорация Google периодически попадает в скандалы, связанные с конфиденциальностью. Дело в том, что поисковая система очень тщательно отслеживает поведение пользователей в интернете, причем даже за пределами непосредственно самой поисковой системы. С точки зрения обычных людей это не очень хороший факт. Но для бизнеса такой подход к обработке данных является важным плюсом. Ведь рекламодателям сервис может предоставить самый гибкий и широкий набор инструментов для таргетинга рекламы. С помощью рекламных возможностей Google может добиться невероятного охвата, а также точности выхода на целевую аудиторию.

Если говорить о глобальном рынке, то поисковая система Bing уверенно занимает второе место после Google. Этот сервис принадлежит Microsoft, поэтому не удивительно, что он глубоко оптимизирован под работу с Windows. Поисковая система Bing отличается более совершенным, чем у главного конкурента-гиганта, алгоритмом поиска видеороликов. Пользователям здесь предлагают больше качественных вариантов автозаполнения строки. Алгоритмы Bing глубоко анализируют связи между сайтами, что делает поиск похожих вариантов более результативным.

Yandex

Поисковая система «Яндекс» — это лидер поискового рынка Рунета, который фактически на равных соперничает с Google. Сервис отличается собственным алгоритмом с отменной логикой. Его создатели успешно поработали над тем, чтобы роботы лучше «понимали» смысл текстовых материалов. Поэтому для удачного продвижения здесь придется научиться писать полезные и уникальные статьи. Пользователям поисковой системы «Яндекс» предоставляется доступ к широкому набору дополнительных инструментов, включая карты, почту, информатор о загруженности дорог и пр. Нужно отметить, что многие дополнительные сервисы дублируются аналогичными инструментами от Google.

Продвижение в поисковой системе «Яндекс» проходит быстрее, чем в Google. Но добиться хорошего результата можно только при пристальном внимании к качеству контента и поведенческим факторам. Алгоритмы учитывают то, насколько качественный опыт получил пользователь от взаимодействия с сайтом.

DuckDuckGo

Это еще одна достаточно распространенная поисковая система. С ней точно сталкивались пользователи браузера Firefox, ведь там этот сервис предустановлен по умолчанию. В DuckDuckGo принципиально отказались от «слежки» за своими пользователями. Это во многом позволило эффектно противопоставить себя гиганту Google и завоевать массовую популярность среди ценителей конфиденциальности.

Boardreader

Разработчики этого поискового сервиса решили не идти по консервативному пути. В итоге они создали систему, которая формирует выдачу на основе страниц различных авторитетных форумов. В некотором смысле эта система позволяет обойти коммерческие проекты и получить информацию от людей, которые разбираются в теме, но не представляют бизнес.

Dogpile

Это своеобразный граббер Google, Yandex и Yahoo. При вводе запроса в Dogpile система анализирует соответствующую выдачу у трех гигантов поискового рынка. После этого сервис с помощью собственного алгоритма составляет собственную выдачу. Здесь нет рекламы, поэтому можно глубже сосредоточиться на серфинге в интернете.

Creative Commons Search

Это уникальная поисковая система, которая чем-то напоминает узкоспециализированную социальную сеть. Ее алгоритмы позволяют находить необходимые тематические авторские материалы, причем с возможностью их использования для некоммерческих целей. Это просто находка для дизайнеров, музыкантов и других креативных людей.

Giphy

Эта оригинальная система была создана для удобного поиска анимированных изображений. Если вы любите развлекаться просмотром смешных и увлекательных мини-роликов, то эта поисковая система именно для вас. Также поисковик Giphy будет полезен для администраторов развлекательных сообществ.

Quora

По своему функционалу поисковая система очень напоминает гибрид классического информационного ресурса и сайта вопросов-ответов. Здесь всегда можно найти интересных собеседников, для чего и придется воспользоваться внутренним поиском. На главной странице есть рейтинг популярных вопросов, что позволяет сразу влиться в интересную беседу.

Vimeo

Поисковый сервис Vimeo является достаточно интересным и перспективным конкурентом крупнейшего видеохостинга YouTube. Причин популярности сервиса достаточно много: простой принцип обмена контентом, полное отсутствие рекламы и большой выбор материалов в высоком качестве.

WolframAlpha

Поисковая система WolframAlpha — это собственный оригинальный алгоритм поиска, необычный яркий дизайн и большой выбор дополнительных функций, которых не найдешь у конкурентов. Это интересная альтернатива привычным сервисам.

StartPage

Главная особенность этой поисковой платформы — это полное отсутствие слежки за своими пользователями. Это идеальное решение для людей, которые не хотят, чтобы крупные корпорации зарабатывали миллиарды, продавая информацию о поведении и интересах пользователей интернета. В поисковую систему StartPage встроен мощный прокси-сервер, позволяющий анонимно заходить на любые сайты вне зависимости от региональных или персональных блокировок. Пользователи сервиса не оставляют совершенно никаких следов своего присутствия на сайте.

Ask.com

Эта поисковая система, по сути, является агрегатором, который объединяет работы крупных поисковиков. Здесь пользователи могут добавлять в избранное результаты удачного поиска. А также есть возможность задать вопрос другим пользователям системы.

SlideShare

Это специализированный сервис, созданный для людей, которые нуждаются в инфографике, документах, презентациях и подобных материалах. Здесь собрана большая собственная база, многие из материалов которой не дублируются в свободном доступе. Чтобы пользоваться контентом, достаточно пройти простую и бесплатную процедуру регистрации.

Источник

Поисковая система

Для поиска информации с помощью поисковой системы пользователь формулирует поисковый запрос. Работа поисковой системы заключается в том, чтобы по запросу пользователя найти документы, содержащие либо указанные ключевые слова, либо слова, как-либо связанные с ключевыми словами. При этом поисковая система генерирует страницу результатов поиска. Такая поисковая выдача может содержать различные типы результатов, например: веб-страницы, изображения, аудиофайлы. Некоторые поисковые системы также извлекают информацию из подходящих баз данных и каталогов ресурсов в Интернете.

Поисковая система тем лучше, чем больше документов, релевантных запросу пользователя, она будет возвращать. Результаты поиска могут становиться менее релевантными из-за особенностей алгоритмов (см. «Пузырь фильтров») или вследствие человеческого фактора. По состоянию на 2015 год самой популярной поисковой системой в мире является Google, однако есть страны, где пользователи отдали предпочтение другим поисковикам. Так, например, в России «Яндекс» обгоняет Google больше, чем на 10 %.

По методам поиска и обслуживания разделяют четыре типа поисковых систем: системы, использующие поисковых роботов, системы, управляемые человеком, гибридные системы и мета-системы. В архитектуру поисковой системы обычно входят:

* поисковый робот, собирающий информацию с сайтов сети Интернет или из других документов,

* индексатор, обеспечивающий быстрый поиск по накопленной информации, и

поисковик — графический интерфейс для работы пользователя.

Источник

Поисковая система

Поисковая система (или так называемый «поисковик») – это компьютерная система, созданная специально для поиска необходимой информации в интернете. Самое распространенное применение – сервисы для поиска текстового и графического контента, а также файлов на FTP-серверах, товаров в интернет-магазинах и т.д.

Чтобы найти что-то конкретное, нужно ввести поисковый запрос. Дальше система ищет документы по ключевым фразам, либо слова, как-то связанные с ключевиками. Во время этого поисковик генерирует страницу с результатами поиска. Выдача содержит не только текстовый контент, но и изображения, а также аудиофайлы.

Полезность поисковиков напрямую зависит от релевантности интернет-страниц, которые они возвращают. Яндекс и Google – самые популярные поисковики в нашей стране, и именно под их требования в основном проводится продвижение сайтов.

Типы поисковиков

Краулер (робот) обходит сеть, индекс содержит огромный архив копий интернет-страниц, а программное обеспечение сканирует результаты поиска. Многие современные поисковые системы относятся именно к этому типу.

Данные типы поисковиков получают списки интернет-страниц. Каталоги включают в себя адрес, заголовок и краткие данные об интернет-ресурсе. Каталоги ищут результаты только из описаний страниц, предоставленных веб-мастерами. Преимущество каталогов в ручной проверке сайтов, что непосредственно влияет на качество контента. В этом случае оно будет выше, чем результаты, автоматически обработанные первым типом поисковиков.

Поисковики типа Google и Yahoo сочетают 2 типа поисковиков (поисковые машины, и системы, которыми управляет человек).

Не имеют своей базы данных и поискового индекса. Формируют выдачу за счет переранжирования результатов других поисковиков. В те времена, когда поисковики были не такими умными и имели свой уникальный адрес, этот вид поисковых систем считался полезным.

Источник

Что понимают под поисковой системой и как ею пользоваться

В 1991 году произошло событие, сравнимое с полетом человека в космос. Люди увидели первый сайт, который существует и сегодня. А уже спустя 2 года была разработана первая поисковая система, осуществляющая поиск слов по веб-страницам. Название ей – Wandex. С тех пор прошло много времени. Теперь поисковые системы используются повсеместно и люди уже не представляют без них свою жизнь.

Поисковая система, что это такое

Поисковой системой называют онлайн-инструмент, предназначенный для обнаружения в сети интернет информации на основе введенного запроса. ПС используют автоматизированные программные приложения, которые анализируют данные, поступающие в глобальную сеть. Полученные сведения добавляются в единое хранилище, откуда изымаются по запросу.

В мире более 30 поисковых систем, но основной является Гугл. Через неё идет максимальное количество запросов со всей планеты. Компания занимает большую часть рынка. Основным конкурентом Google в рунете является Яндекс. В целом у него хорошие позиции не только в РФ, но и в мире – 4-6 место рейтинга за последние годы.

История развития поисковых систем

Знаменательным стал 1990 год. В мире появилась первая поисковая система Archie, но она лишь представляла страницы в виде списка. Чуть позже появилась ПС Wandex. Её разработали в 1993 году. Она уже осуществляла поиск по веб-страницам, находя сайты, содержащие слова из запроса. В этом же году создали ПС JumpStation, которая показывала заголовки и названия страниц.

Полноценной поисковой системой по тем меркам считается WebCrawler. Это первая ПС, которая полностью проиндексировала контент на интернет-страницах, сделав каждое слово и фразу доступной для обнаружения. Произошло это в 1994 году. WebCrawler получила широкое распространение.

Годом рассвета поисковых систем считается 1995 год. На рынке появилось много игроков, самый известный из которых – Yahoo. Разработчики не придумали ничего нового, они лишь покупали и заимствовали имеющиеся технологии, пока в 2002 году не приобрели поисковый движок Inktomi.

Прошел еще год. Выходец из СССР Сергей Брин и Ларри Пейдж создали BackRub – компанию, которая позже была переименована в Google. Родители Сергея сталкивались с трудностями в СССР, поэтому он был благодарен им за то, что они переехали в США, когда ему было 6 лет.

В компании первыми стали использовать обратные ссылки. Это улучшило ранжирование веб-сайтов. Также Гугл стал оценивать странички по авторитетности. Чем больше сторонних сайтов ссылались на ресурс и чем надежнее они были, тем было лучше для последнего.

В мире существует много альтернативных систем поиска. Некоторые из них работают в узком «коридоре»:

Всего в мире около 30 ПС, среди них есть как глобальные, так и региональные.

Доля поисковых систем

Яндекс вошел в 5-ку лучших мировых поисковиков в 2011 году. Для отечественной системы это большое достижение. Первое место в мире по праву занимает Google с огромным отрывом. На него ежегодно приходится более 90% рынка. Это безоговорочный лидер, с которым вряд ли кто-то справится в ближайшие годы.

Второе место занимает поисковик Bing от Майкрософт (есть расширение для Google). Команды набираются классическим образом, голосом и с помощью экранной лупы. Есть поиск по фотографии. В Bing встроены новости, карты, поиск видео и изображений.

Третье место заняла система Yahoo, созданная еще до Гугла. Здесь можно отправить электронное сообщение, почитать новости, запустить поиск по отдельным категориям: финансы, шопинг, развлечения и т. д.

Четвертое место осталось за Baidu. Это поисковая система Китая, которая попала в ТОП ПС за счет многочисленной аудитории КНР. Чтобы сделать запрос, нужно знать китайский или использовать переводчик.

Пятое место занял Яндекс – российский поисковик. Основная аудитория – Россия, СНГ, ряд стран ЕС. Разработчиками проделана колоссальная и качественная работа. Внешне и по количеству сервисов он даже привлекательнее Google, но многие продолжают пользоваться последним по привычке.

Все данные представлены по состоянию на февраль 2021 года. Доля рынка ПС – в таблице №1.

Таблица №1. Доля рынка поисковых систем мира

Функции ПС

Все поисковые системы выполняют 3 основные функции: сканируют данные, индексируют их и ранжируют. Сканирование – процесс поиска новой информации, осуществляемый поисковыми роботами (специальными программами). Цель этого действия – занесение данных в индекс – единую базу данных.

Индексирование – процесс добавления новых сведений в индекс. Здесь хранится и систематизируется контент, найденный при сканировании. Когда сайт владельца попадает в индекс, его начинают находить пользователи по вводимым запросам.

Ранжирование – упорядочивание результатов поиска по релевантности (значимости). Система выдает результаты, которые лучшим образом отвечают на запросы пользователей.

Работа системы кратко: человек набирает запрос, ПС обращаются к индексу, обнаруживают и извлекают нужный контент. Для пользователя интернета все происходит мгновенно. Лучше соответствуют запросу (с точки зрения ПС) сайты с более высоким рейтингом.

Как осуществляется поиск поисковой системой

Все системы используют сложные математические формулы для формирования результатов поиска. Впоследствии они отображаются в выдаче. Алгоритмы ПС берут ключевые элементы страниц – заголовки, контент, плотность ключевых слов и т. д. и составляют рейтинг релевантности.

Каждая поисковая система имеет свой уникальный алгоритм, поэтому 1 место сайта в Google не означает, что он будет находиться на тех же позициях в Яндексе. Алгоритмы держатся в секрете и регулярно модифицируются. Поэтому в процессе оптимизации сайта необходимо постоянно подстраиваться под изменения, чтобы удержаться на высоких позициях.

Как пользоваться поисковой системой

Использование поисковой системы не является сложной задачей. Пользователю интернета необходимо открыть браузер, через который осуществляется выход в сеть, набрать в поисковой строке запрос и нажать «Enter (Ввод)». Результат появится через доли секунды. Чтобы ознакомиться с содержимым конкретной страницы, нужно щелкнуть по ссылке с текстом.

Запросы не всегда дают нужный результат. Чтобы сделать работу в интернете более эффективной, необходимо запомнить некоторые команды:

Эти команды заметно упростят работу в поисковых системах. Нужно постоянно их использовать, чтобы в дальнейшем применять в привычном режиме.

Составляем поисковый запрос правильно

Чем точнее запрос, тем выше шансы на получение нужного ответа. Многие задают его неправильно и в итоге не могут найти нужную информацию. Дело пойдет быстрее, если заключить слова в кавычки. Но это не всегда обязательно. В большинстве случаев достаточно расположить слова в правильном порядке с учетом их значений.

Придерживайтесь следующих правил для повышения качества поиска:

Играйте словами. Переставляйте их местами. Если запрос не дал результатов, поменяйте порядок слов или добавьте новые, вспомнив подробности. Чем больше ключевых слов в запросе, тем лучше. Знаки препинания во время поиска не учитываются, регистр не играет значения.

Основные характеристики поисковых систем

Системы поиска информации в интернете должны обладать характеристиками, которые сделают обращение к ним максимально простым, удобным и выгодным.

Полнота

Чем больше данных найдет система по запросу, тем лучше для пользователя. В противном случае ему придется обратиться к другой ПС. Полнота – это отношение количества найденных страниц к их общему числу. Как правило, алгоритмы с этой задачей справляются неплохо.

Точность

Когда пользователь набирает запрос, он хочет чтобы на него был дан максимально точный и развернутый ответ. В противном случае придется потратить больше времени на получение сведений. А это дополнительные неудобства. Поисковая точность должна быть высокой.

Актуальность

Базы данных постоянно пополняются и обновляются. Чем чаще это происходит, тем лучше, а идеале – несколько раз в день. У крупных поисковиков все так и происходит, поэтому люди получают ответы на свои запросы даже если с момента появления новой информации в сети прошло несколько минут.

Скорость поиска

Ежесекундно к поисковикам обращаются миллионы пользователей. Все они должны быть быстро обработаны. Когда скорость загрузки страниц высокая, это не доставляет неудобств.

Наглядность

Речь идет о тех самых комбинациях, которые упрощают поиск и повышают его точность. Ответы не всегда точны. Но если можно запустить поиск по отдельным словам, фразам, отфильтровать результаты по дате, типу файла, языку, получить сведения по конкретному региону или на определенном языке, это плюс.

Принципы работы поисковой системы

Что такое поисковая система разобрались. Теперь остановимся на принципах ее работы подробнее. Новые страницы вносят в базу в процессе индексирования. А компонент, который отвечает за это, называют модулем индексирования.

Модуль индексирования

В составе модуля индексирования 3 программы:

Первая программа скачивает страницы, вторая проходит по ссылкам и исследует их, третья – анализирует скачанные страницы. Задача индексатора – разбить страницу на элементы и провести их анализ, следуя заранее заложенному алгоритму. Обработке подлежат заголовки, контент, HTML-теги, структурные и стилевые особенности и т.д. Все полученные сведения вносятся в индекс – базу данных.

Индексацию определенных страниц можно запретить с помощью файла robots.txt или тега noindex.

База данных

В базе данных хранится полученная от программ информация о страницах: время создания, обновления, заголовок, описание, тип контента, ключевые слова, входящие и исходящие ссылки, взаимодействие людей с сайтом и многое другое.

Поисковый сервер

Поисковый сервер определяет качество поиска и его скорость. В процессе работы выполняется несколько задач:

Всё просто, поймут даже те, кто далек от особенностей работы поисковых систем.

Теперь вы знаете, что такое поисковая система и как она работает. Используя грамотные методы SEO можно повлиять на принимаемые алгоритмами решения. А это приведет к росту рейтинга сайта и его посещаемости. Но это тема отдельной статьи.

Источник

Поисковые системы Интернета: Яндекс, Google, Rambler, Yahoo. Состав, функции, принцип работы

1. Введение

Поисковые системы уже давно стали неотъемлемой частью российского Интернета. Поисковые системы сейчас – это огромные и сложные механизмы, представляющие собой не только инструмент поиска информации, но и заманчивые сферы для бизнеса.

Большинство пользователей поисковых систем никогда не задумывались (либо задумывались, но не нашли ответа) о принципе работы поисковых систем, о схеме обработки запросов пользователей, о том, из чего эти системы состоят и как функционируют…

Данный материал призван дать ответ на вопрос о том, как работают поисковые системы. Однако вы не найдете здесь факторов, влияющих на ранжирование документов. И тем более не стоит рассчитывать на подробное объяснение алгоритма работы Яндекса. Его, по словам Ильи Сегаловича, директора по технологиям и разработке поисковой машины «Яндекс», можно узнать лишь «под пыткой» самого Ильи Сегаловича.

2. Понятие и функции поисковой системы

Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Архангельске»).

Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.

Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.

3. Основные характеристики поисковой системы

Опишем основные характеристики поисковых систем:

Полнота – одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

Точность – еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

Актуальность – не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге Yahoo значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google –самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные поисковые системы (международные) – Google, Yahoo и MSN, имеющие собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее – Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

Ссылки извлекаются из тэгов a, area, base, frame, frameset, и др. Наряду со ссылками, многими роботами обрабатываются редиректы (перенаправления). Каждая скачанная страница сохраняется в следующем формате:

Indexer (робот- индексатор) – программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

По информации ООО «Рамблер Интернет Холдинг» обработка поискового запроса в системе «Рамблер» происходит, так, как это изображено на рисунке.

Помимо информации с proxy-сервера, frontend получает результаты из поиска по товарам и из базы Тор 100, отсортированные, с цитатами и подсветкой слов запроса. Frontend осуществляет окончательное объединение результатов, генерирует html со списком найденного, вставляет баннеры и перевязки (ссылки на различные разделы Рамблера) и отдает html Cisco, который маршрутизирует информацию пользователю.

6. Заключение

Теперь подытожим все вышесказанное.

Надеемся, наш материал позволит вам поближе познакомиться с понятием ПС, лучше узнать основные функции, характеристики и принцип работы поисковых систем.

Источник