Эта страница изготовлена для демонстрации навыков по

Спецкурсу №9 Калинина Б. А.

студентом гр. Фт-523 Сбитневым

Популярные, и не очень, Поисковые Системы

Список принятых сокращений и обозначений:

ИПС – информационно-поисковая система.

БД – база данных.

ВВЕДЕНИЕ

Как уже отмечалось, для поиска бесчисленной информации в Интернете на помощь приходят тематические и индексные поисковые системы.

Более удобный и эффективный способ поиска необходимых сведений – так называемые индексные поисковые серверы. Принцип действия большинства таких серверов довольно прост. Для поиска информации используется индекс, созданный специальной программой-роботом. При обходе страниц WWW и составлении индекса программы, роботы назначают каждому слову определенное весовое значение, которое выбирается на основании анализа наиболее часто встречающихся слов. Чем чаще встречается слово, тем меньше назначаемый ему весовой коэффициент. Программа-робот периодически обходит известные ей адреса сети, считывает с них хранящиеся там страницы WWW, индексирует все слова со всех страниц (вместе с соответствующими им адресами URL) и помещает их в общий индекс Для хранения этого индекса требуется огромный объем памяти, а для его обработки - значительная вычислительная мощность.

ПРИНЦИП РАБОТЫ ПОИСКОВЫХ СИСТЕМ

Рис. 1.2.1.

Например, общий объем хранящихся на сервере Alta Vista, индексных файлов, в которых производится поиск, составляет более 200 гигабайт.

Существует несколько чрезвычайно популярных универсальных поисковых серверов, предназначенных для поиска по ключевым словам на возможно большем числе страниц системы WWW.

Достоинства и недостатки поисковых систем складываются из нескольких характеристик. Принципиальным является то, насколько полно та или иная система обследует документы, т.е. все ли слова заносятся в индексные файлы или же только термины из названий, заголовков, первых нескольких строк или страниц текста. Важно также как часто происходит обновление данных, каким образом системы “взвешивают” понятия, определяя степень их соответствия запросу. Не последнюю роль играет простота и удобство интерфейса, а также дополнительные сервисные функции.

В настоящее время наибольшей популярностью пользуются следующие русскоязычные поисковые системы:

Яndex – поисковая машина последнего поколения, обладающая весьма развернутой, но и достаточно сложной системой формирования запроса. Обладает способностью выделять один документ в различных кодировках, за счет чего сокращается дублирование результатов поиска. В настоящее время декларирована индексация более 30500 российских и зарубежных русскоязычных серверов.

Rambler является первой профессиональной российской поисковой системой. Ныне осуществляет поиск более чем по 15000 серверов в пределах бывшего СССР. Имеет неплохие возможности для составления запроса и хороший механизм вывода результатов поиска.

ИПС Апорт индексирует около 13500 российских серверов и делает это весьма основательно. Имеет богатые возможности формирования запроса, в частности, способен выделять сочетания терминов, если они находятся недалеко друг от друга (на расстоянии нескольких слов или предложений). Система способна переводить запрос, а также результат поиска с русского на английский язык и наоборот.

Релевантность найденных результатов – один из важнейших параметров поисковой системы.

Что же такое "релевантность".

Реально, релевантность обозначает соответствие. То есть в случае работы поисковой системы можно сказать так: на ваш запрос к поисковому серверу, вы получаете наиболее соответствующую (релевантную) ему web страницу. Так как крайне редко бывает точное совпадение, поисковый сервер выдает вначале документы с максимальным соответствием (релевантностью), и далее по ниспадающей.

Релевантность документа зависит не только от числа слов запроса, найденных в документе, но и от частотных характеристик искомых слов, веса слова или выражения, близости искомых слов в тексте документа друг к другу и т.д.

Рассмотрим, к примеру, как вычисляется релевантность вашей страницы в запросе Яndex.

•Самый высший приоритет дает заголовок

•Далее наиболее высокий приоритет дается ключевым словам, расположенным в самом верху страницы

•Далее – приоритет количеству повторений/вхождений ключевых слов

В запросе следует использовать те слова, которые точнее всего характеризуют интересующую тему.

Наиболее важные и характерные термины надо размещать в самом начале запроса и добавлять к ним менее значимые термины.

Рекомендуется применение в запросе синонимов.

Не рекомендуется использовать широко распространенные слова типа "компьютер", "информация", "данные" и т.п.

Грамотное использование в запросах логических операторов "И" (AND), "ИЛИ" (OR), "НЕ" (NOT) позволяет сделать поиск чрезвычайно точным и направить его именно туда, куда нужно. Например, на поисковом сервере Alta Vista символы "+" и "-" используют для выделения в запросе обязательных и "запрещенных" слов (по умолчанию все слова запроса считаются объединенными оператором "ИЛИ").

Если среди первых 20-30 ссылок, которые получены от поискового сервера, нет ни одной нужной ссылки, то следует подумать о радикальном изменении набора ключевых слов или об использовании другого поискового сервера.

Таким образом, перед составлением  запроса очень полезно почитать инструкцию поисковой системы. Получив в ответ, например,  10 млн.  ответов, можно попробовать немного изменить запрос, и в верхней части списка  окажутся другие результаты.

Яndex – это информационно-поисковая система с учетом морфологии русского и английского языка. Учет морфологии языка предполагает создание списка всех словоформ, полученных при изменении слова по числам, падежам, родам и временах для всех слов этого языка, и поиск этих словоформ. Яndex предназначен для поика информации в электронных текстах различной структуры и разных способов представления (форматов).

ИПС Яndex совершает предварительную обработку текста, составляя некоторый индекс, по которому затем происходит поиск. Яndex работает с внешними текстами, то есть тексты не втягиваются в систему, а остаются “как есть” – файлами в файловой системе, страницами на сервере или полями какой-то БД. Плюсом данной поисковой системы является также то, что она обладает способностью выделять один документ в различных кодировках, за счет чего сокращается дублирование результатов поиска.

О плюсах этой системы говорит то, что сервер yandex.ru признан лучшим в номинации "Информационно - справочный сайт" на конкурсе "Бизнес-Сайт '98".

Яndex ранжирует документы по вычисляемому параметру "релевантность", начиная с документов с максимальным соответствием и далее по ниспадающей. Внутри документа выделены слова, участвующие в запросе. С каждого такого слова можно перейти на следующее и предыдущее.

Особое внимание Яndex обращает на слова, содержащиеся в заголовке.

Самый простой запрос состоит из одного слова, например, “карта”. Результатом поиска будут все документы, в тексте которых встречается это слово в какой либо словоформе (карты, картой, карте...). Далее под понятием “слово” будем иметь ввиду “слово и все его словоформы”.

4.2.1. Логические операторы

Пример: карта&города

Результат: все документы, где в пределах одного абзаца встречаются слова "карта" и "города"

Пример: карта&&города

Результат: все документы, где встречаются эти слова.

Пример: карта,города

Результат: все документы, где встречается либо слово " карта", либо слово " город"

Пример: производство-газета

Результат: все документы, где в пределах одного абзаца встречается слово "производство", но не в словосочетании "газета производство"

Пример: производство--газета

Результат: все документы, где встречается слово "производство", но не в словосочетании "газета производство"

Пример: (карта&&города)-газета

Результат: все документы, где встречаются слова "карта" и "город", но не в словосочетании со словом "газета"

Пример: !карта

Результат: все документы, где встречается слово "карта".

Пример: карта/1города

Результат: все документы, где встречается словосочетание "карта города".

Практически все знаки можно комбинировать с ограничением расстояния.

Пример: карта - /+1 города

Результат: документы, содержащие слово 'карта', но не в сочетании "карта города".

Вместо одного слова в запросе можно подставить целое выражение. Для этого его надо взять в скобки.

Пример: (холодный, горячий) /+1 (вода | огонь)

Результат: документы, которые содержат любую из фраз "холодная вода", "холодный огонь", "горячая вода", "горячий огонь".

4.2.2. Весовые операторы

слово: число или (поисковое выражение):число – расстановка приоритетов в результатах поиска.

Пример: карта города:5

Результат: те же документы, что и по запросу карта города, но вверху списка найденного, окажутся документы, где чаще встречается именно слово "город".

Пример: компьютер <- телефон

Результат: все документы, содержащие слово 'компьютер', при этом первыми будут выданы документы, содержащие слово 'телефон'.

Независимо от того, в какой форме употреблено слово в запросе, по умолчанию учитываются все его формы.

 Например, если задан запрос 'идти', то в результате поиска будут найдены ссылки на документы, содержащие слова 'идти', 'идет', 'шел', 'шла' и т.д.

Для поиска по точной словоформе, перед словоформой надо поставить восклицательный знак '!'.

Если в запросе набрано слово с большой буквы, будут найдены только слова с большой буквы. В противном случае будут найдены как слова с большой, так и с маленькой буквы.

Если в результате поиска было найдено слишком много документов следует поставить флажок “искать в найденном”. В этом случае следующий поиск будет вестись по документам, которые были найдены в предыдущем поиске.

Если в результате поиска оказалось, что один из найденных документов наилучшим образом описывает предмет поиска, нажмите на ссылку “Найти похожие документы”. Поисковая машина Яndex использует этот документ как образец для нового поиска документов, похожих на указанный.

Эта возможность эффективна, если остальные документы в списке найденного существенно меньше отвечают ожиданиям.

Если для поиска с обратной связью пометить только один документ - это будет работать в точности так же, как "найти похожие документы".

Этот поиск полезен, когда в списке найденного релевантные документы чередуются с нерелевантными.

Одним нажатием на ссылку “Открыть первые пять ссылок” можно открыть пять самых релевантных документов, причем каждый документ появится в отдельном окне.

Что такое "Список серверов"?

Используя операторы веса и уточнения запроса, можно повлиять на порядок сортировки.

Для систематизации наиболее часто встречающихся ошибок, совершаемых при работе с поисковой системой, Яndex собирает в особый файл статистики все слова, которые были запрошены, но не найдены.

Итак, первый раздел относится к аббревиатурам. Яndex по-разному работает с маленькими и большими буквами. Если слово набрано маленькими буквами, оно будет искаться во всех вариантах. Если в слове первая буква большая, а остальные маленькие, то будет искаться только такое написание. Если в слове более одной большой буквы, то все сводится к маленьким буквам. Поэтому не дают результата поиск Фсб, Мгимо, Вгтрк. Надо искать фсб (или ФСБ), вгтрк (или ВГТРК).

Кроме этого, часто словосочетания спрашиваются в одно слово, без пробелов: цензурасредствмассовойинформации, комирегиональный, желтыестраницыинтернет, курсдоллара и т.д. Все эти слова не находятся (в отличие от слова "самизнаетекто", которое образовано аналогичным образом, но существует в Интернете).

Ну и, конечно же, в запросе должны быть исключены орфографические ошибки. В английском языке основные проблемы возникают с такими буквами и буквосочетаниями как "c", "k" или "ck"; "e" или "a"; "f" или "ph".

В этой главе отчета приводится некоторые конкретные результаты поиска нужной информации в Internet. На основании представленных данных можно судить о релевантности поиска в Яndex, о целесообразности уточнения запросов, а также о способах конкретизации исходной информации.

Рассмотрим вполне определенный пример работы с поисковой системой.

Допустим, нам требуется найти в мировой паутине карту Кавказа и информацию об этом районе.

1. Пример запроса: “карта”

Простейший запрос “карта” дает в результате поиска ссылки на 226962 сервера. Естественно, что в таком объеме информации найти нужную будет крайне сложно. Тем более что понятие “карта” имеет несколько толкований. Так, например, семерка наиболее релевантных документов выглядит следующим образом:

1) По звуковым картам.

2) Порядок эмиссии по кредитным картам.

3) Звуковые карты.

4) Звуковые карты.

5) Получение корпоративной карты.

6) Порядок эмиссии по кредитным картам.

7) Принтер для печати на пластиковых картах.

То есть ни один из приведенных документов не соответствует желаемому результату, запрос нуждается в уточнении.

2. Пример запроса: “карта района”.

Результат: ссылки на 2414 сайтов, наверху списка которых находятся следующие документы:

Карты районов Крыма.

Карты районов Крыма. Севастополь.

Город – карта районов.

Город – карта районов.

Карты районов Крыма. Феодосия.

Город – карта районов.

Город – карта районов.

Следует отметить, что в документе “Карты районов Крыма” содержится информация обо всех горных массивах бывшего СССР, в том числе и о Кавказе.

Также следует отметить, что изменение запроса на “карта&&района” не дает никаких изменений в списке найденного. Изменение же запроса на “”карта района”” (или “карта+района) существенно сокращает число найденных материалов (до 572), однако “верхушка” представленного списка остается практически той же самой.

Карты районов Крыма.

Карты районов Крыма. Бахчисарайский район.

Обзорная карта района работ.

Город – карта районов.

Город – карта районов.

Город – карта районов.

Город – карта районов.

Можно видеть: такое уточнение не дает заметного эффекта, благодаря тому, что документы, где ключевые слова находятся рядом обладают наибольшей релевантностью. Это существенно упрощает поиск в Яndex.

Однако в этом списке все таки имеется много “мусора”. Можно попробовать сузить область поиска, исключив, например, в запросе слово “город”.

3. Пример запроса: “(карта района)-город”.

Результат: 258 документов. Первые семь из них:

Карты районов Крыма.

Крым: карты севера.

Общегеографические карты Челябинской области.

Общегеографические карты Челябинской области.

Маршруты и карты.

Карты и восхождения бывшего Союза.

Туризм. Экзамен на лесной тропе.

Дальнейшее уточнение “(карта района)-город-область” хотя и приводит к сокращению числа ссылок, но уже не играет особой роли.

Рассмотрим пример использования синонимов в запросах.

Пример: на запрос “карта района -город -область” Яndex выдает 450 ссылок на различные сайты, а на запрос “схема района -город -область” - только 79.

В наше время информация играет огромную роль во всех сферах жизнедеятельности. Людям, имеющим дело с большими объемами текстов – это и новости, и подшивки газет в электронном виде, и электронная почта, и Web-страницы, важно быстро находить в этом море информации действительно нужную. Без помощи поисковой системы это было бы нереально. Благодаря удобству в обращении и хорошим техническим характеристикам, Яndex может помочь в этом и новичку, и опытному пользователю.

Яndex и существующие к нему приложения, способен облегчить работу представителей многих профессий: Web-мастера, аналитика, руководителя, лингвиста.

Информационный бум продолжается, происходит дальнейшее развитие электронно-компьютерных технологий, а следовательно и в будущем без поисковых систем обойтись будет крайне сложно.