7. Настройка и использование поискового сервера

7.1 Директивы конфигурационного файла

Конфигурация поискового сервера состоит из директивы QueryCharset и секций QueryCache и SearchPageTemplate. Ни одна из директив или секций не является обязательной.

Секция SearchPageTemplate предназначена для задания шаблона, в соответствии с которым сервер будет показывать страницу с результатами поиска. В случае отсутствия данной секции будет использован встроенный шаблон. В секцию входят следующие директивы:

Директивы секции SearchPageTemplate

Секция QueryCache предназначена для описания политики кеширования результатов выполнения поисковых запросов. По умолчанию, если данная секция отсутствует, поисковые запросы не кешируются, то есть каждое обращение к поисковому серверу сопровождается выполнением поиска по индексным файлам. Если секция QueryCache имеется, результаты выполненных запросов временно сохраняются в специальной директории, и время на повторную обработку недавно выполненного запроса не тратится. Необходимость кеширования определяется размером индексных файлов и интенсивностью запросов. При малой нагрузке в кешировании нет необходимости, что упрощает администрирование поискового сервера.

В секцию входят следующие директивы:

Директивы секции QueryCache

7.2 Метапоиск и его настройка

Поисковый сервер может работать в так называемом метапоисковом режиме. В этом случае одновременно с основным поиском, настройка которого описана в разделе Директивы конфигурационного файла, выполняются поиски по одному или нескольким дополнительным индексам. Результаты поисков по каждому индексу затем объединяются (сливаются) в окончательный результат, форма представления которого задается точно также, как и в режиме обычного поиска (см. Формирование страниц с результатами поиска и Директивы секции SearchPageTemplate).

Дополнительные индексы для метапоиска и соответствующие им коллекции документов называются метапоисковыми источниками и описываются в секциях SearchSource, по одной секции на индекс. Эти дополнительные индексы должны быть предварительно созданы либо данным Яндекс.Сервером (в этом случае соответствующие коллекции документов описываются в других секция Collection конфигурации Яндекс.Сервера), либо другими Яндекс.Серверами или индексаторами, совместимыми с ним, на этом же или на другом компьютере.

В случае метапоиска наличие секции QueryCache в конфигурации поиска является обязательным.

Секция SearchSource должна включать одну из директив IndexDir или CgiSearchPrefix. Сначала анализируется наличие директивы IndexDir. Если такая директива есть, данный поисковый источник считается локальным. В противном случае должна присутствовать директива CgiSearchPrefix и поисковый источник считается удаленным. Поиски по локальным источникам выполняются в том же процессе, что и основной поиск. Поиски по удаленным источникам выполняются в своих собственных процессах, работающих на этом же или на других компьютерах. Данный метапоисковый процесс направляет удаленным источникам запросы и получает от них результаты поиска по протоколу HTTP в специальном формате, после чего объединяет полученные результаты в окончательный результат поиска. В рамках одного метапоиска могут присутствовать как локальные, так и удаленные источники.

Директивы секции SearchSource

В случае метапоиска конфигурация поискового сервера может также включать необязательную директиву MetaSearchOptions.

7.3 Формирование страниц с результатами поиска

7.3.1 Механизм взаимодействия с поисковым сервером

Яndex.Server ожидает поступления HTTP-запросов по указанному в конфигурации сервера порту. Сервер анализирует запрошенные URL, а именно путь (abs_path в терминах RFC 2616, часть URL до знака вопроса) и запрос (query, часть URL после знака вопроса, содержащую значения полей поисковой формы), выполняя перечисленные ниже действия в указанном порядке.

• Анализируется путь запрошенного URL.

  • Если путь совпадает со строкой /admin, сервер выдает административную страницу,

  • Если путь начинается с подстроки /images/, сервер выдает статическую картинку.

  • Если путь начинается с подстроки /hl, сервер показывает "подсвеченный" документ, указанный в поле запроса url, в котором выделены слова, релевантные запросу, содержащемуся в поле text.

  • Если предыдущие условия не выполняются, путь (без начального слеша) рассматривается как название поискового сервера, заданное в атрибуте id секции Collection конфигурационного файла сервера. В частном случае одной коллекции документов это имя может быть пустым. Если поисковый сервер с указанным именем найден, анализируется запрос. В противном случае показывается страница с сообщением об ошибке.

• Если запрос содержит поле where со значением 1, запрос перенаправляется на сервер www.yandex.ru, в качестве текста запроса используется значение поля text.

• Если запрос пустой, показывается поисковая форма с параметрами по умолчанию.

• Если запрос содержит поле q, в котором передается идентификатор предварительно выполненного запроса, то будет загружена следующая страница результатов этого запроса, указанная в поле p при условии, что

  • В настройке поиска указано, что запросы надо кешировать (см. секцию QueryCache).

  • Выполненный ранее запрос не удален из кеша по истечении времени хранения.

  • Текущий запрос не содержит поля nocache.

  Если одно из этих условий не выполняется, значение поля q будет проигнорировано, и будет сделана попытка перевыполнить запрос, с вызовом функции , как описано ниже. Чтобы эта попытка была успешной, запрос должен содержать все необходимые поля, как при первичном выполнении. Если запрос выполнен успешно, будет показана страница, указанная в поле p.

• Если не выполняется ничего из перечисленного выше, вызывается функция , которая должна установить текст поискового запроса на языке запросов Яндекса. Действия, выполняемые в этой функции, обычно сводятся к преобразованию значений некоторых полей поисковой формы в текст поискового запроса. Реализация функции по умолчанию использует в качестве поискового запроса значение поля text и может быть изменена в процессе настройки сервера.

• Если поисковый запрос успешно получен, выполняется собственно поиск, после чего показывается страница с результатами выполнения запроса. Если запрос содержит поле xml со значением yes, результаты поиска будут представлены в формате XML. Схема результирующего XML приведена в файлах request.xs и yandex.xs, включенных в комплект поставки. Если поле xml со значением yes отсутствует, страница с результатами поиска будет сформирована в соответствии с шаблоном, указанным в секции SearchPageTemplate конфигурации поискового сервера, или в соответствии с встроенным шаблоном, если эта секция отсутствует.

• Если ни одно из предыдущих условий не выполненно, показывается страница с сообщением об ошибке.

7.3.2 Сортировка результата поиска и приоритеты релевантности

При выполнении поиска множество найденных документов может быть упорядочено:

• по значению релевантности, определяемой поисковой системой

• по времени последней модификации документа

• по значениям группировочного атрибута

При этом сортировка по релевантности может быть только убывающей. В остальных случаях она может быть как убывающей, так и возрастающей.

По умолчанию, сортировка производится независимо для трех разных групп документов, отличающихся степенью соответствия запросу. Этим трем группам соответствуют следующие приоритеты релевантности:

• совпадение фразы

• строгое соответствие

• нестрогое соответствие

Список найденных документов упорядочивается по приоритетам релевантности в указанном выше порядке.

Под совпадением фразы понимается максимальное соответствие запросу. Обычно это соответствует ситуации, когда состав и порядок слов в запросе полностью совпадает с составом и порядком слов во фрагменте найденного документа. Однако, если в запросе используются операторы ограничения контекста, то приоритет совпадение фразы может описывать иную ситуацию. Например, если был задан запрос

Анатолий /+2 Бышовец

(с целью узнать отчество персоны), то с совпадением фразы найдутся документы, содержащие фрагмент "Анатолий Федорович Бышовец", а документы, включающие фрагмент "Анатолий Бышовец" найдутся всего лишь со строгим соответствием, и поэтому будут иметь более низкий ранг.

Под строгим соответствием понимается "формальное соответствие запросу". В наиболее распространенной ситуации это означает, что пользователь язык запросов Яндекса не использует, и все слова, которые он перечислил в запросе, содержатся в одном предложении искомого документа.

Нестрогое соответствие запросу может возникнуть, когда в запросе используется оператор нестрогого поиска. В наиболее распространенном случае "документ найден с нестрогим соответствием" означает, что пользователь язык запросов Яндекса не использует, и в этом документе нет ни одного предложения, в котором бы встретились все слова из запроса; есть только предложения, в которых есть самые важные с точки зрения Яндекса слова из запроса (более строго, в этом случае работает алгоритм поиска по кворуму со взвешиванием терминов).

Следует отметить, что по умолчанию приоритеты релевантности учитываются при альтернативных сортировках. Например, в случае, если документы отсортированы по дате модификации, порядок вышеупомянутых трех групп документов не меняется. Т.е. сначала перечисляются все документы с приоритетом "совпадение фразы", отсортированные внутри этой группы по дате, затем - все документы с приоритетом "строгое соответствие", отсортированные внутри этой группы по дате и т.д. Чтобы отменить учет приоритетов при альтернативных сортировках нужно задать в поисковой форме поле np.

7.3.3 Поля поисковой формы, используемые «Яndex.Server 3.4»

Следующие поля задают сортировку, группировку или структурные параметры страницы с результатами поиска и могут самостоятельно устанавливаться пользователями или разработчиками сайта.
where - значение 1 перенаправляет поисковый запрос на www.yandex.ru
url - сигнализирует, что должен быть показан "подсвеченный" документ
text - в отсутствие параметра url сигнализирует, что должен быть выполнен новый запрос, по умолчанию содержит текст запроса
xml - значение yes сигнализирует о том, что результаты должны быть представлены в XML-формате
numdoc - число документов на одной странице выдачи, если не указано поле g, по умолчанию 10
t - максимальное число фрагментов текста для документа, при их использовании, по умолчанию 3
ds - URL документа для поиска похожих документов
how - способ сортировки найденных документов, может принимать значения rlv - сортировка по релевантности (степени соответствия запросу), tm - сортировка по дате последней модификации или имя группировочного атрибута
asc - уточняет поле how, указывая сортировку в обратном порядке
np - уточняет поле how, указывая сквозную сортировку без учета групп приоритетности
g - задает группировку найденных документов, это поле подробно описано ниже.

Полей g может быть несколько, по числу необходимых группировок. Поле g имеет структуру mode.attr.ngrp.ndoc.cur, где
mode - тип группировки, 0 - пустая, 1 - плоская или глубокая, если атрибут иерархический, 2 - широкая, имеет смысл только для иерархического атрибута
attr - имя группировочного атрибута, по которому будет осуществляться группировка, в случае пустой группировки - пустая строка.
ngrp - число групп на одной странице
ndoc - максимальное число документов в группе, документы сверх этого числа выкидываются на этапе выполнения группировки
cur - значение атрибута для текущей группы, имеет смысл только в случае иерархического атрибута; документы, не имеющие значений атрибута в иерархии указанного значения, выкидываются на этапе выполнения группировки
Заметим, что по умолчанию при выполнении запроса не делается никаких группировок. Для того, чтобы получить ту или иную группировку, необходимо задать поле g. Группировка и сортировка происходят на этапе выполнения запроса, поэтому нельзя использовать функции работы с группами при построении выдачи, если до выполнения поиска не были заданы соответствующие поля.

Следующие поля являются служебными и участвуют в формировании адресов страниц с результатами поиска и подсвеченными документами.
q - идентификатор запроса для следующей страницы
p - номер страницы результатов поиска, начиная с нуля
mime - формат подсвеченного документа
charset - кодировка подсвеченного документа
hldoclist - адрес страницы с результатами поиска, на которой находится ссылка на подсвеченный документ.

7.3.4 Использование функций формирования страниц (C++ и Perl)

7.3.4.1 Функции, вызываемые поисковым сервером

В процессе выполнения поискового запроса поисковый сервер вызывает следующие функции, которые могут быть написаны разработчиком страницы с результатами поиска. Если какая-либо из функций не предоставлена разработчиком поисковой страницы, будет использована реализация по умолчанию, такая же, как во встроенном дизайне.

7.3.4.2 Функции, вызываемые разработчиком страницы результатов

В функциях, вызываемых поисковым сервером, разработчик страницы с результатами поиска или с подсвеченным документом может для получения дополнительной информации использовать следующие функции, имплементированные в поисковом сервере.

Свойства поисковой сессии, независимые от данного поиска

Данные о поисковом запросе

Статистика, относящаяся к запросу в целом

Свойства группировки

Свойства группы в данной группировке

Свойства документа в данной группе

Функции формирования HTTP-заголовков на Perl

7.3.5 Примеры использования C++

В данном разделе приведены простейшие примеры использования описанных выше функций на языке C++. Реальные работающие примеры можно найти в файлах output.cpp и outpages.asp, включенных в комплект поставки программы.

7.3.6 Примеры использования Perl

В данном разделе приведены простейшие примеры использования описанных выше функций на языке Perl. Реальные работающие примеры можно найти в файле report.phtml, включенном в комплект поставки программы.

7.4 Язык запросов «Яndex.Server 3.4»

Язык запросов «Яndex.Server 3.4» совпадает с языком запросов www.yandex.ru.

Пользователи могут задавать запросы и на естественном языке, и с использованием логических операторов. В данном разделе мы подробно остановимся на втором варианте построения поискового выражения и на примерах покажем нюансы, которые следует учитывать для достижения максимальной эффективности поиска.

7.4.1 Как трактуются слова

Независимо от того, в какой форме вы употребили слово в запросе, поиск учитывает все его формы по правилам русского языка

Например, если задан запрос 'идти', то в результате поиска будут найдены ссылки на документы, содержащие слова 'идти', 'идет', 'шел', 'шла' и т.д. На запрос 'окно' будет выдана информация, содержащая и слово 'окон', а на запрос 'отзывали' - документы, содержащие слово 'отозвали'.

Если вы набрали в запросе слово с большой буквы, будут найдены только слова с большой буквы, в противном случае будут найдены как слова с большой, так и с маленькой буквы.

Например, по запросу 'путина' найдется и президент, и сезон интенсивного рыболовства. А по запросу 'Путина' - президент и те случаи упоминания рыболовного сезона, когда он написан с большой буквы (например, если с него начинается предложение).

По умолчанию поиск учитывает все формы заданного слова согласно правилам русского языка. Однако существуют возможности поиска по точной словоформе, для этого перед словоформой надо поставить один восклицательный знак. Кроме того, можно искать только формы, производные от заданной, то есть рассматривать слово как лемму. Для этого перед словом нужно поставить два восклицательных знака.

Так, по запросу 'лужков' будут найдены все документы содержащие формы слов 'лужков' и 'лужок' — 'лужкову', 'лужки', 'лужкам' и т.п. По запросу '!лужков' будут найдены только те документы, что содержат словоформу 'лужков' (но не 'лужковым' и 'лужки'). А по запросу '!!лужков' найдутся документы, содержащие любые формы слова 'лужков', но не слова 'лужок', т.е. найдутся слова 'лужкову', 'лужкова' и т.п., но не 'лужки' и 'лужок').

7.4.2 Естественно-языковый поиск

Самый простой способ задать запрос - просто написать в строке запроса то, что нужно найти. Язык запросов и понятие релевантности в Яndex'е настолько развиты, что позволяют успешно работать с неформальными запросами. Для этого запрос надо заключить в фигурные скобки.

Например, запрос {компьютеры типа башня или tower}, выдаст список документов, относящихся к данной теме, часть которых в свою очередь даст дальнейшие ссылки. В начале списка окажутся документы, где слова запроса встречаются наибольшее количество раз и стоят как можно ближе друг другу.

Итак, если можно продумать запрос, выделить ключевые слова, определить возможные синонимы, имеет смысл использовать язык запросов. Если же проще описать словами область интересов в общем виде, удобно задавать естественно-языковый зарос. Этот запрос всегда будет обработан, как бы он ни был задан, какие бы символы в нем не использовались.

Если вам необходимо найти только какую-то фразу, заключите ее в двойные кавычки, если хотите искать по точной словоформе, поставьте перед словом восклицательный знак. Однако последнее будет работать только в том случае, если индекс был создан с сохранением точных словоформ.

Если Вы хотите, чтобы слова из запроса обязательно были найдены, поставьте перед каждым из них "+". Если Вы хотите исключить какие-либо слова из результата поиска, поставьте перед каждым из них "-".

Например, запрос 'частные объявления продажа велосипедов', выдаст много ссылок на сайты с разнообразными частными объявлениями. А запрос с "+" 'частные объявления продажа +велосипедов' покажет объявления о продаже именно велосипедов.

Если вам нужно описание Парижа, а не предложения многочисленных турагентств, имеет смысл задать такой запрос: 'путеводитель по Парижу -агентство -тур'

Замечание: Обратите внимание на знак '-'. Это именно минус, а не тире и не дефис. Знак '-' надо писать через пробел от предыдущего и слитно с последующим словом, вот так: 'рак -гороскоп'. Если написать 'рак-гороскоп' или 'рак - гороскоп', то знак '-' будет проигнорирован.

7.4.3 Основные операторы

Несколько набранных в запросе слов, разделенных пробелами, означают, что все они должны входить в одно предложение искомого документа. Тот же самый эффект произведет употребление символа '&'.

Например, при запросе 'лечебная физкультура' или 'лечебная & физкультура', результатом поиска будет список документов, в которых в одном предложении содержатся и слово 'лечебная', и слово 'физкультура'. (Эквивалентно запросу '+лечебная +физкультура').

Между словами можно поставить знак '|', чтобы найти документы, содержащие любое из этих слов. (Удобно при поиске синонимов).

Например, запрос вида 'фото | фотография | фотоснимок | снимок | фотоизображение' задает поиск документов, содержащих хотя бы одно из перечисленных слов.

Еще один знак, тильда '~', позволит найти документы с предложением, содержащим первое слово, но не содержащим второе.

Так, по запросу 'банки ~ закон' будут найдены все документы, содержащие слово 'банки', рядом с которым (в пределах предложения) нет слова 'закон'.

Чтобы подняться на ступеньку выше, от уровня предложения до уровня документа, просто удвойте соответствующий знак. Одинарный оператор (&, ~) ищет в пределах предложения, двойной (&&, ~~) - в пределах документа.

Например, по запросу 'рецепты && (плавленый сыр)' будут найдены документы, в которых есть и слово 'рецепты' и словосочетание '(плавленый сыр)' (причем '(плавленый сыр)' должен быть в одном предложении. А запрос 'руководство Visual C ~~ цена' выдаст все документы со словами 'руководство Visual C', но без слова 'цена'

7.4.4 Поиск с расстоянием

Часто в запросах ищут устойчивые словосочетания. Если поставить их в кавычки, то будут найдены те документы, в которых эти слова идут строго подряд.

Например, по запросу 'красная шапочка' будут найдены документы с это фразой. (При этом контекст "а шапочка у нее была красная" найден не будет.)

Как Яndex адресует слова? Если все слова в тексте перенумеровать по порядку их следования, то расстояние между словами A и B - это разница между номерами слов A и B. Таким образом, расстояние между соседними словами равно 1 (а не 0), а расстояние между соседними словами, стоящими "не в том порядке", равно -1. То же самое относится и к предложениям.

Если между двумя словами поставлен знак '/', за которым сразу напечатано число, значит, требуется, чтобы расстояние между ними не превышало этого числа слов.

Например, задав запрос 'поставщики /2 кофе', вы требуете найти документы, в которых содержатся и слово 'поставщики' и слово 'кофе', причем расстояние между ними должно быть не более двух слов, и они должны находиться в одном предложении. (Найдутся 'поставщики колумбийского кофе', 'поставщики кофе из Колумбии' и т.д.)

Если порядок слов и расстояние точно известны, можно воспользоваться пунктуацией '/+n'. Так, например, задается поиск слов, стоящих подряд.

Запрос 'синяя /+1 борода' означает, что слово 'борода' должно следовать непосредственно за словом 'синяя'. (К тому же результату приведет запрос 'синяя борода')

В общем виде ограничение по расстоянию задается при помощи пунктуации вида '/(n m)', где 'n' минимальное, а 'm' максимально допустимое расстояние. Отсюда следует, что запись '/n' эквивалентна '/(-n +n)', а запись '/+n' эквивалентна '/(+n +n)'.

Запрос 'музыкальное /(-2 4) образование' означает, что 'музыкальное' должна находиться от 'образование' в интервале расстояний от 2 слов слева до 4 слов справа.

Практически все знаки можно комбинировать с ограничением расстояния.

Например, результатом поиска по запросу 'вакансии ~ /+1 студентов' будут документы, содержащие слово 'вакансии', причем в этих документах слово 'студентов' не следует непосредственно за словом 'вакансии'.

Когда знаки ограничения по расстоянию стоят после двойных операторов, то употребленные там числа - это расстояние не в словах, а в предложениях. Расстояние в предложениях определяется аналогично расстоянию в словах.

Запрос 'банк && /1 налоги' означает, что слово 'налоги' должно находиться в том же самом, либо в соседнем со словом 'банк' предложении.

7.4.5 Поиск словосочетаний

Вместо одного слова в запросе можно подставить целое выражение. Для этого его надо взять в скобки.

Например, запрос '(история, технология, изготовление) /+1 (сыра, творога)' задает поиск документов, которые содержат любую из фраз 'история сыра', 'технология творога', 'изготовление сыра', 'история творога'.

7.4.6 Поиск в зонах и атрибутах

Поисковые зоны и атрибуты подробно обсуждались в разделе Форматы документов, зоны и атрибуты. Здесь мы приведем список синтаксических правил языка запросов, которые используются для зонно-атрибутивного поиска. В отличие от других синтаксических правил, изложенных в данной главе, операторы зонно-атрибутивного поиска зависят от настроек, использованных при создании индексных файлов. А именно, в них используются имена поисковых зон и атрибутов, заданные в конфигурационных файлах интерпретаторов документных форматов (парсеров). Имена документных атрибутов также могут быть заданы в конфигурационном файле индексатора (см. Набор атрибутов документа).

Ниже в качестве имени зоны мы будем использовать zone, а в качестве имени атрибута - attr. Вместо zone и attr следует подставить одно из значений, определенных в конфигурации парсера. Например, если используется Конфигурация HTML-парсера по умолчанию, можно использовать title или anchor вместо zone и link, image или keywords вместо attr. В примерах данного раздела мы будем предполагать, что документы проиндексированы с использованием конфигурации HTML-парсера по умолчанию.

Операторы зонно-атрибутивного поиска могут составлять подзапрос более сложного запроса. В этом случае они комбинируются с другими частями запроса с помощью операторов языка запросов, описанных в этой главе.

Синтаксические правила зонно-атрибутивного поиска

7.4.7 Поиск в найденном

Поставив в поисковой строке '$$_идентификатор_запроса_' можно ограничить область поиска - осуществлять его не по всем документам, а только по тем, которые были найдены в предыдущем поиске. Оператор позволяет последовательно сужать область поиска (при очень узком поиске есть опасность не найти ни одного релевантного документа).

Например, запрос '$Title КомпТек && $$1234567', где '1234567' - идентификатор предыдущего запроса, найдет те документы из последнего результата поиска, у которых в заголовке есть слово 'КомпТек'.

7.4.8 Ранжирование результата поиска

При поиске для каждого найденного документа Яндекс вычисляет величину релевантности (соответствия) содержания этого документа поисковому запросу. Список найденных документов перед выдачей пользователю сортируется по этой величине в порядке убывания. Релевантность документа зависит от ряда факторов, в том числе от частотных характеристик искомых слов, веса слова или выражения, близости искомых слов в тексте документа друг к другу и т.д.

Пользователь может повлиять на порядок сортировки, используя операторы веса и уточнения запроса.

Задание веса слова или выражения применяется для того, чтобы увеличить релевантность документов, cодержащих "взвешенное" выражение.

Синтаксис: слово:число или (поисковое_выражение):число

Например, по запросу 'поисковые механизмы:5' будут найдены те же документы, что и по запросу 'поисковые механизмы'. Разница состоит в том, что наверху списка найденного окажутся документы, где чаще встречается именно слово 'механизмы'. Запрос 'поисковые (механизмы | машины | аппараты):5' равнозначен запросу 'поисковые (механизмы:5 | машины:5 | аппараты:5)'.

Задание уточняющего слова или выражения применяется для того, чтобы увеличить релевантность документов, cодержащих уточняющее выражение.

Синтаксис: <- слово или <- (уточняющее_выражение)

Например, по запросу 'компьютер <- телефон' будут найдены все документы, содержащие слово 'компьютер', при этом первыми будут выданы документы, содержащие слово 'телефон'. Если ни в одном документе со словом 'компьютер' нет слова 'телефон', результат запроса будет эквивалентен запросу 'компьютер'.

7.4.9 Краткое описание языка запросов

В заключение сведем все вышесказанное в таблицу. Данным сжатым описанием языка запросов «Яndex.Server 3.4» удобно пользоваться при составлении сложных поисковых выражений и всегда полезно иметь под рукой.

Таблица: Краткое описание языка запросов

Таблица: Поиск в зонах и элементах