Контекст при поиске в Web

Введение

По мере распространения Web все шире и шире становятся представлены разные слои общества. По сравнению с базами данных, используемых в традиционных системах извлечения информации, Web намного разнообразнее как по содержимому, так и по структуре.

Современные механизмы поиска в Web аналогичны по своему действию традиционным системам извлечения информации [57]. Механизмы поиска в Web способны предоставлять длинные списки подходящих документов в ответ на многие запросы пользователей, и новые методы совершенствуют упорядочивание результатов поиска [8, 10, 21, 36, 41]. Однако в действительности интерес для пользователя представляют лишь очень немногие из результатов, полученных в ответ на запрос [6, 50]. Какие из документов окажутся полезными, зависит от контекста запроса, например, от образования, области интересов и опыта пользователя, а также от информации, предлагаемой в рамках текущего запроса. Нужны ли пользователю компании, продающие данный продукт, или техническая информация о продукте? Хочет ли пользователь попасть на сайт, где он уже был, или его интересуют новые сайты?

Такие механизмы поиска, как Google и FAST, как никогда раньше упрощают доступ к информации и широко применяются в Web. Исследование, проведенное GVU, показало, что около 85% людей обращаются к поисковым системам для того чтобы локализовать информацию [31], и многие механизмы поиска поддерживают согласованное упорядочивание ведущих сайтов, к которым пользователи обращаются в Web [48]. Однако основные механизмы поиска в Web имеют существенные ограничения - зачастую они предлагают устаревшую информацию, индексируют лишь часть доступной в Web информации, не индексируют документы, для доступа к которым необходима аутентификация, и многие документы остаются за рамками поиска, а кроме того, сайты индексируются неодинаково [42, 43].

Определение контекста в поисковых запросах

Механизмы поиска в Web, как правило, рассматривают запросы на поиск изолированно друг от друга. Результаты, полученные в ответ на данный запрос, идентичны, не зависят от пользователя или контекста, в котором пользователь создавал запрос. Контекстная информация может быть предоставлена пользователем в виде ключевых слов, добавляемых к запросу. Например, при поиске домашней страницы конкретного человека можно добавить к запросу такие ключевые слова, как «home» или «homepage». Однако возможности предоставления контекста в таком виде сложны и ограничены. Единственный способ добавить хорошо определенную контекстную информацию в поисковый запрос предлагается в механизме поиска, который специально рассчитан на обработку таких данных.

Явное добавление контекстной информации

Проект Inquirus 2 института NEC Research Institute [29, 30] запрашивает контекстную информацию, что сейчас реализовано в виде указания категории требуемых данных. Помимо формирования запроса из ключевых слов пользователи выбирают категорию, например, «personal homepages» (персональные домашние страницы), «research papers» (научные статьи) или «general introductory information» (общая предварительная информация). Inquirus 2 представляет собой механизм метапоиска, который действует на уровень выше обычных поисковых систем. Inquirus 2 пытается, используя данные запроса вместе с контекстной информацией, найти подходящие документы с помощью обычных механизмов поиска в Web. Контекстная информация необходима для выбора тех механизмов поиска, которым передается запрос, для модификации запросов и для определения принципов упорядочивания полученных документов.

Например, запрос на научные статьи по теме «машинное обучение» может трансформироваться в рассылку нескольких запросов к механизмам поиска. Один из таких запросов может быть изменен за счет добавления ключевых слов, которые позволяют уточнить запрос, указав, что требуются именно научные статьи, например, ключевые слова «abstract» («резюме») или «references» («библиография»). Другой запрос может быть идентичен исходному, если преобразования ничего не дают. Inquirus 2 подтвердил свою высокую эффективность по уточнению результатов поиска в пределах предопределенных категорий. Последнее исследование, связанное с Inquirus 2, касается интеграции методов обучения, позволяющие автоматически модифицировать запросов [18, 28].

Автоматическое получение контекстной информации

Inquirus 2 может значительно увеличить точность поиска, но требует, чтобы пользователь явно указал контекстную информацию. А нельзя ли автоматически выяснить контекст? Именно такую цель ставят перед собой авторы проекта Watson [11, 12, 13].

Watson пытается моделировать контекст для информации, требующейся пользователю, опираясь на содержимое документов, которые пользователь ранее редактировал средствами Microsoft Word или просматривал в Internet Explorer. Документы, которые пользователь редактирует или просматривает, анализируются с помощью эвристического алгоритма, поддерживающего весовые коэффициенты, которые призван выявлять слова, отличительные для содержимого документов. Watson меняет запрос в зависимости от содержимого редактируемых или просматриваемых документов и передает модифицированный запрос механизмам поиска в Web, тем самым автоматически добавляя контекстную информацию в запрос.

Watson не только позволяет формулировать подобные запросы явно, но и действует в фоновом режиме, постоянно осуществляя поиск документов в Web, связанных с материалами, которые редактирует или просматривает пользователь. Аналогичным образом работает и Remembrance Agent [54, 56], индексирующий определенные файлы, такие как сообщения электронной почты и научные статьи, и постоянно ведет поиск связанных документов, пока пользователь работает с документом в редакторе Emacs. К аналогичным проектам относятся: Margin Notes [55], который переписывает Web-страницы, включая в них ссылки на соответствующие персональные файлы; Haystack [1], цель которого состоит в создании множества взаимосвязанных «стогов», или хранилищ персональной информации; программа Autonomy?s Kenjin (www.kenjin.com), которая автоматически предлагает содержимое локальных файлов или файлов из Web с учетом документов, которые пользователь просматривает или редактирует. Кроме того, к аналогичным решениям можно отнести агентов Fab [4], Letizia [47], WebWatcher [3] и Syskill and Webert [51], изучающих область интересов пользователя с тем, чтобы предложить ему соответствующие Web-страницы.

Персонифицированный поиск

Следующий этап - персонификация поиска, т. е. использование механизма поиска, которому известно все о предыдущих запросах пользователя и сфере его интересов и данный механизм способен согласовывать результаты запроса с этими данными. Так, к примеру, в ответ на запрос «Майкл Джордан» ссылки на информацию, связанную с профессором, работающим в области информатики и статистики, будут иметь более высокий приоритет, чем ссылки на данные об известном баскетболисте, если такое упорядочивание больше отвечает интересам конкретного пользователя.

Такой персонифицированный поисковый механизм может размещаться или на сервере, или на клиенте. Серверный механизм поиска, такой как Google, способен отслеживать предыдущие запросы пользователя и выбранные им документы, а затем на основе этой информации сделать вывод о сфере его интересов. Например, если пользователь часто ищет материалы, связанные с компьютерами, тогда ссылка на домашнюю страницу ученого при ответе на запрос «Майкл Джордан» получит высокий приоритет, даже если раньше пользователь никогда не инициировал подобный запрос.

Персонифицированная служба поиска на клиенте отслеживает все редактируемые и просматриваемые пользователем документы для того, чтобы составить наилучшую модель пользовательских интересов. Клиенты могут модифицировать запросы с тем, чтобы помочь извлечь документы, соответствующие данному контексту, но при этом трудно полностью учесть всю сферу интересов пользователя. Watson и Kenjin представляют собой примеры персонифицированных механизмов поиска в Web, размещаемых на клиенте. Сейчас Watson и Kenjin извлекают контекстную информацию только из документа, который в данный момент просматривает или редактирует пользователь.

Принимая во внимание, что затраты на работу полномасштабного механизма поиска и так уже очень высоки, можно сделать вывод, что, скорее всего, полномасштабная персонификация на сервере сейчас обходится слишком дорого для основных механизмов поиска в Web. Большинство таких механизмов (исключение составляет лишь Northern Light) даже не предлагают службу уведомления, которая сообщала бы пользователям о появлении новых страниц, соответствующих конкретным запросам. Некоторые Internet-компании уже предлагают значительный объем памяти индивидуальным пользователям. Например, DriveWay (www.driveway.com) и Xdrive (www.xdrive.com) предоставляют каждому пользователю дисковое пространство емкостью до 100 Мбайт.

Одна из важнейших проблем, связанных с персонифицированными службами поиска состоит в том, что пользователи часто рассчитывают на неизменность, т. е. им хотелось бы получать одни и те же результаты в ответ на одни и те же запросы. Но персонифицированный механизм поиска может возвращать разные результаты в ответ на один и тот же запрос как для разных пользователей, так и для того же пользователя по мере того, как система больше узнает о его пристрастиях. Еще один важный вопрос, о котором здесь ничего не говорилось, - это вопрос конфиденциальности, поскольку многие стремятся ограничить возможности хранения и использования персональной информации механизмами поиска.

Чего хочет пользователь

Все чаще при поиске в Web используется методика, позволяющая прогнозировать контекст пользовательских запросов. Поисковые машины Excite (www.excite.com), Lycos (www.lycos.com), Google (www.google.com) и Yahoo (www.yahoo.com) предлагают специальные функции для определенных видов запросов. Например, запросы к Excite и Lycos с указанием имени художника или названия компании, порождают дополнительные результаты, которые непосредственно связаны с художником или компанией. Недавно Yahoo добавила аналогичную функциональность и предоставляет специализированные результаты для множества различных типов запросов, например, если в запросе встречается символ акции, то предлагаются котировки ценных бумаг и ссылки на информацию о компании, а имена игроков связываются с информацией о команде и лиге. Подобный же эффект при обращении с запросом в Yahoo вызывает упоминание моделей автомобилей, праздников, музыкантов, крупных городов, названий лекарственных средств и препаратов, знаков Зодиака, пород собак, авиакомпаний, магазинов, телевизионных шоу и национальных парков. Google идентифицирует запросы, которые выглядят как названия улиц в США и предлагает прямые ссылки на карты. Точно также Google отслеживает запросы на последние новости и предоставляет ссылки на соответствующие статьи, когда те найдены, обоснованно предполагая, что пользователя могут интересовать новости.

Вместо того чтобы требовать от пользователя явного указания контекстной информации, такой, к примеру, как «я ищу новости» или «я хочу получить котировки акций», эта методика предполагает, каким может быть подходящий контекст. Пользовать имеет возможность достаточно просто указать, какой именно контекст его интересует. Эта методика ограничивается случаями, в которых потенциальный контекст может быть определен на основе запроса с ключевыми словами. Усовершенствовать методику определения контекста поиска можно с помощью персонифицированного механизма поиска. Например, для пользователя, интересующегося компьютерной тематикой, запрос «Майкл Джордан» может вернуть ссылку на список публикаций профессора Майкла Джордана, исходя из предположения, что этому пользователю необходимы именно такие материалы.

Кроме того, может применяться кластеризация результатов поиска, например в том стиле, как ее выполняет Northern Light. Поисковая система Northern Light динамически объединяет результаты поиска в такие категории, как «current news» («текущие новости») и «machine learning» («машинное обучение»), и дает пользователям возможность ограничить поиск любой из этих категорий.

Ограничение контекста

Еще один способ учесть контекст при выполнении поиска в Web - это ограничить контекст, в котором работает сам механизм поиска, т. е. создать специализированные механизмы поиска для конкретных предметных областей. Тысячи таких механизмов уже существуют (см. www.invisibleweb.com и www.completeplanet.com). Многие из подобных служб предлагают функциональность, аналогичную функциональности обычных механизмов поиска в Web либо для информации, которая находится в общедоступной индексированной Web (лишь часть которой может быть проиндексирована обычными механизмами поиска), либо для информации, которая не доступна обычным механизмам поиска (например, механизм поиска New York Times).

Извлечение информации и специализированная обработка

Система ResearchIndex (также известная как CiteSeer) [40, 44, 45] представляет собой специализированный механизм поиска научной литературы. ResearchIndex - это бесплатная общественная служба (www.researchindex.com), представляет собой крупнейший в мире бесплатный полнотекстовый каталог научной литературы, сейчас насчитывающий более 300 тыс. статей, содержащих свыше 3 млн. ссылок. Он включает в себя характеристики, специфические для научной литературы. ResearchIndex автоматизирует создание индексов ссылок для научной литературы, предлагает удобный доступ к контексту статей, на которые имеются ссылки и имеет специализированные функции для извлечения информации, часто публикуемой в научных статьях.

К другим специализированным механизмам поиска, которые извлекают информацию или выполняют обработку с учетом особенностей конкретной предметной области, относятся: DEAD-LINER [37], анализирующий информацию из Web-конференций, групп новостей и списков рассылки; FlipDog (www.flipdog.com), анализирующий информацию о рабочих местах с вакансиями; HPSearch (hpsearch.uni-trier.de/hp), индексирующий домашние страницы специалистов в области информатики и компьютеров; GeoSearch [14, 23], использующий выборку информации и анализ источников ссылок для того чтобы определить географическое положение и сферу действия Web-ресурсов. Northern Light также предлагает службу, получившую название GeoSearch, однако эта служба лишь пытается выделить адреса с Web-страниц и не поддерживает концепцию географической сферы действия ресурса (например, New York Times расположена в Нью-Йорке, но ее читают в более широком географическом регионе, в то время как другая нью-йоркская газета может совсем не пользоваться спросом за пределами Нью-Йорка).

Такие механизмы поиска, как ResearchIndex, DEADLINER, FlipDog, HPSearch и GeoSearch автоматически извлекают информацию с Web-страниц. Для такого получения информации было предложено множество методов, примеры которых приведены в [2, 9, 20, 38, 39, 40, 58, 59].

Выявление сообществ в Web

Механизмы поиска, ориентированные на определенную предметную область и рассчитанные на работу в общедоступной индексированной Сети, должны иметь возможность определять подмножества Web в рамках своей предметной области. Недавно Флейк и его коллеги [25] показали, что ссылочная структура Web самоорганизуется таким образом, что относящиеся к одной предметной области страницы можно четко выявить, опираясь исключительно на их связность. «Сообшество» определяется как совокупность страниц, каждая из которых имеет больше ссылок (в любом направлении) внутри этой совокупности, чем снаружи (данное определение можно обобщать для того чтобы выявить объединения различного размера с различным уровнем связности). Выявление таких сообществ крайне важно, поскольку не существует какой-либо организации или процесса, которые управляли бы формированием ссылок в Web. Этот подход позволяет выявить сообщества в Web безотносительно от конкретно используемых ключевых слов. Алгоритм эффективного выявления таких сообществ можно найти в [25].

Ряд других методов выявления сообществ взаимосвязанных страниц в Web можно найти в [7, 15, 16, 17, 22, 27, 36, 53].

Выбор специализированных механизмов поиска

Учитывая, что уже существуют тысячи специализированных поисковых механизмов, каким образом пользователь может найти то, что его интересует? Самое важное, наверно, смогут ли пользователи определить наилучшие для своих запросов специализированные поисковые системы.

В этой ситуации может помочь использование наилучших методов для обнаружения специализированных механизмов поиска. Предложен целый ряд методов выбора механизмов поиска на основе запросов пользователя, к примеру, GlOSS [33, 34] поддерживает статистику слов в имеющихся базах данных, чтобы оценить, какая из них окажется наиболее полезной для данного запроса. Соответствующие исследования описаны в [19, 24, 26, 32, 46, 49, 61, 62].

Универсального решения не существует

Обычные механизмы поиска можно рассматривать как «универсальное» решение - все пользователи получают одни и те же ответы на данный запрос. Как уже утверждалось ранее, эта модель не позволяет оптимально обрабатывать многие запросы, но это ли самое главное?

Часто говорят, что самым важным достоинством Web является равный доступ к информации. Но можно ли вообще говорить о таком равенстве? Например, распределение трафика и ссылок на сайты отличается значительной асимметрией [5, 35], учитывая, что непропорционально большая часть трафика приходится на долю небольшого числа крайне популярных сайтов — воистину, «победитель забирает все». Например, на долю самой крупной традиционной книготорговой компании (Barnes & Noble) приходится менее 30% рынка, в то время как самой крупной книготорговой компании в Сети (Amazon) принадлежит более 70% рынка [52].

На подобное положение дел существенное влияние оказывают механизмы поиска. До появления Web потребители могли выбрать любой магазин из указанных в телефонном справочнике. Сейчас все большее число покупателей находит магазины через механизмы поиска. Представьте, если большая часть запросов на поиск в Web по данным ключевым словам дают в результате одни и те же сайты с высокими приоритетами, причем, вполне возможно, что в критериях отбора учитываются параметры популярности [43]. Даже если лишь небольшой процент людей пользуется услугами поисковых механизмов для выбора магазинов, эти люди могут создать ссылки в Web на данные магазины, еще больше увеличивая вероятность выбора данных магазинов другими пользователями. На выбор пользователем данного элемента в Web может значительно большее влияние оказывать то, что называют общественным мнением, если сравнивать с предыдущими способами выбора (например, поиск в телефонной книге, близкое расположение или отзывы друзей). Отметим, что в Web ситуация развивается иначе, чем в другой, казалось бы аналогичной ситуации - с выбором телевизионных программ. Здесь общественное мнение оказывает меньшее влияние, так что, растущее число кабельных каналов и все более активное использование Web означают, что все меньше людей смотрит одни и те же программы.

Пристрастность при доступе к информации можно ограничить за счет использования для каждого запроса соответствующей службы поиска. Хотя запрос на поиск магазинов в основных поисковых машинах Web может вернуть пристрастные результаты, пользователи имеют возможность получить более объективную информацию в интерактивных телефонных справочниках - аналогах «Желтых страниц». То же видно и из другого примера. В ответ на поиск в феврале 2000 года имен кандидатов в президенты США, результаты, которые давали основные поисковые машины Web значительно различались в том, домашние страницы каких официальных кандидатов находились в первых строчках списка [60]. Аналогичные запросы, обращенные к специализированным механизмам поиска, работающим с политической информацией, давали менее «предвзятые» результаты. Однако существование более объективных служб не предотвращает неравенство в доступе к информации, если многие люди используют основные поисковые машины Web. Поиск в таких каталогах, как Yahoo или Open Directory, может также оказаться более объективным, хотя вполне вероятны значительные и неадекватные пропуски в списках, а многие сайты в них и вовсе не указаны.

Новые поисковые службы, которые учитывают контекст, а также дальнейшая интеграция контекста в уже существующие поисковые службы могут увеличить уровень конкуренции, разнообразие и функциональность и позволят ослабить эффект предвзятости при доступе к информации в Web.

Резюме

Механизмы поиска позволяют быстро и просто получить доступ к огромным объемам информации. Их вклад в развитие Web и общества в целом трудно переоценить. Однако «универсальная» модель поиска в Web может ограничивать разнообразие, конкуренцию и функциональность. Предотвратить это может более активное использование контекста при поиске в Web.

Об авторе

Стив Лоуренс — сотрудник NEC Research Institute. С ним можно связаться по электронной почте: lawrence@research.nj.nec.com

Литература