Как перестать искать и начать находить

Спросите дорогу у двух-трех прохожих. Узнаете ли вы после этого, куда идти? Неизвестно. Возможно, в спешке вам дадут неполную информацию или по ошибке отправят вас в противоположном направлении, а то и просто пожмут плечами: извините, мол, понятия не имеем, где это. Однако когда вы обнаруживаете, что в седьмой раз прошли мимо того же торгового комплекса, другого выхода нет. К кому же подойти? К парню на бензоколонке? К мужчине, который моет машину? К женщине, гуляющей с собакой?

Поиск чего бы то ни было в Web сопряжен с такой же неопределенностью. В точности зная, что вы ищете, вы вполне можете не знать, где это искать и кого об этом спросить. А когда вы задаете вопрос, нет никакой гарантии, что на него будет дан нужный ответ.

«Паутина» прямо-таки кишит поисковыми серверами, которые наперебой рвутся показать вам дорогу. По самым скромным оценкам, их более восьми тысяч, считая классические поисковые машины, общие и специализированные каталоги, а также метапоисковые Web-узлы (которые посылают запросы сразу на несколько поисковых серверов). В дополнение к этому существует ряд альтернативных средств поиска, способных вам пригодиться, включая утилиты, которые, работая совместно с браузером, добывают информацию из Web, и так называемые «экспертные узлы», где с вашими запросами работают живые люди.

Имея столь широкий выбор, непросто решить, на какой сервер когда отправляться. Мы протестировали более 20 поисковых машин, каталогов и экспертных узлов, чтобы определить, какие из них выдают лучшие результаты, т. е. наиболее соответствующие запросу ссылки, ранжированные самым логичным образом и при наименьших усилиях со стороны пользователя.

Каждому серверу мы предложили серию запросов общего и специального характера. Одни были ориентированы на бизнес — например, мы пытались разыскать дипломированных бухгалтеров-ревизоров в Калифорнии; другие носили академический характер, в частности, мы запрашивали информацию о потерянной рукописи Хемингуэя (жена писателя забыла ее в поезде в 1922 г.). Кроме того, мы интересовались темами, связанными с поп-культурой, от Poke,mon до Queen.

Одни серверы справлялись с нашими заданиями на удивление хорошо, другие выдавали множество ссылок на страницы, не имеющие отношения к запросу или уже не существующие. (Подробнее о лучших узлах см. врезку «Суперзвезды поиска» и таблицу сравнения возможностей.) В целом можно сказать, что техника поиска, хотя и далеко не совершенная, значительно продвинулась вперед и намного эффективнее, чем раньше, помогает нам найти дорогу в Паутине.

Поисковые машины и каталоги: основы

При всем изобилии методов поиска в Internet наиболее распространенными средствами нахождения информации по-прежнему остаются поисковые машины и каталоги. Каждый из этих инструментов имеет определенные преимущества, а основная разница между ними заключается в участии/неучастии человека.

Поисковые машины запускают в Web программных «пауков» (spiders), которые путешествуют со страницы на страницу и на каждой индексируют ее полный текст. Каталоги же формируются людьми-редакторами, которые прочитывают страницы, отсеивают неподходящие и классифицируют узлы по темам. Ничто не попадает в каталог без одобрения редактора, поэтому вряд ли вы натолкнетесь на рождественский рецепт в разделе Yahoo, посвященном коротковолновой любительской радиосвязи (ham radio; слово ham означает также «окорок». — Прим. перев.).

Но из-за того, что каталоги создаются вручную, они охватывают намного меньше ресурсов, чем поисковые машины. В Web сейчас, по самым скромным оценкам, насчитывается миллиард страниц (причем их число ежедневно увеличивается на миллион). Большинство поисковых машин не подошли сколько-нибудь близко к тому, чтобы проиндексировать всю Сеть. Исключением является Google, который претендует именно на эту цифру — миллиард страниц, частично или полностью охваченных его индексами. Самый большой каталог — Open Directory Project (www.dmoz.org) — на этом фоне кажется крошечным: в него занесено лишь около 2 млн. страниц.

Гибридные поисковые серверы

Поскольку у каталогов свои достоинства, а у поисковых машин — свои, большинство крупных поисковых серверов в том или ином виде реализуют оба метода. Поисковую машину AltaVista, например, дополняет каталог, основанный на индексах с серверов LookSmart (www.looksmart.com) и Open Directory. Когда же вы что-то ищете на LookSmart или Yahoo, сервер сначала выдает результаты из своего каталога, а потом перадресует ваш запрос поисковой машине.

Разумеется, услуги многих серверов далеко не исчерпываются каталогом и поисковой машиной. Excite, Go.com, Lycos, Yahoo и другие превратились в порталы, на которых есть и информация о котировках акций, и новости, и электронная почта, и магазин. Короче, они делают все возможное, чтобы подольше задержать посетителя на своих страницах: это повышает вероятность того, что он прочтет рекламу, за счет которой и существует сервер. Но хотя многие материалы, предлагаемые порталами, полезны или забавны, в результате сервер настолько загромождается второстепенными функциями, что средства поиска начинают казаться необязательным дополнением.

Некоторые поисковые серверы возвращаются к основам. Первым это движение начал в прошлом году Google: на его элегантной главной странице нет почти ничего, кроме логотипа сервера, поля, куда вводится запрос, и пары кнопок. Несколько позже от AltaVista отпочковался сервер Raging Search (www.raging.com), который предоставляет доступ к поисковой машине AltaVista без сутолоки соответствующего узла. Утверждается, что поиск на двух узлах может дать различные результаты, но во всех наших тестах списки ссылок оказались полностью идентичными. Как бы то ни было, существование чисто поисковых узлов должно порадовать завсегдатаев Web, которым мешает отвлекающий внимание сервис порталов.

Поисковые машины: в погоне за релевантностью

Рассуждая логически, можно было бы ожидать, что чем больше страниц проиндексировано в поисковой машине, тем выше ваши шансы найти с ее помощью то, что требуется. Однако если результаты поиска не будут правильно упорядочены, нужная вам ссылка легко может оказаться похоронена под тысячами не имеющих отношения к делу. Какой вам прок от машины, выдавшей список из 6000 страниц, посвященных охране среды, если вас интересует рок-группа Green Day («зеленый день» — Прим. перев.)?

Так, на Lycos мы ввели запрос: Ford Motor Company. Первая ссылка в списке результатов поиска была на раздел самого Lycos, посвященный мотоциклам, вторая — на сервер фирмы Nature Company, третья — на мебельный Internet-магазин Living. com. На сервере Ask Jeeves, позволяющем строить запросы в виде обычных вопросительных предложений, мы спросили: Who is John Kerry? («Кто такой Джон Керри?»), рассчитывая найти биографию массачусетского сенатора. Но первая выданная нам ссылка вела на страницу, посвященную городу Керри в Ирландии.

Из протестированных нами серверов ответы, имеющие отношение к делу, последовательнее всех давал Google (и это одна из причин, по которой его поисковая машина — наша любимая). Он ранжирует страницы в зависимости от числа указывающих на них ссылок: если на узел, посвященный определенной теме, ссылается множество страниц, есть все основания полагать, что он содержит существенную информацию по данному предмету. Соответственно, Google помещает его ближе к началу списка.

Разработчики поисковой системы Google настолько верят в эту теорию, что снабдили интерфейс сервера кнопкой I?m feeling lucky («Я чувствую, что мне повезет»), нажав на которую вы попадаете на страницу, имеющую, по мнению Google, наибольшее отношение к вашему запросу. Впрочем, правильнее было бы назвать ее We?re feeling lucky («Мы чувствуем, что нам повезет»), поскольку это Google рискует, предполагая, что выбранная им страница — та, что вам нужна. Во время нашего тестирования оптимизм Google в некоторых случаях оказался оправданным. Мы искали официальную страницу предвыборной кампании Эла Гора по набору ключевых слов Al Gore campaign site. На Google адрес algore2000.com стоял первым в списке, в то время как на GoTo.com ему предшествовали почти семь десятков других.

Везение изменило Google, когда мы запустили поиск по ключевым словам world beat, рассчитывая получить информацию о мировой бит-музыке: сервер отослал нас на узел Rough Guides, посвященный путешествиям. Однако когда мы взяли запрос в кавычки («world beat»), судьба вновь улыбнулась серверу (и нам): поиск выдал ссылку на посвященную бит-музыке страницу узла Internet Underground Music Archive, имевшую самое прямое отношение к делу. (Вот еще одно подтверждение тому, что мелкие отличия в том, как вводится запрос, могут существенно повлиять на результаты поиска.)

И еще одно достоинство Google: под каждой найденной ссылкой он приводит отрывок текста со словом или словами из запроса, которые выделены жирным шрифтом. Это помогает бегло проглядывать результаты, «на глаз» оценивая релевантность ссылок. (Большинство поисковых машин показывают просто одну-две начальных строки документа независимо от того, находятся ли в них слова из запроса.)

На сервере Direct Hit применяется другой подход к достижению максимальной релевантности результатов: они упорядочиваются в зависимости от популярности у предыдущих искателей информации. Например, если в ответе на запрос о компьютерных микросхемах (computer chips) первая ссылка часто остается невостребованной (скажем, из-за того, что указывает на страницу, посвященную картофельным чипсам), она переместится в более дальнюю часть списка. Этот метод взяли на вооружение еще несколько серверов, включая HotBot, Lycos и MSN Search. Однако наши тесты на самом Direct Hit дали неоднозначный результат. По запросам о Poke,mon и Queen нам в обоих случаях первыми были выданы официальные страницы соответствующих групп. А вот из десяти ссылок, найденных по запросу world beat, отношение к делу имели только четыре, а остальные по большей части никак не были связаны с музыкой.

Каталоги: Yahoo и его соперники

В 1994 г., когда начинался бурный рост «Всемирной паутины», выбор средств поиска в Сети был весьма ограниченным: Yahoo и, гм... опять Yahoo. Этот сервер и по сей день остается краеугольным камнем исследования Web, но как каталог он столкнулся сейчас с жесткой конкуренцией со стороны Open Directory и LookSmart.

Все три каталога весьма полезны, но с учетом всех обстоятельств мы отдаем предпочтение Open Directory. Проект Open Directory, инициированный компанией Netscape, реализуется усилиями редакторов-добровольцев со всего мира, которых насчитывается более 24 тыс. и которые проиндексировали около 2 млн. узлов, расклассифицировав их по более чем 200 тыс. категорий. Любой поисковый сервер может получить лицензию Open Directory и использовать его базу данных при обработке запросов, и на многих это сделано: AltaVista, HotBot, Lycos, MetaCrawler и около сотни других серверов ныряют туда за ссылками.

Можно было бы ожидать, что, коль скоро каталог Open Directory создается силами добровольцев, качество результатов будет колебаться. Но во всех своих тестах мы получили хорошо организованные списки относящихся к теме страниц с четкими описаниями каждой ссылки. (Yahoo в некоторых случаях выдавал лишь загадочное описание или вовсе никакого.) А узел www.dmoz.org производит такое же впечатление, как Google: это «чистый поиск» без отвлекающих моментов типа ссылок на магазины.

На LookSmart описания тоже совершеннее, чем на Yahoo. Однако в его каталоге, похоже, зарегистрировано меньше узлов, относящихся к бизнесу, чем в Open Directory или Yahoo: это мешает, если вам нужно, скажем, отыскать в Детройте фирму, занимающуюся дизайном офисов. И хотя LookSmart не является полноценным порталом, результаты поиска иногда оказываются пересыпаны до смешного неуместными торговыми ссылками. Введите, к примеру, запрос: Buddhist philosophy («Буддийская философия»), и LookSmart, еще не показав результата поиска, спросит, интересуют ли вас «Local sales & coupons for ,Buddhist philosophy, at ShoppingList» (торговые точки и купоны по продаже «буддийской философии» из списка ShoppingList).

Какой каталог ни выбрать, у всех есть одно преимущество перед поисковыми машинами: их можно систематически просматривать, пользуясь иерархической системой меню. Например, вы щелкаете на LookSmart на категории Sports (спорт) и получаете список тем, таких как Baseball (бейсбол), Olympics (Олимпийские игры) или Motor Sports (авто- и мотоспорт). Щелкнув в этом списке на пункте Motor Sports, вы сможете сузить поиск, выбрав подкатегорию, например, Formula One Racing (гонки «Формула-1») или NASCAR.

Или представьте себе, что ищете фирму, которая изготовила бы вывеску для вашей компании, находящейся в Лос-Анджелесе, и уже знаете одного такого поставщика. В этом случае можно выполнить «обратный запрос»: запустить поиск в каталоге по названию известной вам фирмы, найдя ее, определить категорию, к которой она относится (скажем, на Yahoo это будет Los Angeles>Business and Shopping> Business to Business>Signage — Лос-Анджелес>Бизнес и торговля>Обслуживание предприятий>Вывески), после чего выбрать эту категорию и посмотреть, какие еще изготовители вывесок есть в Лос-Анджелесе. Таким путем вы найдете нужные адреса быстрее, чем при обычном поиске по ключевым словам.

Метапоисковые серверы: чем больше, тем мощнее?

Это неизбежно: ссылка, которую вы разыскиваете, имеется на AltaVista, но вы обратились на Google, а там данная страница Adam.com (www.adam.com) не проиндексирована. Отправляйтесь на метапоисковый сервер (metasearcher, metacrawler). Такие серверы не ведут собственных индексов, а каждый запрос передают другим поисковым машинам и каталогам. Большинство из них объединяют полученные результаты, убирают повторы и представляют вам обработанный список, содержащий больше адресов, чем при поиске на какой-то одной машине.

На заре развития Web, когда ни на одной поисковой машине число проиндексированных страниц не превышало нескольких миллионов, метапоиск был очень важен. Но сейчас AltaVista, Google и другие машины могут похвастаться индексами на сотни миллионов страниц, так что каждая из них даже в одиночку позволит вам «прочесать» значительную часть Web. Тем не менее, с лучшими метапоисковыми серверами стоит познакомиться; попробуйте обратиться на какой-нибудь из них, когда ваша любимая поисковая машина в очередной раз ничем вам не сможет помочь. К сожалению, их результатам часто недостает релевантности Google — вероятно, из-за того, что логично объединить ссылки из разных источников очень сложно.

В настоящее время в Web работает множество метапоисковых серверов. Среди наиболее выдающихся — Dogpile (www.dogpile.com), Mamma.com (www.mamma.com), MetaCrawler (www.metacrawler.com), ProFusion (www.profusion.com), Search.com (www.search.com) и TheBigHub.com (www.thebighub.com). Каждый из них черпает информацию из своего набора поисковых машин. MetaCrawler, например, обращается к 13 машинам, включая AltaVista, Excite, Google и LookSmart, а TheBigHub.com довольствуется всего восемью. Необходимо понимать, что чем больше машин занимается запросом, тем дольше он обрабатывается: метапоисковый сервер должен каждой машине его передать, от каждой получить ответ и свести все результаты в один список. Ограничение числа запрашиваемых машин помогает метапоисковому серверу держать время ожидания ответа в разумных пределах.

Популярность метапоиска вдохновила владельцев ряда традиционных поисковых машин на реализацию сходных функций. К примеру, Ask Jeeves наряду с результатами поиска по его собственной базе данных приводит ссылки с About.com, AltaVista, Excite, WebCrawler и 4anything Network.

В поисках наилучшего

Наш любимый метапоисковый сервер, MetaCrawler, опирается на солидные поисковые машины, такие как AltaVista и Google, что помогает ему давать обширные и состоятельные ответы. Кроме того, MetaCrawler работает со всеми типами сетевых ресурсов: проведя поиск по запросу Beethoven (Бетховен), вы сможете, перебирая закладки, переходить от текстовых документов, имеющих отношение к великому композитору и его музыке, к MP3-файлам, изображениям, дискуссиям в телеконференциях и даже торгам на аукционных серверах.

Заслуживает упоминания также метапоисковый сервер Search. com, на котором имеется несколько десятков специализированных метапоисковых систем по разным темам. Например, автомобильный запрашивает Autobytel, Car and Driver, CarPrices.com и еще девять автомобильных узлов. Однако общий метапоиск Search.com часто выдает первыми ссылки с поисковой машины GoTo.com, где берут плату с владельцев узлов за размещение соответствующих ссылок в начале списка результатов. Так, по запросу Dell Computer нам был выдан список, в котором оплаченная ссылка на Web-узел некой фирмы, торгующей компьютерами Dell, стояла до ссылки на собственную страницу компании. Впрочем, на Search.com страница Dell была всего лишь второй; на Mamma.com она оказалась восемнадцатой.

Специализированные поисковые машины: делать что-то одно, зато хорошо

В индексе одного из наших любимых поисковых серверов числится всего 1600 узлов. Эта цифра могла бы показаться жалкой, если бы не одно обстоятельство: все эти 1600 узлов посвящены пиву. И если вы ищете клуб любителей домашнего пива в Портленде (шт. Орегон), Beersite (www.beersite.com) стоит посетить в первую очередь.

Тематические поисковые системы, от TaxTopic.com (www.taxtopic.com, налоги) до James T. Kirk Search Engine (www.webwombat.com.au/trek, «Звездный путь») охватывают практически все мыслимые предметы. Мы обнаружили девять «искалок», посвященных астрономии, полдюжины, посвященных политике, и три, посвященных рыбной ловле. Лучшие из них демонстрируют такую компетентность в рамках своей темы, какую редко можно встретить у поисковых машин общего назначения, и почти во всех наших тестах они помогли нам найти то, что требовалось.

Вдобавок благодаря узкой специализации подобных систем результаты отличаются высокой релевантностью: по запросу bacon (бекон) на сервере Recipes-For-All.com вы наверняка получите рецепты блюд с беконом, а не фильмы с Кевином Беконом или эссе сэра Фрэнсиса Бекона.

Как узнать, существует ли поисковая система, например, по коккер-спаниелям? Очень просто: справьтесь об этом в путеводителе по тематическим «искалкам». Назовем два из числа наших любимых — InvisibleWeb.com (www.invisibleweb.com) и Search Engine Guide (www.searchengineguide.com).

Специализированные поисковые системы редко являются полностью автоматическими (примером таковой может служить Ditto.com, помогающая находить в Web изображения): большинство фактически представляют собой вручную составленные каталоги узлов, относящихся к данной теме. Поэтому тематический поиск на них дает лучшие результаты, чем узкоспециализированные запросы. Например, задав на сервере All Magic Guide (www.allmagicguide.com) запрос Houdini (Гудини), вы получите 15 полезных ссылок на страницы, посвященные легендарному иллюзионисту, а по запросу harry houdini straitjacket escape photo (фотография Гарри Гудини, выпутывающегося из смирительной рубашки) не найдете ничего.

Многие специализированные серверы представляют собой плод трудов одного энтузиаста, и в силу этого там может наступить застой, если владелец потеряет интерес к теме или у него станет меньше свободного времени. Посмотрите на дату последнего обновления на основной странице, и если оно было давно, двигайтесь дальше.

Экспертные узлы: доброта чужих людей

Разработчики поисковых машин долгое время (и без особого успеха) пытаются научить свои автоматизированные системы мыслить по-человечески. А почему бы не сделать наоборот? Такова идея экспертных узлов — информационных центров, поддерживаемых знаниями и суждениями живых людей.

Среди лидеров в этой области — Abuzz (www.abuzz.com), Ask Jeeves AnswerPoint (answerpoint.ask.com), AskMe.com (www.askme.com) и LookSmart Live (live.looksmart.com). Их услуги по большей части бесплатны. А вот сервер Exp.com специализируется на платных советах квалифицированных специалистов — юристов, бизнес-консультантов и т. п.; существуют и узлы, посвященные компьютерным проблемам, например, ExpertCity (см. также Линкольн Спектор. Бесплатное общедоступное сопровождение. — «Мир ПК», № 7/2000, с. 82).

Порядок действий почти на всех экспертных узлах одинаковый: по систематическому каталогу в стиле Yahoo вы разыскиваете нужную категорию, затем вводите свой вопрос и ждете ответов от посетителей узла («экспертов»), утверждающих, что они разбираются в данном предмете.

Чаще всего результатом бывает весьма квалифицированный и индивидуальный совет, какой не способна дать ни одна поисковая машина. Когда мы, к примеру, спросили о покупке велосипеда для поездок на работу, эксперт на AskMe поделился с нами списком своих любимых страниц, посвященных велосипеду в городе, а велосипедист-ветеран на Abuzz выдал нам памятку, которую следовало взять с собой в велосипедный магазин. Ответ на таких узлах дается не сразу, но очень часто мы получали его в течение часа или двух.

Где же эксперты?

В конечном счете мы отдали предпочтение простому интерфейсу и дружелюбному отзывчивому сообществу экспертов AskMe.com. И все же некоторые наши вопросы оказались тамошним экспертам «не по зубам», и фанатов поп-культуры среди них значительно больше, чем историков литературы. Мы спросили одну посетительницу узла, претендовавшую на знакомство с творчеством Хемингуэя, о потерянной рукописи писателя. Та, как оказалось, никогда не слышала о ней; позже она призналась, что может назвать лишь одно или два его произведения.

Задав тот же вопрос на LookSmart Live и Exp.com, мы получили правильные ответы уже на следующий день. (На Exp.com это обошлось нам в 3 долл., а LookSmart все сделал бесплатно.) Вывод: ни один экспертный узел не имеет специалистов по всем вопросам, поэтому имеет смысл поставить закладки на несколько узлов.

В действительности этот совет применим ко всем видам поиска в Web: не полагайтесь всецело на один сервер или даже два. Поставьте закладки сразу на несколько и пользуйтесь всеми, изучив их сильные и слабые стороны. Конечно, и они не во всех случаях сумеют показать вам кратчайший путь к знанию, которого вы ищете: в Web немало кружных путей и тупиков. Но спрашивая в правильных местах, вы проведете меньше времени в бесцельных блужданиях по информационной супермагистрали.

Об авторах

Ким Зеттер — внештатный редактор PC World; Гарри Маккрэкен — исполнительный редактор журнала. Йел Ли-Рон — технический писатель, живет в Калифорнии. В написании статьи участвовала также Лиз Гэйроун, независимый автор из Калифорнии.

Суперзвезды поиска

Как правильно искать

Утилиты поиска

В дополнение к использованию поисковых серверов Web можно установить на своем жестком диске утилиты поиска. Мы рекомендуем следующие три (бесплатные версии первых двух утилит можно найти по адресу www.fileworld.com/magazine).

Copernic 2000 4.5

Эта программа компании Copernic Technologies не является «искалкой» в собственном смысле слова, но она поднимает поиск на новую высоту, предлагая впечатляющие средства организации и взаимодействия. Copernic позволяет сохранять результаты поиска в настраиваемых папках, посылать их по электронной почте, убирать недействительные ссылки нажатием кнопки Validate и сортировать список по релевантности и другим критериям. Бесплатная версия программы, подобно метапоисковому серверу, передает ваш запрос одновременно на несколько десятков серверов. Версии Plus (40 долл.) и Pro (80 долл.) работают с сотнями общих и специализированных поисковых систем и имеют такие функции, как удаление баннерной рекламы со страниц результатов или (в версии Pro) автоматический поиск по расписанию.

Copernic передает запрос сразу на несколько машин

GuruNet

Эта небольшая бесплатная утилита компании GuruNet Corp. найдет вам определения и ссылки для любого слова на экране. Запустите любую программу (Web-браузер, текстовый процессор и т. д.), после чего щелкните на нужном слове, удерживая нажатой клавишу . В считаные секунды перед вами появится всплывающее окошко с существенной информацией, касающейся этого слова. Например, если вы щелкнули на имени компании, то получите данные о ее акциях, официальный адрес и карту проезда в левой части окна. Если это название города, будут выданы словарные определения, статьи из энциклопедии, информация о городском транспорте и о погоде. Другие термины могут вызывать ссылки на финансовую информацию (поставляемую узлами типа Motley Fool) или диаграмму динамики акций (со StockPoint.com). Проще говоря, GuruNet — предмет первой необходимости.

Щелкните на каком-нибудь слове на экране, и GuruNet найдет к нему определения и другую информацию

X-Portal

Благодаря сочетанию актуальности данных из Internet с быстротой доступа к 22 локальным справочникам (словарям, энциклопедиям, альманахам и атласу) разработанная канадской фирмой KCSL утилита X-Portal идеальна для людей, жаждущих информации. Программа размещается на CD-ROM, требует около 200 Мбайт дискового пространства и стоит 60 долл.; она встраивается в Internet Explorer версии 4.01 или выше. X-Portal запрашивает несколько поисковых систем и собственные встроенные справочники, а затем сортирует результаты по релевантности; многие лишние и не вполне относящиеся к запросу ссылки программа отсеивает перед тем, как представить пользователю окончательный список.

Йел Ли-Рон

X-Portal запрашивает поисковые машины и собственные встроенные справочники