Субъективная реальность

Еще раз о тестировании сетевого оборудования и ПО.

Представители различных компаний довольно часто обращаются к нам в редакцию с просьбой протестировать то или иное сетевое оборудование и ПО. Такие предложения поступали и раньше, но после начала так называемого "кризиса" они еще более участились. Именно этот факт и подвиг меня на размышления о смысле и пользе (или вреде) подобного тестирования.

ЦИФРЫ И ЭМОЦИИ

На мой взгляд, тестирование высокотехнологичных устройств и программ производится в соответствии всего с двумя радикально отличными друг от друга подходами: объективным и субъективным. Объективной оценкой работы любого сетевого устройства служит его производительность, выражаемая вполне конкретными цифрами. Речь идет не о скорости обмена данными между устройством и внешним миром, которая определяется стандартом на используемый коммуникационный протокол, а о внутренних характеристиках устройства, которые позволяют ему справляться с самыми высокими нагрузками. Определением подобных характеристик на Западе занимаются специальные независимые тестовые лаборатории. На весьма дорогостоящих стендах они пропускают через какой-нибудь коммутатор пакеты определенной длины и определяют максимальное количество таких пакетов, которое данное устройство способно обработать в единицу времени. Подобные тесты стоят производителям больших денег, зато они очень любят приводить полученные впечатляющие цифры в своих рекламных материалах. Казалось бы, все просто: чем больше эти цифры, тем лучше характеристики, тем, стало быть, лучше продукт. Так, да не так. Тут мы вплотную подходим к другому взгляду на тестирование чего бы то ни было — субъективному.

Очевидно, что сетевое оборудование и ПО отличаются, прежде всего, тем, что они ориентированы отнюдь не на массового пользователя (как, например, обычные ПК и программы для них). Ведь иметь дело с ними будут не рядовые пользователи, для удобства работы которых все в конечном итоге и приобретается, а лишь один человек — системный администратор. Администратор же — человек занятой и крайне прагматичный. При выборе соответствующего оборудования и ПО он будет в первую очередь обращать внимание на список поддерживаемых протоколов и стандартов, выбирая необходимые в работе. Однако это далеко не единственный критерий выбора.

Администрирование сети — процесс крайне малоинтересный и трудоемкий, поэтому его желательно сократить до минимума. В идеале любое устройство или программа должны заработать сразу после установки, затем подвергнуться минимальному конфигурированию и в дальнейшем не напоминать о себе до очередной модернизации. Понятно, что на практике этого не бывает никогда. Администраторам приходится тратить огромные силы на то, чтобы как следует инсталлировать сетевую операционную систему или создать таблицу маршрутизации и т. д. и т. п. Но и когда все заработало, ничто не гарантирует от появления неожиданных сбоев и "глюков", устранить которые часто не смогут помочь даже представители самих производителей данной продукции.

В этой ситуации администратор заинтересован именно в субъективной оценке различных аспектов работы устройства или программы. Ведь в условиях слабости российских служб технической поддержки большинства производителей единственным способом решения своих проблем администратор может считать лишь советы своих товарищей по несчастью, уже наступавших на те же грабли. Обычно для этого он обращается к знакомым или в специализированные группы новостей в Internet.

Что касается тестирования, то, по моему мнению, именно описание процедуры установки, конфигурации и дальнейшей эксплуатации устройства или ПО представляет наибольший интерес для тех, кому по долгу службы предстоит заниматься тем же самым. Самое лучшее, на мой взгляд, что специализированные издания способны предложить читателю, — это список "подводных камней", о которых администратору следует знать еще до начала работы, чтобы не попасть впросак. Это именно то, что я назвал бы "субъективным" тестированием, ведь читателю предлагается не только описание вполне конкретных достоинств и недостатков рассматриваемого продукта, но и общее впечатление от опыта работы с ним. Последнее, кстати, является тоже немаловажным фактором, ведь такие, например, вещи, как неудобный интерфейс или неудачное расположение портов коммутатора, затрудняющее работу с ним, являются достаточно важными характеристиками, с точки зрения администратора. В повседневной работе они могут причинять намного больше неприятностей, чем, скажем, несколько меньшая, чем рекордная, производительность системной шины при продвижении коротких пакетов. В этом, собственно, и состоит смысл субъективного (в лучшем смысле) подхода к тестированию, которого наш журнал старается придерживаться в своих публикациях.

В некоторых случаях данный подход является единственно возможным, особенно если речь идет о сетевом ПО. Так, например, каким численным характеристикам должна удовлетворять сетевая ОС? Измерения скорости выполнения файловых операций могут выявить микроскопические преимущества одного продукта над другим, только вот пользователи сети вряд ли это заметят. С их точки зрения, сеть должна непрерывно обеспечивать возможность выполнения повседневной работы: предоставлять доступ к файлам, принтерам и т. п. Пользователи не видят разницы в том, как это делают различные сетевые ОС. Другое дело администратор. Работая с различными продуктами, ему приходится сталкиваться с совершенно разными проблемами. И только он может интуитивно отдать преимущество той или иной ОС иногда просто потому, что на одном и том же оборудовании одна из них реже "зависает".

Впрочем, подобный подход к тестированию несомненно имеет и свои недостатки. Во-первых, это конечно же большая зависимость от личных пристрастий автора статьи. Так, он может быть недоволен теми или иными особенностями продукта, в то время как многие посчитают их весьма уместными и удобными. Кроме того, автор может посчитать новыми, продвинутыми, те возможности, о которых многие давно знают, или, наоборот, упустить, посчитав само собой разумеющимся, то, что для кого-то является жизненно необходимым в работе. Во-вторых, и это самое главное, результат тестирования в огромной степени зависит от тестовой среды: оборудования, конфигурации сети и т. д. И эта проблема не решаема в принципе, поскольку все возможные конфигурации рассмотреть просто невозможно. "Никто не обнимет необъятного", как говаривал Козьма Прутков. Мы в редакции LAN отдаем себе отчет, что проблемы различной квалификации администраторов сетей и бесконечного числа возможных конфигураций этих самых сетей мы, к сожалению, решить не в силах. Именно в силу этих причин мы планируем уже в ближайшие месяцы прекратить публикацию статей в рубрике "Испытательный стенд".

"А как же объективные методы тестирования?" — спросите вы. Да никак. К сожалению, в условиях российской действительности организовать такое тестирование просто невозможно. Буду рад, если у нас в стране появится тестовая лаборатория уровня, хотя бы приближающегося к мировому. Но вряд ли этого события стоит ожидать в ближайшее время, особенно теперь, в условиях кризиса. Ведь организация подобной тестовой лаборатории требует огромных материальных затрат (не только на оборудование, но и на приглашение квалифицированных сетевых специалистов). Такие расходы мог бы позволить себе кто-нибудь из западных сетевых или телекоммуникационных компаний-гигантов, но загвоздка состоит в том, что лаборатория должна быть абсолютно независимой, иначе весь смысл ее создания просто теряется. К сожалению, сегодня это не под силу ни одному из российских компьютерных или сетевых изданий.

ЛОЖКА МЕДА

Впрочем, не все так плохо. Во-первых, независимое объективное ("количественное") тестирование сетевого оборудования на территории одной шестой части суши вряд ли вообще нужно. Производство отечественной продукции такого рода находится в зачаточном состоянии, а все завозимое импортное оборудование и ПО уже прошли подобные тесты в крупнейших западных лабораториях. Их результатами с вами охотно поделятся представители производителей, да и найти такие данные сегодня достаточно легко как через Internet, так и в компьютерной прессе (в том числе и в русскоязычной).

Во-вторых, одной из наиболее заметных тенденций в сетевой отрасли на сегодня являются унификация и стандартизация оборудования и программ. Время несовместимых решений давно прошло, и при выборе того или иного продукта администратор может быть почти на все сто процентов уверен, что заявленная производителем поддержка того или иного стандарта снимет с его плеч проблему совместимости и обеспечит нормальную работу вновь приобретенного продукта в уже существующем окружении.

Что же касается субъективных оценок, то здесь главное — не торопиться. Выпуская новые продукты, производители грешат тем, что стремятся заставить всех тут же произвести модернизацию, обещая золотые горы. К сожалению, это же пропагандирует и большинство публикаций в специализированной прессе, авторы которых зачастую слабо разбираются в предмете, однако очень хорошо понимают, что рекламные бюджеты намного охотнее расходуются на раскрутку именно новых продуктов. Тем не менее опыт всех последних лет показывает, что торопиться не следует. Советуясь со своими коллегами, уже работающими с новыми версиями продуктов, изучая в группах новостей запросы о помощи, касающиеся этих продуктов, администратор может понять, стоит ли производить модернизацию сейчас или все-таки следует подождать очередной, более надежной версии. Так что именно мнение практиков должно быть в такой ситуации решающим.

ФИНАЛЬНЫЙ ТЕСТ

К сожалению, необходимо констатировать, что большинство из тех компаний, что предлагают российским компьютерным изданиям высокотехнологичное оборудование на тестирование, мало задумываются о тонкостях данного процесса. Для них — это часть деятельности по маркетингу продукта, что вполне естественно и непредосудительно, однако при этом компании не рассчитывают ни на какой иной результат, кроме появления хвалебной статьи со слабо завуалированным призывом покупать новинку прямо сейчас. Однако полностью положительный отзыв возможен, как правило, лишь в случае недобросовестности ее автора и самого издания. Ничего совершенного не бывает, и разбираться — причем самостоятельно — с недостатками, без которых ни один, даже самый "продвинутый", продукт не обходится, — придется тем, кто клюнул на эту приманку. В результате довольны остаются все, кроме сетевого администратора, который еще долго будет поминать последними словами "продажную прессу", причем всю скопом. Что ж, за свои слова надо отвечать. Даже если твои оценки заведомо субъективны.