Реальность, данная нам в ощущениях

своей все они (компьютеры, сканеры, принтеры, мониторы одного поколения) мало отличаются друг от друга. Выбирай любой - не ошибешься. Но читатели в это не верят, они хотят разобраться. Многие из них (читателей) вспоминают по этому поводу известный анекдот о русских женщинах, которые не понравились монголу потому, что все на одно лицо. В поисках объективной информации читатели обращаются к компьютерным изданиям, вынуждая последние проводить тестирования и публиковать их результаты. Статьи с огромными таблицами, с полосками (более длинная соответствует лучшему результату), оценками (оцениваются производительность, технологические новшества и простота в использовании) и описаниями методик тестирования составляют значительную часть любого тематического журнала.

Читатель хочет "объективной оценки" и, как правило, получает оценку, претендующую на объективность. Тем самым культивируется мысль о том, что возможно некое "объективное" тестирование, серия испытаний, по результатам которой можно сделать некие обобщения и выделить лучшие и худшие продукты. И эти обобщения, и оценки будут носить объективный (без кавычек) характер. На самом деле кавычки в этом случае, безусловно, нужны.

Допустим, мы решили сравнить производительность двух платформ, например ПК и Macintosh. Задача проста только на первый взгляд. При более внимательном подходе возникают справедливые сомнения. Возможно, мы сравниваем не быстродействие компьютеров, а эффективность компиляторов? Возможно, эта конкретная задача решается быстрее на компьютере X в силу специфических особенностей его конструкции, и вывод о том, что если эта задача решается быстрее, то и все остальные задачи также будут решаться быстрее, представляется ошибочным. И так далее. В результате испытаний мы получим некий набор цифр и большую свободу в области их интерпретации. Остается добавить к этому свободу при выборе тестов, и наша объективность обрастет кавычками. Что касается Macintosh и ПК, то для их сравнения была придумана, на мой взгляд, довольно убедительная методика. Группам испытуемых, незнакомых до этого с компьютерами, предлагалось при помощи руководства пользователя выполнить ряд заданий. С отрывом в несколько часов победил Macintosh. Этот результат гораздо более впечатляет, чем все лабораторные тесты на быстродействие вместе взятые.

Тем не менее существует, хотя и небольшая, область, в которой объективное тестирование действительно более или менее возможно. Написав, усомнился. Кажется, нет ничего проще, чем сравнить быстродействие видеоплат, и однако на коробке от любой платы изображены результаты тестирования, и столбик, соответствующий плате, лежащей в коробке, - самый длинный (или самый короткий). При этом я полностью убежден, что тестирование проводилось по-честному, и, если, следуя методикам изготовителей, провести независимую серию испытаний, будут получены те же самые результаты. Иначе закон о необъективной рекламе давно покарал бы нечестного разработчика.

К счастью, мысль о том, что "объективное" тестирование - a) не слишком объективно, б) если и возможно, то для весьма ограниченного круга оборудования, уже начала пробивать себе дорогу. Один из новых подходов к тестированию - субъективная оценка. Когда тестовые лаборатории обнаружили, что, согласно цифрам, показанным их приборами, очевидно хорошее устройство зачастую характеризуется как плохое, и наоборот, в качестве одной из методик испытаний они стали предлагать группам людей выставлять оценки работы устройства исходя из своих объективных ощущений. Пока подобные тесты чаще всего встречаются при оценке мониторов, сканеров и принтеров, т. е. тех систем, оценить качество работы которых в цифрах достаточно сложно. Тем не менее такой подход может применяться и в других областях. Ведь принеся домой компьютер, пользователь вряд ли будет устраивать тесты, чтобы оценить его производительность. Скорее всего он станет судить о нем на основании того субъективного впечатления, которое получит от работы с машиной. Так что информация о том, что 90% испытуемых посчитали компьютер А самым быстрым среди тестируемых, при выборе модели гораздо полезнее любых "объективных" сведений о процессоре, тактовой частоте и проч.

Еще один относительно новый подход к тестированию и написанию обзоров можно условно назвать "комплиментарным". Суть его в следующем - невзирая на то что "все они одинаковые", в каждом продукте есть (по крайней мере должно быть) что-то, что заставило производителей выпустить его на рынок. Некая изюминка, выгодно отличающая его от конкурентов. Задача "комплиментарного" исследования выявить положительные стороны рассматриваемых продуктов и сообщить о них читателю. Не следует думать, что исследования подобного рода однозначно недобросовестны и являются некой формой закамуфлированной рекламы. Информация о том, что этот сканер самый быстрый, а этот - лучше всех сканирует слайды (при условии, что эта информация правдива), безусловно, поможет читателю определиться с выбором подходящей модели.

Некоторое время удачным решением казалось "тестирование по умолчанию". На примере тех же сканеров это значит сканирование изображения на ряде испытываемых моделей, при этом для всех параметров используются значения, заданные производителем по умолчанию. Метод действительно хорош и даже исчерпывающ, но только для устройств, ориентированных на пользователя, который в 99% случаев применяет базовые настройки, например, для домашнего оборудования. Но если сравнивать таким образом чуть более дорогие модели, можно получить заведомо ложные результаты.

Если же говорить о серьезном тестировании серьезных систем, то здесь приемлемым кажется подход, при котором работу выполняют сотрудники фирм-изготовителей. В случае со сканерами существует масса параметров настройки, учитывающих, в частности, характеристики сканируемого объекта, характеристики монитора и выводного устройства, грамотно установить которые по силам только профессионалу, знакомому со всеми особенностями используемого оборудования. Поскольку пользователями таких систем будут тоже неслучайные люди, остается предположить, что со временем пользователь сможет получать результаты, не уступающие тому, что показывает сотрудник компании-разработчика.

Пользователь хочет разобраться, а компьютерные журналисты и технические писатели пытаются ему в этом помочь. Мы проводим тестирования и публикуем их результаты, а также перепечатываем информацию наших западных коллег и будем делать это до тех пор, пока на подобные материалы будет существовать спрос. При этом следует помнить, что каждому подходу присущи свои внутренние недостатки. Поэтому давайте более снисходительно относиться к этим безнадежным попыткам формализации ускользающей реальности. Той самой, данной нам в ощущениях.