Kак говорил герой фильма "О бедном гусаре замолвите слово": "Проверка - она для всех проверка". В этом ее достоинство, в этом же и основной недостаток. Формально тестирование, проведенное в нашем издательстве, должно было выяснить, какие компьютеры быстрее: PC производства российской компании Klondike или модели Macintosh, выставленные на соревнование российским представителем Apple Computer фирмой dpi. Мы понимали, что на результаты испытаний должна была повлиять (и повлияла-таки) целая группа факторов, оценить весомость которых по отдельности почти невозможно. Итак, на мой взгляд, при тестировании оценивались:
- быстродействие жестких дисков;
- быстродействие процессоров;
- быстродействие графических плат;
- эффективность оптимизации пакетов Adobe Photoshop и Illustrator для работы под управлением ОС Windows 95 и Mac OS;
- способность сотрудников компаний dpi и Klondike оптимально конфигурировать графические станции для проведения испытаний;
- цены представленных компьютеров.
Для тестирования участники предложили следующие испытания (издательство "Открытые системы" выступало в данном случае в роли секунданта, мы организовали испытания по тестам, предложенным участниками): открытие растрового файла и выполнение на нем ряда операций в программе Adobe Photoshop (тест выполнялся последовательно с файлами размером А0 (9354x6614 пикселов), А1 (6614x4667 пикселов), А3 (4961x3508 пикселов), А5 (2480x1748 пикселов)); открытие векторного файла и выполнение на нем ряда операций в программе Adobe Illustrator и выполнение тестов Byte Benchmark. Мы публикуем все имеющиеся у нас данные, предоставляя возможность читателю не довольствоваться нашими заключениями, а сделать собственные выводы.
Конфигурации
Для испытаний компании выставили компьютеры двух ценовых категорий: "легкой" - дешевле 3 тыс. долл. и "свободной". Kомпьютеры Klondike построены на базе процессора Pentium II-333, Macintosh - Power PC G3 266. Отличиe "дорогих" компьютеров от "дешевых" заключалoсь в различном выборе видеоплат, жестких дисков и объеме оперативной памяти. Первое, что нас удивило, так это цены - "дешевый" Macintosh оказался на 6 долл. дешевле противопоставленного ему PC. Однако у Macintosh оперативная память втрое меньше (128 Мбайт против 384), видеоплата с меньшим объемом памяти и жесткий диск меньшего объема. Даже если учесть стоимость отсутствующих у PC SCSI-адаптера и сетевой платы, все равно PC выигрывает в цене несколько сотен долларов. Конфигурации "старших" моделей оказались более близки друг к другу. Хотя Macintosh по-прежнему заметно уступал по объему оперативной памяти (256 Мбайт против 512), жесткие диски и видеоплаты примерно совпадали по уровню. Здесь хочется сделать замечание. По нашему мнению, при проведении испытаний разумнее было бы фиксировать конфигурацию, а не цену системы. То, что Macintosh стоит дороже PC российской сборки (хотя бы из-за различий в таможенных платежах), очевидно, и дилерам Apple не нужно этого стесняться. Конечно, если они могут доказать, что за дополнительные (опять-таки по отношению к стоимости PC российской сборки) деньги пользователь сможет получить дополнительное качество. Поэтому нам кажется, что, искусственно приблизив цену Macintosh к уровню PC, прежде всего за счет существенного уменьшения оперативной памяти, представители dpi пошли по неверному пути, поскольку именно в силу недостатка оперативной памяти Macintosh уступили PC в ряде тестов. Но, как уже было сказано выше, способность инженеров правильно сконфигурировать компьютеры для испытаний была одним из тех параметров, которые мы исследовали, и в этой области сотрудникам dpi еще есть над чем поработать.
Тесты
Оценку результатов тестирования начнем с конца - с тестов Byte, с помощью которых измерялась производительность процессоров. Как и ожидалось (результаты подобных испытаний уже не раз были опубликованы в прессе), G3-266 существенно выиграл у Pentium II-333. Следовательно, при прочих равных условиях Macintosh на базе G3 должен был бы превзойти PC на базе Pentium II. Другое дело, что эти прочие практически никогда не оказываются равными, что и было подтверждено испытаниями.
И прежде всего тестами с Adobe Photoshop. По нашим оценкам, в этом раунде первое место заняла "старшая" модель Macintosh, на втором и третьем - "старшая" и "младшая" модели PC соответственно и, наконец, на последнем месте "младшая" модель Macintosh. Причем в ряде тестов проигрыш Macintosh был предопределен именно недостатком оперативной памяти. Чем меньше был размер файла, тем в большем количестве тестов выигрывал Macintosh. А при работе с самым маленьким файлом даже "младшая" модель Macintosh выигрывает у "старшего" компьютера Klondike. Что вполне понятно: когда весь необходимый объем информации умещается в оперативной памяти, начинается в чистом виде соревнование процессоров, которое должен выиграть G3.
В то же время на таких операциях, как преобразование RGB-CMYK и сохранение файла, PC стабильно выигрывают у Macintosh (при сохранении почти в два раза). Объяснений этому может быть несколько. Прежде всего совершенно не очевидно, что на обеих платформах реализованы одни и те же алгоритмы Adobe. Кроме того, при портировании пакетов компания могла в различной степени оптимизировать их для работы с различными процессорами. Можно предположить, что при преобразовании RGB-CMYK возможности Pentium II использованы более эффективно. При операции сохранения быстродействие, скорее всего, определяется эффективностью файловых систем, и в этом соревновании победа на стороне Windows 95.
При работе с пакетом Illustrator первое место поделили две модели Macintosh (испытания проводились по секундомеру, время засекалось после завершения перерисовки экрана; чтобы минимизировать погрешности, проводилась серия экспериментов и брался средний результат; время фиксировал один и тот же испытатель; небольшие различия в результатах Macintosh укладываются в погрешность измерения). На втором месте "младшая" модель Klondike, на последнем - "старшая". То, что модели Klondike поменялись местами, можно объяснить следующим образом: значительную часть времени при тестировании занимала перерисовка экрана, и установленная в PG 1001 видеоплата ATI XPERT справлялась с этой операцией лучше, чем Matrox Milleniom II из "старшей" модели Klondike PG 2001S.
Артефакты
В ряде тестов были получены результаты, которые можно отнести к разряду странных. Так, обе модели Macintosh в очередной раз пострадали от недостатка оперативной памяти. По этой причине "старшая" модель не смогла выполнить три, а "младшая" - девять тестов, в свою очередь каждый компьютер Klondike сослался на недостаток памяти по два раза. Если этот результат был более или менее предсказуем, то другое удивило: G3 Pro (256 Мбайт) не справился с тестом "Эффекты освещения" при работе с файлом формата А0, в то же время G3 Desktop (128 Мбайт) выполнил этот тест, хотя затем, при работе с файлами А1 и А3, выдавалось сообщение о недостаточном объеме оперативной памяти. Понятно, что, когда размер файла превышает объем оперативной памяти, система работает в экстремальном режиме, и как следствие - нестабильность результатов. Однако необходимо отметить, что отказ выполнить задание из-за нехватки оперативной памяти, ни разу не привел к сбою в работе программы.
Порадовали испытателей неожиданными результатами и PC. Первоначально компьютер PG2001S в тесте "Размытие по Гауссу с радиусом 2,3; файл формата А0" показал результат 80 с. Достаточно сравнить время обработки файлов больших размеров, показанное этим компьютером и "старшей" моделью Macintosh, чтобы заметить, что данный результат несколько выпадает из общего ряда. По согласованию с компаниями-участниками после завершения основных тестов это испытание было проведено заново. Мы повторили этот тест пять раз и каждый раз получали новый результат. В итоге в таблицу было внесено среднее время (разброс результатов от среднего составил около 20%). Можно предположить, что в результате активного использования кэш-памяти время (хорошо, что не результат) каждого конкретного эксперимента зависит от предыстории компьютера. Однако никто не мог предположить, что зависимость настолько сильна. Это тем более странно, что испытания проводились одно за другим - состояние компьютера не должно было сильно изменяться. Либо это какой-то сбой, либо компьютер на глазах перестает быть детерминированной системой. Факт сколь интересный, столь и пугающий.
Результаты
Собственно, все основные результаты, о которых мы хотели бы сказать, уже приведены. Определять претендента на "Гран-при" мы не стали: для этого пришлось бы тестам назначить веса, а до проведения испытаний подобная процедура не оговаривалась. Тем не менее нужно отметить еще один результат - надежность представленных систем. За все время испытаний, а они продолжались более трех часов, не произошло ни одного сбоя. В тех случаях, когда программы не могли выполнить задания (например, из-за недостатка оперативной памяти), ситуация отрабатывалась обычными средствами, и нам ни разу не пришлось перезапускать компьютер или перезагружать программу.
Тесты в Adobe Photoshop. Результаты приведены в секундах
| Модель | Open | Gaussian Blur 2,3p,o/n |
Lighting Effects o/n |
Gaussian Blur 100p,o/n |
Film Grain o/n |
Smudge Stick, o/n | Rotate Canvas 900,o/n |
Shear, o/n | Unsharp Mask 11p, o/n |
Rotate Canvas 30,o/n |
Image Size o/n |
Twirl 100,o/n |
Radial Blur 15,o/n |
Save as | RGB-CMYK | Open Jpeg |
| G3 Pro | 7,5 | 17,0 | 53,0 | 24,8 | 37,1 | 45,6 | 5,0 | 21,1 | 19,4 | 26,1 | 7,6 | 43,3 | 342,3 | 6,8 | 17,3 | 9,0 |
| G3 | 11,5 | 25,4 | н/в | 43,8 | 48,7 | 53,4 | 21,2 | 59,5 | 39,4 | 43,2 | 12,9 | н/в | 367,5 | 25,6 | 31,0 | 9,2 |
| PG2001S | 8,5 | 17,9 | 65,0 | 51,3 | 48,7 | 56,7 | 3,4 | 20,0 | 22,2 | 30,1 | 20,4 | 42,6 | 407,6 | 3,2 | 12,8 | 9,7 |
| PG2001 | 10,3 | 16,8 | 63,6 | 51,6 | 49,2 | 58,6 | 3,1 | 19,7 | 20,9 | 30,6 | 17,6 | 44,7 | 402,1 | 9,3 | 12,3 | 9,6 |
Adobe Illustrator. Результаты приведены в секундах
| Модель | Open | Roughen size:25 detail:1 smooth, o/n |
Drop Shadow x:1 in y 1 in intesity:50%, o/n |
Round Corners radius:1 mm, o/n |
ZigZag amount:15 ridges:1 smooth, o/n |
Save as |
| G3 Pro | 3.6 | 21 | 8 | 19 | 27 | 5 |
| G3 | 3.5 | 23 | 8 | 21 | 28 | 4 |
| PG2001S | 2.0 | 47 | 19 | 43 | 59 | 8 |
| PG2001 | 3.0 | 40 | 17 | 37 | 53 | 7 |
Тесты журнала Byte.Большее число соответствует лучшему результату
| Модель | Integer Index | Floating Point Index |
| G3 Pro | 7.537 | 5.734 |
| G3 | 7.548 | 5.740 |
| PG2001S | 4.618 | 4.387 |
| PG2001 | 4.614 | 4.387 |
Перспективы
Как и полагается, уже через пару недель после завершения испытаний их результаты устарели. На смену пришло новое, более быстрое поколение компьютерной техники. Компания Klondike начала поставки компьютеров на базе процессоров Pentium II с тактовыми частотами 350 и 400 МГц, до 100 МГц повысив частоту работы шины. Компания Apple приступила к продаже компьютеров на базе G3 300 МГц. Насколько при этом изменилось соотношение "сил" компьютеров - неизвестно. Скорее всего, эти изменения незначительны - и Intel, и консорциум PowerPC примерно пропорционально повысили тактовые частоты процессоров, и, насколько известно редакции, никаких новаторских технологий, которые могли бы серьезно изменить баланс сил, применено не было.
Не стоит на месте и программное обеспечение. И Apple, и Microsoft обещают этим летом выпустить новые версии операционных систем, а у компании Adobe уже готова пятая версия пакета Photoshop, которая может оказаться лучше или хуже оптимизирована для работы с новыми процессорами и операционными системами. Следовательно, не за горой новые испытания. Осенью наше издательство рассчитывает повторить Открытое первенство "Открытых систем" по графическим станциям, пригласив к участию не только dpi и Klondike, но и другие компании.