Примерно половина всего трафика Всемирной паутины приходится на боты и автоматические обходчики сайтов, и компании из-за этого несут немалые убытки. Таков один из выводов, содержащихся в докладе компании DeviceAtlas — разработчика программного обеспечения, помогающего идентифицировать устройства, с помощью которых осуществляется доступ к сайтам.

За первый квартал этого года на долю автоматизированных источников пришлось 48% трафика сайтов, которые анализировались для отчета DeviceAtlas Mobile Web Intelligence Report. Среди таких источников — легитимные обходчики поисковых систем, а также сборщики информации и боты, созданные злоумышленниками с целью взлома, «кликового» мошенничества и рассылки спама, объясняют в компании.

DeviceAtlas — дочернее предприятие Afilias, второго по величине в мире регистратора доменных имен Интернета.

Боты уже давно создают внушительный трафик, но в последнее время среди них растет доля вредоносных, и они начинают приносить все больше убытков, отмечает Ронан Кремин, директор по технологиям DotMobi, оператора системы доставки мобильного контента, еще одной дочерней компании Afilias.

Из-за активности ботов сайт может серьезно замедлить обслуживание реальных пользователей

«Ботов привыкли считать пассивным фоновым шумом, — продолжил он. — Но сегодня ситуация изменилась — они взаимодействуют с сайтами, на которые заходят, в точности имитируя активность людей».

Боты широко применяются для имитации «кликов», в том числе в целях накрутки дохода от рекламы, а в некоторых случаях боты даже совершают покупки, чтобы повлиять на цены, добавил Кремин.

«Сегодня запускать ботов стало легко и дешево, при этом распознать их непросто», — отметил он.

Специалисты по онлайн-маркетингу давно знают, что значительная часть обращений к сайтам генерируется не людьми, и поэтому практически все средства веб-аналитики пытаются фильтровать трафик, создаваемый автоматически, говорит Фрэнк Скаво, президент Computer Electronics.

Но реализовать эффективную фильтрацию непросто.

«Мошенники идут на всевозможные ухищрения, чтобы имитировать активность людей, — продолжил Скаво. — Более того, продавцы рекламного пространства и маркетинговые агентства не всегда заинтересованы в том, чтобы показатели трафика их сайтов снижались».

Что же делать компаниям?

«Если вы размещаете рекламу и платите за число показов или кликов, тщательно изучайте отчеты о посещаемости, — подчеркнул Скаво. — Поверьте мне, скорее всего, вы переплачиваете».

Если есть возможность, затраты на веб-маркетинг лучше привязать к конкретным бизнес-результатам, например к количеству реальных покупателей, а не к показам или кликам, добавил он.

А при наличии аналитических средств, способных выявлять автоматизированные источники, можно переадресовывать боты на более медленные серверы.

«Из-за активности ботов ваш сайт может серьезно замедлить обслуживание реальных людей, — поясняет Кремин. — Поэтому, если ограничить автоматизированный трафик, можно добиться существенной экономии».

Еще вариант — ограничить выдачу контента ботам.

«Если мы знаем, что посетитель не человек, некоторые элементы нашего сайта ему будут недоступны», — сообщил Кремин.

В зависимости от специ­фики бизнеса такие ограничения могут варьироваться; например, ботов можно лишить возможности покупать электронные билеты.

Но стоит иметь в виду, что некоторые боты создаются просто для получения информации, которую, возможно, проще было бы передавать с помощью интерфейса программирования, отметил Майкл Фейсмайр, главный аналитик Forrester. «Если я нашел на сайте источник сведений, которые могут пригодиться для моего бизнеса в дальнейшем, то первым делом я попрошу разработчиков выяснить, нельзя ли извлекать эту информацию с помощью API. Если такой возможности нет, то следующее простейшее решение — написать бот или обходчик, который будет регулярно обращаться к стандартному интерфейсу сайта для получения нужных данных», — пояснил он.

Поскольку обходчики ухудшают быстродействие сайта, важно пользоваться средствами аналитики: выяснить, какие именно страницы скачиваются, а затем решить, стоит ли реализовать выдачу этой информации в общедоступном API, продолжил Фейсмайр.

В конечном счете борьба с ботами — это игра в кошки-мышки, уверен Роджер Кей, президент Endpoint Technologies Associates: «Вы прилагаете все усилия, чтобы отфильтровать посторонний трафик, а противники неизменно разрабатывают обходные решения».