Интеллектуальный анализ данных и управление процессами

Нейросетевые технологии предоставляют сегодня широкие возможности для решения задач прогнозирования, обработки сигналов и распознавания образов. По сравнению с традиционными методами математической статистики, классификации и аппроксимации, эти технологии обеспечивают достаточно высокое качество решений при меньших затратах. Они позволяют выявлять нелинейные закономерности в сильно зашумленных неоднородных данных, дают хорошие результаты при большом числе входных параметров и обеспечивают адекватные решения при относительно небольших объемах данных. Сейчас уже накоплен богатый опыт успешного использования нейронных сетей в практических приложениях. По количеству реальных приложений лидируют системы интеллектуального анализа данных в бизнесе и в управлении процессами.

Интеллектуальный анализ данных (ИАД) или data mining - это процесс выявления значимых корреляций, образцов и тенденций в больших объемах данных. Учитывая высокие темпы роста объемов накопленной в современных хранилищах данных информации, роль ИАД трудно переоценить. По мнению специалистов Gartner Group, в 1998 г. ИАД войдет в десятку важнейших информационных технологий. В последние годы началось активное внедрение технологии ИАД. Ее активно используют такие крупные корпорации как American Express, Lockheed и многие другие. Естественно, в ответ на этот интерес на рынке программных средств стали появляться соответствующие инструментальные средства.

Особенно широко методы ИАД применяются в бизнес-приложениях аналитиками и руководителями компаний. Для этих категорий пользователей разрабатываются инструментальные средства высокого уровня, позволяющие решать достаточно сложные практические задачи без специальной математической подготовки. Актуальность использования ИАД в бизнесе связана с жесткой конкуренцией, возникшей вследствие перехода от «рынка продавца» к «рынку покупателя». В этих условиях особенно важно качество и обоснованность принимаемых решений, что требует строгого количественного анализа имеющихся данных. При работе с большими объемами накапливаемой информации необходимо постоянно оперативно отслеживать динамику рынка, а это практически невозможно без автоматизации аналитической деятельности.

 1. Типовые задачи для методов ИАД

Прогнозирование - одна из самых распространенных задач ИАД. В частности, при планировании и составлении бюджета необходимо прогнозировать объемы продаж и другие параметры с учетом многочисленных взаимосвязанных факторов - сезонных, региональных, общеэкономических и т.д. Можно также выявлять корреляции в продажах, например «покупке компьютера, как правило, сопутствует покупка блока бесперебойного питания».

Маркетинговый анализ. Чтобы разработать эффективный маркетинговый план, нужно знать, каким образом на уровень продаж влияют такие факторы как стоимость товара, затраты на продвижение продукции и рекламу. Нейросетевые модели позволяют менеджерам и аналитикам прогнозировать подобное влияние.

Анализ работы персонала. Производительность труда служащих зависит от уровня подготовки, от оплаты труда, опыта работы, взаимоотношений с руководством и т.д. Проанализировав влияние этих факторов, можно выработать методику повышения производительности труда, а также предложить оптимальную стратегию подбора кадров в будущем.

Анализ эффективности продажи товаров по почте. Если компания занимается рассылкой рекламы и образцов продукции по почте, то имеет смысл оценить эффективность подобной деятельности. При этом можно выявить круг потенциальных покупателей, и оценить вероятность совершения ими покупки. Кроме того, можно опробовать различные формы переписки и выбрать наиболее удачные.

Профилирование клиентов. С помощью нейросетевых моделей можно среди многочисленных клиентов фирмы выбрать тех, сотрудничество с которыми наиболее выгодно - получить портрет «типичного клиента компании». Кроме того, можно выяснить, почему работа с некоторыми из заказчиков стала неэффективной, и выработать стратегию поиска подходящих клиентов в будущем. Эта задача чаще всего решается менеджерами по продажам, а для банков, например, особый интерес представляет возможность оценки кредитоспособности клиентов.

Оценка потенциальных клиентов. Планируя предварительные переговоры имеет смысл определить, с какой долей вероятности они закончатся заключением договора (или продажей продукции). Анализ опыта работы с клиентами позволяет выявить характерные особенности тех заявок, которые закончились реальными продажами. Используя результаты данного анализа, менеджеры могут остановиться на более перспективных заявках клиентов.

Анализ результатов маркетинговых исследований. Чтобы оценить реакцию покупателей на политику компании в области распространения продукции, ценообразования, а также на характеристики самой продукции, необходимо, наряду с анализом продаж, проводить опросы покупателей. Это позволяет усовершенствовать процесс принятия решений по ценам и характеристикам выпускаемой продукции (дизайн, функциональность, упаковка).

Анализ работы региональных отделений компании. С помощью нейросетевых моделей можно сравнивать результаты деятельности региональных отделений или филиалов компании и определять, от чего зависит эффективность их работы (географическое положение, численность персонала, ассортимент продукции/услуг и т.д.). Результаты используются для оптимизации работы «отстающих» отделений, а также при планировании создания новых филиалов.

Сравнительный анализ конкурирующих фирм. Почему некоторые компании процветают и удерживают прочные позиции на рынке, а другие нет? Какие сферы бизнеса самые выгодные? Чтобы ответить на эти вопросы можно сравнить деятельность конкурирующих компаний и выяснить, какие факторы определяют прибыльность их бизнеса.

Очевидно, что перечисленные виды задач актуальны практически для всех отраслей бизнеса: банковского дела и страхования (выявление злоупотреблений с кредитными карточками, оценка кредитных рисков, оценка закладных, выявление профилей пользователей, оценка эффективности региональных отделений, вероятность подачи заявки на выплату страховки и др.), финансовых рынков (прогнозирование, анализ портфелей, моделирование индексов), производства (прогнозирование спроса, контроль качества, оценка дизайна продукции), торговли и т. д.

Для применения методов нейронных сетей в процессе информационного анализа данных в бизнес-приложениях разработан ряд инструментальных средств высокого уровня. К ним относятся в первую очередь системы 4Thought (Cognos) и SENN Sales (Siemens Nixdorf).

 2. Система 4Thought

Данный продукт входит в семейство средств Business Intelligence, предлагаемых одним из ведущих разработчиков инструментальных средств для создания аналитических приложений в бизнесе, канадско-американской компанией Cognos. Средства анализа результатов, предусмотренные в данной системе делают ее удобным инструментом как для конечного пользователя-аналитика/ менеджера, так и для специалиста-математика. Интеграция со средствами OLAP (система PowerPlay) позволяет применять нейросетевые методы анализа и прогнозирования непосредственно к гиперкубам PowerPlay.

Используя технологию нейронных сетей, 4Thought позволяет анализировать эффективность работы предприятий и их подразделений, отдачу от инвестиций и/или различных видов рекламы и т.д. Параметр, характеризующий эффективность - это целевой показатель, а все прочие влияющие на него мы будем называть факторами (причем значения показателя и факторов могут быть как числовыми, так и символьными). Рассмотрим несколько примеров, в основе которых лежат реальные приложения.

Исходные данные анализа представляются в виде таблицы, один из столбцов которой - целевой показатель (например, прибыль или объем продаж), а остальные - влияющие факторы (затраты на рекламу, время года, регион и др.). 4Thought строит количественную модель зависимости значений показателя от значений факторов, после чего позволяет проводить перекрестный анализ (просматривать в графической и аналитической форме зависимость моделируемого показателя от любого из выбранных факторов при фиксированных и/или усредненных значениях других факторов), проверять гипотезы «что если», оценивать значимость факторов по степени их влияния на целевой показатель, а также использовать полученную модель для прогнозирования значения показателя исходя из известных значений факторов.

2.1. Анализ работы филиалов

В данном примере исследовалось влияние различных факторов (регион, масштаб и виды деятельности) на эффективность работы филиала компании. К региональным факторам можно отнести категорию региона и тип населенного пункта, где расположен торговый филиал: городской или сельский. Масштаб деятельности может характеризоваться величиной оборота и потоками наличных средств, а виды деятельности - видами товаров. В качестве целевого показателя можно выбрать величину непроизводственных расходов филиала. Для эффективного управления компанией необходимо понимать, от чего зависят затраты в каждом филиале, что является решающим фактором - особенности конкретных регионов или вид товаров, хранящихся на складе? Можно ли дать точную оценку качеству управления тем или иным филиалом? Ответив на эти вопросы, руководство сможет усовершенствовать процесс ценообразования, выбрать адекватные методы управления филиалами и затем распространить их в масштабах всей компании, а также планировать подрядок ввода в действие новых региональных филиалов и закрытия старых.

Вообще методы оценки филиалов применимы к исследованию любых однородных (характеризующихся одним и тем же набором признаков) компонентов сложных бизнес-систем, например, при анализе деятельности дистрибуторов роль филиалов могут играть отдельные территории.

На основании таблицы характеризующих данные по филиалам, 4Thought позволяет строить модель влияния выбранных столбцов-факторов на величину издержек филиала. Это довольно сложная задача, которую невозможно решить традиционными статистическими методами. Система использует данные о работе филиалов для обучения нейронной сети, которая моделирует зависимость издержек филиалов от различных факторов.

Готовую модель можно использовать для количественного анализа влияния факторов на издержки филиалов. В частности, построив зависимость модельных значений издержек от оборота (перекрестный анализ), можно оценить результат экономии на масштабах: чем больше оборот, тем меньше издержки.

Модель позволяет исследовать даже те факторы, которые не были в нее введены. Например, качество управления филиалом нельзя связывать непосредственно с его доходностью - на доходность влияют и другие факторы. Однако можно сравнить фактические показатели эффективности (например, издержки) с ожидаемыми, которые вычисляются с помощью построенной модели, а следовательно, в них учитывается влияние региональных и других факторов. Если ожидаемые издержки выше фактических, значит, эффективность работы филиала выше среднего, а это, скорее всего, вызвано высоким качеством управления (и наоборот).

Имея количественную модель, руководство компании может дифференцированно подходить к различным филиалам при установке целевых показателей их деятельности, поскольку модель позволяет оценить влияние объективных факторов на эффективность работы каждого филиала.

2.2. Окупаемость капиталовложений

Сегодня многие компании вкладывают огромные средства в развитие и использование информационных технологий, системы автоматизации производства внедряются почти на каждом предприятии. Но как оценить, насколько эффективно будет использоваться вычислительная техника и сложное программное обеспечение? Окупятся ли капиталовложения в эту сферу? Каким образом повлияет внедрение новой технологии на доходы предприятия и на производительность сотрудников? Ответить на эти вопросы сложно - срок окупаемости часто очень велик, а на эффективность работы компании влияют и другие факторы.

В качестве примера возьмем сеть магазинов розничной торговли, где устанавливалась информационная система для кассовых терминалов в 2000 точек сбыта. Объем инвестиций составил 75 млн. долл. Предполагалось, что благодаря внедрению новой системы удастся повысить уровень обслуживания клиентов. Однако после вложения четверти денежных средств возникли сомнения в окупаемости проекта.

Задача оценки окупаемости инвестиций оказалась сложной. Влияние именно этих капиталовложений на рост валовой прибыли в каждом отдельном подразделении необходимо было отделить от влияния других факторов: квалификации менеджеров, расширения филиала, недавних затрат на ремонт и т.д. По всем торговым точкам были собраны данные о перечисленных факторах, а также информация о росте доходов и о том, сколько месяцев, прошло с момента внедрения информационной системы. Чтобы оценить эффективность внедряемой системы нужно было построить модель роста доходов в зависимости от комбинации данных факторов. С помощью системы 4Thought был проведен анализ взаимозависимости с целью получения количественной оценки воздействия каждого фактора в отдельности.

Рис. 1. Зависимость прибыли компании от срока внедрения новой информационной системы

Представленный на рис. 1 график показывает, что чем дольше работает информационная система (горизонтальная ось), тем больше рост прибыли (вертикальная ось). В частности, видно, что инвестиции полностью окупятся в течение 12 месяцев. Получив такую информацию, менеджеры без колебаний решили продолжить вложение оставшихся 75% средств. Попутно выяснилось, что учет различных факторов при построении позволил выявить дополнительные причины роста прибыли в точках сбыта - такой фактор как повышение квалификации менеджера положительно влияет на доходы фирмы.

2.3. Оптимизация цен

Одно из самых полезных приложений нейроаналитики - оптимизация цен. Очевидно, чем больше цена на товар, тем выше прибыль от его продажи. Однако по мере повышения цены объем продаж начинает снижаться, и, может так случиться, что товар перестанут покупать совсем. Но если цена слишком низкая, то получить прибыль от сбыта не удастся. Необходимо установить некоторое промежуточное, оптимальное значение. В системе 4Thought для решения этой задачи путем анализа данных о продажах за прошедший период выясняется, как меняются издержки и объемы продаж в зависимости от цены на товар?

Величина оптимальной цены зависит от реакции клиентов на изменение цен, от себестоимости объема производимой продукции, а также от внешних факторов. Например, она может меняться от региона к региону или зависеть от ценовой политики конкурентов.

Компания, занимающаяся ремонтом автомобилей, использовала 4Thought для выставления оптимальных цен на свои услуги. Чтобы определить чувствительность клиентов к изменению цен, система должна установить, каким образом в прошлом менялся спрос на продукт в зависимости от различных факторов (и не только цены). Что касается компании по ремонту автомобилей, то здесь необходимо было промоделировать изменение спроса в зависимости от цен на услуги самой фирмы, среднего уровня цен конкурентов, времени года, расходов на рекламу, а также определенных изменений в законодательстве, которые повлияли на структуру рынка. Были собраны данные за три года. Информацию о ценах конкурентов удалось получить от менеджеров филиалов, которые хорошо знакомы с деятельностью других фирм.

Чтобы определить, какие факторы влияют на спрос, была построена модель изменения объема продаж в соответствии с ценами на услуги, уровнем цен конкурентов, временем года и расходами на рекламу. Эта информация использовалась для оценки соотношения цена/объем продаж.

Рис. 2. Зависимость спроса от цен на услуги

На рис. 2 показано, как растет спрос на услуги (вертикальная ось) при снижении цен (горизонтальная ось). Чтобы определить оптимальную цену, необходимо построить модель расходов, показывающую, каким образом меняются расходы в зависимости от объема продаж. Расходы - расчетная величина, которую можно ввести в модель с помощью вычисляемого столбца (его значения вычисляются по формуле исходя из значений других столбцов в электронной таблице данных). Комбинируя модели продаж и расходов, можно получить полную картину влияния различных факторов на прибыльность бизнеса. В частности, можно установить зависимость между ценой и прибылью.

Рис. 3. Зависимость прибыли компании от цен на услуги

На рис. 3 показана модель изменения прибыли (вертикальная ось) в зависимости от изменения цен на услуги (горизонтальная ось). Таким способом удается определить оптимальную цену для любой другой отрасли бизнеса. Компания по ремонту автомобилей использовала полученную информацию для установления цен на свои услуги, при этом только за счет правильного ценообразования ей удалось повысить прибыль на несколько млн. долл.

Рассмотренная методика использовалась и другими компаниями для решения различных задач, в том числе:

• оценки реакции клиентов на выпуск новых марок продукции и на внедрение программы учета потребностей заказчика;
• предсказания реакции конкурентов на ту или иную ценовую политику и использование результатов для разработки игровых моделей конкуренции;
• оценки стоимости и влияния на прибыль различных ценовых стратегий.

2.4. Прогноз спроса на новую продукцию

Если компания регулярно выпускает новую продукцию одного и того же типа (книги, фильмы, игры), то она может предсказывать успех или неудачу нового товара на рынке, исходя из своего предшествующего опыта. Проанализировав изменения спроса на подобную продукцию в прошлом можно предсказывать спрос на товар; выяснять, что делает продукцию популярной, и таким образом соответственно повышать качество товара; определять, какие продукты стоить продвигать на рынке особенно интенсивно.

Например, можно прогнозировать спрос на видеокассеты с новым фильмом, промоделировав зависимость объема продаж от таких факторов как число снявшихся в фильме кинозвезд, количество выпущенных копий фильма, срока, в течение которого фильм шел на широком экране, статей критиков, жанра фильма (драма, комедия, боевик и т.п.). Такие данные можно получить, исходя из опыта продаж предыдущих фильмов. Методы нейроаналитики в данном случае прекрасно подходят, так как они применимы для обработки сложных и сильно зашумленных данных. Такие системы как 4Thought и SENN дают приемлемые результаты даже для небольших объемов разрозненных данных.

2.5. Маркетинговый анализ

С помощью методов моделирования, реализованных в 4Thought, можно выявить влияние отдельных элементов на эффективность маркетинговой стратегии. Задача решается путем оценки воздействия каждого из факторов на объем продаж коммерческой фирмы. При этом в модели важно учитывать не только маркетинговые факторы.

Рассмотрим пример анализа эффективности различных маркетинговых стратегий предприятия по производству кондитерских изделий. Реализованный в системе 4Thought метод градиентного спуска по поверхности ошибки обеспечивает надежность модели даже при анализе относительно небольших по объему и зашумленных данных, что очень пригодилось в данном случае.

Основные факторы, определяющие объем продаж: сезонность, реклама, затраты на продвижение новых изделий (процент продукции, предлагаемой бесплатно) и количество дистрибуторов. При анализе использовались данные за последние 4 года работы.

Рис. 4. Зависимость объема продаж от затрат на продвижение продукции на рынке

На рис. 4 показано, каким образом затраты на продвижение продукции (горизонтальная ось) влияют на объем продаж (вертикальная ось). Точно также можно построить графики зависимости объема продаж от затрат на рекламу. Подробный анализ дает количественную оценку эффективности разнообразных маркетинговых подходов. Чтобы определить соотношение между затратами и эффективностью необходимо учесть средства, вложенные в то или иное направление маркетинговой деятельности.

Выбор оптимальной маркетинговой стратегии для каждой компании индивидуален. Методы нейроаналитики позволяют выбрать наилучший подход в каждом конкретном случае. Примерно половина пользователей 4Thought, среди которых множество рекламных компаний и крупнейших производителей товаров массового потребления, используют эту систему именно для маркетинга.

Определив наиболее удачные направления маркетинговой деятельности, можно выяснить причины их эффективности. Отреагировал ли потребитель именно на этот вид рекламы? Важны ли в данном случае выбранные методы распространения продукции? В какой степени полученные результаты позволяют выявить лидера на рынке? Такой анализ позволит не только оценить, но и повысить эффективность деятельности компании.

2.6. Анализ эффективности продажпо регионам

Оценим теперь потенциальную эффективность региона с точки зрения возможного объема продаж. Производитель ведет продажи через своих торговых представителей в регионах. Необходимо установить, какие регионы являются наиболее перспективными, а также оценить работу представителей. Обычно решить эту задачу довольно сложно из-за множества факторов, влияющих на эффективность.

В качестве целевых показателей были выбраны объем продаж на душу населения и на единицу счета, а в качестве факторов - плотность населения, расходы на туризм (внутри страны и международный) на душу населения, количество розничных магазинов на душу населения, затраты и т.д. По результатам моделирования удалось выявить зависимости исследуемого показателя от выбранных факторов (почти все они оказались нелинейными).

С помощью модели удалось решить две задачи:

• оценить качество работы каждого торгового представителя и выявить регионы, в которых следует иначе организовать работу по продажам (если объем продаж в регионе ниже ожидаемого, то можно предположить, что представитель недостаточно активен);
• определить методы оптимизации улучшения работы в регионах (Рис. 5) путем сравнения фактической эффективности региона и модельной (средней).

Рис. 5. Оценка относительной эффективности по регионам

 3. Система SENN Sales

Данный продукт представляет собой специализированное средство для интеллектуального анализа данных в финансовой и коммерческой сферах. Как и 4Thought, эта система работает на платформе ПК, а также может загружать информацию из корпоративных баз данных без ограничений на количество столбцов и строк в таблицах. В сущности, сферы применения обеих систем одни и те же. SENN Sales используется для решения задач профилирования клиентов, маркетингового анализа, прогнозирования спроса и т. д. Рассмотрим опыт ее применения для прогнозирования финансовых рядов.

Надежное и точное прогнозирование фьючерсных курсов обмена валют, кредитных ставок, цен и динамики продаж позволяет заключать выгодные международные валютные сделки, формировать финансовые и инвестиционные пакеты, давать точную оценку текущей ситуации на рынке и т.д.

Данные за прошлые периоды (индексы, курсы обмена, кредитные ставки и кривые продаж) содержат структурные зависимости, выявив которые, можно определить поведение системы в будущем. Используя метод моделирования, обеспечивающий точное воссоздание динамики поведения системы, можно описать зависимости в имеющихся данных и построить прогноз. Нейронные сети оказались самым подходящим инструментом для решения задач прогнозирования сложных динамических зависимостей, по сравнению, например, с регрессионными алгоритмами или нечеткой логикой.

3.1. Прогнозирование курса обмена $/DM

Использование нейронных сетей позволяет строить интегрированные самосогласованные модели для нескольких различных валют, причем система дает при этом более точный результат, чем пакеты, построенные на основе традиционных методов. Таким образом можно минимизировать риск потерь при валютных операциях в ходе заключения международных сделок.

3.2. Прогнозирование индексов (DAX, REX и др.)

Моделирование индекса DAX фондовой биржи представляет интерес для инвестиционных компаний, которые могут использовать модельные прогнозы для оптимального размещения финансовых средств. В частности, одной из таких компаний, по данным за период январь 1992 г. - апрель 1996 г., удалось построить модели динамики индекса. Эти модели применялись для принятия решения о последовательности покупок/продаж, что позволило компании существенно повысить прибыль.

Моделирование индекса REX представляет интерес для банков, промышленных и коммерческих компаний. При работе с кривыми изменения кредитных ставок речь, как правило, идет о долгосрочных проектах, поэтому срок, на который составляется прогноз, обычно исчисляется месяцами, а не днями. В рассматриваемом примере изменения REX-индекса фиксировались и прогнозировались для полугодовых интервалов. Обучение и тестирование модели проводили по данным за 1974-1989 гг. Затем строились прогнозы, начиная с даты воссоединения Германии. При этом можно было наблюдать, насколько более точным становится прогноз после ослабления влияния политических событий на экономическую ситуацию. Это говорит о том, что модель адекватно отражает внутреннюю структуру рассматриваемой системы. Полученная модель позволила определять длительность циклов изменения кредитных ставок и обоснованно планировать инвестиции.

3.3. Оптимальное управление портфелем ценных бумаг

При решении данной задачи с помощью системы SENN результаты прогнозирования доходов от капиталовложений обрабатывались методами принятия оптимальных решений. Сначала для определения наилучшего способа размещения капитала рассматривался индекс фондовой биржи, а также долгосрочные и краткосрочные кредитные ставки для каждой из стран (Англия, Франция, Германия, Япония и США). При этом были приняты во внимание изменения в системе счетов в Европе и странах большой семерки, вызванные появлением на финансовых рынках новой европейской валюты. При традиционном подходе к управлению портфелем прогнозируется доход на каждую из статей капиталовложений: с помощью методов нейроаналитики была получена ставка дохода 21%. На основе построенных моделей была разработана стратегия размещения фондов, оптимизирующая доход от капиталовложений для портфеля активов и оценивающая возможные риски.

 4. Система NeuralWare Predict

Специалистов по нейронным сетям, наверняка заинтересуют инструментальные средства фирмы NeuralWare, которая с 1997 г. входит в состав компании Aspen Technology (США). NeuralWare предлагает ряд программных продуктов, позволяющих решать задачи конструирования новых видов нейронных сетей, их применения для оперативного управления различными процессами и для интеллектуального анализа данных. Эти продукты обеспечивают гибкость как при построении сетей, так и при их интеграции в другие приложения.

Проводить ИАД в бизнес-приложениях удобнее всего с помощью пакета NeuralWorks Predict, интегрированный с MS Excel. По сравнению с 4Thought и SENN Sales этот пакет предоставляет более широкие возможности выбора и настройки архитектуры сети, правда, работа с ним требует от пользователя более глубокого знания теории нейронных сетей.

Другая область применения пакета - интеллектуальный анализ данных для управления процессами, например, в нефтепереработке. Нейросетевые технологии используются здесь для создания дедуктивных датчиков. Проблема состоит в том, что в системах управления процессами не все существенные показатели можно измерять оперативно. В таких случаях приходится брать образцы для лабораторного анализа, который либо очень дорого обходится, либо занимает слишком много времени (от нескольких часов до нескольких суток). Предлагается использовать возможности нейронных сетей по моделированию нелинейных зависимостей для оперативного измерения труднодоступных показателей. Сети обучаются на данных о состоянии процесса в момент взятия пробы и соответствующих результатах лабораторных исследований.

Использование дедуктивных датчиков обеспечивает высокий экономический эффект за счет повышения качества управления процессами (и качества самой продукции), снижения затрат на лабораторные испытания и т.д. Эти датчики также могут интегрироваться в более сложные системы управления процессами, например, DMCPlus (Aspen Technology).

В марте 1998 г. компания Aspen Technology, специализирующаяся в области программного обеспечения управления процессами (в химической промышленности, нефтепереработке, электроэнергетике, фармацевтике и т. д.), объявила о выпуске нового специализированного продукта для реализации дедуктивных датчиков - IQmodel. Этот продукт развивает подход, использовавшийся ранее в NeuralWorks Predict. Рассмотрим его основные особенности и достоинства.

Рис. 6. Линейная регрессия для данных о процессе с одним входом (ось Х) и одним выходом (ось Y)

Очевидно, что важно не число анализируемых данных, а количество информации в них. Например, в том случае, когда большая часть данных о процессе собрана в относительно узком диапазоне (типичная ситуация при сборе данных о стабильно протекающем процессе) то, как видно из рис.6, линейная регрессия с минимизацией среднеквадратичной ошибки даст неверное решение. Для решения этой проблемы в IQmodel применяется алгоритм интенсификации данных.

При построении дедуктивного датчика проектировщик должен выбрать необходимый и достаточный набор входных переменных. Традиционный подход предполагает построение модели для всех переменных-кандидатов с последующим анализом чувствительности выходного параметра по каждому из входных. Однако этот метод имеет ряд недостатков, и в первую очередь он не подходит для сильно коррелированных входных параметров. В IQmodel реализован каскадный генетический алгоритм поиска эффективного подмножества входных переменных. После комбинаторного перебора этот алгоритм обеспечивает хорошие результаты, причем в приемлемое время.

Дедуктивный датчик должен обладать способностью к экстраполяции. Нейросетевые дедуктивные датчики обеспечивают довольно точный прогноз для данных из диапазона обучающей выборки, но за ее пределами результаты становятся неуправляемыми. Линейные датчики дают более грубые решения в пределах обучающей выборки, однако за ее пределами сохраняют удовлетворительное качество прогноза. Для решения этой задачи в IQmodel реализованы:

• гибридные сети, позволяющие переключаться между нейросетевыми и линейными датчиками в зависимости от входных данных, а, следовательно, степени доверия к тому или иному способу прогнозирования;
• нечеткие линейные датчики, которые обеспечивают корректные результаты для сильно разреженных данных с учетом непрерывности моделируемых процессов.

В системе применяются специальные приемы анализа сильно коррелированных данных, которые позволяют из множества формально корректных моделей отбирать ту, которая наилучшим образом поддерживает структуру взаимосвязанных данных.

Многие продукты разработаны так, что пробы для лабораторных испытаний делаются в ходе стационарного течения процесса, поэтому в качестве исходных данных берут усредненные значения по довольно большим временным интервалам. Реально это приводит к снижению точности прогноза. В IQmodel реализованы специальные методы для создания более точных динамических моделей.

В процессе эксплуатации моделей можно оперативно проводить их проверку и уточнение (калибровку). Таким образом, IQmodel, наряду с другими продуктами Aspen Technology, позволяет охватить все стадии разработки, использования и сопровождения дедуктивного датчика.

 Заключение

За последние несколько лет методы нейроаналитики доказали свою способность успешно решать сложные практические задачи. Сегодня происходит интеграция этих средств в сложные системы управления и анализа.

В бизнес-приложениях наибольший интерес представляет интеграция методов интеллектуального анализа данных с технологией OLAP (как, например, это сделано в семействе BI фирмы Cognos). OLAP использует многомерное представление агрегированных данных для быстрого доступа к важной информации и дальнейшего ее анализа.

Системы OLAP обеспечивают аналитикам и руководителям быстрый последовательный интерактивный доступ к внутренней структуре данных и возможность преобразования исходных данных с тем, чтобы они позволяли отразить структуру системы нужным для пользователя способом. Кроме того, OLAP-системы позволяют просматривать данные и выявлять имеющиеся в них закономерности либо визуально, либо простейшими методами (такими как линейная регрессия), а включение в их арсенал нейросетевых методов обеспечивает существенное расширение аналитических возможностей.

Успешное применение методов ИАД и OLAP предъявляет серьезные требования к построению баз данных, а также к качеству содержащейся в них информации. К сожалению, многие отечественные компании не могут пока воспользоваться новейшими технологиями обработки информации именно из-за некорректной организации своих данных. Однако отдача от внедрения методов OLAP и ИАД достаточно велика, чтобы крупные компании могли провести реорганизацию имеющихся БД и перейти к технологии хранилищ данных.

Литература

Марина Шапот. Интеллектуальный анализ данных в системах поддержки решений. //Открытые системы № 1, 98 с.30-35