В современном мире, пронизанном цифровыми технологиями, нет недостатка в данных. Напротив, все чаще начинает казаться, что их чересчур много. Компании вкладывают средства в облачные технологии, мобильные технологии и социальные среды. Параллельно с ростом объемов данных растет спрос на специалистов, способных реализовать сбор, систематизацию данных и придать им смысл. Таковы результаты опроса компании Kforce, занимающейся подбором кадров.

ETL-разработчики (Extract, Transfer and Load — извлечение, преобразование и загрузка)

Гигантские объемы генерируемых данных и разнообразие их типов заметно повысили спрос на специалистов, обладающих опытом реализации систем извлечения и интеграции больших данных. ETL-разработчики имеют дело с различными источниками данных и создают механизмы извлечения данных из этих источников, их импорта и модификации в соответствии с нуждами организации, а также последующей загрузки их в хранилища данных.

«Отрасль программного обеспечения ETL уже отличает известный уровень зрелости. Если рассматривать весь пул человеческих ресурсов в сфере больших данных, то ETL-разработчики будут представлены как специалистами, работающими по контракту, так и штатными сотрудниками компаний», — отметил Грег Джонс, директор по технологиям Kforce.

Hadoop-разработчики

Hadoop — это оболочка с исходным кодом на базе Java, поддерживающая обработку больших наборов данных. Данные в рамках оболочки Hadoop и различных взаимосвязанных технологий (Hive, HBase, MapReduce, Pig и других) пользуются большим спросом. Это обусловлено спросом на поддержку больших объемов данных и тем, что затраты на обработку терабайтов и петабайтов данных стандартными инструментами BI могут быть недопустимо велики, а также могут требовать долгого времени без массовой распределенной обработки.

«Специалисты, имеющие опыт работы с оболочкой Hadoop, относятся к числу наиболее востребованных в современном мире Больших Данных. Таких специалистов приглашают главным образом для работы по контракту, пока стратегии организаций в области Больших Данных не обретут законченных очертаний», — подчеркнул Джонс.

Разработчики инструментов визуализации

Крупные объемы данных с трудом поддаются анализу. Новые типы инструментов визуализации, такие как Qlikview и Tableau, дают возможность интуитивно и быстро «зондировать» данные. Соответствующая квалификация очень близка к традиционным навыкам разработчика средств BI, но сейчас Hadoop действительно весьма актуальна и требует достаточно специфических навыков.

«В ближайшее время спрос на специалистов соответствующей квалификации будет очень высок, при этом им будут предлагать работу по контракту. Когда предложение выравняется со спросом и инструментарии будут окончательно доработаны, спрос на эти позиции снизится и большинство работников перейдут на постоянную работу», — отметил Джонс.

Исследователи данных

Исследователи данных, которых прежде называли архитекторами данных и которые относились к ИТ-специалистам, представляют собой новую группу профессионалов, способных превращать технологию работы с данными в источник прибыли. Это люди с отличными коммуникативными навыками, они могут объяснить результаты анализа данных как ИТ-руководителям, так и руководителям бизнес-подразделений. Исследователи данных, как правило, работают в собственной «песочнице», где экспериментируют с данными организации, изучают их и вырабатывают инновационные предложения.

«Исследователь данных — это ученый, обладающий способностями аналитика и художника. Он умеет задавать нужные вопросы, он способен видеть в данных скрытые от глаз других закономерности. В нем есть что-то от человека эпохи Возрождения. Он действительно хочет учиться и менять организацию, в которой работает», — отметил Анджул Бхамбхи, вице-президент IBM по продуктам больших данных.

OLAP-разработчики

Разработчики систем оперативного анализа данных (On-Line Analytical Processing, OLAP) — это эксперты в области оптимизации данных, способные обеспечить то, что в Kforce называют «аналитикой тонких срезов». Это получение данных из реляционных систем компании или из неструктурированных источников и создание пространственных моделей, схем, именуемых «звездами» или «снежинками», последующее построение пользовательского интерфейса для доступа к данным с помощью предварительно сформулированных запросов, дающих высокую скорость извлечения информации.

Специалисты в области спецсерверов хранилищ данных

«Речь идет о специалистах, работающих со специализированными серверами, такими как Teradata, Neteeza и Exadata. Основные обязанности — все задачи интеграции данных, администрирования и оптимизации производительности, так или иначе связанные с этими машинами старшего класса. На таких спецсерверах в организациях обычно развертывают системы массовой параллельной обработки (Massive Parallel Processing, MPP), используя оптимизированные средства хранения данных, дисковые архитектуры, адаптированные для аналитической обработки данных», — пояснили специалисты группы Больших Данных Kforce.

Разработчики систем предиктивного анализа

«Системы предиктивного анализа активно используются маркетинговыми организациями для прогнозирования поведения покупателей и определения целевых аудиторий тех или иных продуктов», — отмечается в отчете Kforce.

Иногда эта роль становится неотличимой от исследования данных, поскольку здесь также нужно заниматься исследованиями, изучать многочисленные варианты «что-если», связанные с данными организации. Высококвалифицированные ИТ-специалисты, занимающиеся такими задачами, — это эксперты в разработке возможных бизнес-сценариев и выработке предположений на основании накопленных за продолжительное время данных о производительности. Такие специалисты опробуют работу с пороговыми значениями и прогнозируют будущую производительность.

Архитекторы информации

Большие Данные вновь привлекли интерес к искусству работы с данными. Для того чтобы заставить данные организации работать в полную силу и создать успешный план действий, нужна особая квалификация. Архитектор данных должен знать, как определять и документировать основные элементы данных, он должен гарантировать, что данные организованы и трактуются наиболее эффективным способом. Умение управлять данными, доведенное до уровня искусства, знание бизнеса, способность моделировать данные — вот ключевые навыки, которыми нужно обладать, чтобы занять эту должность.

- Richard Hein. The 8 Most In-Demand Big Data Roles. CIO, January 15, 2014