Глубоко о глубинном обучении

Еще будучи аспирантом Монреальского университета, Ян Гудфеллоу — один из авторов книги — предлагал решать сложные задачи с помощью искусственного интеллекта, а позже, опираясь на свой опыт участия в качестве ведущего ученого в исследовательском проекте Google Brain, написал вместе с соавторами книгу о тонкостях deep learning (глубинного обучения). В ней дается максимально полное изложение математических и концептуальных основ машинного обучения, что по достоинству оценил изобретатель и предприниматель Илон Маск, отметивший, что это единственная книга, которая содержит исчерпывающее изложение предмета. Ян Лекун, французский специалист по данным и создатель технологии DjVu, также положительно отозвался о книге.

Машинное обучение, по мнению авторов, нельзя назвать новинкой. Интерес к этой технологии пережил три волны: в 1940–1960-х годах машинное обучение в целом терялось в недрах кибернетики, в 1980–1990-х оно обозначалось как коннекционизм, а в современной инкарнации — под нынешним названием — возродилось в 2006 году. Интерес к машинному обучению в целом и глубинному обучению в частности возрос, когда резко увеличились объемы доступных данных, позволяющих обучать модель. Образно говоря, технологии глубинного обучения позволяют компьютеру самостоятельно решать, как ему лучше учиться. По мере увеличения размера моделей глубинного обучения удается решать все более сложные задачи со все большей точностью.

Для лучшего понимания сути глубинного обучения нужно усвоить основные принципы машинного обучения, описанию которых авторы посвящают первые главы книги и на которые опирается все остальное ее изложение. Навыки практического программирования, понимание основ выполнения высокопроизводительных вычислений и теории сложности, знание математического анализа и теории графов помогут ИТ-специалистам и разработчикам ПО разобраться в приведенных в книге алгоритмах машинного обучения. Читателям, для которых глубинное обучение — совсем незнакомая область, рекомендованы учебники, где подробно рассматриваются фундаментальные основы машинного обучения.

По сути, машинное обучение — это вариант прикладной статистики, в котором особый упор делается на использование компьютеров для статистической оценки сложных функций и меньше внимания уделяется определению доверительных интервалов для этих функций. Машинное обучение позволяет справляться с задачами, которые слишком сложны для решения с помощью фиксированных программ, спроектированных и написанных людьми. С философской точки зрения машинное обучение интересно тем, что позволяет смоделировать работу мозга, а это, вероятно, может помочь разобраться в принципах устройства мышления.

Сегодня машинное обучение — активно развивающаяся область исследований. Их результаты находят применение при решении задач, связанных с физическими, биологическими и экономическими процессами, закономерности которых можно пока выявить лишь на основе анализа эмпирических данных, а не строгих математических доказательств.

Идея нейронных сетей заимствована из нейробиологии: каждый скрытый слой сети обычно вырабатывает некие векторные значения. Размерность скрытых слоев определяет ширину модели. Каждый элемент вектора можно интерпретировать как нейрон. Вместо того чтобы рассматривать слой как представление функции с векторными аргументами и векторными значениями, можно считать, что слой состоит из многих блоков, работающих параллельно, и что каждый такой блок представляет функцию, отображающую вектор в скаляр. Каждый блок напоминает нейрон в том смысле, что получает данные от многих других блоков и вычисляет собственный весовой коэффициент.

Материал книги будет полезен как для знакомства с теоретическими основами глубинного обучения, так и для практического применения: авторы приводят наглядные примеры использования алгоритмов глубинного обучения, включающих алгоритм оптимизации, функции стоимости и пр. Здесь же описаны факторы, ограничивающие способность традиционного машинного обучения к обобщению. Авторы надеются, что читатели книги предложат новые способы повышения эффективности этих подходов и пойдут дальше по пути понимания устройства интеллекта.