К столетию Андрея Николаевича Колмогорова
В 1947 году на юбилейной сессии АН СССР Андрей Николаевич Колмогоров выступил с докладом о статистической теории колебаний с непрерывным спектром, в котором он по существу впервые представил теорию стационарных процессов и предвосхитил будущие интересные математические работы в теории информации.
Среди научных направлений второй половины XX века теория информации выделяется не только замечательными прикладными успехами, но, прежде всего, своими интеграционными результатами. Информация, как говорят в термодинамике, воистину стала подлинным рабочим телом любой системы, а также служит непременным мостом между всякой совокупностью систем.Стечение обстоятельств
Термодинамические представления о системах вошли в широкий обиход ученых, инженеров, да и обычных людей уже в начале прошлого века. Но с развитием электротехнических и связных систем понимание тепла, как рабочего тела, для конечного пользователя отступило в тень, а осязаемой стала информация, которая на входе системы, обрабатывается в ней и желательна потребителям на выходе. Вместе с тем стало существенным требование к помехозащищенности информации, а точнее необходимость ее обработки в условиях воздействия «шума». Уровень развития техники все больше определялся устройствами и системами, возможность управления которыми играла определяющую роль. Особое место при этом заняли потребности в эффективных средствах вооружения и коммуникации. В связи с этим к началу 40-х годов достижения науки и техники в разных странах были востребованы в значительной мере на военные нужды. Большие усилия были затрачены на создание автоматического оружия, средств передачи и приема информации, в том числе секретных систем связи.Так образовались три основных направления, где ученые и инженеры предприняли значительные усилия по проектированию и внедрению информационных систем, включающих эффективные средства: обработки информации, главными из которых были вычислительные машины, устройства приема, и канальные передачи, а также поддержки засекреченной связи. Все это позволяло использовать информацию для управления системами и процессами, достигая высокой эффективности их функционирования.
К началу Второй мировой войны развитие электроники стимулировало изучение случайных явлений, а сложившийся аксиоматический подход понимания вероятностей позволил предложить математическое описание ряда моделей шума, что обеспечивало выполнение практических расчетов. Так появились первые модели случайных процессов, а в работах Норберта Винера и Колмогорова были выделены и исследованы их важные классы, нормальные, с независимыми приращениями и стационарные, в дальнейшем сыгравшие исключительно важную роль в техническом прогрессе. Военное время вместе с тем определило повышение практического интереса к криптографическим проблемам — в особенности, к дешифрованию перехваченных сообщений противника. В частности успехи англичан в раскрытии действия немецкой шифровальной машины «Энигма» и посвящение в эти «тайны» американцев, привели к всплеску активности в криптографической деятельности в США. Это повлекло за собой не только практические результаты по раскрытию ряда японских шифров, но и появление к концу войны выдающейся теоретической работы Клода Шеннона по математическим основам криптографии и системам связи. Их основополагающее значение состоит в общем взгляде на синтез любой информационной системы, который связан не только с решением проблем передачи информации, включая и ее защиту, но и с учетом ее функционирования в условиях помех. Отмеченное Шенноном сходство действия шума в канале связи и процесса шифрования сигнала, привело его к обобщенной модели системы связи, которую можно вполне рассматривать, как приемлемую модель для любой информационной системы. Эти работы были опубликованы в трех выпусках журнала Bell System Technical Journal за 1948-й и 1949 годы.
В 1947 году на юбилейной сессии АН СССР Андрей Николаевич Колмогоров выступил с докладом о статистической теории колебаний с непрерывным спектром, в котором он по существу впервые представил теорию стационарных процессов и предвосхитил будущие интересные математические работы в теории информации.
Математическая теория информации
Около пяти лет мир осваивал работы Шеннона по теории информации. «Железный занавес» мешал активному общению. Первыми, кто в нашей стране обратил внимание на теорию информации, были работники ВПК и криптографических служб, однако на первых порах интерес был утилитарным. В начале 50-х годов после публикации работ замечательного советского математика А.Я. Хинчина, «Понятие энтропии в теории вероятностей» и «Об основных теоремах теории информации», стало доступным для математиков понимание результатов, полученных Клодом Шенноном. Разумеется, это ни в коей мере не было попыткой бросить тень на замечательные работы самого Шеннона. Скорее, это было естественным стремлением дать возможность строго определиться с тем, как с математической точки зрения понимать полученные результаты и саму информацию. С помощью принятого в теории вероятностей аксиоматического способа этого удалось достигнуть.К середине 50-х годов завершился период исключительно прикладной теории информации, начатый работами Г. Найквиста (1924 г.), Р. Хартли (1928 г.) и В.А. Котельникова (1933 г.), высокий уровень результатов, полученных Шенноном, потребовал всемерного развития математических методов исследования информационных систем для их дальнейшего совершенствования.
Математика — пособница ИТ
Математическая теория информации была неизбежным откликом на бурное развитие информационных технологий, проявлением которого можно без сомнения считать стремительный рост возможностей вычислительных машин, систем, средств связи и первые попытки создания информационных систем с приемлемыми объемами хранения и разнообразными видами обрабатываемой информации — телеметрией, текстом, речью и всевозможными образами.Осознав, что кибернетика для отдельного математика представляет слишком широкий фронт работ (об этом, в частности, свидетельствуют дискуссии с А.А. Ляпуновым, одним из самых ярких советских адептов кибернетики), Колмогоров сосредоточился на применении методов теории вероятностей в науке об информации. Первые его работы в этом направлении были связаны с общим определением количества информации (1956), количеством информации и энтропией для непрерывных распределений (1958). Они позволили исследователям получить результаты для более общих классов систем с учетом требований к каналам связи и способам передачи сигналов, а по существу определили уровень научной строгости, соответствующий уровню развития информационных технологий. Главное, они открывали путь к количественным мерам информации, так как опирались на строгое понимание информации. Почти десять лет, истекшие после выхода работ Шеннона и необходимость оценки полученных за это время результатов послужили поводом для доклада Колмогорова на Сессии АН СССР в 1956 году, который он назвал «Теория передачи информации». В нем он рассказал о возникновении теории, ее содержании и о принципах построения теории в случае непрерывных сообщений, в которой рассматривается количество информации в одном случайном объекте относительно другого, что позволило абстрактно изложить основы теории Шеннона. Введя понятие e-энтропии, Колмогоров показал, что оно может быть использовано для уточнения понятия, введенного в работах Шеннона, при вычислениях значений с учетом размерности и типа пространства аргументов энтропии. Важными в этом докладе явились параграфы, посвященные стационарным процессам, точнее вычислениям количества информации и скорости создания сообщений для них, в том числе, когда они заданы спектральными характеристиками.
Кроме вероятностного подхода к изучению основных понятий теории информации Колмогоров развивал так называемый алгоритмический подход, при котором удается решать задачи о количестве информации, оценивая сложность используемого для этого алгоритма. В связи с этим следует рассматривать работы «О понятии алгоритма» (1953), «К определению алгоритма» (1958), «О таблицах случайных чисел» (1963), а также «Три подхода к определению понятия ?количество информации?» (1965), «К логическим основам теории информации и теории вероятностей» (1969) и «Комбинаторные основания теории информации и исчисления вероятностей» (1983). Эти статьи сыграли свою роль в работах проводимых, в частности, в МГУ по информационному анализу текстов, в том числе литературных произведений, таблиц случайных чисел и т. п. Полученные в них результаты, похоже, предвосхитили некоторые из ныне активно используемых автоматических методов лингвистической обработки текстовой информации.
Вместе с выше сказанным будет уместно обратить внимание еще на одну группу работ Колмогорова, относимых к теории информации. Они представляют собой интересные попытки использования понятия энтропии в динамических системах, далеко выходящих за круг информационных. Кроме того, понятия e-энтропии и e-емкости множеств дают весьма содержательное представление функциональных пространств, что к тому же позволяет оценивать трудности приближенного задания и вычисления функций.
Вслед за работами по структурной сложности систем, начатыми Шенноном, в начале 60-х годов Колмогоров инициировал интерес к занятиям алгоритмической сложностью, что привело не только к большому количеству исследовательских работ по оценке сложности операций сложения и умножения чисел, а также решения систем линейных уравнений. Но, пожалуй, наиболее заметным стал стандартный подход к оценке криптографических схем с точки зрения сложности их раскрытия, приведший к понятию стойкости.
Под руководством Колмогорова был выполнен ряд исследований по информационному анализу поэтических и прозаических художественных произведений, которые показали, насколько специфическими должны быть подходы к пониманию того, что такое информация и как оценивать ее количество.
Успехи ИТ и требования к развитию математики
По мере развития ИТ, проявлявшегося в значительной мере в создании разнообразных информационных систем, кафедра теории вероятностей МГУ, которой руководил в 50-е и 60-е годы Колмогоров, как правило, либо при его непосредственном участии, либо при хорошей поддержке расширяла круг исследований и специальностей, по которым готовили студентов и аспирантов. Так, уже в 1957-1958 годы были выпущены первые студенты кафедры, защитившие дипломные работы по теории информации. Работы по системам массового обслуживания и теории надежности были развернуты в Статистической лаборатории при мехмате МГУ под руководством самого Андрея Николаевича. Весьма значительное число учеников и выпускников кафедры теории вероятностей связали свою творческую судьбу с работой в области теории и практики информации, испытав на себе влияние Колмогорова и навсегда оставшись под обаянием его личности.Основной завет
Завершая предисловие к изданию трудов Клода Шеннона, Колмогоров написал: «С точки зрения общих перспектив развития теории информации и кибернетики может представлять интерес небольшая заметка самого Шеннона «Бандвагон». Скромный и деловой подход к имеющимся в этих областях к настоящему времени достижениям типичен для Шеннона».Это, можно сказать, вечный посыл работающим в этой области. Но с другой стороны наступило время разобщения в ИТ, слишком во многих направлениях они развиваются, поэтому полезно было бы познакомить пользователей, по крайней мере, с ее идеологией с учетом основных достижений. И юбилей Андрея Николаевича Колмогорова напоминает об этом.
***В начале 60-х годов Колмогоров инициировал интерес к занятиям алгоритмической сложностью, что привело не только к большому количеству исследовательских работ по оценке сложности операций сложения и умножения чисел, а также решения систем линейных уравнений. Но, пожалуй, наиболее заметным стал стандартный подход к оценке криптографических схем с точки зрения сложности их раскрытия, приведший к понятию стойкости.
