Исследования клода шеннона. Кто такой Клод Шеннон и чем он знаменит

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Министерство образования и науки Российской Федерации

Федеральное агентство по образованию

ГОУ ВПО Сыктывкарский Государственный Университет

Факультет управления

Теория информации Клода Шеннона

Руководитель: Болотов С.П

Исполнитель: Панева Я.В,

411 группа

Сыктывкар 2010

Введение

Теория информации

Заключение

Список литературы

Введение

Клод Элвуд Шеннон (Shannon) (1916 -- 2001) -- американский инженер и математик. Человек, которого называют отцом современных теорий информации и связи.

Осенним днем 1989 года корреспондент журнала "Scientific American" вошел в старинный дом с видом на озеро к северу от Бостона. Но встретивший его хозяин, 73-летний стройный старик с пышной седой гривой и озорной улыбкой, совсем не желал вспоминать "дела давно минувших дней" и обсуждать свои научные открытия 30-50-летней давности. Быть может, гость лучше посмотрит его игрушки?

Не дожидаясь ответа и не слушая увещеваний жены Бетти, хозяин увлек изумленного журналиста в соседнюю комнату, где с гордостью 10-летнего мальчишки продемонстрировал свои сокровища: семь шахматных машин, цирковой шест с пружиной и бензиновым двигателем, складной нож с сотней лезвий, двухместный одноколесный велосипед, жонглирующий манекен, а также компьютер, вычисляющий в римской системе счисления. И не беда, что многие из этих творений хозяина давно сломаны и порядком запылены, -- он счастлив. Кто этот старик? Неужели это он, будучи еще молодым инженером Bell Laboratories, написал в 1948 году "Великую хартию" информационной эры -- "Математическую теорию связи"? Его ли труд назвали "величайшей работой в анналах технической мысли"? Его ли интуицию первооткрывателя сравнивали с гением Эйнштейна? Да, это все о нем. И он же в тех же 40-х годах конструировал летающий диск на ракетном двигателе и катался, одновременно жонглируя, на одноколесном велосипеде по коридорам Bell Labs. Это Клод Элвуд Шеннон, отец кибернетики и теории информации, гордо заявивший: "Я всегда следовал своим интересам, не думая ни о том, во что они мне обойдутся, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи."

Теория информации

В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories. В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. А в свободное время он начал развивать идеи, которые потом вылились в теорию информации. Исходная цель Шеннона заключалась в улучшении передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. Он быстро пришел к выводу, что наилучшее решение проблемы заключается в более эффективной упаковке информации.

Но что же такое информация? Чем измерять ее количество? Шеннону пришлось ответить на эти вопросы еще до того, как он приступил к исследованиям пропускной способности каналов связи. В своих работах 1948-49 годов он определил количество информации через энтропию -- величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу информации принял то, что впоследствии окрестили "битом", то есть выбор одного из двух равновероятных вариантов. Позже Шеннон любил рассказывать, что использовать энтропию ему посоветовал знаменитый математик Джон фон Нейман, который мотивировал свой совет тем, что мало кто из математиков и инженеров знает об энтропии, и это обеспечит Шеннону большое преимущество в неизбежных спорах. Шутка это или нет, но как трудно нам теперь представить, что всего полвека назад понятие "количество информации" еще нуждалось в строгом определении и что это определение могло вызвать какие-то споры.

На прочном фундаменте своего определения количества информации Клод Шеннон доказал удивительную теорему о пропускной способности зашумленных каналов связи. Во всей полноте эта теорема была опубликована в его работах 1957-61 годов и теперь носит его имя. В чем суть теоремы Шеннона? Всякий зашумленный канал связи характеризуется своей предельной скоростью передачи информации, называемой пределом Шеннона. При скоростях передачи выше этого предела неизбежны ошибки в передаваемой информации. Зато снизу к этому пределу можно подойти сколь угодно близко, обеспечивая соответствующим кодированием информации сколь угодно малую вероятность ошибки при любой зашумленности канала.

Эти идеи Шеннона оказались слишком провидческими и не смогли найти себе применения в годы медленной ламповой электроники. Но в наше время высокоскоростных микросхем они работают повсюду, где хранится, обрабатывается и передается информация: в компьютере и лазерном диске, в факсимильном аппарате и межпланетной станции. Мы не замечаем теорему Шеннона, как не замечаем воздух.

В основу теории информации положен предложенный К.Шенноном метод исчислений количества новой (непредсказуемой) и избыточной (предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам технической связи.

Предложенный Шенноном метод измерения количества информации оказался настолько универсальным, что его применение не ограничивается теперь узкими рамками чисто технических приложений.

Вопреки мнению самого К.Шеннона, предостерегавшего ученых против поспешного распространения предложенного им метода за пределы прикладных задач техники связи, этот метод стал находить все более широкое примение в исследованиях и физических, и биологических, и социальных систем.

Ключом к новому пониманию сущности феномена информации и механизма информационных процессов послужила установленная Л.Бриллюэном взаимосвязь информации и физической энтропии. Эта взаимосвязь была первоначально заложена в самый фундамент теории информации, поскольку для исчисления количества информации Шеннон предложил использовать заимствованную из статистической термодинамики вероятную функцию энтропии.

Многие ученые (начиная с самого К.Шеннона) склонны были рассматривать такое заимствование как чисто формальный прием. Л.Бриллюэн показал, что между вычисленным согласно Шеннону количеством информации и физической энтропии существует не формальная, а содержательная связь.

В статистической физике с помощью вероятностной функции энтропии исследуются процессы, приводящие к термодинамическому равновесию, при котором все состояния молекул (их энергии, скорости) приближаются к равновероятным, а энтропия при этом стремится к максимальной величине.

Благодаря теории информации стало очевидно, что с помощью той же самой функции можно исследовать и такие далекие от состояния максимальной энтропии системы, как, например, письменный текст.

Еще один важный вывод заключается в том, что с помощью вероятностной функции энтропии можно анализировать все стадии перехода системы от состояния полного хаоса, которому соответствуют равные значения вероятностей и максимальное значение энтропии, к состоянию предельной упорядоченности (жесткой детерминации), которому соответствует единственно возможное состояние ее элементов.

Данный вывод оказывается в равной мере справедливым для таких несходных по своей природе систем, как газы, кристаллы, письменные тексты, биологические организмы или сообщества и др.

При этом, если для газа или кристалла при вычислении энтропии сравнивается только микросостояние (т.е. состояние атомов и молекул) и макросостояние этих систем (т.е. газа или кристалла как целого), то для систем иной природы (биологических, интеллектуальных, социальных) вычисление энтропии может производится на том или ином произвольно выбранном уровне. При этом вычисляемое значение энтропии рассматриваемой системы и количество информации, характеризующей степень упорядоченности данной системы и равное разности между максимальным и реальным значением энтропии, будет зависеть от распределения вероятности состояний элементов нижележащего уровня, т.е. тех элементов, которые в своей совокупности образуют эти системы.

Количество сохраняемой в структуре системы информации пропорционально степени отклонения системы от состояния равновесия, обусловленного сохраняемым в структуре системы порядком.

Сам того не подозревая, Шеннон вооружил науку универсальной мерой, пригодной в принципе (при условии выявления значенй всех вероятностей) для оценки степени упорядоченности всех существующих в мире систем.

Определив введенную Шеноном информационную меру как меру упорядоченности движения, можно установить взаимосвязь информации и энергии, считая энергию мерой интенсивности движения. При этом количество сохраняемой в структуре систем информации пропорционально суммарной энергии внутренних связей этих систем.

Одновременно с выявлением общих свойств информации как феномена обнаруживаются и принципиальные различия относящихся к различным уровням сложности информационных систем.

Так, например, все физические объекты, в отличие от биологических, не обладают специальными органами памяти, перекодировки поступающих из внешнего мира сигналов, информационными каналами связи. Хранимая в них информация как бы "размазана" по всей их структуре. Вместе с тем, если бы кристаллы не способны были сохранять информацию в определяющих их упорядоченность внутренних связях, не было бы возможности создавать искусственную память и предназначенные для обработки информации технические устройства на основе кристаллических структур.

Вместе с тем необходимо учитывать, что создание подобных устройств стало возможным лишь благодаря разуму человека, сумевшего использовать элементарные информационные свойства кристаллов для построения сложных информационных систем.

Простейшая биологическая система превосходит по своей сложности самую совершенную из созданных человеком информационных систем. Уже на уровне простейших одноклеточных организмов задействован необходимый для их размножения сложнейший информационный генетический механизм. В многоклеточных организмах помимо информационной системы наследственности действуют специализированные органы хранения информации и ее обработки (например, системы, осуществляющие перекодирование поступающих из внешнего мира зрительных и слуховых сигналов перед отправкой их в головной мозг, системы обработки этих сигналов в головном мозге). Сложнейшая сеть информационных коммуникаций (нервная система) пронизывает и превращает в целое весь многоклеточный организм.

Уже на уровне биологических систем возникают проблемы учета ценности и смысла используемой этими системами информации. Еще в большей мере такой учет необходим для анализа функционирования интеллектуальных информационных систем.

Глубокое осознание специфики биологических и интеллектуальных систем позволяет выявить те границы, за пределами которых утрачивает свою компетентность разработанный современной наукой информационно-энтропийный подход.

Определить эти границы Шеннону пришлось на самом начальном этапе создания теории информации, поскольку без этого нельзя было использовать количественную меру информации для оценки письменных текстов и других созданных разумом человека информационных систем. Именно с этой целью Шеннон делает оговорку о том, что предложенный им метод исчисления информации письменных текстов игнорирует такие же их неотъемлемые свойства, как смысл и ценность содержащихся в них сообщений.

Так, например, при подсчете количества информации, содержащейся в таких двух сообщениях, как "очередную партию Каспаров играет белыми" и "у гражданина Белова родился сын" получится одна и та же величина - 1 бит. Нет сомнения, что два этих сообщения несут разный смысл и имеют далеко не равнозначную ценность для гражданина Белова. Однако, как было отмечено выше, оценка смысла и ценности информации находится за пределами компетенции теории информации и поэтому не влияет на подсчитываемое с помощью формулы Шеннона количество бит.

Игнорирование смысла и ценности информации не помешало Шеннону решать прикладные задачи, для которых предназначалась первоначально его теория: инженеру по технике связи вовсе не обязательно вникать в суть сообщений, передаваемых по линии связи. Его задача заключается в том, чтобы любое подобное сообщение передавать как можно скорее, с наименьшими затратами средств (энергии, диапазона используемых частот) и, по возможности, безо всяких потерь. И пусть тот, кому предназначена данная информация (получатель сообщений), вникает в смысл, определяет ценность, решает, как использовать ту информацию, которую он получил.

Такой сугубо прагматичный подход позволил Шеннону ввести единую, не зависящую от смысла и ценности, меру количества информации, которая оказалась пригодной для анализа всех обладающих той или иной степенью упорядоченности систем.

После основополагающих работ Шеннона начали разрабатываться основы смысловой (семантической) и ценностной (прагматической, аксиологической) информационных теорий.

Однако ни одной из этих теорий и предлагаемых их авторами единиц измерения ценности или смысла не суждено было приобрести такую же степень универсальности, какой обладает мера, которую ввел в науку Шеннон.

Дело в том, что количественные оценки смысла и ценности информации могут производится только после предварительного соглашения о том, что же именно в каждом конкретном случае имеет для рассматриваемых явлений ценность и смысл. Нельзя одними и теми же единицами измерить ценность информации, содержащейся, скажем, в законе Ома и в признании любви. Иными словами, критерии смысла и ценности всегда субъективны, а потому применимость их ограничена, в то время как мера, предложенная Шенноном, полностью исключает субъективизм при оценке степени упорядоченности структуры исследуемых систем.

Так что же характеризует подсчитанная по формуле Шеннона величина энтропии текста, выражаемая количеством бит? Только лишь одно свойство этого текста - степень его упорядоченности или, иными словами, степень его отклонения от состояния полного хаоса, при котором все буквы имели бы равную вероятность, а текст превратился бы в бессмысленный набор букв.

Упорядоченность текста (или любой другой исследуемой системы) будет тем больше, чем больше различие вероятностей и чем больше вероятность последующего события будет зависеть от вероятностей предыдущих событий.

Согласно негэнтропийному принципу информации количество информации, выражающее этот порядок, будет равно уменьшению энтропии системы по сравнению с максимально возможной величиной энтропии, соответствующей отсутствию упорядоченности и наиболее хаотичному состоянию систем.

Методы исчисления информации, предложенные Шенноном, позволяют выявить соотношение количества предсказуемой (то есть формируемой по определенным правилам) информации и количества той неожиданной информации, которую нельзя заранее предсказать.

Таким способом удается в той или иной степени "разгрузить" предназначенный для передачи сообщений канал. Проведенный Шенноном анализ английских текстов показал, что содержащаяся в них избыточная информация составляет около 80% от общего количества информации, которое заключает в себе письменный текст. Остальные 20% - это та самая энтропия, благодаря которой текст может служить источником непредсказуемой энергии .

Если бы текстовые, устные или зрительные (в частности телевизионные) сообщения были полностью лишены энтропии, они не приносили бы получателям сообщений никаких новостей.

Если бы письменный текст строился только на основании заранее сформулированных правил, то, установив эти правила по тексту первой страницы, можно было бы заранее предсказать, что будет написано на страницах 50, 265, 521 и т.д.

Заключение

шеннон информация канал связь

Но с начала 60-х годов Шеннон не сделал в теории информации практически больше ничего. Это выглядело так, как будто ему всего за 20 лет надоела созданная им же теория. В 1985 году Клод Шеннон и его жена Бетти неожиданно посетили Международный симпозиум по теории информации в английском городе Брайтоне. Почти целое поколение Шеннон не появлялся на конференциях, и поначалу его никто не узнал. Затем участники симпозиума начали перешептываться: вон тот скромный седой джентльмен -- это Клод Элвуд Шеннон, тот самый! На банкете Шеннон сказал несколько слов, немного пожонглировал тремя (увы, только тремя) мячиками, а затем подписал сотни автографов ошеломленным инженерам и ученым, выстроившимся в длиннейшую очередь. Стоящие в очереди говорили, что испытывают такие же чувства, какие испытали бы физики, явись на их конференцию сам сэр Исаак Ньютон.

Клод Шеннон скончался в 2001 году в массачусетском доме для престарелых от болезни Альцгеймера на 84 году жизни.

Список литературы

1. Интернет

2. Шеннон К.Е. Математическая теория связи. Работы по теории информации и кибернетике., М, 1963.

3. Шеннон К. Е. Бандвагон. /Работы по теории информации и кибернетике/М.1963.

Размещено на Allbest.ru

Подобные документы

Общее число неповторяющихся сообщений. Вычисление скорости передачи информации и пропускной способности каналов связи. Определение избыточности сообщений и оптимальное кодирование. Процедура построения оптимального кода по методике Шеннона-Фано.

курсовая работа , добавлен 17.04.2009


Общая схема действия каналов связи, их классификация и характеристика. Дискретный, бинарный канал связи и определение их пропускной способности, особенности действия с помехами и без них по теореме Шеннона. Пропускная способность непрерывного канала.

реферат , добавлен 14.07.2009


Предмет и задачи теории информации, ее функции при создании АСУ. Определение пропускной способности дискретных (цифровых) каналов при отсутствии шумов. Расчет скорости передачи информации. Вычисление значения энтропии - среднего количества информации.

контрольная работа , добавлен 18.01.2015


Вычисление количества информации, приходящейся на один символ по формуле Шеннона. Изменения информационной энтропии в текстах экономического, естественнонаучного и литературного содержания. Максимальное количество информации на знак по формуле Хартли.

лабораторная работа , добавлен 06.12.2013


презентация , добавлен 19.10.2014


Обработка информации, анализ каналов ее возможной утечки. Построение системы технической защиты информации: блокирование каналов несанкционированного доступа, нормативное регулирование. Защита конфиденциальной информации на АРМ на базе автономных ПЭВМ.

дипломная работа , добавлен 05.06.2011


Изучение алгоритмов допускового контроля достоверности исходной информации, с помощью которых выявляются полные и частичные отказы информационно-измерительных каналов. Определение погрешности выполнения уравнения связи между количествами информации.

лабораторная работа , добавлен 14.04.2012


Определение среднего количества информации. Зависимость между символами матрицы условных вероятностей. Кодирование методом Шеннона–Фано. Пропускная способность канала связи. Эффективность кодирования сообщений методом Д. Хаффмана, характеристика кода.

контрольная работа , добавлен 04.05.2015


Анализ источников опасных сигналов и определение потенциальных технических каналов утечки информации и несанкционированного доступа. Организационные и технические методы защиты информации в выделенном помещении, применяемое инженерное оборудование.

курсовая работа , добавлен 18.11.2015


Количество информации и ее мера. Определение количества информации, содержащегося в сообщении из ансамбля сообщений источника. Свойства количества информации и энтропии сообщений. Избыточность, информационная характеристика источника дискретных сообщений.

Клод Элвуд Шеннон — известный американский инженер и математик. Его работы совмещают связь математических идей с анализом весьма сложного процесса их технической реализации. Клод Шеннон знаменит в первую очередь благодаря разработке теории информации, которая служит основой современных высокотехнологических систем связи. Шеннон внес огромный вклад в ряд наук, которые входят в понятие «кибернетики» — он создал теорию вероятности схем, теорию автоматов и систем управления.

Клод Шеннон — становление инженерного гения

Клод Шеннон родился в 1916 году в городе Гейлорд, штат Мичиган, США. Технические конструкции, как и общность математических процессов, интересовали его с ранних лет. Все свое свободное время он решал математические задачи и возился с радиоконструкторами и детекторными приемниками.

Неудивительно, что будучи студентом Мичиганского университета, Шеннон одновременно специализировался в математике и электротехнике. Благодаря высокой образованности и разнообразию интересов, первый огромный успех к Шеннону пришел уже во время учебы в аспирантуре Массачусетского технологического университета. Тогда ему удалось доказать, что работу электрических схем реле и переключателей можно представить посредством алгебры. За это величайшее открытие Клод Шеннон был удостоен Нобелевской премии. Причину своего ошеломляющего успеха он объяснил достаточно скромно: «Просто до меня никто не изучал математику и электротехнику одновременно.»

Шеннон и криптография

В 1941 году Шеннон стал сотрудником Bell Laboratories, где его основной задачей была разработка сложных криптографических систем. Эта работа позволила ему создать методы кодирования с возможностью коррекции ошибок.

Клод Шеннон стал первым, кто подошел к изучению криптографии с научной точки зрения, опубликовав в 1949 году статью под названием «Теория связи в секретных системах». Эта статья состояла из трех разделов. Первый раздел содержал основные математические структуры секретных систем, второй — раскрывал проблемы «теоретической секретности», третий — освещал понятие «практической секретности». Так, главной заслугой Шеннона в криптографии стало подробное исследование понятия абсолютной секретности систем, в котором он доказал факт существования и необходимые условия для существования абсолютно стойких не раскрываемых шифров.

Клод Шеннон стал первым, кто сформулировал теоретические основы криптографии и раскрыл суть многих понятий, без которых криптография, как наука не существовала бы.

Основоположник информатики

В какой-то момент своей деятельности, Клод Шеннон поставил перед собой задачу улучшить передачу информации по телефонным и телеграфным каналам, которые находятся под воздействием электрических шумов. Тогда ученый выяснил, что наилучшим решением данной проблемы станет более эффективная «упаковка» информации. Однако прежде, чем приступить к исследованиям ему пришлось ответить на вопрос, что же такое информация и чем измерить ее количество. В 1948 году в статье «Математическая теория связи» он описал определение количества информации через энтропию, величину, которая известна в термодинамике как мера разупорядоченности системы, а наименьшую единицу информации назвал «битом».

Позже, основываясь на своих определениях количества информации, Шеннону удалось доказать гениальную теорему о пропускной способности зашумленных каналов связи. В годы ее разработки, теорема не нашла практического применения, зато в современном мире высокоскоростных микросхем она находит применение везде, где хранится, обрабатывается или передается информация.

Почти современник

Вклад Клода Шеннона в науку и его результаты трудно переоценить, ведь без его открытий стало бы невозможным существование компьютерной техники, Интернета и всего цифрового пространства. Кроме теорий, которые положили начало развития информационных технологий, гениальный инженер и математик так же сделал вклад в развитие многих других областей. Он одним из первых доказал то, что машины не только способны выполнять интеллектуальную работу, но и обучаться. В 1950 году, он изобрел механическую радиоуправляемую мышку, которая благодаря сложной электронной схеме могла найти дорогу в лабораторию самостоятельно. Также он стал автором устройства, которое было способно складывать кубик Рубика, а так же изобрел Гекс – электронное устройство для настольных игр, которое всегда побеждало соперников.

Гениальный ученый и изобретатель умер на 84 году жизни в 2001 году от болезни Альцгеймера в массачусетском доме престарелых.

Анатолий Ушаков, д. т. н, проф. каф. систем управления и информатики, университет «ИТМО»

Многие поколения технических специалистов второй половины XX века, даже достаточно далекие от теории автоматического управления и кибернетики, выйдя из стен вузов, на всю жизнь запомнили названия «авторских» научно-технических достижений: функции Ляпунова, марковские процессы, частота и критерий Найквиста, винеровский процесс, фильтр Калмана. Среди таких достижений почетное место занимают теоремы Шеннона. В 2016 г. исполняется сто лет со дня рождения их автора - ученого и инженера Клода Шеннона.

«Кто владеет информацией, тот владеет миром»

У. Черчилль

Рис. 1. Клод Шеннон (1916–2001)

Клод Элвуд Шеннон (Claude Elwood Shannon) (рис. 1) родился 30 апреля 1916 г. в городе Петоцки, расположенном на берегу озера Мичиган штата Мичиган (США), в семье юриста и преподавателя иностранных языков. Его старшая сестра Кэтрин увлекалась математикой и со временем стала профессором, а отец Шеннона совмещал работу адвоката с радиолюбительством. Дальним родственником будущего инженера был прославившийся на весь мир изобретатель Томас Эдисон, имевший 1093 патента.

Шеннон закончил общеобразовательную среднюю школу в 1932 г. в возрасте шестнадцати лет, одновременно получив дополнительное образование на дому. Отец покупал ему конструкторы и радиолюбительские наборы и всячески содействовал техническому творчеству сына, а сестра привлекала его к углубленным занятиям математикой. Шеннон полюбил оба эти мира - технику и математику.

В 1932 г. Шеннон поступил в Мичиганский университет, который окончил в 1936 г., получив степень бакалавра по двум специальностям: математика и электротехника. Во время обучения он нашел в библиотеке университета две работы Джорджа Буля (George Boole) - «Математический анализ логики» и «Логическое исчисление», написанные в 1847 и 1848 годах соответственно. Шеннон тщательным образом их изучил, и это, по-видимому, определило его дальнейшие научные интересы.

После окончания университета Клод Шеннон устроился на работу в лабораторию электротехники Массачусетского технологического института (MTИ) ассистентом-исследователем, где работал над задачами модернизации дифференциального анализатора Ванневара Буша (Vannevar Bush), вице-президента МТИ, - аналогового «компьютера». С этого времени Ванневар Буш стал научным наставником Клода Шеннона. Изучая сложные, узкоспециализированные релейные и переключательные электросхемы устройства управления дифференциальным анализатором, Шеннон понял, что концепции Джорджа Буля могут получить в этой области достойное применение.

В конце 1936 г. Шеннон поступает в магистратуру, а уже в 1937 г. он пишет реферат диссертации на соискание степени магистра и на его основе готовит статью «Символьный анализ реле и переключательных схем», которая была опубликована в 1938 г. в издании Американского института инженеров-электриков (AIEE). Эта работа привлекла к себе внимание научного электротехнического сообщества, и в 1939 г. Американским обществом гражданских инженеров (American Society of Civil Engineers) Шеннону была присуждена за нее Премия имени Альфреда Нобеля.

Еще не защитив магистерской диссертации, Шеннон по совету Буша решил работать над докторской по математике в МТИ, касающейся задач генетики. По мнению Буша, генетика могла стать удачной проблемной областью приложения знаний Шеннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 г. и посвящена проблемам генной комбинаторики. Шеннон получил докторскую степень по математике и в это же время защитил диссертацию на тему «Символьный анализ реле и переключательных схем», став магистром электротехники.

Докторская диссертация Шеннона не получила большой поддержки у генетиков и по этой причине никогда не была опубликована. Однако диссертация на степень магистра оказалась прорывной в коммутационной и цифровой технике. В последней главе диссертации было приведено много примеров успешного применения разработанного Шенноном логического исчисления к анализу и синтезу конкретных релейных и переключательных схем: селекторных схем, замка с электрическим секретом, двоичных сумматоров. Все они наглядно демонстрируют совершенный Шенноном научный прорыв и огромную практическую пользу от формализма логического исчисления. Так родилась цифровая логика.

Рис. 2. Клод Шеннон в Bell Labs (середина 1940-х гг.)

Весной 1941 г. Клод Шеннон становится сотрудником математического отделения научно-исследовательского центра Bell Laboratories (рис. 2). Следует сказать несколько слов об атмосфере, в которую попал 25-летний Клод Шеннон, - ее создавали Гарри Найквист (Harry Nyquist), Хенрик Боде (Hendrik Bode), Ральф Хартли (Ralph Hartley), Джон Тьюки (John Tukey) и другие сотрудники Bell Laboratories. Все они уже имели определенные результаты в разработке теории информации, которые Шеннон со временем разовьет до уровня большой науки.

В это время в Европе уже шла война, и Шеннон проводил исследования, которые широко финансировало правительство США. Работа, которую Шеннон выполнял в Bell Laboratories, была связана с криптографией, что привело его к необходимости заняться математической теорией криптографии и со временем позволило проводить анализ зашифрованных текстов информационно-теоретическими методами (рис. 3).

В 1945 г. Шеннон завершил большой секретный научный отчет на тему «Математическая теория криптографии» («Communication Theory of Secrecy Systems»).

Рис. 3. У шифровальной машины

В это время Клод Шеннон был уже близок к тому, чтобы выступить перед научной общественностью с новыми базовыми концепциями по теории информации. И в 1948 г. он опубликовал свой эпохальный труд «Математическая теория связи» . Математическая теория связи Шеннона предполагала трехкомпонентную структуру, составленную из источника информации, приемника информации и «транспортной среды» - канала связи, характеризующегося пропускной способностью и способностью искажать информацию при передаче. Возник определенный круг проблем: как количественно оценить информацию, как ее эффективно упаковывать, как оценить допустимую скорость вывода информации из источника в канал связи с фиксированной пропускной способностью, чтобы гарантировать безошибочную передачу информации, и, наконец, как решить последнюю задачу при наличии помех в канале связи? На все эти вопросы Клод Шеннон дал человечеству исчерпывающие ответы своими теоремами.

Следует сказать, что коллеги по «цеху» помогли Шеннону с терминологией. Так, термин для минимальной единицы количества информации - «бит» - предложил Джон Тьюки, а термин для оценки среднего количества информации на символ источника - «энтропия» - Джон фон Нейман (John von Neumann). Свою основополагающую работу Клод Шеннон изложил в виде двадцати трех теорем. Не все теоремы равноценны, часть из них носит вспомогательный характер или посвящена частным случаям теории информации и ее передачи по дискретным и непрерывным каналам связи, но шесть теорем являются концептуальными и составляют каркас здания теории информации, созданной Клодом Шенноном.

1. Первая из этих шести теорем связана с количественной оценкой информации, генерируемой источником информации, в рамках стохастического подхода на основе меры в виде энтропии с указанием ее свойств.
2. Вторая теорема посвящена проблеме рациональной упаковки символов, генерируемых источником, при их первичном кодировании. Она породила процедуру эффективного кодирования и необходимость введения в структуру системы передачи информации «кодера источника».
3. Третья теорема касается проблемы согласования потока информации из источника информации с пропускной способностью канала связи в условиях отсутствия помех, гарантирующего отсутствие искажения информации при передаче.
4. Четвертая теорема решает ту же задачу, что и предыдущая, но в условиях наличия в двоичном канале связи помех, действия которых на передаваемую кодовую посылку сообщения способствуют вероятности искажения произвольного бита кода. Теорема содержит условие замедления передачи, гарантирующее заданную вероятность безошибочной доставки кодовой посылки получателю. Данная теорема является методологической основой помехозащитного кодирования, которая привела к необходимости введения в структуру системы передачи «кодера канала».
5. Пятая теорема посвящена оценке пропускной способности непрерывного канала связи, характеризующегося некоторой частотной полосой пропускания и заданными мощностями полезного сигнала и сигнала помехи в канале связи. Теорема определяет так называемую границу Шеннона.
6. Последняя из теорем, именуемая теоремой Найквиста - Шеннона-Котельникова, посвящена проблеме безошибочного восстановления непрерывного сигнала по его дискретным по времени отсчетам, которая позволяет сформулировать требование к величине временного интервала дискретности, определяемого шириной частотного спектра непрерывного сигнала, и сформировать базисные функции, именуемые функциями отсчета.

Следует сказать, что изначально у многих математиков мира вызвала сомнения доказательная база этих теорем. Но со временем научная общественность убедилась в корректности всех постулатов, найдя им математические подтверждения. В нашей стране этому делу отдали свои силы Хинчин А.Я. и Колмогоров А.Н. .

В 1956 г. знаменитый Клод Шеннон покидает стены Bell Laboratories, не порывая с ней связей, и становится полным профессором сразу двух факультетов Массачусетского технологического института: математического и электротехнического.

Рис. 4. Лабиринт Шеннона

У Клода Шеннона всегда было много интересов, совершенно не связанных с его профессиональной деятельностью. Выдающийся инженерный талант Шеннона проявлялся в создании всевозможных машин и механизмов, среди которых механическая мышь «Тезей», решающая лабиринтную задачу (рис. 4), вычислительная машина с операциями над римскими цифрами, а также вычислительные машины и программы для игры в шахматы.

В 1966 г. в возрасте 50 лет Клод Шеннон удаляется от преподавательской деятельности и практически полностью посвящает себя своим хобби. Он создает одноколесный велосипед с двумя седлами, складной нож с сотней лезвий, роботов, собирающих кубик Рубика, и робота, жонглирующего шарами. Кроме того, Шеннон и сам продолжает оттачивать мастерство жонглирования, доведя количество шаров до четырех (рис. 5). Свидетели его молодости в Bell Laboratories вспоминали, как он разъезжал по коридорам фирмы на одноколесном велосипеде, при этом жонглируя мячами.

Рис. 5. Клод Шеннон - жонглер

К сожалению, у Клода Шеннона не было тесных контактов с советскими учеными. Тем не менее ему удалось посетить СССР в 1965 г. по приглашению Научно-технического общества радиотехники, электроники и связи (НТОРЭС) имени А.С. Попова. Одним из инициаторов этого приглашения был многократный чемпион мира по шахматам Михаил Ботвинник, доктор технических наук, профессор, который также был электротехником и интересовался шахматным программированием. Между Михаилом Ботвинником и Клодом Шенноном состоялась оживленная дискуссия о проблемах компьютеризации шахматного искусства. Участники пришли к выводу, что это очень интересно для программирования и бесперспективно для шахмат. После дискуссии Шеннон попросил Ботвинника сыграть с ним в шахматы и по ходу игры даже имел небольшое преимущество (ладью за коня и пешку), но все же проиграл на 42-м ходу.

Последние годы жизни Клод Шеннон тяжело болел. Он скончался в феврале 2001 г. в массачусетском доме престарелых от болезни Альцгеймера на 85-м году жизни.

Клод Шеннон оставил богатое прикладное и философское наследие. Им создана общая теория устройств дискретной автоматики и вычислительной техники, технология эффективного использования возможностей канальной среды. Все современные архиваторы, используемые в компьютерном мире, опираются на теорему Шеннона об эффективном кодировании. Основу его философского наследия составляют две идеи. Первая: целью всякого управления должно быть уменьшение энтропии как меры неопределенности и беспорядка в системной среде. Управление, которое не решает этой задачи, является избыточным, т. е. ненужным. Вторая состоит в том, что все в этом мире в каком-то смысле есть «канал связи». Каналом связи является и человек, и коллектив, и целая функциональная среда, и промышленность, и транспортная структура, и страна в целом. И если не согласовывать технические, информационные, гуманитарные, правительственные решения с пропускной способностью канальной среды, на которую они рассчитаны, то хороших результатов не жди.

Вконтакте

Литература

1. Shannon C. E. A Mathematical Theory of Communication. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Collected Papers. N. Y., 1993. P. 8-111.
2. Shannon C. E. Communication in the presence of noise. Proc.IRE. 1949. V. 37. № 10.
3. Shannon C. E. Communication Theory of Secrecy Systems. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Collected Papers. N. Y., 1993. P. 112-195.
4. Автоматы. Сборник статей под ред. К. Э. Шеннона, Дж. Маккарти / Пер. с англ. М.: Из-во Ин. лит. 1956.
5. Robert M. Fano Transmission of information: A statistical theory of communication. Published Jointly by the M.I.T., PRESS and JOHN WILEY & SONS, INC. New York, London. 1961.
6. www. research.att. com/~njas/doc/ces5.html.
7. Колмогоров А. Н. Предисловие // Работы по теории информации и кибернетике / К. Шеннон; пер. с англ. под. ред. Р. Л. Добрушина и О.Б. Лупанова; предисл. А. Н. Колмогорова. М., 1963.
8. Левин В. И. К.Э. Шеннон и современная наука // Вестник ТГТУ. 2008. Том 14. №3.
9. Винер Н. Я. – математик / Пер. с англ. М.: Наука. 1964.
10. Хинчин А. Я. Об основных теоремах теории информации. УМН 11:1 (67) 1956.
11. Колмогоров А. Н. Теория передачи информации. // Сессия Академии Наук СССР по научным проблемам автоматизации производства. 15–20 окт.1956 г. Пленарное заседание. М.: Изд-во АН СССР, 1957.
12. Колмогоров А. Н. Теория информации и теория алгоритмов. М.: Наука, 1987.

Клод Элвуд Шеннон (30 апреля 1916 — 24 февраля 2001) — американский математик, инженер-электрик, и криптограф, известный как «отец теории информации».

Шеннон известен, за написание основ теории информации, Математической Теории связи, которые он опубликовал в 1948 году. В 21 год будучи магистром в Массачусетском технологическом институте (МТИ) , он писал диссертацию, доказывая, что электрическим применением Булевой алгебры можно строить любые логические, числовые отношения. Клод Элвуд Шеннон внес большой вклад в область криптоанализа для национальной обороны во время Второй Мировой Войны, включая его основные работы по codebreaking и надежности телекоммуникаций.

В 1950 году Шеннон опубликовал статью о компьютерных шахматах под названием «Программирование компьютера для игры в шахматы». Он описывает, как машина или компьютер могут быть запрограммированы, чтобы играть в логические игры, в шахматы. За процессом хода компьютера отвечают так называемые минимаксные процедуры, на основе оценки функции заданной шахматной позиции. Шеннон привел грубый пример оценки функции, в котором значение черной позиции была вычтена из белой позиции. Значения были посчитаны по оценке обычной шахматной фигуры (1 балл за пешку, 3 очка за рыцаря или епископа, 5 баллов за ладью, и 9 баллов за королеву). Он рассмотрел некоторые позиционные факторы, вычитая 0,5 балла за каждую сдвоенную пешку, отсталые и изолированные пешки и добавляя 0,1 балл за каждый хороший ход. Цитата из документа:

«Коэффициенты 0.5 и 0.1 это лишь грубая оценка писателя. Кроме того, существует много других условий, которые должны быть включены. Формула дана только для наглядности.»

В 1932 году Шеннон был зачислен в Мичиганский университет, где на одном из курсов познакомился с работами Джорджа Буля. В 1936 году Клод окончил Мичиганский университет, получив степень бакалавра по двум специальностям (математик и электротехник), и устроился в Массачусетский технологический институт (MIT), где работал ассистентом-исследователем. Он выполнял обязанности оператора на механическом вычислительном устройстве, аналоговом компьютере, называемом «дифференциальный анализатор», разработанным его научным руководителем Вэниваром Бушем. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шеннон увидел, что концепции Буля могут получить достойное применение. После того, как он проработал лето 1937 года в Bell Telephone Laboratories, он написал основанную на своей магистерской работе того же года статью «Символический анализ релейных и переключательных схем». Необходимо отметить, что Фрэнк Лорен Хичкок контролировал магистерскую диссертацию, давал полезную критику и советы. Сама статья была опубликована в 1938 году в издании Американского института инженеров-электриков (AIEE). В этой работе он показал, что переключающиеся схемы могут быть использованы для замены схем с электромеханическими реле, которые использовались тогда для маршрутизации телефонных вызовов. Затем он расширил эту концепцию, показав, что эти схемы могут решить все проблемы, которые позволяет решить Булева алгебра. Также, в последней главе он представляет заготовки нескольких схем, например, 4-разрядного сумматора. За эту статью Шеннон был награждён Премией имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Доказанная возможность реализовывать любые логические вычисления в электрических цепях легла в основу проектирования цифровых схем. А цифровые цепи - это, как известно, основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шеннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

По совету Буша Шеннон решил работать над докторской диссертацией по математике в MIT. Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шеннону принять участие в работе по генетике, которую вела Барбара Беркс. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шеннона. Сам Шеннон, проведя лето в Вудс Хоул, Массачусетс, заинтересовался нахождением математического фундамента для законов наследования Менделя. Докторская диссертация Шеннона, получившая название «Алгебра теоретической генетики», была завершена весной 1940 года. Однако эта работа не была выпущена в свет вплоть до 1993 года, пока она не появилась в сборнике Шеннона «Collected Papers». Его исследования могли стать весьма важными в противном случае, но бо́льшая часть этих результатов была получена независимо от него. Шеннон получает докторскую степень по математике и степень магистра по электротехнике. После этого он не возвращался к исследованиям в биологии.

Шеннон также был заинтересован в применении математики в информационных системах, таких как системы связи. После очередного лета, проведенного в Bell Labs, в 1940 году Шеннон на один академический год стал научным сотрудником в Институте перспективных исследований в Принстоне, штат Нью-Джерси, США. Там он работал под руководством известного математика Германа Вейля, а также имел возможность обсудить свои идеи с влиятельными учеными и математиками, среди которых был Джон фон Нейман. Он также имел случайные встречи с Альбертом Эйнштейном и Куртом Гёделем. Шеннон свободно работал в различных дисциплинах, и эта способность, возможно, способствовала дальнейшему развитию его математической теории информации.

В 2016 году исполнилось сто лет со дня рождения Клода Шеннона. “И чем он знаменит?”, - наверняка спросят те, кто не имеет никакого отношения к кибернетике и теории автоматического управления. А все посвященные, конечно же, поймут, что речь идет об авторе ряда теорем, которые преподаются на технических факультетах в университетах и которые так и называются - теоремы Шеннона. Далее в статье мы расскажем вам о жизни и деятельности этого выдающегося ученого-кибернетика и инженера. История его жизни занимательна и порой немного даже фантастическая.

Клод Шеннон: биография и чем он знаменит?

Родился будущий ученый 30 апреля 1916 года в США, городе Петоцки, который расположен на озере Мичиган. Его отец был по профессии юристом, а мать - преподавательницей иностранных языков. Однако и он, и его старшая сестра с детства увлекались математикой. Кэтрин Шеннон поступила в математический факультет, а затем стала профессором и преподавала в университете. Сам же Клод вначале пошел по стопам отца и после окончания университета работал в адвокатской конторе. Наряду с этим он на любительском уровне занимался радиотехникой. Кстати, дальним родственником будущего известного инженера и изобретателя был сам Томас Эдисон. Конечно же, он не смог достичь уровня знаменитого родича, ведь у того в арсенале было более 1900 патентов.

Образование

Клод учился в общеобразовательной средней школе, одновременно он получал дополнительное образование у себя на дому. Несмотря на то что отец хотел, чтобы сын, как и он, пошел в юристы, Шеннон-старший также желал развивать у сына логику и смекалку и постоянно покупал ему конструкторы, различные радиолюбительские наборы и т.д. Этим он желал содействовать так называемому техническому творчеству своего сына. Сестра Клода, Кэтрин, в свою очередь вовлекала его в математику, все чаще задавая ему разные интересные задачки. В итоге будущий юрист просто обожал как технику, так и математику. И тем не менее, он окончил юридический факультет, а спустя некоторое время уже учился на бакалавра в Мичиганском университете сразу по двум специальностям - электротехника и математика - тем, чем знаменит Клод Шеннон. И он, несмотря на такую нагрузку, смог окончить оба факультета с отличием.

Научная деятельность

После того, как К. Шеннон окончил университет, он устроился в качестве ассистента-исследователя в электротехническую лабораторию Массачусетского института. Здесь он работал над методами модернизации дифференциального анализатора В. Буша. Позже ученый стал его научным руководителем и наставником. Спустя год Шеннон решает поступить в магистратуру. В период учебы он написал статью по теме «Символьный анализ переключательных схем и реле». Она была опубликована в AIEE - в издании Американского института электриков-инженеров. Данная его работа сразу же привлекла внимание научного сообщества электротехников, а в 1939 г. Американское общество гражданских инженеров присудило ему Премию им. притом что он еще не успел защитить степень магистра. После этого о нем все больше стали говорить в научных кругах, теперь уже многие знали, кто такой Клод Шеннон и чем он знаменит. Такое отношение коллег взбодрило ученого, и он по настоянию своего учителя и наставника Буша решил не дожидаться защиты магистерской диссертации и немедля занялся докторской, которая была посвящена проблемам генной комбинаторики.

Научный вклад

К сожалению, докторская Шеннона не получила поддержки со стороны генетиков и не была нигде опубликована, зато магистерская диссертация была признана прорывом в коммутационной и цифровой технике. В последней главе своей диссертационной работы Шеннон привел множество разных примеров, в том числе, как можно успешно применить разработанный им метод логического исчисления к синтезу и анализу конкретных переключательных и релейных схем: замка с электрическим секретом, селекторных схем, двоичных сумматоров и т.д. Все это наглядно демонстрирует научный прорыв, а также гигантскую практическую пользу от логического исчисления, разработанного молодым американским ученым. Именно благодаря ему зародилась цифровая логика. Это и есть то, чем знаменит он - Клод Шеннон. Краткое содержание этого курса ученый написал специально для студентов вузов.

Деятельность

В 1941 году К. Шеннон начинает работать в научно-исследовательском центре Bell Laboratories, в отделении математики. Ему тогда было всего лишь 25 лет. Среди его коллег были такие ученые, как Гарри Найквист, Хенрик Боде, Ральф Хартли, Джон Тьюки и др. Это была прекрасная команда, каждый из членов которой имел прекрасные результаты в разработке информационной теории. И тем не менее именно Шеннон впоследствии развил их до уровня большой науки. С началом Второй мировой войны правительство США стало широко финансировать исследовательские проекты, которые осуществляла Bell Laboratories, в которой сосредоточились лучшие умы своего времени. Правительство было в первую очередь заинтересовано в развитии метода математической криптографии, именно этим занимался и он, Клод Шеннон. Чем знаменит этот труд? Он позволял анализировать зашифрованные тексты противника информационно-теоретическими методами.

Новые концепции

В 1945 году, уже к концу войны, ученый смог завершить свой эксклюзивный секретный отчет по теме «Математическая теория криптографии» и уже был готов выступить перед американской научной общественностью и представить свои новые базовые концепции по теории информации. В 1948-м был опубликован эпохальный труд «Математическая теория связи» - то, чем знаменит Клод Шеннон. И он представил в ней все свои разработки, которые были сделаны в период с 1945 по 1948 г. Его математическая теория связи предполагала 3-компонентную структуру, которая состоит из источника информации, «транспортной среды» и приемника информации. “Транспортная среда” - это канал связи, который характеризуется способностью искажать информацию при передаче. В связи с этим были выявлены проблемы, на которые Шеннон должен был дать исчерпывающие ответы, например, как проводить количественную оценку информации, как ее эффективно “упаковывать”, как оценивать допустимую скорость при выводе информации из источника, а затем направлять ее в канал связи с определенной, фиксированной пропускной способностью. И, наконец, ученому нужно было решить задачу относительно устранения помех в канале связи. Он, конечно же, смог справиться с поставленными перед ним задачами, причем не только теоретически (в данном вопросе ему помогли коллеги по цеху), а путем созданных им же теорем.

Теория К. Шеннона

Его основополагающая работа была изложена в виде 23 теорем. Правда, не все из них равноценны - некоторые носят вспомогательный характер или же посвящены тем или иным частным случаям теории информации или передачи ее по дискретным и непрерывным связным каналам, но 6 теорем имеют особую ценность и, по сути, являются концептуальными. Это и есть каркас “здания” - теории Клода Шеннона, чем он и знаменит. Кратко об этом изложено в специализированной литературе. Следует также сказать, что на начальном этапе у многих математиков во всем мире эта теория вызвала сомнения. Однако со временем вся научная общественность убедилась в том, что постулаты, приведенные молодым корректны.