Энтропия кратко. В статистической физике или теории информации. Связь с темной материей

Понятие “Энтропия” (ударение на последнем слоге) впервые появилось в термодинамике. Там оно обозначает степень рассеивания энергии в замкнутой системе. В общем смысле под энтропией понимают степень развития хаоса или разрушения первоначально установленного порядка в замкнутой системе.

Энтропия в закрытой системе, как её понимают физики

Пример из жизни: Возьмём некую замкнутую систему. Допустим, Ребенок + Кожаный мяч в комнате. Ребенок произвольно пользуется мячом – играет, ударяет об пол, подбрасывает к потолку… Через 6 месяцев активного использования мяч заметно сдулся, играть им стало труднее. Замкнутая система открывается: приходит папа с насосом и накачивает мяч. Функции мяча, подвергнутого энтропии, восстанавливаются.

2 закон термодинамики гласит, что энтропия в замкнутой системе не может уменьшаться, она только увеличивается.

Даже если замкнутая система с мячом не предполагает активного разрушающего фактора (играющий ребёнок), энтропия всё равно будет, хоть и с меньшими показателями.

Пример 2. Мяч 6 месяцев пролежал в комнате: сдулся незначительно, но сильно покрылся пылью и немного выцвел со стороны, обращенной к окну.

Чтобы энтропия уменьшилась в закрытой системе, надо ее открыть и добавить в неё ресурс из другой системы. Чтобы мяч восстановить в прежних размерах, нужно внести в замкнутую систему изменения с помощью папиной энергии и нового воздуха, закачанного насосом в мяч. Чтобы мяч, пролежавший в комнате, вернул первоначальные свойства, мама должна вытереть его мокрой тряпкой от пыли, а сестра – покрыть новой краской.

Понятием энтропии пользуются многие сферы человеческих знаний и деятельности:

• биология и медицина;
• химия;
• физика;
• информатика и программирование;
• социология;
• психология и др.

Энтропия в биосистемах

Все биосистемы (живые системы) являются открытыми, а не закрытыми, поэтому понятие энтропии в биосистеме несколько отличается от энтропии неживых объектов, рассматриваемых физиками.

Биосистемы находятся в состоянии динамического равновесия. Оно существует по другим законам, нежели термодинамическое равновесие. Системы любого живого организма открыты для взаимодействия друг с другом в рамках самого организма, а сам организм в свою очередь открыт для взаимодействия с окружающей средой местности планеты. Планета, как живой организм, в свою очередь, подвержена влиянию и взаимодействию с одной стороны – с живыми организмами, её населяющими, а с другой – с космическими объектами и явлениями.

Все это создаёт разветвлённую систему корректировок, чтобы поддерживать между всеми и во всех живых организмах гомеостаз – то есть баланс. Явление энтропии (разрушения и разбалансировки) является самым сложным в больших живых системах. Ведь они используют увеличивающуюся энтропию одних своих частей в качестве пищи и строительного материала для уменьшения энтропии в других своих частях.

Энтропия в теории информации и коммуникаций

Над данной темой в этой сфере работал Клод Шеннон. Он изучал рациональные способы передачи информации через зашумлённый канал. По Шеннону, энтропия – это мера непредсказуемости какого-либо опыта, события, испытания. Это количество информации на 1 сообщение источника, выдающего независимые сообщения.

Он рассматривал информационную энтропию в своей «Математической теории Коммуникации», где ввёл связанное понятие «вероятность». По Шеннону, чем меньше вероятность какого-либо события, тем больше информации оно содержит.

Энтропия в социуме

Это степень отклонения социальной системы, организации (предприятия) и т.д. от принятой нормы (эталона) и установленных целей. На социальную энтропию влияют:

• Деятельность людей;
• Ошибки управления;
• Недостаток информации;
• Ошибки планирования;
• Ошибками в подборе персонала.

Обобщая до бытового уровня, можно сказать, что “Энтропия” – это мера или степень беспорядка (хаоса) или неопределённости.

Существуют 3 понятия, противоположные энтропии:

1. Негэнтропия;
2. Синтропия;
3. Отрицательная энтропия.

Но эти термины действуют только для живых систем. Негэнтропия в живой системе – это энтропия, которую живая система экспортирует, чтобы снизить свою собственную энтропию. Другими словами, синтропия – это свободная или освободившаяся энергия одного организма или группы организмов, отправляемая на упорядочивание и уравновешивание другого организма в системе.

Жизнь потребляет то, что меньше упорядочено (убитый организм, ставший пищей) и превращает это в то, что более упорядочено (живые клетки, ткани, органы, системы, целые организмы). Поэтому считается что жизнь сама по себе имеет свойство отрицательной энтропии.

Что такое энтропия? Этим словом можно охарактеризовать и объяснить почти все процессы в жизни человека (физические и химические процессы, а также социальные явления). Но не все люди понимают значение этого термина и уж тем более не все могут объяснить, что это слово значит. Теория сложна для восприятия, но если добавить в неё простые и понятные примеры из жизни, то разобраться с определением этого многогранного термина будет легче. Но обо всём по порядку.

Энтропия: определение и история появления термина

История появления термина

Энтропия как определение состояния системы была введена в 1865 году немецким физиком Рудольфом Клаузиусом, чтобы описать способность теплоты превращаться в другие формы энергии, главным образом в механическую. С помощью этого понятия в термодинамике описывают состояние термодинамических систем. Приращение этой величины связано с поступлением тепла в систему и с температурой, при которой это поступление происходит.

Определение термина из Википедии

Этот термин долгое время использовался только в механической теории тепла (термодинамике), для которой оно вводилось. Но со временем это определение перешло в другие области и теории. Существует несколько определений термина «энтропия».

Википедия даёт краткое определение для нескольких областей, в которых этот термин используется:«Энтропия (от др.-греч. ἐντροπία «поворот»,«превращение») - часто употребляемый в естественных и точных науках термин. В статистической физике характеризует вероятность осуществления какого-либо макроскопического состояния. Помимо физики, этот термин широко используется в математике: теории информации и математической статистике».

Виды энтропий

Этот термин используется в термодинамике , экономике, теории информации и даже в социологии. Что же он определяет в этих областях?

В физической химии (термодинамике)

Основной постулат термодинамики о равновесии: любая изолированная термодинамическая система приходит в равновесное состояние с течением времени и не может из него выйти самопроизвольно. То есть каждая система стремится в равновесное для неё состояние. И если говорить совсем простыми словами , то такое состояние характеризуется беспорядком.

Энтропия - это мера беспорядка. Как определить беспорядок? Один из способов - приписать каждому состоянию число вариантов, которыми это состояние можно реализовать. И чем больше таких способов реализации, тем больше значение энтропии. Чем больше организованно вещество (его структура), тем ниже его неопределённость (хаотичность).

Абсолютное значение энтропии (S абс.) равно изменению имеющейся у вещества или системы энергии во время теплопередачи при данной температуре. Его математическая величина определяется из значения теплопередачи (Q), разделённого на абсолютную температуру (T), при которой происходит процесс: S абс. = Q / T. Это означает, что при передаче большого количества теплоты показатель S абс. увеличится. Тот же эффект будет наблюдаться при теплопередаче в условиях низких температур.

В экономике

В экономике используется такое понятие , как коэффициент энтропии. С помощью этого коэффициента исследуют изменение концентрации рынка и её уровень. Чем выше значение коэффициента, тем выше экономическая неопределённость и, следовательно, вероятность появления монополии снижается. Коэффициент помогает косвенно оценить выгоды, приобретённые фирмой в результате возможной монопольной деятельности или при изменении концентрации рынка.

В статистической физике или теории информации

Информационная энтропия (неопределённость)- это мера непредсказуемости или неопределённости некоторой системы. Эта величина помогает определить степень беспорядочности проводимого эксперимента или события. Чем больше количество состояний, в которых может находиться система, тем больше значение неопределённости. Все процессы упорядочивания системы приводят к появлению информации и снижению информационной неопределённости.

С помощью информационной непредсказуемости можно выявить такую пропускную способность канала, которая обеспечит надёжную передачу информации (в системе закодированных символов). А также можно частично предсказывать ход опыта или события, деля их на составные части и высчитывая значение неопределённости для каждой из них. Такой метод статистической физики помогает выявить вероятность события. С его помощью можно расшифровать закодированный текст , анализируя вероятность появления символов и их показатель энтропии.

Существует такое понятие, как абсолютная энтропия языка. Эта величина выражает максимальное количество информации, которое можно передать в единице этого языка. За единицу в этом случае принимают символ алфавита языка (бит).

В социологии

Здесь энтропия (информационная неопределённость) является характеристикой отклонения социума (системы) или его звеньев от принятого (эталонного) состояния, а проявляется это в снижении эффективности развития и функционирования системы, ухудшении самоорганизации. Простой пример: сотрудники фирмы так сильно загружены работой (выполнением большого количества отчётов), что не успевают заниматься своей основной деятельностью (выполнением проверок). В этом примере мерой нецелесообразного использования руководством рабочих ресурсов будет являться информационная неопределённость.

Энтропия: тезисно и на примерах

• Чем больше способов реализации, тем больше информационная неопределённость.

Пример 1 . Программа Т9. Если в слове будет небольшое количество опечаток, то программа легко распознает слово и предложит его замену. Чем больше опечаток, тем меньше информации о вводимом слове будет у программы. Следовательно, увеличение беспорядка приведёт к увеличению информационной неопределённости и наоборот, чем больше информации, тем меньше неопределённость.

Пример 2. Игральные кости. Выкинуть комбинацию 12 или 2 можно только одним способом: 1 плюс 1 или 6 плюс 6. А максимальным числом способов реализуется число 7 (имеет 6 возможных комбинаций). Непредсказуемость реализации числа семь самая большая в этом случае.

• В общем смысле энтропию (S) можно понимать как меру распределения энергии. При низком значении S энергия сконцентрирована, а при высоком - распределена хаотично.

Пример. Н2О (всем известная вода) в своём жидком агрегатном состоянии будет обладать большей энтропией, чем в твёрдом (лёд). Потому что в кристаллическом твёрдом теле каждый атом занимает определённое положение в кристаллической решётке (порядок), а в жидком состоянии у атомов определённых закреплённых положений нет (беспорядок). То есть тело с более жёсткой упорядоченностью атомов имеет более низкое значение энтропии (S). Белый алмаз без примесей обладает самым низким значением S по сравнению с другими кристаллами.

• Связь между информацией и неопределённостью.

Пример 1. Молекула находится в сосуде , который имеет левую и правую часть. Если неизвестно, в какой части сосуда находится молекула, то энтропия (S) будет определяться по формуле S = S max = k * lgW, где k -число способов реализации, W- количество частей сосуда. Информация в этом случае будет равна нулю I = I min =0. Если же точно известно, в какой части сосуда находится молекула, то S = S min =k*ln1=0, а I = I max= log 2 W. Следовательно, чем больше информации, тем ниже значение информационной неопределённости.

Пример 2. Чем выше порядок на рабочем столе, тем больше информации можно узнать о вещах, которые на нём находятся. В этом случае упорядоченность предметов снижает энтропию системы «рабочий стол».

Пример 3. Информация о классе больше на уроке, чем на перемене. Энтропия на уроке ниже, так как ученики сидят упорядочено (больше информации о местоположении каждого ученика). А на перемене расположение учеников меняется хаотично, что повышает их энтропию.

• Химические реакции и изменение энтропии.

Пример. При реакции щелочного металла с водой выделяется водород. Водород-это газ. Так как молекулы газа движутся хаотично и имеют высокую энтропию, то рассматриваемая реакция происходит с увеличением её значения. То есть энтропия химической системы станет выше .

В заключение

Если объединить всё вышесказанное , то получится, что энтропия является мерой беспорядка или неопределённости системы и её частей. Интересен тот факт, что всё в природе стремится к максимуму энтропии, а человек - к максимуму информации. И все рассмотренные выше теории направлены на установление баланса между стремлением человека и естественными природными процессами.

На бытовом уровне, энтропия - это мера беспорядка или мера неопределенности.

В физике энтропия стоит в ряду таких фундаментальных понятий, как энергия или температура. Энтропия может быть определена как одна из основных термодинамических функций (впервые это сделал Клаузиус).

Одно из основных фундаментальных свойств мира, в котором мы живем, называется вторым началом термодинамики. Существуют три внешне не похожие, но логически эквивалентные формулировки второго начала термодинамики. В формулировке Томсона-Планка он гласит: невозможно построить периодически действующую машину, единственным результатом которой было бы поднятие груза за счет охлаждения теплового резервуара. Существует формулировка Клаузиуса: теплота не может самопроизвольно переходить от тела менее нагретого к телу более нагретому. В третьей формулировке этого фундаментального закона "главным действующим лицом" является энтропия: в адиабатически изолированной системе энтропия не может убывать; либо возрастает, либо остается постоянной.

Именно из этой формулировки наиболее ясна принципиальная необратимость физических процессов, а также неизбежная деградация любой замкнутой системы (все различные формы энергии переходят в конечном итоге в тепловую, после чего становятся невозможны никакие процессы). Обобщив этот принцип на всю вселенную, Клаузиус сформулировал гипотезу тепловой смерти Вселенной.

Эта необратимость процессов, являющаяся следствием второго начала, находилась в видимом противоречии с обратимым характером механического движения. Размышляя над этим парадоксом Больцман получил совершенно удивительную формулу для энтропии, раскрывающую совершенно новое содержание. Применив статистические методы, Больцман показал, что энтропия прямо пропорциональна логарифму термодинамической вероятности. Эта формула высечена на надгробии ученого на Центральном кладбище Вены. Это открытие Больцмана тем значительнее, что понятие вероятности впервые проникло в самые основания физики (за несколько десятилетий до построения новой картины мира на основе квантовой механики).

Таким образом, по Больцману второе начало термодинамики могло бы звучать так: природа стремится к переходу от менее вероятных состояний к более вероятным.

От связи энтропии и вероятности по Больцману можно перейти к определению энтропии в теории информации, что было сделано Шенноном. Энтропия в теории информации выступает как мера неопределенности. Понятие информации является, в известном смысле, противоположным понятию энтропии. Точнее, информация определяется как разность между безусловной и условной энтропиями, но пояснять это без формул не представляется возможным.

Введение 4

Понятие энтропии 5

Измерение энтропии 8

Понятия и примеры возрастания энтропии 9

Заключение 13

Список литературы 14

Введение

Естествознание – это раздел науки основанный на воспроизводимой эмпирической проверке гипотез и создании теорий или эмпирических обобщений, описывающих природные явления.

Предмет естествознания - факты и явления, воспринимаемые нашими органами чувств. Задача ученого обобщить эти факты и создать теоретическую модель изучаемого явления природы включающую законы управляющие им. Явления, например, закон всемирного тяготения, даются нам в опыте; один из законов науки - закон всемирного тяготения, представляет собой варианты объяснения этих явлений. Факты, будучи установлены, сохраняют свою актуальность всегда, законы могут быть пересмотрены или скорректированы в соответствии с новыми данными или новой концепцией их объясняющей. Факты действительности являются необходимой составляющей научного исследования.

Основной принцип естествознания гласит 1: знания о природе должны допускать эмпирическую проверку. Это не означает, что научная теория должна немедленно подтверждаться, но каждое ее положение должно быть таким, чтобы такая проверка была возможна в принципе.

От технических наук естествознание отличает то, что оно преимущественно направлено не на преобразование мира, а на его познание. От математики естествознание отличает то, что оно исследует природные, а не знаковые системы. Попробовать связать естествознание, технические и математическую науки попробуем с помощью понятия – «энтропия».

Таким образом, целью данной работы является рассмотрение и решение следующих задач:

Понятие энтропии;

Измерение энтропии;

Понятия и примеры возрастания энтропии.

Понятие энтропии

Понятие энтропии было введено Р. Клаузиусом 2 , сформулировавшим второе начало термодинамики, согласно которому переход теплоты от более холодного тела к более теплому не может происходить без затраты внешней работы.

Он определил изменение энтропии термодинамической системы при обратимом процессе как отношение изменения общего количества тепла ΔQ к величине абсолютной температуры T:

Рудольф Клаузиус дал величине S имя «энтропия», происходящее от греческого слова τρoπή, «изменение» (изменение, превращение, преобразование).

Эта формула применима только для изотермического процесса (происходящего при постоянной температуре). Её обобщение на случай произвольного квазистатического процесса выглядит так:

где dS - приращение (дифференциал) энтропии, а δQ - бесконечно малое приращение количества теплоты.

Заметим, что энтропия является функцией состояния, поэтому в левой части равенства стоит её полный дифференциал. Напротив, количество теплоты являетсяфункцией процесса, в котором эта теплота была передана, поэтому δQ ни в коем случае нельзя считать полным дифференциалом.

Энтропия, таким образом, определена вплоть до произвольной аддитивной постоянной. Третье начало термодинамикипозволяет определить её точно: при этом энтропию равновесной системы при абсолютном нуле температуры считают равной нулю.

Энтропия – это количественная мера той теплоты, которая не переходит в работу.

S 2 -S 1 =ΔS=

Или, другими словами, энтропия – мера рассеивания свободной энергии. А ведь нам уже известно, что любая открытая термодинамическая система в стационарном состоянии стремится к минимальному рассеиванию свободной энергии. Поэтому если в силу причин система отклонилась от стационарного состояния, то вследствие стремления системы к минимальной энтропии, в ней возникают внутренние изменения, возвращающие ее в стационарное состояние.

Как видно из выше написанного, энтропия характеризует определенную направленность процесса в замкнутой системе. В соответствии со вторым началом термодинамики 3 возрастанию энтропии соответствует направление теплового потока от более горячего тела к менее горячему. Непрерывное возрастание энтропии в замкнутой системе происходит до тех пор, пока температура не выровняется по всему объему системы. Наступает, как говорят, термодинамическое равновесие системы, при котором исчезают направленные тепловые потоки и система становится однородной.

Абсолютное значение энтропии зависит от целого ряда физических параметров. При фиксированном объеме энтропия увеличивается с увеличением температуры системы, а при фиксированной температуре увеличивается с увеличением объема и уменьшением давления. Нагревание системы сопровождается фазовыми превращениями и снижением степени упорядоченности системы, поскольку твердое тело переходит в жидкость, а жидкость превращается в газ. При охлаждении вещества происходит обратный процесс, упорядоченность системы возрастает. Эта упорядоченность проявляется в том, что молекулы вещества занимают все более определенное положение относительно друг друга. В твердом теле их положение фиксировано структурой кристаллической решетки.

Другими словами - энтропия выступает мерой хаоса 4 (споры определения которого ведутся уже давно).

Все процессы в природе протекают в направлении увеличения энтропии. Термодинамическому равновесию системы соответствует состояние с максимумом энтропии. Равновесие, которому соответствует максимум энтропии, называется абсолютно устойчивым. Таким образом, увеличение энтропии системы означает переход в состояние, имеющее большую вероятность. То есть энтропия характеризует вероятность, с которой устанавливается то или иное состояние, и является мерой хаотичности или необратимости. Это мера хаоса в расположении атомов, фотонов, электронов и других частиц. Чем больше порядка, тем меньше энтропия. Чем больше информации поступает в систему, тем система более организована, и тем меньше её энтропия:

(По теории Шеннона 5)

• Энтропи́я (от др.-греч. ἐντροπία «поворот», «превращение») - широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы, определяющая меру необратимого рассеивания энергии. В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике.

  Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

  Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант - энтропия Больцмана). Математический смысл информационной энтропии - это логарифм числа доступных состояний системы (основание логарифма может быть различным, оно определяет единицу измерения энтропии). Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (т. е. не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом. Пусть состояния системы равновероятны и имеют вероятность

  {\displaystyle p}

  Тогда число состояний

  {\displaystyle N=1/p}

  {\displaystyle \log N=\log(1/p)}

  В случае разных вероятностей состояний

  {\displaystyle p_{i}}

  Рассмотрим средневзвешенную величину

  {\displaystyle \log {\overline {N}}=\sum _{i=1}^{N}p_{i}\log(1/p_{i})}

  {\displaystyle {\overline {N}}}

  Эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона

  {\displaystyle H=\log {\overline {N}}=-\sum _{i=1}^{N}p_{i}\log p_{i}}

  Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы (можно показать, что энтропии Реньи соответствует эффективное количество состояний, определяемое как среднее степенное взвешенное с параметром

  {\displaystyle q\leq 1}

  Напечатать