Предельное распределение вероятностей. Вероятность попадания нормально распределенной случайной величины в заданный интервал

Несмотря на экзотические названия, распространённые распределения связаны друг с другом достаточно интуитивными и интересными способами, позволяющими легко их вспоминать и уверенно о них рассуждать. Некоторые естественно следуют, например, из распределения Бернулли. Время показать карту этих связей.

Каждое распределение иллюстрируется примером её функции плотности распределения (ФПР). Эта статья только о тех распределениях, у которых исходы – одиночные числа. Поэтому, горизонтальная ось каждого графика – набор возможных чисел-исходов. Вертикальная – вероятность каждого исхода. Некоторые распределения дискретны - у них исходы должны быть целыми числами, типа 0 или 5. Таковые обозначаются редкими линиями, по одной на каждый исход, с высотой, соответствующей вероятности данного исхода. Некоторые – непрерывны, у них исходы могут принять любое численное значение, типа -1.32 или 0.005. Эти показаны плотными кривыми с областями под секциями кривой, которые дают вероятности. Сумма высот линий и областей под кривыми - всегда 1.

Распечатайте, отрежьте по пунктирной линии и носите с собой в кошельке. Это - ваш путеводитель в стране распределений и их родственников.

Бернулли и равномерное

Вы уже встретились с распределением Бернулли выше, с двумя исходами – орлом или решкой. Представьте его теперь как распределение над 0 и 1, 0 – орёл, 1 – решка. Как уже понятно, оба исхода равновероятны, и это отражено на диаграмме. ФПР Бернулли содержит две линии одинаковой высоты, представляющие 2 равновероятных исхода: 0 и 1 соответственно.

Распределение Бернулли может представлять и неравновероятные исходы, типа броска неправильной монетки. Тогда вероятность орла будет не 0.5, а какая-то другая величина p, а вероятность решки – 1-p. Как и многие другие распределения, это на самом деле целое семейство распределений, задаваемых определёнными параметрами, как p выше. Когда будете думать «Бернулли » – думайте про «бросок (возможно, неправильной) монетки».

Отсюда весьма небольшой шаг до того, чтобы представить распределение поверх нескольких равновероятных исходов: равномерное распределение , характеризуемое плоской ФПР. Представьте правильный игральный кубик. Его исходы 1-6 равновероятны. Его можно задать для любого количества исходов n, и даже в виде непрерывного распределения.

Думайте о равномерном распределении как о «правильном игральном кубике».

Биномиальное и гипергеометрическое

Биномиальное распределение можно представить как сумму исходов тех вещей, которые следуют распределению Бернулли.

Киньте честную монету два раза – сколько раз будет орёл? Это число, подчиняющееся биномиальному распределению. Его параметры – n, число испытаний, и p – вероятность «успеха» (в нашем случае – орла или 1). Каждый бросок – распределённый по Бернулли исход, или испытание . Используйте биномиальное распределение, когда считаете количество успехов в вещах типа броска монеты, где каждый бросок не зависит от других и имеет одинаковую вероятность успеха.

Или представьте урну с одинаковым количество белых и чёрных шаров. Закройте глаза, вытащите шар, запишите его цвет и верните назад. Повторите. Сколько раз вытащился чёрный шар? Это число также подчиняется биномиальному распределению.

Эту странную ситуацию мы представили, чтобы было легче понять смысл гипергеометрического распределения . Это распределение того же числа, но в ситуации если бы мы не возвращали шары обратно. Оно, безусловно, двоюродный брат биномиального распределения, но не такое же, так как вероятность успеха изменяется с каждым вытащенным шаром. Если количество шаров достаточно велико по сравнению с количеством вытаскиваний – то эти распределения практически одинаковы, так как шанс успеха изменяется с каждым вытаскиванием крайне незначительно.

Когда где-то говорят о вытаскивании шаров из урн без возврата, практически всегда безопасно ввернуть «да, гипергеометрическое распределение», потому что в жизни я ещё не встречал никого, кто реально наполнял бы урны шарами и потом вытаскивал их и возвращал, или наоборот. У меня даже знакомых нет с урнами. Ещё чаще это распределение должно всплывать при выборе значимого подмножества некоторой генеральной совокупности в качестве выборки.

Прим. перев.

Тут может быть не очень понятно, а раз туториал и экспресс-курс для новичков - надо бы разъяснить. Генеральная совокупность - есть нечто, что мы хотим статистически оценить. Для оценки мы выбираем некоторую часть (подмножество) и производим требуемую оценку на ней (тогда это подмножество называется выборкой), предполагая, что для всей совокупности оценка будет похожей. Но чтобы это было верно, часто требуются дополнительные ограничения на определение подмножества выборки (или наоборот, по известной выборке нам надо оценить, описывает ли она достаточно точно совокупность).

Практический пример - нам нужно выбрать от компании в 100 человек представителей для поездки на E3. Известно, что в ней 10 человек уже ездили в прошлом году (но никто не признаётся). Сколько минимум нужно взять, чтобы в группе с большой вероятностью оказался хотя бы один опытный товарищ? В данном случае генеральная совокупность - 100, выборка - 10, требования к выборке - хотя бы один, уже ездивший на E3.

В википедии есть менее забавный, но более практичный пример про бракованные детали в партии.

Пуассон

Что насчёт количества заказчиков, звонящих по горячей линии в техподдержку каждую минуту? Это исход, чьё распределение на первый взгляд биномиальное, если считать каждую секунду как испытание Бернулли, в течение которой заказчик либо не позвонит (0), либо позвонит (1). Но электроснабжающие организации прекрасно знают: когда выключают электричество – за секунду могут позвонить двое или даже больше сотни людей. Представить это как 60000 миллисекундных испытаний тоже не поможет – испытаний больше, вероятность звонка в миллисекунду меньше, даже если не учитывать двух и более одновременно, но, технически – это всё ещё не испытание Бернулли. Тем не менее, срабатывает логическое рассуждение с переходом к бесконечности. Пусть n стремится к бесконечности, а p – к 0, и так, чтобы np было постоянным. Это как делить на всё более малые доли времени со всё менее малой вероятностью звонка. В пределе мы получим распределение Пуассона .

Так же, как и биномиальное, распределение Пуассона – это распределение количества: количества раз того, как что-то произойдёт. Оно параметризуется не вероятностью p и количеством испытаний n, но средней интенсивностью λ, что, в аналогии с биномиальным, просто постоянное значение np. Распределение Пуассона – то, о чём надо вспоминать, когда идёт речь о подсчёте событий за определённое время при постоянной заданной интенсивности.

Когда есть что-то, типа прихода пакетов на роутер или появления покупателей в магазине или что-то, ожидающее в очереди – думайте «Пуассон ».

Геометрическое и отрицательное биномиальное

Из простых испытаний Бернулли появляется другое распределение. Сколько раз монетка выпадет решкой, прежде, чем выпасть орлом? Число решек подчиняется геометрическому распределению . Как и распределение Бернулли, оно параметризуется вероятностью успешного исхода, p. Оно не параметризуется числом n, количеством бросков-испытаний, потому что число неудачных испытаний как раз и есть исход.

Если биномиальное распределение это «сколько успехов», то геометрическое это «Сколько неудач до успеха?».

Отрицательное биномиальное распределение – простое обобщение предыдущего. Это количество неудач до того, как будет r, а не 1, успехов. Поэтому оно дополнительно параметризуется этим r. Иногда его описывают как число успехов до r неудач. Но, как говорит мой лайф-коуч: «Ты сам решаешь, что есть успех, а что - неудача», так что это тоже самое, если при этом не забыть, что вероятность p тоже должна правильной вероятностью успеха или неудачи соответственно.

Если нужна будет шутка для снятия напряжения, можно упомянуть, что биномиальное и гипергеометрическое распределение – это очевидная пара, но и геометрическое и отрицательное биномиальное так же весьма похожи, после чего заявить «Ну и кто же так их все называет, а?»

Экспоненциальное и Вейбула

Снова о звонках в техподдержку: сколько пройдёт до следующего звонка? Распределение этого времени ожидания как будто бы геометрическое, потому что каждая секунда, пока никто не звонит – это как неуспех, до секунды, пока, наконец, звонок не произойдёт. Количество неудач –это как количество секунд, пока никто не звонил, и это практически время до следующего звонка, но «практически» нам недостаточно. Суть в том, что это время будет суммой целых секунд, и, таким образом, не получится посчитать ожидание внутри этой секунды до непосредственно звонка.

Ну и, как и раньше, переходим в геометрическом распределении к пределу, относительно временных долей – и вуаля. Получаем экспоненциальное распределение , которое точно описывает время до звонка. Это непрерывное распределение, первое такое у нас, потому что исход не обязательно в целых секундах. Как и распределение Пуассона, оно параметризуется интенсивностью λ.

Повторяя связь биномиального с геометрическим, Пуассоновское «сколько событий за время?» связано с экспоненциальным «сколько до события?». Если есть события, количество которых на единицу времени подчиняется распределению Пуассона, то время между ними подчиняется экспоненциальному распределению с тем же параметром λ. Это соответствие между двумя распределениями необходимо отмечать, когда обсуждается любое из них.

Экспоненциальное распределение должно приходить на ум при размышлении о «времени до события», возможно, «времени до отказа». По факту, это такая важная ситуация, что существуют более обобщённые распределения чтобы описать наработку-на-отказ, типа распределения Вейбула . В то время, как экспоненциальное распределение подходит, когда интенсивность - износа, или отказов, например – постоянна, распределение Вейбула может моделировать увеличивающуюся (или уменьшающуюся) со временем интенсивность отказов. Экспоненциальное, в общем-то, частный случай.

Думайте «Вейбул » когда разговор заходит о наработке-на-отказ.

Нормальное, логнормальное, Стьюдента и хи-квадрат

Нормальное , или гауссово , распределение, наверное, одно из важнейших. Его колоколообразная форма узнаётся сразу. Как и , это особенно любопытная сущность, которая проявляется везде, даже из внешне самых простых источников. Возьмите набор значений, подчиняющихся одному распределению – любому! – и сложите их. Распределение их суммы подчиняется (приблизительно) нормальному распределению. Чем больше вещей суммируется – тем ближе их сумма соответствует нормальному распределению (подвох: распределение слагаемых должно быть предсказуемым, быть независимым, оно стремится только к нормальному). То, что это так, несмотря на исходное распределение – это потрясающе.

Прим. перев.

Меня удивило, что автор не пишет про необходимость сопоставимого масштаба суммируемых распределений: если одно существенно доминирует надо остальными - сходиться будет крайне плохо. И, в общем-то, абсолютная взаимная независимость необязательна, достаточна слабая зависимость.

Ну сойдёт, наверное, для вечеринок, как он написал.


Это называется «центральная предельная теорема », и надо знать, что это, почему так названо и что означает, иначе моментально засмеют.

В её разрезе, нормальное связано со всеми распределениями. Хотя, в основном, его связывают с распределениями всяких сумм. Сумма испытаний Бернулли следует биномиальному распределению и, с увеличением количества испытаний, это биномиальное распределение становится всё ближе в нормальному распределению. Аналогично и его двоюродный брат – гипергеометрическое распределение. Распределение Пуассона – предельная форма биномиального – так же приближается к нормальному с увеличением параметра интенсивности.

Исходы, которые подчиняются логнормальному распределению , дают значения, логарифм которых нормально распределён. Или по-другому: экспонента нормально распределённого значения логнормально распределена. Если суммы – нормально распределены, то запомните так же, что произведения распределены логнормально.

t-Распределение Стьюдента – это основа t-теста , который многие нестатистики изучают в других областях. Оно используется для предположений о среднем нормального распределения и так же стремится к нормальному распределению с увеличением своего параметра. Отличительная особенность t-распределения – его хвосты, которые толще, чем у нормального распределения.

Если толстохвостый анекдот недостаточно раскачал вашего соседа – переходите в довольно забавной байке про пиво. Больше 100 лет назад Гиннесс использовал статистику, чтобы улучшить свой стаут. Тогда Вильям Сили Госсет и изобрёл полностью новую статистическую теорию для улучшенного выращивания ячменя. Госсет убедил босса, что другие пивовары не поймут, как использовать его идеи, и получил разрешение на публикацию, но под псевдонимом «Стьюдент». Самое известное достижение Госсета – как раз это самое t-распределение, которое, можно сказать, названо в честь него.

Наконец, распределение хи-квадрат – распределение сумм квадратов нормально-распределенных величин. На этом распределении построен тест хи-квадрат , который сам основан на сумме квадратов разниц, которые должны быть нормально распределены.

Гамма и бета

В этом месте, если вы уже заговорили о чём-то хи-квадратном, разговор начинается всерьёз. Вы уже, возможно, говорите с настоящими статистиками, и, наверное, стоит уже откланиваться, поскольку могут всплыть вещи типа гамма-распределения . Это обобщение и экспоненциального, и хи-квадрат распределения. Как и экспоненциальное распределение, оно используется для сложных моделей времен ожидания. Например, гамма-распределение появляется, когда моделируется время до следующих n событий. Оно появляется в машинном обучении как «сопряжённое априорное распределение » к парочке других распределений.

Не вступайте в разговор об этих сопряжённых распределениях, но если всё-таки придётся, не забудьте сказать о бета-распределении , потому что оно сопряжённое априорное к большинству упомянутых здесь распределений. Data-scientist-ы уверены, что оно именно для этого и сделано. Упомяните об этом ненароком и идите к двери.

Начало мудрости

Распределения вероятности - это то, о чём нельзя знать слишком много. По настоящему заинтересованные могут обратиться к этой супердетализированной карте всех распределений вероятности Добавить метки

На практике большинство случайных величин, на которых воздействует большое количество случайных факторов, подчиняются нормальному закону распределения вероятностей. Поэтому в различных приложениях теории вероятностей этот закон имеет особое значение.

Случайная величина $X$ подчиняется нормальному закону распределения вероятностей, если ее плотность распределения вероятностей имеет следующий вид

$$f\left(x\right)={{1}\over {\sigma \sqrt{2\pi }}}e^{-{{{\left(x-a\right)}^2}\over {2{\sigma }^2}}}$$

Схематически график функции $f\left(x\right)$ представлен на рисунке и имеет название «Гауссова кривая». Справа от этого графика изображена банкнота в 10 марок ФРГ, которая использовалась еще до появления евро. Если хорошо приглядеться, то на этой банкноте можно заметить гауссову кривую и ее первооткрывателя величайшего математика Карла Фридриха Гаусса.

Вернемся к нашей функции плотности $f\left(x\right)$ и дадим кое-какие пояснения относительно параметров распределения $a,\ {\sigma }^2$. Параметр $a$ характеризует центр рассеивания значений случайной величины, то есть имеет смысл математического ожидания. При изменении параметра $a$ и неизмененном параметре ${\sigma }^2$ мы можем наблюдать смещение графика функции $f\left(x\right)$ вдоль оси абсцисс, при этом сам график плотности не меняет своей формы.

Параметр ${\sigma }^2$ является дисперсией и характеризует форму кривой графика плотности $f\left(x\right)$. При изменении параметра ${\sigma }^2$ при неизмененном параметре $a$ мы можем наблюдать, как график плотности меняет свою форму, сжимаясь или растягиваясь, при этом не сдвигаясь вдоль оси абсцисс.

Вероятность попадания нормально распределенной случайной величины в заданный интервал

Как известно, вероятность попадания случайной величины $X$ в интервал $\left(\alpha ;\ \beta \right)$ можно вычислять $P\left(\alpha < X < \beta \right)=\int^{\beta }_{\alpha }{f\left(x\right)dx}$. Для нормального распределения случайной величины $X$ с параметрами $a,\ \sigma $ справедлива следующая формула:

$$P\left(\alpha < X < \beta \right)=\Phi \left({{\beta -a}\over {\sigma }}\right)-\Phi \left({{\alpha -a}\over {\sigma }}\right)$$

Здесь функция $\Phi \left(x\right)={{1}\over {\sqrt{2\pi }}}\int^x_0{e^{-t^2/2}dt}$ - функция Лапласа. Значения этой функции берутся из . Можно отметить следующие свойства функции $\Phi \left(x\right)$.

1 . $\Phi \left(-x\right)=-\Phi \left(x\right)$, то есть функция $\Phi \left(x\right)$ является нечетной.

2 . $\Phi \left(x\right)$ - монотонно возрастающая функция.

3 . ${\mathop{lim}_{x\to +\infty } \Phi \left(x\right)\ }=0,5$, ${\mathop{lim}_{x\to -\infty } \Phi \left(x\right)\ }=-0,5$.

Для вычисления значений функции $\Phi \left(x\right)$ можно также воспользоваться мастером функция $f_x$ пакета Excel: $\Phi \left(x\right)=НОРМРАСП\left(x;0;1;1\right)-0,5$. Например, вычислим значений функции $\Phi \left(x\right)$ при $x=2$.

Вероятность попадания нормально распределенной случайной величины $X\in N\left(a;\ {\sigma }^2\right)$ в интервал, симметричный относительно математического ожидания $a$, может быть вычислена по формуле

$$P\left(\left|X-a\right| < \delta \right)=2\Phi \left({{\delta }\over {\sigma }}\right).$$

Правило трех сигм . Практически достоверно, что нормально распределенная случайная величина $X$ попадет в интервал $\left(a-3\sigma ;a+3\sigma \right)$.

Пример 1 . Случайная величина $X$ подчинена нормальному закону распределения вероятностей с параметрами $a=2,\ \sigma =3$. Найти вероятность попадания $X$ в интервал $\left(0,5;1\right)$ и вероятность выполнения неравенства $\left|X-a\right| < 0,2$.

Используя формулу

$$P\left(\alpha < X < \beta \right)=\Phi \left({{\beta -a}\over {\sigma }}\right)-\Phi \left({{\alpha -a}\over {\sigma }}\right),$$

находим $P\left(0,5;1\right)=\Phi \left({{1-2}\over {3}}\right)-\Phi \left({{0,5-2}\over {3}}\right)=\Phi \left(-0,33\right)-\Phi \left(-0,5\right)=\Phi \left(0,5\right)-\Phi \left(0,33\right)=0,191-0,129=0,062$.

$$P\left(\left|X-a\right| < 0,2\right)=2\Phi \left({{\delta }\over {\sigma }}\right)=2\Phi \left({{0,2}\over {3}}\right)=2\Phi \left(0,07\right)=2\cdot 0,028=0,056.$$

Пример 2 . Предположим, что в течение года цена на акции некоторой компании есть случайная величина, распределенная по нормальному закону с математическим ожиданием, равным 50 условным денежным единицам, и стандартным отклонением, равным 10. Чему равна вероятность того, что в случайно выбранный день обсуждаемого периода цена за акцию будет:

а) более 70 условных денежных единиц?

б) ниже 50 за акцию?

в) между 45 и 58 условными денежными единицами за акцию?

Пусть случайная величина $X$ - цена на акции некоторой компании. По условию $X$ подчинена нормальному закону распределению с параметрами $a=50$ - математическое ожидание, $\sigma =10$ - стандартное отклонение. Вероятность $P\left(\alpha < X < \beta \right)$ попадания $X$ в интервал $\left(\alpha ,\ \beta \right)$ будем находить по формуле:

$$P\left(\alpha < X < \beta \right)=\Phi \left({{\beta -a}\over {\sigma }}\right)-\Phi \left({{\alpha -a}\over {\sigma }}\right).$$

$$а)\ P\left(X>70\right)=\Phi \left({{\infty -50}\over {10}}\right)-\Phi \left({{70-50}\over {10}}\right)=0,5-\Phi \left(2\right)=0,5-0,4772=0,0228.$$

$$б)\ P\left(X < 50\right)=\Phi \left({{50-50}\over {10}}\right)-\Phi \left({{-\infty -50}\over {10}}\right)=\Phi \left(0\right)+0,5=0+0,5=0,5.$$

$$в)\ P\left(45 < X < 58\right)=\Phi \left({{58-50}\over {10}}\right)-\Phi \left({{45-50}\over {10}}\right)=\Phi \left(0,8\right)-\Phi \left(-0,5\right)=\Phi \left(0,8\right)+\Phi \left(0,5\right)=$$

Как известно, случайной величиной называется переменная величина, которая может принимать те или иные значения в зависимости от случая. Случайные величины обозначают заглавными буквами латинского алфавита (X, Y, Z), а их значения – соответствующими строчными буквами (x, y, z). Случайные величины делятся на прерывные (дискретные) и непрерывные.

Дискретной случайной величиной называется случайная величина, принимающая лишь конечное или бесконечное (счетное) множество значений с определенными ненулевыми вероятностями.

Законом распределения дискретной случайной величины называется функция, связывающая значения случайной величины с соответствующими им вероятностями. Закон распределения может быть задан одним из следующих способов.

1 . Закон распределения может быть задан таблицей:

где λ>0, k = 0, 1, 2, … .

в) с помощью функции распределения F(x) , определяющей для каждого значения x вероятность того, что случайная величина X примет значение, меньшее x, т.е. F(x) = P(X < x).

Свойства функции F(x)

3 . Закон распределения может быть задан графически – многоугольником (полигоном) распределения (смотри задачу 3).

Отметим, что для решения некоторых задач не обязательно знать закон распределения. В некоторых случаях достаточно знать одно или несколько чисел, отражающих наиболее важные особенности закона распределения. Это может быть число, имеющее смысл «среднего значения» случайной величины, или же число, показывающее средний размер отклонения случайной величины от своего среднего значения. Числа такого рода называют числовыми характеристиками случайной величины.

Основные числовые характеристики дискретной случайной величины :

  • Mатематическое ожидание (среднее значение) дискретной случайной величины M(X)=Σ x i p i .
    Для биномиального распределения M(X)=np, для распределения Пуассона M(X)=λ
  • Дисперсия дискретной случайной величины D(X)= M 2 или D(X) = M(X 2)− 2 . Разность X–M(X) называют отклонением случайной величины от ее математического ожидания.
    Для биномиального распределения D(X)=npq, для распределения Пуассона D(X)=λ
  • Среднее квадратическое отклонение (стандартное отклонение) σ(X)=√D(X) .

Примеры решения задач по теме «Закон распределения дискретной случайной величины»

Задача 1.

Выпущено 1000 лотерейных билетов: на 5 из них выпадает выигрыш в сумме 500 рублей, на 10 – выигрыш в 100 рублей, на 20 – выигрыш в 50 рублей, на 50 – выигрыш в 10 рублей. Определить закон распределения вероятностей случайной величины X – выигрыша на один билет.

Решение. По условию задачи возможны следующие значения случайной величины X: 0, 10, 50, 100 и 500.

Число билетов без выигрыша равно 1000 – (5+10+20+50) = 915, тогда P(X=0) = 915/1000 = 0,915.

Аналогично находим все другие вероятности: P(X=0) = 50/1000=0,05, P(X=50) = 20/1000=0,02, P(X=100) = 10/1000=0,01, P(X=500) = 5/1000=0,005. Полученный закон представим в виде таблицы:

Найдем математическое ожидание величины Х: М(Х) = 1*1/6 + 2*1/6 + 3*1/6 + 4*1/6 + 5*1/6 + 6*1/6 = (1+2+3+4+5+6)/6 = 21/6 = 3,5

Задача 3.

Устройство состоит из трех независимо работающих элементов. Вероятность отказа каждого элемента в одном опыте равна 0,1. Составить закон распределения числа отказавших элементов в одном опыте, построить многоугольник распределения. Найти функцию распределения F(x) и построить ее график. Найти математическое ожидание, дисперсию и среднее квадратическое отклонение дискретной случайной величины.

Решение. 1. Дискретная случайная величина X={число отказавших элементов в одном опыте} имеет следующие возможные значения: х 1 =0 (ни один из элементов устройства не отказал), х 2 =1 (отказал один элемент), х 3 =2 (отказало два элемента) и х 4 =3 (отказали три элемента).

Отказы элементов независимы друг от друга, вероятности отказа каждого элемента равны между собой, поэтому применима формула Бернулли . Учитывая, что, по условию, n=3, р=0,1, q=1-р=0,9, определим вероятности значений:
P 3 (0) = С 3 0 p 0 q 3-0 = q 3 = 0,9 3 = 0,729;
P 3 (1) = С 3 1 p 1 q 3-1 = 3*0,1*0,9 2 = 0,243;
P 3 (2) = С 3 2 p 2 q 3-2 = 3*0,1 2 *0,9 = 0,027;
P 3 (3) = С 3 3 p 3 q 3-3 = р 3 =0,1 3 = 0,001;
Проверка: ∑p i = 0,729+0,243+0,027+0,001=1.

Таким образом, искомый биномиальный закон распределения Х имеет вид:

По оси абсцисс откладываем возможные значения х i , а по оси ординат – соответствующие им вероятности р i . Построим точки М 1 (0; 0,729), М 2 (1; 0,243), М 3 (2; 0,027), М 4 (3; 0,001). Соединив эти точки отрезками прямых, получаем искомый многоугольник распределения.

3. Найдем функцию распределения F(x) = Р(Х

Для x ≤ 0 имеем F(x) = Р(Х<0) = 0;
для 0 < x ≤1 имеем F(x) = Р(Х<1) = Р(Х = 0) = 0,729;
для 1< x ≤ 2 F(x) = Р(Х<2) = Р(Х=0) + Р(Х=1) =0,729+ 0,243 = 0,972;
для 2 < x ≤ 3 F(x) = Р(Х<3) = Р(Х = 0) + Р(Х = 1) + Р(Х = 2) = 0,972+0,027 = 0,999;
для х > 3 будет F(x) = 1, т.к. событие достоверно.

График функции F(x)

4. Для биномиального распределения Х:
- математическое ожидание М(X) = np = 3*0,1 = 0,3;
- дисперсия D(X) = npq = 3*0,1*0,9 = 0,27;
- среднее квадратическое отклонение σ(X) = √D(X) = √0,27 ≈ 0,52.

Раздел 6. Типичные законы распределения и числовые характеристики случайных величин

Вид функций F(x), р(х), или перечисление р(х i) называют законом распределения случайной величины. Хотя можно представить себе бесконечное разнообразие случайных величин, законов распределения гораздо меньше. Во-первых, различные случайные величины могут иметь совершенно одинаковые законы распределения. Например: пусть y принимает всего 2 значения 1 и -1 с вероятностями 0.5; величина z = -y имеет точно такой же закон распределения.
Во-вторых, очень часто случайные величины имеют подобные законы распределения, т.е., например, р(х) для них выражается формулами одинакового вида, отличающимися только одной или несколькими постоянными. Эти постоянные называются параметрами распределения.

Хотя в принципе возможны самые разные законы распределения, здесь будут рассмотрены несколько наиболее типичных законов. Важно обратить внимание на условия, в которых они возникают, параметры и свойства этих распределений.

1 . Равномерное распределение
Так называют распределение случайной величины, которая может принимать любые значения в интервале (a,b), причем вероятность попадания ее в любой отрезок внутри (a,b) пропорциональна длине отрезка и не зависит от его положения, а вероятность значений вне (a,b) равна 0.


Рис 6.1 Функция и плотность равномерного распределения

Параметры распределения: a , b

2 . Нормальное распределение
Распределение с плотностью, описываемой формулой

(6.1)

называется нормальным.
Параметры распределения: a , σ


Рисунок 6.2 Типичный вид плотности и функции нормального распределения

3 . Распределение Бернулли
Если производится серия независимых испытаний, в каждом из который событие А может появиться с одинаковой вероятностью р, то число появлений события есть случайная величина, распределенная по закону Бернулли, или по биномиальному закону (другое название распределения) .

Здесь n - число испытаний в серии, m - случайная величина (число появлений события А), Р n (m) - вероятность того, что А произойдет именно m раз, q = 1 - р (вероятность того, что А не появится в испытании).

Пример 1: Кость бросают 5 раз, какова вероятность того, что 6 очков выпадет дважды?
n = 5, m = 2, p = 1/6, q = 5/6

Параметры распределения: n , р

4 . Распределение Пуассона
Распределение Пуассона получается как предельный случай распределения Бернулли, если устремить р к нулю, а n к бесконечности, но так, чтобы их произведение оставалось постоянным: nр = а. Формально такой предельный переход приводит к формуле

Параметр распределения: a

Распределению Пуассона подчиняются очень многие случайные величины, встречающиеся в науке и практической жизни.

Пример 2: число вызовов, поступающих на станцию скорой помощи в течение часа.
Разобьем интервал времени Т (1 час) на малые интервалы dt, такие что вероятность поступления двух и более вызовов в течение dt пренебрежимо мала, а вероятность одного вызова р пропорциональна dt: р = μdt ;
будем рассматривать наблюдение в течение моментов dt как независимые испытания, число таких испытаний за время Т: n = T / dt;
если предполагать, что вероятности поступления вызовов не меняются в течение часа, то полное число вызовов подчиняется закону Бернулли с параметрами: n = T / dt, р = μdt . Устремив dt к нулю, получим, что n стремится к бесконечности, а произведение n×р остается постоянным: а = n×р = μТ.

Пример 3: число молекул идеального газа в некотором фиксированном объеме V.
Разобьем объем V на малые объемы dV такие, что вероятность нахождения двух и более молекул в dV пренебрежимо мала, а вероятность нахождения одной молекулы пропорциональна dV: р = μdV; будем рассматривать наблюдение каждого объемчика dV как независимое испытание, число таких испытаний n=V/dV; если предполагать, что вероятности нахождения молекулы в любом месте внутри V одинаковы, полное число молекул в объеме V подчиняется закону Бернулли с параметрами: n = V / dV, р = μdV. Устремив dV к нулю, получим, что n стремится к бесконечности, а произведение n×р остается постоянным: а = n×р =μV.

Числовые характеристики случайных величин

1 . Математическое ожидание (среднее значение)

Определение:
Математическим ожиданием называется
  (6.4)

Сумма берется по всем значениям, которые принимает случайная величина. Ряд должен быть абсолютно сходящимся (в противном случае говорят, что случайная величина не имеет математического ожидания)

;   (6.5)

Интеграл должен быть абсолютно сходящимся (в противном случае говорят, что случайная величина не имеет математического ожидания)


Свойства математического ожидания:

a . Если С - постоянная величина, то МС = С
b . МСх = СМх
c . Математическое ожидание суммы случайных величин всегда равно сумме их математических ожиданий: М(х+y) = Мх + Мy d . Вводится понятие условного математического ожидания. Если случайная величина принимает свои значения х i с различными вероятностями p(x i /H j) при разных условиях H j , то условное математическое ожидание определяется

как или ;   (6.6)

Если известны вероятности событий H j , может быть найдено полное

математическое ожидание: ;   (6.7)

Пример 4: Сколько раз в среднем надо бросать монету до первого выпадения герба? Эту задачу можно решать "в лоб"

x i 1 2 3 ... k..
p(x i) :  ,

но эту сумму еще надо вычислить. Можно поступить проще, используя понятия условного и полного математического ожидания. Рассмотрим гипотезы Н 1 - герб выпал в первый же раз, Н 2 - в первый раз он не выпал. Очевидно, р(Н 1) = р(Н 2) = ½; Мx / Н 1 = 1;
Мx / Н 2 на 1 больше искомого полного матожидания, т.к. после первого бросания монеты ситуация не изменилась, но один раз она уже брошена. Используя формулу полного математического ожидания, имеем Мх = Мx / Н 1 ×р(Н 1) + Мx / Н 2 ×р(Н 2) = 1×0.5 + (Мх + 1)×0.5 , разрешая уравнение относительно Мх, получаем сразу Мх = 2 .

e . Если f(x) - есть функция случайной величины х, то определено понятие математического ожидания функции случайной величины:

Для дискретной случайной величины: ;   (6.8)

Сумма берется по всем значениям, которые принимает случайная величина. Ряд должен быть абсолютно сходящимся.

Для непрерывной случайной величины:;   (6.9)

Интеграл должен быть абсолютно сходящимся.

2 . Дисперсия случайной величины
Определение:
Дисперсией случайной величины х называется математическое ожидание квадрата отклонения значения величины от ее математического ожидания: Dx = M(x-Mx) 2

Для дискретной случайной величины: ;   (6.10)

Сумма берется по всем значениям, которые принимает случайная величина. Ряд должен быть сходящимся (в противном случае говорят, что случайная величина не имеет дисперсии)

Для непрерывной случайной величины: ;   (6.11)

Интеграл должен быть сходящимся (в противном случае говорят, что случайная величина не имеет дисперсии)

Свойства дисперсии:
a . Если С - постоянная величина, то DС = 0
b . DСх = С 2 Dх
c . Дисперсия суммы случайных величин всегда равно сумме их дисперсий только, если эти величины независимы (определение независимых величин)
d . Для вычисления дисперсии удобно использовать формулу:

Dx = Mx 2 - (Mx) 2 (6.12)

Связь числовых характеристик
и параметров типичных распределений

распределение параметры формула Mx Dx
равномерное a , b (b+a) / 2 (b-a) 2 / 12
нормальное a , σ a σ 2
Бернулли n , p np npq
Пуассона a a a

Несмотря на экзотические названия, распространённые распределения связаны друг с другом достаточно интуитивными и интересными способами, позволяющими легко их вспоминать и уверенно о них рассуждать. Некоторые естественно следуют, например, из распределения Бернулли. Время показать карту этих связей.

Каждое распределение иллюстрируется примером её функции плотности распределения (ФПР). Эта статья только о тех распределениях, у которых исходы – одиночные числа. Поэтому, горизонтальная ось каждого графика – набор возможных чисел-исходов. Вертикальная – вероятность каждого исхода. Некоторые распределения дискретны - у них исходы должны быть целыми числами, типа 0 или 5. Таковые обозначаются редкими линиями, по одной на каждый исход, с высотой, соответствующей вероятности данного исхода. Некоторые – непрерывны, у них исходы могут принять любое численное значение, типа -1.32 или 0.005. Эти показаны плотными кривыми с областями под секциями кривой, которые дают вероятности. Сумма высот линий и областей под кривыми - всегда 1.

Распечатайте, отрежьте по пунктирной линии и носите с собой в кошельке. Это - ваш путеводитель в стране распределений и их родственников.

Бернулли и равномерное

Вы уже встретились с распределением Бернулли выше, с двумя исходами – орлом или решкой. Представьте его теперь как распределение над 0 и 1, 0 – орёл, 1 – решка. Как уже понятно, оба исхода равновероятны, и это отражено на диаграмме. ФПР Бернулли содержит две линии одинаковой высоты, представляющие 2 равновероятных исхода: 0 и 1 соответственно.

Распределение Бернулли может представлять и неравновероятные исходы, типа броска неправильной монетки. Тогда вероятность орла будет не 0.5, а какая-то другая величина p, а вероятность решки – 1-p. Как и многие другие распределения, это на самом деле целое семейство распределений, задаваемых определёнными параметрами, как p выше. Когда будете думать «Бернулли » – думайте про «бросок (возможно, неправильной) монетки».

Отсюда весьма небольшой шаг до того, чтобы представить распределение поверх нескольких равновероятных исходов: равномерное распределение , характеризуемое плоской ФПР. Представьте правильный игральный кубик. Его исходы 1-6 равновероятны. Его можно задать для любого количества исходов n, и даже в виде непрерывного распределения.

Думайте о равномерном распределении как о «правильном игральном кубике».

Биномиальное и гипергеометрическое

Биномиальное распределение можно представить как сумму исходов тех вещей, которые следуют распределению Бернулли.

Киньте честную монету два раза – сколько раз будет орёл? Это число, подчиняющееся биномиальному распределению. Его параметры – n, число испытаний, и p – вероятность «успеха» (в нашем случае – орла или 1). Каждый бросок – распределённый по Бернулли исход, или испытание . Используйте биномиальное распределение, когда считаете количество успехов в вещах типа броска монеты, где каждый бросок не зависит от других и имеет одинаковую вероятность успеха.

Или представьте урну с одинаковым количество белых и чёрных шаров. Закройте глаза, вытащите шар, запишите его цвет и верните назад. Повторите. Сколько раз вытащился чёрный шар? Это число также подчиняется биномиальному распределению.

Эту странную ситуацию мы представили, чтобы было легче понять смысл гипергеометрического распределения . Это распределение того же числа, но в ситуации если бы мы не возвращали шары обратно. Оно, безусловно, двоюродный брат биномиального распределения, но не такое же, так как вероятность успеха изменяется с каждым вытащенным шаром. Если количество шаров достаточно велико по сравнению с количеством вытаскиваний – то эти распределения практически одинаковы, так как шанс успеха изменяется с каждым вытаскиванием крайне незначительно.

Когда где-то говорят о вытаскивании шаров из урн без возврата, практически всегда безопасно ввернуть «да, гипергеометрическое распределение», потому что в жизни я ещё не встречал никого, кто реально наполнял бы урны шарами и потом вытаскивал их и возвращал, или наоборот. У меня даже знакомых нет с урнами. Ещё чаще это распределение должно всплывать при выборе значимого подмножества некоторой генеральной совокупности в качестве выборки.

Прим. перев.

Тут может быть не очень понятно, а раз туториал и экспресс-курс для новичков - надо бы разъяснить. Генеральная совокупность - есть нечто, что мы хотим статистически оценить. Для оценки мы выбираем некоторую часть (подмножество) и производим требуемую оценку на ней (тогда это подмножество называется выборкой), предполагая, что для всей совокупности оценка будет похожей. Но чтобы это было верно, часто требуются дополнительные ограничения на определение подмножества выборки (или наоборот, по известной выборке нам надо оценить, описывает ли она достаточно точно совокупность).

Практический пример - нам нужно выбрать от компании в 100 человек представителей для поездки на E3. Известно, что в ней 10 человек уже ездили в прошлом году (но никто не признаётся). Сколько минимум нужно взять, чтобы в группе с большой вероятностью оказался хотя бы один опытный товарищ? В данном случае генеральная совокупность - 100, выборка - 10, требования к выборке - хотя бы один, уже ездивший на E3.

В википедии есть менее забавный, но более практичный пример про бракованные детали в партии.

Пуассон

Что насчёт количества заказчиков, звонящих по горячей линии в техподдержку каждую минуту? Это исход, чьё распределение на первый взгляд биномиальное, если считать каждую секунду как испытание Бернулли, в течение которой заказчик либо не позвонит (0), либо позвонит (1). Но электроснабжающие организации прекрасно знают: когда выключают электричество – за секунду могут позвонить двое или даже больше сотни людей. Представить это как 60000 миллисекундных испытаний тоже не поможет – испытаний больше, вероятность звонка в миллисекунду меньше, даже если не учитывать двух и более одновременно, но, технически – это всё ещё не испытание Бернулли. Тем не менее, срабатывает логическое рассуждение с переходом к бесконечности. Пусть n стремится к бесконечности, а p – к 0, и так, чтобы np было постоянным. Это как делить на всё более малые доли времени со всё менее малой вероятностью звонка. В пределе мы получим распределение Пуассона .

Так же, как и биномиальное, распределение Пуассона – это распределение количества: количества раз того, как что-то произойдёт. Оно параметризуется не вероятностью p и количеством испытаний n, но средней интенсивностью λ, что, в аналогии с биномиальным, просто постоянное значение np. Распределение Пуассона – то, о чём надо вспоминать, когда идёт речь о подсчёте событий за определённое время при постоянной заданной интенсивности.

Когда есть что-то, типа прихода пакетов на роутер или появления покупателей в магазине или что-то, ожидающее в очереди – думайте «Пуассон ».

Геометрическое и отрицательное биномиальное

Из простых испытаний Бернулли появляется другое распределение. Сколько раз монетка выпадет решкой, прежде, чем выпасть орлом? Число решек подчиняется геометрическому распределению . Как и распределение Бернулли, оно параметризуется вероятностью успешного исхода, p. Оно не параметризуется числом n, количеством бросков-испытаний, потому что число неудачных испытаний как раз и есть исход.

Если биномиальное распределение это «сколько успехов», то геометрическое это «Сколько неудач до успеха?».

Отрицательное биномиальное распределение – простое обобщение предыдущего. Это количество неудач до того, как будет r, а не 1, успехов. Поэтому оно дополнительно параметризуется этим r. Иногда его описывают как число успехов до r неудач. Но, как говорит мой лайф-коуч: «Ты сам решаешь, что есть успех, а что - неудача», так что это тоже самое, если при этом не забыть, что вероятность p тоже должна правильной вероятностью успеха или неудачи соответственно.

Если нужна будет шутка для снятия напряжения, можно упомянуть, что биномиальное и гипергеометрическое распределение – это очевидная пара, но и геометрическое и отрицательное биномиальное так же весьма похожи, после чего заявить «Ну и кто же так их все называет, а?»

Экспоненциальное и Вейбула

Снова о звонках в техподдержку: сколько пройдёт до следующего звонка? Распределение этого времени ожидания как будто бы геометрическое, потому что каждая секунда, пока никто не звонит – это как неуспех, до секунды, пока, наконец, звонок не произойдёт. Количество неудач –это как количество секунд, пока никто не звонил, и это практически время до следующего звонка, но «практически» нам недостаточно. Суть в том, что это время будет суммой целых секунд, и, таким образом, не получится посчитать ожидание внутри этой секунды до непосредственно звонка.

Ну и, как и раньше, переходим в геометрическом распределении к пределу, относительно временных долей – и вуаля. Получаем экспоненциальное распределение , которое точно описывает время до звонка. Это непрерывное распределение, первое такое у нас, потому что исход не обязательно в целых секундах. Как и распределение Пуассона, оно параметризуется интенсивностью λ.

Повторяя связь биномиального с геометрическим, Пуассоновское «сколько событий за время?» связано с экспоненциальным «сколько до события?». Если есть события, количество которых на единицу времени подчиняется распределению Пуассона, то время между ними подчиняется экспоненциальному распределению с тем же параметром λ. Это соответствие между двумя распределениями необходимо отмечать, когда обсуждается любое из них.

Экспоненциальное распределение должно приходить на ум при размышлении о «времени до события», возможно, «времени до отказа». По факту, это такая важная ситуация, что существуют более обобщённые распределения чтобы описать наработку-на-отказ, типа распределения Вейбула . В то время, как экспоненциальное распределение подходит, когда интенсивность - износа, или отказов, например – постоянна, распределение Вейбула может моделировать увеличивающуюся (или уменьшающуюся) со временем интенсивность отказов. Экспоненциальное, в общем-то, частный случай.

Думайте «Вейбул » когда разговор заходит о наработке-на-отказ.

Нормальное, логнормальное, Стьюдента и хи-квадрат

Нормальное , или гауссово , распределение, наверное, одно из важнейших. Его колоколообразная форма узнаётся сразу. Как и , это особенно любопытная сущность, которая проявляется везде, даже из внешне самых простых источников. Возьмите набор значений, подчиняющихся одному распределению – любому! – и сложите их. Распределение их суммы подчиняется (приблизительно) нормальному распределению. Чем больше вещей суммируется – тем ближе их сумма соответствует нормальному распределению (подвох: распределение слагаемых должно быть предсказуемым, быть независимым, оно стремится только к нормальному). То, что это так, несмотря на исходное распределение – это потрясающе.

Прим. перев.

Меня удивило, что автор не пишет про необходимость сопоставимого масштаба суммируемых распределений: если одно существенно доминирует надо остальными - сходиться будет крайне плохо. И, в общем-то, абсолютная взаимная независимость необязательна, достаточна слабая зависимость.

Ну сойдёт, наверное, для вечеринок, как он написал.


Это называется «центральная предельная теорема », и надо знать, что это, почему так названо и что означает, иначе моментально засмеют.

В её разрезе, нормальное связано со всеми распределениями. Хотя, в основном, его связывают с распределениями всяких сумм. Сумма испытаний Бернулли следует биномиальному распределению и, с увеличением количества испытаний, это биномиальное распределение становится всё ближе в нормальному распределению. Аналогично и его двоюродный брат – гипергеометрическое распределение. Распределение Пуассона – предельная форма биномиального – так же приближается к нормальному с увеличением параметра интенсивности.

Исходы, которые подчиняются логнормальному распределению , дают значения, логарифм которых нормально распределён. Или по-другому: экспонента нормально распределённого значения логнормально распределена. Если суммы – нормально распределены, то запомните так же, что произведения распределены логнормально.

t-Распределение Стьюдента – это основа t-теста , который многие нестатистики изучают в других областях. Оно используется для предположений о среднем нормального распределения и так же стремится к нормальному распределению с увеличением своего параметра. Отличительная особенность t-распределения – его хвосты, которые толще, чем у нормального распределения.

Если толстохвостый анекдот недостаточно раскачал вашего соседа – переходите в довольно забавной байке про пиво. Больше 100 лет назад Гиннесс использовал статистику, чтобы улучшить свой стаут. Тогда Вильям Сили Госсет и изобрёл полностью новую статистическую теорию для улучшенного выращивания ячменя. Госсет убедил босса, что другие пивовары не поймут, как использовать его идеи, и получил разрешение на публикацию, но под псевдонимом «Стьюдент». Самое известное достижение Госсета – как раз это самое t-распределение, которое, можно сказать, названо в честь него.

Наконец, распределение хи-квадрат – распределение сумм квадратов нормально-распределенных величин. На этом распределении построен тест хи-квадрат , который сам основан на сумме квадратов разниц, которые должны быть нормально распределены.

Гамма и бета

В этом месте, если вы уже заговорили о чём-то хи-квадратном, разговор начинается всерьёз. Вы уже, возможно, говорите с настоящими статистиками, и, наверное, стоит уже откланиваться, поскольку могут всплыть вещи типа гамма-распределения . Это обобщение и экспоненциального, и хи-квадрат распределения. Как и экспоненциальное распределение, оно используется для сложных моделей времен ожидания. Например, гамма-распределение появляется, когда моделируется время до следующих n событий. Оно появляется в машинном обучении как «сопряжённое априорное распределение » к парочке других распределений.

Не вступайте в разговор об этих сопряжённых распределениях, но если всё-таки придётся, не забудьте сказать о бета-распределении , потому что оно сопряжённое априорное к большинству упомянутых здесь распределений. Data-scientist-ы уверены, что оно именно для этого и сделано. Упомяните об этом ненароком и идите к двери.

Начало мудрости

Распределения вероятности - это то, о чём нельзя знать слишком много. По настоящему заинтересованные могут обратиться к этой супердетализированной карте всех распределений вероятности Добавить метки