а величина X определится из условия откуда

Пример 9. Провести аппроксимацию нормального закона с параметрами ш х и D x с помощью суммы я независимых с. в. Х и ..., Х п, распределенных равномерно в интервале (0, 1).

Решение. На основании центральной предельной теоремы при большом п случайная величина

распределена приближенно по нормальному закону с параметрами:

Нужную нам случайную величину X представим как линейную функцию случайной величины Y n:

Откуда находим коэффициенты а и b в формуле (10.2.29)

Итак, чтобы получить случайную величину X, распределенную приближенно по нормальному закону, надо сложить достаточно большое число п независимых случайных величин, распределенных равномерно в интервале (0, 1) и подвергнуть их сумму линейному преобразованию (10.2.29).

В практике работы с ЭВМ при моделировании случайных явлений получают нормально распределенные случайные величины именно таким способом. Опыт показывает, что вполне удовлетворительную точность можно получить уже при п = 6; числа п = Юн- 12 вполне достаточно. ?

Пример 10. В кассе учреждения имеется сумма d = 3500 (руб.). В очереди стоит п = 20 лиц. Сумма X, которую надо выплатить отдельному лицу - случайная величина с математическим ожиданием т х = 150 (руб.) и средним квадратическим отклонением о* = 60 (руб.). Найти вероятность того, что суммы due хватит для выплаты денег всем людям, стоящим в очереди.

Решение. На основании центральной предельной теоремы для одинаково распределенных слагаемых при большом п (а п = 20 практически можно считать «большим») случайная величина или

где Xj - сумма, которую надо выплатить /-му лицу, имеет приближенно нормальное распределение с параметрами:

Итак, с вероятностью около 3% имеющейся в кассе суммы не хватит для выплаты всем, стоящим в очереди.

Пример 11. В условиях предыдущего примера: какую сумму а нужно иметь в кассе, чтобы вероятность того, что ее не хватит для выплаты всем стоящим, стала равна 0,005?

Решение. Имеем условие Р {Y n > а} = 0,5 - Ф ((а - 3000)/268) = = 0,005, т. е. Ф ((а - 3000)/268) = 0,495. По таблице Ф (х) приложения находим аргумент функции Лапласа, при котором она равна 0,495:

откуда а - 3691.

Итак, сравнительно небольшого увеличения суммы а (от 3500 до 3691) достаточно для того, чтобы гарантировать выплату всем с очень высокой вероятностью 0,995. ?

Пример 12. Монета подбрасывается п = 1000 раз. Рассматривается с. в. X- число выпавших гербов. Определить интервал возможных значений с. в. X, симметричный относительно м. о. этой с. в., в который она попадает с вероятностью 9 > = 0,997.

Решение. X = ^Х { , где Х { - число выпавших гербов при /-м бросании: »"=i

На основании центральной предельной теоремы с. в. Храспределе- на нормально, следовательно,

По таблицам Ф (х) - функции Лапласа находим:

Искомый интервал будет:

Итак, с очень большой вероятностью $Р= 0,997 можно утверждать, что число выпавших гербов будет заключено в пределах от 453 до 577 (об этом уже говорилось в подразделе 1Л). ?

• Заметим, что этот аппарат был создан А.М. Ляпуновым специально для доказательствацентральной предельной теоремы.

Простейший вариант Центральной предельной теоремы (ЦПТ) теории вероятностей таков.

(для одинаково распределенных слагаемых). Пусть X 1 , X 2 ,…, X n , …– независимые одинаково распределенные случайные величины с математическими ожиданиями M (X i ) = m и дисперсиями D (X i ) = , i = 1, 2,…, n ,… Тогда для любого действительного числа х существует предел

где Ф(х) – функция стандартного нормального распределения.

Эту теорему иногда называют теоремой Линдеберга-Леви .

В ряде прикладных задач не выполнено условие одинаковой распределенности. В таких случаях центральная предельная теорема обычно остается справедливой, однако на последовательность случайных величин приходится накладывать те или иные условия. Суть этих условий состоит в том, что ни одно слагаемое не должно быть доминирующим, вклад каждого слагаемого в среднее арифметическое должен быть пренебрежимо мал по сравнению с итоговой суммой. Наиболее часто используется теорема Ляпунова.

Центральная предельная теорема (для разнораспределенных слагаемых) – теорема Ляпунова . Пусть X 1 , X 2 ,…, X n , …– независимые случайные величины с математическими ожиданиями M (X i ) = m i и дисперсиями D (X i ) = , i = 1, 2,…, n ,… Пусть при некотором δ>0 у всех рассматриваемых случайных величин существуют центральные моменты порядка 2+δ и безгранично убывает «дробь Ляпунова»:

Тогда для любого действительного числа х существует предел

где Ф(х) – функция стандартного нормального распределения.

В случае одинаково распределенных случайных слагаемых

и теорема Ляпунова переходит в теорему Линдеберга-Леви.

История получения центральных предельных теорем для случайных величин растянулась на два века – от первых работ Муавра в 30-х годах 18-го века для необходимых и достаточных условий, полученных Линдебергом и Феллером в 30-х годах 20-го века.

Теорема Линдеберга-Феллера. Пусть X 1 , X 2 ,…, X n , …, – независимые случайные величины с математическими ожиданиями M (X i ) = m i и дисперсиями D (X i ) = , i = 1, 2,…, n ,… Предельное соотношение (1), т.е. центральная предельная теорема, выполнено тогда и только тогда, когда при любом τ>0

где F k (x ) обозначает функцию распределения случайной величины X k .

Доказательства перечисленных вариантов центральной предельной теоремы для случайных величин можно найти в классическом курсе теории вероятностей .

Для прикладной статистики и, в частности, для нечисловой статистики большое значение имеет многомерная центральная предельная теорема. В ней речь идет не о сумме случайных величин, а о сумме случайных векторов.

Необходимое и достаточное условие многомерной сходимости . Пусть F n обозначает совместную функцию распределения k -мерного случайного вектора , n = 1,2,…, и F λn . Необходимое и достаточное условие для сходимости F n к некоторой k -мерной функции распределения F состоит в том, что F λn имеет предел для любого вектора λ.

Приведенная теорема ценна тем, что сходимость векторов сводит к сходимости линейных комбинаций их координат, т.е. к сходимости обычных случайных величин, рассмотренных ранее. Однако она не дает возможности непосредственно указать предельное распределение. Это можно сделать с помощью следующей теоремы.

Теорема о многомерной сходимости. Пусть F n и F λn – те же, что в предыдущей теореме. Пусть F - совместная функция распределения k -мерного случайного вектора . Если функция распределения F λn сходится при росте объема выборки к функции распределения F λ для любого вектора λ, где F λ – функция распределения линейной комбинации , то F n сходится к F .

Здесь сходимость F n к F означает, что для любого k -мерного вектора такого, что функция распределения F непрерывна в , числовая последовательность F n сходится при росте n к числу F . Другими словами, сходимость функций распределения понимается ровно также, как при обсуждении предельных теорем для случайных величин выше. Приведем многомерный аналог этих теорем.

Многомерная центральная предельная теорема . Рассмотрим независимые одинаково распределенные k -мерные случайные вектора

где штрих обозначает операцию транспонирования вектора. Предположим, что случайные вектора U n имеют моменты первого и второго порядка, т.е.

М (U n ) = μ, D (U n ) = Σ,

где μ – вектор математических ожиданий координат случайного вектора, Σ – его ковариационная матрица. Введем последовательность средних арифметических случайных векторов:

Тогда случайный вектор имеет асимптотическое k -мерное нормальное распределение , т.е. он асимптотически распределен так же, как k -мерная нормальная величина с нулевым математическим ожиданием, ковариационной Σ и плотностью

Здесь |Σ| - определитель матрицы Σ. Другими словами, распределение случайного вектора сходится к k -мерному нормальному распределению с нулевым математическим ожиданием и ковариационной матрицей Σ.

Напомним, что многомерным нормальным распределением с математическим ожиданием μ и ковариационной матрицей Σ называется распределение, имеющее плотность

Многомерная центральная предельная теорема показывает, что распределения сумм независимых одинаково распределенных случайных векторов при большом числе слагаемых хорошо приближаются с помощью нормальных распределений, имеющих такие же первые два момента (вектор математических ожиданий координат случайного вектора и его корреляционную матрицу), как и исходные вектора. От одинаковой распределенности можно отказаться, но это потребует некоторого усложнения символики. В целом из теоремы о многомерной сходимости вытекает, что многомерный случай ничем принципиально не отличается от одномерного.

Пример. Пусть X 1 , … X n ,…– независимые одинаково распределенные случайные величины. Рассмотрим k -мерные независимые одинаково распределенные случайные вектора

Их математическое ожидание – вектор теоретических начальных моментов, а ковариационная матрица составлена из соответствующих центральных моментов. Тогда - вектор выборочных центральных моментов. Многомерная центральная предельная теорема утверждает, что имеет асимптотически нормальное распределение. Как вытекает из теорем о наследовании сходимости и о линеаризации (см. ниже), из распределения можно вывести распределения различных функций от выборочных начальных моментов. А поскольку центральные моменты выражаются через начальные моменты, то аналогичное утверждение верно и для них.

Многие задачи ТВ связаны с изучением суммы независимых случайных величин, которая при определенных условиях имеет распределение, близкое к нормальному. Эти условия выражаются центральной предельной теоремой (ЦПТ).

Пусть ξ 1, ξ 2 , …, ξ n , …– последовательность независимых случайных величин. Обозначим

n η = ξ 1 + ξ 2 +…+ ξ n. Говорят, что к последовательности ξ 1, ξ 2 , …, ξ n , … применима ЦТП,

если при n → ∞ закон распределения η n стремится к нормальному:

Суть ЦПТ: при неограниченном увеличении числа случайных величин закон распределения их суммы стремится к нормальному.

Центральная предельная теорема Ляпунова

Закон больших чисел не исследует вид предельного закона распределения суммы случайных величин. Этот вопрос рассмотрен в группе теорем, называемых центральной предельной теоремой. Они утверждают, что закон распределения суммы случайных величин, каждая из которых может иметь различные распределения, приближается к нормальному при достаточ-но большом числе слагаемых. Этим объясняется важность нормального закона для практичес-ких приложений.

Характеристические функции.

Для доказательства центральной предельной теоремы используется метод характеристичес-ких функций.

Определение 14.1. Характеристической функцией случайной величины Х называется функция

g (t ) = M ( e itX ) (14.1)

Таким образом, g (t ) представляет собой математическое ожидание некоторой комплексной случайной величины U = e itX , связанной с величиной Х . В частности, если Х – дискретная случайная величина, заданная рядом распределения, то

. (14.2)

Для непрерывной случайной величины с плотностью распределения f (x )

(14.3)

Пример 1. Пусть Х – число выпадений 6 очков при одном броске игральной кости. Тогда по формуле (14.2) g (t ) =

Пример 2. Найдем характеристическую функцию для нормированной непрерывной случайной величины, распределенной по нормальному закону . По формуле (14.3) (использовалась формула и то, что i ² = -1).

Свойства характеристических функций.

1. Функцию f (x ) можно найти по известной функции g (t ) по формуле

(14.4)

(преобразование (14.3) называется преобразованием Фурье , а преобразование (14.4) – обратным преобразованием Фурье ).

2. Если случайные величины Х и Y связаны соотношением Y = aX , то их характеристические функции связаны соотношением

g y (t ) = g x (at ). (14.5)

3. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых: для

Теорема 14.1 (центральная предельная теорема для одинаково распределенных слагае-мых). Если Х 1 , Х 2 ,…, Х п ,… - независимые случайные величины с одинаковым законом распределения, математическим ожиданием т и дисперсией σ 2 , то при неограниченном увеличении п закон распределения суммы неограниченно приближается к нор-мальному.

Доказательство.

Докажем теорему для непрерывных случайных величин Х 1 , Х 2 ,…, Х п (доказательство для дискретных величин аналогично). Согласно условию теоремы, характеристические функции слагаемых одинаковы: Тогда по свойству 3 характеристическая функция суммы Y n будет Разложим функцию g x (t ) в ряд Маклорена:

, где при .

Если предположить, что т = 0 (то есть перенести начало отсчета в точку т ), то .

(так как т = 0). Подставив полученные результаты в формулу Маклорена, найдем, что

.

Рассмотрим новую случайную величину , отличающуюся от Y n тем, что ее дисперсия при любом п равна 0. Так как Y n и Z n связаны линейной зависимостью, достаточно доказать, что Z n распределена по нормальному закону, или, что то же самое, что ее характе-ристическая функция приближается к характеристической функции нормального закона (см. пример 2). По свойству характеристических функций

Прологарифмируем полученное выражение:

где

Разложим в ряд при п → ∞, ограничившись двумя членами разложения, тогда ln(1 - k ) ≈ - k .

Где последний предел равен 0, так как при . Следовательно, , то есть - характеристическая функция нормального распределения. Итак, при неограниченном увеличении числа слагаемых характеристическая функция величины Z n неограниченно приближается к характеристической функции нормального закона; следова-тельно, закон распределения Z n (и Y n ) неограниченно приближается к нормальному. Теорема доказана.

А.М.Ляпунов доказал центральную предельную теорему для условий более общего вида:

Теорема 14.2 (теорема Ляпунова). Если случайная величина Х представляет собой сумму очень большого числа взаимно независимых случайных величин, для которых выполнено условие:

где b k – третий абсолютный центральный момент величины Х к , а D k – ее дисперсия, то Х имеет распределение, близкое к нормальному (условие Ляпунова означает, что влияние каждого слагаемого на сумму ничтожно мало).

Практически можно использовать центральную предельную теорему при достаточно небольшом количестве слагаемых, так как вероятностные расчеты требуют сравнительно малой точности. Опыт показывает, что для суммы даже десяти и менее слагаемых закон их распределения можно заменить нормальным.

Рассмотренный выше закон больших чисел устанавливает факт приближения средней большого числа случайных величин к определен- н ы м ностоянн ы м. Но этим не ограничиваются закономерности, возникающие в результате суммарного действия случайных величии. Оказывается, что при некоторых весьма общих условиях совокупное действие большого числа случайных величин приводит к определен - н о м у, а именно - к н о р м а л ь н о м у закону распределения.

Центральная предельная теорема представляет собой группу теорем, посвященных установлению условий, при которых возникает нормальный закон распределения. Среди этих теорем важнейшее место принадлежит теореме Ляпунова.

Теорема Ляпунова. Если Х { , Х ъ ..., , у каждой из которых существует математическое ожидание М(Х г) = а ,

дисперсия 0(Хд =а 2 , абсолютный центральный момент третьего порядка и

то закон распределения суммы при п -> оо неограничен

но приближается к нормальному с математическим ожиданием и дисперсией

Теорему принимаем без доказательства.

Неограниченное приближение закона распределения суммы

к нормальному закону при п -> оо в соответствии со свойствами нормального закона означает, что

где Ф(г) - функция Лапласа (2.11).

Смысл условия (6.20) состоит в том, чтобы в сумме не было

слагаемых, влияние которых на рассеяние У п подавляюще велико по сравнению с влиянием всех остальных, а также не должно быть большого числа случайных слагаемых, влияние которых очень мало по сравнению с суммарным влиянием остальных. Таким образом, удельный вес каждого отдельного слагаемого должен стремиться к нулю при увеличении числа слагаемых.

Так, например, потребление электроэнергии для бытовых нужд за месяц в каждой квартире многоквартирного дома можно представить в виде п различных случайных величин. Если потребление электроэнергии в каждой квартире по своему значению резко не выделяется среди остальных, то на основании теоремы Ляпунова можно считать, что потребление электроэнергии всего дома, т.е. сумма п независимых случайных величин будет случайной величиной, имеющей приближенно нормальный закон распределения. Если, например, в одном из помещений дома разместится вычислительный центр, у которого уровень потребления электроэнергии несравнимо выше, чем в каждой квартире для бытовых нужд, то вывод о приближенно нормальном распределении потребления электроэнергии всего дома будет неправомерен, так как нарушено условие (6.20), ибо потребление электроэнергии вычислительного центра будет играть превалирующую роль в образовании всей суммы потребления.

Другой пример. При устойчивом и отлаженном режиме работы станков, однородности обрабатываемого материала и т.д. варьирование качества продукции принимает форму нормального закона распределения в силу того, что производственная погрешность представляет собой результат суммарного действия большого числа случайных величин: погрешности станка, инструмента, рабочего и т.д.

Следствие. Если Х { , Х 2 , ..., Х п - независимые случайные величины , у которых существуют равные математические ожидания М(Х {) = а , дисперсии 0(Х,) = а 2 и абсолютные центральные моменты третьего

порядка то закон распределения суммы

при п -> со неограниченно приближается к нормальному

закону.

Доказательство сводится к проверке условия (6.20):

следовательно, имеет место и равенство (6.21). ?

В частности, если все случайные величины Х } одинаково распределены , то закон распределения их суммы неограниченно приближается к нормальному закону при п -> оо.

Проиллюстрируем это утверждение па примере суммирования независимых случайных величин, имеющих равномерное распределение на интервале (0, 1). Кривая распределения одной такой случайной величины показана на рис. 6.2, а. На рис. 6.2, б показана плотность вероятности суммы двух таких случайных величин (см. пример 5.9), а на рис. 6.2, в - плотность вероятности суммы трех таких случайных величин (ее график состоит из трех отрезков парабол на интервалах (0; 1), (1; 2) и (2; 3) и но виду уже напоминает нормальную кривую).

Если сложить шесть таких случайных величин, то получится случайная величина с плотностью вероятности, практически не отличающейся от нормальной.

Теперь у нас имеется возможность доказать локальную и ипте- гральную теоремы Муавра - Лапласа (см. параграф 2.3).

Рассмотрим случайную величину - число появлений события в п независимых испытаниях, в каждом из которых оно может появиться с одной и той же вероятностью р, т.е. X = т - случайная величина, имеющая биномиальный закон распределения, для которого математическое ожидание М(Х) = пр и дисперсия О(Х) = пру.

Случайная величина 7, так же как случайная величина X, вообще говоря, дискретна, но при большом числе п испытаний ее значения расположены на оси абсцисс так тесно, что ее можно рассматривать как непрерывную с плотностью вероятности ср(х).

Найдем числовые характеристики случайной величины 7, используя свойства математического ожидания и дисперсии:

В силу того, что случайная величина X представляет собой сумму независимых альтернативных случайных величин (см. параграф 4.1), случайная величина 2 представляет также сумму независимых, одинаково распределенных случайных величин и, следовательно, на основании центральной предельной теоремы при большом числе п имеет распределение, близкое к нормальному закону с параметрами а = 0, с 2 = 1. Используя свойство (4.32) нормального закона, с учетом равенств (4.33) получим

Полагая , с учетом того, что получаем,

что двойное неравенство в скобках равносильно неравенству аВ результате из формулы (6.22) получим интегральную формулу Муавра - Лапласа (2.10):

Вероятность Р т п того, что событие А произойдет т раз в п независимых испытаниях, можно приближенно записать в виде

Чем меньше Ат, тем точнее приближенное равенство. Минимальное (целое) Ат - 1. Поэтому, учитывая формулы (6.23) и (6.22), можно записать:

где

При малых Дг имеем

где ф(г) - плотность стандартной нормально распределенной случайной величины с параметрами а = 0, а 2 = 1, т.е.

Полагая , из формулы

(6.25) с учетом равенства (6.24) получим локальную формулу Муавра - Лапласа (2.7):

Замечание. Необходимо соблюдать известную осторожность, применяя центральную предельную теорему в статистических исследованиях. Так, если сумма при п -> оо всегда имеет нормальный закон

распределения, то скорость сходимости к нему существенно зависит от типа распределения ее слагаемых. Так, например, как отмечено выше, при суммировании равномерно распределенных случайных величин уже при 6-10 слагаемых можно добиться достаточной близости к нормальному закону, в то время как для достижения той же близости при суммировании х 2 -распределенных случайных слагаемых понадобится более 100 слагаемых.

Опираясь на центральную предельную теорему, можно утверждать, что рассмотренные в гл. 4 случайные величины, имеющие законы распределения - биномиальный, Пуассона, гипергеометрический, у} («хи-квадрат»), Ь (Стьюдента), при п -> оо распределены асимптотически нормально.

Кроме теорем, относящихся к закону больших чисел, существует еще одна группа теорем, которые образуют так называемую центральную предельную теорему. Эта группа теорем определяет условия, при которых возникает нормальный закон распределения. Такие условия достаточно часто встречаются на практике, что, по сути, и является объяснением того, что нормальный закон наиболее часто используется в случайных явлениях на практике. Различие форм центральной предельной теоремы состоит в формулировке разных условий, накладываемых на сумму рассматриваемых случайных величин. Важнейшее место среди всех этих форм принадлежит теореме Ляпунова.

Теорема Ляпунова. Если Х 1 , Х 2 , … , Х n – независимые случайные величины, имеющие конечные математические ожидания и дисперсии, при этом ни одна из величин по своему значению резко не отличается от всех остальных, т.е. оказывает на сумму этих величин ничтожно малое влияние, то при неограниченном увеличении числа случайных величин n , закон распределения их суммы неограниченно приближается к нормальному.

Следствие. Если все случайные величины Х 1 , Х 2 , … , Х n одинаково распределены, то закон распределения их суммы неограниченно приближается к нормальному при неограниченном увеличении числа слагаемых.

Теорема Ляпунова имеет большое практическое значение. Опытным путем было установлено, что приближение к нормальному закону идет достаточно быстро. При выполнении условий теоремы Ляпунова закон распределения суммы даже десяти слагаемых уже можно считать нормальным.

Существует более сложная и более общая форма теоремы Ляпунова.

Общая теорема Ляпунова. Если Х 1 , Х 2 , … , Х n – независимые случайные величины, имеющие математические ожидания а i , дисперсии σ 2 i , центральные моменты третьего порядка т i и

то закон распределения суммы Х 1 + Х 2 + … + Х n при n неограниченно приближается к нормальному с математическим ожиданием и дисперсией .

Смысл условия (2.1) состоит в том, чтобы в сумме случайных величин не было бы ни одного слагаемого, влияние которого на рассеивание суммы величин было бы подавляюще велико по сравнению с влиянием всех остальных случайных величин. Кроме этого, не должно быть большого числа слагаемых, влияние которых на рассеивание суммы очень мало по сравнению с суммарным влиянием остальных.

Одной из самых первых форм центральной предельной теоремы была доказана теорема Лапласа.

Теорема Лапласа. Пусть производится n независимых опытов, в каждом из которых событие А появляется с вероятностью р , тогда при больших n справедливо приближенное равенство

(2.2)

где Y n – число появлений события А в n опытах; q =1-p ; Ф(х ) – функция Лапласа.

Теорема Лапласа позволяет находить приближенно вероятности значений биномиально распределенных случайных величин при больших значениях величины n . Однако при этом, вероятность р не должна быть ни достаточно маленькой, ни достаточно большой.

Для практических задач часто используется другая форма записи формулы (2.2), а именно

(2.3)

Пример 2.1. Станок выдает за смену n =1000 изделий, из которых в среднем 3% дефектных. Найти приближенно вероятность того, что за смену будет изготовлено не менее 950 хороших (без дефекта) изделий, если изделия оказываются хорошими независимо друг от друга.

Решение . Пусть Y – число хороших изделий. По условию задачи р = 1-0,03=0,97; число независимых опытов n =1000. Применим формулу (2.3):

Пример 2.2, В условиях предыдущего примера выяснить сколько хороших изделий k должен вмещать ящик, чтобы вероятность его переполнения за одну смену не превысила 0,02.

Решение . Из условия ясно, что . Найдем из этого условия число k . Имеем
, т.е. .

По таблице функции Лапласа по значению 0,48 находим аргумент, равный 2,07. Получаем
. ■

Пример 2.3. В банке в определенную кассу за получением некоторых денежных сумм стоят 16 человек. В настоящее время в этой кассе имеется 4000 ден. ед. Суммы Х i , которые необходимо выплатить каждому из 20 человек – это случайные величины с математическим ожиданием т = 160 ден.ед. и средним квадратическим отклонением σ = 70 ден.ед. Найти вероятность того, что денег, имеющихся в кассе, не хватит для выплаты всем стоящим в очереди.

Решение . Применим теорему Ляпунова для одинаково распределенных случайных величин. Величину n = 20 можно считать достаточно большой, следовательно, общую сумму выплат Y = Х 1 + Х 2 + … + Х 16 можно считать случайной величиной распределенной по нормальному закону с математическим ожиданием т у = nт = 20 160= 3200 и среднеквадратическим отклонением .