ВЕРОЯТНОСТЕЙ ТЕОРИЯ Современная теория вероятностей, подобно другим разделам математики, например геометрии, состоит из результатов, выводимых логическим путем из некоторых основных утверждений, или аксиом, и приложений к ситуациям в реальной жизни, относительно которых предполагается, что они согласуются с аксиомами. Трудность теории вероятностей заключается в том, что объекты, составляющие предмет ее изучения, носят гораздо более общий характер и поэтому не столь наглядны, как, например, объекты геометрии или механики. Теория вероятностей занимается изучением событий и их вероятностей, представляемых числами, заключенными в интервале от 0 до 1. В случае исторически знаменитых задач, связанных с азартными играми, можно интуитивно понять, как должна быть сформулирована соответствующая математическая задача. Такая задача обычно имела следующий вид: заданы вероятности некоторых элементарных событий; требуется вычислить вероятность какого-нибудь более сложного события, связанного с элементарными событиями некоторым простым образом. Прежде чем мы более подробно представим современную теорию, полезно проиллюстрировать интуитивную теорию и ее методы на примере.
Вычислим вероятность того, что некоторому игроку в бридж достанется один или несколько тузов. В качестве элементарных событий удобно рассматривать получение на руки возможных вариантов из 13 карт. Необходимо, чтобы распределение вероятностей между наборами имеющихся у игроков карт, т.е. элементарными событиями, отражало наше убеждение в том, что карты сдавались весьма специальным образом, а именно случайно. Постулат, который мы примем, сводится к определению того, что мы понимаем под случайной сдачей карт. Мы постулируем, что любой набор из 13 карт, который может достаться игроку при раздаче, равновероятен. Какова эта вероятность? Ответ на этот вопрос может дать интуитивно очевидный принцип, служащий основным методом теории вероятностей: если имеется несколько взаимоисключающих событий (таких, что каждый раз происходит только одно из них), то вероятность того, что произойдет по крайней мере одно из них, равна сумме вероятностей каждого из событий в отдельности. Кроме того, потребуем, чтобы вероятность события, которое заведомо происходит, была равна единице.
Сделанные замечания позволяют решить нашу задачу. Пусть n - число различных вариантов наборов карт, которые может получить игрок, A1, A2, ?, An - события, соответствующие получению каждого из этих наборов, и P(A1), P(A2), ?, P(An) - вероятности этих событий. Пусть A - событие, состоящее в том, что игрок получает набор карт, содержащий один или несколько тузов, и m - число наборов из 13 карт, каждый из которых содержит один или несколько тузов, B1, B2, ?, Bm - события, соответствующие получению такого набора. Тогда A - событие, состоящее в том, что наступает одно из множества событий B1, B2, ?, Bm. Наконец, пусть P (A) - вероятность события A. Так как события A1, A2, ?, An равновероятные и взаимоисключающие, причем одно из них достоверно происходит, то
и, следовательно,
Аналогично,
в силу чего окончательно получаем
Этот результат сводит исходную задачу к чисто комбинаторной задаче нахождения чисел m и n. Последняя легко решается с помощью теории перестановок и сочетаний, некогда бывшей существенной частью теории вероятностей, но ныне таковой не являющейся. Число n есть просто число способов, которыми можно выбрать 13 карт из 52. Используя стандартные обозначения, находим
Вместо числа m проще найти число (n - m) - число наборов из 13 карт, не содержащих ни одного туза, или число способов, которыми можно выбрать 13 карт из 48:
Следовательно,
Было бы ошибкой полагать, что решение любой вероятностной задачи всегда можно представить в виде простого отношения двух чисел вида P (A) m/n. Приведенное рассуждение показывает, что такое отношение (числа благоприятных случаев к общему числу случаев) выражает вероятность, которую требуется найти, если элементарные события равновероятны.
По-видимому, наиболее важной ситуацией, в которой изложенный выше метод неприменим, является биномиальное распределение вероятностей. Представим себе, что некоторое испытание проводится n раз, причем каждый раз его исход может быть либо благоприятным У ("успех"), либо неблагоприятным Н ("неудача"). Элементарными событиями можно считать все возможные последовательности У и Н (их общее число равно 2n), каждая такая последовательность содержит n символов. В этом случае вероятности элементарных событий невозможно вывести из постулата о равновероятности всех последовательностей из n символов, содержащих одинаковое количество У и Н. Их невозможно получить и из дополнительного постулата о том, что вероятность отдельного благоприятного исхода равна p, а вероятность одного неблагоприятного исхода равна 1 - p. Необходимо также в явном виде указать, каким образом вероятность будущих исходов испытаний зависит от прошлых исходов. Простейшее предположение состоит в том, что будущие исходы не зависят от прошлых, что довольно часто встречается на практике. Его можно формально выразить, постулировав, что вероятность любой заданной последовательности У и Н равна произведению вероятностей отдельных исходов. При таких предположениях вероятность, например, последовательности исходов УУУНУНН равна p4(1 - p)3. Нетрудно показать, что в общем случае вероятность получения ровно k благоприятных исходов в n испытаниях равна
Рассматриваемые нами простые методы и идеи решают большой круг различных задач, имеющих практическое значение почти во всех областях современной жизни. Например, теория статистического выборочного метода служит основой столь разных приложений, как опросы общественного мнения и контроль качества продукции на современных промышленных предприятиях. В современном естествознании простые комбинаторные задачи теории вероятностей занимают центральное место в кинетической теории газов, в классической (менделевской) и современной генетике.
Наконец, невозможно переоценить внутренние связи теории вероятностей с другими областями математики. В 1908 Э.Борель опубликовал работу, имевшую важное значение для последующего развития теории вероятностей. В этой работе он показал, что задачу о последовательных независимых испытаниях, которую мы рассматривали выше, можно интерпретировать как задачу из теории чисел. Если произвольное действительное число x, лежащее между 0 и 1, разложить в двоичную дробь, то цифры такого разложения (нули и единицы) ведут себя так же, как символы У и Н, о которых шла речь выше: они имеют вероятности p 1/2 и независимы. (Результат Бореля, грубо говоря, состоит в том, что в двоичном разложении почти любого числа x доли нулей и единиц равны.) Как это часто бывает в науке, связь, установленная между, казалось бы, далекими друг от друга теориями, оказалась необычайно ценной. Работа Бореля способствовала построению современной аксиоматической теории вероятностей, предложенной 20 годами позднее А.Н.Колмогоровым, которую мы рассмотрим в следующем разделе. Затем будет показано, каким образом теория вероятностей позволяет проверять адекватность данной модели той реальной ситуации, которую она призвана представлять. Ответ на этот вопрос дается с помощью закона больших чисел, который был поставлен Борелем на прочный и не вызывающий сомнений фундамент. И в заключение мы рассмотрим временные последовательности случайных событий (стохастические процессы).
Пространство элементарных событий. В теории множеств запись A B ("объединение" множеств A и B) обозначает множество элементов (точек), принадлежащих множеству A, или множеству B, или множествам A и B одновременно, а запись A B ("пересечение" множеств A и B) - множество, элементы которого принадлежат множествам A и B одновременно. Запись A1 A2 ј An, или сокращенно , означает "объединение" n множеств A1, A2, ?, An; аналогично, означает объединение бесконечной последовательности множеств A1, A2, ?; n множеств A1, A2, ?, An, а - "пересечение" бесконечной последовательности множеств. Наконец, C (A) ("дополнение" множества A) означает множество всех элементов, не принадлежащих множеству A (см. также МНОЖЕСТВ ТЕОРИЯ).
Подобно тому, как в геометрии для строгой формулировки задачи необходимо построить пространство неопределяемых далее объектов, называемых точками, прямыми и т.д., которые удовлетворяют определенным аксиомам, формулировка вероятностной задачи требует введения пространства, называемого пространством элементарных событий, элементы которого могут быть произвольной природы и различными в разных задачах. (Хотя мы используем геометрический язык, пространство элементарных событий, как правило, не является пространством в обычном смысле; см. также АБСТРАКТНЫЕ ПРОСТРАНСТВА.) Обозначим пространство элементарных событий (или элементарных исходов) через ?, его подмножества - через A, B, C, ? и некоторую совокупность подмножеств из ? - через . Совокупность подмножеств выбирается, исходя из следующих постулатов: ? должно принадлежать ; должно принадлежатьA1, A2, ? множеств из совокупности должны принадлежать и ; для каждого A из совокупности должно принадлежать и C (A).
Вероятностная интерпретация этих аксиом заключается в следующем: совокупность Вероятностная интерпретация этих аксиом заключается в следующем: совокупность A1, A2, ?, а также достоверное событие ?, событие , состоящее в том, что происходят все события Ai, и событие , состоящее в том, что происходит по крайней мере одно событие из Ai, и C(A) - событие, состоящее в том, что событие A не происходит.
Такова первая часть системы аксиом. Остальные аксиомы относятся к действительнозначной функции P (A), которая называется "вероятностью" множества (события) A и определена для любого A из . Она должна удовлетворять условиям: 0 ? P (A) ? 1 для любого A из ; P (?) 1 и если A1, A2, ? - последовательность множеств из , такая, что объединение Ai Aj пусто при любом i, отличном от j, то
Самый важный частный случай последнего из перечисленных условий соответствует выбору A1 A, A2 B, а все остальные Ai C (?) (пустому множеству). Условие при этом сводится к тому, что пересечение A B - пустое множество. В свою очередь это означает, что A и B не могут происходить одновременно, или что события A и B "взаимоисключающие". Условие
означает, что вероятность наступления одного из двух взаимоисключающих событий равна сумме их вероятностей.
Система, удовлетворяющая принятым аксиомам относительно тройки (?, , P), называется вероятностным пространством и с точки зрения математика является частным случаем системы аксиом современной теории интегрирования или теории меры (см. также ФУНКЦИЙ ТЕОРИЯ).
В вероятностном пространстве (?, , P) может существовать пара (или много пар) событий A и B из , таких, что
О двух событиях A и B, обладающих этим свойством, говорят, что они "независимы". Независимость некоторых пар событий может быть интуитивно очевидной и даже служить своего рода путеводной нитью при построении вероятностного пространства. Так было, когда мы предположили, что вероятность следующих друг за другом исходов последовательных У и Н в серии испытаний равна произведению вероятностей отдельных событий У и Н. В более сложных моделях проверка независимости может быть сопряжена с определенными трудностями, но обычно позволяет по-новому взглянуть на ситуацию, представленную с помощью пространства элементарных событий.
Чтобы проиллюстрировать изложенную выше теорию, рассмотрим задачи, которые были приведены ранее. В качестве пространства элементарных событий для игры в бридж проще всего принять пространство всеx n взяток, а в качестве - совокупность всех подмножеств из ?. В примере с серией испытаний проще всего выбрать за множество всех серий длины n, состоящих из двух символов, а в качестве - снова совокупность всех подмножеств из ?. Таким образом, любое событие определяется тем, что происходит при одном или нескольких из n испытаний из . Тем не менее такого конечного пространства элементарных событий недостаточно для описания всех возможных случаев. Чтобы пояснить это обстоятельство, приведем несколько примеров.
Пример 1. Найти вероятность наступления первого У после k испытаний. Заметим, что ни одно конечное пространство элементарных событий не охватывает все k. Однако можно построить бесконечное пространство элементарных событий, которого будет достаточно для любого k. (В этом случае ? состоит из всех возможных бесконечных последовательностей У и Н, но оказывается очень сложным.) Пусть p - вероятность того, что первый исход У наступает при k-м испытании. Можно показать, что p (1 - p)k - 1p. Кроме того, используя бесконечное пространство элементарных событий, можно показать, что наступление рано или поздно У - достоверное событие, если p 0. Это обстоятельство находит отражение в том, что . Решение нашей задачи о вероятности того, что первый исход У наступает после k испытаний, дается формулой
Пример 2. Найти вероятность того, что при некотором k происходит "выравнивание", т.е. число исходов У становится равным числу исходов Н. В этой задаче бесконечное пространство элементарных событий работает уже на "всю мощь", так как в любом конечном пространстве элементарных событий такое явление, как наступление рано или поздно выравнивания, не наблюдается. Можно показать, что вероятность происходящего в конце концов выравнивания равна 1 - 1 - 2p. Отсюда мы заключаем, что такое выравнивание достоверно тогда и только тогда, когда вероятности У и Н равны.
С предыдущими задачами тесно связана важная вероятностная модель, известная под названием "случайного блуждания" на целых числах. Наглядно это можно представить так: частица, которая при t 0 находится в точке 0, совершает скачок (переход) в момент времени 1 либо в точку +1 (с вероятностью p), либо в точку -1 (с вероятностью (1 - p)). Следовательно, если частица в момент времени n оказывается в точке k, то в момент времени n + 1 она с вероятностью p переходит в точку k + 1 и с вероятностью 1 - p - в точку k - 1. Из примера 2 следует, что возвращение в исходную точку достоверно тогда и только тогда, когда p 1/2 т.е. в случае т.н. симметричного случайного блуждания. Модификации и обобщения задачи о случайном блуждании представляют интерес не только в задачах, связанных с азартными играми (состояние в момент времени n в таких задачах можно интерпретировать как денежную сумму, которой располагает игрок в этот момент времени; можно поинтересоваться, например, какова вероятность, что игрок выиграет некоторую сумму денег прежде, чем проиграет свой начальный капитал); случайные блуждания имеют первостепенное значение для т.н. последовательного статистического анализа, самой общей теории проверки статистических гипотез.
Некоторые из описанных выше случайных явлений могут быть естественным образом представлены действительнозначными величинами, такими как X - количество исходов У в серии из n испытаний или Y - количество испытаний до наступления первого исхода У в той же серии испытаний. Важнейшее достижение аксиоматической формулировки теории вероятностей состоит в том, что она предлагает простой способ изучения таких величин, называемых случайными величинами. Случайные величины можно определить как функции, заданные на пространстве элементарных событий (действительно, для каждой точки пространства ? случайная величина X имеет заданное значение), и производить над ними многие обычные операции математического анализа, такие как сложение, умножение и даже интегрирование. Интеграл от случайной величины Z (принимающей целочисленные значения) можно определить как сумму
E(Z) называется "математическим ожиданием" случайной величины Z. Например, определенные выше случайные величины X и Y имеют математические ожидания
На интуитивном уровне понятие случайной величины достаточно ясно, так что оно довольно часто возникает еще до построения пространства элементарных событий. Ученый может заниматься изучением некоторой величины X, значения которой случайны либо из-за наличия экспериментальной ошибки (как в физических измерениях), либо потому, что эксперимент проводится на одном случайно выбранном элементе некоторой совокупности, состоящей из многих аналогичных элементов (например, рост какого-либо представителя расово однородной популяции взрослых или срок службы одного из изделий, выбранных из партии изделий массового производства, например плавких предохранителей, произведенных в одинаковых условиях). Возникает необходимость построить пространство элементарных событий, содержащее любое событие вида X ? x, где x принимает действительные значения. Это можно сделать, и вероятность такого события F (x) P {X ? x} называется функцией распределения случайной величины X. Понятие функции распределения играет важную роль, поскольку позволяет определить математическое ожидание случайной величины X через F (x) с помощью интегрирования. Дисперсия случайной величины X определяется как
и служит удобной мерой разброса, так как равна нулю тогда и только тогда, когда случайная величина X постоянна.
Две случайные величины X1 и X2, определенные на одном и том же пространстве элементарных событий, называются "независимыми", если каждое событие вида X1 ? x не зависит от любого события вида X2 ? x, где x - любое действительное число. Важное значение имеют следующие теоремы: для любых двух случайных величин с конечными математическими ожиданиями
для любых двух независимых случайных величин с конечными дисперсиями
и, наконец, неравенство Чебышева, которое утверждает, что при любом ? Помимо грубой оценки вероятности больших отклонений, это неравенство лежит в основе доказательства закона больших чисел, который мы сформулируем в следующем разделе.
Закон больших чисел и предельные теоремы. Определенное в предыдущем разделе математическое ожидание случайной величины играет важную роль в теории вероятностей и ее приложениях. Объясняется это тем, что большинству случайных явлений присущи закономерности, которые проявляются при больших значениях n. Иначе говоря, можно показать, что хотя исход одного испытания может быть случайным и поэтому непредсказуемым, некоторые свойства исходов длинной серии одинаковых независимых испытаний можно предсказать с достаточно большой точностью.
Рассмотрим пример. Пусть Sn - число благоприятных исходов в серии из n независимых испытаний, причем вероятность каждого благоприятного исхода равна p. Так называемый слабый закон больших чисел (сформулированный Я.Бернулли и опубликованный в "Искусстве предположений" в 1713 его братом И.Бернулли) утверждает, что при любом ? 0
Эту теорему можно обобщить, если представить Sn как сумму независимых случайных величин
где Xk равна 1 или 0 в зависимости от того, будет ли исход k-го испытания благоприятным или неблагоприятным. Кроме того,
что позволяет записать теорему Бернулли в виде
при любом ? 0.
Известно, что этот результат остается в силе для произвольной последовательности X1, X2, ... таких независимых случайных величин с конечным математическим ожиданием. Следовательно, математическое ожидание случайной величины можно оценить со сколь угодно малой вероятностью ошибки, превышающей ?, с помощью последовательности выборочных средних (X1 + X2 + ??+Xn)/n при больших n.
Такого рода задачи относятся к области статистики, которая позволяет ответить и на многие другие вопросы. Располагая достаточно большим числом независимых наблюдений случайной величины X с (неизвестной) функцией распределения F (X), можно оценить F(X) одновременно для всех значений X с произвольно малой вероятностью того, что ошибка при любом значении X превосходит ?.
Так как выборочные средние при общих условиях стремятся к некоторому числу (математическому ожиданию), естественно исследовать поведение разности между выборочным средним и математическим ожиданием при больших n. Пусть X1, X2, ? - одинаково распределенные независимые случайные величины с математическим ожиданием m и дисперсией ?2. Тогда величина
имеет математическое ожидание nm и дисперсию n? 2. Таким образом, вместо исходной последовательности случайных величин можно изучать последовательность случайных величин
с нулевым математическим ожиданием и дисперсией равной 1. Центральная предельная теорема, частный случай которой был известен еще А.де Муавру в 1732 для независимых случайных величин Xk, принимающих с вероятностью p значение 1 и с вероятностью (1 - p) значение 0, утверждает, что
Функция ??x) называется функцией нормального или гауссовского распределения. Центральная предельная теорема и некоторые ее обобщения справедливы и для неодинаково распределенных случайных величин, что позволяет дать разумное эмпирическое объяснение, почему столь многие явления в окружающем нас мире имеют гауссовское или почти гауссовское распределение. Дело в том, что многие количественные явления представляют собой суммы многих малых независимых или почти независимых случайных величин.
Исторически центральная предельная теорема была первым и, по-видимому, наиболее важным результатом такого типа, однако она дает лишь одно из многих возможных предельных распределений, которые могут быть получены с помощью соответствующей нормировки (стандартизации) сумм или функционал от сумм независимых случайных величин. Наши знания в этой области теории вероятностей далеко не полны.
Условные вероятности и случайные процессы. Понятие условной вероятности имеет неоценимое значение для упоминавшегося ранее обобщения модели случайного блуждания. В этом случае необходимо определить вероятность того, что в момент времени t + 1 частица будет находиться во множестве состояний E при условии, что в момент времени t она находилась в состоянии k. Такая вероятность называется "условной" и определяется следующим общим правилом: если A и B - множества из , принадлежащие вероятностному пространству (?, , P), и если P (B) 0, то условная вероятность события A при условии, что событие B наступило, обозначается P (A|B) и определяется по формуле
Заметим, что A и B независимы, если P (A|B) P (A).
Простейший тип случайного процесса можно представить себе как случайное движение по N точкам (состояниям). Пусть pjk - условная вероятность того, что частица будет находиться в момент времени t + 1 в состоянии k при условии, что в момент времени t она находится в состоянии j. Числа pjk, не зависящие от t, называются вероятностями переходов (или переходными вероятностями). Такой случайный процесс (или случайное движение) называется "цепью Маркова", если дополнительно предполагается, что состояние в момент времени t + 1 не зависит от состояний в моменты времени 0, 1, 2, ?, t - 1, при условии, что состояние в момент времени t известно.
Вероятности одношаговых переходов удобно интерпретировать как элементы матрицы ? (pjk) размером N?N, j, k 1, 2, ?, N. Здесь ? называется матрицей переходов, а сумма элементов в каждой строке равна 1. Используя обычное умножение матриц, матричные элементы r-й степени матрицы ? можно определить как
Вычисления на основе определения условных вероятностей показывают, что числа представляют вероятности r-шагового перехода в цепи Маркова. Их можно представить следующим образом:
С практической точки зрения важно знать, что происходит с такой системой по истечении длительного промежутка времени. И снова, хотя отдельные переходы носят случайный характер, долговременное поведение цепи Маркова предсказуемо. Чтобы устранить возможность того, что некоторые состояния никогда не будут достигнуты, мы примем дополнительное ограничительное предположение, согласно которому все pjk положительны. Для такой цепи Маркова (называемой "эргодической" или "возвратной") справедлива следующая теорема, называемая "эргодической теоремой":
При r ??? вероятность перехода стремится к некоторому числу ?k, не зависящему от j и такому, что 0 Распределение ?k называется стационарным распределением цепи Маркова. Величина ?k является также пределом математического ожидания доли времени, которое частица проводит в состоянии k, а ?k-1 - математическое ожидание промежутков времени между повторными возвращениями частицы в состояние k.
Поясним примером смысл приведенной выше теоремы. Пусть в каждой из двух урн U1 и U2 находится по N шаров. Половина шаров белые, другая половина - черные. Определим состояние системы в момент времени r как число белых шаров в урне U1 в момент времени r. Переход совершается путем выбора наугад по одному шару из каждой урны и переносу его в другую урну. Матрица переходов легко вычисляется. Хотя некоторые ее элементы равны нулю, можно показать, что условия приведенной выше теоремы выполняются. Стационарное распределение ?k оказывается таким, какое мы получили бы, если бы N шаров были извлечены наугад из урны U2 и помещены в урну U1, причем с вероятностью ?k в U1 находились бы k белых шаров.
Цепи Маркова служат хорошим введением в теорию случайных процессов, т.е. теорию простых последовательностей семейств случайных величин, обычно зависящих от параметра, который в большинстве приложений играет роль времени. Она предназначена, главным образом, для полного описания как долговременного, так и локального поведения процесса. Ниже приведены три наиболее изученных вопроса.
Броуновское движение и его обобщения - диффузионные процессы и процессы с независимыми приращениями. Теория случайных процессов способствовала углублению связи между теорией вероятностей, теорией операторов и теорией дифференциальных уравнений, что, помимо прочего, имело важное значение для физики и других приложений. К числу приложений относятся процессы, представляющие интерес для актуарной (страховой) математики, теории массового обслуживания, генетики, регулирования дорожного движения, теории электрических цепей, а также теории учета и накопления товаров.
Мартингалы. Эти процессы сохраняют достаточно свойств цепей Маркова, чтобы для них оставались в силе важные эргодические теоремы. От цепей Маркова мартингалы отличаются тем, что когда текущее состояние известно, только математическое ожидание будущего, но необязательно само распределение вероятностей, не зависит от прошлого. Помимо того, что теория мартингалов представляет собой важный инструмент для исследования, она обогатила новыми предельными теоремами теорию случайных процессов, возникающих в статистике, теории деления атомного ядра, генетике и теории информации.
Стационарные процессы. Самая старая из известных эргодических теорем (сформулированная Дж.Биркгофом и Дж.фон Нейманом в 1930) может быть интерпретирована как результат, описывающий предельное поведение стационарного случайного процесса. Такой процесс обладает тем свойством, что все вероятностные законы, которым он удовлетворяет, остаются инвариантными относительно сдвигов по времени. Эргодическую теорему, впервые сформулированную физиками в качестве гипотезы, можно представить как утверждение о том, что при определенных условиях среднее по ансамблю совпадает со средним по времени. Это означает, что одну и ту же информацию можно получить из долговременного наблюдения за системой и из одновременного (и одномоментного) наблюдения многих независимых копий той же самой системы. Закон больших чисел есть не что иное, как частный случай эргодической теоремы Биркгофа. Интерполяция и предсказание поведения стационарных гауссовских процессов, понимаемых в широком смысле, служат важным обобщением классической теории наименьших квадратов. Теория стационарных процессов - необходимое орудие исследования во многих областях, например, в теории связи, которая занимается изучением и созданием систем, передающих сообщения при наличии шума или случайных помех.