УДК 9.653 ПОЛУМАРКОВСКИЕ ПРОЦЕССЫ И ИХ ПРИМЕНЕНИЕ В; С. Королюк, С,' М. Броди, Глава i А. Ф. Турбин Г ПОЛУМАРКОВСКИЕ ПРОЦЕССЫ ВВЕДЕНИЕ Теория полумарковских процессов, имеющая немногим бо­ лее чем пятнадцатилетнюю' историю, является одним из ин­ тенсивно развиваемых направлении в теории случайных про­ цессов. Это связано, во-первых, с тем, что полумарковские процессы являются естественным и важным обобщением це­ пей и процессов Маркова, и, во-вторых, с тем, что полумарковские процессы позволяют естественным образом моде­ лировать реальные системы массового обслуживания, резервированные системы, стохастические автоматы и многие другие. В настоящем обзоре отражены работы по полумарковским процессам и их применениям, результаты которых стали общеупотребительными за период 1954—1971 гг. В обзор включены также некоторые статьи, опубликованные в 1972 г., в которых, по мнению авторов, завершается определенный круг исследований и которые были доступны авторам настоя­ щего обзора. Из опубликованных ранее обзоров и работ монографиче­ ского характера укажем на работы Цинлара [141], группы бельгийских и французских математиков [132], а также Штёрмера [233] и Д. С. Сильвестрова [99]. Авторы отдают себе полный отчет в том, что некоторые исследования по полумарковским процессам либо совсем не отмечены в обзоре, либо отмечены весьма конспективно, но Они считают, что все эти результаты должны стать предме­ том дальнейших обзоров, появление которых поможет как систематизации уже полученных результатов, так и стимули­ рованию новых исследований. 47 § 1. ОПРЕДЕЛЕНИЕ ПОЛУМАРКОВСКОГО ПРОЦЕССА Понятие полумарковского процесса '(ПМП) является ес­ тественным обобщением цепей Маркова и марковских про­ цессов. Известно, что однородная регулярная цепь Маркова с дискретным множеством состояний E—{0, 1, 2,...} задается производящей матрицей Q={i7ij, t, /€••--}• в которой qu = -qi = - ^д\г Эволюция цепи Маркова происходит следующим образом; в £-м состоянии система находится- случайное время 6i, распределенное по показательному закону с параметром Ц\, а затем переходит в /-ое состояние с вероятностью pii— — Riihi, h i € E. В 1954—1955 гг. независимо и почти одно­ временно Леви [194], Смит [227], Такач [235] предложили рассматривать стохастические системы, эволюционирующие .аналогично цепям Маркова, в которых, однако время пребы­ вания в t-м состоянии 8i имеет произвольные функции распре­ деления Pi(х). Такие системы получили название полумарковских. Строгие определения ПМП с различной степенью общно­ сти содержатся в работах Смита [227], Леви [194], Пайка [216], Пайка и Шауфеля [217], Цинлара [140] и др. Пусть Е—некоторое конечное или счетное подмножество множества целых неотрицательных чисел. О п р е д е л е н и е \Л. Полумаркоцской матрицей назовем матричнозначную функцию Q (x\ = {Qij (x), f , / € E } , удов­ летворяющую условиям: 1) Q ^ - o , x<o, /,/6E; 2) Q,/(x)— неубывающие измеримые функции; 3) ^Qu(oo)^h t£E. Пусть (Q, S3, P) — вероятностное пространство, на котором определены следующие величины: а) L(co), принимающая значения, из {1, 2,..., oo}; б) |п(со), определенные для 0{le}n<L(co) и принимающие значения из Е\ в) т-г(ш). определенные для 0{le}/x<L(co), принимающие .значения в '[0, оо] такие, что для почти всех со .-.Й 0 - = - 0 (ш) <-.-1 ( о > ) < . . . Предполагается, что для любого я ^ О ог-алгебра 93 содержит сг-алгебры, порожденные множествами 48 {ю : \т = к,т.т+1 — im < if, L (ш) > п, т -= 0, я), k£E, te[0,oo). О п р е д е л е н и е 1.2. -Процесс {.;„+i(и), -..+1, L} назы­ вается процессом марковского восстановления (ПМВ), порож­ денным полумарковской матрицей Q'(x), если P{Zn+l(m) = J, t J J + i < t | 5 0 , £1,... ,S„; т0Д.. ,x„} = — -?{-„+i = / . х п + 1 <^|е л , -„> = Qe„/(^ — -«> почти всюду на {со: L(cu)>/j} для каждого / 6 E . t€[0, 00), /z.>0. Определим 6 — - , + 1 - - в , л^>0. Тогда полумарков­ ская ,матрица Q (x) задает также • переходные вероятности двумерной цепи Маркова {-:„, б„, L}: Введем следующие величины С С—•> "----= SU P -«Н> 0<л<£ -N,-('0 = -V./(-:.b) = card{/i: .*, = /, t , . < t } , .W (t) =. TV (t, w)•= sup {n: tn < t}. 0<n<£ О п р е д е л е н и е 1.3. Процесс {i-(t), С} = {£.у(о> j-} н а з ы " '- вается ПМП, порожденным полумарковской матрицей Q (х). Для ПМП {-i(t),C} величины хп называют моментами пере­ хода (изменения состояния), \п определяют состояния в мо­ мент л-го перехода, 8„ называют временами пребывания ПМП в состоянии £.,, • N(*•) — общее число переходов за время t,, Nj(t), j6E, —-число попаданий в /-е состояние за время t; L — общее число переходов процесра, включая момент х 0 = 0. —> О У р Ж е ление 1.4. Процесс{N(t)xL}=*{Nj(t), j£E, L} называется, считающим (counting) процессом. О п р е д е л е н и е 1.5. Цепь Маркова {|п, L} называют цепью Маркова, вложенной в ПМВ, ПМП или считающий процесс соответственно *. , В зависимости от свойств полумарковской матрицы, за­ дающей ПМВ и ПМП, его траектории могут обладать качест­ венно различными свойствами. • * Термин «процесс марковского восстановления» (Markov Renewal -+ Process) был введен первоначально Пайком для процессов {N(t), L). Здесь приведена терминология, которая используется в литературе в по­ следние годы. 4 Заказ М 382 '49 Обычно рассматривается более узкий класс ПМП, у которого полумарковская матрица удовлетворяет дополнительно­ му условию 2 Q u ( ° ° ) — 2 A j — -- (i-2) Условие (1.2) эквивалентно тому, что L(CU)-—{infty} с вероят­ ностью единица. Процессы, удовлетворяющие условию (1.2),. называются консервативными. Всюду в дальнейшем, если не оговорено противное, будут рассматриваться именно консер­ вативные процессы. __• Однако и в случае консервативности процесса последний может обладать неприятными свойствами, например, число переходов процесса может быть бесконечным за конечное время. Следующее ниже определение описывает класс полумарковских процессов, свободных от таких патологий. О п р е д е л е н и е 1.6. Процесс Е (t) называется регуляр­ ным, если V / € E - ° { - У / ( 0 < —}==•-> и сильно регулярным, если />{S-V, (.)<«-} = !• Различные условия, обеспечивающие регулярность ПМП-. изучены Пайком [215, 216]. В частности, если множество Е конечно, то ПМП всегда сильно регулярен. Уже в одной из первых работ по ПМП [194] была прове­ дена классификация состояний. Считалось, что для времена пребывания ПМП в каждом состоянии имеет место один из: следующих трех случаев: а) 9i=0—.мгновенное состояние; б) 0<9i<oo—устойчивое (нормальное) состояние; в) 0i-=оо— поглощающее состояние. Понятно, что для консервативных процессов не может иметь место случай в), а для консервативных регулярных — случаи а) и в ) . Обычно предполагается, что все состояния ПМП нормальны. В этом случае классификация состояний ПМП в основном совпадает с классификацией состояний вложенной в £(£) цепи Маркова. Пайк [215] доказал, что в неприводимом сильно регулярном ПМП все состояния или возвратны, или невозвратны. Этот результат был усилен Чеонгом [128], не предполагавшим строгой регулярности. В ра­ боте [216] построены примеры неприводимых возвратных ПМП, у которых вложенная цепь невозвратна. Последнее имеет место всегда, когда ПМП регулярен, но не сильно регулярен. Условия, при которых сильно регулярный ПМП положи­ тельно возвратен, состоят в следующем. 50 Пусть \лц — среднее время возвращения в t-oe состояние, йг — среднее время пребывания в i-м состоянии. Т е о р е м а (Пайк, Шауфедь [217]). Сильно регулярный неприводимый ПМН положительно возвратен (т. e. y,n<jx>, i£E) тогда и только тогда, когда а ; < о о , i£E и существует сходящаяся последовательность положительных чисел {yt} такая, что 1&Е где 8^—дельта Кронекера. Близкий результат получен также Г. И. Призвой [81]. Вслед за введением понятия ПМП ряд авторов предло­ жили различные способы конструктивного задания ПМП. Так, ПМП можно задавать: а) матрицей P—{Q^(oo), г / € E } вероятностей перехода вложенной в ПМП цепи Маркова {5„, л > 0 } и матрицей Р(х)= {Qu(x)l Qu(oo), i, / 6 E} функций распределения слу­ чайных величин \tJ — времен пребывания процесса в i-м со­ стоянии с последующим переходом в /-ое состояние [215]^ б) вектор-функцией распределения p(x) = {Pl (x), i€E} времен ипребывания в г'-м состоянии и матрицей q (и) =-=• —{Яи ( )> * > / € £ } • где Чи (и) — условные вероятности перехода из i-ro состояния, в /-ое при условии, что в i-м состоянии процесс провел время и. (В. C. Королюк [64]); в) матрицей независимых неотрицательных случайных величин {Cu,i,/<cE} таких, что -/ —Е°Л№Е • ' где ^ij имеют функции распределения -«<«-•-«--И™]о о^ — индикаторы случайных событий minC(A = C.), знак = озll£E начает одинаковую распределенность случайных величин с^ева и справа (В. С. Королюк, А. А. Томусяк [67]); г) матрицей {GtJ(Z, s), i , / 6 E } , где Ou(Z;S)= %je-°tdP{N(t)=l,W) = 'й>0° = j|e(0)r-i}2*««§> ... г*п, (1.3) где Z = {bt, j гJt ij £ E}, \ Zj\ < 1, / GE-—{-Tn} (Цинлар [139]) 4* 51 Из "приведенного выше определения ПМП и различных спо­ собов его задания видно, что ПМП является процессом, обла­ дающим, с одной стороны, свойствами марковского процесса (так, в момент перехода ПМП !-(£) будущее не зависит от прошлого), с другой стороны, свойствами процессов восста­ новления (именно, моменты последовательного попадания ПМП | ( 0 в фиксированное состояние образуют процесс вос­ становления). Таким образом марковость ПМП|(-У нарушается в про­ межутках между переходами, однако оказывается, что если наряду, с i('t) рассматривать процесс, описывающий поведе­ ние i (t) между переходами, то полученный новый двумерный процесс является марковским. Именно так и поступили Пайк и Шауфель [217], определив ПМП как первую компоненту некоторого двумерного марковского процесса, обладающего строго марковским свойством, и указали тем самым место, занимаемое ПМП в общей теории случайных процессов. Такое понимание ПМП особенно важно в случае, когда фа­ зовое пространство процесса является более общим, чем E - { 1 , 2, ...}. Определение ПМП, приведенное выше,' может быть с оче­ видными изменениями перенесено на случай более общего пространства с той ЛИШЬ разницей, что роль полумарковской матрица Q(x) играет полумарковское ядро, определяемое следующим образом. • Пусть Е — локально компактное хаусдорфово пространст­ во со счетной базой и If =S9(E) —наименьшая а- алгебр а, со­ держащая борелевские множества из Е. О п р е д е л е н и е 1.7. Q(x, A) называется полумарковским ядром, если: 1) Q{x,A) определено для V x € E и уА£ёХ '93 ([0, °о)); 2) Q (x». •) — вероятностная мера на § X Ъ '([0, оо)) для vxeE; ' • -•• 3) Q (х, Л) — ^-измеримая функция для у A £ ёХ 23 ([0, оо)). 4) Q ( x , E X ( - o o , 0 ) ) . •Полумарковские'процессы с общим фазовым пространством с различной степенью общности вводились в работах В. С. Королгока и И. И. Ежова [55], И. И. Ежова и А. В. Скорохода [58], Цинлара [140], Серфозо [226], Жако [172] и др. ПМП допускает различные модификации и обобщения, приводящие к новым содержательным классам случайных про­ цессов. Если временной параметр, ПМП l(t) принимает значения из некоторого дискретного множества Т, то естественно го­ ворить о полумарковских цепях. Специально полумарковские цепи рассматривались Анселоном [121] и К'ейном [126]. 52 Ю. К. Беляев [19]. определил процессы, названные им линейчатыми марковскими, как двумерные марковские процессы {|(t), u(t)}, где u(t)=:t-sup{и: t(и) =£t(t)} (1.4) — время, прошедшее после последнего перехода ПМП £(/). Можно определить процесс {.£(.0, v(t)}, где v(i) = ini{h>t: 4(a) i= %Щ - t (1.5) — время, оставшееся до следующего перехода -1(f), оказы­ вающийся также марковским, причем линейчатые марковские процессы {|(0, u(t)} и {l(t), v(t)} обладают строго марков­ ским свойством. И. И. Ежов [47] ввел процессы, названные им марковски­ ми процессами с полумарковским вмешательством случая, обобщающие линейчатые марковские процессы Ю. К. Беляева. Близкий класс так называемых процессов марковского вос­ становления с дополнительными траекториями (Markov Re­ newal Processes with auxiliary paths) рассматривали Пайк и Шауфель [217, 218] и Шель [220J. И. И. Ежовым и Г. Арсенишвили [11—17] были введены и изучены полумарковские процессы r-го порядка (обычные ПМП соответствуют случаю / — 1). Процессы, обобщающие, с одной стороны, марковские процессы с полумарковским вмешательством случая и, с другой стороны, ПМП r-го по­ рядка, рассмотрены в работе И. И. Ежова, T, Гергея, И. Н. Цу­ канова [33]. В работе Г. Ш. Лева [74] введены так называемые ПМП умножения — процессы,' весьма близкие к ПМП, но с/совер­ шенно иной геометрией траекторий, а в [75] найдены условия сходимости таких процессов к диффузионным процессам. Отметим также работы Нёйтса [209, 210], в которых ПМП рассматриваются с точки зрения неоднородных ветвящихся процессов. Леви [194] показал, что ПМП, являясь обобщением мар­ ковских цепей, очень близок к последним в том.смысле, что выборочные функции цепи Маркова есть соответствующим образом модифицированные выборочные функции ПМП. Эта близость характеризуется Леви тем, что оба процесса имеют одну и ту же последовательность состояний. Более детально .эта связь изучена Якелем[242]. Пусть E-— множество устойчивых состояний Т\ЬА1\Ч(1) Ст. е. таких, что { x d P { 6 ; < x } < o o ; /.GEo). E\EQ—множе­ ство мгновенных состояний. Для каждого i£Eu определим 53 последовательность взаимно независимых, не зависящих от (• (^) случайных величин {zlk, i(zE0, k —1,2,...} таких, что /4*<*>'} = exp{-V}. где \t — медиана распределения времени пребывания в i-м со­ стоянии. Положим (см. (1.5)) *iW'™W ,"еслиО<У(0<оо; V(t) <К-) = 1, если i i ( 0 € E \ E 0 ; О, в остальных случаях и пусть .у :(0=-inf{s: [ <H«)d«>t} T e o'ip е м а (Якель [242]). Процесс \ (% (t)) измерим, име­ ет одинаковую последовательность СОСТОЯНИЙ С £(.0 и яв­ ляется марковским процессом. Для случая ПМП с общим фазовым пространством Серфозо [226] усилил результат Якеля, рассмотрев случайные замены времени, переводящие ПМП в ПМП и, в частности, в марковские процессы. В работе Курца [190] была рассмотрена случайная заме­ на времени, переводящая марковский процесс в полумарковский. ' ' Другой тип преобразований ПМП рассматривался Цинларом [134, 135]. Пусть Е — конечно. Предположим, что в мо­ мент Т,г МОЖет ПрОИЗОЙТИ ОдНО ИЗ СОбЫТИЙ Al, A2, ... , AmПусть zn— случайная величина, равная /, если в момент хп произошло событие A3-. Фиксируем одно из т, например, т = т0. При различных предположениях относительно зави­ симости гп от l(t) изучается процесс v y(t) = i{Sn), Sn<t<Sn+l, где S 0 , Sv ... —- моменты появления события АШо. Если zn зависит только от {%,, /г>-0}, то имеет место Т е о р е м а (Цинлар [135]). Y(t)~ПМП. Показано, что g(t) однозначно определяет процесс Y(t). Тот же результат сохраняется и в случае марковской зави­ симости zn от {In, n^O}. В работе Серфозо [225] найдены необходимые и доста­ точные условия, при которых f(|(t)) —ПМП, где /(•) при­ нимает значение i, если i Et и E=(jEi, EinF..—0 есть не­ которое разбиение фазового пространства. Соответствующие условия близки условиям Кемени — Снелла для конечных це­ пей Маркова. 54 § 2. УРАВНЕНИЯ МАРКОВСКОГО ВОССТАНОВЛЕНИЯ О п р е д е л е н и е 2,1. Уравнением марковского восстанов­ ления называют уравнение вида t X(t) = Q{t)+^Q(dy)X{t-y)t (2.1) о где Q (x) — полумарковская матрица, задающая ПМП ij(t). G(/), и X (t) —- соответственно известная и искомая матрица или вектор, компоненты которых равны нулю для всех t£(—oo, 0). В частности, когда О (t) ----- {Ok (t), k £ E } , урав­ нение (2.1) записывается в виде t X*(-•)--= О * ( 0 + S \Qbj{dy)Xj{t-y); k$E, (2.2) К уравнениям марковского восстановления приводит изучение различных характеристик ПМП. Так, пусть Ft (t)== P {•;(•-)---- -=/|S(o)-=/}, АЛ?>-= 8 и(----/(-)). Тогда t FiJ(t)^Di/l(t)+^3^Qill(dy)FftJ(t~y) (2.3) (Феллер [151]). Если MjW^EiNjiWm^-ty+hj,™ t Mu(i) = bu+% \Qik(dy)MkJ{t-y) (2.4) лея о (Пайк [215]). Пусть фазовое пространство ПМП %{t) разбито на два непере­ секающихся множества Е = E01J Ei. Обозначим через Cz время пребывания ПМП \(t) в классе E 0 до попадания в Ех при условии, что -.(О)-— i€Eo- Н пусть ut (t) — P{t.- < t } . Тогда t e t (0 = l - - ° / ( 0 + S \Qu,&y)4(t-y)> (2.Б) й6£о О B.C. Королюк [64]). Многочисленные примеры уравнений марковского восстанов­ ления содержатся в работах [215—218, 202]. Цинлар, использовав подход Нёйтса, получил довольно общие уравнения марковского восстановления. Пусть Z,(t) — ПМП с конечным фазовым пространством £ = { 1 , 2,..., я]. Положим t '55 k,j(%S,t)= -J..exp{-2-«/^}rf-../J{6(<)=7, x>o N(t)=k, С ( 0 < * 16(0) =-=/}, со k R,j(Z,SA)=° S z^zt\..z nn^ exp{-\t}dtRtj(k, — > о где ReX>0, S = {bu ., /,jt=E}. Теорема (Циилар [ 139]). . ^(Z,S,X) = [ / - Q ( U + S)Z]- 1 5(X/ + S), где S, t), (2.6) Q(s)-—jexp{-^}dQ(i), D(s)=\exp{-st}dD(t). ° Вопросы существования решения уравнения марковского вос­ становления и его единственности были исследованы Феллером для уравнения (2.3). Пусть Q(s)— j exp{--st}dQ(t), аналогичный смысл имеют D(s), E( 5 ). Теорема (Феллер [151]). Уравнение (2.3) всегда имеет минимальное решение, преобразование Лапласа - Стилтьеса которого имеет вид F(s) = (/ + Q(s) + Q-(-s) + ...)S(5), (2.7) т. е. t , . F(t)=~iR{dy)Q{t-y), •• (2.8)- где ^ (0 = /+Q(t)'+Q(")(/) + ... (2.9) и Q("'(t) - я-кратная свертка матрицы Q\t) с собой. Мини­ мальное решение единственно тогда и только тогда, когда уравнение , Q(s)X(s) = l(s) (2.10) имеет лишь нулевое неотрицательное решение. В частности, минимальное решение единственно, если все состояния вло­ женной в i(tf) цепи Маркова возвратны. 56 Цинлар, используя результаты о положительных операто­ рах сжатия, исследовал уравнение (2.1) в классе М векторфункций X (t) таких, что | X (t) || == sup | Xk (t) I ограничены к6Е по t в каждом конечном интервале. Т е о р е м а (Цинлар [141]). Уравнение (2.1) имеет реше­ ние x\t)€.M тогда и только тогда, когда Д*О^М. Любое решение Л (/) €.М представимо в виде X (t) = R«0(t\ + С (t), где С (t) удовлетворяет уравнению C»Q(t)^C(t), C(t)£M. Единственное решение уравнения (2.1) вида X(t)—R*G(t)> существует, если выполнено любое из четырех условий: 1) матрица Q(t) конечномерна; 2) вложенная в ПМП цепь Маркова неприводима и поло­ жительно возвратна; 3) \Р (01= sup IP/(О К - ДЛЯ некоторого t > 0 ; 4) для некоторого s^>0 существует 8 > 0 такое, чтоsup 'Р\ (s) < 1 — S. Феллером указаны также критерии неединственности ми­ нимального решения уравнения (2.1). Пустб А—множество пребывания (sojourn set of states), т. е. множество состояний из E, на котором цепь Маркова, порожденная матрицей пере­ ходных вероятностей Q(x) при фиксированном x€ (0, {infty}) с положительной вероятностью, никогда не оборвется. Пусть . B = {lT~-dQu(x), i,jeE), О W - - 2 Р«В, п=о где P = {pu = Qu(oo), i,J£E}. . . Т е о р е м а (Феллер [151]). Минимальное решение неединственно тогда и только тогда, когда существует множест­ во пребывания A такое, что. jGE Уравнения марковского восстановления выписываются для определенных характеристик случайных величин, связанных с ПМП и ПМВ. Чаще полезно иметь представление о связи самих случайных величин, т. е. знать, каким образом инте­ ресующая нас случайная величина связана с теми, распре­ деления которых нам известны. 57 В. С. Королюком [64] рассмотрен стохастический аналог уравнений марковского восстановления. Пусть l(t)—ПМП, определенный на Е. Пусть, далее, •случайные величины aii —- индикаторы перехода ПМП £(t) из i-го в /-ое состояние: Г 1 с вероятностью qt (9Z), a ij — ai\ ^ ~ | 0 с вероятностью 1 — Яцфй, где ^ij(t) —условная вероятность перехода из i-го в /-ое со-стояние при условии, что Qi=t, так что О п р е д е л е н и е 2.2. Стохастическим уравнением мар­ ковского восстановления называется выражение JGE где i\i —- случайные величины, определяемые ПМП, распреде­ ления которых известны, х,., У.[ независимы для \fi£E и оди­ наково распределены, щ, У.1 И aii, x' попарно независимы. 'Соотношения (2.11) полезны при выводе уравнений (2.1) (см. В. С. Королюк [64]; В. С. Королюк, А. А. Томусяк [67]; В. В. Анисимов [2, 3]; Д. С. Сильвестров [95, 96] и др.). § 3. ПОЛУМАРКОВСКИЕ МАТРИЦЫ И ФУНКЦИИ МАРКОВСКОГО ВОССТАНОВЛЕНИЯ Пусть Q(x) —полумарковская матрица, Q{s) —ее преоб­ разование Лапласа — Стилтьеса и предположим, что уравне­ ние (2.10) имеет лишь нулевое неотрицательное решение. В этом случае по теореме Феллера существует M(s) = (I — —<5(s))--. Анализ спектральных свойств Q(s) с использова­ нием известных теорем Фробениуса и Перрона о корнях положительных матриц приводился в работах Цинлара [139,141].6 Имеют место известные результаты о неприводимости, раз­ ложимости, существовании максимального по модулю поло­ жительно собственного числа. Предположим, что все состояния ПМП S (^) образуют один возвратный положительный клаес и пусть p = {ph i£E} — стационарное распределение вложенной в процесс цепи Маркова •и Т 'г at = \ xdPi (x) < схэ. 58 Теорема (Циил'ар [139]). lim-^Q(s)=-—2p^. -~*о (3.1) i&E Значительно больший интерес представляет изучение матриц Я (0 - 2 J Q('° (О и R-C-O ДЛЯ получения широкого класса Л--.0 предельных теорем и нахождения соответствующих асимпто­ тических разложений. О п р е д е л е н и е 3.1. Функция оо Л--0 называется функцией марковского восстановления. Для функ­ ции марковского восстановления имеют место аналоги теорем Блекуэлла и узловой теоремы Смита теории восстанов­ ления. Теорема. Если i,(t)—неприводимый возвратный ПМП то у», / € E , V<?>0 t -> оо Г// Теорема. Пусть G^(t), /€E> — непосредственно инте­ грируемая по Римаиу функция. Тогда если .-(^•—•неприводи­ мый возвратный процесс,что yi, j$E oO t lira f Ru (dy) Оj (t-y) = J-\ 0 Оj (x) dx.. (3.3) 0 Доказательства этих теорем для ПМП различной общности имеются в работах [215, 241, 217, 174,'66]. Более тонкий ре­ зультат доказан Хантером. Предположим, что случайные величины |ij, j, / £ E, имеют абсолютно непрерывные функции распределения и пусть о ПОЛОЖИМ /u(-) x to.- А*) для n = - l , , t /№<«•• * ) : Yi I ?ш~Ц (-. * - u)fkj (°. ») -*« для n > 1, Л/И^-) = Е / | " / ( o , t ) < c o , Я=0 59 hu (о, X) = Г eashu (о, -5) ds, о со Теорема. (Хантер [171]). Беда A: fu{t)-+0 при *->0. , В: для некоторого достаточно малого о.>0 11ц (о, t)~*0 при t->oo. С: hij (о, X) € Lp для некоторого- / ? > ^зависящего только от с, то /1ц (оо, t) —•.—-- при t — оо, i, j £ E. (3.4} Оказывается верным и в некотором смысле обратное утверж­ дение. . Если предельные теоремы (2.13—2.15) для функций мар­ ковского восстановления еще удается получить, то этого нельзя сказать о соответствующих асимптотических теоремах. В этом случае приходится использовать преобразование Лапласа — Сталтьеса 8,{s) функции марковского восстанов­ ления и соответствующие тауберовы теоремы. Асимптотиче­ ские разложения для U{s), точнее первые два'члена этого разложения были получены Кширсагаром и Гуптой [185] (ш. также [189]), использовавшими для этой цели аппарат теории матриц. Их результат был усилен Хантером [170] И' Кейлсоном [183], воспользовавшимися "фундаментальной матрицей Кемени — Снелла и давших вероятностную интер­ претацию результатам Кширсагара и Гупты. Денардо [143] указал алгоритм,, являющийся .по существу известным алго­ ритмом Вишика—-Люстерника, позволяющий последователь­ но вычислять члены разложения ^(s) в ряд по степеням s. Более естественным оказался шодход, связанный с обраще­ нием возмущенных на спектре линейных операторов, предло­ женный А, Ф. Турбиным, использовавшим идеи работы В. С. Королюка [65]. Пусть 5 (i) —- неприводимый положительно возвратный ПМП. Обозначим через Р матрицу цепи Маркова, вложенной в i;(t) и р = {р., i€E}, ее стационарное распределение. Теорема (А. Ф. Турбин [114]). Если существуют оо . а$»> = Г x"dQu (х), k = Т , 2, . . . , п, i, j £ Е, о и вложенная цепь эргодична, то для достаточно малых по 60 модулю s имеет место разложение ^(.s) = (/-Q(5))-i=--—P» + r0+sri+...+ + s"-2 Тп_2 + о (^-~), (3.5) где гея ", — (/ - -1. /-~A.) /?0 (/ _ JL Лх р-) _ --—(Р, RQ = (I~-P + А&А^Р»,. P°°)-l-P°°, Ai, = {afjPu, i, J 6 £}, к ==- T,~rc, ТА-и — -Fft-^-i^o + ТЬА%Т-.Х + Г Й _ 1 Л 2 Г 0 '+ . . . + Т_.Лй+8Зг,-_1, Г_ 1 = -1-Я-, А-=0, л - 3 . o(s"- ) - о-малое в смысле обычной матричной нормы. е — вектор, составленный из единиц. Метод, предложенный в этой работе, применим и в более общих ситуациях. В работе Стоуна [230] получена факторизация ВинераХопфа для /—Q(s) вида 2 / — Q (.s) = (/ + -§ (5)) (/ + Л где A(s) = (Q(S))\ B(s) = (Q(s))°, (.у и (.)- —операции проектирования, введенные Бакстером. § 4. ПРЕДЕЛЬНОЕ ПОВЕДЕНИЕ ПМП Исследование предельного поведения ПМП %{t) при t-voo •является одной из центральных задач теории таких процес­ сов, и ему посвящено большое число работ. Относительно некоторых из этих результатов речь шла в предыдущем па­ раграфе (аналоги теорем Блекуэлла и узловой теоремы Смита). , Смит показал, что если времена пребывания ПМП в лю­ бом СОСТОЯНИИ имеют первые моменты, то |(t) имеет предель­ ное распределение при t-*-oo. 61 Теорема (Смит [227]). Пусть / £ E — непериодическое состояние процесса £ (t) и 0 < а, < с» Тогда lim F, ,lt) -= --—— , (4.1) где т ^ есть вероятность того, что вложенная в % (t) цепь Маркова, выйдя из г, достигнет состояния J. В частности, если процесс %(t) положительно возвратен и {р2, г б E} — стационарная мера вложенной в %(t) цепи Мар­ кова, то lim "„(О-=-=—-—• (Ховард [168]). (4.2> В работе Фабенса [148] и затем Якедя [241] существование \1тРи({) было доказано для случая, когда /—• мгновенное состояние. Положим ' F+(i,x) = P{Ht)=*J, иУ)<х\Ц0) = 1}, FTj (t,x) = P {I (t) - /, v (t) < x | % (0) -= i). Смит [227] показал, что для неприводимого процесса X HmF+(*, x ) - ~ - f a -/-;(«)) d«-о = —^—\(\~Pj(u))du. _ (4.3) г •" • - В [148] показано, что lim Ft (if, x) = lim Fj (t, x). (4.4) Г. И. Призва обобщил этот результат, показав, что для неприводимого положительно возвратного процесса lim P {v (t) >z,-u(t)>x, £ (Л/ (t)) = J, t-+OQ * ( Л ^ ) + 1)-~--&|!.(0).— 0 — со _ ' . " « jГ/-. ,..-.,.,da, где S о^ ,( „) ,=. - <Ь<-> (1 - SоJk{ii)) —--. й 2' P./-V .*+- 62 (4.5) Приведенные результаты показывают, что стационарная мера; неприводимого возвратного процесса при определенных пред­ положениях является комбинацией стационарной меры вло­ женной цепи Маркова и стационарного распределения процес­ са восстановления. Аналогичный результат имеет место даже в том .случае, когда вложенная цепь Маркова невозвратна.. Для стационарной меры имеет место следующий важный ре­ зультат. Пусть £-={0,1,2, . . . } , mJ = hm(l-biJ)E{Nj(sa)mQ) = Q},. t-~roo где 5|—-mintf, i n f { t > 0 : S(t) = 0}}. Лемма (Пайк, Шауфель [218]). Для у ' € E и t > 0 и ч Mj= £ Щ S (-3-* ~ <-<* (0) * # w О г еЕ к еЕ (4-6> i Причем здесь не предполагается возвратности вложенной в % (.*)• х цепи Маркова. Стационарная мера ^i(x) — mi \ (1 —-Р- (и))da - является вероятностной, т. е. ^ « г (оо) = 1 тогда и толькотогда, когда 5(0 положительно возвратен. Стационарные распределения найдены для всех процессов,. порождаемых полумарковскими, о которых шла речь в § I.. Укажем на работы [18, 34, 48, 121, 220] и др. И. И. Ежовым доказана эртодическая теорема для широкого класса процес­ сов, включающих полумарковские. Пусть (й, Э, P) —произвольно вероятностное пространст­ во, на котором рассматривается однородный марковский про­ цесс £(.*), обладающий свойствами: 1) существует монотонно возрастающая последователь­ ность случайных величин {хп} такая, что последовательность i(Tn) образует эргодическую цепь Маркова; 2) распределение 0n-=Tn+i — Хп при всех п полностью определяется значением случайной величины |(х п ) и не за­ висит от эволюции процесса |(i) как до момента хП) так и после него. Положим Р(а, и, A) = P{Z(tn + u)€A\l(%)*=a, Qn>ii}, E(«|.a)-P{e„<tt|.;(x/I);~a}, 63. С (1 - F (и | a)) da =- [л (а)'. о Теорема (И. И. Ежов [48]). Пусть <р(rf^;) — стационаргное распределение цепи $(-„). Если оо Г [* (x) cp (dx) < со, о •то llm P{Z{t) £ А} — Ф (А\ не зависит от S(0) и /->оо со Г tp (da) f P (а, и, Л) [1 - F (и | а)] da ф(А)=-=£ 2 -. • (4.7) (А (о) <р ( d a ) Другой тип предельных теорем для ПМП был доказан :в работе,Чернга [129]. Для случая процессов %,{t), которые могут обрываться с положительной вероятностью (фазовое (пространство Е неприводимо, но не замкнуто), изучались от­ ношения ' т,и11)-£®*-.-vuWHGE F W " ЩЕ где ri — вероятность того, что процесс оборвется когда-либо, выйдя из состояния /. При выполнении определенных усло­ вий, связанных со скоростью изменения F^\t), доказано, что Wii(if) имеет в пределе /.->-со собственное распределение, не зависящее ОТ начального состояния и При изучении пре­ дельного поведения ПМП используются самые различные подходы: 1) для доказательства существования и вычисления явно­ го вида стационарного распределения используется узловая теорема теории восстановления ([48, 56, 217, 174, 234, 220] и др.); 2) исследуется существование стационарных мер для со­ провождающих линейчатых марковских процессов {.-(О. "(0}> {•НО. v(t)}, откуда находится стационарное распределение для ПМП ([218, 58])*; 3) исследуются уравнения марковского восстановления либо их преобразования Лапласа ([168, 141, 70] и др.); * Общая эргодическая теорема для процессов, включающих полу­ марковские была доказана в 1971 году А. В. Скороходом и сообщена на семинаре в КГУ (см. Теория вероятностей и её применение. 1972, 17, № 4), . •64 4) исследуется граф, соответствующий цепи Маркова, вложенной в ПМП %(t), и стационарное распределение про­ цесса l(t) описывается с ПОМОЩЬЮ характеристик этого гра­ фа [168, ПО, 112]. Представление об относительном времени, которое ПМП проводит в определенном состоянии, позволяет получить предельные теоремы для отношений. Такого рода теоремы являются естественным обобщением теоремы Дебяина для цепей Маркова. Так, пусть Ftj (х, 0 - Р {«(4— J, и (t) < х 16 (0) - i}, FT] (x, t\ = P {% (t) - J, v (i) < x | % (0) — i}, ,/?„ (0. - (1 — 8,ft) E {АГ, (*A)/6 (0) - О + 5,,, где sk - min {*, lnf{/->0: !=(j.) — .£}}. Т е о р е м а ' (Пайк, Шауфель [217]). Для возвратного непри­ водимого регулярного ПМП /^(-V, и)а.« .о Здесь же, а также в работе Якеля [241] получен ряд резуль­ татов для пределов отношений, связанных с табу-вероят­ ностями. *••' В работе Чеонга [128] для случая, когда е at[Qa(i) — Ра] ограничены по t при а^О, получены более общие результаты, из которых результаты Пайка, Шауфеля, Якеля следуют при а = 0. B работах Чеонга [127], Нёйтса и Тойгельса [212], Шеля [221] найдена скорость сходимости к стационарному распределению. Предельные теоремы классической теории вероятностей, такие как закон больших чисел, центральная предельная теорема, закон повторного логарифма обобщаются на полумарковские процессы и процессы, ассоциированные с полумарковскими. B этом направлении доказаны теоремы для считающих процессов с конечным числом состояний [234], рассмотрен случай счетного множества состояний [217], рас­ сматривались предельные теоремы для времени .пребывания в случае сходимости к устойчивому заколу (не обязательно нормальному) [184]. Результаты указанных работ значительно обобщены и уси­ лены в работах В. В. Анисимова [1—4] и Д. С. Сильвестрова [95,96,99]. 5 Заказ №. 382 65 § 5. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ДЛЯ ПМП В СХЕМЕ СЕРИЙ В последнее время значительное внимание уделяется из­ учению различных функционалов от ПМП в схеме серий, т. е. когда ПМП £Е (t) зависит от параметра е, принимающего не­ которое дискретное или непрерывное множество значений. • .Одним из наиболее важных функционалов от ПМП, имею­ щего многочисленные применения, является время пребыва­ ния процесса в фиксированной области своего фазового про­ странства Е. Пусть Е •-= Ео U E1. Обозначим через £i время пребывания ПМП l(t) в подмножестве £ 0 до попадания в ка­ кое-либо из состояний подмножества Ei при условии, что начальным состоянием было idEQ. Положим fi(s) = JE{e'MТ е о р е м а (В. С. Королюк• [64]). В случае конечного Е fi(s) являются решениями следующей системы алгебраиче­ ских уравнений S(-o--Q^(^))^(5)-2^JGE0 . (5Л> j eE, В частности, если inL есть среднее время пребывания процес­ са £ (^), вышедшего из i £ E0, в EQ, то Щ = a,i + S Pik^r (5-2) А6Я0 Обобщение этой формулы на различные процессы рассматри­ валось в работах [17, 62, 158] и др. Пусть E- = {0} и переходные вероятности вложенной в ПМП lj,(t) таковы, что peiQ^=eqi0 для iSEi- В [§5, 69,115, 5] по казано, что если вложенная в i,0 (t) цепь Маркова имеет пре­ дельное распределение и а / < о о , 1£Е0, то при соответ­ ствующей нормировке распределение времени пребывани? в классе Ей стремится к показательному, найдены асимптоти­ ческие разложения для преобразования Лапласа времен пре­ бывания процесса £е (t) в E0. В работах [5, 104] установлен вид предельного распреде­ ления времени пребывания £6 (t) в Е0 в случае, когда матема­ тические ожидания времен сидения бесконечны. Одной из первых была рассмотрена задача о сходимости сумм бесконечно малых считающих процессов к предельному., Пусть Nkr(t), г =5 1, k, k — 1, 2,..., —последовательность считающих процессов, построенных по ПМП $йг {i) с общим фазовым пространством E = {1, п), заданных с помощью мат­ риц {Qfp (x), i, л£Е) {P\'jr\ i, / € E } и векторов начальных распределений {а[!"">, i£E}. -->• , ' —5- Т е о р е м а (И. Сапаговас [88]). Если Nhr(t) ряют условию бесконечной малости, т. е. 66 удовлетво­ lim max P {^ MPr (t)>ol ft-юо K r < « == 0, ICE где Nkl (i) — число попаданий процесса %kr (t) в состояние i за время .(0, / ] , то для сходимости при k—> оо сумм незави­ симых процессов ft . • • r = l —> к процессу Пуассона с ведущей функцией A (t) — {\L (t), i £ E) необходимо и достаточно, чтобы при любом t^-6 выполня­ лись условия иш_2аГдй°(о-=^(0. /е-?. lim2f 2 ^ ' W ^ Q ^ ( ' ) } - = 0,-6£. *-"---.А./,«-я В работе М. A.• Ястребенецкого [120] были найдены условия сходимости сумм ПМВ к ветвящемуся процессу Пуассона. Иного типа постановка задач рассматривалась в работе B. С. Королюка, Л. И. Полищук, A. А. Томусяка [66]. г Пусть lB(t) — ПМП, определенный на Е, E =--.[__] E-,, Et П Ej —. 0 , I -7-= / , i, y = l, г, 1и вложенная в .=. (t) цепь Маркова имеет вид: . _ | />i$> + *?i$U, / € E f t , иначе говоря, вероятности перехода ПМП i;, (t) из одного класса Ek в другой Е1 имеют порядок е, е — малый параметр. Предположим, что 1) цепи Маркова {&1\ и > 0 } , k=l, г, с матрицами ве­ роятностей перехода [р\)\ i, /€E f t } эргодичны со стационар­ ными распределениями р(* — {р(г*>, i£Ek}', 2) 0 < a ; < o o , i € E ; 3) существуют такие k, I и i £ Eft, что 2 '-i/ 0 т4 °- 0 б ° 3 " начим, далее, через / ( • ) функцию, принимающую одинаковые. значения на классах состояний Et, т. e. f(x) — i, если ."!;£„ j = l, Г. К* 67 Теорема (В. С. Королюк, Л. И. Полищук, A. A. Toмусяк [66]). / ( \ ( — ) ) в смысле конечномерных распределений сходится к цепи Маркова, y которой вероятности переходов между состояниями равны 1 P<*)Q< кИ) 1 1 г ^= Лг> > - > > (5 3) - а параметры времен сидения в k-м состоянии равны где A=I г е{ь) _ вектор-столбец с компонентами 1, i € E * . е<й) — \ Этот результат был обобщен в работе В. В. Анисимова [10], рассмотревшего общую задачу об асимптотическом укрупне­ нии ПМП без предположения о конечности математических ожиданий времени пребывания в состоянии. В общем случае предельный укрупненный процесс оказывается полумарковским, распределения времен пребывания в состоянии которого найдены явно (см. также [41]). Наиболее общие предельные теоремы для ПМП в схеме серий в настоящее время получены в работах В. В. Анисимо­ ва и Д. С. Сильвестрова [5, 6, 9, 91—98]. Пусть ПМП % (() принимает конечное ' или счетное число возможных значений E и зависит от™ некоторого параметра е, 1° — состояния в момент п-то перехода, 8= — времена , пребы­ вания в состоянии §. Пусть заданы случайные величины г,Е,(г\ x), i g E , х£[0, c=o), независимые в совокупности и оди­ наково распределенные при различных значениях п. и при фик­ сированных е, i, х. В цитированных [выше-работах изучено предельное поведение при t -> со и е —> 0 следующего функ­ ционала: , VE ( О / 6 w = S т; (*.;' б,6,} л=1 при различных предположениях относительно характеристик ПМП 6.(0 и rn{h x)..v«(t). 68 Наиболее полно изучены случаи, когда v- (t) — Ne (zf) - • число переходов процесса i.s (t) за время (0, г.], либо v-(t)----п ==min-{..V-(t), U , где С.--max {л: Пс£(6J) = l l , a Cj(i)- ft=i независимые в совокупности случайные величины, принимаю­ щие два значения 0 и 1 с вероятностями ре (г) и 1 - рв (i) / соответственно. 6 частности, пусть Е',= {1; п},%?'(г.) = N"\t). и т„(Л x) = - = 0 ! - ? + P E / » ^ i где а - и Ре - нормирующие множители, a <pи / ; — действительные параметры. При таком задании функ­ ционала, / - \t) можно получить совместные предельные рас-* -> пределеиия векторов N(t) = {Ni(t), i£E} и Q (t) = {Qt (t), GE}, где Qt(t) — суммарное время, проведенное процессом e(t) в состоянии i за время (0, t] при е->0. Основные предположения, при которых доказываются предельные теоремы для функционала fE(0> СОСТОЯТ В следую­ щем. Во-первых, предполагается, что вложенная в ПМП цепь Маркова £* СХОДИТСЯ К эргодической предельной цепи Мар­ кова. Во-вторых, предполагается, что одинаково распределен­ ные случайные величины yjj (i, x) при фиксированных i и х притягиваются к некоторому безгранично делимому распреде­ лению. Наконец,-предполагается также, что времена пребыва­ ния в отдельных состояниях, либо времена возвращения в фиксированное состояние ПМП также притягиваются к не­ которому безгранично делимому распределению. При этом используется представление рассматриваемого функционала f6(/) в виде суммы независимых одинаково распределенных величин, накопленных за время возвращения в фиксированное состояние. (Обобщение метода Деблина). В работах Д. С. Сильвестрова [101, 102] рассматривались также более общие задачи сходимости случайных процессов fR(st), s £ [0, 1] и функционалов от таких процессов, непре­ рывных в равномерной топологии или в топологии А. В. Ско­ рохода. Глава II ПРИМЕНЕНИЕ ПОЛУМАРКОВСКИХ ПРОЦЕССОВ В последнее время появилось значительное число работ по теории массового обслуживания, теории надежности, исследо­ ванию операций, в которых изучаются системы с помощью полумарковских процессов. В этот далеко не полный обзор по применениям полумарковских процессов включены, прежде всего, те работы, которые представляют методологический ин­ терес или в которых получены новые результаты. 69 § 6. ПРИМЕНЕНИЕ ПОЛУМАРКОВСКИХ ПРОЦЕССОВ В ТЕОРИИ МАССОВОГО ОБСЛУЖИВАНИЯ Работы, в которых исследуются системы массового обслу­ живания, можно разделить на те, где анализируются системы массового обслуживания с ПОМОЩЬЮ вложенных полумарковских цроцессов, процессов марковского восстановления и те, в которых применяются полумарковские процессы для описа­ ния систем массового обслуживания. Так же, как и с помощью вложенных цепей Маркова, при' исследовании немарковских систем благодаря вложенным полумарковским процессам можно получить ценную информа­ цию-относительно ее параметров. Так, в работе Фабенса [148] исследуется с ПОМОЩЬЮ вложенного полумарковского процесса однолинейная система с ожиданием тина M | G | 1 , когда обслуживание протекает партиями объема К в течение случайного промежутка времени с 'функцией распределения Н(х). Если в очереди имеется меньше,-чем К требований, и обслуживающее устройство свободно, то очередное обслужи- ваиие начинается в момент времени, когда в очереди станет К требований. Пусть X(i) —-число требований в системе в мо­ мент t. В работе стационарные вероятности Pi=lim.P{X(*)-t|X(0)} определяются через стационарные вероятности pi и pi для вложенной цепи Маркова gn = X(tn + 0), ri—l, 2, ..., и вло­ женного полумарковского процесса, где в качестве точек ре­ генерации выбираются моменты {хп, п = 1, 2, ...} ухода требо­ ваний из системы. Для производящей функции оо -(2) — 2 р^г г=о вложенной цепи Маркова {!,„} получена формула где CO о и ©1, .юг, ..., со.к-1 - корни внутри единичного круга уравнения г* = Цг). 70 Вложенный полумарковский процесс £(Q строится таким образом, что его переходы происходят в моменты тп. п — 1, 2, ..., и в моменты т./, n = 1, 2, ..., когда длина очереди р,авна К. Для вложенного полумарковского процесса Я(х), i>K, ./•--о J • где X — интенсивность входящего потока, а стационарные вероятности вложенного ПМП согласно (4.2) равны: ( cpt, i<K, p\ = \c{? + pK),l=l, ' (6.3) I ср., г>/С, где с=-т+т' И P== SP<- Стационарные вероятности FL (x) для линейчатого~марковского процесса {%(t), U (г.)} согласно [формуле (4.3) с уче­ том (6.3) равны О Fi(x)= c(p + j=0 ?ll)^[\~-N,(u)\da, cpi \\\—H.(u)\dtt, Наконец, стационарные следующим образом: i = K, i>K. вероятности Р г ' Л=-ГЕР^ (6,-1) определяются «*• -°i--! 2 p ^ f ^ r - 5 - X B [ 1 - H ( « ) ] ^ + •> в )'"*- е -х«[1_Я(»)]йа, i'>/C. o Аналогичным образом исследуются в работе Ламботт [191] однолинейная система M|G|1 и G/|M|L По вложенной 71 цепи Маркова {!;-..} конструируется вложенный полумарковский процесс. Показано, что стационарное распределение длины очереди {Pi} выражается через стационарные распре­ деления вложенного полумарковского процесса Z(t) = XN{t)> где N(i) = sup{n:xn-^.t}, где -„ —- моменты ухода требований в случае системы М \G\ 1 и -„ — моменты поступления требования в случае системы 01\М\1. Для системы M | G | 1 получено / 00 p i= y±[llmP{X(t)'=i\i(t) = i, u(t) = x}dF+(x), 7=0 О где E+ ( x ) - lim P {£ (t\ — j , и (t) < x}, t ~ > CO ** а для системы 01 ] M11 / DO £, - 2 \ lim Я {X (t) — -1^0 = j . © (t) = x} dFJ (x), j=0 0 где F~T(x) = lim P {5 (t) = / , v (i) < x}. В работе Цинлара [141] исследуются однолинейные систе­ мы М\ G| 1 и G/|Af 11 с ожиданием с помощью процессов мар­ ковского восстановления. Система G/|M|1 описывается процессом марковского вос­ становления, {;gn, Гп}, где X(t)—длина очереди в момент t, t n - м о м е н т поступления га-го требования и | n = X(tn— 0). Уравнение марковского восстановления (2.1) в этом слу­ чае имеет вид: Pj(X(t) = k) = [\~F(t)]IfJk{t) + t v 0 где е 7/ТТ—Ж' •-><*<./+ 1, со Н »{*)< 2 «-«-—gi, А—о, я=Л- [0 в остальных случаях, 2 Q ^ W — -Di(x) — E ( x ) - ф - р. промежутков времени между J 72 поступлениями требований. Применяя • теорему 3.3 для (6.6),со получим, что при оф->-1, где а—. \ [1 — F (х)] dx < с», а i ^ — интенсивность обслуживания, существует распределение длины очереди стационарное- / 3' , = i<х[л.( lv - B ) ( ' . W где со — наименьший корень уравнения В случае системы M|G|1 процесс {£,п, tn} является мар­ ковским процессом восстановления, где tn —• моменты ухода требований, a |n = Х(хп + 0)—длина очереди в моменты ухода из системы. В этом случае уравнение марковского вос­ становления имеет вид: t iHj0(du)e-xv*v,' если k = 0, t-u \ RJ0 {da) J Xe-^fl - H (t - a Pj{X(t)=k}^ о о — x)] Hk-i {t — it—x) dx -4k (6.7). t + 2S^J--«)[1-H(--«)]X' "=10 X # i - , ( t - « ) , A>0, где / ? ^ (^) — элементы матрицы R {t\ =^Qn(i), a Если p -— Xp; где X — интенсивность входящего потока и DO Р == \ [-•.-" Hi11)] du < со — математическое ожидание времени о обслуживания, то р0, если /г -—- 0, -°* = Jtl-H(J-)] 2p*H*-»(-«) + Po-^*-i(-«) dx, A>0. (6.8). • v = l Из (6.8), переходя к производящей функции, получим извест­ ную формулу Хинчина — Поллячека: (1- Р )(г-1)Я(Ч1-г)) •2Р**' Е -^ г - Я (4(1--г)) 73 В статье Шеля [222] исследуется СВЯЗЬ между стационарным распределением-вложенной цепи Маркова и стационарным ^распределением исходного процесса. Для систем Af|G|l пред­ полагается, что функция распределения времени обслужива­ ния зависит от длины очереди в момент ухода требований. Такая система изучается с помощью вложенного полумарковского процесса, заданного вероятностями переходов: (1 — е~Хх)* Д°. (х) для любого / , I = 0 QiJlx)= ity-i+iix) />i-l>0, \ (6.9) 0 /<г-2 т вложенной цепи Маркова, для которой вероятности пере­ хода равны R0. (оо) для любого /, I — 0 ( «где Я}_<+1г(+:°о) 0 X j>i~l>0, /<г-2, ' bj=.\[\-Hj(v)]dv. Показано, что вложенная цепь Маркова эргодическая, если sup %bj < I для некоторого целого числа / и, что верна теорема Хинчина о стационарности длины очереди. Аналогично исследуется однолинейная система QI\M\\, когда распределение промежутков времени между поступле­ ниями требований G_. (х) зависит от длины очереди в момент поступления требования. Найдено стационарное распределение длины очереди Рк = , где р^ — стационарное распре- .-•2р.<-/* t деление вложенной цепи Маркова, а СО cti = \[\ — _ ' V Oi(x)]dx<ioo. о , Интересное исследование однолинейной системы с ожида.нием с помощью вложенного полумарковского процесса про­ водится в работе Нёйтса [209]. Пусть X(t) —число требова­ ний в системе в момент t. Выберем в качестве точек регенера­ ции моменты Tn следующим образом: t0-=0 и,хп+и n > 0 — моменты времени, в которые все требования, имеющиеся в мо.74 ' ' - будут полностью обслужены. Если в момент хп нет требований, то хп+\ — момент времени, когда первое поступив­ шее требование после момента хп будет обслужено. Строится вложенный полумарковский процесс MeHTbl t n , где б., = X {хп + 0,) и Nit) = sup {п. :^<t} в предположении, что X(t0) — i, для которого I" - Qu (х) — jj е-"« -Qf-dlft (и), i > 0, у ;> 0, ; • Q o , (x) = j [1 - е-* <*-«>] d Q l . (в)> (6.10) у>0, о где Ht(x) i-кратная свертка Вводится вероятность Н(х). ' o^(0-=P{--<^6e=-y,ee^o1 k^o,...,ti-\^=i} и показывается, ЧТО производящая функция где oP\f(s)—преобразованиелЛапласа — Стилтьеса uP\n)(t) мо­ жет быть с помощью функций T„(-s, z) представлена в виде ЮЯ<") (s, г) - Т< (s, z) - т ^ , (s, 0), и > 1. Основные характеристики системы выражаются через функ­ ции т„ (s, z), которые определяются с помощью рекуррент­ ных формул: T«+i(-S- г) = Я ( 5 + Х-Хт п (5,г)), я > 0 . Показывается, что при Х£<1, lim r„(»s, 0).==т (5) является /1.~>оо преобразованием Лапласа —Стилтьеса для функции распре­ деления периода занятости при i = 1, а производящая функ­ ция стационарного распределения вложенной цепи Маркова имеет вид P(z) — l - P o 2 ( i - T „ ( 0 , z ) ) И • • Ро - = z 1 :—• -+ St--T«(o,o)] . л=1 '75 С помощью рассмотренного вложенного полумарковского процесса определяется распределение для виртуального вре­ мени ожидания ц (t) ] «-•- М{е^ (0о\Х Щ = /} dt ---- ^ <«>~ ^ \ , + ^ - J <'»---- ! о В работе Нёйтса [201] с ПОМОЩЬЮ рассмотренного вло­ женного полумарковского процесса исследуются приоритет­ ные системы M|G|1, в предположении, что требования к мо­ менту t упорядочены в очереди согласно длительности их вре­ мен обслуживания (в порядке убывания или в порядке воз­ растания). Обозначим через r\(t, х) и v\(t, х) виртуальное время ожи­ дания требования с временем обслуживания х(х > 0), в слу­ чае, когда требования обслуживаются в порядке возрастания времени обслуживания, соответственно в порядке убывания времени обслуживания. Показано, что со МХМ- (оо, x) = 2(1Д,61) [l + 2A| j VLH (a) dH (и)1, где 8 — Г хЧН (х), МХМЪ_ (оо, x) - 2 ( 1 р — Г xdH (x) ^ W ) [l + 2X5 - 2А Г иН (и) dH (и) о В работе Нёйтса [202] обобщается модель системы с ожида­ нием M|G|1 на случай, когда система может находиться в т различных фазах. Распределение длительности обслужи­ вания Hi(x), i = '\, ..., m, и интенсивности входящего потока %и i = 1, ..., т, зависит от номера фазы, а времена пребыва­ ния системы в i-й, 1—1, ..., т, фазе являются независимы­ ми показательно-распределенными случайными величинами с интенсивиостями ai, i — 1 т. ЕСЛИ /,, —фаза, в которой находится система в момент /, а N(tlt t2) — число поступлений требований за (t1, t 2 ), тогда P.lJ\ntt) 76 = P{It = j t Nt = n\Iu = i}, Nt = N(0, t\, удовлетворяют уравнению марковского восстановления: п t fe- (X ' + "') - ^ - / - w ( ^ - i : , n~l)d,. S ЪРи£ A=l (6.11) /-=0 0 Показано, что длины очереди в моменты ухода требований связаны соотношением •v«+i-=(vi-'—-+*«)+. где пп — число требований, поступивших в систему за время "•обслуживания п-го требования. Если Jn — фаза в момент ухо­ да хп п-то требования, то {/n, vn, t«} образует процесс мар­ ковского восстановления, порожденный полумарковской мат­ рицей: Л" Q(i, к,/, k', x)= f Pu(k, — ki-\,u)dHt(u), о Q(i, k,J, k', x ) - - 0 , A ' < £ — l , m k'-^k —1>0, (6.12) л" •Q(i,'0,j, A'•«)--=-J] ХйГ.Р-й(0,а)0(Л, l./.A'.Jc —«)da, A = 0. ft=l 0 ' • . В работе найдены необходимые и достаточные условия существования стационарности системы: Р*<1, (6.13) где ГО * ОО 1=1 ' 0 •Ё Л/Ло. ./=1 a it. удовлетворяют системе алгебраических уравнений: л» «• m £ « / f P u ( - . «)dH. («)—-j. 2^-=1-- i=i i=i о С ПОМОЩЬЮ построенного вложенного процесса марковского восстановления определены различные характеристики си­ стемы. Многие системы массового обслуживания могут быть опи­ саны случайными процессами, поведение которых во времени определяется цепью Маркова и полумарковским процессом. Такие процессы рассматривались в работах И. А. Ежова [47, 48]. В [47] показано, что для однолинейной системы 77 с ожиданием типа M\G\ 1 определение характеристик периода занятости системы, максимальной длины очереди сводится к определению времени пребывания цепи Маркова с полумарковским вместительством случая в определенном подмно­ жестве состояний. В статье И. А. Ежова й В. С. Королюка [55] аналогичные характеристики определяются с помощью цепи Маркова с полумарковским вмешательством случая для систем типа M|G|1, G/]M|l, когда требования поступают группами по уп, где vn — случайная величина с распределением rm=P{vn = tn). В частности, получено для системы М \ G \ 1 функциональное уравнение для производящей функции cp(s) = Me~-V(J> перио­ да занятости оо где R (г) •— ]У] zmrm, обобщающее известный результат Та- кача. Ряд характеристик систем массового обслуживания выра­ жается через характеристики времен пребывания полумарковского процесса в фиксированном множестве состояний. Так для систем массового обслуживания, которые могут быть описаны полумарковским процессом, и вероятности перехода которого удовлетворяют условиям Qu(x)>o, j < i + 1/ Qu(x) = 0, У > * + 1 , в работе С. М. Броди [21] получены следующие рекуррент­ ные формулы Ъ-*{3) ЩЦг«- — - у 1 *> 2 ' (6-14) - £ Qft-i, i (*) П ? ( / +1) •» - -?*_,, *_1 (-) 1=1 ' ]=1 и ft-2 ft—2 где C^j — время пребывания полумарковского процесса в мно­ жестве состояний E A _! — {0, . . . , k — 1), началом в /-ом состоя­ нии Ек cz Е, где Е — множество состояний подумарковского процесса. С помощью Т<Д1 (s) и т^]_г найдены некоторые характеристики систем массового обслуживания с потерями и с ограниченной длиной очереди. 78 Исследуется система с потерями G / | M | 1 , М|<3|1 с помо­ щью ПМП в [73]. Имеется ряд работ, у которых описываются системы мас­ сового обслуживания, когда входящий поток или время об­ служивания является полумарковским. В работе Цинлара [137] изучена однолинейная система с показательным распределением длительности обслуживания и конечным числом типов требований. Типы требований, по­ следовательно поступающих в систему, образуют однородную'. цепь Маркова. Интервал между последовательным поступле­ нием требований может зависеть от типов последних двух .требований. Автор нашел аналитические .выражения для основных характеристик процесса. В работе С. Н. Симоновой [103] рассматривается многолинейная система с потерями и. входящим полумарковским потоком, в предложении, что время обслуживания требования t-ro типа имеет показательное распределение с параметром ц... Функционирование такой системы описывается однородным' марковским процессом {vi(t), ,-., Vft(t), y(t), v(t)}, где vi(t) — число требований i-vo типа в момент t, y(t) — тип требования,, поступающего последним к моменту t, v(t) —время, прошед­ шее с момента последнего поступления требования к момен­ ту t. Получены формулы для стационарного распределения вероятностей. Обобщается формула Эрланга в работе Франкена [155]' на случай, когда входящий поток является полумарковским,. т. е.. предполагается, что имеется k типов требований и зада­ на стохастическая матрица R •= {rij, i, j б к}, а также семей­ ство функций распределения Gii(x), i, j&k, с конечными сред­ ними. Пусть X(t) —число приборов, занятых обслуживанием'' в момент t. Показывается, что {In., vn} является однородной цепью Маркова, где gn = х (хп — 0), а хп — момент поступле­ ния n-го требования, vn — тип поступившего требования в хпОпределяется стационарное распределение /?-'•— lim Ц р Цп = I, v„ —• J). я->.-° . Такая же система исследуется в работе Цинлара [137]. Пусть X(t) —-число требований в системе в момент t, aI (t) — тип обслуживаемого требования в момент t, и щ, и2,.,. •-, Ti, ta, .... — моменты поступления и ухода требований изсистемы. Очевидно, что tit)^}*"-» ^(o=—o, •-.,._!</<«„, В работе изучаются свойства процесса {-.(t), X (t)}. При неко­ торых предположениях относительно матрицы Q (t) показано, что lim P {•; (t) •— i, x (t) = j | £ (0)} существует и не зависит 79- •от -5 (0) и х(0), когда UimMT„<L .Показано, что -°{^0 — Л — ИтР{?К + 0) — /Ь § 7. ПРИМЕНЕНИЕ ПОЛУМАРКОВСКИХ ПРОЦЕССОВ В ТЕОРИИ НАДЕЖНОСТИ Полумарковские процессы находят большое применение в теории надежности резервированных систем, систем с пере­ менным режимом работы, при анализе систем с большим числом элементов. В работе В. С- Королюка, A. А. Томусяка [67] использует­ ся конструктивное построение полумарковских процессов (см. стр. 51) для описания функционирования различных ре­ зервированных систем. Рассматривается резервированная си­ стема, состоящая из п однотипных рабочих устройств, рабо-тающих независимо, т резервных устройств того же типа, находящихся в холодном резерве и г восстанавливающих устройств, работающих независимо. Предполагается, что вре­ мя работы и время восстановления каждого устройства рас­ пределены по показательному заказу с параметрами Л и р , соответственно. Система считается в рабочем состоянии, если работает т устройств. Пусть ei — состояние системы, соот­ ветствующее тому, что г устройств занято. Лолумарковский процесс, описывающий функционирование рассматриваемой резервированной системы, задается функциями распределения: &Li + i (Х)= { 11 - е- О» + " - « К i >уя; So,i (x)•—1 — е-—-. Для определения характеристик времени безотказной ра­ боты системы следует определить согласно формуле (см. стр/-51) переходные вероятности pt,i±i, Q/, y-i(x) и затем решить системы линейных алгебраических уравнений (5.1) (5.2) при - 1 ~ ie0> е Ь е • • •> т)- При больших г и т решение систем уравнений представ­ ляет значительные трудности. В этом случае удобно пользо­ ваться, следующими рекуррентными формулами те(-н-->-----•80 ° gOT ° , pt,l+i = pltpht-.i = qit (7.1) m°-=-0, ml0<=aQ, at—-среднее время пребывания ПМП в со­ стоянии et и • T < m + 1 )fa) T ° = ^ T (S)Qm,m+l(s*> ° (7 2) Некоторые случаи таких систем решаются с помощью полумарковского процесса в [22]. В [67] рассматривается резервированная система, когда имеется одно восстанавливающее устройство, время работы каждого имеет произвольную функцию распределения. С помощью вложенного полумарковского процесса опре­ деляются характеристики времени безотказной работы дубли­ рованной системы с холодным резервированием в работе В. С Королюка [64]. Выбираются в качестве точек регенера­ ции (переходов полумарковского процесса) моменты отказа работающего устройства. Вероятности перехода для такой системы определяются следующим'образом Q01(x) — F(x), X • Qn{x)= ..' С H(u)dF(u), (7.3) о X Q12{x) = F (x) - f H И dF (к), где F(x) —функция распределения безотказной работы рабо­ чего устройства, Н(х) — функция распределения времени восстановленият-Используя формулы для (5.1), (5.2), автор опре­ деляет математические ожидания и преобразования Лапла­ са — Стилтьеса времени безотказной работы, т. е. времени пребывания полумарковского процесса в множестве состоя­ ний в подмножестве состояний {еь, в\) (ei — состояние систе­ мы, когда работает i устройств). Цинларом [141] рассмотрена система, состоящая из конеч­ ного1 числа элементов т, время безотказной работы которых имеет показательное распределение с интенсивностью кг, a Нь.(х)—функция распределения времени восстановления, если отказал ^-ый элемент системы. Пусть хп — моменты от­ каза системы и |п — тип отказавшего элемента в момент хп. Если #/..(+ о о ) < 1, для некоторых k, то система описывается неконсервативным процессом марковского восстановления Цп, хп, I}, где / — число отказов за время работы системы MXIM - z < oo с ' 6 Заказ Ш 382 81 Qu (x) ='. f Hj {x — и) Хке~^ийи, о k-i Уравнение марковского восстановления для такой системы Pj{x{t)=k, e(t).— 0} = t =- hi [^ (+ °°) - Н М + 2 J Qyv Cd«) Qvft (* - и ) , (7.5) v О где х (t) — тип последнего перед моментом t отказавшего элемента, a s(t) = Q или 1 согласно тому, работает или не работает система в момент t\<^z. Если # f t (-f-oo) = 1 для всех k, то L •=-оо и г = оо с ве­ роятностью 1. Из (7.5) получено, согласно (3.3), 11га Pj{x(t):=k, e(t)—^О}.. 4bk й=1 00 где 6ft— I [1—# ft (.a)]d« Hm Я , {* (") = -} = /->DQ J?- 1 + S W* При решении задач теории надежности, работающих с пере­ менным режимом работы, используются вложенные полумарковсжие процессы для цепи Маркова, управляемой .полумарковским процессом в работах С. М. Броди, В. Д. Шпака [24]... С. M. Броди, О. Н. Власенкр [22], С. М. Броди, О. Н. Власенко, Б. Г. Марченко [23]. В [24] показано, что такие вложен­ ные полумарковские процессы задаются вероятностями пере­ хода •PiW=[^{u)dQkl{u\ ' (7.6) о где *$$> (0 = P («* (0 = / ; / * » (0)-=- / , ) . В случае, когда цепь 82 ( Маркова ?k(i) имеет поглощающее состояние / 0 6 E , то pi ii (•*) = f «$*} («) --Qui («). о ft Ф U fj Ф / о (7-7) и ^$> (О = Р{.г*(0-==/;. -г*(«)=?-=/о. 0 < а < ^ / г » ( 0 ) . = / г } . Получены системы линейных алгебраических уравнений для преобразований Лапласа — Стилтьеса времен пребыва­ ния вложенного полумарковского процесса и средних времен пребывания в заданном множестве состояний. В [22] рас­ сматривается система, которая может находиться в я режи­ мах. Предполагается, что система, находясь в k режиме рабо­ ты, может проработать безотказно случайное время щ, где T]?i — показательно-распределенная случайная величина. Та­ кая система описывается вложенным полумарковским процес­ сом, с цепью Маркова Zft(t), k = 1, 2, с двумя состояниями и поглощающим состоянием U ПРИ &= 1, 2, для которого ве­ роятности перехода (7.7) имеют вид: X P^{x)=^e~ltadQhl{u), о .. . l<k,/<n, л. Plf(x) [(l-e-lndPll(u)- = о В работе вычисляется математическое ожидание и преоб­ разования Лапласа — Стилтьеса для времени безотказной работы в случае, когда QM(X) = nuHh(x), где Гы — элементы стохастической матрицы, а Ни(х) — функции распределения времени пребывания системы в k-ou режиме. В статье [22] рассматривается частный случай системы с переменным ре-' жимом, когда n = 2. Для такой же системы', когда в одном из режимов состояние f0 не является поглощающим,' получены некоторые характеристики надежности системы в работе С. М. Броди, Б. Г. Марченко, О/Н. Вдасенко [24]. В работе Барлоу и Прошан [123] среднее число отказов за (0, t) и некоторые стационарные характеристики надежно­ сти выражаются через средние времена возвращения \iij по­ лумарковского процесса из состояния i в состояние }. В статье И. A. Ушакова [116] получена формула для ма­ тематического ожидания времени пребывания полумарковского процесса при <-+со в подмножестве СОСТОЯНИЙ £1 czE, при условии, что в момент t процесс находится в этом под­ множестве состояний. 6* 83 § 8 . УПРАВЛЯЕМЫЕ ПОЛУМАРКОВСКИЕ ПРОЦЕССЫ Важным частным случаем динамического программиро­ вания ЯВЛЯЮТСЯ марковские управляемые процессы. Естествен­ ные обобщения результатов и алгоритмов решения для управляемой марковской цепи на управляемые полумарковские процессы содержатся в работах Ховарда [167] иДжевелла [180, 181]. Это обобщение состоит1 в том, что время, про­ веденное системой между переходами, является случайной величиной с произвольным законом распределения, следова­ тельно, может быть охвачен широкий круг задач без суще­ ственного усложнения вычисления оптимальных стратегий. Предполагается, что если полумарковский процесс находится в состоянии i и -переходит на следующем шаге в со­ стояние /, то доход, получаемый от этого перехода, равен Dij (/), который зависит от i, j , £ij -и от времени t с момента начала перехода (0{le}t{le}I;ij).В работе Джевелла [180] под­ робно анализируется частный случай линейного поведения дохода, когда — средний одношаговый переоцененный доход .тфи выходе из состояния et равен: В дальнейшем решается основная задача, состоящая в вы­ боре для. всех состояний ei управлений di, которые максими­ зируют полный ожидаемый доход за время эксперимента, т. е. определениеЪптималы-юй стратегии. Показано, что в слу­ чае, когда ПМП имеет единственную вложенную цепь Марко­ ва, которая является-эргодическои, и все aii конечны, то для ожидаемого дохода, полученного от процесса, эволюциони­ рующего в течение промежутка времени t, при условии, что он начался в состоянии ei и использовалась оптимальная стратегия, имеет место следующая предельная формула (8.1) где jPi-/ w i^s^VUj rw некоторая константа. 84 wi Cj u, (1 > Приведен иллюстрирующий пример из теории надежности. В работе Росса [219] рассматриваются управляемые полумарковские, определенные вероятностями переходов Р(- \х,а) и функциями распределения F(-\x,a,y) длительности пребы­ вания процесса в состоянии х&Х до перехода в состояние у при управлении a 6 A . Если выбрано управление а, то доход, накопленный за время t{le}вЖ) где ©-, — время пребывания в х, равен C(t|.!C,a). Предполагается, что существуют такие б > 0, s > 0, что f F (81 x, a, у) d P (v | x, а) < 1 - Е. (8.2) уех Решается задача о выборе такой стратегии, которая мини­ мизирует математическое ожидание дохода в единицу, времени. В статье Л. Г. Губенко, Э. С. Штатланда [40] определяют­ ся условия существования оптимальных стратегий, принадле­ жащих определенному классу. В качестве стратегии R выби­ рается марковская стационарная, для которой управляемый процесс является полумарковским. Управляющие полумарковские процессы используются при решении задач оптимизации, систем массового обслужива­ ния, оптимального выбора режимов и синтеза, сложных тех­ нических устройств в работах [44, 106—108]. В работах И. Б. Герцбаха [35, 36] приводятся задачи, связанные с вы­ бором оптимальных способов восстановления систем, которые могут быть описаны с помощью полумарковских процессов. Показано, что задача выбора режимов и профилактики, спо­ соба'резервирования многих систем сводится к минимизации средних потерь, вычисленных при достаточно больших t. И. Б. Герцбах в [37] решает задачу выбора оптимальной стратегии профилактики систем, используя метод нахождения оптимального управления полумарковского процесса. В работе М. Г. Теплицкого [109] применяется алгоритм для определения оптимальной стратегии управляемого полумарковского процесса к задачам теории массового обслужи­ вания, чтобы выбрать режим обслуживающих устройств с максимальной производительностью. БИБЛИОГРАФИЯ 1. АниСимов (Ан1с1мов) В. В., Многомерные предельные теоремы для полумарковских процессов со счетным множеством состояний. Теория вероятностей и мат. стат. Ме.жвед. науч. сб., 1970, вып. 3, 3—15 (РЖМат, 1971, 8В61) ' 2. — , Предельные теоремы для полумарковских процессов. I, II. Тео­ рия вероятностей, и мат. стат. Межвед. науч. сб., 1970, вып. 2, 3—21 (РЖ.Мат, 1971, ЗВ22; ЗВ23) 85 3. — , Предельные теоремы для полумарковских процессов со счетным . множеством состояний. Докл. АН СССР, 1970, 193, № 3, 603—505 (РЖМат, 1970, 12В31) 4. — , Предельные распределения функционалов от полумарковского процесса, заданных на фиксированном множестве состояний до мо­ мента первого выхода. Докл. АН СССР, 1970, 193, № 4, 743—745 (РЖМат, 1971, ЗВ24) б. — , Предельные теоремы для сумм случайных величин, заданных на подмножестве состояний цепи Маркова до момента выхода, в схеме серий- Теория вероятностей и мат- стат. Межвед- науч. сб., 1971, вып. 4, 18—26 (РЖМат, 1971, 12В112) 6. — , Предельные теоремы для сумм случайных величин на цепи Мар­ кова, связанные с выходом из множества, образующего в пределе один класс. Теория вероятностей и мат. стат. Межвед. науч. сб., 1971, вып. 4,.3—17 (РЖМат, 1971, 12В111) ; 7- — , Деяы теореми про rpamroi разподши сум випадкових величин, ав'язаних в однорщний лаицюг Маркова. Доповда АН УРСР, 1970, А, № 2, 99-103 ('РЖМат, 1970, 9В26) 8. — , Многомерные предельные теоремы для цепей Маркова с конеч­ ным числом состояний. Докл. АН СССР, 1972, 204, № 3, 519—521 (РЖМат, 1972, 9В41) 9. — , Некоторые предельные теоремы для полумарковских процессов со счетным множеством состояний в схеме серий. Теория вероятно­ стей и мат. стат. Межвед. науч. сб., 1972, вып. 6, 3—13 (РЖМат, 1972, 9В40) 10. — ,0 предельном поведении полумарковского процесса с расщепляю­ щимся множеством состояний. Докл. АН СССР, 1972, 206, № 4, 777—779 (РЖМат, 1973, 2В62) 11. Арсенишвили (Арсен1шв1л1) Г. Л., Деяю питания теорп складних нашвмарковсышх npoueciB, Тезисы докладов V Научной конференции молодых математиков Украины. Киев, 1970 12. — , Некоторые вопросы из теории полу марковских процессов r-го по­ рядка. В сб. Вопросы разработки и внедрения средств вычисл. техн. Тбилиси, 1970, 128—132 (РЖМат, 1971, 5В50) 13. — , Некоторые вопросы теории полумарковских процессов r-го по­ рядка- Докл. III конф- молодых науч. работников и аспирантов, ТНИИСА, 1970 14. — , Об одном классе функционалов для сложных полумарковских процессов с 'дискретдым вмешательством случая. Сакартвелос ССР , Мецниеребата Академике моамбе, Сообщ. АН ГрузССР, 1970, 58, № 1, 25-28 (РЖМат, 1970, 11В45) 15. — , Е ж о в И. И., Об одной предельной теореме для полумарковских процессов r-го порядка. Сакартвелос ССР Мецниеребата Академиис моамбе, Сообщ. АН ГрузССР, 1969, 53, № 1, 25~-28 (РЖМат, 1969, 10В30) 16. — , — , 0 6 одном обобщении цепей Маркова с полумарковским вмешательством случая. Сакартвелос ССР Мецниеребата Академиис моамбе, Сообщ. АН ГрузССР, 1969, S4, № 2, 285—288 (РЖМат, 1970, 1В73) 17. — , — , 0 распределении времени пребывания в заданной области полумарковским процессом r-го порядка. Тбилисис университета гамокхенибити математикис института. Шромеби, Тр. Ин-т прикл. мат. Тбилис-ун-та, 1969, № 2, 151--157 (РЖМат, 1970, 8В56) 18. Баклан В. В., Эргодическая теорема для марковских процессов с ди­ скретным вмешательством случая. Укр. мат. ж., 1967, 19, № 5, 123— 126 (РЖМат, 1968, 7В36) 19. Беляев Ю. К., Линейчатые марковские процессы и их приложение к задачам теории надежности. Тр. VI Всес. совещания по теории 86 вероятностей и мат. стат. Вильнюс, I960. Гос. изд-во полит, и науч. лит, ЛитССР, 1962, 309—323 (РЖМат, 1964, 5В146) 20. Броди С. М:, Об одной предельной теореме теории массового обслу­ живания. Укр, мат. ж., ,1963, 1Б, № 1, 76—79 (РЖМат, 196-4, 6В428) 21. ~-', Исследование систем массового обслуживания с помощью полу­ марковских процессов- Кибернетика, 1965, № 6, 55—58 (РЖМат, 1966, 9В233) 22. •—, В л а с е н к о О. Н., Надежность систем со многими режимами работы- В сб. Теория надежности и массовое обслуж. М„ Наука, 1969, 165-171 (РЖМат, 1970, 5В231) 23. — , — . М а р ч е н к о Б. Г., Расчет и планирование испытаний си-' стем на надежность. Киев, Наук, думка, 1970, 192 стр. (РЖМат, 1970, 9В247К) 24. —< , Ш п а к В. Д., Применение ассоциированных полумарковских про­ цессов в анализе надежности систем. I. Кибернетика, 1970, № 5, 90— 96 (РЖМат, 1971, 9В318) 25. Валах В. Я., Королюк В. С, Стохастические автоматы со случайным временем реакции и их функционирование в случайных средах. В сб. Автоматы, гибридн. и управляющ. машины. М., Наука, 1972, 38—45 (РЖМат, 1972, 7В371) ,26- Виноградов О. П., Задача о распределении максимума длины очере­ ди и ее применение. Теория вероятностей и ее применения, 1968, 13, № 2, 366—375 (РЖМат, 1969, 2В63) 27- — , Предельные распределения для момента первой потери требова­ ния в однолинейной системе массового обслуживания с ограничен­ ным числом мест для ожидания. Мат- заметки, 1968, 3, № 5, 541— 546 (РЖМат, 1968, 10В78) 28. — , Распределение максимума длины очереди в однолинейной систе­ ме массового обслуживания. Айкакан ССР Гитутюниери Академией тегекагир. Математика, Изв. АН АрмССР, 1968, 3, № 3, 257—.262 (РЖМат, 1969, 2В64) • , . /29. Висков О. В,, О системе массового обслуживания с марковской за­ висимостью между поступлениями требований. Trans 4th Prague Conf. Inform- Theory, Statist. Decis. Funct. Random Process, 1965, Prague, 1967, 627—634 (РЖМат, 1969, 2B57) 30. — , Две асимптотические формулы теории массового обслуживания. Теория вероятностей и ее применения, 1964, 9, № 1, 177—178 (РЖМат, 1964, 8В69) 31..— , О времени ожидания в смешанной системе массового обслужи­ вания. Тр. Матем- ин-та- АН СССР, 1964, 71, 26—34 (РЖМат, 1965, 4В25) •32. — , И см а и л о в А. .И-, Система массового обслуживания с ограни­ ченной очередью. Науч. тр. Ташкент, ун-т, 1972, вып. 402, 17—29 (РЖМат, 1972, 7В77) 33. Гергей Т., Е ж о в И. И. (Сжов I. I.), Ц у к а н о в И. Н. (Цука­ нов' I. M.), Цепи Маркова, управляемые сложным ..процессом восста­ новления. В сб. Теория оптимальн. решений. Тр. Семинара. Вып. I. Киев, 1969, 93—109 (РЖМат, 1970, 7В51) 34. — , — , — , Про стащонарний розподш статв одше! системи масового обслуговуваиня. Доповии АН УРСР, 1971, А, № 10, 876—878, 955 (РЖМат, 1972, 1В121) 35. Герцбах И. В., Формулировка некоторых оптимальных задач теории надежности. LatvPSR Zinattiu Akad, vestis, Изв. АН ЛатвССР, 1963, № 8, 25—31 (РЖМат, 1964, 9В79) 36. —'••, Модели профилактики. (Теоретические основы планирования про­ филактических работ). М., Сов. радио, 1969, 214 стр. (РЖМат, 1969, 8В133К) • 37. — , Оптимальное управление полумарковским процессом при нали87 чии ограничений на вероятности состояний. Кибернетика, 1970, № 5. 56-61 (РЖМат, 1971, 6В87) 38.' Гнеденко Б; В.,: О ненагружеш-юм дублировании. Изв.' АН СССР. Техн. кибернетика, 1964, № 4, 3-12 (РЖМат, 1965, 2В291) 39. — , К о в а л е н к о И. Н., Введение в теорию массового обслужива­ ния. М., Наука, 1966, 431 стр. (РЖМат, 1968, 12В83К) 40. Губенко Л. Г., Ш т а т л а н д Э. С, Об управляемых полумарковских процессах; Кибернетика, 1972, № 2, 26—29 (РЖМат, 1972, .9В56) , 41. Гусак Д. В., К о р о л ю к В. С, Асимптотическое поведение полумар­ ковских процессов с расщепляемым множеством состояний. Теория вероятностей и мат. стат. Межвед. науч. сб., 1971, вып. б, 43—50 (РЖМат, 1971, 11В90) 42. Дикар.ев В. Е., Исследование надежности восстанавливаемых -.систем методом марковских процессов с дискретным вмешательством случая. В сб. Сложи, системы и моделир. Тр. Семинара. Вып. 2. Киев, 1969, 22-32 (РЖМат, 1970, 9В239) 43. — , Обслуживание комплекса сложных систем. В сб. Теор. киберне­ тика. Вып. 3. Киев, 1970, 80—97 (РЖМат, 1971, 6В684) 44. -— , Стратегии профилактического обслуживания системы при .непол­ ной проверке ее работоспособности. В сб. Мат. методы исслед. и оптимиз. систем. Вып. 4. Киев, 1970, 25—36 (РЖМат, 1971, 6В550) 45. Добрыдень В. А., Оптимальное наблюдение полумарковского процес­ са. Изв. АН СССР. Техн. кибернетика, 1971, № 4, 47—49 (РЖМат, 1972, 2В265) 46. Ежов И. И., О времени достижения заданной области в случае цепи Маркова с дискретным вмешательством случая. ДоповЩ! АН УРСР, 1966, № 7, 851—854 (РЖМат, 1966,. 12В42) ' 47. — , Цепи Маркова с дискретным вмешательством случая, образую­ щим полумарковский процесс. Укр. мат. ж., 1966, 18, № 1, 48—65 (РЖМат, 1966, 9В40) 48. — , Эргодическая теорема для марковских процессов, описывающих общие системы массового обслуживания. Кибернетика, 1966, № 5, .79-81 (РЖМат, 1967, 5В48) 49. — , Эргодические теоремы для марковских процессов с дискретным вмешательством случая. Допов1д1 АН УРСР, 1966, № 5, .579-—582 (РЖМат, 1966, 10В35) 50. — , Об одном обобщении процессов восстановления. В.сник Кшв. ун-ту. Сер. мат. та мех., 1968, № 10, 55—59 (РЖМат, 1969, 6В60) 51. — , О распределении минимума полумарковского процесса, описыва4 ющего однолинейную систему, обслуживания с ожиданием. В сб. На­ дежность и эффективн. дискрета, систем. Рига, Зинатне, 1968, -27—45 (РЖМат, 1969, ЗВ43) 52. — , Эргодическая теорема для вероятностных процессов с полумар­ ковским вмешательством • случая. Укр. мат. ж., 1968, 20, № 3, 384— 388 (РЖМат, 1969, 11В48). 53. — , О распределении величины перескока заданного уровня .после­ довательностью максимумов случайных величин, управляемых цепью Маркова. Укр. мат. ж., 1969, :21,ОД6, 831—836 (РЖМат, 1970, .7В53> 54. — , Г е р г е й Т., Ц у к а н о в И. Н„ Время пребывания цепи Мар­ кова, управляемой сложным процессом восстановления, в заданной области. В сб. Теория оптимальи. решений. Тр. Семинара. Вып. 2. Киев, 1969, 99—108 (РЖМат, 1970, 7В52) 55. — , К о р о л ю к В. С, Полумарковские процессы и их приложения. Кибернетика, 1967, № 5, 58—65 (РЖМат, 1968, 11В50) 56. — , П р и з в а Г. И„ Об одном обобщении цепей Маркова с непре­ рывным временем. В1сник Кшв. ун-ту. Сер. мат. та мех., 1966, № 5, 145-152 (РЖМат, 1968, 4В48) 57. — , — , Некоторые предельные теоремы для функционалов от сумм случайных величин, управляемых цепью Маркова. Кибернетика, 1969,' № 3, 63—67 88 58. •--- ,• С к о р о х о д А. В., Марковские процессы, однородные по второйкомпоненте. I. Теория вероятностей и ее применения; 1969, 14, N° L 3—14 (РЖМат, 1969. I1B42) 59. —- , — , Марковские процессы, однородные по второй компоненте. II. Теория вероятностей и ее применения, 1969, 14, № 4, 679—-692 (РЖМат, 1970, 7В48) 60. Закусило О. К., Редеющие полумарковские процессы. Теория вероят­ ностей и мат. стат. Межвед. науч. сб., 1972, вып. 6, 54—59 (РЖМат, 1972, 8В66) . . 61. Зубова А. Ф., О холодном резервировании с. восстановлением. Авто­ матика и телемеханика, 1965. 26, N° 10, 1800—1808 (РЖМат, 1966, 5В155) • ., 62. Ковалева Л. М., О времени пребывания двух независимых полумар­ ковских процессов в заданном состоянии. Укр. мат.' ж., 1968, 20, № 6,. 837—841 (РЖМат, 1969, 4В58) 63. — , О времени пребывания в заданном состоянии простейшей полу- • марковской системы. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970, вып. 1, 100—108 (РЖМат, 1970, 6В64) 64. Королюк В. С, Время пребывания полу марковского процесса в' фик­ сированном множестве состояний. Укр. мат. ж., 1965, 17, № 3, 123— • 128 (РЖМат, 1965, 10В32) 65. --г, Об асимптотическом поведении времени пребывания полумарков-• ' ского процесса в подмножестве состояний. Укр. мат. ж., 1969, 21, № 6, 842—845 (РЖМат, 1970, 7В50) 66. — , П о л и щ у к Л. И., Т о м у с я к А. А., Об одной предельной тео­ реме для полумарковских процессов. Кибернетика, 1969, № 4, 144-— 145 (РЖМат, 1970, 2В59) 67. — , Т о м у с я к А. А., Описание функционирования резервированных систем посредством полумарковских процессов. Кибернетика, 1965,. № 5, 55—59 (РЖМат, 1967, 9В140) 68. — , — , 0 некоторых стационарных характеристиках полумарков­ ских процессов. Кибернетика, 1971,. № .5, 65—68 (РЖМат, 1972, 2В64) 69.'— , Т у р б и н А. Ф., Об асимптотическом поведении времени пребы-, вания полумарковского процесса в приводимом подмножестве состоя­ ний. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970, вып. 2, 133—143 (РЖМат, 1971, ЗВ37) 70. — , •—," Об одном методе доказательства предельных теорем для некоторых функционалов от полумарковских процессов. Укр. мат. ж.,. ,1972, 24, .№ 2, 234—-240 (РЖМат, 1972, 8В27) 71. Креденцер Б. П., Об оптимальной загрузке двухприоритетиои системы обслуживания © ожиданием. Автоматикаl и телемеханика, 1970, № 9,145—150 (РЖМат, 1971, ЗВ47) v 72. — , Оценка надежности систем с аппаратурной и временной избыточ­ ностями и мгновенным обнаружением отказов. Изв. АН СССР. Техн. -. кибернетика, 1971, № 4, 58—69 (РЖМат, 1972, 2В266) 73. Кухта Т. К., Определение вероятности потери с помощью подумарковских процессов. В сб. Сложи, системы и моделир. Тр. Семинара'.. Вып. I. Киев, 1968, 67—73 (РЖМат, 1969, 9В49) 74. Лев Г, Ш., О сходимости полумарковских процессов умножения со. сносом к диффузионному процессу. Теория вероятностей и ее приме­ нения, 1972, 17, № 3, 583—588 (РЖМат, .1972, 11В63) 75. — , Полумарковские процессы умножения со сносом. Теория вероят­ ностей и ее применения, 1972,, 17, Ш 1, 160-166 (РЖМат, 1972, 7В68) 76. Матвиишин Я. А., С у ч к о в Л. Н„ Об одной задаче оптимального. управления полумарковским объектом. В сб. Сложи, системы и моде­ лир. Тр. Семинара. Вып. 2. Киев, 1969, 4 2 - 4 9 (РЖМат, 1970, 8В80) 77. Морозов В. Г., О топологических методах исследования конечных полумарковских автоматов. В сб. Автоматы, гибридн. и управляют.. машины. М„ Наука, 1972, 50-59 (РЖМат, 1972, 7В370) 78. Пбпов П. И., Ч е р е н к о в А, П., Асимптотический метод расчета на89' дежности марковских систем- В сб. Теория надежности и массовое обслуж., М., Наука, 1969, 178—183 (РЖМат, 1970, 7В222) '79. Пресман Э. Л., Время пребывания одной системы в неисправном со­ стоянии. Тр. Матем. ин-та. АН СССР, 1964, 71, 78—81 (РЖМат, 1965, . 4В27) .SO. Призва (Пр.зва Г. Й.) Г. И., О распределении некоторых функциона­ лов от сумм случайных величин, управляемых цепью Маркова. Тезисы Всесоюзного межвузовского симпозиума по прикладной математике н кибернетике. Горький, 1967 ~81. —•, Про одну граничну теорему для нашвмарковських процес.в. Доповда АН УРСР, 1967, А, № 9, 820—824 (РЖМат, 1969, ЗВ38) -82. — , Об одном обобщении функций восстановления. Тр. IV Республи­ канской конференции молодых математиков Украины. Киев, 1968 .83. .— , Эргодична теорема для одного -класу марковських процеав. Доповда АН УРСР, 1968, А, № 8, 720—723 (РЖМат, 1969, 7В35) .4.4. — , С и м о н о в а С. Н., О распределении величины первого переско­ ка. Укр. мат. ж., 1967, 19, № 3, 117—121 (РЖМат, 1968, 11В51) . 85. Рыков В. В., Я с т р е б е н е ц к и й М. А., Регенерирующие процессы • с несколькими типами точек регенерации. В сб. Большие . системы. Массовое обслуж. Надежность. М., Наука, 1970, 203—208 (РЖМат, 1971, 4В82) . . , ' / . •'•86. — , — , О регенерирующих процессах с несколькими типами точек регенерации. Кибернетика, 1971, 3, 82—86 (РЖМат, 1972, 1В106) .87. Сапаговас И,, О сходимости сумм марковских процессов восстанов­ ления к процессу Пуассона. Liet. mat. rinkinys, Лит. мат. сб., 1966, -• . 6, № 2, 271—277 (РЖМат, 1967, 6В25) 88. — , О сходимости сумм марковских процессов восстановления к мно­ гомерному процессу Пуассона. Liet. mat. rinkinys, Лит. мат. сб., 1969, 9, № 4, 817—826 (РЖМат, 1970, 8В90) ."89. Сильвестров (С1львестров) Д. С, Асимптотическое поведение времени достижения для сумм случайных величин, управляемых регулярным полумарковским процессом. Докл. АН СССР, 1969, 189, № 5, 949— 951 (РЖМат, .1970, 4В24) "90. — , Граничш розподши для випадкового блукання на прям1й, зв'язаного в ланцгог Маркова. 'Доповщ; АН УРСР, 1970, А, № 4, 326—329 , (РЖМат, 1970, 12В30) v 91. — , Предельные теоремы для дискретного случайного блуждания на •полупрямой, управляемого цепью Маркова. I. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970, вып. 1, 193—204 (РЖМат, 1970, 9В56) "92..— , Предельные теоремы для дискретного случайного блуждания на полупрямой, управляемого цепью Маркова. II. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970, вып. 2, 158—166 (РЖМат, 1971, ЗВ25) • .93. — , Предельные теоремы для непрерывного блуждания на полупря­ мой, управляемого марковским процессом с двумя состояниями, в схе­ ме серий. I. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970, вып. 1, 205—215 (РЖМат, 1970, 9В57) '94. — , Предельные теоремы для непрерывного блуждания на полупря­ мой, управляемого марковским процессом с двумя состояниями, в схе­ ме серий. II. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970, вып. 2, 167—171 (РЖМат, 1971, ЗВ26) 95. — , Предельные теоремы для цолумарковских процессов и их при­ менения. I. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970, вып. 3, 155—172 (РЖМат, 1971, 8В59) 96. — , Предельные теоремы для полумарковских процессов и их при­ менения. II. Теория вероятностей и мат. стат. Межвед. науч. сб., 1970, вып. 3, 173—194 (РЖМат, 1971, 8В60) 97. —г , Предельные теоремы для функционалов от процессов ступенча­ тых сумм случайных величин, определенных на полумарковском проS0 . '-. цессе с конечным множеством состояний. Докл. АН СССР, 1970, 195, № 5, 1036—1038 (РЖМат, 1971, 7В60) •98. — , Граничш теореми для натвмарковських процеав. Доповцц АН УРСР, 1971, А, № 11, 987—989 (РЖМат, 1972, 2В28) 99. — , Полу марковские процессы с дискретным множеством состояний. Изд-во Киев, ун-та. Киев,, 1971. 400. — , Првделмше "т-те-гаян для полумарковских схем суммирования. I. Теория вероятностей и мат. стат. Межвед. науч. сб., 1971, вып. 4, 153—170 (РЖМат, 1971, 12ВБ5) 101/ — , О сходимости слабозависимых процессов в равномерной топо­ логии. I. Теория вероятностей и мат. стат. -Межвед. науч. сб., 1972, вып. 6, 109—117 (РЖМат, 1972, 9В23) 102.— , О сходимости слабозависимых процессов в равномерной тополо­ гии. II. Теория вероятностей и мат. стат. Межвед. науч. сб., 1972, вып. 7, 132—145 (РЖМат, 1973, 1В56) 103. Симонова С. Н., О многолинейной системе с потерями с входящим полумарковским потоком требований. Кибернетика, 1967, № 6, 48—53 (РЖМат, 1968, 6В59) 104- Соловьев А. Д., Асимптотическое распределение времени жизни дуб­ лированного элемента. Изв. АН СССР. Техн. кибернетика, 1964, № 5, ' 119—121 (РЖМат,' 1965, 6В114) 105- — , Резервирование с быстрым восстановлением-Изв. АН СССР. Техн. .кибернетика, 1970, № 1, 56—71 (РЖМат, 1970, 7В234) 106. Сучков Л. Н., Оптимизация характеристик надежности сложных си­ стем с помощью управляемых полумарковских процессов. В сб. Ма­ териалы IV. Респ. научн. конференции молодых исследователей по системотехнике, 1969. Т. 2. Киев, 1969, 89—92 (РЖМат, 1970, 4В236) 107. — , Оптимизация времени пребывания полумарковского процесса в фиксированном множестве состояний. В сб. Сложи, системы и мо: делир. Тр. Семинара. Вып. 1. Киев, 1969, 67—73 (РЖМат, 1970, 10В74) 108. — .Оптимизация показателей надежности сложных систем, функ> ционирование которых представимо посредством полумарковских про­ цессов. В сб. Сложи, системы и моделир. Тр. Семинара. Вып. 2. Киев, 1969, 33—41 (РЖМат, 1970, 9В235) 109. Теплицкий М. Г., Отыскание оптимальной дисциплины обслуживания для одной системы массового обслуживания с управляемым режимом работы приборов. Автоматика и вычисл. техн., 1968, № 6, S1—-66 (РЖМат, 1969, 8В31) ,. 110. Томусяк А. А., Про достатт умови i crioci6 знаходжёння эргодичного розпод.лу натвмарковського процесу. Звт-ю-наукова конференция кафедр КиТвського педшституту. Тези допов1дей. Кшв, 1966 111. — , Час перебування нашвмарковського процесу на зчислешй мно­ жим! стан.в, Звт-ю-наукова коиференщя кафедр Кшвського педшституту. Тези доповщей. Киш,- 1967 112. — , Вычисление эргодического распределения марковских и полумар­ ковских процессов. Кибернетика, 1969, № 1, 68—71 (РЖМат, 1970, 2В60) 113. — , Про одну задачу проектування резервованих систем з в.дновленням. В.сиик Ки1в. ун-ту. Сер. , мат. та мех., 1970, № 12, 96—99 (РЖМат, 1971, 5В296) , 114. Турбин А. Ф., Применение теории возмущения-линейных операторов к решению некоторых задач, связанных с цепями Маркова и полумарковскими процессами. Теория вероятностей и мат. стат. Межвед. науч. сб., 1972, вып. 6, 118—128 (РЖМат, 1972, 8В65) 115. — , Об асимптотическом поведении времени пребывания полумар­ ковского процесса в приводимом подмножестве состояний. Линейный случай. Теория вероятностей и мат. стат. Межвед. иауч. сб., 1971, вып. 4, 179—194 (РЖМат, 1971, 11В89) 116. Ушаков И. А., О вычислении среднего стационарного времени пребы91 вания полумарковского процесса в подмножестве состояний- Изв. АН СССР. Техн. кибернетика, 1969,,№ 4, 62---65 (РЖМат, 1970,4В$5\) 117. Франкен П., Уточнение предельной теоремы для -суперпозиции неза­ висимых процессов восстановления. Теория вероятностей и ее при­ менения, 1963, 8, № 3, 341—349 (РЖМат, 1964, 4В24) 118. Халиль 3. С, Об одной задаче резервирования с восстановлением. Elektron. Informationsverarb. und Kybernet, 1968, 4, N° 5, 327—340' (РЖМат, 1970, 2ВЗИ) 119. Ястребенецкий М. А,, Об одном классе регенерирующих случайных процессов- Изв. АН СССР. Техн. кибернетика, 1969, № 5, 50—60 (РЖМат, 1970, 5В93) 120. — , О сходимости сумм марковских процессов восстановления к вет­ вящемуся процессу Пуассона- Кибернетика, 1972, № 1, 95—-98 (РЖМат, 1972, 6В66) 121. Anselone Р. М., Ergodic theory for discrete semi-Markov chains. Duke Math. J., 1960, 2.7, № 1, 33—40 (РЖМат, 1961, 2B19) 122. Barlow R, E., Applications of semi-Markov processes to counter prob­ lems.-Stud. appl. prob. and manag. sci., Stanford, Calif., Univ. Press, 1962, 34—62 (РЖМат, 1966, 11B276) 123. — , P r o s c h a n F., Mathematical theory of. reliability. New York, Wiley, 1965, XIII, 256 (РЖМат, 1967, 4B148I<.); русский перевод: Барлоу Р. Е., Прошаи Ф., Математическая теория надежности- М., Сов. радио, 1969, 488.стр. (РЖМат, 1969, 9В157К.) 124. Berman S. M., Note on extreme values, competing risks and semi-Mar­ kov processes. Ann. Math. Stat., 1963, 34, № 3 , 1104—1106 ,(РЖМат„ 1964, 7B163) 125. Bhat U. Narayan, Imbedded Markov chain .analysis of single server bulk queues. J. Austral. Math. Soc, 1964, 4, № ' 2 , 244—263 (РЖМат, 1965, 2B452) 126. Cane V. JR., Behaviour sequences as semi-Markov chains- J- Roy. Sta­ tist. Soc, 1959, B21 • 127.1 Cheong С. К., Geometric convergence of semi-Markov transition proba­ bilities.. Z. Wahrscheinlichkeitstheor. und verw. Geb., 1967, 7, № 2, 122—130 (РЖМат, 1968, 4B35) 128. — , Ergodic and ratio limit theorems for a-recurrent semi-Markov pro­ cesses. Z. Wahrscheinlichkeitstheor, und verw. Geb., 1968, 9, № 4, 270— 286 (РЖМат. 1970, 1B42) 129. — , Quasi-stationary distributions in semi-Markov processes. J. Appl. Probab., 1970, № 2, 388—399 (РЖМат, 1971, 4B39) 130.— , Quasi-stationary distributions in semi-Markov processes. Correc­ tion. J. Appl. Probab., 1970, 7, № 3, 788 (РЖМат, 1971, 6B59) 131. —- , H e a t h c o t e С R., On the rate of convergence of waiting times. . J . Austral. Math. Soc, 1965, 5, № 3, 365—373 (РЖМат, 1966, 5B34) 132. —• , D e S m i t J o s H. A.1, J a n s s e n J., L a m b о 11 e J.-P., T e ug e l s I. L., V a n d e w i e l e G., Definitions, classification and limit theorems. Notes on semi-Markov theory. Part I. Core discussion .paper № 7118, 1971 133. — , — , T e u g e l s I. L., Notes on semi-Markov processes. Part II. Bibliography. Core discussion paper №7121, 1971 134. -yinlar E., Decomposition of a semi-Markov process under a Markovian rule. Austral. J. Stat., 1966, 8, № 3, 163—170 (РЖМат, 1967, 11B32) 135. — , Decomposition of a semi-Markov process under a state dependent rule. SIAM J. Appl. Math., 1967,15, № 2, 252—263 (РЖМат, 1969, 2B48) 136. — , Time dependence of queues with semi-Markovian services. J. Appl. Probab., 1967, 4, № 2, 366—364 (РЖМат, 1969, 2B67) 137. •-- , Queues with semi-Markovian arrivals. J. Appl. Probab., ,1967, 4, № 2, 365—379 (РЖМат, 1968, 4B57) 138. — ,.On the superposition of m-dimensionai point processes. J. Appl. Probab., 1968, 5, № 1 , 169—176 (РЖМат, 1969, 1B78) 92 139. — , Some joint distributions for Markov-renewal processes'. Austral J. Stat, 1968, 10, № 1, 8—20'(РЖМат, 1969, 11B82) 140. — , On semi-Markov processes on arbitrary spaces. Proc. Cambridge Phil. Soc, 1969, 66, № 2, 381—392 (РЖМат, 1970, 5B57) 141. — , Markov renewal theory. Adv. Appl. Probab., 1969, 1, № 2, 123—187 (РЖМат, 1970, 11B82) 142. — , On dams with continuous semi-Markovian inputs. J. Math. Anal. Appl., 1971, 35, № 2, 434—448 (РЖМат, 1972, 3B58) • • ' 143. Denardo E. V., Markov renewal programs with 'small interest rates. Ann. Math. Stat, 1972, 42, № 2, 477-496 (РЖМат, 1972, 1B332) 144. - , F o x B. Li Multichain Markov renewal programs. SIAM J. Appl. Math., 1968, 16, 468—487 .145. Derman C, Remark concerning two-state semi-Markov processes. Ann. Math. Stat., 1961, 32, № 2, 615—616 (РЖМат, 1962, 4B19) 146. Disney R. L, H a 11 W. K., Finite queues in parallel under a genera­ lised channel selection rule. J. Appl. Probab., 1971, 8, 413—416 147. — , VI a h T. L., The departure process from the OI/G,/I queue. J. Appl. Probab., 1969, 6, 704—707 148. Fabens A. J., The solution of queueing and inventory models by semiMarkov' processes. J. Roy. Statist. Soc, 1961, B23, № 1, 113—127 (РЖМат, 1962, 2B429) 149. — > K a r l in S., Generalized renewal functions and stationary inven• tory models. J. Math. Anal. Appl., 1962, 5, 461—487 (РЖМат, 1965, №310) 150. — , P e r e r a A. G. A. D., A correction to "The solution of queueing and inventory models by semi-Markov processes". J. Roy. Statist. Soc, 1963, B25, № 2, 455—466 (РЖМат, 1965, 1B301) 151. Feller W., On semi-Markov processes. Proc. Nat. Acad. Sci. USA, 1964, SI, № 4, 653-659 (РЖМат, 1966, 2B86) 152. Fox B. L., Markov renewal programming by linear fractional pro­ gramming. SIAM J. Appl. Math., 1966, 14, № 6, 1418-1432 (РЖМат, 1967, 9B79) • ..' 153. — .Existence of stationary optimal policies for some Markov rene­ wal programs. SIAM Rev., 1967, 9, № 3, 573—576 (РЖМат, 1968, • ' 11B69) 154. — , (g, w)-optimal in Markov renewal programs. Manag. Sci., 1968, 15, № 3, 210-212 (РЖМат. 1969, 12B67) 155. Franken P., Eflangsche Formeln fur semimarkowschen Eingang. Elec­ tron. Informationsverarb. und Kybern., 1968, 4, № 3, 197—204 (РЖМат, 1969, 5B48) • 156. Gaver D. P., Jr., Imbedded Markov chain analysis of a waiting-line process in continuous time. Ann. Math. Stat., 1959, 30, № 3, 698—720 (РЖМат, 1961, 12B210) 157:—', An absorption probability problem. J. Math. Anal. Appl,, 1964, 9, № 3, 384—393 (РЖМат, 1965, 6B48) 158. Gergely Т., T s u k a n o w . I . N., Y e z h o w I. I„ Markov chains go­ verned by complicated renewal processes. Adv. Appl. Probab., 1970, 2, № 2, 287—322 (РЖМат, 1971, 5B51) 159. Gupta Y. P.,v Some results for zero order Markov renewal processes. J. Indian Statist. Assoc, 1972, 10 160. Harris С. М., Queues with state-dependent stochastic service rates. Operat. Res., 1967, 15, № 1, 117—130 (РЖМат, 1967, 9B313) 161. Hatori Hirohlsa, A limit' theorem on {J, X) -processes. Kodai Math. ;.' Sem. Rep., 1966, 18, № 4, 317—321 (РЖМат, 1967, 8B12) 162.—-, M o r i T o s h i o , An improvement of a limit theorem on (7,X)processes. Kodai Math. Sem. Rep., 1966, 18, № 4, 347—352' (РЖМат,. 1967, 8B13) . >\ . 163. — , — , A renewal type theorem on continuous time (J, .Х)-processes. Kodai Math. Sem. Rep., 1967, 19, № 4, 404—409 (РЖМат, 1968, 10B42) 164. — , — , O o d a i r a H i r o s h i ; A renewal theorem on (/,JC)-pro- 93 cesses. Kodai Math. Sem. Rep., 1967, 19, № 2, 159—164 (РЖМат, 1968, 3B21) 165. — , — , — , A remark concerning a renewal theorem on (J,X) -pro­ cesses. Kodai Math. Sem. Rep., 1967, 19, № 2, 189—192 (РЖМат, 1968,. 3B22) , 166. Hawkes A. G., Bunching in a semi-Markov process. J. Appl. Prpbab... 1970, 7, № 1, 175—182 (РЖМат, 1970, 10B57) 167. Howard R. A., Semi-Markov decision processes. Bull. Inst. Int. Statist.,. 1964, 4 0 • i 168. — , Research in semi-Markovian decision structures. J. Oper. Res. Soc Japan, 1964, 6, № 4, 163—199 (РЖМат, 1967, 6B67) 169. — , System analysis of semi-Markov processes- IEEE Trans- Milit. Electron., 1964, 8, № 2, 114—124 (РЖМат, 1965, 2B75) 170. Hunter J. J., On the moments of Markov renewal processes. Adv. Appl. Probab., 1969, 1, № 2, 188-210 (РЖМат, 1970, 11B80) 171.- — , On the renewal density matrix .of a semi-Markov process. Sankhya,. 1969, A31, № 3, 281--308 (РЖМат, 1970, 10B56) 172. Jacod J., Un theorerne de renouvellement pour les chaines semi-Markoviennes. С r. Acad, sci., 1970, 270, № 4, A255—A258 (РЖМат, 1970,. 8B55) 173. — , Chatnes semi-Markoviennes transientes et recurrentes, chaines posi­ tives. С r. Acad, sci., 1970, 270, № 12, A776—A779 (РЖМат, 1970,. 12B50) 174. — , Theoreme de renouvellement et classification pour les chaines semiMarkoviennes. Ann. Inst. H. Poincare, 1971, B7, № 2, 83—129 (РЖМат,. 1972, 1B159) 175. — , Generateurs infinitesimaux des processus a accroissements semiMarkoviens. Ann. Inst. H. Poincare, 1971, B7, Ha 3, 219—233 (РЖМат,. 1972, 2B50) 176. Janssen J., Processus de renouvellements Markoviens et processus semi-Markoviens.. Cah- Cent. etud. rech. oper., 1964, 6, 81—105 177. — , Processus de renouvellements Markoviens. 2-е partie. Stationnarite. et Application a un problem d'invalidite, Cah, Cent etud, rech, oper., 1965, 7, 126—141 178. — , Application des processus semi-Markoviens & un probleme d'invali­ dite. Bull. l'ARAB, 1966, 63, 35—52 179. — , Les processus (J—X). Cah. Cent. etud. tech. oper., 1969, 11, № 4, 181—214 (РЖМат, 1970, 11B20) 180. Jewell W. S., Markov-renewal programming. I. Formulation, finite re­ turn models. Oper. Res., 1963, 11, № 6, 938—948 (РЖМат, 1964,. 9B218) 181. — , Markov-renewal programming. II. Infinite return models, example. Oper. Res., 1963, 11, № 6, 949—971 (РЖМат, 1964, 9B219); русский перевод: Джевелл В. С , ' Управляемые полумарковские процессы. Кибернет. сб. М., Мир, 1967, 97—140 182. — , Fluctuations of a renewal-reward process. J, Math. Anal, and Appl.,. 1967, 19, № 2, 309—329 (РЖМат, 1969, 5B71) 183. Keilson J., On the matrix renewal function for Markov renewal pro­ cesses. Ann. Math. Stat, 1969, 40, № 6, 1901—1907 (РЖМат, ' 1971,. 6B62) 184. Kesten H., Occupation times for Markov and semi-Markov chains. Trans. Amer. Math. Soc, 1962, 103, № 1, 82—112 (РЖМат, 1963,. 2В1П) 185. Ksbirsagar A. M., G u p t a Y. P., Asymptotic values of the first two moments in Markov renewal processes. Biometrika, 1967, 54, № 3-4,. 597--603 (РЖМат, 1968, 5B35) 186. — , --- , Mean and variance of the number of renewals in certain Markov renewal processes. J. Indian Statist. Assoc, 1968, 6 , № 1 , 2 187. — , — , Some results in Markov renewal processes- Calcutta Statist. : Assoc- Bull, 1969, 18, № 70, 61---72 (РЖМат, 1970, 6B102) 94 • 188. — , —- , Distribution of the number of Markovian renewals in an arbi­ trary interval. Austral. J. Statist.,' 1970, 12, № 1, 58—63 (РЖМат,. 1971, 1B59) 189. —• , W y s o c k i R., Some distribution and moment formulae for theMarkov renewal process. Proc. Cambridge Phil. Soc, 1970, 68, M° 1,. 159—166 (РЖМат, 1971, 2B46) 190. Kurtz T. G., Comparison of semi-Markov and Markov processes'. Ann. Math. Stat., 1971, 42, № 3, ,991—1002 (РЖМат, 1972, 1B158) 191. Lambotte J.-P., Processus semi-Markoviens et files d'attente. Cah. CentMud. recti, opfer., 1968, 10, № 1, 211—31 (РЖМат, 1969, 11B54) 192..— , T e g h e m J., Utilisation de la theorie des processus semi-Marko­ viens dans Tetude de problfemes' de files d'attente. Queuing Theory. London, 1967, 61—64 (РЖМат, 1970, 10B59) 193. Levy P., Systemes semi-Markoviens a au plus une infinite dexiombrabled'etats possibles- Proc- Int. Congr. Math., 1954, 2, Amsterdam, 1954, 294—295 (РЖМат, 1956, 638) 194. — , Processus semi-Markoviens. Proc. Int. Congr. Math., 1954, 3, Groningen-Amsterdam, .1956, 416—426 (РЖМат, 1958, 5930) 195. Lippman S. A., Maximal average-reward policies for semi-Markov de­ cision processes with arbitrary state and action space. Ann. Math. Stat., 1971, 42, № 5, 1717—1726 (РЖМат, 1972, 6B56) 196. McLean R. A., N e u t s M. F„ The integral of a function defined on a semi-Markov process- SIAM J- Appl. Math., 1967, IS, № 3, 726—737" (РЖМат, .1969, 2B47) . 197. Moore E. H., A semi-Markov process model for secondary acquisition systems. IEEE Trans. Aerospace and Electron. Syst., 1969, 5, № 1,: 33—38 (РЖМат, 1969, 10B151) 198. — , Р у к е R., Estimation of the transition distributions of a Markov renewal process. Ann. Inst. Statist. Math., 1968, 20, № 3, 411—424(РЖМат, 1969, 11B210) 199. Nair S. S., Semi-Markov analysis of two queues in series attended bv a single server. Bull. Soc. math. Belg,, 1970, 22, № 4, 355-—367" • (РЖМат, 1971, 11B95) 200. — , A single server tandem queue. J. Appl. Probab., 1971, 8, № 1, 95— 109 (РЖМат, 1971, 12B119) 201. — , N e u t s M. F., A priority rule based on-the ranking of the ser­ vice times, for the M/G/r queue. Oper. Res., 1969, 17, № 3, 466—477" (РЖМат, 1970, 3B504) 202. Neuts M. F., Generating functions for Markov renewal processes. Ann. Math. Stat, 1964,'35, № 1, 431—434 (РЖМат, 1965, 2B95) 203. — , The busy period of a queue with batch service. Oper. Res., 1965,. 13, № 5, 815—819 (РЖМат, 1966, 10B235) 204. — , Semi-Markov analysis of a bulk queue. Bull. Soc. math. Belg., 1966, 18, № 1, 28—42 (РЖМат, 1966, 12B57) 205. — , The single server queue with Poisson input and semi-Markov ser­ vice times. J. Appl. Probab., 1966, 3, № 1, 202—230 (РЖМат, 1967, 3B47) 206. — , A general class of bulk queues with Poisson input. Ann. Mate.. S,tal, 1967, 38, № 3, 759—770 (РЖМат, 1971, 7B87) 207. — , Two Markov chains arising from examples of queues with statedependent service times. Sankhya, Indian J. Statist., 1967, 29, № 3, 259—264 (РЖМат, 1968, 6B56) 208. —- , Two queues in series with a finite, intermediate waiting-room. J. Appl. Probab., 1968, 5, № 1, 123—142 (РЖМат, 1969, 3B48) 209. —, The queue with Poisson input and general service times, treated' as a branching process. Duke Math. J., 1969, 36, № 2, 215—231 (РЖМат,. 1970, 6B65) , 210. — , Two servers in series, studied in terms of a Markov renewal branching process. Adv. Appl. Probab., 1970, 2, № 1, 110—149 (РЖМат,. 1971, 2B45) ' 95 *211-. — , A queue subject to extraneous phase changes. Adv. Appl. Probab., 1971, 3, № 1, 78—119 (РЖМат, 1971, 12B135) :212. — , T e u g e 1 s J. L., Exponential ergodicity of the M/G/l queue. SIAM'J'. Appl. Math., 1969, 17, № 5, 921—929 (РЖМат, 1970, 7B58) 213. Orey S., Change of time scale for Markov processes/Trans. Amer. Math. Soc, 1961, 99, №. 3, 384—397 (РЖМат, 1963, 7B130) .214. Pearce С;, A queueing system with non-recurrent input and batch servicing. J. Appl. Probab., 1965, 2, № 2, 442—448 (РЖМат, 1966, 10B53) .215. Руке R., Markov renewal, processes: definitions and preliminary pro• perties. Ann. Math. Stat, 1961, 32, № 4, 1231—1242 (РЖМат, 1963, 8B146) .'216. — , Markov renewal processes with finitely marly states. Ann. Math. Stat, 1961, 32, № 4, 1243—1259 (РЖМат, 1963, 8B147) .217. —, S c h a u f e l e R. A. Limit theorems for Markov renewal processes. Ann. Math. Stat., 1964, 35, № 4, 1746—1764 (РЖМат, 1967, 12B31) .218. — , — , The existence and uniqueness of stationary measures for Mar­ kov renewal processes. Ann. Math. Stat., 1966, 37, № 6, 1439—1462 (РЖМат, 1971, 1 OB 144) .219. Ross S. M., Average cost semi-Markov decision processes. J. Appl. Probab., 1970, 7, № 3, 64Э--656 (РЖМат, 19.71, 6B88) .220. Schal M., Markov renewal processes with auxiliary paths. Ann. Math. Stat, 1970, 41, № 5, 1604—1623 (РЖМат, 1971, 10B145) :221. — , Rates of convergence in Markov renewal processes with auxiliary paths. Z. Wahrscheinlichkeitstheor. und verw. Geb., 1970, 16, № 1, 29-38 (РЖМат, 1971, 5B98) .'222. — , The analysis of queues with state-dependent parameters by Mar­ kov renewal processes. Adv. Appl. Probab., 1971, 3, № 1, 155—175 (РЖМат, 1971, 12B129) '223. Schaufele R., Potentials associated with recurrent Markov processes. J. Math. Anal. Appl., 1966, 13, № 2, 303—336 (РЖМат, 1968, 2B53) .224. Schweitzer P. J., Iterative solution of the functional equations of undiscounted Markov renewal programming. J. Math. Anal. Appl., 1971, 34, № 3, 495—501 (РЖМат, 1972, 3B445) -225. Sertozo R. R, Functions of semi-Markov processes. SIAM J. Appl. Math., 197.1, 20, № 3, 530—535 (РЖМат, 1971, 12B109) .226. — , Random time transformations of' semi-Markov processes. Ann. Math. Stat, 1971, 42, № 1, 176-188 (РЖМат, 1972, 1B157) ;227. Smith W. L., Regenerative stochastic processes.-Proc. Roy. Soc, 1955, A232, 6-31 (РЖМат, 1959, 621) 228. — , Some peculiar semi-Markov processes. Proc. 5th Berkeley Sympos. Math. Statist, and Probab., 1965—1966. Vol. 2. Part 2, Berkeley —Los Angeles, 1967, 255—263 (РЖМат, 1970, 3B72) •:229, — , Remarks on the paper "Regenerative stochastic processes". Proc. Roy. Soc, 1960, A256, № 1287, 496—501 (РЖМат, 1961, 2B30) 230. Stone L. D., On the distribution of the maximum of a semi-Markov pro­ cess. Ann. Math. Stat., 1968, 39, № 3, 947—956 (РЖМат, 1971, 9B109) •231. •— , On-the distribution of the .supremum functional for semi-Markov processes with continuous state spaces. Ann. Math. Stat, 1969, 40, № 3, 844—853 (РЖМат, 1971, 8B96) 232. — , Distribution of time above a threshold for gettii-Markov jump pro­ cesses. J. Math. Anal, and Appl., 1970, 30, № 3, 576—591 (РЖМат, 1971, ЗБ36) ( :233. Stormer H., Semi-Markoff-Prozesse mi't endlich vielep Zustanden. Theo, rie und Anwendungen.. Lect. Notes Oper. Res. and Math. Syst, 1970, № 34, VII, 128S. (РЖМат, 1971, 5B62) 234. Taga Yasushi, On the limiting distributions in Markov renewal pro­ cesses with fihitely many states. Ann. Inst. Statist. Math., 1963, IS, № I, 1—10 (РЖМат, 1964, 12B34) 235. Takacs L., Bizonyos tipusu rekurrens sztochasztikus folyamatok vizs' '.96 gfilatar61. Magyar tud. akad. Mat. Kutato. int. kozl, 1954, 3, № 1-2, 115—128 (РЖМат, 1961, 10B26) 236. — , On a generalization of the renewal theory. Magyar tud. akad. Mat. kutatd. int. kozl, 1957, 2, № 1-2, 91—103 (РЖМат, 1963, 11B152) 237. — , On a sojourn time problem. Теория вероятностей и ее примене­ ния, 1958, 3, № 1, 61—69 (РЖМат, 1958, 7962) 238. — , On a sojourn time problem in the theory of stochastic processes. Trans. Amer. Math. Soc, 1959, 93, № 3, 531—540 (РЖМат, 1961, 10B27) 239. Teugels J. L., Exponential ergodicity in Markov renewal processes. J. Appl. Probab., 1968,. 5, № 2, 387—400 (РЖМат, 1969, 4B55) 240. — , Regular variation of Markov renewal functions. J. London Math. Soc, 1970, 2, № 1, 179—190 (РЖМат, 1972, 1B181) 241. Yackel J., Limit theorems for semi-Markov processes. Trans. Amer. Math. Soc, 1966, 123, № 2, 402—424 (РЖМат, 1967, 5B24) '242. — , A random time change relating semi-Markov and Markov pro­ cesses. Ann. Math. Stat., 1968, 39, № 2, 358—364 (РЖМат, 1971, 10B105) 7 Заказ № 382