这个作业是完成一份数学相关的测试题
MAT 135B Spring 2020
Final Exam
1.第一个问题具有三个独立的部分，但所有三个问题都涉及所示图上的随机游动
在图1中。
b
b
b
1个
2
3
4
图1
1a。 （20分）对图1所示的图形执行离散时间的随机游动。
顶点，步行者同样有可能选择通过纽带连接的邻居之一。使用标签
在图中，写下过渡矩阵P。找到不变测度π。即概率
满足π·P =π的度量。每个状态j = 1，2，3，4的平均复发时间是多少？
1b。 （20分）再次在图1的图形上执行离散时间的随机游走。现在
但是状态4是吸收状态。来自其他三个状态的转移概率是
和之前一样;那就是步行者同样有可能跳到通过纽带连接的任何邻居。
1个
在这种情况下，记下转移矩阵P。找到步行者从1开始到达的平均时间
状态4。
1c。 （20分）在图2中的图形上执行连续时间的随机游动。
费率是
1→2 = 1
1→3 = 2
1→4 = 3，
2→1 = 1
2→3 = 2
2→4 = 3，
3→1 = 2
3→2 = 2
3→4 = 3，
4→1 = 3，
4→2 = 3，
4→3 = 3
1.此过程的Q矩阵是什么？
2.考虑转移概率Pt的等式
，
铂
dt =铂
·Q，P0 =I。
给定上述Q的特征值是-12，-9，-7、0；解释为什么无需进一步计算，
您可以得出Pt的矩阵元素的形式为
c1 + c2e
−7t + c3e
−9t + c4e
-12吨
对于某些常数cj，j = 1、2、3、4（常数将取决于矩阵元素的行和列
索引）。
2.（20分）假设{Xt}是具有有限状态空间的连续时间马尔可夫过程。让铂表示
转移矩阵和Q关联的Q矩阵，即
铂
dt = Q·Pt = Pt
·Q，P0 =I。（1）
2
1.证明如果概率分布π（行向量）满足π·Pt =π，则π·Q = 0。
2.如果
Q =
−a a
−
其中a，b> 0，（2）
找到满足（1）的铂。
3. If the two states of the Markov process defined by (2) are labeled 1 and 2, given that the process
starts in state 1, what is the average time the process will remain in state 1 before a transition to
state 2?
3. (20 pts) Let Xt denote the position of a random walker on the integer lattice Z at time t (continuous
time). The nonzero transition rates in the Q-matrix are1
Qx−2,x = p2, Qx−1,x = p1, Qx+1,x = q1, Qx+2,x = q2
where 0 < pi < 1, 0 < qi < 1, and p2 + p1 + q1 + q2 = 1.
1. Find an integral representation of the transition probability2 Py(x;t) with initial condition Py(x; 0) =
δx,y.
2. Show that
E(Xt) = (p2 + p1 − q1 − q2)t + y
where y is the initial position.3
1For simple random walk in continuous time we had q2 = p2 = 0.
2We use the notation for the transition probability y → x used in Notes #11, §2.1.
3Hint: See §2.1.1 of Notes #11.
3